答案分類支援システム
【課題】記述式問題テストで、答案を所定の解答類型に分類する答案分類支援システムを提供する。
【解決手段】答案を画像データとして識別符号を関連付け記憶した答案データ記憶部と、二択の質問文の複数の質問文群を記憶したチェックボックスシート記憶部と、質問文群と、識別符号と、答案の画像データを端末装置に送出する送出部と、識別符号とともに質問文群に対するチェックパターンのデータを端末装置から受信し識別符号とチェックパターンを関連付けてチェックパターン記憶部に記憶させる受信部と、を含み、チェックパターンは質問文群の質問文に対応する肯定、否定、保留のいずれかの回答の集合で、記憶されたチェックパターンのうち保留を含むチェックパターンに対応する識別符号を検索する検索部と、送出部に対して、検索部で検索された識別符号と関連付けられた画像データを質問文群とともに端末装置に再送出するよう仕向ける再送出部と、を更に含む。
【解決手段】答案を画像データとして識別符号を関連付け記憶した答案データ記憶部と、二択の質問文の複数の質問文群を記憶したチェックボックスシート記憶部と、質問文群と、識別符号と、答案の画像データを端末装置に送出する送出部と、識別符号とともに質問文群に対するチェックパターンのデータを端末装置から受信し識別符号とチェックパターンを関連付けてチェックパターン記憶部に記憶させる受信部と、を含み、チェックパターンは質問文群の質問文に対応する肯定、否定、保留のいずれかの回答の集合で、記憶されたチェックパターンのうち保留を含むチェックパターンに対応する識別符号を検索する検索部と、送出部に対して、検索部で検索された識別符号と関連付けられた画像データを質問文群とともに端末装置に再送出するよう仕向ける再送出部と、を更に含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受験者に問題を提示した上で一定量の自由な答案の記述を求める記述式問題テストにおいて、受験者の想起した解答が表現された答案を所定の解答類型に分類するための答案分類支援システムに関する。
【背景技術】
【０００２】
テストの受験者は問題を提示されるとこの問題に対する解答を検討しこれをまとめて答案に表現する。例えば、各種学校の入学テストなどのように、受験者の入学を許可するかどうかの判断材料の提供を目的とするテストでは、答案を採点しこれらを序列化できることが求められる。
【０００３】
ところで、テストの採点方法において、限られた採点時間の中では、問題に対する正答を答案に表現できているかだけを採点の対象とすることも多い。その一方で、受験者を多面的に評価・判断するためにも、１つの問題に対して複数の中間結果、すなわち正答かどうかだけでなく、その途中の結果についても採点の対象とすることも行われる。かかる場合、最終的な結果までの複数の中間結果をあらかじめ予測し、結果毎に段階的に点数を与えて採点を行う。
【０００４】
受験者に問題を提示した上で一定量の自由な答案の記述を求める記述式問題テストでは、問題の作成の仕方次第ではあるものの、一般的に、最終的な結果までの複数の中間結果をあらかじめ予測しておくことは困難である。特に、自由な答案の記述を求め得るとの記述式問題テストの特徴を活かせば活かすほど、その予測は困難となる。そこで、各中間結果についての概念的なガイドラインを作成して、判断の裁量を採点者に与え、その主観で採点をさせてしまうことも行われる。すると、同じ答案であっても少なからず採点者毎に採点結果に差が出てしまう。特に、受験者の数が多く答案の数が多いにも関わらず、採点結果を一定時間内に出さねばならないような場合にあっては、多数の採点者を採用せざるを得ず、採点者毎の三者三様の主観が重畳されて、正確な採点を困難にしてしまうといった問題が生じていた。
【０００５】
これに対して特許文献１は、採点結果を収集するシステムにおいて、１の採点者の採点結果を他の採点者の採点根拠を参照しながら再評価し、これを修正して複数の採点者間の主観差を排することの出来る答案採点支援システムを開示している。複数の採点者間で採点結果が一致せず、採点結果の客観性に疑問がある場合には、他の採点者の採点根拠を参照しながら採点結果を再検討し、一度登録した採点結果を修正できるのである。すなわち、各中間結果についての概念的なガイドラインを共有できるのである。これにより、自らが行った主観による採点結果について、様々な視点から再評価できると述べている。
【０００６】
一方、国や地方自治体の教育指針を定めるための調査テストでは、過去の教育の結果と今後の教育の課題とを分析するための判断材料の提供が求められる。このような調査テストであっても、記述式問題テストが採用される。問題に対する所定の結果に至るまでの受験者の思考過程を細かく分析できるよう、問題が綿密に作成された上で、調査対象としての母集団により作成された答案が集められる。これらは解答類型毎に分類され、解答類型毎に分類された答案の数などが統計処理されて、前記した判断材料となるのである。
【０００７】
このような調査テストでは、問題に対する正答を答案に表現できているか否かだけを分類の対象とするものではないため、解答類型が非常に多くなりがちである。また、受験者の数が非常に多く、答案の数も多くなる。例えば、受験者の数が数十万人、数百万人といったことさえもある。これに対して、特許文献２や３に開示されたような、肯定若しくは否定のみで答え得る答案に関連する複数の質問文からなるチェックボックスを用いた答案分類支援システムが提案されている。このチェックボックスに与えられた肯定か否定かのチェックの組合せであるチェックパターンに基づいて、多数の答案を多数の解答類型に素早く、しかも分類作業を行う者（以下において、これを分類者と称する。）の数を増やしても客観的に分類でき得るのである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−２７７０８６号公報
【特許文献２】特開２００９−２２９６０６号公報
【特許文献３】特開２０１０−０７８６３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記したような調査テストにおける特許文献２又は３の答案分類支援システムに特許文献１のシステムを適用しようとすれば、複数の分類者間でチェックパターンが異なったときに他の分類者の根拠を参照しながらチェックパターン結果を再検討し、一度登録したチェックパターンを修正して、より客観的に分類でき得る。しかしながら、１つの答案を複数の分類者で必ず複数回だけ分類しなければ客観性を高めることは出来ず、多くの答案を処理することはできない。
【００１０】
本発明はかかる状況に鑑みてなされたものであって、その目的とするところは、受験者に問題を提示した上で一定量の自由な答案の記述を求める記述式問題テストにおいて、受験者の想起した解答が表現された答案を所定の解答類型に分類するためのより効率的でありながら客観性のより高い答案分類支援システムを提供することである。
【課題を解決するための手段】
【００１１】
本発明は、受験者に問題を提示した上で一定量の自由な答案の記述を求める記述式問題テストにおいて、受験者の想起した解答が表現された答案を複数の解答類型に分類するための答案分類支援システムであって、前記答案のそれぞれを画像データとしてこれを識別するための識別符号を関連付けて記憶した答案データ記憶部と、肯定又は否定の二択の質問文の複数からなる質問文群を記憶したチェックボックスシート記憶部と、前記質問文群とともに、前記識別符号及びこれに関連付けされた前記答案の前記画像データを順次、端末装置に向けて送出する送出部と、前記識別符号とともに前記質問文群に対するチェックパターンのデータを前記端末装置から受信し前記識別符号及び前記チェックパターンを関連付けてチェックパターン記憶部に記憶させる受信部と、を含み、前記チェックパターンは前記質問文群の前記質問文のそれぞれに対応する肯定、否定又は保留のいずれかからなる回答の集合であり、前記チェックパターン記憶部に記憶された前記チェックパターンのうち保留を含む前記チェックパターンに対応する前記識別符号を検索する検索部と、前記送出部に対して、前記検索部で検索された前記識別符号及びこれに関連付けられた前記画像データを順次、前記質問文群とともに前記端末装置に向けて再送出するよう仕向けさせる再送出部と、を更に含むことを特徴とする。
【００１２】
かかる発明によれば、受験者の想起した解答が表現された答案を複数の解答類型に分類する調査テストの如きであっても、１つの答案を複数の分類者で必ず複数回だけ分類する必要なく、分類の客観性を高めることができるのである。すなわち、より効率的でありながら客観性のより高い答案分類支援システムを与えるのである。
【００１３】
上記した発明において、前記再送出部の起動に先立って、前記質問文群の前記質問文毎の修正を外部入力させて前記チェックボックスシート記憶部に修正質問文群を記憶させる追加入力部と、を更に含み、前記再送出部は、前記チェックボックスシート記憶部の前記修正質問文群を前記送出部に対して再送出するよう仕向けさせることを特徴としてもよい。
【００１４】
かかる発明によれば、質問文で求める内容を実質的に変更することなく表現などを変更した修正質問文にて質問文群を再構成できるので、再送出部による仕向けにより送出部から再送出されて受信されるチェックパターンは、既に、チェックパターン記憶部に記憶されたチェックパターンと相関を得ることが出来て、保留を含むチェックパターンの数を効率的に減らすことが出来得る。すなわち、より効率的でありながら客観性のより高い答案分類支援システムを与えるのである。
【００１５】
上記した発明において、前記質問文群の前記質問文の個数をｎとし、前記解答類型をｍ個（ｍ＞２）とすると、２ｎ＞ｍを満たすことを特徴としてもよい。かかる発明によれば、得られうるチェックパターンの数は２ｎ個であって、あらかじめ予測された解答類型に該当しないチェックパターンを含む。つまり、かかるチェックパターンを有する答案があるとき、この答案についての解答類型を分析することで、あらかじめ予測し得なかった解答類型までも分類し得るのである。
【図面の簡単な説明】
【００１６】
【図１】本発明による答案分類支援システムの処理手順を示す図である。
【図２】本発明による答案分類支援システムの処理手順を示す図である。
【図３】本発明による答案分類支援システムの処理手順を示す図である。
【図４】本発明による答案分類支援システムの処理手順を示す図である。
【図５】本発明による答案分類支援システムを使用した場合の分類者の判断技術について説明する図である。
【図６】本発明による答案分類支援システムのブロック図である。
【図７】答案分類支援システムで使用される問題文の図である。
【図８】答案分類支援システムで使用される第１のチェックボックスシートの図である。
【図９】答案分類支援システムで使用される第２のチェックボックスシートの図である。
【図１０】答案データを示す図である。
【図１１】答案データを示す図である。
【図１２】各答案データについてのチェックパターンの図である。
【図１３】各答案データについてのチェックパターンの図である。
【発明を実施するための形態】
【００１７】
まず、本発明による答案を分類するための答案分類支援システムの原理について説明する。
【００１８】
答案分類処理システムによる答案の分類に先だって、管理者は記述式問題テストの問題文を複数の受験者に与え、同問題文に対する答案をそれぞれの受験者に作成させる。各受験者は、同問題文に対する解答を想起し、これを各受験者の技量の範囲において解答欄に記述して答案を作成する。つまり、本明細書における解答とは、各受験者の想起した問題文に対する思想そのものであり、答案とは、かかる思想に基づいて書面上に記述された情報をいう。
【００１９】
答案の分類は、複数のチェックボックスシートを用いた分類方法により行われる。チェックボックスシートとは、肯定若しくは否定のみで答え得る答案に関連する複数の質問文からなる質問文群と、各質問文に対する肯定及び否定の旨の回答を記載するチェック欄（チェックボックス）とを含む情報群をいう。
【００２０】
管理者は、受験者に作成させた答案をサーバコンピュータに画像データとして記憶させ、これを複数の分類者に割り振るべく、各分類者の操作するクライアントコンピュータに送出する。各分類者は、サーバコンピュータより自らの操作するクライアントコンピュータに送出されて自分に割り振られた答案の各々について、サーバコンピュータより送信されたチェックボックスシートの内容に基づいて、クライアントコンピュータ上に表示された質問文全てに対して、肯定か否定かを各チェック欄にチェックを付すことにより回答する。かかる各チェック欄へのチェックの結果として得られる、質問文全てに対する肯定か否定かのチェックの組合せ、すなわち回答の集合をチェックパターンという。サーバコンピュータは、このチェックパターンに基づいて答案を分類する。例えば、ある模範答案とチェックパターンが同一である答案は、当該模範答案の類型に分類され得る。かかる分類結果は、過去の教育の結果と今後の教育の課題とを分析するための判断材料とされ得る。
【００２１】
図１に示すように、本発明において、第１のチェックボックスシート１０（ＣＢＳ１）は、２つのチェック項目ＣＢ１及びＣＢ２を含み、それぞれ肯定（Ｙ）若しくは否定（Ｎ）のみで答え得る答案に関連する質問文ＣＱ１及びＣＱ２と、各質問文に対し肯定（Ｙ）、否定（Ｎ）若しくは保留（Ｐ）を入力するチェック欄（Ｙ、Ｎ、Ｐ）とからなる。また、図２に示すように、第２のチェックボックスシート１１（ＣＢＳ２）は、ｎ個のチェック項目ＣＢ１〜ＣＢｎを含み、肯定（Ｙ）若しくは否定（Ｎ）のみで答え得る答案に関連する質問文ＣＱ１〜ＣＱｎと、各質問文に対するチェック欄（Ｙ、Ｎ、Ｐ）とからなる。質問文ＣＱ１〜ＣＱｎは、肯定又は否定を選択する判断が容易な内容であることが好ましい。即ち、質問文は、特定の内容が答案に記述されているかを実質的に判断するのではなく、答案の記載を形式的に判断できるものが好ましい。これにより、各分類者の主観差を排した分類結果を得やすくなる。
【００２２】
ここで、複数の分類者のうちの１人（以下、分類者甲と称する）が、順次、自分に割り振られる答案ＴＡ１〜ＴＡｉ（ｉは受験者総数より小である）について質問文群に回答し、これを分類する場合について説明する。
【００２３】
図１を参照すると、まず、ステップ１において、分類者甲は，サーバコンピュータから自分のクライアントコンピュータに割り振られた各答案ＴＡ１〜ＴＡｉについて、第１のチェックボックスシート１０の質問文ＣＱ１及びＣＱ２について回答する。即ち、各チェック項目ＣＢ１、ＣＢ２について、「Ｙ（肯定）」、「Ｎ（否定）」、「Ｐ（保留）」の３つの選択肢のうちのどれか１つの答えを選択し、チェック欄にチェック、すなわち回答するのである。ステップ１では、ステップ２で再度、回答処理する答案の数を減じて、効率的に分類を行うことを主目的としている。従って、ステップ１で分類できる類型は、ステップ２で分類できる類型よりも少なく、チェック項目数も少ない。ここでは、例えば、質問文ＣＱ１及びＣＱ２の内容は、ともに単独のチェック項目によってそれぞれ類型１及び類型２に答案を択一的に分類できるように作成される。クライアントコンピュータから受信した回答結果に基づき、サーバコンピュータは、質問文ＣＱ１に対して「Ｙ」と回答された答案を類型１へ、質問文ＣＱ２に対して「Ｙ」と回答された答案を類型２へそれぞれ分類する。上記したように、質問文ＣＱ１とＣＱ２は択一関係にあるので質問文ＣＱ１及びＣＱ２の両方に対して「Ｙ」が選択されることはない。
【００２４】
上記したように、質問文ＣＱ１及びＣＱ２は肯定又は否定を選択する判断を容易とするような内容であることが好ましい。しかし、答案に記載されている内容によっては、質問文ＣＱ１又はＣＱ２に対する答えの判断に分類者甲が迷いを生じることがある。かかる場合にチェック欄が「Ｙ」及び「Ｎ」しかない場合、分類者甲は「Ｙ」又は「Ｎ」のどちらかを迷いながらも選択せざるを得ない。即ち、分類者甲の独自の判断によって「Ｙ」又は「Ｎ」を選択するため、仮に甲と異なる分類者乙により同一の答案について回答した場合に、質問文ＣＱ１及びＣＱ２に対する判断が異なることになる。つまり、チェック欄が「Ｙ」及び「Ｎ」しかない場合、分類者甲の独自の判断に依存したチェックパターンを使用することになるために画一的な分類処理が行えない。本システムにおいては、このような判断に迷いを生じる場合に分類者甲に「Ｐ」を選択させ、回答結果に「Ｐ」を含む答案を類型に分類せずに持ち越す。よって、「Ｙ」と「Ｎ」との組合せからなるチェックパターンにより答案を分類処理するに際し、同処理が分類者甲の独自の判断に依存することを防止し、画一的な分類処理を図れる。
【００２５】
ここで、図５（ａ）に示すように、答案ＴＡ１乃至ＴＡ３、ＴＡ６及びＴＡ７のそれぞれについて、質問文ＣＱ１に対して分類者甲が回答する場合を考える。答案ＴＡ１は「Ｙ」と容易に判断し得る範囲である線分Ｙ−Ｙｓ上に位置するので分類者甲は答えの判断に迷わない。点Ｙｓは、分類者甲が「Ｙ」と判断できる限界を意味する。また、答案ＴＡ２は「Ｎ」と容易に判断できる範囲である線分Ｎ−Ｎｓ上に位置するので判断に迷わずに「Ｎ」と回答される。点Ｎｓは、分類者甲が「Ｎ」と判断できる限界を意味する。これに対して、答案ＴＡ３、ＴＡ６及びＴＡ７については、線分Ｍ１−Ｍ２上には位置するものの、線分Ｙ−Ｙｓ上に位置するか、或いは線分Ｎ−Ｎｓ上に位置するかは必ずしも明らかではなく、判断に迷う。例えば記載が不明瞭で分類者甲がその記載から読み取った内容に自信が持てない場合がある。このような場合に、分類者甲の独自の判断によって例えば答案ＴＡ３について「Ｎ」などと回答されてしまうことを防ぐため、「Ｐ」なる選択肢を予め用意し、分類者甲に同答案について「Ｐ」を選択させる機会を与えるのである。その結果、質問文ＣＱ１に対して、分類者甲は、答案ＴＡ１について「Ｙ」、答案ＴＡ２について「Ｎ」、答案ＴＡ３、ＴＡ６及びＴＡ７について「Ｐ」と回答するのである。
【００２６】
再び図１を参照すると、各答案ＴＡ１〜ＴＡｉは、（ＣＢ１、ＣＢ２）に対応するチェックパターンが（Ｙ、Ｎ）ならば類型１に分類され、（Ｎ、Ｙ）ならば類型２に分類される。チェックパターンがそれ以外｛（Ｐ、Ｙ）、（Ｐ、Ｎ）、（Ｙ、Ｐ）、（Ｎ、Ｐ）、（Ｐ、Ｐ）、（Ｎ、Ｎ）｝の場合、対応する答案は類型に分類されない。なお、類型１と類型２は択一関係となるように質問文ＣＱ１及びＣＱ２が作成されているため、チェックパターン（Ｙ、Ｙ）はあり得ない。
【００２７】
ステップ１において、答案ＴＡ１は類型１に、答案ＴＡ２は類型２にそれぞれ分類され、ステップ２では処理されない。答案ＴＡ３、ＴＡ６及びＴＡ７は（Ｐ、Ｐ）のチェックパターンであるため、ステップ２で再度、処理される。チェックパターンが（Ｎ、Ｎ）となった答案ＴＡ４などもステップ２で再度、処理される。
【００２８】
次に、図２に示すように、ステップ２では、分類者甲は、ステップ１で持ち越された答案、すなわち、答案ＴＡ３、ＴＡ６及びＴＡ７や、答案ＴＡ４について、第２のチェックボックスシート１１に従って処理し、クライアントコンピュータに入力して回答する。第２のチェックボックスシート１１はｎ個のチェック項目ＣＢ１〜ＣＢｎ（２＜ｎ）を有し、チェック項目ＣＢ１及びＣＢ２のそれぞれに対応する質問文ＣＱ１及びＣＱ２は、第１のチェックボックスシート１０のそれと共通である。数少ない質問文によって効率よく答案の分類を図るステップ１と異なり、ステップ２において使用されるチェック項目ＣＢ３〜ＣＢｎにおける各質問文ＣＱ３〜ＣＱｎは、ステップ１において使用する質問文ＣＱ１及びＣＱ２に比べて、多数のチェック項目の組合せによって初めて答案を分類し得る類型に分類するために必要な質問文群である。これらの質問文群は、受験者の作成した答案が、問題文から予想される複数の答案の類型のうち最も近い類型に分類され得るように管理者によって作成される。例えば、ある質問文群は、これによって正答の記載された答案について回答をした場合の回答結果（チェックパターン）が正答を示す模範答案の回答結果と同一となるように作成される。また、ある質問文群は、これによってある典型的な誤答を記載された答案について回答をした場合の回答結果が、その典型的な誤答の答案例の回答結果と同一となるように作成される。なお、ステップ１において回答結果が「Ｙ」又は「Ｎ」であるチェック項目については、ステップ２における再度の回答は不要としてもよい。
【００２９】
ステップ１において「Ｐ」を選択されたチェック項目について、クライアントコンピュータは分類者甲にステップ２において再度の回答を要求する。再度の回答を行うに当たって、分類者甲は図５（ａ）に示すように、一旦「Ｐ」を選択されて持ち越しとなった答案ＴＡ３、ＴＡ６、ＴＡ７について、質問文ＣＱ１に対して「Ｙ」又は「Ｎ」と回答できないか見直すことになる。見直すにあたり、分類者甲に新たな情報が与えられなければ「Ｐ」を選択した判断は変わらない。最初に「Ｐ」と回答した後に新たな情報として分類者甲に与えられるのは、ステップ１において「Ｐ」と回答した後に回答を行った答案群のみである。分類者甲は、多数の答案同士の相対的な比較をしながら回答を進めることにより答えを選択する判断技術の向上を図ることになる。かかる判断技術の向上に基づき、図５（ｂ）に示すように、分類者甲は、質問文ＣＱ１に対する回答が、線分Ｙ−Ｙｓ上に位置するか、線分Ｎ−Ｎｓ上に位置するかを判断することができるようになる。そして、分類者甲は、ステップ１において判断に迷った答案ＴＡ３、ＴＡ６、ＴＡ７のそれぞれについて、質問文ＣＱ１に対する答えがそれぞれ線分Ｙ−Ｙｓ上、線分Ｙｓ−Ｎｓ上、線分Ｎ−Ｎｓ上に位置することを認識できる。
【００３０】
例えば、当初意味を読み取れなかった答案の記載について、多数の答案と相対的に比較した結果、ようやく意味が明らかになる場合などが想定され得る。つまり、ステップ１に比べて「Ｐ」を選択する幅が減少したのである。特に、例えば小学校の低学年の児童のように答案の記述力が低かったり、分類者と離れた感覚を持ち合わせていたりする受験者の答案を対象とする場合、答案に記載された内容の判断をしづらい場合が多い。このような場合に、従来であれば、例えば予想答案との比較などによって、問題文の作成者側の視点から受験者が答案に記述しようとしたものを読み取ろうとしていた。そのため、受験者と分類者との認識の差異により誤解を含む場合があった。ところが、本システムにおいては多数の答案を相対的に比較することにより受験者が答案に記述しようとした解答を読み取ろうとする。多数の受験者によって記載された答案を比較対象とするため、その多数の受験者達と、これに属する１人の受験者との感覚との差異は小さく、その１人の受験者の答案に記述しようとした解答の意図を拾い上げることが容易になるのである。このようにして、ステップ１において「Ｐ」とされたチェック項目についても、ステップ２で新たに「Ｙ」及び「Ｎ」と判断され得る。ステップ２において質問文に対して肯定か否定かの判断に迷いを生じる答案ＴＡ６について、分類者甲は答えに「Ｐ」を選択し回答する。
【００３１】
図５において、この迷いを生じる範囲を領域Ｕと定義する。領域Ｕは、分類者甲の判断「Ｙ」及び「Ｎ」との間に存在する。本システムでは、ある質問文に対して迷いを生じる答案について「Ｐ」を選択することで回答結果を保留する一方で、「Ｙ」あるいは「Ｎ」を選択して回答結果が確定した答案については、分類者同士で判断基準を擦り合わせることなく主観の差を縮めることができる。各分類者は、判断基準を多数の受験者によって記載された答案によって修正できるからである。つまり、仮に分類者甲と分類者乙とが同一の答案について回答し、さらに両者の間で「Ｙ」と「Ｐ」との異なる判断がなされるような場合であっても、「Ｐ」と判断した後者については再度答えを選択し、「Ｙ」と判断されるので最終的に同一の回答結果となる。よって、仮に分類者乙によって同一の答案について回答されたとしても「Ｙ」と「Ｎ」とが入れ替わる可能性は低いのである。また、同一の質問文に対して多数の答案についての答えを選択した経験により、この領域Ｕの幅は減少する。そのような領域Ｕの幅の減少は、判断技術の向上（習熟度の向上）を意味する。つまり、分類者甲は、答案の記載から、問題文に対して受験者達がどのように解答しようとしているかを理解し、解答の意図を読み取ることが容易になる。なお、「Ｙ」か「Ｐ」かの選択、又は「Ｎ」か「Ｐ」かの選択は、分類者甲の独自の判断によるが、これは上記した「Ｐ」を選択する領域Ｕの幅についての個人差の存在、すなわち答えを選択する習熟度についての個人差の存在を意味する。このようにして「Ｙ」と「Ｎ」のみからなる回答結果については、分類者甲の独自の判断に依存しないようにできるのである。そのため、「Ｙ」と「Ｎ」との組合せのみからなるチェックパターンに基づく分類処理は分類者甲の独自の判断に依存せず、分類処理に一定の客観性をもたせ得るのである。
【００３２】
更に、ステップ２において、サーバコンピュータは、図３に示すように答案ＴＡ３〜ＴＡｉのそれぞれに対応するチェックパターンにより、答案ＴＡ３〜ＴＡｉを分類処理する。回答結果のうちいずれかに「Ｐ」のある答案は持ち越しとされる。残った答案（回答結果に「Ｐ」のない答案）のうち、チェック項目ＣＢ１の回答結果を「Ｙ」とする答案は類型１に分類される。さらに、残った答案のうち、チェック項目ＣＢ２の回答結果を「Ｙ」とする答案は類型２に分類される。ＣＢ１及びＣＢ２がともに「Ｎ」で、ＣＢ３〜ＣＢｎのチェックパターンが所定のパターンに合致した答案はそれぞれ類型３〜類型ｍ−１に分類される。所定のパターンのいずれにも該当しない答案は類型ｍ（ｍ≦２ｎ）に分類され。例えば、ある答案は「正答」という類型に分類される。また、ある答案は、同答案の序盤に記載されている一部の情報が「正答」という類型に分類される答案に記載されている情報と同一であるものの論理展開を誤っているため、「論理展開の誤り」という類型に分類される。
【００３３】
ステップ３において、図４に示すように、分類者甲はステップ２で持ち越しとされた（回答結果に「Ｐ」のあった）答案ＴＡ４、ＴＡ６及びその他の答案群について、再び第２のチェックボックスシート１１を使用して「Ｐ」を付したチェック項目のみについて答えを選択し、これをクライアントコンピュータに入力して回答する。本ステップでは、「Ｐ」を付した項目のみについての回答を得ることが目的であるため、ステップ２と同一の第２のチェックボックスシート１１を使用すれば足りるのである。ここで、ステップ２と同様に、一度「Ｐ」を選択されたチェック項目であっても、同項目についての分類者甲の判断技術（習熟度）が向上することによって、迷わず「Ｙ」又は「Ｎ」と判断され、回答される場合がある。このように回答された答案は、サーバコンピュータにおいてステップ２と同様に分類される。
【００３４】
以上のように答案の分類処理をすると、ステップ１においてはチェック項目の数が少なくて済む。また、ステップ３において、ステップ２で「Ｐ」を選択されたチェック項目についてのみ回答をすれば足りるので、回答処理の重複が少ない。また、「Ｙ」と「Ｎ」のみの組合せからなるチェックパターンに基づく分類処理は分類者甲の独自の判断に依存しないので分類処理に、一定の客観性をもたせ得る。よって、答案の数が多い場合において複数の分類者によって回答を分担することで効率的な回答処理を行いつつ、分類処理にある一定の客観性を担保することができるのである。
【００３５】
ここでは、分類者甲が同一の答案について保留した後に再度回答をする場合について説明したが、上記したように判断技術は多数の答案同士の相対的な比較により向上する。よって、あるステップで分類者甲及び乙が別々の答案について回答し、分類者甲により保留にされた答案について、次のステップで分類者乙が回答する場合についても全く同様に、分類処理に一定の客観性をもたせ得る。
【００３６】
また、ステップ３において持ち越された答案については、特定の分類者丙・丁によって再度回答して所定の類型に分類し得る。例えば、複数の分類者甲・乙の担当した答案群のうち、ステップ３において持ち越された答案群のみを収集し、類型の意味とこれに分類される答案についての理解の深い１人若しくは同一の判断基準を共有する少人数の分類者丙・丁によって同答案に対する回答が行われる。この場合、図５（ｃ）に示すように、分類者丙・丁の判断には「Ｐ」を選択する範囲がなく（領域Ｕの幅不存在）、線分Ｙ−Ｙｓ上にある答案ＴＡ６を「Ｙ」と判断できる。これにより、分類者毎に異なる回答結果となることを可及的に防止して一定の客観性を担保しつつ、しかも効率的に全ての答案を分類し得る。
【実施例】
【００３７】
本発明による答案を分類するための答案分類支援システムの実施例について、図６乃至図１３を用いて説明する。
【００３８】
［システム構成］
図６に示すように、答案分類支援システム１は、インターネット回線やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信回線２０によって接続された複数のクライアントコンピュータ２１及び問題作成者等の管理者によって使用されるサーバコンピュータ２２を含む。サーバコンピュータ２２は、記述式問題テストの問題文を記憶する問題文記憶領域２４、チェックボックスシート記憶領域２５、答案データ記憶領域２６、類型記憶領域２７、送出対象識別符号記憶領域２８、回答結果記憶領域２９などを有する記憶装置２３を備える。また、サーバコンピュータ２２は、モニタ２２ａ及びキーボード２２ｂを有するとともに、図示しないスキャナなどの入力装置を有する。また、クライアントコンピュータ２１には、モニタ２１ａ及びキーボード等の入力装置２１ｂを備える。
【００３９】
［問題文の作成］
図７に示すように、管理者は、「三平方の定理」に関する問題文ｑを作成する。問題文ｑは、三平方の定理の公式を使用すること及び一元二次方程式を解くことについての特定の受験者群の理解傾向を調査することを目的として作成される。問題文ｑの内容は、「直角三角形の直角を挟む２辺の長さがそれぞれ１ｃｍと２ｃｍである場合、斜辺の長さをｘｃｍとしたときのｘを方程式を立てて求めなさい。」であり、一元二次方程式を使って答えを導く過程の記述を促す問題文とされている。管理者は、かかる問題文ｑをサーバコンピュータ２２のキーボード２２ｂ若しくは図示しないスキャナなどの入力装置から入力し、記憶装置２３の問題文記憶領域２４に記憶させる。
【００４０】
［チェックボックスシートの作成］
図８に示すように、第１のチェックボックスシート５０は、「Ｙ」若しくは「Ｎ」のみで答えることのできる質問文ＣＱ１及びＣＱ２とこれに対するチェック欄５１（Ｙ、Ｎ、Ｐ）とを表示した情報群である。質問文ＣＱ１及びＣＱ２は、管理者によって作成される。質問文ＣＱ１及びＣＱ２は、各分類者の独自の判断に依存しない回答結果を得られるように、肯定又は否定の判断を容易とし、一定レベルの分類者であればどの分類者によっても同一の答案に対しては同じ判断となり得るような内容とすることが好ましい。質問文ＣＱ１及びＣＱ２の内容は、単独のチェック項目によって答案を分類できる類型に対応するよう作成される。本実施例では、「白紙答案」及び「答案として記載すべき内容と無関係な記載のみの答案」の２つの類型に分類するために「白紙答案か？」（ＣＱ１）及び「答案として記載すべき内容と無関係な記載のみか？」（ＣＱ２）の２つの質問文を設けている。第１のチェックボックスシート５０は、各分類者によって回答に使用されるものである。チェック欄５１の対応する位置にチェックを付すことで質問文ＣＱ１及びＣＱ２に対する回答を「Ｙ」、「Ｎ」、「Ｐ」の中から各分類者が選択できる。管理者によって作成された第１のチェックボックスシート５０の内容は、記憶装置２３のチェックボックスシート記憶領域２５に記憶される。なお、質問文ＣＱ１及びＣＱ２は互いに択一関係となるように作成されているため、第１のチェックボックスシート５０に従って得たチェックパターンが（Ｙ、Ｙ）となることはない。
【００４１】
図９に示すように、第２のチェックボックスシート６０は、「Ｙ」若しくは「Ｎ」のみで答えることのできる質問文ＣＱ１乃至ＣＱ７と、これに対するチェック欄６１（Ｙ、Ｎ、Ｐ）とを表示した情報群である。第２のチェックボックスシート６０は、各分類者によって回答に使用されるものである。チェック欄６１の対応する位置にチェックを付すことで質問文ＣＱ１乃至ＣＱ７に対する答えを「Ｙ」、「Ｎ」、「Ｐ」の中から各分類者が選択できる。質問文ＣＱ１乃至ＣＱ７は、各分類者の独自の判断に依存しない回答結果を得られるように「Ｙ」又は「Ｎ」の判断を容易とし、一定レベルの分類者であればどの分類者によっても同一の答案に対しては同じ選択結果となり得るような内容が好ましい。質問文ＣＱ１及びＣＱ２の内容は、第１のチェックボックスシート５０と同一である。質問文ＣＱ１乃至ＣＱ７は、問題文ｑから予想される複数の答案の類型のうち、受験者の答案がどの類型に最も近いかを、そのチェック（「Ｙ」及び「Ｎ」）の組合せ、すなわちチェックパターンによって分類し得るように作成される。なお、予想される複数の答案には誤答も含まれる。
本実施例において、質問文ＣＱ１乃至ＣＱ７は、
ＣＱ１：白紙答案か？
ＣＱ２：答案として記載すべき内容と無関係な記載のみか？
ＣＱ３：「ｘ＝」か「＝ｘ」の記載があるか？
ＣＱ４：「２２」か「４」の記載があるか？
ＣＱ５：「√５」の記載があるか？
ＣＱ６：「３」の記載があるか？
ＣＱ７：式の記載があるか？
のように作成される。例えば図１１（ａ）に示す答案Ｔ４について第２のチェックボックスシート６０に表示された質問文群に分類者甲が回答したとする。このとき、それぞれの質問文ＣＱ１乃至ＣＱ７に対する回答を順に表示したチェックパターンは（Ｎ、Ｎ、Ｙ、Ｙ、Ｙ、Ｎ、Ｙ）となる。このチェックパターンは正答を示し、答案Ｔ４は「正答」という類型に分類できるのである（図１３参照）。他の類型においても同様に、回答結果から得られるチェックパターンが各々の類型を示すチェックパターンに合致した場合に分類される。管理者は、作成された第２のチェックボックスシート６０の内容を、記憶装置２３のチェックボックスシート記憶領域２５に記憶させる。
【００４２】
［類型のチェックパターンの記憶］
管理者は、問題文ｑから、予想答案を作成する。管理者は、かかる予想答案に対して第２のチェックボックスシート６０の質問文群をあてはめてチェックパターンを求め、同予想答案に対応する類型を示す符号を付して類型記憶領域２７に記憶させる。
【００４３】
［答案データの記憶］
管理者はＮ人（複数）の受験者に問題文ｑを与え、これに対する答案Ｔ１〜ＴＮを得る。答案Ｔ１〜ＴＮの記載された答案用紙群はサーバコンピュータ２２の図示しないスキャナ等の入力装置などによって答案データ（画像データ）として読込まれる。読込まれた答案データは識別符号（１〜Ｎ）を付されて答案データＡ１乃至ＡＮとして答案データ記憶領域２６に記憶される。また、答案データＡ１乃至ＡＮのうち、クライアントコンピュータ２１へ送出すべき答案データに対応する識別符号は送出対象識別符号として送出対象識別符号記憶領域２８に記憶される。この答案データＡ１乃至ＡＮを答案データ記憶領域２５に記憶させる段階において、答案データＡ１乃至ＡＮに対応するすべての識別符号１〜Ｎが送出対象識別符号とされて送出対象識別符号記憶領域２８に記憶される。
【００４４】
［答案についての回答及び分類］
次に、答案分類支援システム１の使用方法を説明する。
【００４５】
［回答処理ステップ１］
サーバコンピュータ２２は、まず、各分類者の使用する各クライアントコンピュータ２１より受信した回答要求信号に基づいて、それぞれのクライアントコンピュータ２１に第１のチェックボックスシート５０、答案データ及びこれに付された識別符号を順次送出する。ここで、送出される答案データは、送出対象識別符号記憶領域２８に記憶されている識別符号を付されて、答案データ記憶領域２６に記憶されている。送出対象識別符号記憶領域２８に記憶されている識別符号は、上記したように識別符号１〜Ｎである。よって、答案データＡ１〜ＡＮ全てが送出の対象となる。
【００４６】
サーバコンピュータ２２は、各クライアントコンピュータ２１に答案データを送出する毎に、これに対応する識別符号を送出対象識別符号記憶領域２８から消去させる。これによって、このステップ１において同一の答案について重複して回答を行わせることを避ける。
【００４７】
一方、分類者甲の操作するクライアントコンピュータ２１において、分類者甲は、回答要求信号をクライアントコンピュータ２１からサーバコンピュータ２２に向けて送信する。上記したように、回答要求信号に基づいてサーバコンピュータ２２より順次送出される第１のチェックボックスシート５０、答案データ及び識別符号がクライアントコンピュータ２１で受信される。クライアントコンピュータ２１は、受信された答案データに基づいて答案画像をモニタ２１ａに表示させるとともに、第１のチェックボックスシート５０（ＣＢＳ１）をモニタ２１ａに表示させる。分類者甲は、モニタ２１ａに表示された答案画像を対象に、第１のチェックボックスシート５０上の質問文ＣＱ１及びＣＱ２のそれぞれに対して、その回答として「Ｙ」、「Ｎ」及び「Ｐ」の３つの選択肢から１つを選択する。そして、入力装置２１ｂを使用してチェック欄５１の対応する位置にチェックを付すことで選択した答えを表示させる。つまり、質問文ＣＱ１及びＣＱ２に対する答えを入力して回答する。分類者甲による回答の完了した後、クライアントコンピュータ２１は質問文ＣＱ１及びＣＱ２に対する「Ｙ」、「Ｎ」及び「Ｐ」のいずれかからなる回答の集合であるチェックパターン、すなわち回答結果に識別符号を付して、サーバコンピュータ２２に返送する。他の分類者においても同様の回答が行われる。そして、サーバコンピュータ２２においてこのような回答処理は、送出対象識別符号記憶領域２８に記憶されている識別符号がなくなるまで、つまり、全ての答案データを送出するまで続けられる。つまり、クライアントコンピュータ２１においても同様の処理が複数回繰り返される。
【００４８】
サーバコンピュータ２２は、各分類者の操作するクライアントコンピュータ２１から受信した回答結果を識別符号とともに、記憶装置２３の回答結果記憶領域２９に記憶させる。送出した全ての答案データに対する回答結果を記憶した後、サーバコンピュータ２２は回答結果記憶領域２９に記憶された回答結果のうち、チェックパターンが（Ｎ、Ｎ）のものとチェックパターンに「Ｐ」を含むものとを検索し、検索された回答結果に対応する識別番号を送出対象識別符号記憶領域２８に記憶させる。これが、ステップ１において保留され、次のステップ２において回答処理を行う対象となる。ここで保留されない回答結果を得た答案データはそのまま後述する分類処理を行うことができる。
【００４９】
［回答処理ステップ２］
サーバコンピュータ２２は、ステップ１と同様に、各クライアントコンピュータ２１より受信した回答要求信号に基づいて、それぞれのクライアントコンピュータ２１に第２のチェックボックスシート６０、答案データ、これに付された識別符号及びステップ１での回答結果（チェックパターン）を順次再送出する。ここで、再送出される答案データ及び回答結果は、送出対象識別符号記憶領域２８に記憶されている識別符号の付された答案データ及び回答結果である。送出対象識別符号記憶領域２８に記憶されている識別符号は、ステップ１においてチェックパターン（Ｎ、Ｎ）又はチェックパターンに「Ｐ」を含む回答結果に対応した識別符号である。
【００５０】
サーバコンピュータ２２は、各クライアントコンピュータ２１に答案データを送出する毎に、これに対応する識別符号を送出対象識別符号記憶領域２８から消去させる。これによって、このステップ２においても同一の答案について重複して回答を行わせることを避ける。
【００５１】
ステップ１と同様に、回答要求信号に基づいてサーバコンピュータ２２より第２のチェックボックスシート６０、答案データ、識別符号及び回答結果が送出され、クライアントコンピュータ２１で受信される。クライアントコンピュータ２１は、受信された答案データに基づいて答案画像をモニタ２１ａに表示させるとともに、第２のチェックボックスシート６０（ＣＢＳ２）をモニタ２１ａに表示させる。分類者甲は、モニタ２１ａに表示された答案画像を対象に、第２のチェックボックスシート６０上の質問文ＣＱ１乃至ＣＱ７のそれぞれに対して、その回答として「Ｙ」、「Ｎ」及び「Ｐ」の３つの選択肢から１つを選択する。そして、入力装置２１ｂを使用してチェック欄６１の対応する位置にチェックを付すことで選択した答えを表示させる。つまり、質問文ＣＱ１乃至ＣＱ７に対する答えを入力して回答する。ただし、ステップ１で「Ｙ」又は「Ｎ」の回答を入力されていた質問文については回答できないよう処理される。この場合、ステップ１の回答結果がそのまま引継がれる。分類者甲による回答の完了した後、クライアントコンピュータ２１は質問文ＣＱ１乃至ＣＱ７に対する「Ｙ」、「Ｎ」及び「Ｐ」のいずれかからなる回答の集合であるチェックパターン、すなわち回答結果に識別符号を付して、サーバコンピュータ２２に返送する。他の分類者においても同様の回答が行われる。そして、サーバコンピュータ２２においてこのような回答処理は、送出対象識別符号記憶領域２８に記憶されている識別符号がなくなるまで、つまり、ステップ１で保留となった答案データの全てを再送出するまで続けられる。
【００５２】
サーバコンピュータ２２は、各分類者の操作するクライアントコンピュータ２１から受信した回答結果を識別符号とともに、記憶装置２３の回答結果記憶領域２９に上書きして記憶させる。送出した全ての答案データに対する回答結果を記憶した後、サーバコンピュータ２２は回答結果記憶領域２９に記憶された回答結果のうち、チェックパターンに「Ｐ」を含むものを検索し、検索された回答結果に対応する識別番号を送出対象識別符号記憶領域２８に記憶させる。これが、ステップ２において保留され、次のステップ３において回答処理を行う対象となる。つまり、ここで保留されない回答結果を得た答案データはそのまま後述する分類処理を行うことができる。
【００５３】
［回答処理ステップ３］
サーバコンピュータ２２は、ステップ２と同様に、各クライアントコンピュータ２１より受信した回答要求信号に基づいて、それぞれのクライアントコンピュータ２１に第２のチェックボックスシート６０、答案データ、これに付された識別符号及びステップ２での回答結果（チェックパターン）を順次再送出する。ここで、再送出される答案データ及び回答結果は、送出対象識別符号記憶領域２８に記憶されている識別符号の付された答案データ及び回答結果である。送出対象識別符号記憶領域２８に記憶されている識別符号は、ステップ２においてチェックパターンに「Ｐ」を含む回答結果に対応した識別符号である。
【００５４】
サーバコンピュータ２２は、各クライアントコンピュータ２１に答案データを送出する毎に、これに対応する識別符号を送出対象識別符号記憶領域２８から消去させる。これによって、このステップ３においても同一の答案について重複して回答を行わせることを避ける。
【００５５】
ステップ２と同様に、回答要求信号に基づいてサーバコンピュータ２２より第２のチェックボックスシート６０、答案データ、識別符号及び回答結果がクライアントコンピュータ２１で受信される。クライアントコンピュータ２１は、受信された答案データに基づいて答案画像をモニタ２１ａに表示させるとともに、第２のチェックボックスシート６０（ＣＢＳ２）をモニタ２１ａに表示させる。分類者甲は、モニタ２１ａに表示された答案画像を対象に、第２のチェックボックスシート６０上の質問文ＣＱ１乃至ＣＱ７のそれぞれに対して、その回答として「Ｙ」、「Ｎ」及び「Ｐ」の３つの選択肢から１つを選択する。そして、入力装置２１ｂを使用してチェック欄６１の対応する位置にチェックを付すことで選択した結果を表示させる。つまり、質問文ＣＱ１乃至ＣＱ７に対する答えを入力して回答する。ただし、ステップ２で「Ｙ」又は「Ｎ」の回答を入力されていた質問文については回答できないよう処理される。この場合、ステップ２の回答結果がそのまま引継がれる。分類者甲による回答の完了した後、クライアントコンピュータ２１は質問文ＣＱ１乃至ＣＱ７に対する「Ｙ」、「Ｎ」及び「Ｐ」のいずれかからなる回答の集合であるチェックパターン、すなわち回答結果に識別符号を付して、サーバコンピュータ２２に返送する。他の分類者においても同様の回答が行われる。そして、サーバコンピュータ２２においてこのような回答処理は、送出対象識別符号記憶領域２８に記憶されている識別符号がなくなるまで、つまり、ステップ２で保留となった答案データの全てを送出するまで続けられる。
【００５６】
サーバコンピュータ２２は、各分類者の操作するクライアントコンピュータ２１から受信した回答結果を識別符号とともに、記憶装置２３の回答結果記憶領域２９に上書きして記憶させる。送出した全ての答案データに対する回答結果を記憶した後、サーバコンピュータ２２は回答結果記憶領域２９に記憶された回答結果のうち、チェックパターンに「Ｐ」を含むものを検索し、検索された回答結果に対応する識別番号を送出対象識別符号記憶領域２８に記憶させる。
【００５７】
［分類処理］
サーバコンピュータ２２は、記憶装置２３の回答結果記憶領域２９に記憶された回答結果を基に答案データＡ１〜ＡＮを分類処理する。ここで、送出対象識別符号記憶領域２８に記録されている識別符号に対応する回答結果には「Ｐ」が含まれており分類の対象としないため、同分類処理からは除外する。分類処理において、サーバコンピュータ２２は、類型記憶領域２７に記憶された類型毎のチェックパターンと各答案のチェックパターンとを比較して、チェックパターンが同一の答案に各類型を示す符号を付して、答案記憶領域２９に記憶させる。なお、かかる分類処理は、上記した各ステップの回答処理毎に分けて行ってもよい。
【００５８】
次に、回答処理のステップ１乃至３における分類者甲の回答について説明する。
【００５９】
例えば、図１０及び１１に示すように、答案Ｔ１乃至Ｔ７及びその他図示しない答案（計ｊ枚）が１人の分類者甲に順次与えられる。分類者甲はまず、上記した回答処理のステップ１において、計ｊ枚の答案について第１のチェックボックスシート５０により順に回答する。なお、本実施例において、各分類者は問題文の内容を知らされていない。これは、問題文を知ることによる予断を排除するため、即ち質問文に独自の解釈を加えてしまう可能性を排除するためである。
【００６０】
回答処理のステップ１において、分類者甲は、まず、答案Ｔ１について回答する。答案Ｔ１には「Ｖ」と読み取れる記載があり、「白紙答案か？」という質問文ＣＱ１に対して、チェック欄５１の「Ｎ」にチェックをする。次に質問文ＣＱ２の「答案として記載すべき内容と無関係な記載のみか？」に対しては、「Ｖ」と読み取れる記載は答案として記載すべき内容との関係が不明なため「Ｐ」にチェックをし、答案Ｔ１についての回答を終了する（図１２参照）。「Ｐ」を選択することにより、分類者甲の独自の判断で「Ｙ」又は「Ｎ」を選択してしまうことを防止する。答案Ｔ１の回答結果は（Ｎ、Ｐ）となり、答案Ｔ１は、特定の類型に分類されることなく持ち越される。
【００６１】
次に分類者甲は答案Ｔ２について回答する。答案Ｔ２には一切の記載がなく、分類者甲は答案Ｔ２を白紙答案であると容易に判断できるので（Ｙ、Ｎ）と回答する。答案Ｔ２は類型１に分類されることが決定するため、答案Ｔ２の以降の回答処理は不要となる。
【００６２】
次に、分類者甲は答案Ｔ３について回答する。答案Ｔ３には「わかりません」という記載があり、この記載は明らかに問題文と無関係な記載である。よって、分類者甲は（Ｎ、Ｙ）と回答する。その結果、答案Ｔ３の以降の回答処理は答案Ｔ２と同様に不要となる。さらに、分類者甲は答案Ｔ４乃至Ｔ７について回答する。これらについては、いずれも答案として記載すべき内容に関係する記載を含むが、分類者甲には問題文が与えられていない。よって、答案Ｔ４については答案として記載すべき内容との関係が不明であり（Ｎ、Ｐ）と回答する。以降、例えば答案Ｔ６まで同様に（Ｎ、Ｐ）と回答し、答案Ｔ７についての回答をしようとしたところで、答案Ｔ４乃至Ｔ７にはいずれも数式が記載されており、ｃｍの単位を付けた数字で答案の結論としての答えを記載していることに気付く。これにより、答案Ｔ４乃至Ｔ７は答案として記載すべき内容に関係のある記載を含むことを理解し、答案Ｔ７以降の答案について、同様の特徴をもつ記載に対しては（Ｎ、Ｎ）と回答する。これらの回答結果を図１２に示す。類型１又は類型２に分類されることが決定した答案Ｔ２及びＴ３のような答案以外の答案群については、回答処理のステップ２に持ち越す。
【００６３】
回答処理のステップ２において、分類者甲又は他の分類者は答案Ｔ１、答案Ｔ４乃至Ｔ７及びその他の図示しない答案群について第２のチェックボックスシート６０（ＣＢＳ２）により回答する。少なくとも答案Ｔ１、答案Ｔ４乃至Ｔ６については、回答処理のステップ１において「Ｐ」の選択された答案である。一度、自分に与えられた全ての答案について回答した結果、分類者甲及び他の分類者は、「Ｖ」の記載のように他の答案にない記載のことを認識する。そして、「Ｖ」に見える記載は、この記載をした受験者の解答を記述しようという意図とは別の意図によってなされたものであることを推認する。例えば、解答が全く分からないので、この問題には解答しないという意図が有ったと推定する。このように、一度回答した答案を相対的に比較することで、分類者甲又は他の分類者は、答案Ｔ１の「Ｖ」に見える記載を問題文に無関係な記載であると容易に推認できる。よって、分類者甲又は他の分類者は答案Ｔ１について（Ｎ、Ｙ、Ｎ、Ｎ、Ｎ、Ｎ、Ｎ）と回答する。答案Ｔ４乃至Ｔ６については、回答処理のステップ１の答案Ｔ７についての回答時においてすでに、質問文ＣＱ２に対する答えは明確（「Ｎ」）である。よって答案Ｔ４乃至Ｔ７について、分類者甲又は他の分類者は、図１３に示すように、
答案Ｔ４：（Ｎ、Ｎ、Ｙ、Ｙ、Ｙ、Ｎ、Ｙ）
答案Ｔ５：（Ｎ、Ｎ、Ｙ、Ｙ、Ｎ、Ｎ、Ｙ）
答案Ｔ６：（Ｎ、Ｎ、Ｎ、Ｙ、Ｎ、Ｎ、Ｙ）
答案Ｔ７：（Ｎ、Ｎ、Ｙ、Ｎ、Ｎ、Ｙ、Ｙ）
と回答した。これらのチェックパターンにより、答案Ｔ４は正答の類型に、答案Ｔ５は正しい方程式を記載したが計算間違いをしている類型に、答案Ｔ６は三平方の定理の方程式の理解が不十分である類型に、答案７は三平方の定理の方程式を誤って記憶している若しくは誤って記述している類型にそれぞれ分類できるのである。これにより答案Ｔ１〜Ｔ７の以降の回答処理は不要となる。その他図示しない答案のうち、回答結果に「Ｐ」を含む答案群については回答処理のステップ３に持ち越す。
【００６４】
回答処理のステップ３において、分類者甲は回答処理のステップ２において持ち越された答案について、回答処理のステップ２と同様に第２のチェックボックスシート６０（ＣＢＳ２）により回答する。この場合、上記したのと同様に自分に与えられた全ての答案について回答した結果、これらを相対的に比較することで、分類者甲又は他の分類者が一度「Ｐ」（保留）を付した答案についても容易に「Ｙ」（肯定）又は「Ｎ」（否定）の判断をし得る。
【００６５】
以上のように回答処理を行うことで、他の分類者によって同一の答案について回答されたとしても、「Ｙ」と「Ｎ」とが入れ替わる可能性は低くなる。なんとなれば、分類者甲の判断「Ｙ」及び「Ｎ」との間に存在する領域Ｕの存在により、ある質問文に対して迷いを生じる答案について「Ｐ」を選択することで回答結果を保留する一方で、「Ｙ」あるいは「Ｎ」を選択して回答結果が確定した答案については、分類者同士の主観の差を縮める事ができるからである。よって「Ｙ」及び「Ｎ」のみの組合せからなるチェックパターンに基づく分類処理は分類者甲の独自の判断に依存しないのである。そして、同分類処理にある一定の客観性を持たせ得る。よって、答案の数が多い場合において、複数の分類者によって回答処理を分担することで効率的な回答処理を行いつつ、分類処理にある一定の客観性を担保することができるのである。
【００６６】
また、回答処理のステップ３においても回答結果に「Ｐ」のある答案については、特定の分類者丙・丁によって再度回答することでそれぞれの類型に分類し得る。この場合、チェックパターンに「Ｐ」を含む回答結果に対応する識別番号が送出対象識別符号記憶領域２８に記憶されているので、この識別符号に対応する答案データのみを抽出する。そして、これらの答案データは、類型の意味とこれに分類される答案についての理解の深い１人若しくは回答や分類についての同一の判断基準を共有する少人数の分類者丙・丁によって回答結果が「Ｐ」となっていた質問文についてのみ再び回答される。これにより、画一的な判断基準により回答結果が得られるため客観性を担保しつつ、しかも効率的に全ての答案を分類し得るのである。
【００６７】
本システムにおいては、特定の教育課題に対する受験者群の理解傾向を調査するにあたり、かかる教育課題に関する記述式問題テストの問題文に対する各受験者の答案を分類する方法を採用している。受験者群の理解傾向を調査するには、各受験者の答案ではなく、各受験者の想起した解答を分類できることが理想である。しかし、分類者には各受験者の解答を直接分類することはできず、答案を作成する各受験者の技量の差異を含んだ答案を分類し得るのみである。特に、小学校の低学年の受験者群においては、答案の記述力が低いために解答として想起した思想が答案に反映されづらくなることも多い。こういった場合に、本システムによって分類することにより、多数の答案を相対的に比較することになる。そして、多数の答案の相対的な比較により、答案を作成した受験者群の目線から答案を分類し、これによって表現力の不足している答案に対してもその意図を相当程度拾い上げることができる。また、分類のための回答に際して「Ｐ」（保留）を選択することを認めることで、分類者は、判断技術（習熟度）を向上させてから、判断に迷うチェック項目に関して再度回答することができる。その結果、答案を記述した受験者群の意思を拾い上げ易くなる。つまり、答案のみならず、解答をも可及的に分類し得るのである。
【００６８】
本実施例において、質問文の個数は７個であるが、択一関係となる質問文を含まないと仮定した場合にチェックパターンは２７個まで作成し得る。つまり、あらかじめ予測された解答類型に該当しないチェックパターンを有する答案も十分に存在し得る。このとき、この答案についての解答類型を分析することで、あらかじめ予測し得なかった解答類型までも分類の対象とし得る。
【００６９】
さらに、本システムにおいて、ステップ２又はステップ３で答案データを再送出するに先立って、各質問文について修正をして、これをサーバコンピュータ２２に入力し、チェックボックスシート記憶領域２５に修正した質問文群を記憶させるようにしてもよい。この場合において、質問文の修正は、質問文で求める内容を実質的に変更することなく、表現などを変更して行われる。修正された質問文は求める内容が実質的に変更されていないため、回答処理により再送出されて受信されるチェックパターンは、既に、チェックパターン記憶部に記憶されたチェックパターンと相関を得ることが出来て、保留を含むチェックパターンの数を効率的に減らすことが出来得る。例えば、「Ｐ」の多かった質問文について、上記した回答や分類についての同一の判断基準を共有する少人数の分類者丙・丁によって、他の分類者がより判断に迷わないように質問文を修正する。このようにすることで、より効率的でありながら客観性のより高い答案分類支援システムを与えることができる。
【００７０】
ここまで本発明による代表的実施例を説明したが、本発明は必ずしもこれらに限定されるものではなく、当業者であれば、添付した特許請求の範囲を逸脱することなく、種々の代替実施例及び改変例を見出すことができる。
【符号の説明】
【００７１】
１ 答案分類支援システム
１０、５０ 第１のチェックボックスシート
１１、６０ 第２のチェックボックスシート
２１ クライアントコンピュータ
２２ サーバコンピュータ
ＣＱ１〜ＣＱ７ 質問文
【技術分野】
【０００１】
本発明は、受験者に問題を提示した上で一定量の自由な答案の記述を求める記述式問題テストにおいて、受験者の想起した解答が表現された答案を所定の解答類型に分類するための答案分類支援システムに関する。
【背景技術】
【０００２】
テストの受験者は問題を提示されるとこの問題に対する解答を検討しこれをまとめて答案に表現する。例えば、各種学校の入学テストなどのように、受験者の入学を許可するかどうかの判断材料の提供を目的とするテストでは、答案を採点しこれらを序列化できることが求められる。
【０００３】
ところで、テストの採点方法において、限られた採点時間の中では、問題に対する正答を答案に表現できているかだけを採点の対象とすることも多い。その一方で、受験者を多面的に評価・判断するためにも、１つの問題に対して複数の中間結果、すなわち正答かどうかだけでなく、その途中の結果についても採点の対象とすることも行われる。かかる場合、最終的な結果までの複数の中間結果をあらかじめ予測し、結果毎に段階的に点数を与えて採点を行う。
【０００４】
受験者に問題を提示した上で一定量の自由な答案の記述を求める記述式問題テストでは、問題の作成の仕方次第ではあるものの、一般的に、最終的な結果までの複数の中間結果をあらかじめ予測しておくことは困難である。特に、自由な答案の記述を求め得るとの記述式問題テストの特徴を活かせば活かすほど、その予測は困難となる。そこで、各中間結果についての概念的なガイドラインを作成して、判断の裁量を採点者に与え、その主観で採点をさせてしまうことも行われる。すると、同じ答案であっても少なからず採点者毎に採点結果に差が出てしまう。特に、受験者の数が多く答案の数が多いにも関わらず、採点結果を一定時間内に出さねばならないような場合にあっては、多数の採点者を採用せざるを得ず、採点者毎の三者三様の主観が重畳されて、正確な採点を困難にしてしまうといった問題が生じていた。
【０００５】
これに対して特許文献１は、採点結果を収集するシステムにおいて、１の採点者の採点結果を他の採点者の採点根拠を参照しながら再評価し、これを修正して複数の採点者間の主観差を排することの出来る答案採点支援システムを開示している。複数の採点者間で採点結果が一致せず、採点結果の客観性に疑問がある場合には、他の採点者の採点根拠を参照しながら採点結果を再検討し、一度登録した採点結果を修正できるのである。すなわち、各中間結果についての概念的なガイドラインを共有できるのである。これにより、自らが行った主観による採点結果について、様々な視点から再評価できると述べている。
【０００６】
一方、国や地方自治体の教育指針を定めるための調査テストでは、過去の教育の結果と今後の教育の課題とを分析するための判断材料の提供が求められる。このような調査テストであっても、記述式問題テストが採用される。問題に対する所定の結果に至るまでの受験者の思考過程を細かく分析できるよう、問題が綿密に作成された上で、調査対象としての母集団により作成された答案が集められる。これらは解答類型毎に分類され、解答類型毎に分類された答案の数などが統計処理されて、前記した判断材料となるのである。
【０００７】
このような調査テストでは、問題に対する正答を答案に表現できているか否かだけを分類の対象とするものではないため、解答類型が非常に多くなりがちである。また、受験者の数が非常に多く、答案の数も多くなる。例えば、受験者の数が数十万人、数百万人といったことさえもある。これに対して、特許文献２や３に開示されたような、肯定若しくは否定のみで答え得る答案に関連する複数の質問文からなるチェックボックスを用いた答案分類支援システムが提案されている。このチェックボックスに与えられた肯定か否定かのチェックの組合せであるチェックパターンに基づいて、多数の答案を多数の解答類型に素早く、しかも分類作業を行う者（以下において、これを分類者と称する。）の数を増やしても客観的に分類でき得るのである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−２７７０８６号公報
【特許文献２】特開２００９−２２９６０６号公報
【特許文献３】特開２０１０−０７８６３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記したような調査テストにおける特許文献２又は３の答案分類支援システムに特許文献１のシステムを適用しようとすれば、複数の分類者間でチェックパターンが異なったときに他の分類者の根拠を参照しながらチェックパターン結果を再検討し、一度登録したチェックパターンを修正して、より客観的に分類でき得る。しかしながら、１つの答案を複数の分類者で必ず複数回だけ分類しなければ客観性を高めることは出来ず、多くの答案を処理することはできない。
【００１０】
本発明はかかる状況に鑑みてなされたものであって、その目的とするところは、受験者に問題を提示した上で一定量の自由な答案の記述を求める記述式問題テストにおいて、受験者の想起した解答が表現された答案を所定の解答類型に分類するためのより効率的でありながら客観性のより高い答案分類支援システムを提供することである。
【課題を解決するための手段】
【００１１】
本発明は、受験者に問題を提示した上で一定量の自由な答案の記述を求める記述式問題テストにおいて、受験者の想起した解答が表現された答案を複数の解答類型に分類するための答案分類支援システムであって、前記答案のそれぞれを画像データとしてこれを識別するための識別符号を関連付けて記憶した答案データ記憶部と、肯定又は否定の二択の質問文の複数からなる質問文群を記憶したチェックボックスシート記憶部と、前記質問文群とともに、前記識別符号及びこれに関連付けされた前記答案の前記画像データを順次、端末装置に向けて送出する送出部と、前記識別符号とともに前記質問文群に対するチェックパターンのデータを前記端末装置から受信し前記識別符号及び前記チェックパターンを関連付けてチェックパターン記憶部に記憶させる受信部と、を含み、前記チェックパターンは前記質問文群の前記質問文のそれぞれに対応する肯定、否定又は保留のいずれかからなる回答の集合であり、前記チェックパターン記憶部に記憶された前記チェックパターンのうち保留を含む前記チェックパターンに対応する前記識別符号を検索する検索部と、前記送出部に対して、前記検索部で検索された前記識別符号及びこれに関連付けられた前記画像データを順次、前記質問文群とともに前記端末装置に向けて再送出するよう仕向けさせる再送出部と、を更に含むことを特徴とする。
【００１２】
かかる発明によれば、受験者の想起した解答が表現された答案を複数の解答類型に分類する調査テストの如きであっても、１つの答案を複数の分類者で必ず複数回だけ分類する必要なく、分類の客観性を高めることができるのである。すなわち、より効率的でありながら客観性のより高い答案分類支援システムを与えるのである。
【００１３】
上記した発明において、前記再送出部の起動に先立って、前記質問文群の前記質問文毎の修正を外部入力させて前記チェックボックスシート記憶部に修正質問文群を記憶させる追加入力部と、を更に含み、前記再送出部は、前記チェックボックスシート記憶部の前記修正質問文群を前記送出部に対して再送出するよう仕向けさせることを特徴としてもよい。
【００１４】
かかる発明によれば、質問文で求める内容を実質的に変更することなく表現などを変更した修正質問文にて質問文群を再構成できるので、再送出部による仕向けにより送出部から再送出されて受信されるチェックパターンは、既に、チェックパターン記憶部に記憶されたチェックパターンと相関を得ることが出来て、保留を含むチェックパターンの数を効率的に減らすことが出来得る。すなわち、より効率的でありながら客観性のより高い答案分類支援システムを与えるのである。
【００１５】
上記した発明において、前記質問文群の前記質問文の個数をｎとし、前記解答類型をｍ個（ｍ＞２）とすると、２ｎ＞ｍを満たすことを特徴としてもよい。かかる発明によれば、得られうるチェックパターンの数は２ｎ個であって、あらかじめ予測された解答類型に該当しないチェックパターンを含む。つまり、かかるチェックパターンを有する答案があるとき、この答案についての解答類型を分析することで、あらかじめ予測し得なかった解答類型までも分類し得るのである。
【図面の簡単な説明】
【００１６】
【図１】本発明による答案分類支援システムの処理手順を示す図である。
【図２】本発明による答案分類支援システムの処理手順を示す図である。
【図３】本発明による答案分類支援システムの処理手順を示す図である。
【図４】本発明による答案分類支援システムの処理手順を示す図である。
【図５】本発明による答案分類支援システムを使用した場合の分類者の判断技術について説明する図である。
【図６】本発明による答案分類支援システムのブロック図である。
【図７】答案分類支援システムで使用される問題文の図である。
【図８】答案分類支援システムで使用される第１のチェックボックスシートの図である。
【図９】答案分類支援システムで使用される第２のチェックボックスシートの図である。
【図１０】答案データを示す図である。
【図１１】答案データを示す図である。
【図１２】各答案データについてのチェックパターンの図である。
【図１３】各答案データについてのチェックパターンの図である。
【発明を実施するための形態】
【００１７】
まず、本発明による答案を分類するための答案分類支援システムの原理について説明する。
【００１８】
答案分類処理システムによる答案の分類に先だって、管理者は記述式問題テストの問題文を複数の受験者に与え、同問題文に対する答案をそれぞれの受験者に作成させる。各受験者は、同問題文に対する解答を想起し、これを各受験者の技量の範囲において解答欄に記述して答案を作成する。つまり、本明細書における解答とは、各受験者の想起した問題文に対する思想そのものであり、答案とは、かかる思想に基づいて書面上に記述された情報をいう。
【００１９】
答案の分類は、複数のチェックボックスシートを用いた分類方法により行われる。チェックボックスシートとは、肯定若しくは否定のみで答え得る答案に関連する複数の質問文からなる質問文群と、各質問文に対する肯定及び否定の旨の回答を記載するチェック欄（チェックボックス）とを含む情報群をいう。
【００２０】
管理者は、受験者に作成させた答案をサーバコンピュータに画像データとして記憶させ、これを複数の分類者に割り振るべく、各分類者の操作するクライアントコンピュータに送出する。各分類者は、サーバコンピュータより自らの操作するクライアントコンピュータに送出されて自分に割り振られた答案の各々について、サーバコンピュータより送信されたチェックボックスシートの内容に基づいて、クライアントコンピュータ上に表示された質問文全てに対して、肯定か否定かを各チェック欄にチェックを付すことにより回答する。かかる各チェック欄へのチェックの結果として得られる、質問文全てに対する肯定か否定かのチェックの組合せ、すなわち回答の集合をチェックパターンという。サーバコンピュータは、このチェックパターンに基づいて答案を分類する。例えば、ある模範答案とチェックパターンが同一である答案は、当該模範答案の類型に分類され得る。かかる分類結果は、過去の教育の結果と今後の教育の課題とを分析するための判断材料とされ得る。
【００２１】
図１に示すように、本発明において、第１のチェックボックスシート１０（ＣＢＳ１）は、２つのチェック項目ＣＢ１及びＣＢ２を含み、それぞれ肯定（Ｙ）若しくは否定（Ｎ）のみで答え得る答案に関連する質問文ＣＱ１及びＣＱ２と、各質問文に対し肯定（Ｙ）、否定（Ｎ）若しくは保留（Ｐ）を入力するチェック欄（Ｙ、Ｎ、Ｐ）とからなる。また、図２に示すように、第２のチェックボックスシート１１（ＣＢＳ２）は、ｎ個のチェック項目ＣＢ１〜ＣＢｎを含み、肯定（Ｙ）若しくは否定（Ｎ）のみで答え得る答案に関連する質問文ＣＱ１〜ＣＱｎと、各質問文に対するチェック欄（Ｙ、Ｎ、Ｐ）とからなる。質問文ＣＱ１〜ＣＱｎは、肯定又は否定を選択する判断が容易な内容であることが好ましい。即ち、質問文は、特定の内容が答案に記述されているかを実質的に判断するのではなく、答案の記載を形式的に判断できるものが好ましい。これにより、各分類者の主観差を排した分類結果を得やすくなる。
【００２２】
ここで、複数の分類者のうちの１人（以下、分類者甲と称する）が、順次、自分に割り振られる答案ＴＡ１〜ＴＡｉ（ｉは受験者総数より小である）について質問文群に回答し、これを分類する場合について説明する。
【００２３】
図１を参照すると、まず、ステップ１において、分類者甲は，サーバコンピュータから自分のクライアントコンピュータに割り振られた各答案ＴＡ１〜ＴＡｉについて、第１のチェックボックスシート１０の質問文ＣＱ１及びＣＱ２について回答する。即ち、各チェック項目ＣＢ１、ＣＢ２について、「Ｙ（肯定）」、「Ｎ（否定）」、「Ｐ（保留）」の３つの選択肢のうちのどれか１つの答えを選択し、チェック欄にチェック、すなわち回答するのである。ステップ１では、ステップ２で再度、回答処理する答案の数を減じて、効率的に分類を行うことを主目的としている。従って、ステップ１で分類できる類型は、ステップ２で分類できる類型よりも少なく、チェック項目数も少ない。ここでは、例えば、質問文ＣＱ１及びＣＱ２の内容は、ともに単独のチェック項目によってそれぞれ類型１及び類型２に答案を択一的に分類できるように作成される。クライアントコンピュータから受信した回答結果に基づき、サーバコンピュータは、質問文ＣＱ１に対して「Ｙ」と回答された答案を類型１へ、質問文ＣＱ２に対して「Ｙ」と回答された答案を類型２へそれぞれ分類する。上記したように、質問文ＣＱ１とＣＱ２は択一関係にあるので質問文ＣＱ１及びＣＱ２の両方に対して「Ｙ」が選択されることはない。
【００２４】
上記したように、質問文ＣＱ１及びＣＱ２は肯定又は否定を選択する判断を容易とするような内容であることが好ましい。しかし、答案に記載されている内容によっては、質問文ＣＱ１又はＣＱ２に対する答えの判断に分類者甲が迷いを生じることがある。かかる場合にチェック欄が「Ｙ」及び「Ｎ」しかない場合、分類者甲は「Ｙ」又は「Ｎ」のどちらかを迷いながらも選択せざるを得ない。即ち、分類者甲の独自の判断によって「Ｙ」又は「Ｎ」を選択するため、仮に甲と異なる分類者乙により同一の答案について回答した場合に、質問文ＣＱ１及びＣＱ２に対する判断が異なることになる。つまり、チェック欄が「Ｙ」及び「Ｎ」しかない場合、分類者甲の独自の判断に依存したチェックパターンを使用することになるために画一的な分類処理が行えない。本システムにおいては、このような判断に迷いを生じる場合に分類者甲に「Ｐ」を選択させ、回答結果に「Ｐ」を含む答案を類型に分類せずに持ち越す。よって、「Ｙ」と「Ｎ」との組合せからなるチェックパターンにより答案を分類処理するに際し、同処理が分類者甲の独自の判断に依存することを防止し、画一的な分類処理を図れる。
【００２５】
ここで、図５（ａ）に示すように、答案ＴＡ１乃至ＴＡ３、ＴＡ６及びＴＡ７のそれぞれについて、質問文ＣＱ１に対して分類者甲が回答する場合を考える。答案ＴＡ１は「Ｙ」と容易に判断し得る範囲である線分Ｙ−Ｙｓ上に位置するので分類者甲は答えの判断に迷わない。点Ｙｓは、分類者甲が「Ｙ」と判断できる限界を意味する。また、答案ＴＡ２は「Ｎ」と容易に判断できる範囲である線分Ｎ−Ｎｓ上に位置するので判断に迷わずに「Ｎ」と回答される。点Ｎｓは、分類者甲が「Ｎ」と判断できる限界を意味する。これに対して、答案ＴＡ３、ＴＡ６及びＴＡ７については、線分Ｍ１−Ｍ２上には位置するものの、線分Ｙ−Ｙｓ上に位置するか、或いは線分Ｎ−Ｎｓ上に位置するかは必ずしも明らかではなく、判断に迷う。例えば記載が不明瞭で分類者甲がその記載から読み取った内容に自信が持てない場合がある。このような場合に、分類者甲の独自の判断によって例えば答案ＴＡ３について「Ｎ」などと回答されてしまうことを防ぐため、「Ｐ」なる選択肢を予め用意し、分類者甲に同答案について「Ｐ」を選択させる機会を与えるのである。その結果、質問文ＣＱ１に対して、分類者甲は、答案ＴＡ１について「Ｙ」、答案ＴＡ２について「Ｎ」、答案ＴＡ３、ＴＡ６及びＴＡ７について「Ｐ」と回答するのである。
【００２６】
再び図１を参照すると、各答案ＴＡ１〜ＴＡｉは、（ＣＢ１、ＣＢ２）に対応するチェックパターンが（Ｙ、Ｎ）ならば類型１に分類され、（Ｎ、Ｙ）ならば類型２に分類される。チェックパターンがそれ以外｛（Ｐ、Ｙ）、（Ｐ、Ｎ）、（Ｙ、Ｐ）、（Ｎ、Ｐ）、（Ｐ、Ｐ）、（Ｎ、Ｎ）｝の場合、対応する答案は類型に分類されない。なお、類型１と類型２は択一関係となるように質問文ＣＱ１及びＣＱ２が作成されているため、チェックパターン（Ｙ、Ｙ）はあり得ない。
【００２７】
ステップ１において、答案ＴＡ１は類型１に、答案ＴＡ２は類型２にそれぞれ分類され、ステップ２では処理されない。答案ＴＡ３、ＴＡ６及びＴＡ７は（Ｐ、Ｐ）のチェックパターンであるため、ステップ２で再度、処理される。チェックパターンが（Ｎ、Ｎ）となった答案ＴＡ４などもステップ２で再度、処理される。
【００２８】
次に、図２に示すように、ステップ２では、分類者甲は、ステップ１で持ち越された答案、すなわち、答案ＴＡ３、ＴＡ６及びＴＡ７や、答案ＴＡ４について、第２のチェックボックスシート１１に従って処理し、クライアントコンピュータに入力して回答する。第２のチェックボックスシート１１はｎ個のチェック項目ＣＢ１〜ＣＢｎ（２＜ｎ）を有し、チェック項目ＣＢ１及びＣＢ２のそれぞれに対応する質問文ＣＱ１及びＣＱ２は、第１のチェックボックスシート１０のそれと共通である。数少ない質問文によって効率よく答案の分類を図るステップ１と異なり、ステップ２において使用されるチェック項目ＣＢ３〜ＣＢｎにおける各質問文ＣＱ３〜ＣＱｎは、ステップ１において使用する質問文ＣＱ１及びＣＱ２に比べて、多数のチェック項目の組合せによって初めて答案を分類し得る類型に分類するために必要な質問文群である。これらの質問文群は、受験者の作成した答案が、問題文から予想される複数の答案の類型のうち最も近い類型に分類され得るように管理者によって作成される。例えば、ある質問文群は、これによって正答の記載された答案について回答をした場合の回答結果（チェックパターン）が正答を示す模範答案の回答結果と同一となるように作成される。また、ある質問文群は、これによってある典型的な誤答を記載された答案について回答をした場合の回答結果が、その典型的な誤答の答案例の回答結果と同一となるように作成される。なお、ステップ１において回答結果が「Ｙ」又は「Ｎ」であるチェック項目については、ステップ２における再度の回答は不要としてもよい。
【００２９】
ステップ１において「Ｐ」を選択されたチェック項目について、クライアントコンピュータは分類者甲にステップ２において再度の回答を要求する。再度の回答を行うに当たって、分類者甲は図５（ａ）に示すように、一旦「Ｐ」を選択されて持ち越しとなった答案ＴＡ３、ＴＡ６、ＴＡ７について、質問文ＣＱ１に対して「Ｙ」又は「Ｎ」と回答できないか見直すことになる。見直すにあたり、分類者甲に新たな情報が与えられなければ「Ｐ」を選択した判断は変わらない。最初に「Ｐ」と回答した後に新たな情報として分類者甲に与えられるのは、ステップ１において「Ｐ」と回答した後に回答を行った答案群のみである。分類者甲は、多数の答案同士の相対的な比較をしながら回答を進めることにより答えを選択する判断技術の向上を図ることになる。かかる判断技術の向上に基づき、図５（ｂ）に示すように、分類者甲は、質問文ＣＱ１に対する回答が、線分Ｙ−Ｙｓ上に位置するか、線分Ｎ−Ｎｓ上に位置するかを判断することができるようになる。そして、分類者甲は、ステップ１において判断に迷った答案ＴＡ３、ＴＡ６、ＴＡ７のそれぞれについて、質問文ＣＱ１に対する答えがそれぞれ線分Ｙ−Ｙｓ上、線分Ｙｓ−Ｎｓ上、線分Ｎ−Ｎｓ上に位置することを認識できる。
【００３０】
例えば、当初意味を読み取れなかった答案の記載について、多数の答案と相対的に比較した結果、ようやく意味が明らかになる場合などが想定され得る。つまり、ステップ１に比べて「Ｐ」を選択する幅が減少したのである。特に、例えば小学校の低学年の児童のように答案の記述力が低かったり、分類者と離れた感覚を持ち合わせていたりする受験者の答案を対象とする場合、答案に記載された内容の判断をしづらい場合が多い。このような場合に、従来であれば、例えば予想答案との比較などによって、問題文の作成者側の視点から受験者が答案に記述しようとしたものを読み取ろうとしていた。そのため、受験者と分類者との認識の差異により誤解を含む場合があった。ところが、本システムにおいては多数の答案を相対的に比較することにより受験者が答案に記述しようとした解答を読み取ろうとする。多数の受験者によって記載された答案を比較対象とするため、その多数の受験者達と、これに属する１人の受験者との感覚との差異は小さく、その１人の受験者の答案に記述しようとした解答の意図を拾い上げることが容易になるのである。このようにして、ステップ１において「Ｐ」とされたチェック項目についても、ステップ２で新たに「Ｙ」及び「Ｎ」と判断され得る。ステップ２において質問文に対して肯定か否定かの判断に迷いを生じる答案ＴＡ６について、分類者甲は答えに「Ｐ」を選択し回答する。
【００３１】
図５において、この迷いを生じる範囲を領域Ｕと定義する。領域Ｕは、分類者甲の判断「Ｙ」及び「Ｎ」との間に存在する。本システムでは、ある質問文に対して迷いを生じる答案について「Ｐ」を選択することで回答結果を保留する一方で、「Ｙ」あるいは「Ｎ」を選択して回答結果が確定した答案については、分類者同士で判断基準を擦り合わせることなく主観の差を縮めることができる。各分類者は、判断基準を多数の受験者によって記載された答案によって修正できるからである。つまり、仮に分類者甲と分類者乙とが同一の答案について回答し、さらに両者の間で「Ｙ」と「Ｐ」との異なる判断がなされるような場合であっても、「Ｐ」と判断した後者については再度答えを選択し、「Ｙ」と判断されるので最終的に同一の回答結果となる。よって、仮に分類者乙によって同一の答案について回答されたとしても「Ｙ」と「Ｎ」とが入れ替わる可能性は低いのである。また、同一の質問文に対して多数の答案についての答えを選択した経験により、この領域Ｕの幅は減少する。そのような領域Ｕの幅の減少は、判断技術の向上（習熟度の向上）を意味する。つまり、分類者甲は、答案の記載から、問題文に対して受験者達がどのように解答しようとしているかを理解し、解答の意図を読み取ることが容易になる。なお、「Ｙ」か「Ｐ」かの選択、又は「Ｎ」か「Ｐ」かの選択は、分類者甲の独自の判断によるが、これは上記した「Ｐ」を選択する領域Ｕの幅についての個人差の存在、すなわち答えを選択する習熟度についての個人差の存在を意味する。このようにして「Ｙ」と「Ｎ」のみからなる回答結果については、分類者甲の独自の判断に依存しないようにできるのである。そのため、「Ｙ」と「Ｎ」との組合せのみからなるチェックパターンに基づく分類処理は分類者甲の独自の判断に依存せず、分類処理に一定の客観性をもたせ得るのである。
【００３２】
更に、ステップ２において、サーバコンピュータは、図３に示すように答案ＴＡ３〜ＴＡｉのそれぞれに対応するチェックパターンにより、答案ＴＡ３〜ＴＡｉを分類処理する。回答結果のうちいずれかに「Ｐ」のある答案は持ち越しとされる。残った答案（回答結果に「Ｐ」のない答案）のうち、チェック項目ＣＢ１の回答結果を「Ｙ」とする答案は類型１に分類される。さらに、残った答案のうち、チェック項目ＣＢ２の回答結果を「Ｙ」とする答案は類型２に分類される。ＣＢ１及びＣＢ２がともに「Ｎ」で、ＣＢ３〜ＣＢｎのチェックパターンが所定のパターンに合致した答案はそれぞれ類型３〜類型ｍ−１に分類される。所定のパターンのいずれにも該当しない答案は類型ｍ（ｍ≦２ｎ）に分類され。例えば、ある答案は「正答」という類型に分類される。また、ある答案は、同答案の序盤に記載されている一部の情報が「正答」という類型に分類される答案に記載されている情報と同一であるものの論理展開を誤っているため、「論理展開の誤り」という類型に分類される。
【００３３】
ステップ３において、図４に示すように、分類者甲はステップ２で持ち越しとされた（回答結果に「Ｐ」のあった）答案ＴＡ４、ＴＡ６及びその他の答案群について、再び第２のチェックボックスシート１１を使用して「Ｐ」を付したチェック項目のみについて答えを選択し、これをクライアントコンピュータに入力して回答する。本ステップでは、「Ｐ」を付した項目のみについての回答を得ることが目的であるため、ステップ２と同一の第２のチェックボックスシート１１を使用すれば足りるのである。ここで、ステップ２と同様に、一度「Ｐ」を選択されたチェック項目であっても、同項目についての分類者甲の判断技術（習熟度）が向上することによって、迷わず「Ｙ」又は「Ｎ」と判断され、回答される場合がある。このように回答された答案は、サーバコンピュータにおいてステップ２と同様に分類される。
【００３４】
以上のように答案の分類処理をすると、ステップ１においてはチェック項目の数が少なくて済む。また、ステップ３において、ステップ２で「Ｐ」を選択されたチェック項目についてのみ回答をすれば足りるので、回答処理の重複が少ない。また、「Ｙ」と「Ｎ」のみの組合せからなるチェックパターンに基づく分類処理は分類者甲の独自の判断に依存しないので分類処理に、一定の客観性をもたせ得る。よって、答案の数が多い場合において複数の分類者によって回答を分担することで効率的な回答処理を行いつつ、分類処理にある一定の客観性を担保することができるのである。
【００３５】
ここでは、分類者甲が同一の答案について保留した後に再度回答をする場合について説明したが、上記したように判断技術は多数の答案同士の相対的な比較により向上する。よって、あるステップで分類者甲及び乙が別々の答案について回答し、分類者甲により保留にされた答案について、次のステップで分類者乙が回答する場合についても全く同様に、分類処理に一定の客観性をもたせ得る。
【００３６】
また、ステップ３において持ち越された答案については、特定の分類者丙・丁によって再度回答して所定の類型に分類し得る。例えば、複数の分類者甲・乙の担当した答案群のうち、ステップ３において持ち越された答案群のみを収集し、類型の意味とこれに分類される答案についての理解の深い１人若しくは同一の判断基準を共有する少人数の分類者丙・丁によって同答案に対する回答が行われる。この場合、図５（ｃ）に示すように、分類者丙・丁の判断には「Ｐ」を選択する範囲がなく（領域Ｕの幅不存在）、線分Ｙ−Ｙｓ上にある答案ＴＡ６を「Ｙ」と判断できる。これにより、分類者毎に異なる回答結果となることを可及的に防止して一定の客観性を担保しつつ、しかも効率的に全ての答案を分類し得る。
【実施例】
【００３７】
本発明による答案を分類するための答案分類支援システムの実施例について、図６乃至図１３を用いて説明する。
【００３８】
［システム構成］
図６に示すように、答案分類支援システム１は、インターネット回線やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信回線２０によって接続された複数のクライアントコンピュータ２１及び問題作成者等の管理者によって使用されるサーバコンピュータ２２を含む。サーバコンピュータ２２は、記述式問題テストの問題文を記憶する問題文記憶領域２４、チェックボックスシート記憶領域２５、答案データ記憶領域２６、類型記憶領域２７、送出対象識別符号記憶領域２８、回答結果記憶領域２９などを有する記憶装置２３を備える。また、サーバコンピュータ２２は、モニタ２２ａ及びキーボード２２ｂを有するとともに、図示しないスキャナなどの入力装置を有する。また、クライアントコンピュータ２１には、モニタ２１ａ及びキーボード等の入力装置２１ｂを備える。
【００３９】
［問題文の作成］
図７に示すように、管理者は、「三平方の定理」に関する問題文ｑを作成する。問題文ｑは、三平方の定理の公式を使用すること及び一元二次方程式を解くことについての特定の受験者群の理解傾向を調査することを目的として作成される。問題文ｑの内容は、「直角三角形の直角を挟む２辺の長さがそれぞれ１ｃｍと２ｃｍである場合、斜辺の長さをｘｃｍとしたときのｘを方程式を立てて求めなさい。」であり、一元二次方程式を使って答えを導く過程の記述を促す問題文とされている。管理者は、かかる問題文ｑをサーバコンピュータ２２のキーボード２２ｂ若しくは図示しないスキャナなどの入力装置から入力し、記憶装置２３の問題文記憶領域２４に記憶させる。
【００４０】
［チェックボックスシートの作成］
図８に示すように、第１のチェックボックスシート５０は、「Ｙ」若しくは「Ｎ」のみで答えることのできる質問文ＣＱ１及びＣＱ２とこれに対するチェック欄５１（Ｙ、Ｎ、Ｐ）とを表示した情報群である。質問文ＣＱ１及びＣＱ２は、管理者によって作成される。質問文ＣＱ１及びＣＱ２は、各分類者の独自の判断に依存しない回答結果を得られるように、肯定又は否定の判断を容易とし、一定レベルの分類者であればどの分類者によっても同一の答案に対しては同じ判断となり得るような内容とすることが好ましい。質問文ＣＱ１及びＣＱ２の内容は、単独のチェック項目によって答案を分類できる類型に対応するよう作成される。本実施例では、「白紙答案」及び「答案として記載すべき内容と無関係な記載のみの答案」の２つの類型に分類するために「白紙答案か？」（ＣＱ１）及び「答案として記載すべき内容と無関係な記載のみか？」（ＣＱ２）の２つの質問文を設けている。第１のチェックボックスシート５０は、各分類者によって回答に使用されるものである。チェック欄５１の対応する位置にチェックを付すことで質問文ＣＱ１及びＣＱ２に対する回答を「Ｙ」、「Ｎ」、「Ｐ」の中から各分類者が選択できる。管理者によって作成された第１のチェックボックスシート５０の内容は、記憶装置２３のチェックボックスシート記憶領域２５に記憶される。なお、質問文ＣＱ１及びＣＱ２は互いに択一関係となるように作成されているため、第１のチェックボックスシート５０に従って得たチェックパターンが（Ｙ、Ｙ）となることはない。
【００４１】
図９に示すように、第２のチェックボックスシート６０は、「Ｙ」若しくは「Ｎ」のみで答えることのできる質問文ＣＱ１乃至ＣＱ７と、これに対するチェック欄６１（Ｙ、Ｎ、Ｐ）とを表示した情報群である。第２のチェックボックスシート６０は、各分類者によって回答に使用されるものである。チェック欄６１の対応する位置にチェックを付すことで質問文ＣＱ１乃至ＣＱ７に対する答えを「Ｙ」、「Ｎ」、「Ｐ」の中から各分類者が選択できる。質問文ＣＱ１乃至ＣＱ７は、各分類者の独自の判断に依存しない回答結果を得られるように「Ｙ」又は「Ｎ」の判断を容易とし、一定レベルの分類者であればどの分類者によっても同一の答案に対しては同じ選択結果となり得るような内容が好ましい。質問文ＣＱ１及びＣＱ２の内容は、第１のチェックボックスシート５０と同一である。質問文ＣＱ１乃至ＣＱ７は、問題文ｑから予想される複数の答案の類型のうち、受験者の答案がどの類型に最も近いかを、そのチェック（「Ｙ」及び「Ｎ」）の組合せ、すなわちチェックパターンによって分類し得るように作成される。なお、予想される複数の答案には誤答も含まれる。
本実施例において、質問文ＣＱ１乃至ＣＱ７は、
ＣＱ１：白紙答案か？
ＣＱ２：答案として記載すべき内容と無関係な記載のみか？
ＣＱ３：「ｘ＝」か「＝ｘ」の記載があるか？
ＣＱ４：「２２」か「４」の記載があるか？
ＣＱ５：「√５」の記載があるか？
ＣＱ６：「３」の記載があるか？
ＣＱ７：式の記載があるか？
のように作成される。例えば図１１（ａ）に示す答案Ｔ４について第２のチェックボックスシート６０に表示された質問文群に分類者甲が回答したとする。このとき、それぞれの質問文ＣＱ１乃至ＣＱ７に対する回答を順に表示したチェックパターンは（Ｎ、Ｎ、Ｙ、Ｙ、Ｙ、Ｎ、Ｙ）となる。このチェックパターンは正答を示し、答案Ｔ４は「正答」という類型に分類できるのである（図１３参照）。他の類型においても同様に、回答結果から得られるチェックパターンが各々の類型を示すチェックパターンに合致した場合に分類される。管理者は、作成された第２のチェックボックスシート６０の内容を、記憶装置２３のチェックボックスシート記憶領域２５に記憶させる。
【００４２】
［類型のチェックパターンの記憶］
管理者は、問題文ｑから、予想答案を作成する。管理者は、かかる予想答案に対して第２のチェックボックスシート６０の質問文群をあてはめてチェックパターンを求め、同予想答案に対応する類型を示す符号を付して類型記憶領域２７に記憶させる。
【００４３】
［答案データの記憶］
管理者はＮ人（複数）の受験者に問題文ｑを与え、これに対する答案Ｔ１〜ＴＮを得る。答案Ｔ１〜ＴＮの記載された答案用紙群はサーバコンピュータ２２の図示しないスキャナ等の入力装置などによって答案データ（画像データ）として読込まれる。読込まれた答案データは識別符号（１〜Ｎ）を付されて答案データＡ１乃至ＡＮとして答案データ記憶領域２６に記憶される。また、答案データＡ１乃至ＡＮのうち、クライアントコンピュータ２１へ送出すべき答案データに対応する識別符号は送出対象識別符号として送出対象識別符号記憶領域２８に記憶される。この答案データＡ１乃至ＡＮを答案データ記憶領域２５に記憶させる段階において、答案データＡ１乃至ＡＮに対応するすべての識別符号１〜Ｎが送出対象識別符号とされて送出対象識別符号記憶領域２８に記憶される。
【００４４】
［答案についての回答及び分類］
次に、答案分類支援システム１の使用方法を説明する。
【００４５】
［回答処理ステップ１］
サーバコンピュータ２２は、まず、各分類者の使用する各クライアントコンピュータ２１より受信した回答要求信号に基づいて、それぞれのクライアントコンピュータ２１に第１のチェックボックスシート５０、答案データ及びこれに付された識別符号を順次送出する。ここで、送出される答案データは、送出対象識別符号記憶領域２８に記憶されている識別符号を付されて、答案データ記憶領域２６に記憶されている。送出対象識別符号記憶領域２８に記憶されている識別符号は、上記したように識別符号１〜Ｎである。よって、答案データＡ１〜ＡＮ全てが送出の対象となる。
【００４６】
サーバコンピュータ２２は、各クライアントコンピュータ２１に答案データを送出する毎に、これに対応する識別符号を送出対象識別符号記憶領域２８から消去させる。これによって、このステップ１において同一の答案について重複して回答を行わせることを避ける。
【００４７】
一方、分類者甲の操作するクライアントコンピュータ２１において、分類者甲は、回答要求信号をクライアントコンピュータ２１からサーバコンピュータ２２に向けて送信する。上記したように、回答要求信号に基づいてサーバコンピュータ２２より順次送出される第１のチェックボックスシート５０、答案データ及び識別符号がクライアントコンピュータ２１で受信される。クライアントコンピュータ２１は、受信された答案データに基づいて答案画像をモニタ２１ａに表示させるとともに、第１のチェックボックスシート５０（ＣＢＳ１）をモニタ２１ａに表示させる。分類者甲は、モニタ２１ａに表示された答案画像を対象に、第１のチェックボックスシート５０上の質問文ＣＱ１及びＣＱ２のそれぞれに対して、その回答として「Ｙ」、「Ｎ」及び「Ｐ」の３つの選択肢から１つを選択する。そして、入力装置２１ｂを使用してチェック欄５１の対応する位置にチェックを付すことで選択した答えを表示させる。つまり、質問文ＣＱ１及びＣＱ２に対する答えを入力して回答する。分類者甲による回答の完了した後、クライアントコンピュータ２１は質問文ＣＱ１及びＣＱ２に対する「Ｙ」、「Ｎ」及び「Ｐ」のいずれかからなる回答の集合であるチェックパターン、すなわち回答結果に識別符号を付して、サーバコンピュータ２２に返送する。他の分類者においても同様の回答が行われる。そして、サーバコンピュータ２２においてこのような回答処理は、送出対象識別符号記憶領域２８に記憶されている識別符号がなくなるまで、つまり、全ての答案データを送出するまで続けられる。つまり、クライアントコンピュータ２１においても同様の処理が複数回繰り返される。
【００４８】
サーバコンピュータ２２は、各分類者の操作するクライアントコンピュータ２１から受信した回答結果を識別符号とともに、記憶装置２３の回答結果記憶領域２９に記憶させる。送出した全ての答案データに対する回答結果を記憶した後、サーバコンピュータ２２は回答結果記憶領域２９に記憶された回答結果のうち、チェックパターンが（Ｎ、Ｎ）のものとチェックパターンに「Ｐ」を含むものとを検索し、検索された回答結果に対応する識別番号を送出対象識別符号記憶領域２８に記憶させる。これが、ステップ１において保留され、次のステップ２において回答処理を行う対象となる。ここで保留されない回答結果を得た答案データはそのまま後述する分類処理を行うことができる。
【００４９】
［回答処理ステップ２］
サーバコンピュータ２２は、ステップ１と同様に、各クライアントコンピュータ２１より受信した回答要求信号に基づいて、それぞれのクライアントコンピュータ２１に第２のチェックボックスシート６０、答案データ、これに付された識別符号及びステップ１での回答結果（チェックパターン）を順次再送出する。ここで、再送出される答案データ及び回答結果は、送出対象識別符号記憶領域２８に記憶されている識別符号の付された答案データ及び回答結果である。送出対象識別符号記憶領域２８に記憶されている識別符号は、ステップ１においてチェックパターン（Ｎ、Ｎ）又はチェックパターンに「Ｐ」を含む回答結果に対応した識別符号である。
【００５０】
サーバコンピュータ２２は、各クライアントコンピュータ２１に答案データを送出する毎に、これに対応する識別符号を送出対象識別符号記憶領域２８から消去させる。これによって、このステップ２においても同一の答案について重複して回答を行わせることを避ける。
【００５１】
ステップ１と同様に、回答要求信号に基づいてサーバコンピュータ２２より第２のチェックボックスシート６０、答案データ、識別符号及び回答結果が送出され、クライアントコンピュータ２１で受信される。クライアントコンピュータ２１は、受信された答案データに基づいて答案画像をモニタ２１ａに表示させるとともに、第２のチェックボックスシート６０（ＣＢＳ２）をモニタ２１ａに表示させる。分類者甲は、モニタ２１ａに表示された答案画像を対象に、第２のチェックボックスシート６０上の質問文ＣＱ１乃至ＣＱ７のそれぞれに対して、その回答として「Ｙ」、「Ｎ」及び「Ｐ」の３つの選択肢から１つを選択する。そして、入力装置２１ｂを使用してチェック欄６１の対応する位置にチェックを付すことで選択した答えを表示させる。つまり、質問文ＣＱ１乃至ＣＱ７に対する答えを入力して回答する。ただし、ステップ１で「Ｙ」又は「Ｎ」の回答を入力されていた質問文については回答できないよう処理される。この場合、ステップ１の回答結果がそのまま引継がれる。分類者甲による回答の完了した後、クライアントコンピュータ２１は質問文ＣＱ１乃至ＣＱ７に対する「Ｙ」、「Ｎ」及び「Ｐ」のいずれかからなる回答の集合であるチェックパターン、すなわち回答結果に識別符号を付して、サーバコンピュータ２２に返送する。他の分類者においても同様の回答が行われる。そして、サーバコンピュータ２２においてこのような回答処理は、送出対象識別符号記憶領域２８に記憶されている識別符号がなくなるまで、つまり、ステップ１で保留となった答案データの全てを再送出するまで続けられる。
【００５２】
サーバコンピュータ２２は、各分類者の操作するクライアントコンピュータ２１から受信した回答結果を識別符号とともに、記憶装置２３の回答結果記憶領域２９に上書きして記憶させる。送出した全ての答案データに対する回答結果を記憶した後、サーバコンピュータ２２は回答結果記憶領域２９に記憶された回答結果のうち、チェックパターンに「Ｐ」を含むものを検索し、検索された回答結果に対応する識別番号を送出対象識別符号記憶領域２８に記憶させる。これが、ステップ２において保留され、次のステップ３において回答処理を行う対象となる。つまり、ここで保留されない回答結果を得た答案データはそのまま後述する分類処理を行うことができる。
【００５３】
［回答処理ステップ３］
サーバコンピュータ２２は、ステップ２と同様に、各クライアントコンピュータ２１より受信した回答要求信号に基づいて、それぞれのクライアントコンピュータ２１に第２のチェックボックスシート６０、答案データ、これに付された識別符号及びステップ２での回答結果（チェックパターン）を順次再送出する。ここで、再送出される答案データ及び回答結果は、送出対象識別符号記憶領域２８に記憶されている識別符号の付された答案データ及び回答結果である。送出対象識別符号記憶領域２８に記憶されている識別符号は、ステップ２においてチェックパターンに「Ｐ」を含む回答結果に対応した識別符号である。
【００５４】
サーバコンピュータ２２は、各クライアントコンピュータ２１に答案データを送出する毎に、これに対応する識別符号を送出対象識別符号記憶領域２８から消去させる。これによって、このステップ３においても同一の答案について重複して回答を行わせることを避ける。
【００５５】
ステップ２と同様に、回答要求信号に基づいてサーバコンピュータ２２より第２のチェックボックスシート６０、答案データ、識別符号及び回答結果がクライアントコンピュータ２１で受信される。クライアントコンピュータ２１は、受信された答案データに基づいて答案画像をモニタ２１ａに表示させるとともに、第２のチェックボックスシート６０（ＣＢＳ２）をモニタ２１ａに表示させる。分類者甲は、モニタ２１ａに表示された答案画像を対象に、第２のチェックボックスシート６０上の質問文ＣＱ１乃至ＣＱ７のそれぞれに対して、その回答として「Ｙ」、「Ｎ」及び「Ｐ」の３つの選択肢から１つを選択する。そして、入力装置２１ｂを使用してチェック欄６１の対応する位置にチェックを付すことで選択した結果を表示させる。つまり、質問文ＣＱ１乃至ＣＱ７に対する答えを入力して回答する。ただし、ステップ２で「Ｙ」又は「Ｎ」の回答を入力されていた質問文については回答できないよう処理される。この場合、ステップ２の回答結果がそのまま引継がれる。分類者甲による回答の完了した後、クライアントコンピュータ２１は質問文ＣＱ１乃至ＣＱ７に対する「Ｙ」、「Ｎ」及び「Ｐ」のいずれかからなる回答の集合であるチェックパターン、すなわち回答結果に識別符号を付して、サーバコンピュータ２２に返送する。他の分類者においても同様の回答が行われる。そして、サーバコンピュータ２２においてこのような回答処理は、送出対象識別符号記憶領域２８に記憶されている識別符号がなくなるまで、つまり、ステップ２で保留となった答案データの全てを送出するまで続けられる。
【００５６】
サーバコンピュータ２２は、各分類者の操作するクライアントコンピュータ２１から受信した回答結果を識別符号とともに、記憶装置２３の回答結果記憶領域２９に上書きして記憶させる。送出した全ての答案データに対する回答結果を記憶した後、サーバコンピュータ２２は回答結果記憶領域２９に記憶された回答結果のうち、チェックパターンに「Ｐ」を含むものを検索し、検索された回答結果に対応する識別番号を送出対象識別符号記憶領域２８に記憶させる。
【００５７】
［分類処理］
サーバコンピュータ２２は、記憶装置２３の回答結果記憶領域２９に記憶された回答結果を基に答案データＡ１〜ＡＮを分類処理する。ここで、送出対象識別符号記憶領域２８に記録されている識別符号に対応する回答結果には「Ｐ」が含まれており分類の対象としないため、同分類処理からは除外する。分類処理において、サーバコンピュータ２２は、類型記憶領域２７に記憶された類型毎のチェックパターンと各答案のチェックパターンとを比較して、チェックパターンが同一の答案に各類型を示す符号を付して、答案記憶領域２９に記憶させる。なお、かかる分類処理は、上記した各ステップの回答処理毎に分けて行ってもよい。
【００５８】
次に、回答処理のステップ１乃至３における分類者甲の回答について説明する。
【００５９】
例えば、図１０及び１１に示すように、答案Ｔ１乃至Ｔ７及びその他図示しない答案（計ｊ枚）が１人の分類者甲に順次与えられる。分類者甲はまず、上記した回答処理のステップ１において、計ｊ枚の答案について第１のチェックボックスシート５０により順に回答する。なお、本実施例において、各分類者は問題文の内容を知らされていない。これは、問題文を知ることによる予断を排除するため、即ち質問文に独自の解釈を加えてしまう可能性を排除するためである。
【００６０】
回答処理のステップ１において、分類者甲は、まず、答案Ｔ１について回答する。答案Ｔ１には「Ｖ」と読み取れる記載があり、「白紙答案か？」という質問文ＣＱ１に対して、チェック欄５１の「Ｎ」にチェックをする。次に質問文ＣＱ２の「答案として記載すべき内容と無関係な記載のみか？」に対しては、「Ｖ」と読み取れる記載は答案として記載すべき内容との関係が不明なため「Ｐ」にチェックをし、答案Ｔ１についての回答を終了する（図１２参照）。「Ｐ」を選択することにより、分類者甲の独自の判断で「Ｙ」又は「Ｎ」を選択してしまうことを防止する。答案Ｔ１の回答結果は（Ｎ、Ｐ）となり、答案Ｔ１は、特定の類型に分類されることなく持ち越される。
【００６１】
次に分類者甲は答案Ｔ２について回答する。答案Ｔ２には一切の記載がなく、分類者甲は答案Ｔ２を白紙答案であると容易に判断できるので（Ｙ、Ｎ）と回答する。答案Ｔ２は類型１に分類されることが決定するため、答案Ｔ２の以降の回答処理は不要となる。
【００６２】
次に、分類者甲は答案Ｔ３について回答する。答案Ｔ３には「わかりません」という記載があり、この記載は明らかに問題文と無関係な記載である。よって、分類者甲は（Ｎ、Ｙ）と回答する。その結果、答案Ｔ３の以降の回答処理は答案Ｔ２と同様に不要となる。さらに、分類者甲は答案Ｔ４乃至Ｔ７について回答する。これらについては、いずれも答案として記載すべき内容に関係する記載を含むが、分類者甲には問題文が与えられていない。よって、答案Ｔ４については答案として記載すべき内容との関係が不明であり（Ｎ、Ｐ）と回答する。以降、例えば答案Ｔ６まで同様に（Ｎ、Ｐ）と回答し、答案Ｔ７についての回答をしようとしたところで、答案Ｔ４乃至Ｔ７にはいずれも数式が記載されており、ｃｍの単位を付けた数字で答案の結論としての答えを記載していることに気付く。これにより、答案Ｔ４乃至Ｔ７は答案として記載すべき内容に関係のある記載を含むことを理解し、答案Ｔ７以降の答案について、同様の特徴をもつ記載に対しては（Ｎ、Ｎ）と回答する。これらの回答結果を図１２に示す。類型１又は類型２に分類されることが決定した答案Ｔ２及びＴ３のような答案以外の答案群については、回答処理のステップ２に持ち越す。
【００６３】
回答処理のステップ２において、分類者甲又は他の分類者は答案Ｔ１、答案Ｔ４乃至Ｔ７及びその他の図示しない答案群について第２のチェックボックスシート６０（ＣＢＳ２）により回答する。少なくとも答案Ｔ１、答案Ｔ４乃至Ｔ６については、回答処理のステップ１において「Ｐ」の選択された答案である。一度、自分に与えられた全ての答案について回答した結果、分類者甲及び他の分類者は、「Ｖ」の記載のように他の答案にない記載のことを認識する。そして、「Ｖ」に見える記載は、この記載をした受験者の解答を記述しようという意図とは別の意図によってなされたものであることを推認する。例えば、解答が全く分からないので、この問題には解答しないという意図が有ったと推定する。このように、一度回答した答案を相対的に比較することで、分類者甲又は他の分類者は、答案Ｔ１の「Ｖ」に見える記載を問題文に無関係な記載であると容易に推認できる。よって、分類者甲又は他の分類者は答案Ｔ１について（Ｎ、Ｙ、Ｎ、Ｎ、Ｎ、Ｎ、Ｎ）と回答する。答案Ｔ４乃至Ｔ６については、回答処理のステップ１の答案Ｔ７についての回答時においてすでに、質問文ＣＱ２に対する答えは明確（「Ｎ」）である。よって答案Ｔ４乃至Ｔ７について、分類者甲又は他の分類者は、図１３に示すように、
答案Ｔ４：（Ｎ、Ｎ、Ｙ、Ｙ、Ｙ、Ｎ、Ｙ）
答案Ｔ５：（Ｎ、Ｎ、Ｙ、Ｙ、Ｎ、Ｎ、Ｙ）
答案Ｔ６：（Ｎ、Ｎ、Ｎ、Ｙ、Ｎ、Ｎ、Ｙ）
答案Ｔ７：（Ｎ、Ｎ、Ｙ、Ｎ、Ｎ、Ｙ、Ｙ）
と回答した。これらのチェックパターンにより、答案Ｔ４は正答の類型に、答案Ｔ５は正しい方程式を記載したが計算間違いをしている類型に、答案Ｔ６は三平方の定理の方程式の理解が不十分である類型に、答案７は三平方の定理の方程式を誤って記憶している若しくは誤って記述している類型にそれぞれ分類できるのである。これにより答案Ｔ１〜Ｔ７の以降の回答処理は不要となる。その他図示しない答案のうち、回答結果に「Ｐ」を含む答案群については回答処理のステップ３に持ち越す。
【００６４】
回答処理のステップ３において、分類者甲は回答処理のステップ２において持ち越された答案について、回答処理のステップ２と同様に第２のチェックボックスシート６０（ＣＢＳ２）により回答する。この場合、上記したのと同様に自分に与えられた全ての答案について回答した結果、これらを相対的に比較することで、分類者甲又は他の分類者が一度「Ｐ」（保留）を付した答案についても容易に「Ｙ」（肯定）又は「Ｎ」（否定）の判断をし得る。
【００６５】
以上のように回答処理を行うことで、他の分類者によって同一の答案について回答されたとしても、「Ｙ」と「Ｎ」とが入れ替わる可能性は低くなる。なんとなれば、分類者甲の判断「Ｙ」及び「Ｎ」との間に存在する領域Ｕの存在により、ある質問文に対して迷いを生じる答案について「Ｐ」を選択することで回答結果を保留する一方で、「Ｙ」あるいは「Ｎ」を選択して回答結果が確定した答案については、分類者同士の主観の差を縮める事ができるからである。よって「Ｙ」及び「Ｎ」のみの組合せからなるチェックパターンに基づく分類処理は分類者甲の独自の判断に依存しないのである。そして、同分類処理にある一定の客観性を持たせ得る。よって、答案の数が多い場合において、複数の分類者によって回答処理を分担することで効率的な回答処理を行いつつ、分類処理にある一定の客観性を担保することができるのである。
【００６６】
また、回答処理のステップ３においても回答結果に「Ｐ」のある答案については、特定の分類者丙・丁によって再度回答することでそれぞれの類型に分類し得る。この場合、チェックパターンに「Ｐ」を含む回答結果に対応する識別番号が送出対象識別符号記憶領域２８に記憶されているので、この識別符号に対応する答案データのみを抽出する。そして、これらの答案データは、類型の意味とこれに分類される答案についての理解の深い１人若しくは回答や分類についての同一の判断基準を共有する少人数の分類者丙・丁によって回答結果が「Ｐ」となっていた質問文についてのみ再び回答される。これにより、画一的な判断基準により回答結果が得られるため客観性を担保しつつ、しかも効率的に全ての答案を分類し得るのである。
【００６７】
本システムにおいては、特定の教育課題に対する受験者群の理解傾向を調査するにあたり、かかる教育課題に関する記述式問題テストの問題文に対する各受験者の答案を分類する方法を採用している。受験者群の理解傾向を調査するには、各受験者の答案ではなく、各受験者の想起した解答を分類できることが理想である。しかし、分類者には各受験者の解答を直接分類することはできず、答案を作成する各受験者の技量の差異を含んだ答案を分類し得るのみである。特に、小学校の低学年の受験者群においては、答案の記述力が低いために解答として想起した思想が答案に反映されづらくなることも多い。こういった場合に、本システムによって分類することにより、多数の答案を相対的に比較することになる。そして、多数の答案の相対的な比較により、答案を作成した受験者群の目線から答案を分類し、これによって表現力の不足している答案に対してもその意図を相当程度拾い上げることができる。また、分類のための回答に際して「Ｐ」（保留）を選択することを認めることで、分類者は、判断技術（習熟度）を向上させてから、判断に迷うチェック項目に関して再度回答することができる。その結果、答案を記述した受験者群の意思を拾い上げ易くなる。つまり、答案のみならず、解答をも可及的に分類し得るのである。
【００６８】
本実施例において、質問文の個数は７個であるが、択一関係となる質問文を含まないと仮定した場合にチェックパターンは２７個まで作成し得る。つまり、あらかじめ予測された解答類型に該当しないチェックパターンを有する答案も十分に存在し得る。このとき、この答案についての解答類型を分析することで、あらかじめ予測し得なかった解答類型までも分類の対象とし得る。
【００６９】
さらに、本システムにおいて、ステップ２又はステップ３で答案データを再送出するに先立って、各質問文について修正をして、これをサーバコンピュータ２２に入力し、チェックボックスシート記憶領域２５に修正した質問文群を記憶させるようにしてもよい。この場合において、質問文の修正は、質問文で求める内容を実質的に変更することなく、表現などを変更して行われる。修正された質問文は求める内容が実質的に変更されていないため、回答処理により再送出されて受信されるチェックパターンは、既に、チェックパターン記憶部に記憶されたチェックパターンと相関を得ることが出来て、保留を含むチェックパターンの数を効率的に減らすことが出来得る。例えば、「Ｐ」の多かった質問文について、上記した回答や分類についての同一の判断基準を共有する少人数の分類者丙・丁によって、他の分類者がより判断に迷わないように質問文を修正する。このようにすることで、より効率的でありながら客観性のより高い答案分類支援システムを与えることができる。
【００７０】
ここまで本発明による代表的実施例を説明したが、本発明は必ずしもこれらに限定されるものではなく、当業者であれば、添付した特許請求の範囲を逸脱することなく、種々の代替実施例及び改変例を見出すことができる。
【符号の説明】
【００７１】
１ 答案分類支援システム
１０、５０ 第１のチェックボックスシート
１１、６０ 第２のチェックボックスシート
２１ クライアントコンピュータ
２２ サーバコンピュータ
ＣＱ１〜ＣＱ７ 質問文
【特許請求の範囲】
【請求項１】
受験者に問題を提示した上で一定量の自由な答案の記述を求める記述式問題テストにおいて、受験者の想起した解答が表現された答案を複数の解答類型に分類するための答案分類支援システムであって、
前記答案のそれぞれを画像データとしてこれを識別するための識別符号を関連付けて記憶した答案データ記憶部と、
肯定又は否定の二択の質問文の複数からなる質問文群を記憶したチェックボックスシート記憶部と、
前記質問文群とともに、前記識別符号及びこれに関連付けされた前記答案の前記画像データを順次、端末装置に向けて送出する送出部と、
前記識別符号とともに前記質問文群に対するチェックパターンのデータを前記端末装置から受信し前記識別符号及び前記チェックパターンを関連付けてチェックパターン記憶部に記憶させる受信部と、を含み、
前記チェックパターンは前記質問文群の前記質問文のそれぞれに対応する肯定、否定又は保留のいずれかからなる回答の集合であり、
前記チェックパターン記憶部に記憶された前記チェックパターンのうち保留を含む前記チェックパターンに対応する前記識別符号を検索する検索部と、
前記送出部に対して、前記検索部で検索された前記識別符号及びこれに関連付けられた前記画像データを順次、前記質問文群とともに前記端末装置に向けて再送出するよう仕向けさせる再送出部と、を更に含むことを特徴とする答案分類支援システム。
【請求項２】
前記再送出部の起動に先立って、前記質問文群の前記質問文毎の修正を外部入力させて前記チェックボックスシート記憶部に修正質問文群を記憶させる追加入力部と、を更に含み、前記再送出部は、前記チェックボックスシート記憶部の前記修正質問文群を前記送出部に対して再送出するよう仕向けさせることを特徴とする請求項１記載の答案分類支援システム。
【請求項３】
前記質問文群の前記質問文の個数をｎとし、前記解答類型をｍ個（ｍ＞２）とすると、２ｎ＞ｍを満たすことを特徴とする請求項１又は２に記載の答案分類支援システム。
【請求項１】
受験者に問題を提示した上で一定量の自由な答案の記述を求める記述式問題テストにおいて、受験者の想起した解答が表現された答案を複数の解答類型に分類するための答案分類支援システムであって、
前記答案のそれぞれを画像データとしてこれを識別するための識別符号を関連付けて記憶した答案データ記憶部と、
肯定又は否定の二択の質問文の複数からなる質問文群を記憶したチェックボックスシート記憶部と、
前記質問文群とともに、前記識別符号及びこれに関連付けされた前記答案の前記画像データを順次、端末装置に向けて送出する送出部と、
前記識別符号とともに前記質問文群に対するチェックパターンのデータを前記端末装置から受信し前記識別符号及び前記チェックパターンを関連付けてチェックパターン記憶部に記憶させる受信部と、を含み、
前記チェックパターンは前記質問文群の前記質問文のそれぞれに対応する肯定、否定又は保留のいずれかからなる回答の集合であり、
前記チェックパターン記憶部に記憶された前記チェックパターンのうち保留を含む前記チェックパターンに対応する前記識別符号を検索する検索部と、
前記送出部に対して、前記検索部で検索された前記識別符号及びこれに関連付けられた前記画像データを順次、前記質問文群とともに前記端末装置に向けて再送出するよう仕向けさせる再送出部と、を更に含むことを特徴とする答案分類支援システム。
【請求項２】
前記再送出部の起動に先立って、前記質問文群の前記質問文毎の修正を外部入力させて前記チェックボックスシート記憶部に修正質問文群を記憶させる追加入力部と、を更に含み、前記再送出部は、前記チェックボックスシート記憶部の前記修正質問文群を前記送出部に対して再送出するよう仕向けさせることを特徴とする請求項１記載の答案分類支援システム。
【請求項３】
前記質問文群の前記質問文の個数をｎとし、前記解答類型をｍ個（ｍ＞２）とすると、２ｎ＞ｍを満たすことを特徴とする請求項１又は２に記載の答案分類支援システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２２１８５（Ｐ２０１２−２２１８５Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１６０６８８（Ｐ２０１０−１６０６８８）
【出願日】平成２２年７月１５日（２０１０．７．１５）
【出願人】（５０２１９４７３５）株式会社教育測定研究所 (10)
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１５日（２０１０．７．１５）
【出願人】（５０２１９４７３５）株式会社教育測定研究所 (10)
[ Back to top ]