試験装置、問題管理方法、プログラムおよび記録媒体
【課題】 問題の妥当性を統計的に検証する方法を提供し、質の高い問題の作成を支援する試験装置等を提供する。
【解決手段】 試験装置１は受験者端末３とネットワーク１０を介して接続される。試験装置１の記憶部１２には、出題時の配点が１以上である本問題５１１と出題時の配点が０である仮問題５１２が記憶される。試験装置１は、仮問題５１２を含む問題を受験者端末３に送信し、配点を示さない出題画面６０として表示することにより出題を行い、受験者端末３から仮問題５１１を含む問題に対する解答を受信する。そして、仮問題５１２に対する解答の採点結果について統計的分析を行い、結果に応じて仮問題５１２を本問題５１１とするか否かを判定し、仮問題５１２を本問題５１１とする場合に、出題時の配点として１以上の値を記録する。
【解決手段】 試験装置１は受験者端末３とネットワーク１０を介して接続される。試験装置１の記憶部１２には、出題時の配点が１以上である本問題５１１と出題時の配点が０である仮問題５１２が記憶される。試験装置１は、仮問題５１２を含む問題を受験者端末３に送信し、配点を示さない出題画面６０として表示することにより出題を行い、受験者端末３から仮問題５１１を含む問題に対する解答を受信する。そして、仮問題５１２に対する解答の採点結果について統計的分析を行い、結果に応じて仮問題５１２を本問題５１１とするか否かを判定し、仮問題５１２を本問題５１１とする場合に、出題時の配点として１以上の値を記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受験者に問題を出題するとともに、その結果に応じて問題の管理を行う試験装置、問題管理方法、プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
近年、種々のテストを、コンピュータ・システムを利用し行うことが増えている。例えば、受験者はコンピュータに問題を表示させ、選択肢を選択することなどによって問題への解答を行う。このようなシステムでは、場所や時間を限定せず効率的にテストを実施することが可能である。一方、国家試験など厳密な管理（不正防止など）が必要な試験では、テスト会場型（テストセンター型）の試験システムもある。テスト会場では、本人確認の実施や試験経過の監視などの受験管理が行われる。このような仕組みのもと、様々な試験がデジタル化されている。このようなシステムの例が、特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１０７３７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、このようなシステムにおいては、問題を多く用意する必要がある。例えば複数回受験した場合に同じ問題が現れたりすることなどを避け、公平性を確保するためである。
【０００５】
一方で、出題される問題については、その質を維持する必要がある。特に、上に挙げた厳格な管理を要する国家試験などの試験では、試験問題の品質にさらに留意する必要がある。例えば、分かりにくい問題やあまりにも簡単でほとんどの受験者が解ける問題、難しすぎてほとんどの受験者が解けない問題は好ましくない。このように、試験に適当な問題を作成することは容易ではなく経験を要する。また、問題の妥当性を検証することも困難である。
【０００６】
本発明は、このような問題に鑑みてなされたもので、問題の妥当性を統計的に検証する方法を提供し、質の高い問題の作成を支援する試験装置等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前述した目的を達成するための第１の発明は、テストを受験する受験者の受験者端末とネットワークを介して接続される試験装置であって、出題時の配点が１以上である本問題と出題時の配点が０である仮問題とを含む、受験者に出題する問題を、出題時の配点とともに記憶する記憶手段と、前記仮問題を含む問題を前記受験者端末に送信し、配点を示さない出題画面として表示することにより出題を行う出題手段と、前記受験者端末から前記仮問題を含む問題に対する解答を受信する解答受信手段と、前記仮問題に対する解答の採点結果について統計的分析を行う問題分析手段と、前記採点結果の統計的分析の結果に応じて前記仮問題を本問題とするか否かを判定し、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点として１以上の値を記録する本問題設定手段と、を具備することを特徴とする試験装置である。
【０００８】
第１の発明によれば、本問題に加え、作成した仮問題を実際のテストで配点を０点として出題する。受験者は、配点を知ることなくテストを行い、本問題や仮問題に関係なく真剣に解くので、仮問題の検証材料として信頼できる統計的データが得られる。また、仮問題の配点は０点であるので、妥当性が未検証な仮問題に対する解答の結果がテスト結果に影響を与えることもない。このようにして得られた仮問題に対する解答の採点結果について統計的な分析を行い、結果に応じて仮問題を本問題とすることで、仮問題の妥当性の検証を、信頼に足るデータを基に容易に行うことができ、質の高い問題の作成を支援することができる。
【０００９】
前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、前記本問題設定手段は、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点を、前記本問題配点を参照して記録することが望ましい。
【００１０】
上記の構成により、例えば、出題時の配点が０であった仮問題に、予め定めた本問題配点、例えば「５点」など、を出題時の配点として新たに与えることにより、仮問題が本問題に昇格される。このように、本問題配点を予め定め、仮問題を本問題とする場合にこれに基づき配点を与えることができる。
【００１１】
また、前記出題手段は、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことが望ましい。
【００１２】
上記の構成により、テストにおいて、妥当性が未検証な仮問題の出題数を一定数以下に抑えることができる。
【００１３】
加えて、前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、前記本問題設定手段は、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することも望ましい。
【００１４】
上記の構成により、例えば仮問題が正答率の高い問題である場合に低い配点を与え、正答率が低い問題である場合に高い配点を与えるなど、仮問題の分析の結果に応じて、本問題とする場合の配点を変更することができる。
【００１５】
第２の発明は、テストを受験する受験者の受験者端末とネットワークを介して接続される試験装置における問題管理方法であって、前記試験装置が、出題時の配点が１以上である本問題と出題時の配点が０である仮問題とを含む、受験者に出題する問題を、出題時の配点とともに記憶する記憶手段を有し、前記仮問題を含む問題を前記受験者端末に送信し、配点を示さない出題画面として表示することにより出題を行う出題ステップと、前記受験者端末から前記仮問題を含む問題に対する解答を受信する解答受信ステップと、前記仮問題に対する解答の採点結果について統計的分析を行う問題分析ステップと、前記採点結果の統計的分析の結果に応じて前記仮問題を本問題とするか否かを判定し、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点として１以上の値を記録する本問題設定ステップと、を実行することを特徴とする問題管理方法である。
【００１６】
前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点を、前記本問題配点を参照して記録することが望ましい。
また、前記出題ステップでは、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことが望ましい。
加えて、前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することも望ましい。
【００１７】
第３の発明はコンピュータを第１の発明の試験装置として機能させるためのプログラムである。
【００１８】
第４の発明はコンピュータを第１の発明の試験装置として機能させるためのプログラムを記憶した記憶媒体である。
【発明の効果】
【００１９】
本発明によれば、問題の妥当性を統計的に検証する方法を提供し、質の高い問題の作成を支援する試験装置等を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】試験装置１を用いた試験システム２について説明する図
【図２】試験装置１、受験者端末３のハードウェア構成を示す図
【図３】試験装置１の機能構成について説明する図
【図４】問題データ５１の例（リレーショナルデータベースのスキーマの例）について示す図
【図５】出題データ５４、採点結果データ５５、受験者データ５６の例（以上３点、リレーショナルデータベースのスキーマの例）について示す図
【図６】試験装置１における問題管理方法の処理の流れを説明する図
【図７】出題画面６０の例について示す図
【図８】採点分析データ５７ａ、５７ｂの例について示す図
【図９】採点結果分析の別の例について示す図
【発明を実施するための形態】
【００２１】
以下、図面に基づいて本発明の実施形態について説明する。
【００２２】
図１は本発明の実施形態に係る試験装置１を用いた試験システム２について説明する図である。図１に示すように、試験システム２において、試験装置１は、受験者が使用する受験者端末３とネットワーク１０を介して接続され、受験者端末３に問題を送信しテストを実施するとともに、受験者端末３から問題に対する解答を受信する。
【００２３】
図２（ａ）は試験装置１のハードウェア構成を示す図である。図に示すように、試験装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続された構成である。
【００２４】
制御部１１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。
ＣＰＵは、記憶部１２、ＲＯＭ、記憶媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、試験装置１が行う後述する処理を実現する。ＲＯＭは不揮発性メモリであり、ブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは揮発性メモリであり、記憶部１２、ＲＯＭ、記憶媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各処理を行う為に使用するワークエリアを備える。
【００２５】
記憶部１２は、ＨＤＤ（ハードディスクドライブ）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理を試験装置１に実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００２６】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、―Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、―Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
通信制御部１４は、通信制御装置、通信ポート等を有し、他のサーバ等の装置との通信を媒介する通信インタフェースであり、ネットワークを介して他の装置との通信制御を行う。ネットワークは、有線、無線を問わない。
【００２７】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、およびディスプレイ装置と連携して表示機能を実現するための論理回路等を有する。
【００２８】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介して周辺機器とのデータ送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２９】
受験者端末３は、テストを受験するユーザが使用するパーソナル・コンピュータなどであり、図２（ｂ）に示すように、制御部３１、記憶部３２、メディア入出力部３３、通信制御部３４、入力部３５、表示部３６、周辺機器Ｉ／Ｆ部３７等が、バス３８を介して接続された構成である。各部の構成は、上記した試験装置１におけるものと同様である。
【００３０】
次に図３を参照して、試験装置１の機能構成について説明する。
図３に示すように、試験装置１は、出題手段４１、解答受信手段４２、問題分析手段４３、本問題設定手段４４等を有する。また、記憶部１２は問題データ５１、出題データ５４、採点結果データ５５、受験者データ５６等を記憶し、これらのデータの記憶手段として機能する。
【００３１】
出題手段４１は、試験装置１の制御部１１が、受験者端末３に問題を送信し出題画面として表示することにより受験者に出題を行うものである。この問題には、後述する仮問題と本問題とが含まれる。
解答受信手段４２は、試験装置１の制御部１１が、受験者端末３から、出題した問題に対する解答を受信するものである。
問題分析手段４３は、試験装置１の制御部１１が、仮問題に対する解答の採点結果について統計的分析を行うものである。
本問題設定手段４４は、試験装置１の制御部１１が、採点結果の統計的分析の結果に応じて仮問題を本問題とするか否かを判定し、判定結果に応じて、仮問題を本問題として設定するものである。仮問題を本問題として設定する際には、仮問題である問題の出題時の配点として１以上の値を記録するが、これについては後述する。
【００３２】
問題データ５１は、受験者に出題する問題のデータであり、各問題を問題ＩＤやその配点等と紐付けて記憶したものである。
図４は、問題データ５１の例について示すものである。図４に示す問題データ５１は、リレーショナルデータベースのスキーマを示すものであり、下線を引いた項目（図４では「問題ＩＤ」）は主キーであることを示す。後述する図５においても同様である。
図に示すように、問題データ５１としては、問題ＩＤ５１０、問題５１３、選択肢５１５、正答５１７、配点５３３、仮問題フラグ５３５、および本問題配点５３７等が紐付けて記憶される。
【００３３】
問題ＩＤ５１０は、各問題を識別する情報である。
問題５１３は、問題の内容を示すものである。
選択肢５１５は、問題に対する解答として、選択肢の番号ごとに選択肢の内容を示すものである。本実施形態では、問題データ５１として、複数の選択肢から正しい選択肢を選択して入力するような問題の例を示すが、解答として文字や数字、文章を入力するような問題であってもよい。
正答５１７は、問題５１３の正答を、選択肢５１５の番号で示したものである。
配点５３３は、問題の配点を示す。
仮問題フラグ５３５は、各問題が本問題か仮問題かを示すものである。図の例では、本問題である場合に「０」、仮問題である場合に「１」となる。
本問題配点５３７は、各問題を本問題として用いる場合の配点を示す。
【００３４】
そして、本実施形態では、問題データ５１の問題に、本問題５１１と仮問題５１２が含まれる。
本問題５１１は、テストにおいて使用され、正解することにより配点５３３（本問題配点５３７）として１以上の得点が受験者に与えられる通常の問題である。
一方、仮問題５１２は、テストにおいて使用されるが、正解しても受験者には得点が与えられない問題である。即ち、配点５３３が０である問題である。
【００３５】
出題データ５４は、１回のテストで受験者に出題した一連の問題やその出題順のパターンを記録するものである。すなわち、本実施形態では、問題は１回の試験に対応する数だけでなく相当数用意されている（従って、従来の方法では問題の品質確保が難しい）。この中から問題ＩＤ５１０をキーとして問題をランダムに選択し出題することもできるし、出題パターンは予め設定しておくこともできる。ランダムに出題を行った場合には、この出題パターンを記録することにより問題の管理ができる。ランダム出題の場合は、出題ごとに出題パターンが増加していく。
図５（ａ）は、出題データ５４の例について示すものである。
図に示すように、出題データ５４としては、パターン番号５４１、問題番号５４３、問題ＩＤ５４５等が紐付けて記録される。
【００３６】
パターン番号５４１は、前記のパターンを識別する番号である。
問題番号５４３は、問題の出題順を示す番号である。
問題ＩＤ５４５は、問題データ５１の問題ＩＤ５１０に対応する。
【００３７】
採点結果データ５５は、問題に対する各受験者の解答の採点結果を示すものである。
図５（ｂ）は採点結果データ５５の例を示すものである。
採点結果データ５５としては、受験者ＩＤ５５０ごとに、問題番号５５１、正誤５５５、得点５５７が紐付けて記録される。
【００３８】
受験者ＩＤ５５０は、受験者を識別する情報であり、後述する受験者ＩＤ５６１に対応する。
問題番号５５１は、受験者に出題した一連の問題の問題番号であり、出題データ５４の問題番号５４３に対応する。
正誤５５５は、問題番号５５１の問題に対する受験者の解答の正誤である。
得点５５７は、問題番号５５１の問題の解答結果に対し与えられる得点であり、正誤５５５が正の場合に、出題された問題の配点（問題データ５１の配点５３３）が得点５５７として記録され、誤の場合に０が記録される。出題された問題の配点は、問題番号５５１や受験者ＩＤ５５０等から特定できる。
なお、正誤５５５として中間的な評価（部分的に正解など）を用意することもでき、その場合は、例えば配点５３３が「４」であれば得点５５７をその半分の「２」とするなど、配点５３３の所定の割合の点数を得点５５７として記録することもできる。
【００３９】
受験者データ５６は、受験者ＩＤやテスト受験日など、受験者についての情報を記録したものである。
図５（ｃ）に受験者データ５６の例について示す。図に示すように、受験者データ５６は、受験者ＩＤ５６１、パターン番号５６２、氏名５６３、受験日５６５、テスト得点５６７等が紐付けて記録される。
【００４０】
受験者ＩＤ５６１は、受験者を識別する情報である。
パターン番号５６２は、受験者に出題された一連の問題のパターン番号であり、出題データ５４のパターン番号５４１に対応する。
氏名５６３は、受験者の氏名である。
受験日５６５は、受験者のテスト受験日を示す。
テスト得点５６７は、受験者のテストにおける得点を示す。テスト得点５６７の算出については後述する。
【００４１】
次に、図６を用いて、本実施形態の試験装置１における問題管理方法の処理の流れを説明する。
【００４２】
まず、テストの受験者は、受験者端末３より、受験者ＩＤを入力して試験装置１に送信し、試験装置１が提供する出題用サイトにアクセスし、テストを受験する。この際、試験装置１の制御部１１は仮問題５１２を含む問題５１３（および選択肢５１５）を受験者端末３に送信し出題画面６０として表示させて出題を行い、画面上で受験者に解答を入力させる（ステップ１０１）。
【００４３】
図７は出題画面６０の例である。
出題画面６０には問題６１（問題５１３）が表示され、受験者は、画面上で選択肢（選択肢５１５）に対応して表示されるラジオボタン６３を選択することにより、問題６１に対する解答を選択できる。解答の選択後「次へ」ボタン６５をクリックすることにより、次の問題６１についての出題画面６０に移行する。あるいは、「前へ」ボタン６７をクリックすることにより前の問題６１についての出題画面６０に移行し解答のやり直しなどすることができる。
【００４４】
このようにして出題される一連の問題５１３には本問題５１１および仮問題５１２が含まれるが、出題画面６０には問題の配点５３３は表示されない。受験者は出題される問題５１３の配点を知ることが無いので、本問題５１１であるか仮問題５１２であるかに関わらず手を抜いたりすることなく真剣に解くことになる。
【００４５】
出題を行う際、試験装置１の制御部１１は、問題データ５１の問題５１３を、本問題５１１に加え仮問題５１２が含まれるようにランダムに選択して受験者端末３に送信し出題画面６０として表示させる。出題した問題５１３の問題ＩＤ５１０は、出題データ５４の問題ＩＤ５４５として、出題順を示す問題番号５４３と紐付けパターン番号５４１を付して記録される。仮問題５１２の数は、１回のテストにおいて出題する一連の問題５１３の数に対して所定の割合、例えば１０％以下となるように選択される。上記の割合は予め様々に定めることができる。
【００４６】
ただし、問題の表示順や表示方法など出題の方法は、テストにおける一連の問題５１３に仮問題５１２を含むようにすれば、これに限ることはなく、例えば１つの画面で１回のテストにおける問題を全て表示し出題するようにしてもよいし、１つの問題に対する解答を逐次判定しその結果に応じて次に出題する問題を動的に変化させながら、問題を順次出題するようにしてもよい。
【００４７】
図６の説明に戻る。１回のテストについて一連の問題５１３に対する解答を行うと、受験者の指示操作により、受験者端末３は出題装置１に各問題５１３に対する解答を送信する。試験装置１の制御部１１は、受験者端末３から解答を受信する（ステップ１０２）。
【００４８】
各問題５１３に対する解答については、試験装置１の制御部１１により、問題データ５１として予め記憶しておいた各問題５１３の正答５１７と比較判定するなどして採点が行われ、図５（ｂ）で説明したような採点結果データ５５が受験者ごとに作成され、受験者ＩＤ等に紐付けて記憶される（ステップ１０３）。なお、問題５１３に対する採点は、採点者による指示操作に応じて、試験装置１の制御部１１が採点結果データ５５として入力するものであってもよい。
【００４９】
以上のように複数の受験者に対しテストを行い、受験者ごとに採点結果データ５５が作成される。試験装置１の制御部１１は、採点結果データ５５等に基づき採点結果の統計的な分析を行い結果に応じて仮問題５１２を本問題５１１とするか否か判定を行う（ステップ１０４）。
【００５０】
本実施形態では、ステップ１０４において、試験装置１の制御部１１は、採点の分析を行う際、各問題の正答率や解答率などの採点分析情報を示す採点分析データ５７ａを作成する。
【００５１】
採点分析データ５７ａの例を図８（ａ）に示す。採点分析データ５７ａとしては、問題ＩＤ５７１、配点５７２、正答率５７３、および解答率５７４が紐付けられる。採点分析データ５７ａは、出題データ５４、採点結果データ５５、受験者データ５６を集計し作成されるものである。
【００５２】
問題ＩＤ５７１、配点５７２は、それぞれ問題データ５１の問題ＩＤ５１０、配点５３３と同様である。
正答率５７３は問題に正しく解答された割合である。
解答率５７４は問題に解答された割合であり、正誤を問わない。マークシート式試験の場合では、マーク入力がされた割合である。
【００５３】
そして、試験装置１の制御部１１は、仮問題５１２の妥当性、即ち、仮問題５１２を本問題５１１とするか否かの判定を所定の基準により行う。
ここでは、正答率５７３が予め定める所定の範囲にあるか否かで仮問題５１２の妥当性を判定する。例えば、簡単すぎる問題や、難しすぎる問題を除外するべく、上記の所定の範囲を３０％以上７０％未満と定めておく。
【００５４】
図８（ａ）の例では、正答率が５０％であり上記の範囲に含まれる、問題ＩＤ５７１が「３」の仮問題５１２は妥当であり本問題５１１とすると判定される。仮問題５１２を本問題５１１とすると判定される場合（ステップ１０５のＹＥＳ）、試験装置１の制御部１１は、問題データ５１の、問題ＩＤ５７１（問題ＩＤ５１０）に対応する仮問題フラグ５３５を、本問題を示す「０」とし、本問題配点５３７を参照して、配点５３３に本問題配点５３７の値を記録する（ステップ１０６）。これにより、仮問題５１２が本問題５１１に昇格したことになり、以降のテストにおいては、１以上の配点を有する本問題５１１として扱われる。
【００５５】
一方、図８（ａ）の問題ＩＤ５７１が「４」の仮問題５１２の正答率５７３は２５％である。正答率５７３は上記の範囲から外れ、仮問題５１２を本問題５１１とすると判定されない（ステップ１０５のＮＯ）。この場合、上記の処理は行われない。この仮問題５１２は難しすぎたので、試験システム２の管理者は、問題を簡単なものに修正するなどする。
【００５６】
以上のような処理を繰り返すことにより、仮問題５１２についてその妥当性が検証され、妥当である場合には本問題５１１として０でない配点を有する問題に変更される。
【００５７】
なお、上記と同様にして本問題５１１の妥当性、すなわち本問題５１１を仮問題５１２とするか否かについて判定することも可能である。例えば本問題５１１について、正答率５７３が所定の範囲にあるかを判定し、所定の範囲にない場合には、問題データ５１において仮問題フラグ５３５を仮問題５１２を示す「１」とし配点５３３を０とすることにより、本問題５１１の問題を仮問題５１２として設定したうえで、試験システム２の管理者により問題の修正を行うなどすることができる。
【００５８】
なお、前記のステップ１０４では、個人のテスト結果を示す採点分析データ５７ｂなども作成される。
この採点分析データ５７ｂの例を図８（ｂ）に示す。図に示すように、採点分析データ５７ｂとしては、受験者ＩＤ（受験者ＩＤ５６１）およびパターン番号（パターン番号５６２）ごとに、問題番号５７５、配点５７６、正誤５７７、および得点５７８等が紐付けられる。
【００５９】
問題番号５７５は、採点結果データ５５の問題番号５５１に対応する。
配点５７６は、問題データ５１の配点５３３に対応する。
正誤５７７は、採点結果データ５５の正誤５５５に対応する。
得点５７８は、採点結果データ５５の得点５５７に対応する。
【００６０】
試験装置１の制御部１１は、前記のステップ１０４において、例えば、配点５７６の合計（図の「８９」）を満点５７９として算出するとともに、得点５７８の合計（図の「４８」）を合計点５８０として算出し、満点５７９に対する合計点５８０の比（％）をテスト得点として算出する。各受験者に１回のテストで出題する問題について、満点５７９は一定にならないこともあるので、各受験者の評価として上記のテスト得点を算出する。このテスト得点は、受験者データ５６として、受験者ＩＤ５６１に紐付けて記録する。
【００６１】
以上説明したように、本実施形態によれば、本問題５１１に加え、作成した仮問題５１２を実際のテストで配点を０点として出題する。受験者は、配点を知ることなくテストを行い、本問題５１１や仮問題５１２に関係なく真剣に解くので、仮問題５１２の検証材料として信頼できる統計的データが得られる。また、仮問題５１２の配点は０点であるので、妥当性を検証する前の仮問題５１２の解答の結果がテスト結果に影響を与えることもない。このようにして得られた仮問題５１２に対する解答の採点結果について統計的な分析を行い、結果に応じて仮問題５１２を本問題５１１とすることで、仮問題５１２の妥当性の検証を、信頼に足るデータを基に容易に行うことができ、質の高い問題の作成を支援することができる。
【００６２】
また、問題データ５１の本問題配点５３７を予め定めるので、仮問題５１２を本問題５１１にする場合には、これに基づき配点５３３を与えることができる。
さらに、出題時には仮問題５１２が所定の割合以下となるように問題を選択して受験者端末３に送信し出題を行うので、テストにおいて、妥当性が未検証な仮問題５１２の出題数を一定数以下に抑えることができる。
【００６３】
また、本実施形態では、仮問題５１２を本問題５１１とする場合に本問題配点５３７を配点５３３として与えているが、分析結果により本問題配点５３７の所定の割合の点数を与えてもよい。
例えば上記の例では仮問題５１２の正答率５７３が３０％以上７０％未満の場合に本問題５１１とし配点５３３として本問題配点５３７を与えているが、仮問題５１２の正答率５７３が６０％以上７０％未満の場合には配点５３３として本問題配点５３７の４０％の値である２点を与え、それ以外の場合に配点５３３として本問題配点５３７の値を与えるようにしてもよい。これにより、例えば本問題５１１とする仮問題５１２のうち簡単な問題の配点５３３については低く抑える、あるいは難しい問題の配点５３３は高くしておくことなどができる。
【００６４】
さらに、ステップ１０４における採点結果の分析は図８で説明したものに限らない。次に、採点結果の統計的分析の別の例について説明する。
図９はその例を示すグラフである。図９の例は、初回に受験する受験者について上記と同様にテストを行い、ある仮問題５１２について、受験者の初回のテスト得点の得点帯ごとに、解答率５８７と正答率５８５を示したものである。
【００６５】
図９において、横軸は得点帯であり、縦軸は解答率５８７と正答率５８５を示す。図９より、仮問題５１２について、「０〜２０」の得点帯の受験者では解答率５８７が２０％、正答率５８５が０％、「２１〜４０」の得点帯の受験者では解答率５８７が４０％、正答率５８５が１０％、「４１〜６０」の得点帯の受験者では解答率５８７が５０％、正答率５８５が２０％、「６１〜８０」の得点帯の受験者では解答率５８７が７０％、正答率５８５が５０％、「８１〜１００」の得点帯の受験者では解答率５８７が９０％、正答率５８５が８０％である。
【００６６】
例えば、試験装置１の制御部１１は、ステップ１０３において採点結果データ５５を受験者ＩＤ等および受験回数（初回、２回目等）と紐付けて作成し、ステップ１０４において、受験回数等を参照し、採点結果データ５５等より、各受験者が初回に行ったテストについての採点結果を受験者の得点帯ごとに集計し、仮問題５１２について、図９のような得点帯ごとの解答率５８７と正答率５８５を算出する。
【００６７】
そして、試験装置１の制御部１１は、所定の基準を基に仮問題５１２を本問題５１１とするか否かを判定する。ここでは、予め定める所定の範囲に正答率５８５がある場合に仮問題５１２を本問題５１１とすると判定する。例えば上記所定の範囲を２０％以上６０％未満と定めた場合、「４１〜６０」、「６１〜８０」の得点帯の受験者について、仮問題５１２が本問題５１１とされることになる。
【００６８】
例えば、問題データ５１として、本問題５１１の問題ＩＤ５１０に紐付けて、どの得点帯（前回テストのテスト得点帯）の受験者に出題するかを示す情報も紐付けて記録しておき、試験装置１の制御部１１は、上記の仮問題５１２から本問題５１１となった問題については、前述の場合と同様に本問題５１１として設定するとともに、どの得点帯の受験者に出題するかを記録する。上記の例では、「４１〜６０」、「６１〜８０」の得点帯の受験者に出題することを記録する。
【００６９】
試験装置１の制御部１１は、前述の受験者データ５６や上記の情報等を参照し、復習として２回目以降テストを受験する受験者に対しては、前回行ったテストのテスト得点５６７に応じた難易度の問題を選択して出題することができる。テスト得点５６７が「４１〜６０」、「６１〜８０」の得点帯にあれば、上記の仮問題５１２から本問題５１１となった問題も１以上の配点を有する問題として出題される可能性があることになる。なお、仮問題５１２である問題については、初回のテスト受験者に対してのみ選択し出題可能としておく。
この他、試験問題が直前の解答結果に応じて動的に変わるような運用を行う場合などでは、例えば、それまでの解答結果より逐次正答率を算出し、上記の情報等を参照して受験者のレベルにあった問題の選択も可能になる。
【００７０】
また、解答率５７４（図８（ａ）参照）の統計的分析によって仮問題５１２の妥当性の検証を行うことも可能である。誤答に減点などのペナルティがある選択式の問題などでは、問題が難しすぎる、または分かりにくい場合には解答率５７４が下がるので、例えば、解答率５７４が所定の値以上である（問題自体の理解が容易である等）場合に、前記と同様の処理により仮問題５１２を本問題５１１とすることもできる。
その他、解答率５７４が高いにも関わらず正答率５７３（図８（ａ）参照）が低い場合には、「簡単そうに見えて難しい」、または「誤解を与える」問題であることもわかる。試験システム２の管理者は、このような解答率５７４と正答率５７３の結果と、問題の内容を突き合わせて妥当性の検討をすることができる。なお、上記の観点から、解答率５７４および正答率５７３についての所定の基準値を用いて、試験装置１により仮問題５１２の妥当性の判定を行うことも可能である。
【００７１】
以上、添付図を参照しながら、本発明の実施形態を説明したが、本発明の技術的範囲は、前述した実施の形態に左右されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７２】
１………試験装置
２………試験システム
３………受験者端末
４１………出題手段
４２………解答受信手段
４３………問題分析手段
４４………本問題設定手段
５１………問題データ
５５………採点結果データ
６０………出題画面
５１１………本問題
５１２………仮問題
【技術分野】
【０００１】
本発明は、受験者に問題を出題するとともに、その結果に応じて問題の管理を行う試験装置、問題管理方法、プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
近年、種々のテストを、コンピュータ・システムを利用し行うことが増えている。例えば、受験者はコンピュータに問題を表示させ、選択肢を選択することなどによって問題への解答を行う。このようなシステムでは、場所や時間を限定せず効率的にテストを実施することが可能である。一方、国家試験など厳密な管理（不正防止など）が必要な試験では、テスト会場型（テストセンター型）の試験システムもある。テスト会場では、本人確認の実施や試験経過の監視などの受験管理が行われる。このような仕組みのもと、様々な試験がデジタル化されている。このようなシステムの例が、特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１０７３７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、このようなシステムにおいては、問題を多く用意する必要がある。例えば複数回受験した場合に同じ問題が現れたりすることなどを避け、公平性を確保するためである。
【０００５】
一方で、出題される問題については、その質を維持する必要がある。特に、上に挙げた厳格な管理を要する国家試験などの試験では、試験問題の品質にさらに留意する必要がある。例えば、分かりにくい問題やあまりにも簡単でほとんどの受験者が解ける問題、難しすぎてほとんどの受験者が解けない問題は好ましくない。このように、試験に適当な問題を作成することは容易ではなく経験を要する。また、問題の妥当性を検証することも困難である。
【０００６】
本発明は、このような問題に鑑みてなされたもので、問題の妥当性を統計的に検証する方法を提供し、質の高い問題の作成を支援する試験装置等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前述した目的を達成するための第１の発明は、テストを受験する受験者の受験者端末とネットワークを介して接続される試験装置であって、出題時の配点が１以上である本問題と出題時の配点が０である仮問題とを含む、受験者に出題する問題を、出題時の配点とともに記憶する記憶手段と、前記仮問題を含む問題を前記受験者端末に送信し、配点を示さない出題画面として表示することにより出題を行う出題手段と、前記受験者端末から前記仮問題を含む問題に対する解答を受信する解答受信手段と、前記仮問題に対する解答の採点結果について統計的分析を行う問題分析手段と、前記採点結果の統計的分析の結果に応じて前記仮問題を本問題とするか否かを判定し、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点として１以上の値を記録する本問題設定手段と、を具備することを特徴とする試験装置である。
【０００８】
第１の発明によれば、本問題に加え、作成した仮問題を実際のテストで配点を０点として出題する。受験者は、配点を知ることなくテストを行い、本問題や仮問題に関係なく真剣に解くので、仮問題の検証材料として信頼できる統計的データが得られる。また、仮問題の配点は０点であるので、妥当性が未検証な仮問題に対する解答の結果がテスト結果に影響を与えることもない。このようにして得られた仮問題に対する解答の採点結果について統計的な分析を行い、結果に応じて仮問題を本問題とすることで、仮問題の妥当性の検証を、信頼に足るデータを基に容易に行うことができ、質の高い問題の作成を支援することができる。
【０００９】
前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、前記本問題設定手段は、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点を、前記本問題配点を参照して記録することが望ましい。
【００１０】
上記の構成により、例えば、出題時の配点が０であった仮問題に、予め定めた本問題配点、例えば「５点」など、を出題時の配点として新たに与えることにより、仮問題が本問題に昇格される。このように、本問題配点を予め定め、仮問題を本問題とする場合にこれに基づき配点を与えることができる。
【００１１】
また、前記出題手段は、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことが望ましい。
【００１２】
上記の構成により、テストにおいて、妥当性が未検証な仮問題の出題数を一定数以下に抑えることができる。
【００１３】
加えて、前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、前記本問題設定手段は、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することも望ましい。
【００１４】
上記の構成により、例えば仮問題が正答率の高い問題である場合に低い配点を与え、正答率が低い問題である場合に高い配点を与えるなど、仮問題の分析の結果に応じて、本問題とする場合の配点を変更することができる。
【００１５】
第２の発明は、テストを受験する受験者の受験者端末とネットワークを介して接続される試験装置における問題管理方法であって、前記試験装置が、出題時の配点が１以上である本問題と出題時の配点が０である仮問題とを含む、受験者に出題する問題を、出題時の配点とともに記憶する記憶手段を有し、前記仮問題を含む問題を前記受験者端末に送信し、配点を示さない出題画面として表示することにより出題を行う出題ステップと、前記受験者端末から前記仮問題を含む問題に対する解答を受信する解答受信ステップと、前記仮問題に対する解答の採点結果について統計的分析を行う問題分析ステップと、前記採点結果の統計的分析の結果に応じて前記仮問題を本問題とするか否かを判定し、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点として１以上の値を記録する本問題設定ステップと、を実行することを特徴とする問題管理方法である。
【００１６】
前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点を、前記本問題配点を参照して記録することが望ましい。
また、前記出題ステップでは、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことが望ましい。
加えて、前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することも望ましい。
【００１７】
第３の発明はコンピュータを第１の発明の試験装置として機能させるためのプログラムである。
【００１８】
第４の発明はコンピュータを第１の発明の試験装置として機能させるためのプログラムを記憶した記憶媒体である。
【発明の効果】
【００１９】
本発明によれば、問題の妥当性を統計的に検証する方法を提供し、質の高い問題の作成を支援する試験装置等を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】試験装置１を用いた試験システム２について説明する図
【図２】試験装置１、受験者端末３のハードウェア構成を示す図
【図３】試験装置１の機能構成について説明する図
【図４】問題データ５１の例（リレーショナルデータベースのスキーマの例）について示す図
【図５】出題データ５４、採点結果データ５５、受験者データ５６の例（以上３点、リレーショナルデータベースのスキーマの例）について示す図
【図６】試験装置１における問題管理方法の処理の流れを説明する図
【図７】出題画面６０の例について示す図
【図８】採点分析データ５７ａ、５７ｂの例について示す図
【図９】採点結果分析の別の例について示す図
【発明を実施するための形態】
【００２１】
以下、図面に基づいて本発明の実施形態について説明する。
【００２２】
図１は本発明の実施形態に係る試験装置１を用いた試験システム２について説明する図である。図１に示すように、試験システム２において、試験装置１は、受験者が使用する受験者端末３とネットワーク１０を介して接続され、受験者端末３に問題を送信しテストを実施するとともに、受験者端末３から問題に対する解答を受信する。
【００２３】
図２（ａ）は試験装置１のハードウェア構成を示す図である。図に示すように、試験装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続された構成である。
【００２４】
制御部１１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。
ＣＰＵは、記憶部１２、ＲＯＭ、記憶媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、試験装置１が行う後述する処理を実現する。ＲＯＭは不揮発性メモリであり、ブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは揮発性メモリであり、記憶部１２、ＲＯＭ、記憶媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各処理を行う為に使用するワークエリアを備える。
【００２５】
記憶部１２は、ＨＤＤ（ハードディスクドライブ）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理を試験装置１に実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００２６】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、―Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、―Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
通信制御部１４は、通信制御装置、通信ポート等を有し、他のサーバ等の装置との通信を媒介する通信インタフェースであり、ネットワークを介して他の装置との通信制御を行う。ネットワークは、有線、無線を問わない。
【００２７】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、およびディスプレイ装置と連携して表示機能を実現するための論理回路等を有する。
【００２８】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介して周辺機器とのデータ送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２９】
受験者端末３は、テストを受験するユーザが使用するパーソナル・コンピュータなどであり、図２（ｂ）に示すように、制御部３１、記憶部３２、メディア入出力部３３、通信制御部３４、入力部３５、表示部３６、周辺機器Ｉ／Ｆ部３７等が、バス３８を介して接続された構成である。各部の構成は、上記した試験装置１におけるものと同様である。
【００３０】
次に図３を参照して、試験装置１の機能構成について説明する。
図３に示すように、試験装置１は、出題手段４１、解答受信手段４２、問題分析手段４３、本問題設定手段４４等を有する。また、記憶部１２は問題データ５１、出題データ５４、採点結果データ５５、受験者データ５６等を記憶し、これらのデータの記憶手段として機能する。
【００３１】
出題手段４１は、試験装置１の制御部１１が、受験者端末３に問題を送信し出題画面として表示することにより受験者に出題を行うものである。この問題には、後述する仮問題と本問題とが含まれる。
解答受信手段４２は、試験装置１の制御部１１が、受験者端末３から、出題した問題に対する解答を受信するものである。
問題分析手段４３は、試験装置１の制御部１１が、仮問題に対する解答の採点結果について統計的分析を行うものである。
本問題設定手段４４は、試験装置１の制御部１１が、採点結果の統計的分析の結果に応じて仮問題を本問題とするか否かを判定し、判定結果に応じて、仮問題を本問題として設定するものである。仮問題を本問題として設定する際には、仮問題である問題の出題時の配点として１以上の値を記録するが、これについては後述する。
【００３２】
問題データ５１は、受験者に出題する問題のデータであり、各問題を問題ＩＤやその配点等と紐付けて記憶したものである。
図４は、問題データ５１の例について示すものである。図４に示す問題データ５１は、リレーショナルデータベースのスキーマを示すものであり、下線を引いた項目（図４では「問題ＩＤ」）は主キーであることを示す。後述する図５においても同様である。
図に示すように、問題データ５１としては、問題ＩＤ５１０、問題５１３、選択肢５１５、正答５１７、配点５３３、仮問題フラグ５３５、および本問題配点５３７等が紐付けて記憶される。
【００３３】
問題ＩＤ５１０は、各問題を識別する情報である。
問題５１３は、問題の内容を示すものである。
選択肢５１５は、問題に対する解答として、選択肢の番号ごとに選択肢の内容を示すものである。本実施形態では、問題データ５１として、複数の選択肢から正しい選択肢を選択して入力するような問題の例を示すが、解答として文字や数字、文章を入力するような問題であってもよい。
正答５１７は、問題５１３の正答を、選択肢５１５の番号で示したものである。
配点５３３は、問題の配点を示す。
仮問題フラグ５３５は、各問題が本問題か仮問題かを示すものである。図の例では、本問題である場合に「０」、仮問題である場合に「１」となる。
本問題配点５３７は、各問題を本問題として用いる場合の配点を示す。
【００３４】
そして、本実施形態では、問題データ５１の問題に、本問題５１１と仮問題５１２が含まれる。
本問題５１１は、テストにおいて使用され、正解することにより配点５３３（本問題配点５３７）として１以上の得点が受験者に与えられる通常の問題である。
一方、仮問題５１２は、テストにおいて使用されるが、正解しても受験者には得点が与えられない問題である。即ち、配点５３３が０である問題である。
【００３５】
出題データ５４は、１回のテストで受験者に出題した一連の問題やその出題順のパターンを記録するものである。すなわち、本実施形態では、問題は１回の試験に対応する数だけでなく相当数用意されている（従って、従来の方法では問題の品質確保が難しい）。この中から問題ＩＤ５１０をキーとして問題をランダムに選択し出題することもできるし、出題パターンは予め設定しておくこともできる。ランダムに出題を行った場合には、この出題パターンを記録することにより問題の管理ができる。ランダム出題の場合は、出題ごとに出題パターンが増加していく。
図５（ａ）は、出題データ５４の例について示すものである。
図に示すように、出題データ５４としては、パターン番号５４１、問題番号５４３、問題ＩＤ５４５等が紐付けて記録される。
【００３６】
パターン番号５４１は、前記のパターンを識別する番号である。
問題番号５４３は、問題の出題順を示す番号である。
問題ＩＤ５４５は、問題データ５１の問題ＩＤ５１０に対応する。
【００３７】
採点結果データ５５は、問題に対する各受験者の解答の採点結果を示すものである。
図５（ｂ）は採点結果データ５５の例を示すものである。
採点結果データ５５としては、受験者ＩＤ５５０ごとに、問題番号５５１、正誤５５５、得点５５７が紐付けて記録される。
【００３８】
受験者ＩＤ５５０は、受験者を識別する情報であり、後述する受験者ＩＤ５６１に対応する。
問題番号５５１は、受験者に出題した一連の問題の問題番号であり、出題データ５４の問題番号５４３に対応する。
正誤５５５は、問題番号５５１の問題に対する受験者の解答の正誤である。
得点５５７は、問題番号５５１の問題の解答結果に対し与えられる得点であり、正誤５５５が正の場合に、出題された問題の配点（問題データ５１の配点５３３）が得点５５７として記録され、誤の場合に０が記録される。出題された問題の配点は、問題番号５５１や受験者ＩＤ５５０等から特定できる。
なお、正誤５５５として中間的な評価（部分的に正解など）を用意することもでき、その場合は、例えば配点５３３が「４」であれば得点５５７をその半分の「２」とするなど、配点５３３の所定の割合の点数を得点５５７として記録することもできる。
【００３９】
受験者データ５６は、受験者ＩＤやテスト受験日など、受験者についての情報を記録したものである。
図５（ｃ）に受験者データ５６の例について示す。図に示すように、受験者データ５６は、受験者ＩＤ５６１、パターン番号５６２、氏名５６３、受験日５６５、テスト得点５６７等が紐付けて記録される。
【００４０】
受験者ＩＤ５６１は、受験者を識別する情報である。
パターン番号５６２は、受験者に出題された一連の問題のパターン番号であり、出題データ５４のパターン番号５４１に対応する。
氏名５６３は、受験者の氏名である。
受験日５６５は、受験者のテスト受験日を示す。
テスト得点５６７は、受験者のテストにおける得点を示す。テスト得点５６７の算出については後述する。
【００４１】
次に、図６を用いて、本実施形態の試験装置１における問題管理方法の処理の流れを説明する。
【００４２】
まず、テストの受験者は、受験者端末３より、受験者ＩＤを入力して試験装置１に送信し、試験装置１が提供する出題用サイトにアクセスし、テストを受験する。この際、試験装置１の制御部１１は仮問題５１２を含む問題５１３（および選択肢５１５）を受験者端末３に送信し出題画面６０として表示させて出題を行い、画面上で受験者に解答を入力させる（ステップ１０１）。
【００４３】
図７は出題画面６０の例である。
出題画面６０には問題６１（問題５１３）が表示され、受験者は、画面上で選択肢（選択肢５１５）に対応して表示されるラジオボタン６３を選択することにより、問題６１に対する解答を選択できる。解答の選択後「次へ」ボタン６５をクリックすることにより、次の問題６１についての出題画面６０に移行する。あるいは、「前へ」ボタン６７をクリックすることにより前の問題６１についての出題画面６０に移行し解答のやり直しなどすることができる。
【００４４】
このようにして出題される一連の問題５１３には本問題５１１および仮問題５１２が含まれるが、出題画面６０には問題の配点５３３は表示されない。受験者は出題される問題５１３の配点を知ることが無いので、本問題５１１であるか仮問題５１２であるかに関わらず手を抜いたりすることなく真剣に解くことになる。
【００４５】
出題を行う際、試験装置１の制御部１１は、問題データ５１の問題５１３を、本問題５１１に加え仮問題５１２が含まれるようにランダムに選択して受験者端末３に送信し出題画面６０として表示させる。出題した問題５１３の問題ＩＤ５１０は、出題データ５４の問題ＩＤ５４５として、出題順を示す問題番号５４３と紐付けパターン番号５４１を付して記録される。仮問題５１２の数は、１回のテストにおいて出題する一連の問題５１３の数に対して所定の割合、例えば１０％以下となるように選択される。上記の割合は予め様々に定めることができる。
【００４６】
ただし、問題の表示順や表示方法など出題の方法は、テストにおける一連の問題５１３に仮問題５１２を含むようにすれば、これに限ることはなく、例えば１つの画面で１回のテストにおける問題を全て表示し出題するようにしてもよいし、１つの問題に対する解答を逐次判定しその結果に応じて次に出題する問題を動的に変化させながら、問題を順次出題するようにしてもよい。
【００４７】
図６の説明に戻る。１回のテストについて一連の問題５１３に対する解答を行うと、受験者の指示操作により、受験者端末３は出題装置１に各問題５１３に対する解答を送信する。試験装置１の制御部１１は、受験者端末３から解答を受信する（ステップ１０２）。
【００４８】
各問題５１３に対する解答については、試験装置１の制御部１１により、問題データ５１として予め記憶しておいた各問題５１３の正答５１７と比較判定するなどして採点が行われ、図５（ｂ）で説明したような採点結果データ５５が受験者ごとに作成され、受験者ＩＤ等に紐付けて記憶される（ステップ１０３）。なお、問題５１３に対する採点は、採点者による指示操作に応じて、試験装置１の制御部１１が採点結果データ５５として入力するものであってもよい。
【００４９】
以上のように複数の受験者に対しテストを行い、受験者ごとに採点結果データ５５が作成される。試験装置１の制御部１１は、採点結果データ５５等に基づき採点結果の統計的な分析を行い結果に応じて仮問題５１２を本問題５１１とするか否か判定を行う（ステップ１０４）。
【００５０】
本実施形態では、ステップ１０４において、試験装置１の制御部１１は、採点の分析を行う際、各問題の正答率や解答率などの採点分析情報を示す採点分析データ５７ａを作成する。
【００５１】
採点分析データ５７ａの例を図８（ａ）に示す。採点分析データ５７ａとしては、問題ＩＤ５７１、配点５７２、正答率５７３、および解答率５７４が紐付けられる。採点分析データ５７ａは、出題データ５４、採点結果データ５５、受験者データ５６を集計し作成されるものである。
【００５２】
問題ＩＤ５７１、配点５７２は、それぞれ問題データ５１の問題ＩＤ５１０、配点５３３と同様である。
正答率５７３は問題に正しく解答された割合である。
解答率５７４は問題に解答された割合であり、正誤を問わない。マークシート式試験の場合では、マーク入力がされた割合である。
【００５３】
そして、試験装置１の制御部１１は、仮問題５１２の妥当性、即ち、仮問題５１２を本問題５１１とするか否かの判定を所定の基準により行う。
ここでは、正答率５７３が予め定める所定の範囲にあるか否かで仮問題５１２の妥当性を判定する。例えば、簡単すぎる問題や、難しすぎる問題を除外するべく、上記の所定の範囲を３０％以上７０％未満と定めておく。
【００５４】
図８（ａ）の例では、正答率が５０％であり上記の範囲に含まれる、問題ＩＤ５７１が「３」の仮問題５１２は妥当であり本問題５１１とすると判定される。仮問題５１２を本問題５１１とすると判定される場合（ステップ１０５のＹＥＳ）、試験装置１の制御部１１は、問題データ５１の、問題ＩＤ５７１（問題ＩＤ５１０）に対応する仮問題フラグ５３５を、本問題を示す「０」とし、本問題配点５３７を参照して、配点５３３に本問題配点５３７の値を記録する（ステップ１０６）。これにより、仮問題５１２が本問題５１１に昇格したことになり、以降のテストにおいては、１以上の配点を有する本問題５１１として扱われる。
【００５５】
一方、図８（ａ）の問題ＩＤ５７１が「４」の仮問題５１２の正答率５７３は２５％である。正答率５７３は上記の範囲から外れ、仮問題５１２を本問題５１１とすると判定されない（ステップ１０５のＮＯ）。この場合、上記の処理は行われない。この仮問題５１２は難しすぎたので、試験システム２の管理者は、問題を簡単なものに修正するなどする。
【００５６】
以上のような処理を繰り返すことにより、仮問題５１２についてその妥当性が検証され、妥当である場合には本問題５１１として０でない配点を有する問題に変更される。
【００５７】
なお、上記と同様にして本問題５１１の妥当性、すなわち本問題５１１を仮問題５１２とするか否かについて判定することも可能である。例えば本問題５１１について、正答率５７３が所定の範囲にあるかを判定し、所定の範囲にない場合には、問題データ５１において仮問題フラグ５３５を仮問題５１２を示す「１」とし配点５３３を０とすることにより、本問題５１１の問題を仮問題５１２として設定したうえで、試験システム２の管理者により問題の修正を行うなどすることができる。
【００５８】
なお、前記のステップ１０４では、個人のテスト結果を示す採点分析データ５７ｂなども作成される。
この採点分析データ５７ｂの例を図８（ｂ）に示す。図に示すように、採点分析データ５７ｂとしては、受験者ＩＤ（受験者ＩＤ５６１）およびパターン番号（パターン番号５６２）ごとに、問題番号５７５、配点５７６、正誤５７７、および得点５７８等が紐付けられる。
【００５９】
問題番号５７５は、採点結果データ５５の問題番号５５１に対応する。
配点５７６は、問題データ５１の配点５３３に対応する。
正誤５７７は、採点結果データ５５の正誤５５５に対応する。
得点５７８は、採点結果データ５５の得点５５７に対応する。
【００６０】
試験装置１の制御部１１は、前記のステップ１０４において、例えば、配点５７６の合計（図の「８９」）を満点５７９として算出するとともに、得点５７８の合計（図の「４８」）を合計点５８０として算出し、満点５７９に対する合計点５８０の比（％）をテスト得点として算出する。各受験者に１回のテストで出題する問題について、満点５７９は一定にならないこともあるので、各受験者の評価として上記のテスト得点を算出する。このテスト得点は、受験者データ５６として、受験者ＩＤ５６１に紐付けて記録する。
【００６１】
以上説明したように、本実施形態によれば、本問題５１１に加え、作成した仮問題５１２を実際のテストで配点を０点として出題する。受験者は、配点を知ることなくテストを行い、本問題５１１や仮問題５１２に関係なく真剣に解くので、仮問題５１２の検証材料として信頼できる統計的データが得られる。また、仮問題５１２の配点は０点であるので、妥当性を検証する前の仮問題５１２の解答の結果がテスト結果に影響を与えることもない。このようにして得られた仮問題５１２に対する解答の採点結果について統計的な分析を行い、結果に応じて仮問題５１２を本問題５１１とすることで、仮問題５１２の妥当性の検証を、信頼に足るデータを基に容易に行うことができ、質の高い問題の作成を支援することができる。
【００６２】
また、問題データ５１の本問題配点５３７を予め定めるので、仮問題５１２を本問題５１１にする場合には、これに基づき配点５３３を与えることができる。
さらに、出題時には仮問題５１２が所定の割合以下となるように問題を選択して受験者端末３に送信し出題を行うので、テストにおいて、妥当性が未検証な仮問題５１２の出題数を一定数以下に抑えることができる。
【００６３】
また、本実施形態では、仮問題５１２を本問題５１１とする場合に本問題配点５３７を配点５３３として与えているが、分析結果により本問題配点５３７の所定の割合の点数を与えてもよい。
例えば上記の例では仮問題５１２の正答率５７３が３０％以上７０％未満の場合に本問題５１１とし配点５３３として本問題配点５３７を与えているが、仮問題５１２の正答率５７３が６０％以上７０％未満の場合には配点５３３として本問題配点５３７の４０％の値である２点を与え、それ以外の場合に配点５３３として本問題配点５３７の値を与えるようにしてもよい。これにより、例えば本問題５１１とする仮問題５１２のうち簡単な問題の配点５３３については低く抑える、あるいは難しい問題の配点５３３は高くしておくことなどができる。
【００６４】
さらに、ステップ１０４における採点結果の分析は図８で説明したものに限らない。次に、採点結果の統計的分析の別の例について説明する。
図９はその例を示すグラフである。図９の例は、初回に受験する受験者について上記と同様にテストを行い、ある仮問題５１２について、受験者の初回のテスト得点の得点帯ごとに、解答率５８７と正答率５８５を示したものである。
【００６５】
図９において、横軸は得点帯であり、縦軸は解答率５８７と正答率５８５を示す。図９より、仮問題５１２について、「０〜２０」の得点帯の受験者では解答率５８７が２０％、正答率５８５が０％、「２１〜４０」の得点帯の受験者では解答率５８７が４０％、正答率５８５が１０％、「４１〜６０」の得点帯の受験者では解答率５８７が５０％、正答率５８５が２０％、「６１〜８０」の得点帯の受験者では解答率５８７が７０％、正答率５８５が５０％、「８１〜１００」の得点帯の受験者では解答率５８７が９０％、正答率５８５が８０％である。
【００６６】
例えば、試験装置１の制御部１１は、ステップ１０３において採点結果データ５５を受験者ＩＤ等および受験回数（初回、２回目等）と紐付けて作成し、ステップ１０４において、受験回数等を参照し、採点結果データ５５等より、各受験者が初回に行ったテストについての採点結果を受験者の得点帯ごとに集計し、仮問題５１２について、図９のような得点帯ごとの解答率５８７と正答率５８５を算出する。
【００６７】
そして、試験装置１の制御部１１は、所定の基準を基に仮問題５１２を本問題５１１とするか否かを判定する。ここでは、予め定める所定の範囲に正答率５８５がある場合に仮問題５１２を本問題５１１とすると判定する。例えば上記所定の範囲を２０％以上６０％未満と定めた場合、「４１〜６０」、「６１〜８０」の得点帯の受験者について、仮問題５１２が本問題５１１とされることになる。
【００６８】
例えば、問題データ５１として、本問題５１１の問題ＩＤ５１０に紐付けて、どの得点帯（前回テストのテスト得点帯）の受験者に出題するかを示す情報も紐付けて記録しておき、試験装置１の制御部１１は、上記の仮問題５１２から本問題５１１となった問題については、前述の場合と同様に本問題５１１として設定するとともに、どの得点帯の受験者に出題するかを記録する。上記の例では、「４１〜６０」、「６１〜８０」の得点帯の受験者に出題することを記録する。
【００６９】
試験装置１の制御部１１は、前述の受験者データ５６や上記の情報等を参照し、復習として２回目以降テストを受験する受験者に対しては、前回行ったテストのテスト得点５６７に応じた難易度の問題を選択して出題することができる。テスト得点５６７が「４１〜６０」、「６１〜８０」の得点帯にあれば、上記の仮問題５１２から本問題５１１となった問題も１以上の配点を有する問題として出題される可能性があることになる。なお、仮問題５１２である問題については、初回のテスト受験者に対してのみ選択し出題可能としておく。
この他、試験問題が直前の解答結果に応じて動的に変わるような運用を行う場合などでは、例えば、それまでの解答結果より逐次正答率を算出し、上記の情報等を参照して受験者のレベルにあった問題の選択も可能になる。
【００７０】
また、解答率５７４（図８（ａ）参照）の統計的分析によって仮問題５１２の妥当性の検証を行うことも可能である。誤答に減点などのペナルティがある選択式の問題などでは、問題が難しすぎる、または分かりにくい場合には解答率５７４が下がるので、例えば、解答率５７４が所定の値以上である（問題自体の理解が容易である等）場合に、前記と同様の処理により仮問題５１２を本問題５１１とすることもできる。
その他、解答率５７４が高いにも関わらず正答率５７３（図８（ａ）参照）が低い場合には、「簡単そうに見えて難しい」、または「誤解を与える」問題であることもわかる。試験システム２の管理者は、このような解答率５７４と正答率５７３の結果と、問題の内容を突き合わせて妥当性の検討をすることができる。なお、上記の観点から、解答率５７４および正答率５７３についての所定の基準値を用いて、試験装置１により仮問題５１２の妥当性の判定を行うことも可能である。
【００７１】
以上、添付図を参照しながら、本発明の実施形態を説明したが、本発明の技術的範囲は、前述した実施の形態に左右されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７２】
１………試験装置
２………試験システム
３………受験者端末
４１………出題手段
４２………解答受信手段
４３………問題分析手段
４４………本問題設定手段
５１………問題データ
５５………採点結果データ
６０………出題画面
５１１………本問題
５１２………仮問題
【特許請求の範囲】
【請求項１】
テストを受験する受験者の受験者端末とネットワークを介して接続される試験装置であって、
出題時の配点が１以上である本問題と出題時の配点が０である仮問題とを含む、受験者に出題する問題を、出題時の配点とともに記憶する記憶手段と、
前記仮問題を含む問題を前記受験者端末に送信し、配点を示さない出題画面として表示することにより出題を行う出題手段と、
前記受験者端末から前記仮問題を含む問題に対する解答を受信する解答受信手段と、
前記仮問題に対する解答の採点結果について統計的分析を行う問題分析手段と、
前記採点結果の統計的分析の結果に応じて前記仮問題を本問題とするか否かを判定し、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点として１以上の値を記録する本問題設定手段と、
を具備することを特徴とする試験装置。
【請求項２】
前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、
前記本問題設定手段は、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点を、前記本問題配点を参照して記録することを特徴とする請求項１に記載の試験装置。
【請求項３】
前記出題手段は、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことを特徴とする請求項１または請求項２に記載の試験装置。
【請求項４】
前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、
前記本問題設定手段は、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することを特徴とする請求項１から請求項３のいずれかに記載の試験装置。
【請求項５】
テストを受験する受験者の受験者端末とネットワークを介して接続される試験装置における問題管理方法であって、
前記試験装置が、
出題時の配点が１以上である本問題と出題時の配点が０である仮問題とを含む、受験者に出題する問題を、出題時の配点とともに記憶する記憶手段を有し、
前記仮問題を含む問題を前記受験者端末に送信し、配点を示さない出題画面として表示することにより出題を行う出題ステップと、
前記受験者端末から前記仮問題を含む問題に対する解答を受信する解答受信ステップと、
前記仮問題に対する解答の採点結果について統計的分析を行う問題分析ステップと、
前記採点結果の統計的分析の結果に応じて前記仮問題を本問題とするか否かを判定し、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点として１以上の値を記録する本問題設定ステップと、
を実行することを特徴とする問題管理方法。
【請求項６】
前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、
前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点を、前記本問題配点を参照して記録することを特徴とする請求項５に記載の問題管理方法。
【請求項７】
前記出題ステップでは、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことを特徴とする請求項５または請求項６に記載の問題管理方法。
【請求項８】
前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、
前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することを特徴とする請求項５から請求項７のいずれかに記載の問題管理方法。
【請求項９】
コンピュータを請求項１から請求項４のいずれかに記載の試験装置として機能させるためのプログラム。
【請求項１０】
コンピュータを請求項１から請求項４のいずれかに記載の試験装置として機能させるためのプログラムを記憶した記憶媒体。
【請求項１】
テストを受験する受験者の受験者端末とネットワークを介して接続される試験装置であって、
出題時の配点が１以上である本問題と出題時の配点が０である仮問題とを含む、受験者に出題する問題を、出題時の配点とともに記憶する記憶手段と、
前記仮問題を含む問題を前記受験者端末に送信し、配点を示さない出題画面として表示することにより出題を行う出題手段と、
前記受験者端末から前記仮問題を含む問題に対する解答を受信する解答受信手段と、
前記仮問題に対する解答の採点結果について統計的分析を行う問題分析手段と、
前記採点結果の統計的分析の結果に応じて前記仮問題を本問題とするか否かを判定し、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点として１以上の値を記録する本問題設定手段と、
を具備することを特徴とする試験装置。
【請求項２】
前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、
前記本問題設定手段は、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点を、前記本問題配点を参照して記録することを特徴とする請求項１に記載の試験装置。
【請求項３】
前記出題手段は、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことを特徴とする請求項１または請求項２に記載の試験装置。
【請求項４】
前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、
前記本問題設定手段は、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することを特徴とする請求項１から請求項３のいずれかに記載の試験装置。
【請求項５】
テストを受験する受験者の受験者端末とネットワークを介して接続される試験装置における問題管理方法であって、
前記試験装置が、
出題時の配点が１以上である本問題と出題時の配点が０である仮問題とを含む、受験者に出題する問題を、出題時の配点とともに記憶する記憶手段を有し、
前記仮問題を含む問題を前記受験者端末に送信し、配点を示さない出題画面として表示することにより出題を行う出題ステップと、
前記受験者端末から前記仮問題を含む問題に対する解答を受信する解答受信ステップと、
前記仮問題に対する解答の採点結果について統計的分析を行う問題分析ステップと、
前記採点結果の統計的分析の結果に応じて前記仮問題を本問題とするか否かを判定し、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点として１以上の値を記録する本問題設定ステップと、
を実行することを特徴とする問題管理方法。
【請求項６】
前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、
前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点を、前記本問題配点を参照して記録することを特徴とする請求項５に記載の問題管理方法。
【請求項７】
前記出題ステップでは、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことを特徴とする請求項５または請求項６に記載の問題管理方法。
【請求項８】
前記記憶手段は、問題ごとに、前記出題時の配点と、１以上の配点である本問題配点を紐付けて記憶し、
前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することを特徴とする請求項５から請求項７のいずれかに記載の問題管理方法。
【請求項９】
コンピュータを請求項１から請求項４のいずれかに記載の試験装置として機能させるためのプログラム。
【請求項１０】
コンピュータを請求項１から請求項４のいずれかに記載の試験装置として機能させるためのプログラムを記憶した記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−７６７５４（Ｐ２０１３−７６７５４Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１５３３０（Ｐ２０１１−２１５３３０）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]