試験問題評価装置及びその制御方法並びにプログラム及び記録媒体
【課題】効率的かつ客観的に試験問題を評価する。
【解決手段】ＣＰＵ２は、作問時に入力される試験問題の難易度及び必要度に基づいて試験問題の難易度及び必要度を表す修正イーベル指数を算出する。さらに、ＣＰＵ２は、複数の受験者の試験問題に対する解答内容を含むデータに基づいて、試験問題の正答率と識別指数とを算出し、算出された修正イーベル指数と、正答率と、識別指数とに基づいて、所定の関数を用いて試験問題の品質を表す問題評価指数を算出し、算出された問題評価指数をディスプレイ６に表示する。
【解決手段】ＣＰＵ２は、作問時に入力される試験問題の難易度及び必要度に基づいて試験問題の難易度及び必要度を表す修正イーベル指数を算出する。さらに、ＣＰＵ２は、複数の受験者の試験問題に対する解答内容を含むデータに基づいて、試験問題の正答率と識別指数とを算出し、算出された修正イーベル指数と、正答率と、識別指数とに基づいて、所定の関数を用いて試験問題の品質を表す問題評価指数を算出し、算出された問題評価指数をディスプレイ６に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の受験者を対象に繰り返し実施される客観試験に用いられる試験問題を評価するための試験問題評価装置及びその制御方法並びにプログラム及び記録媒体に関する。
【背景技術】
【０００２】
医師国家試験、薬剤師国家試験、看護士国家試験、及び運転免許試験のように複数の受験者を対象に繰り返し実施される客観試験（出題時にすでに正解が決定しており、採点者が異なっても同一の採点結果が得られる試験）は、受験者の健全な自己学習を促進させ、問題解決能力を向上させるものが望ましい。また、難問及び奇問を排し、暗記のみでは正解に至らないような、解釈及び問題解決能力の測定に重点を置いた試験である必要がある。さらに、良く学習し理解している受験者とそれ以外の受験者を識別できる必要がある。従って、客観試験においては、各試験問題を評価し、適切にかつ効率的に見直して更新することが重要である（特許文献１及び２参照。）。非特許文献１には、修正イーベル法（非特許文献２参照。）により、又は、最低合格水準（Minimum Pass Level（ＭＰＬ)）に基づいて、客観試験の試験問題を評価することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２２１８９５号公報。
【特許文献２】特開２００３−８５２９６号公報。
【非特許文献】
【０００４】
【非特許文献１】平野豊ほか、「良質な試験問題の作成法とその評価の仕方」、近畿大学医学雑誌、第３３巻、４号、３２３〜３２８頁、２００８年。
【非特許文献２】牛場大蔵ほか、「試験の合格水準の理論と実際」、医学教育、第１６巻、１７５〜１８２頁、１９８５年。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、修正イーベル法又は最低合格水準のみによる試験問題の評価は、客観性及び汎用性に欠けるという面もあり、試験問題の評価方法としては不十分であるという課題があった。
【０００６】
本発明の目的は以上の問題点を解決し、試験問題を従来技術に比較して効率的かつ客観的に評価できる試験問題評価装置及びその制御方法並びにプログラム及び記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
第１の発明に係る試験問題評価装置は、
試験問題の作問者により入力される所定のデータを入力するための入力手段と、
試験問題の作成をサポートする作問サポート処理及び上記試験問題を評価する試験問題評価処理を実行する制御手段と、
試験問題の難易度及び必要度と、上記試験問題の必要度及び難易度を表す修正イーベル指数との対応関係を示す修正イーベル指数算出テーブルを予め格納する記憶手段とを備えた試験問題評価装置であって、
上記制御手段は、
上記作問サポート処理において、上記入力手段から入力される上記試験問題の難易度及び必要度に基づいて、上記修正イーベル指数算出テーブルを参照して、上記試験問題の難易度及び必要度を表す修正イーベル指数を算出し、
上記試験問題評価処理において、複数の受験者の上記試験問題に対する解答内容を含むデータに基づいて、上記試験問題の正答率と、上記複数の受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも下位の成績の成績下位層の受験者とを区別する能力を表す識別指数とを算出し、上記算出された修正イーベル指数と、正答率と、識別指数とに基づいて、修正イーベル指数と、正答率と、識別指数とをパラメータとする所定の関数を用いて上記試験問題の品質を表す問題評価指数を算出して出力することを特徴とする。
【０００８】
上記試験問題評価装置において、上記制御手段はさらに、上記試験問題評価処理において、上記算出された問題評価指数に基づいて、上記試験問題を複数の問題評価区分に分類し、上記分類された問題評価区分を出力することを特徴とする。
【０００９】
また、上記試験問題評価装置において、上記制御手段はさらに、上記試験問題評価処理において、上記複数の問題評価区分のうち所定のしきい値区分より品質の良い問題評価指数を有する問題評価区分に分類された試験問題の内容を含む試験問題データを、上記記憶手段に格納することを特徴とする。
【００１０】
さらに、上記試験問題評価装置において、上記試験問題は多肢選択問題であって、
上記制御手段はさらに、上記試験問題評価処理において、上記解答内容を含むデータに基づいて、上記多肢選択問題の選択肢毎の選択率を算出し、上記試験問題を上記複数の問題評価区分に分類した後に、所定の選択率以下の選択肢があるときに上記分類された問題評価区分を１段階だけ下げるように変更することを特徴とする。
【００１１】
またさらに、上記試験問題評価装置において、上記試験問題は多肢選択問題であって、
上記制御手段はさらに、
上記作問サポート処理において、上記入力手段から、上記多肢選択問題の各選択肢毎の難易度を表す難易度コードを入力し、
上記試験問題評価処理において、上記入力された難易度コードを、上記問題評価指数とともに出力することを特徴とする。
【００１２】
また、上記試験問題評価装置において、上記修正イーベル指数は修正イーベル法において用いられる期待正答率であり、
上記修正イーベル指数算出テーブルは、修正イーベル法において用いられ、試験問題の難易度及び必要度と期待正答率との対応関係を示すテーブルであることを特徴とする。
【００１３】
第２の発明に係る試験問題評価装置の制御方法は、
試験問題の作問者により入力される所定のデータを入力するための入力手段と、
試験問題の作成をサポートする作問サポート処理及び上記試験問題を評価する試験問題評価処理を実行する制御手段と、
試験問題の難易度及び必要度と、上記試験問題の必要度及び難易度を表す修正イーベル指数との対応関係を示す修正イーベル指数算出テーブルを予め格納する記憶手段とを備えた試験問題評価装置の制御方法であって、
上記制御手段が、上記作問サポート処理において、上記入力手段から入力される上記試験問題の難易度及び必要度に基づいて、上記修正イーベル指数算出テーブルを参照して、上記試験問題の難易度及び必要度を表す修正イーベル指数を算出するステップと、
上記制御手段が、上記試験問題評価処理において、複数の受験者の上記試験問題に対する解答内容を含むデータに基づいて、上記試験問題の正答率と、上記複数の受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも下位の成績の成績下位層の受験者とを区別する能力を表す識別指数とを算出し、上記算出された修正イーベル指数と、正答率と、識別指数とに基づいて、修正イーベル指数と、正答率と、識別指数とをパラメータとする所定の関数を用いて上記試験問題の品質を表す問題評価指数を算出して出力するステップとを含むことを特徴とする。
【００１４】
上記試験問題評価装置の制御方法において、上記制御手段が、上記試験問題評価処理において、上記算出された問題評価指数に基づいて、上記試験問題を複数の問題評価区分に分類し、上記分類された問題評価区分を出力するステップをさらに含むことを特徴とする。
【００１５】
また、上記試験問題評価装置の制御方法において、上記制御手段が、上記試験問題評価処理において、上記複数の問題評価区分のうち所定のしきい値区分より品質の良い問題評価指数を有する問題評価区分に分類された試験問題の内容を含む試験問題データを、上記記憶手段に格納するステップをさらに含むことを特徴とする。
【００１６】
さらに、上記試験問題評価装置の制御方法において、上記試験問題は多肢選択問題であって、
上記制御手段が、上記試験問題評価処理において、上記解答内容を含むデータに基づいて、上記多肢選択問題の選択肢毎の選択率を算出し、上記試験問題を上記複数の問題評価区分に分類した後に、所定の選択率以下の選択肢があるときに上記分類された問題評価区分を１段階だけ下げるように変更するステップをさらに含むことを特徴とする。
【００１７】
またさらに、上記試験問題評価装置の制御方法において、上記試験問題は多肢選択問題であって、
上記制御手段が、上記作問サポート処理において、上記入力手段から、上記多肢選択問題の各選択肢毎の難易度を表す難易度コードを入力するステップと、
上記制御手段が、上記試験問題評価処理において、上記入力された難易度コードを、上記問題評価指数とともに出力するステップとをさらに含むことを特徴とする。
【００１８】
また、上記試験問題評価装置の制御方法において、上記修正イーベル指数は修正イーベル法において用いられる期待正答率であり、
上記修正イーベル指数算出テーブルは、修正イーベル法において用いられ、試験問題の難易度及び必要度と期待正答率との対応関係を示すテーブルであることを特徴とする。
【００１９】
第３の発明に係るプログラムは、上記試験問題評価装置の制御方法における各ステップを含むことを特徴とする。
【００２０】
第４の発明に係るコンピュータで読み取り可能な記録媒体は、上記プログラムを格納したことを特徴とする。
【発明の効果】
【００２１】
本発明に係る試験問題評価装置及びその制御方法並びにプログラム及び記録媒体によれば、作問時に入力される試験問題の難易度及び必要度に基づいて算出される修正イーベル指数と、試験問題に対する解答内容を含むデータに基づいて算出される試験問題の正答率及び識別指数とに基づいて、修正イーベル指数と、正答率と、識別指数とをパラメータとする所定の関数を用いて上記試験問題の品質を表す問題評価指数を算出して出力するので、作問者による試験問題の評価内容と、試験実施後に得られる客観的な数値との両方を反映した問題評価指数を自動的に得ることができる。このため、試験問題の評価を自動的に行い、試験問題の良否を従来技術に比較して客観的に判定できる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る試験問題評価装置１の構成を示すブロック図である。
【図２】図１の試験問題分類テーブル１２の一例を示すテーブルである。
【図３】図１のコメントテーブル１３の一例を示すテーブルである。
【図４】図１のＣＰＵ２によって実行される作問サポート処理のフローチャートである。
【図５】図１のＣＰＵ２によって実行される試験問題評価処理のフローチャートである。
【図６】図４のステップＳ１においてディスプレイ６に表示される問題一覧ウィンドウ１００の表示例である。
【図７】図４のステップＳ５においてディスプレイ６に表示される問題入力ウィンドウ２００の表示例である。
【図８】図５のステップＳ１８におけるディスプレイ６への表示例である。
【発明を実施するための形態】
【００２３】
以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の実施形態において、同様の構成要素については同一の符号を付している。
【００２４】
図１は、本発明の実施形態に係る試験問題評価装置１の構成を示すブロック図であり、図２は、図１の試験問題分類テーブル１２の一例を示すテーブルであり、図３は、図１のコメントテーブル１３の一例を示すテーブルである。図１において、試験問題評価装置１は、例えばパーソナルコンピュータなどのディジタル計算機であって、作問者が、医師国家試験に準拠した模擬試験のための試験問題を作成し、評価するための端末装置として用いられる。本実施形態において、各試験問題は、５個の選択肢の中から１個の選択肢を選択する多肢選択問題（以下、ＭＣＱ（Multiple Choice Question）という。）である。試験問題評価装置１は、ＣＰＵ（Central Processing Unit）２と、ＲＯＭ（Read Only Memory）３と、ＲＡＭ（Random Access Memory）４と、ハードディスクドライブ５と、ディスプレイ６と、操作入力部７と、ＬＡＮ（Local Area Network）インターフェース８と、光ディスクドライブ２０とを備えて構成される。ＣＰＵ２は、バスを介してＲＯＭ３、ＲＡＭ４、ハードディスクドライブ５、ディスプレイ６、操作入力部７、ＬＡＮインターフェース８、及び光ディスクドライブ２０と接続されていてそれらの各動作及び試験問題評価装置１の全体の動作を制御するほか、後述する種々のソフトウェアプログラムの処理（図４及び図５）を実行する。
【００２５】
また、図１において、ディスプレイ６は、液晶表示装置（ＬＣＤ（Liquid Crystal Display））又はＣＲＴ（Cathode Ray Tube）ディスプレイなどの表示装置であり、試験問題評価装置１の動作状態の表示及び種々のＧＵＩ（Graphic User Interface）プログラムのための表示装置として機能する。さらに、操作入力部７は、例えば、マウスなどのポインティングデバイス及びキーボードなどの文字入力手段を含む。作問者及び受験者などの試験問題評価装置１のユーザは、データ及び指示コマンドなどを入力するために操作入力部７を用いる。さらに、ＬＡＮインターフェース８は、ＬＡＮ８０に接続され、ＬＡＮ８０に接続された複数Ｍ台の受験者用端末装置３０−１〜３０−Ｍなどの機器からの信号及びデータを受信する一方、ＬＡＮ８０に接続された複数Ｍ台の受験者用端末装置３０−１〜３０−Ｍなどの機器に対してＣＰＵ２からの信号及びデータを送信して、信号変換及びプロトコル変換などのＬＡＮ通信に係る双方向のインターフェース処理を実行する。光ディスクドライブ２０は、ＣＤ−ＲＯＭ又はＤＶＤなどの、コンピュータで読み取り可能な記録媒体２１に記録されたデータ及びプログラムを読み出して出力する。
【００２６】
図１において、ＲＯＭ３は、試験問題評価装置１の動作に必要であってＣＰＵ２によって実行される種々のソフトウェアのプログラムを予め格納する。また、ハードディスクドライブ５は、記録媒体を内蔵する記憶装置であり、ＣＰＵ２が実行する試験問題評価プログラム１０と、修正イーベル指数算出テーブル１１と、試験問題分類テーブル１２と、コメントテーブル１３とを予め格納する。ここで、試験問題評価プログラム１０は、図４を参照して詳細後述する作問サポート処理のプログラムと、図５を参照して詳細後述する試験問題評価処理のプログラムとを含む。また、ハードディスクドライブ５は、作問サポート処理によってそれぞれ生成されたＮ個（Ｎは正の整数である。）の試験問題データ１４−１〜１４−Ｎ（以下、試験問題データ１４−１〜１４−Ｎを区別しない場合には、試験問題データ１４という。）を格納する。さらに、ハードディスクドライブ５は、プール（蓄積）対象の試験問題データ１４を格納するためのプール対象試験問題データ格納領域１５と、一部修正（ブラッシュアップ）してプール対象の問題となり得る試験問題データ１４を格納するためのブラッシュアップ対象試験問題格納領域１６と、重要な修正を含みかつブラッシュアップで十分に吟味の上、修正することにより再実施対象問題の候補になり得る試験問題データ１４を格納するための、重要な修正を含むブラッシュアップ対象試験問題格納領域１７とを有する。
【００２７】
ここで、修正イーベル指数算出テーブル１１は、作問者によって試験問題データ１４の生成時に設定される試験問題の難易度（平易、中等、又は困難）及び必要度（疑問、重要、又は必須）と、修正イーベル指数との対応関係を示す。ここで、修正イーベル指数は、試験問題の難易度及び必要度を表す指数であって、難易度の低下、及び必要度の上昇に伴って大きくなるように設定される。例えば、修正イーベル指数として、修正イーベル法（非特許文献２参照。）で用いられる期待正答率を用いてもよい。この場合は、修正イーベル指数算出テーブル１１は、以下のように設定される。
【００２８】
【表１】
【００２９】
また、図２に示すように、試験問題分類テーブル１２は、詳細後述する試験問題評価処理によって算出される試験問題データ１４の品質を表す問題評価指数と、試験問題の問題評価区分との対応関係を示す。さらに、図３に示すように、コメントテーブル１３は、試験問題データ１４の問題評価区分と、ディスプレイ６に表示されるコメントとの対応関係を示す。
【００３０】
さらに、図１において、ＲＡＭ４は、ＳＲＡＭ（Static RAM）、ＤＲＡＭ（Dynamic RAM）、ＳＤＲＡＭ（Synchronous DRAM）などで構成され、ＣＰＵ２のワーキングエリアとして使用されて、試験問題評価プログラム１０などのプログラムを実行したときに、当該実行するプログラムに対応する機能を実行するために必要な実行プログラムとそれを実行するために必要なデータ及び実行時に発生する一時的なデータを格納する。
【００３１】
次に、図４を参照して、図１のＣＰＵ２によって実行される作問サポート処理を説明する。図４は、図１のＣＰＵ２によって実行される、作問者の試験問題の作成をサポートするための作問サポート処理のフローチャートである。作問者が、試験問題評価装置１の操作入力部７を用いて、試験問題データ１４−ｎ（ｎ＝１，２，…，Ｎ）を生成するための所定の操作（例えば、ディスプレイ６に表示されている所定のアイコンをクリックする、又は、ディスプレイ６に表示されているコンソールウィンドウにおいて所定のコマンドを入力するなど。）を行うと、これに応答して、ＣＰＵ２は、試験問題評価プログラム１０に含まれる作問サポート処理のためのプログラムを実行する。
【００３２】
まず始めに、図４のステップＳ１において、ディスプレイ６に問題一覧ウィンドウ１００が表示される。図６は、図４のステップＳ１においてディスプレイ６に表示される問題一覧ウィンドウ１００の表示例である。図６に示すように、問題一覧ウィンドウ１００は、試験問題データ１４−ｎを新規に生成することを指示するための「新規作成」ボタン１０１と、既に生成されてハードディスクドライブ５に格納されている試験問題データ１４−ｎを修正することを指示するための「問題の修正」ボタン１０２と、ハードディスクドライブ５に格納されている試験問題データ１４−ｎの一覧表１０３とを含む。図４のステップＳ２において、作問者が、「新規作成」ボタン１０１をクリックしたか否かが判断され、ＹＥＳのときはステップＳ５に進む一方、ＮＯのときはステップＳ３に進む。そして、ステップＳ３において、作問者が、「問題の修正」ボタン１０２をクリックしたか否かが判断され、ＹＥＳのときはステップＳ４に進む一方、ＮＯのときはステップＳ２に戻る。ステップＳ４では、問題一覧ウィンドウ１００の一覧表１０３において選択された問題データ１４−ｎがハードディスクドライブ５から読み出される。そして、ステップＳ４又はステップＳ２に続いて、ステップＳ５において、ディスプレイ６に問題入力ウィンドウ２００が表示される。
【００３３】
図７は、図４のステップＳ５においてディスプレイ６に表示される問題入力ウィンドウ２００の表示例である。作問者は、ステップＳ５において、ディスプレイ６に表示された問題入力ウィンドウ２００と操作入力部７とを用いて、対話形式で作問を行う。図７に示すように、問題入力ウィンドウ２００は、問題文を入力するためのテキストボックス２０１と、選択肢毎に解答肢を入力するためのテキストボックス２０２−１〜２０２−５と、選択肢毎に難易度コードを選択して入力するためのドロップダウンリスト２３−１〜２３−５と、試験問題の必要度を選択して入力するためのドロップダウンリスト２０４と、試験問題の難易度を選択して入力するためのドロップダウンリスト２０５と、「保存」ボタン２０６とを含む。ここで、難易度コード（非特許文献１参照。）は、最低合格指数（非特許文献１参照。）に用いられるコードであって、選択肢が正解であるか否か及び難易度を表す。難易度コードは、正解を表す難易度コード（丸で囲まれた２（図７参照。））と、合格認定を許容できる最低能力の受験生が正解との区別できなくてもやむを得ない不正解の選択肢を表す難易度コード（２）と、合格認定を許容できる最低能力の受験生が正解とすることもあるであろうし、しないこともあるであろう不正解の選択肢を表す難易度コード（１）と、本試験問題に関係する領域の学習を行ったと思えない受験生が選択する選択肢を表す難易度コード（０）とから選択される。また、試験問題の必要度は、疑問、重要、及び必須の中から選択される。さらに、試験問題の難易度は、平易、中等、及び困難の中から選択される。図７の例では、テキストボックス２０１に、問題文「インフォームドコンセントとして適切でないのはどれか。」が入力されている。また、選択肢毎に、以下の解答肢と難易度コードが入力されている。
【００３４】
[表１]
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
選択肢 解答肢 難易度コード
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
ａ 治療処置の目的を説明する。 ０
ｂ 治療処置の選択肢を説明する。 ０
ｃ 治療処置のリスクを説明する。 ０
ｄ 病院の免責文書に署名をもらう。 正解を表す２（丸で囲まれた２）
ｅ 納得の上同意文書に署名をもらう。 ０
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
【００３５】
さらに、図７において、ドロップダウンリスト２０４を用いて、必要度として「必須」が選択され、ドロップダウンリスト２０５を用いて、難易度として「平易」が選択されている。なお、図４のステップＳ３において作問者が「問題の修正」ボタンをクリックし、ステップＳ４において、選択された試験問題データ１４−ｎがハードディスクドライブ５から読み出された場合には、読み出された試験問題データ１４−ｎに含まれる問題文と、選択肢毎の解答肢及び難易度コードと、必要度及び難易度とを、ステップＳ５において問題入力ウィンドウ２００に表示する。
【００３６】
図４のステップＳ５に続いて、ステップＳ６において、作問者が、問題入力ウィンドウ２００の「保存」ボタン２０６をクリックしたか否かが判断され、ＹＥＳのときはステップＳ７に進む一方、ＮＯのときはステップＳ６の処理を繰り返す。次に、ステップＳ７において、ＣＰＵ２は、入力された必要度及び難易度に基づいて修正イーベル指数算出テーブル１１を参照して、修正イーベル指数を算出する。そして、ステップＳ８において、ＣＰＵ２は、入力された問題文と、入力された選択肢毎の解答肢及び難易度コードと、入力された必要度及び難易度と、算出された修正イーベル指数とを含む試験問題データ１４−ｎを生成して、ハードディスクドライブ５に格納し、作問サポート処理を終了する。
【００３７】
以上説明したように、図４の作問サポート処理によって、問題文と、選択肢毎の解答肢及び難易度コードと、必要度及び難易度と、修正イーベル指数とを含む試験問題データ１４−ｎを生成してハードディスクドライブ５に格納することができる。図１において、各受験者用端末装置３０−１〜３０−Ｍは、生成された試験問題データ１４−ｎを、ハードディスクドライブ５からＬＡＮインターフェース８及びＬＡＮ８０を介して他の受験者用端末装置３０−１〜３０−Ｍを用いて受信して受験者用端末装置３０−１〜３０−Ｍの各表示装置に表示する。各受験者は、受験者用端末装置３０−１〜３０−Ｍにおいて試験問題に解答し、受験者用端末装置３０−１〜３０−Ｍは、解答内容を含むデータを、ＬＡＮ８０を介して試験問題評価装置１に送信する。
【００３８】
次に、図５を参照して、図１のＣＰＵ２によって実行される試験問題評価処理を説明する。図５は、図１のＣＰＵ２によって実行される試験問題評価処理のフローチャートである。作問者が、試験問題評価装置１の操作入力部７を用いて、試験問題データ１４−ｎを評価するための所定の操作（例えば、ディスプレイ６に表示されている所定のアイコンをクリックする、又は、ディスプレイ６に表示されているコンソールウィンドウにおいて所定のコマンドを入力するなど。）を行うと、これに応答して、ＣＰＵ２は、試験問題評価プログラム１０に含まれる試験問題評価処理のためのプログラムを実行する。
【００３９】
まず始めに、ステップＳ１０において、ＣＰＵ２は、受験者用端末装置３０−１〜３０−Ｍから、試験問題データ１４−ｎに対する解答内容を含むデータを受信し、当該受信されたデータに基づいて、各解答を採点し、正答率と、選択肢毎の選択者数と、選択肢毎の選択率と、識別指数とを算出する。
【００４０】
ここで、試験問題データ１４−ｎの正答率は、全ての受験者のうち試験問題データ１４−ｎに正解した受験者の割合（０以上１以下の値）である。また、試験問題データ１４−ｎの識別指数は、全ての受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも下位の成績の成績下位層の受験者とを区別する能力を表す。本実施形態において、試験問題データ１４−ｎの識別指数は、全ての受験者のうちの成績最上位Ｘ％の受験者の試験問題データ１４−ｎの正答率から、全ての受験者のうちの成績最下位Ｙ％の受験者の試験問題データ１４−ｎの正答率を減算した値であり、−１以上１以下の数値である。識別指数が負の値の試験問題は、適切な問題ではない可能性、あるいは、実施した試験で測定する能力と異なる能力を測定している可能性がある。一般に、識別指数は０．２を超えることが好ましい。また、成績最上位者の割合Ｘ％及び成績最下位者の割合Ｙ％は、試験問題データ１４−ｎを含む試験全体の得点順位に基づいて、例えば、それぞれ２５％、１５％、５０％などの所定の値に設定される。ここで、例えばＸ＝Ｙ＝５０％であるとき、試験問題データ１４−ｎの識別指数は、全ての受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも直下の下位の成績の成績下位層の受験者とを区別する能力を表す。また、例えばＸ＜５０％かつＹ＜５０％であるとき、試験問題データ１４−ｎの識別指数は、全ての受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも、所定数の受験者を介して、下位の成績の成績下位層の受験者とを区別する能力を表し、当該成績上位層の受験者は第１のしきい値順位以上の受験者であり、当該下位の成績の成績下位層の受験者は、上記第１のしきい値順位よりも下位の第２のしきい値順位以下の受験者であり、それ故、試験問題データ１４−ｎの識別指数は、全ての受験者のうちの、第１のしきい値順位以上の成績上位層の受験者と、第２のしきい値順位以下の下位の成績の成績下位層の受験者とを区別する能力を表す
【００４１】
次に、ステップＳ１０に続いてステップＳ１１において、ＣＰＵ２は、試験問題データ１４−ｎに含まれる修正イーベル指数と、算出した正答率及び識別指数とに基づいて、所定の関数を用いて問題評価指数を算出する。ここで、問題評価指数Ｅは、以下の式で表される。
【００４２】
［数１］
Ｅ＝ｆ（ｘ，ｙ，ｚ）
【００４３】
ここで、ｘは修正イーベル指数であり、ｙは正答率であり、ｚは識別指数であり、ｆは例えば、それぞれ所定の係数を有してパラメータｘ、ｙ、ｚを線形結合し、又は２次以上の高次方程式で結合する所定の関数である。このように算出された問題評価指数Ｅは試験問題の品質（良否）を表し、本実施形態では、関数ｆは、品質の上昇と共に試験問題の問題評価指数Ｅが高い値を有するように設定される。
【００４４】
図５において、ステップＳ１１に続いてステップＳ１２において、ＣＰＵ２は、算出された問題評価指数に基づいて問題分類テーブル１２を参照して、試験問題データ１４−ｎを問題評価区分Ａ，Ｂ又はＣに分類する。ここで、問題評価区分Ａ，Ｂ，Ｃは、試験問題の品質を表し、問題評価区分Ａ，Ｂ，Ｃの順序で品質が悪くなる。具体的には、問題評価区分Ａに分類された試験問題データ１４−ｎはプール対象問題に適しており、問題評価区分Ｂに分類された試験問題データ１４−ｎは一部修正（ブラッシュアップ）してプール対象問題となり得る。また、問題評価区分Ｃに分類された試験問題データ１４−ｎは、問題評価区分Ｂに分類された試験問題データ１４−ｎに比較して重要な修正を行う必要があるが、ブラッシュアップで十分に吟味の上、修正することにより再実施対象問題の候補になり得る。
【００４５】
次に、ステップＳ１３において、試験問題データ１４−ｎが問題評価区分Ｃに分類されたか否かが判断され、ＹＥＳのときはステップＳ１６に進む一方、ＮＯのときはステップＳ１４に進む。さらに、ステップＳ１４において、選択者数がゼロの選択肢があるか、又は、選択率が２％未満の選択肢があるか否かが判断され、ＹＥＳのときはステップＳ１５に進む一方、ＮＯのときはステップＳ１６に進む。ステップＳ１５では、問題評価区分は１段階だけ下げられ（問題評価区分Ａから問題評価区分Ｂへ、又は、問題評価区分Ｂから問題評価区分Ｃへ下げられる。）、ステップＳ１６に進む。ステップＳ１６では、試験問題データ１４−ｎが問題評価区分Ａに分類された場合はプール対象試験問題データ格納領域１５に格納し、問題評価区分Ｂに分類された場合はブラッシュアップ対象試験問題データ格納領域１６に格納し、問題評価区分Ｃに分類された場合は重要な修正を含むブラッシュアップ対象試験問題データ格納領域１７に格納する。ステップＳ１６の処理により、問題評価区分Ａに分類されたプール対象問題である試験問題データ１４−ｎと、問題評価区分Ｂに分類された一部修正が必要な試験問題データ１４−ｎと、問題評価区分Ｃに分類されたより重要な修正が必要な試験問題データ１４−ｎとを、それぞれ異なる格納領域１５，１６及び１７に格納できる。次に、ステップＳ１７では、ディスプレイ６に、試験問題データ１４−ｎの選択肢番号と、難易度コードと、修正イーベル指数と、正答率と、選択者数と、選択率と、識別指数と、問題評価指数と、問題評価区分とを表示するとともに、問題評価区分に基づいてコメントテーブル１３を参照してコメントを表示し、試験問題評価処理を終了する。図８は、図５のステップＳ１８におけるディスプレイ６への表示例である。なお、図８では、算出された正答率を１００倍した値（単位は、％である。）を「正答率」として表示している。
【００４６】
従来は、修正イーベル法による試験問題の主観的な評価と、試験実施後に得られる正答率などの客観的な数値に基づく試験問題の評価とは、独立に行われており、２つの評価結果に基づいて作問者自身が総合的に試験問題を評価する必要があった。しかしながら、本実施形態によれば、作問時に作問者によって設定される試験問題の難易度及び必要度を表す修正イーベル指数と、試験実施後に得られる試験問題の正答率及び識別指数とに基づいて問題評価指数を算出し、当該問題評価指数に基づいて試験問題を自動的に評価する。このため、作問者による試験問題の評価内容と、試験実施後に得られる客観的な数値との両方を反映した問題評価指数を自動的に得ることができる。このため、試験問題の評価を自動的に行い、試験問題の良否を従来技術に比較して客観的に判定できる。
【００４７】
さらに、図８に示すように、試験問題の問題評価区分を表示するので、作問者は、当該表示に基づいて、例えば、問題評価区分Ｂに分類されてブラッシュアップ対象試験問題格納領域１６に格納された試験問題データ１４と、問題評価区分Ｃに分類されて重要な修正を含むブラッシュアップ対象試験問題格納領域１７に格納された試験問題データ１４を吟味し推敲できる。また、問題評価区分Ａに分類された（すなわち、しきい値区分Ｂより品質の良い問題評価指数を有し、良問と判定された）試験問題データ１４−ｎを自動的にプール対象試験問題データ格納領域１５に格納するので、従来技術に比較して、容易に客観試験を作成できる。従って、本実施形態によれば、試験作成を補助することができる。さらに、受験者用端末装置３０−１〜３０−Ｍから、問題評価区分Ａに分類されてプール対象試験問題データ格納領域１５に格納された試験問題データ１４−ｎを読み出すことができるように設定すれば、受験者の自己学習を促進できる。
【００４８】
また、図５の試験問題評価処理において、選択者数がゼロの選択肢がある、又は、選択率が２％未満の選択肢があるときに、問題評価区分を１段階だけ下げる（ステップＳ１４及びステップＳ１５）ので、選択肢毎の選択率を考慮した試験問題評価を行うことができる。
【００４９】
なお、上記実施形態では、試験問題データ１４は５個の選択肢の中から１個の選択肢を選択する多肢選択問題を含んだ。しかしながら、本発明はこれに限らず、任意の数の選択肢から任意の数の選択肢を選択する多肢選択問題、又は論述問題であってもよい。ただし、論述問題の場合は、難易度コードの設定はできず、図５のステップＳ１２の処理の次にステップＳ１８の処理を実行することになる。
【００５０】
また、上記実施形態では、試験問題データ１４を問題評価指数に基づいて問題評価区分Ａ，Ｂ，Ｃに分類したが、本発明はこれに限らず、２つ又は４つ以上の問題評価区分に分類してもよい。例えば、測定する能力と異なる能力を測定しているために難しすぎる試験問題又は易しすぎる試験問題であって、ブラッシュアップの対象問題になり得ない試験問題を表す問題評価区分Ｄを追加して設けてもよい。
【００５１】
さらに、ステップＳ１４における選択者数のしきい値及び選択率のしきい値と、試験問題分類テーブル１２における試験問題データ１４を分類するための問題評価指数のしきい値とは、本実施形態において示した値に限らない。試験問題評価処理を繰り返し実行し、より高精度に試験問題を評価できるように、これらの値を変更してもよい。
【００５２】
またさらに、作問者によって図４の作問サポート処理のステップＳ５において設定された各選択肢の難易度コードに基づいて、最低合格指数（ＭＰＩ（Minimum Pass Index）。非特許文献１参照。）を算出して、算出された最低合格指数をさらに含む試験問題データ１４を生成してもよい。この場合、最低合格指数は、例えば、以下の式で算出される。
【００５３】
［数２］
最低合格指数＝２／（各選択肢の難易度コードに対応する値の総和）
【００５４】
ただし、正解を表す難易度コード（丸で囲まれた２）に対応する値は２であり、難易度コード（２）に対応する値は２であり、難易度コード（１）に対応する値は１であり、難易度コード（０）に対応する値は０である。
【００５５】
また、上記実施形態において、決定された問題評価区分Ａ、Ｂ又はＣをディスプレイ６に表示したが、本発明はこれに限らず、プリンタなどの出力手段を用いて印字出力等してもよい。
【００５６】
さらに、上記実施形態において、試験問題評価装置１は、作問者が、医師国家試験に準拠した模擬試験のための試験問題を作成して評価するために用いられた。しかしながら、本発明はこれに限らず、薬剤師国家試験又は看護士国家試験などの医学以外の領域の客観試験の試験問題を作成して評価するために用いられてもよい。
【００５７】
またさらに、上記実施形態において、試験問題評価プログラム１０と、その実行のための各テーブル１１〜１３及びデータとをそれぞれハードディスクドライブ５に予め格納した。しかしながら、本発明はこれに限らず、ＣＤ−ＲＯＭ又はＤＶＤなどの、コンピュータで読み取り可能な記録媒体２１に記録された試験問題評価プログラム１０と、その実行のための各テーブル１１〜１３及びデータをそれぞれ、コンピュータなどのコントローラを含む光ディスクドライブ２０により読み出して、ハードディスクドライブ５に格納してもよい。また、試験問題評価プログラム１０と、その実行のための各テーブル１１〜１３及びデータとを、試験問題評価装置１の外部装置から、インターネット及びＬＡＮインターフェース８を介してハードディスクドライブ５に格納してもよい。
【００５８】
さらに、ＣＰＵ２は、図４の作問サポート処理のステップＳ５において、ディスプレイ６に問題入力ウィンドウ２００（図７参照。）を表示したが、本発明はこれに限られない。例えば、ＣＰＵ２は、問題タイプ（図７の例では、上部に記載されているように、「タイプＡ」である。）に応じて類似の雛形問題を併せて表示するサポート機能を実行してもよい。さらに、ＣＰＵ２は、問題作成時のガイダンス機能（例えば、コア・カリキュラムに準拠する場合は、「３歳」と入力すると、「女性」という単語が「女児」という単語に置き換わる機能。）を実行してもよい。
【００５９】
またさらに、上記実施形態において、正答率及び期待正答率は０以上１以下の値であったが、本発明はこれに限らず、百分率であってもよい。
【産業上の利用可能性】
【００６０】
以上説明したように、本発明に係る試験問題評価装置及びその制御方法並びにプログラム及び記録媒体によれば、作問時に入力される試験問題の難易度及び必要度に基づいて算出される修正イーベル指数と、試験問題に対する解答内容を含むデータに基づいて算出される試験問題の正答率及び識別指数とに基づいて、修正イーベル指数と、正答率と、識別指数とをパラメータとする所定の関数を用いて上記試験問題の品質を表す問題評価指数を算出して出力するので、作問者による試験問題の評価内容と、試験実施後に得られる客観的な数値との両方を反映した問題評価指数を自動的に得ることができる。このため、試験問題の評価を自動的に行い、試験問題の良否を従来技術に比較して客観的に判定できる。
【符号の説明】
【００６１】
１…試験問題評価装置、
２…ＣＰＵ、
３…ＲＯＭ、
４…ＲＡＭ、
５…ハードディスクドライブ、
６…ディスプレイ、
７…操作入力部、
８…ＬＡＮインターフェース、
１０…試験問題評価プログラム、
１１…修正イーベル指数算出テーブル、
１２…試験問題分類テーブル、
１３…コメントテーブル、
１４−１〜１４−Ｎ…試験問題データ、
１５…プール対象試験問題データ格納領域、
１６…ブラッシュアップ対象試験問題データ格納領域、
１７…重要な修正を含むブラッシュアップ対象試験問題データ格納領域、
２０…光ディスクドライブ、
２１…記録媒体、
３１−１〜３１−Ｍ…受験者用端末装置、
８０…ＬＡＮ。
【技術分野】
【０００１】
本発明は、複数の受験者を対象に繰り返し実施される客観試験に用いられる試験問題を評価するための試験問題評価装置及びその制御方法並びにプログラム及び記録媒体に関する。
【背景技術】
【０００２】
医師国家試験、薬剤師国家試験、看護士国家試験、及び運転免許試験のように複数の受験者を対象に繰り返し実施される客観試験（出題時にすでに正解が決定しており、採点者が異なっても同一の採点結果が得られる試験）は、受験者の健全な自己学習を促進させ、問題解決能力を向上させるものが望ましい。また、難問及び奇問を排し、暗記のみでは正解に至らないような、解釈及び問題解決能力の測定に重点を置いた試験である必要がある。さらに、良く学習し理解している受験者とそれ以外の受験者を識別できる必要がある。従って、客観試験においては、各試験問題を評価し、適切にかつ効率的に見直して更新することが重要である（特許文献１及び２参照。）。非特許文献１には、修正イーベル法（非特許文献２参照。）により、又は、最低合格水準（Minimum Pass Level（ＭＰＬ)）に基づいて、客観試験の試験問題を評価することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２２１８９５号公報。
【特許文献２】特開２００３−８５２９６号公報。
【非特許文献】
【０００４】
【非特許文献１】平野豊ほか、「良質な試験問題の作成法とその評価の仕方」、近畿大学医学雑誌、第３３巻、４号、３２３〜３２８頁、２００８年。
【非特許文献２】牛場大蔵ほか、「試験の合格水準の理論と実際」、医学教育、第１６巻、１７５〜１８２頁、１９８５年。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、修正イーベル法又は最低合格水準のみによる試験問題の評価は、客観性及び汎用性に欠けるという面もあり、試験問題の評価方法としては不十分であるという課題があった。
【０００６】
本発明の目的は以上の問題点を解決し、試験問題を従来技術に比較して効率的かつ客観的に評価できる試験問題評価装置及びその制御方法並びにプログラム及び記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
第１の発明に係る試験問題評価装置は、
試験問題の作問者により入力される所定のデータを入力するための入力手段と、
試験問題の作成をサポートする作問サポート処理及び上記試験問題を評価する試験問題評価処理を実行する制御手段と、
試験問題の難易度及び必要度と、上記試験問題の必要度及び難易度を表す修正イーベル指数との対応関係を示す修正イーベル指数算出テーブルを予め格納する記憶手段とを備えた試験問題評価装置であって、
上記制御手段は、
上記作問サポート処理において、上記入力手段から入力される上記試験問題の難易度及び必要度に基づいて、上記修正イーベル指数算出テーブルを参照して、上記試験問題の難易度及び必要度を表す修正イーベル指数を算出し、
上記試験問題評価処理において、複数の受験者の上記試験問題に対する解答内容を含むデータに基づいて、上記試験問題の正答率と、上記複数の受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも下位の成績の成績下位層の受験者とを区別する能力を表す識別指数とを算出し、上記算出された修正イーベル指数と、正答率と、識別指数とに基づいて、修正イーベル指数と、正答率と、識別指数とをパラメータとする所定の関数を用いて上記試験問題の品質を表す問題評価指数を算出して出力することを特徴とする。
【０００８】
上記試験問題評価装置において、上記制御手段はさらに、上記試験問題評価処理において、上記算出された問題評価指数に基づいて、上記試験問題を複数の問題評価区分に分類し、上記分類された問題評価区分を出力することを特徴とする。
【０００９】
また、上記試験問題評価装置において、上記制御手段はさらに、上記試験問題評価処理において、上記複数の問題評価区分のうち所定のしきい値区分より品質の良い問題評価指数を有する問題評価区分に分類された試験問題の内容を含む試験問題データを、上記記憶手段に格納することを特徴とする。
【００１０】
さらに、上記試験問題評価装置において、上記試験問題は多肢選択問題であって、
上記制御手段はさらに、上記試験問題評価処理において、上記解答内容を含むデータに基づいて、上記多肢選択問題の選択肢毎の選択率を算出し、上記試験問題を上記複数の問題評価区分に分類した後に、所定の選択率以下の選択肢があるときに上記分類された問題評価区分を１段階だけ下げるように変更することを特徴とする。
【００１１】
またさらに、上記試験問題評価装置において、上記試験問題は多肢選択問題であって、
上記制御手段はさらに、
上記作問サポート処理において、上記入力手段から、上記多肢選択問題の各選択肢毎の難易度を表す難易度コードを入力し、
上記試験問題評価処理において、上記入力された難易度コードを、上記問題評価指数とともに出力することを特徴とする。
【００１２】
また、上記試験問題評価装置において、上記修正イーベル指数は修正イーベル法において用いられる期待正答率であり、
上記修正イーベル指数算出テーブルは、修正イーベル法において用いられ、試験問題の難易度及び必要度と期待正答率との対応関係を示すテーブルであることを特徴とする。
【００１３】
第２の発明に係る試験問題評価装置の制御方法は、
試験問題の作問者により入力される所定のデータを入力するための入力手段と、
試験問題の作成をサポートする作問サポート処理及び上記試験問題を評価する試験問題評価処理を実行する制御手段と、
試験問題の難易度及び必要度と、上記試験問題の必要度及び難易度を表す修正イーベル指数との対応関係を示す修正イーベル指数算出テーブルを予め格納する記憶手段とを備えた試験問題評価装置の制御方法であって、
上記制御手段が、上記作問サポート処理において、上記入力手段から入力される上記試験問題の難易度及び必要度に基づいて、上記修正イーベル指数算出テーブルを参照して、上記試験問題の難易度及び必要度を表す修正イーベル指数を算出するステップと、
上記制御手段が、上記試験問題評価処理において、複数の受験者の上記試験問題に対する解答内容を含むデータに基づいて、上記試験問題の正答率と、上記複数の受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも下位の成績の成績下位層の受験者とを区別する能力を表す識別指数とを算出し、上記算出された修正イーベル指数と、正答率と、識別指数とに基づいて、修正イーベル指数と、正答率と、識別指数とをパラメータとする所定の関数を用いて上記試験問題の品質を表す問題評価指数を算出して出力するステップとを含むことを特徴とする。
【００１４】
上記試験問題評価装置の制御方法において、上記制御手段が、上記試験問題評価処理において、上記算出された問題評価指数に基づいて、上記試験問題を複数の問題評価区分に分類し、上記分類された問題評価区分を出力するステップをさらに含むことを特徴とする。
【００１５】
また、上記試験問題評価装置の制御方法において、上記制御手段が、上記試験問題評価処理において、上記複数の問題評価区分のうち所定のしきい値区分より品質の良い問題評価指数を有する問題評価区分に分類された試験問題の内容を含む試験問題データを、上記記憶手段に格納するステップをさらに含むことを特徴とする。
【００１６】
さらに、上記試験問題評価装置の制御方法において、上記試験問題は多肢選択問題であって、
上記制御手段が、上記試験問題評価処理において、上記解答内容を含むデータに基づいて、上記多肢選択問題の選択肢毎の選択率を算出し、上記試験問題を上記複数の問題評価区分に分類した後に、所定の選択率以下の選択肢があるときに上記分類された問題評価区分を１段階だけ下げるように変更するステップをさらに含むことを特徴とする。
【００１７】
またさらに、上記試験問題評価装置の制御方法において、上記試験問題は多肢選択問題であって、
上記制御手段が、上記作問サポート処理において、上記入力手段から、上記多肢選択問題の各選択肢毎の難易度を表す難易度コードを入力するステップと、
上記制御手段が、上記試験問題評価処理において、上記入力された難易度コードを、上記問題評価指数とともに出力するステップとをさらに含むことを特徴とする。
【００１８】
また、上記試験問題評価装置の制御方法において、上記修正イーベル指数は修正イーベル法において用いられる期待正答率であり、
上記修正イーベル指数算出テーブルは、修正イーベル法において用いられ、試験問題の難易度及び必要度と期待正答率との対応関係を示すテーブルであることを特徴とする。
【００１９】
第３の発明に係るプログラムは、上記試験問題評価装置の制御方法における各ステップを含むことを特徴とする。
【００２０】
第４の発明に係るコンピュータで読み取り可能な記録媒体は、上記プログラムを格納したことを特徴とする。
【発明の効果】
【００２１】
本発明に係る試験問題評価装置及びその制御方法並びにプログラム及び記録媒体によれば、作問時に入力される試験問題の難易度及び必要度に基づいて算出される修正イーベル指数と、試験問題に対する解答内容を含むデータに基づいて算出される試験問題の正答率及び識別指数とに基づいて、修正イーベル指数と、正答率と、識別指数とをパラメータとする所定の関数を用いて上記試験問題の品質を表す問題評価指数を算出して出力するので、作問者による試験問題の評価内容と、試験実施後に得られる客観的な数値との両方を反映した問題評価指数を自動的に得ることができる。このため、試験問題の評価を自動的に行い、試験問題の良否を従来技術に比較して客観的に判定できる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る試験問題評価装置１の構成を示すブロック図である。
【図２】図１の試験問題分類テーブル１２の一例を示すテーブルである。
【図３】図１のコメントテーブル１３の一例を示すテーブルである。
【図４】図１のＣＰＵ２によって実行される作問サポート処理のフローチャートである。
【図５】図１のＣＰＵ２によって実行される試験問題評価処理のフローチャートである。
【図６】図４のステップＳ１においてディスプレイ６に表示される問題一覧ウィンドウ１００の表示例である。
【図７】図４のステップＳ５においてディスプレイ６に表示される問題入力ウィンドウ２００の表示例である。
【図８】図５のステップＳ１８におけるディスプレイ６への表示例である。
【発明を実施するための形態】
【００２３】
以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の実施形態において、同様の構成要素については同一の符号を付している。
【００２４】
図１は、本発明の実施形態に係る試験問題評価装置１の構成を示すブロック図であり、図２は、図１の試験問題分類テーブル１２の一例を示すテーブルであり、図３は、図１のコメントテーブル１３の一例を示すテーブルである。図１において、試験問題評価装置１は、例えばパーソナルコンピュータなどのディジタル計算機であって、作問者が、医師国家試験に準拠した模擬試験のための試験問題を作成し、評価するための端末装置として用いられる。本実施形態において、各試験問題は、５個の選択肢の中から１個の選択肢を選択する多肢選択問題（以下、ＭＣＱ（Multiple Choice Question）という。）である。試験問題評価装置１は、ＣＰＵ（Central Processing Unit）２と、ＲＯＭ（Read Only Memory）３と、ＲＡＭ（Random Access Memory）４と、ハードディスクドライブ５と、ディスプレイ６と、操作入力部７と、ＬＡＮ（Local Area Network）インターフェース８と、光ディスクドライブ２０とを備えて構成される。ＣＰＵ２は、バスを介してＲＯＭ３、ＲＡＭ４、ハードディスクドライブ５、ディスプレイ６、操作入力部７、ＬＡＮインターフェース８、及び光ディスクドライブ２０と接続されていてそれらの各動作及び試験問題評価装置１の全体の動作を制御するほか、後述する種々のソフトウェアプログラムの処理（図４及び図５）を実行する。
【００２５】
また、図１において、ディスプレイ６は、液晶表示装置（ＬＣＤ（Liquid Crystal Display））又はＣＲＴ（Cathode Ray Tube）ディスプレイなどの表示装置であり、試験問題評価装置１の動作状態の表示及び種々のＧＵＩ（Graphic User Interface）プログラムのための表示装置として機能する。さらに、操作入力部７は、例えば、マウスなどのポインティングデバイス及びキーボードなどの文字入力手段を含む。作問者及び受験者などの試験問題評価装置１のユーザは、データ及び指示コマンドなどを入力するために操作入力部７を用いる。さらに、ＬＡＮインターフェース８は、ＬＡＮ８０に接続され、ＬＡＮ８０に接続された複数Ｍ台の受験者用端末装置３０−１〜３０−Ｍなどの機器からの信号及びデータを受信する一方、ＬＡＮ８０に接続された複数Ｍ台の受験者用端末装置３０−１〜３０−Ｍなどの機器に対してＣＰＵ２からの信号及びデータを送信して、信号変換及びプロトコル変換などのＬＡＮ通信に係る双方向のインターフェース処理を実行する。光ディスクドライブ２０は、ＣＤ−ＲＯＭ又はＤＶＤなどの、コンピュータで読み取り可能な記録媒体２１に記録されたデータ及びプログラムを読み出して出力する。
【００２６】
図１において、ＲＯＭ３は、試験問題評価装置１の動作に必要であってＣＰＵ２によって実行される種々のソフトウェアのプログラムを予め格納する。また、ハードディスクドライブ５は、記録媒体を内蔵する記憶装置であり、ＣＰＵ２が実行する試験問題評価プログラム１０と、修正イーベル指数算出テーブル１１と、試験問題分類テーブル１２と、コメントテーブル１３とを予め格納する。ここで、試験問題評価プログラム１０は、図４を参照して詳細後述する作問サポート処理のプログラムと、図５を参照して詳細後述する試験問題評価処理のプログラムとを含む。また、ハードディスクドライブ５は、作問サポート処理によってそれぞれ生成されたＮ個（Ｎは正の整数である。）の試験問題データ１４−１〜１４−Ｎ（以下、試験問題データ１４−１〜１４−Ｎを区別しない場合には、試験問題データ１４という。）を格納する。さらに、ハードディスクドライブ５は、プール（蓄積）対象の試験問題データ１４を格納するためのプール対象試験問題データ格納領域１５と、一部修正（ブラッシュアップ）してプール対象の問題となり得る試験問題データ１４を格納するためのブラッシュアップ対象試験問題格納領域１６と、重要な修正を含みかつブラッシュアップで十分に吟味の上、修正することにより再実施対象問題の候補になり得る試験問題データ１４を格納するための、重要な修正を含むブラッシュアップ対象試験問題格納領域１７とを有する。
【００２７】
ここで、修正イーベル指数算出テーブル１１は、作問者によって試験問題データ１４の生成時に設定される試験問題の難易度（平易、中等、又は困難）及び必要度（疑問、重要、又は必須）と、修正イーベル指数との対応関係を示す。ここで、修正イーベル指数は、試験問題の難易度及び必要度を表す指数であって、難易度の低下、及び必要度の上昇に伴って大きくなるように設定される。例えば、修正イーベル指数として、修正イーベル法（非特許文献２参照。）で用いられる期待正答率を用いてもよい。この場合は、修正イーベル指数算出テーブル１１は、以下のように設定される。
【００２８】
【表１】
【００２９】
また、図２に示すように、試験問題分類テーブル１２は、詳細後述する試験問題評価処理によって算出される試験問題データ１４の品質を表す問題評価指数と、試験問題の問題評価区分との対応関係を示す。さらに、図３に示すように、コメントテーブル１３は、試験問題データ１４の問題評価区分と、ディスプレイ６に表示されるコメントとの対応関係を示す。
【００３０】
さらに、図１において、ＲＡＭ４は、ＳＲＡＭ（Static RAM）、ＤＲＡＭ（Dynamic RAM）、ＳＤＲＡＭ（Synchronous DRAM）などで構成され、ＣＰＵ２のワーキングエリアとして使用されて、試験問題評価プログラム１０などのプログラムを実行したときに、当該実行するプログラムに対応する機能を実行するために必要な実行プログラムとそれを実行するために必要なデータ及び実行時に発生する一時的なデータを格納する。
【００３１】
次に、図４を参照して、図１のＣＰＵ２によって実行される作問サポート処理を説明する。図４は、図１のＣＰＵ２によって実行される、作問者の試験問題の作成をサポートするための作問サポート処理のフローチャートである。作問者が、試験問題評価装置１の操作入力部７を用いて、試験問題データ１４−ｎ（ｎ＝１，２，…，Ｎ）を生成するための所定の操作（例えば、ディスプレイ６に表示されている所定のアイコンをクリックする、又は、ディスプレイ６に表示されているコンソールウィンドウにおいて所定のコマンドを入力するなど。）を行うと、これに応答して、ＣＰＵ２は、試験問題評価プログラム１０に含まれる作問サポート処理のためのプログラムを実行する。
【００３２】
まず始めに、図４のステップＳ１において、ディスプレイ６に問題一覧ウィンドウ１００が表示される。図６は、図４のステップＳ１においてディスプレイ６に表示される問題一覧ウィンドウ１００の表示例である。図６に示すように、問題一覧ウィンドウ１００は、試験問題データ１４−ｎを新規に生成することを指示するための「新規作成」ボタン１０１と、既に生成されてハードディスクドライブ５に格納されている試験問題データ１４−ｎを修正することを指示するための「問題の修正」ボタン１０２と、ハードディスクドライブ５に格納されている試験問題データ１４−ｎの一覧表１０３とを含む。図４のステップＳ２において、作問者が、「新規作成」ボタン１０１をクリックしたか否かが判断され、ＹＥＳのときはステップＳ５に進む一方、ＮＯのときはステップＳ３に進む。そして、ステップＳ３において、作問者が、「問題の修正」ボタン１０２をクリックしたか否かが判断され、ＹＥＳのときはステップＳ４に進む一方、ＮＯのときはステップＳ２に戻る。ステップＳ４では、問題一覧ウィンドウ１００の一覧表１０３において選択された問題データ１４−ｎがハードディスクドライブ５から読み出される。そして、ステップＳ４又はステップＳ２に続いて、ステップＳ５において、ディスプレイ６に問題入力ウィンドウ２００が表示される。
【００３３】
図７は、図４のステップＳ５においてディスプレイ６に表示される問題入力ウィンドウ２００の表示例である。作問者は、ステップＳ５において、ディスプレイ６に表示された問題入力ウィンドウ２００と操作入力部７とを用いて、対話形式で作問を行う。図７に示すように、問題入力ウィンドウ２００は、問題文を入力するためのテキストボックス２０１と、選択肢毎に解答肢を入力するためのテキストボックス２０２−１〜２０２−５と、選択肢毎に難易度コードを選択して入力するためのドロップダウンリスト２３−１〜２３−５と、試験問題の必要度を選択して入力するためのドロップダウンリスト２０４と、試験問題の難易度を選択して入力するためのドロップダウンリスト２０５と、「保存」ボタン２０６とを含む。ここで、難易度コード（非特許文献１参照。）は、最低合格指数（非特許文献１参照。）に用いられるコードであって、選択肢が正解であるか否か及び難易度を表す。難易度コードは、正解を表す難易度コード（丸で囲まれた２（図７参照。））と、合格認定を許容できる最低能力の受験生が正解との区別できなくてもやむを得ない不正解の選択肢を表す難易度コード（２）と、合格認定を許容できる最低能力の受験生が正解とすることもあるであろうし、しないこともあるであろう不正解の選択肢を表す難易度コード（１）と、本試験問題に関係する領域の学習を行ったと思えない受験生が選択する選択肢を表す難易度コード（０）とから選択される。また、試験問題の必要度は、疑問、重要、及び必須の中から選択される。さらに、試験問題の難易度は、平易、中等、及び困難の中から選択される。図７の例では、テキストボックス２０１に、問題文「インフォームドコンセントとして適切でないのはどれか。」が入力されている。また、選択肢毎に、以下の解答肢と難易度コードが入力されている。
【００３４】
[表１]
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
選択肢 解答肢 難易度コード
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
ａ 治療処置の目的を説明する。 ０
ｂ 治療処置の選択肢を説明する。 ０
ｃ 治療処置のリスクを説明する。 ０
ｄ 病院の免責文書に署名をもらう。 正解を表す２（丸で囲まれた２）
ｅ 納得の上同意文書に署名をもらう。 ０
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
【００３５】
さらに、図７において、ドロップダウンリスト２０４を用いて、必要度として「必須」が選択され、ドロップダウンリスト２０５を用いて、難易度として「平易」が選択されている。なお、図４のステップＳ３において作問者が「問題の修正」ボタンをクリックし、ステップＳ４において、選択された試験問題データ１４−ｎがハードディスクドライブ５から読み出された場合には、読み出された試験問題データ１４−ｎに含まれる問題文と、選択肢毎の解答肢及び難易度コードと、必要度及び難易度とを、ステップＳ５において問題入力ウィンドウ２００に表示する。
【００３６】
図４のステップＳ５に続いて、ステップＳ６において、作問者が、問題入力ウィンドウ２００の「保存」ボタン２０６をクリックしたか否かが判断され、ＹＥＳのときはステップＳ７に進む一方、ＮＯのときはステップＳ６の処理を繰り返す。次に、ステップＳ７において、ＣＰＵ２は、入力された必要度及び難易度に基づいて修正イーベル指数算出テーブル１１を参照して、修正イーベル指数を算出する。そして、ステップＳ８において、ＣＰＵ２は、入力された問題文と、入力された選択肢毎の解答肢及び難易度コードと、入力された必要度及び難易度と、算出された修正イーベル指数とを含む試験問題データ１４−ｎを生成して、ハードディスクドライブ５に格納し、作問サポート処理を終了する。
【００３７】
以上説明したように、図４の作問サポート処理によって、問題文と、選択肢毎の解答肢及び難易度コードと、必要度及び難易度と、修正イーベル指数とを含む試験問題データ１４−ｎを生成してハードディスクドライブ５に格納することができる。図１において、各受験者用端末装置３０−１〜３０−Ｍは、生成された試験問題データ１４−ｎを、ハードディスクドライブ５からＬＡＮインターフェース８及びＬＡＮ８０を介して他の受験者用端末装置３０−１〜３０−Ｍを用いて受信して受験者用端末装置３０−１〜３０−Ｍの各表示装置に表示する。各受験者は、受験者用端末装置３０−１〜３０−Ｍにおいて試験問題に解答し、受験者用端末装置３０−１〜３０−Ｍは、解答内容を含むデータを、ＬＡＮ８０を介して試験問題評価装置１に送信する。
【００３８】
次に、図５を参照して、図１のＣＰＵ２によって実行される試験問題評価処理を説明する。図５は、図１のＣＰＵ２によって実行される試験問題評価処理のフローチャートである。作問者が、試験問題評価装置１の操作入力部７を用いて、試験問題データ１４−ｎを評価するための所定の操作（例えば、ディスプレイ６に表示されている所定のアイコンをクリックする、又は、ディスプレイ６に表示されているコンソールウィンドウにおいて所定のコマンドを入力するなど。）を行うと、これに応答して、ＣＰＵ２は、試験問題評価プログラム１０に含まれる試験問題評価処理のためのプログラムを実行する。
【００３９】
まず始めに、ステップＳ１０において、ＣＰＵ２は、受験者用端末装置３０−１〜３０−Ｍから、試験問題データ１４−ｎに対する解答内容を含むデータを受信し、当該受信されたデータに基づいて、各解答を採点し、正答率と、選択肢毎の選択者数と、選択肢毎の選択率と、識別指数とを算出する。
【００４０】
ここで、試験問題データ１４−ｎの正答率は、全ての受験者のうち試験問題データ１４−ｎに正解した受験者の割合（０以上１以下の値）である。また、試験問題データ１４−ｎの識別指数は、全ての受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも下位の成績の成績下位層の受験者とを区別する能力を表す。本実施形態において、試験問題データ１４−ｎの識別指数は、全ての受験者のうちの成績最上位Ｘ％の受験者の試験問題データ１４−ｎの正答率から、全ての受験者のうちの成績最下位Ｙ％の受験者の試験問題データ１４−ｎの正答率を減算した値であり、−１以上１以下の数値である。識別指数が負の値の試験問題は、適切な問題ではない可能性、あるいは、実施した試験で測定する能力と異なる能力を測定している可能性がある。一般に、識別指数は０．２を超えることが好ましい。また、成績最上位者の割合Ｘ％及び成績最下位者の割合Ｙ％は、試験問題データ１４−ｎを含む試験全体の得点順位に基づいて、例えば、それぞれ２５％、１５％、５０％などの所定の値に設定される。ここで、例えばＸ＝Ｙ＝５０％であるとき、試験問題データ１４−ｎの識別指数は、全ての受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも直下の下位の成績の成績下位層の受験者とを区別する能力を表す。また、例えばＸ＜５０％かつＹ＜５０％であるとき、試験問題データ１４−ｎの識別指数は、全ての受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも、所定数の受験者を介して、下位の成績の成績下位層の受験者とを区別する能力を表し、当該成績上位層の受験者は第１のしきい値順位以上の受験者であり、当該下位の成績の成績下位層の受験者は、上記第１のしきい値順位よりも下位の第２のしきい値順位以下の受験者であり、それ故、試験問題データ１４−ｎの識別指数は、全ての受験者のうちの、第１のしきい値順位以上の成績上位層の受験者と、第２のしきい値順位以下の下位の成績の成績下位層の受験者とを区別する能力を表す
【００４１】
次に、ステップＳ１０に続いてステップＳ１１において、ＣＰＵ２は、試験問題データ１４−ｎに含まれる修正イーベル指数と、算出した正答率及び識別指数とに基づいて、所定の関数を用いて問題評価指数を算出する。ここで、問題評価指数Ｅは、以下の式で表される。
【００４２】
［数１］
Ｅ＝ｆ（ｘ，ｙ，ｚ）
【００４３】
ここで、ｘは修正イーベル指数であり、ｙは正答率であり、ｚは識別指数であり、ｆは例えば、それぞれ所定の係数を有してパラメータｘ、ｙ、ｚを線形結合し、又は２次以上の高次方程式で結合する所定の関数である。このように算出された問題評価指数Ｅは試験問題の品質（良否）を表し、本実施形態では、関数ｆは、品質の上昇と共に試験問題の問題評価指数Ｅが高い値を有するように設定される。
【００４４】
図５において、ステップＳ１１に続いてステップＳ１２において、ＣＰＵ２は、算出された問題評価指数に基づいて問題分類テーブル１２を参照して、試験問題データ１４−ｎを問題評価区分Ａ，Ｂ又はＣに分類する。ここで、問題評価区分Ａ，Ｂ，Ｃは、試験問題の品質を表し、問題評価区分Ａ，Ｂ，Ｃの順序で品質が悪くなる。具体的には、問題評価区分Ａに分類された試験問題データ１４−ｎはプール対象問題に適しており、問題評価区分Ｂに分類された試験問題データ１４−ｎは一部修正（ブラッシュアップ）してプール対象問題となり得る。また、問題評価区分Ｃに分類された試験問題データ１４−ｎは、問題評価区分Ｂに分類された試験問題データ１４−ｎに比較して重要な修正を行う必要があるが、ブラッシュアップで十分に吟味の上、修正することにより再実施対象問題の候補になり得る。
【００４５】
次に、ステップＳ１３において、試験問題データ１４−ｎが問題評価区分Ｃに分類されたか否かが判断され、ＹＥＳのときはステップＳ１６に進む一方、ＮＯのときはステップＳ１４に進む。さらに、ステップＳ１４において、選択者数がゼロの選択肢があるか、又は、選択率が２％未満の選択肢があるか否かが判断され、ＹＥＳのときはステップＳ１５に進む一方、ＮＯのときはステップＳ１６に進む。ステップＳ１５では、問題評価区分は１段階だけ下げられ（問題評価区分Ａから問題評価区分Ｂへ、又は、問題評価区分Ｂから問題評価区分Ｃへ下げられる。）、ステップＳ１６に進む。ステップＳ１６では、試験問題データ１４−ｎが問題評価区分Ａに分類された場合はプール対象試験問題データ格納領域１５に格納し、問題評価区分Ｂに分類された場合はブラッシュアップ対象試験問題データ格納領域１６に格納し、問題評価区分Ｃに分類された場合は重要な修正を含むブラッシュアップ対象試験問題データ格納領域１７に格納する。ステップＳ１６の処理により、問題評価区分Ａに分類されたプール対象問題である試験問題データ１４−ｎと、問題評価区分Ｂに分類された一部修正が必要な試験問題データ１４−ｎと、問題評価区分Ｃに分類されたより重要な修正が必要な試験問題データ１４−ｎとを、それぞれ異なる格納領域１５，１６及び１７に格納できる。次に、ステップＳ１７では、ディスプレイ６に、試験問題データ１４−ｎの選択肢番号と、難易度コードと、修正イーベル指数と、正答率と、選択者数と、選択率と、識別指数と、問題評価指数と、問題評価区分とを表示するとともに、問題評価区分に基づいてコメントテーブル１３を参照してコメントを表示し、試験問題評価処理を終了する。図８は、図５のステップＳ１８におけるディスプレイ６への表示例である。なお、図８では、算出された正答率を１００倍した値（単位は、％である。）を「正答率」として表示している。
【００４６】
従来は、修正イーベル法による試験問題の主観的な評価と、試験実施後に得られる正答率などの客観的な数値に基づく試験問題の評価とは、独立に行われており、２つの評価結果に基づいて作問者自身が総合的に試験問題を評価する必要があった。しかしながら、本実施形態によれば、作問時に作問者によって設定される試験問題の難易度及び必要度を表す修正イーベル指数と、試験実施後に得られる試験問題の正答率及び識別指数とに基づいて問題評価指数を算出し、当該問題評価指数に基づいて試験問題を自動的に評価する。このため、作問者による試験問題の評価内容と、試験実施後に得られる客観的な数値との両方を反映した問題評価指数を自動的に得ることができる。このため、試験問題の評価を自動的に行い、試験問題の良否を従来技術に比較して客観的に判定できる。
【００４７】
さらに、図８に示すように、試験問題の問題評価区分を表示するので、作問者は、当該表示に基づいて、例えば、問題評価区分Ｂに分類されてブラッシュアップ対象試験問題格納領域１６に格納された試験問題データ１４と、問題評価区分Ｃに分類されて重要な修正を含むブラッシュアップ対象試験問題格納領域１７に格納された試験問題データ１４を吟味し推敲できる。また、問題評価区分Ａに分類された（すなわち、しきい値区分Ｂより品質の良い問題評価指数を有し、良問と判定された）試験問題データ１４−ｎを自動的にプール対象試験問題データ格納領域１５に格納するので、従来技術に比較して、容易に客観試験を作成できる。従って、本実施形態によれば、試験作成を補助することができる。さらに、受験者用端末装置３０−１〜３０−Ｍから、問題評価区分Ａに分類されてプール対象試験問題データ格納領域１５に格納された試験問題データ１４−ｎを読み出すことができるように設定すれば、受験者の自己学習を促進できる。
【００４８】
また、図５の試験問題評価処理において、選択者数がゼロの選択肢がある、又は、選択率が２％未満の選択肢があるときに、問題評価区分を１段階だけ下げる（ステップＳ１４及びステップＳ１５）ので、選択肢毎の選択率を考慮した試験問題評価を行うことができる。
【００４９】
なお、上記実施形態では、試験問題データ１４は５個の選択肢の中から１個の選択肢を選択する多肢選択問題を含んだ。しかしながら、本発明はこれに限らず、任意の数の選択肢から任意の数の選択肢を選択する多肢選択問題、又は論述問題であってもよい。ただし、論述問題の場合は、難易度コードの設定はできず、図５のステップＳ１２の処理の次にステップＳ１８の処理を実行することになる。
【００５０】
また、上記実施形態では、試験問題データ１４を問題評価指数に基づいて問題評価区分Ａ，Ｂ，Ｃに分類したが、本発明はこれに限らず、２つ又は４つ以上の問題評価区分に分類してもよい。例えば、測定する能力と異なる能力を測定しているために難しすぎる試験問題又は易しすぎる試験問題であって、ブラッシュアップの対象問題になり得ない試験問題を表す問題評価区分Ｄを追加して設けてもよい。
【００５１】
さらに、ステップＳ１４における選択者数のしきい値及び選択率のしきい値と、試験問題分類テーブル１２における試験問題データ１４を分類するための問題評価指数のしきい値とは、本実施形態において示した値に限らない。試験問題評価処理を繰り返し実行し、より高精度に試験問題を評価できるように、これらの値を変更してもよい。
【００５２】
またさらに、作問者によって図４の作問サポート処理のステップＳ５において設定された各選択肢の難易度コードに基づいて、最低合格指数（ＭＰＩ（Minimum Pass Index）。非特許文献１参照。）を算出して、算出された最低合格指数をさらに含む試験問題データ１４を生成してもよい。この場合、最低合格指数は、例えば、以下の式で算出される。
【００５３】
［数２］
最低合格指数＝２／（各選択肢の難易度コードに対応する値の総和）
【００５４】
ただし、正解を表す難易度コード（丸で囲まれた２）に対応する値は２であり、難易度コード（２）に対応する値は２であり、難易度コード（１）に対応する値は１であり、難易度コード（０）に対応する値は０である。
【００５５】
また、上記実施形態において、決定された問題評価区分Ａ、Ｂ又はＣをディスプレイ６に表示したが、本発明はこれに限らず、プリンタなどの出力手段を用いて印字出力等してもよい。
【００５６】
さらに、上記実施形態において、試験問題評価装置１は、作問者が、医師国家試験に準拠した模擬試験のための試験問題を作成して評価するために用いられた。しかしながら、本発明はこれに限らず、薬剤師国家試験又は看護士国家試験などの医学以外の領域の客観試験の試験問題を作成して評価するために用いられてもよい。
【００５７】
またさらに、上記実施形態において、試験問題評価プログラム１０と、その実行のための各テーブル１１〜１３及びデータとをそれぞれハードディスクドライブ５に予め格納した。しかしながら、本発明はこれに限らず、ＣＤ−ＲＯＭ又はＤＶＤなどの、コンピュータで読み取り可能な記録媒体２１に記録された試験問題評価プログラム１０と、その実行のための各テーブル１１〜１３及びデータをそれぞれ、コンピュータなどのコントローラを含む光ディスクドライブ２０により読み出して、ハードディスクドライブ５に格納してもよい。また、試験問題評価プログラム１０と、その実行のための各テーブル１１〜１３及びデータとを、試験問題評価装置１の外部装置から、インターネット及びＬＡＮインターフェース８を介してハードディスクドライブ５に格納してもよい。
【００５８】
さらに、ＣＰＵ２は、図４の作問サポート処理のステップＳ５において、ディスプレイ６に問題入力ウィンドウ２００（図７参照。）を表示したが、本発明はこれに限られない。例えば、ＣＰＵ２は、問題タイプ（図７の例では、上部に記載されているように、「タイプＡ」である。）に応じて類似の雛形問題を併せて表示するサポート機能を実行してもよい。さらに、ＣＰＵ２は、問題作成時のガイダンス機能（例えば、コア・カリキュラムに準拠する場合は、「３歳」と入力すると、「女性」という単語が「女児」という単語に置き換わる機能。）を実行してもよい。
【００５９】
またさらに、上記実施形態において、正答率及び期待正答率は０以上１以下の値であったが、本発明はこれに限らず、百分率であってもよい。
【産業上の利用可能性】
【００６０】
以上説明したように、本発明に係る試験問題評価装置及びその制御方法並びにプログラム及び記録媒体によれば、作問時に入力される試験問題の難易度及び必要度に基づいて算出される修正イーベル指数と、試験問題に対する解答内容を含むデータに基づいて算出される試験問題の正答率及び識別指数とに基づいて、修正イーベル指数と、正答率と、識別指数とをパラメータとする所定の関数を用いて上記試験問題の品質を表す問題評価指数を算出して出力するので、作問者による試験問題の評価内容と、試験実施後に得られる客観的な数値との両方を反映した問題評価指数を自動的に得ることができる。このため、試験問題の評価を自動的に行い、試験問題の良否を従来技術に比較して客観的に判定できる。
【符号の説明】
【００６１】
１…試験問題評価装置、
２…ＣＰＵ、
３…ＲＯＭ、
４…ＲＡＭ、
５…ハードディスクドライブ、
６…ディスプレイ、
７…操作入力部、
８…ＬＡＮインターフェース、
１０…試験問題評価プログラム、
１１…修正イーベル指数算出テーブル、
１２…試験問題分類テーブル、
１３…コメントテーブル、
１４−１〜１４−Ｎ…試験問題データ、
１５…プール対象試験問題データ格納領域、
１６…ブラッシュアップ対象試験問題データ格納領域、
１７…重要な修正を含むブラッシュアップ対象試験問題データ格納領域、
２０…光ディスクドライブ、
２１…記録媒体、
３１−１〜３１−Ｍ…受験者用端末装置、
８０…ＬＡＮ。
【特許請求の範囲】
【請求項１】
試験問題の作問者により入力される所定のデータを入力するための入力手段と、
試験問題の作成をサポートする作問サポート処理及び上記試験問題を評価する試験問題評価処理を実行する制御手段と、
試験問題の難易度及び必要度と、上記試験問題の必要度及び難易度を表す修正イーベル指数との対応関係を示す修正イーベル指数算出テーブルを予め格納する記憶手段とを備えた試験問題評価装置であって、
上記制御手段は、
上記作問サポート処理において、上記入力手段から入力される上記試験問題の難易度及び必要度に基づいて、上記修正イーベル指数算出テーブルを参照して、上記試験問題の難易度及び必要度を表す修正イーベル指数を算出し、
上記試験問題評価処理において、複数の受験者の上記試験問題に対する解答内容を含むデータに基づいて、上記試験問題の正答率と、上記複数の受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも下位の成績の成績下位層の受験者とを区別する能力を表す識別指数とを算出し、上記算出された修正イーベル指数と、正答率と、識別指数とに基づいて、修正イーベル指数と、正答率と、識別指数とをパラメータとする所定の関数を用いて上記試験問題の品質を表す問題評価指数を算出して出力することを特徴とする試験問題評価装置。
【請求項２】
上記制御手段はさらに、上記試験問題評価処理において、上記算出された問題評価指数に基づいて、上記試験問題を複数の問題評価区分に分類し、上記分類された問題評価区分を出力することを特徴とする請求項１記載の試験問題評価装置。
【請求項３】
上記制御手段はさらに、上記試験問題評価処理において、上記複数の問題評価区分のうち所定のしきい値区分より品質の良い問題評価指数を有する問題評価区分に分類された試験問題の内容を含む試験問題データを、上記記憶手段に格納することを特徴とする請求項２記載の試験問題評価装置。
【請求項４】
上記試験問題は多肢選択問題であって、
上記制御手段はさらに、上記試験問題評価処理において、上記解答内容を含むデータに基づいて、上記多肢選択問題の選択肢毎の選択率を算出し、上記試験問題を上記複数の問題評価区分に分類した後に、所定の選択率以下の選択肢があるときに上記分類された問題評価区分を１段階だけ下げるように変更することを特徴とする請求項２又は３記載の試験問題評価装置。
【請求項５】
上記試験問題は多肢選択問題であって、
上記制御手段はさらに、
上記作問サポート処理において、上記入力手段から、上記多肢選択問題の各選択肢毎の難易度を表す難易度コードを入力し、
上記試験問題評価処理において、上記入力された難易度コードを、上記問題評価指数とともに出力することを特徴とする請求項１乃至４のうちのいずれか１つに記載の試験問題評価装置。
【請求項６】
上記修正イーベル指数は修正イーベル法において用いられる期待正答率であり、
上記修正イーベル指数算出テーブルは、修正イーベル法において用いられ、試験問題の難易度及び必要度と期待正答率との対応関係を示すテーブルであることを特徴とする請求項１乃至５のうちのいずれか１つに記載の試験問題評価装置。
【請求項７】
試験問題の作問者により入力される所定のデータを入力するための入力手段と、
試験問題の作成をサポートする作問サポート処理及び上記試験問題を評価する試験問題評価処理を実行する制御手段と、
試験問題の難易度及び必要度と、上記試験問題の必要度及び難易度を表す修正イーベル指数との対応関係を示す修正イーベル指数算出テーブルを予め格納する記憶手段とを備えた試験問題評価装置の制御方法であって、
上記制御手段が、上記作問サポート処理において、上記入力手段から入力される上記試験問題の難易度及び必要度に基づいて、上記修正イーベル指数算出テーブルを参照して、上記試験問題の難易度及び必要度を表す修正イーベル指数を算出するステップと、
上記制御手段が、上記試験問題評価処理において、複数の受験者の上記試験問題に対する解答内容を含むデータに基づいて、上記試験問題の正答率と、上記複数の受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも下位の成績の成績下位層の受験者とを区別する能力を表す識別指数とを算出し、上記算出された修正イーベル指数と、正答率と、識別指数とに基づいて、修正イーベル指数と、正答率と、識別指数とをパラメータとする所定の関数を用いて上記試験問題の品質を表す問題評価指数を算出して出力するステップとを含むことを特徴とする試験問題評価装置の制御方法。
【請求項８】
上記制御手段が、上記試験問題評価処理において、上記算出された問題評価指数に基づいて、上記試験問題を複数の問題評価区分に分類し、上記分類された問題評価区分を出力するステップをさらに含むことを特徴とする請求項７記載の試験問題評価装置の制御方法。
【請求項９】
上記制御手段が、上記試験問題評価処理において、上記複数の問題評価区分のうち所定のしきい値区分より品質の良い問題評価指数を有する問題評価区分に分類された試験問題の内容を含む試験問題データを、上記記憶手段に格納するステップをさらに含むことを特徴とする請求項８記載の試験問題評価装置の制御方法。
【請求項１０】
上記試験問題は多肢選択問題であって、
上記制御手段が、上記試験問題評価処理において、上記解答内容を含むデータに基づいて、上記多肢選択問題の選択肢毎の選択率を算出し、上記試験問題を上記複数の問題評価区分に分類した後に、所定の選択率以下の選択肢があるときに上記分類された問題評価区分を１段階だけ下げるように変更するステップをさらに含むことを特徴とする請求項８又は９記載の試験問題評価装置の制御方法。
【請求項１１】
上記試験問題は多肢選択問題であって、
上記制御手段が、上記作問サポート処理において、上記入力手段から、上記多肢選択問題の各選択肢毎の難易度を表す難易度コードを入力するステップと、
上記制御手段が、上記試験問題評価処理において、上記入力された難易度コードを、上記問題評価指数とともに出力するステップとをさらに含むことを特徴とする請求項７乃至１０のうちのいずれか１つに記載の試験問題評価装置の制御方法。
【請求項１２】
上記修正イーベル指数は修正イーベル法において用いられる期待正答率であり、
上記修正イーベル指数算出テーブルは、修正イーベル法において用いられ、試験問題の難易度及び必要度と期待正答率との対応関係を示すテーブルであることを特徴とする請求項７乃至１１のうちのいずれか１つに記載の試験問題評価装置の制御方法。
【請求項１３】
請求項７乃至１２のうちのいずれか１つに記載の試験問題評価装置の制御方法における各ステップを含むことを特徴とするプログラム。
【請求項１４】
請求項１３記載のプログラムを格納したことを特徴とするコンピュータで読み取り可能な記録媒体。
【請求項１】
試験問題の作問者により入力される所定のデータを入力するための入力手段と、
試験問題の作成をサポートする作問サポート処理及び上記試験問題を評価する試験問題評価処理を実行する制御手段と、
試験問題の難易度及び必要度と、上記試験問題の必要度及び難易度を表す修正イーベル指数との対応関係を示す修正イーベル指数算出テーブルを予め格納する記憶手段とを備えた試験問題評価装置であって、
上記制御手段は、
上記作問サポート処理において、上記入力手段から入力される上記試験問題の難易度及び必要度に基づいて、上記修正イーベル指数算出テーブルを参照して、上記試験問題の難易度及び必要度を表す修正イーベル指数を算出し、
上記試験問題評価処理において、複数の受験者の上記試験問題に対する解答内容を含むデータに基づいて、上記試験問題の正答率と、上記複数の受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも下位の成績の成績下位層の受験者とを区別する能力を表す識別指数とを算出し、上記算出された修正イーベル指数と、正答率と、識別指数とに基づいて、修正イーベル指数と、正答率と、識別指数とをパラメータとする所定の関数を用いて上記試験問題の品質を表す問題評価指数を算出して出力することを特徴とする試験問題評価装置。
【請求項２】
上記制御手段はさらに、上記試験問題評価処理において、上記算出された問題評価指数に基づいて、上記試験問題を複数の問題評価区分に分類し、上記分類された問題評価区分を出力することを特徴とする請求項１記載の試験問題評価装置。
【請求項３】
上記制御手段はさらに、上記試験問題評価処理において、上記複数の問題評価区分のうち所定のしきい値区分より品質の良い問題評価指数を有する問題評価区分に分類された試験問題の内容を含む試験問題データを、上記記憶手段に格納することを特徴とする請求項２記載の試験問題評価装置。
【請求項４】
上記試験問題は多肢選択問題であって、
上記制御手段はさらに、上記試験問題評価処理において、上記解答内容を含むデータに基づいて、上記多肢選択問題の選択肢毎の選択率を算出し、上記試験問題を上記複数の問題評価区分に分類した後に、所定の選択率以下の選択肢があるときに上記分類された問題評価区分を１段階だけ下げるように変更することを特徴とする請求項２又は３記載の試験問題評価装置。
【請求項５】
上記試験問題は多肢選択問題であって、
上記制御手段はさらに、
上記作問サポート処理において、上記入力手段から、上記多肢選択問題の各選択肢毎の難易度を表す難易度コードを入力し、
上記試験問題評価処理において、上記入力された難易度コードを、上記問題評価指数とともに出力することを特徴とする請求項１乃至４のうちのいずれか１つに記載の試験問題評価装置。
【請求項６】
上記修正イーベル指数は修正イーベル法において用いられる期待正答率であり、
上記修正イーベル指数算出テーブルは、修正イーベル法において用いられ、試験問題の難易度及び必要度と期待正答率との対応関係を示すテーブルであることを特徴とする請求項１乃至５のうちのいずれか１つに記載の試験問題評価装置。
【請求項７】
試験問題の作問者により入力される所定のデータを入力するための入力手段と、
試験問題の作成をサポートする作問サポート処理及び上記試験問題を評価する試験問題評価処理を実行する制御手段と、
試験問題の難易度及び必要度と、上記試験問題の必要度及び難易度を表す修正イーベル指数との対応関係を示す修正イーベル指数算出テーブルを予め格納する記憶手段とを備えた試験問題評価装置の制御方法であって、
上記制御手段が、上記作問サポート処理において、上記入力手段から入力される上記試験問題の難易度及び必要度に基づいて、上記修正イーベル指数算出テーブルを参照して、上記試験問題の難易度及び必要度を表す修正イーベル指数を算出するステップと、
上記制御手段が、上記試験問題評価処理において、複数の受験者の上記試験問題に対する解答内容を含むデータに基づいて、上記試験問題の正答率と、上記複数の受験者のうちの成績上位層の受験者と上記成績上位層の受験者よりも下位の成績の成績下位層の受験者とを区別する能力を表す識別指数とを算出し、上記算出された修正イーベル指数と、正答率と、識別指数とに基づいて、修正イーベル指数と、正答率と、識別指数とをパラメータとする所定の関数を用いて上記試験問題の品質を表す問題評価指数を算出して出力するステップとを含むことを特徴とする試験問題評価装置の制御方法。
【請求項８】
上記制御手段が、上記試験問題評価処理において、上記算出された問題評価指数に基づいて、上記試験問題を複数の問題評価区分に分類し、上記分類された問題評価区分を出力するステップをさらに含むことを特徴とする請求項７記載の試験問題評価装置の制御方法。
【請求項９】
上記制御手段が、上記試験問題評価処理において、上記複数の問題評価区分のうち所定のしきい値区分より品質の良い問題評価指数を有する問題評価区分に分類された試験問題の内容を含む試験問題データを、上記記憶手段に格納するステップをさらに含むことを特徴とする請求項８記載の試験問題評価装置の制御方法。
【請求項１０】
上記試験問題は多肢選択問題であって、
上記制御手段が、上記試験問題評価処理において、上記解答内容を含むデータに基づいて、上記多肢選択問題の選択肢毎の選択率を算出し、上記試験問題を上記複数の問題評価区分に分類した後に、所定の選択率以下の選択肢があるときに上記分類された問題評価区分を１段階だけ下げるように変更するステップをさらに含むことを特徴とする請求項８又は９記載の試験問題評価装置の制御方法。
【請求項１１】
上記試験問題は多肢選択問題であって、
上記制御手段が、上記作問サポート処理において、上記入力手段から、上記多肢選択問題の各選択肢毎の難易度を表す難易度コードを入力するステップと、
上記制御手段が、上記試験問題評価処理において、上記入力された難易度コードを、上記問題評価指数とともに出力するステップとをさらに含むことを特徴とする請求項７乃至１０のうちのいずれか１つに記載の試験問題評価装置の制御方法。
【請求項１２】
上記修正イーベル指数は修正イーベル法において用いられる期待正答率であり、
上記修正イーベル指数算出テーブルは、修正イーベル法において用いられ、試験問題の難易度及び必要度と期待正答率との対応関係を示すテーブルであることを特徴とする請求項７乃至１１のうちのいずれか１つに記載の試験問題評価装置の制御方法。
【請求項１３】
請求項７乃至１２のうちのいずれか１つに記載の試験問題評価装置の制御方法における各ステップを含むことを特徴とするプログラム。
【請求項１４】
請求項１３記載のプログラムを格納したことを特徴とするコンピュータで読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−８８４９４（Ｐ２０１２−８８４９４Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３４５９７（Ｐ２０１０−２３４５９７）
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【出願人】（０００１２５３４７）学校法人近畿大学 (389)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【出願人】（０００１２５３４７）学校法人近畿大学 (389)
【Ｆターム（参考）】
[ Back to top ]