試験問題作成方法、試験問題作成システムおよび試験問題作成プログラム
【目的】本発明は、試験の問題を作成する試験問題作成方法、試験問題作成システムおよび試験問題作成プログラムに関し、試験の種別に応じた評価基準を客観的に満たす試験問題を作成することを目的とする。
【構成】 試験の問題文を作成すると共にそのレベルを付与するステップと、作成された問題文とそのレベルを他の１あるいは複数の評価者に通知し、評価された評価結果を受け取るステップと、受け取った評価結果をもとに予め決めた評価基準を満たすか判別するステップと、評価基準を満たすと判明した問題文を出力するステップとを有する。
【構成】 試験の問題文を作成すると共にそのレベルを付与するステップと、作成された問題文とそのレベルを他の１あるいは複数の評価者に通知し、評価された評価結果を受け取るステップと、受け取った評価結果をもとに予め決めた評価基準を満たすか判別するステップと、評価基準を満たすと判明した問題文を出力するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、試験の問題を作成する試験問題作成方法、試験問題作成システムおよび試験問題作成プログラムに関するものである。
【背景技術】
【０００２】
従来、研修センタなどで受講生の研修受け入れや中間の理解度確認あるいは研修終了を判断などするために試験問題を作成している。
【０００３】
この際、問題とその問題に対する回答と難易度を示す問題ランクとを対応づけて作成すると共に受講者に提示するテストの各レベル毎に問題ランクから何題出題するかをテーブルに予め設定しておき、受講者の教育レベルとテーブルとをもとに当該受講者用のテスト問題を取り出して作成する技術がある（特許文献１）。
【特許文献１】特開２００３−２２８２７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来の技術では、受講者の教育レベルと予め作成したレベル毎の問題ランクを予め設定したテーブルとをもとに当該受講者用のテスト問題を取り出して作成できるが、しかし、問題ランクについて第三者の評価がなされておらず、必ずしも適切な問題ランク（レベル）の問題が作成できないという問題があった。
【課題を解決するための手段】
【０００５】
本発明は、これらの問題を解決するため、受講生の研修受け入れや中間の理解度確認あるいは研修終了などの試験の種別および問題のカテゴリに応じて適切なレベルの問題を含む規約を満たす試験問題を作成すると共に第三者に評価依頼してその評価結果が評価基準を満たすように再作成するようにしている。
【発明の効果】
【０００６】
本発明は、受講生の研修受け入れや中間の理解度確認あるいは研修終了などの試験の種別および問題のカテゴリに応じて適切なレベルの問題を含む規約を満たす試験問題を作成すると共に第三者に評価依頼してその評価結果が評価基準を満たすように再作成することにより、試験の種別に応じた規約や評価基準を客観的に満たす試験問題を作成することが可能となり、大幅な工数削減が可能となる。
【発明を実施するための最良の形態】
【０００７】
本発明は、受講生の研修受け入れや中間の理解度確認あるいは研修終了などの試験の種別および問題のカテゴリに応じて適切なレベルの問題を含む規約を満たす試験問題を作成すると共に第三者に評価依頼してその評価結果が評価基準を満たすように再作成し、試験の種別に応じた評価基準を客観的に満たす試験問題を作成することを実現した。
【実施例１】
【０００８】
図１は、本発明のシステム構成図を示す。
図１の（ａ）は全体システム構成図を示し、図１の（ｂ）は問題作成サーバ１の詳細システム構成図を示す。
【０００９】
図１の（ａ）において、問題作成サーバ１は、問題文を作成するためのサーバであって、ネットワーク３に接続され、ここでは、図１の（ｂ）に示すものである（図２から図６参照）。
【００１０】
評価ＰＣ２は、評価者が問題文と回答文とそのレベルを参照し、問題文、レベルが適切か評価するものであって、ネットワーク３に接続されたパソコンでありインストールされたプログラムに従い各種処理を行うものである。ここでは、評価ＰＣ２は、評価手段２１などから構成されるものである。
【００１１】
評価手段２１は、問題作成サーバ１から通知された問題文と回答文とそのレベルが適切であるか評価するものである（図２から図６参照）。
【００１２】
ネットワーク３は、問題作成サーバ１、評価ＰＣ２などが相互に送受信するためのネットワークであって、インターネット、ＬＡＮなどである。
【００１３】
図１の（ｂ）において、問題作成サーバ１は、図１の（ａ）のネットワーク３に接続された問題作成サーバ１であって、小問題作成手段１１、小問題チェック手段１２、配布手段１３、小問題判定手段１４、正式出力手段１５、記憶部１６、通信部１７、入力部１８、および表示装置１９などから構成されるものである。
【００１４】
小問題作成手段１１は、試験などのための小問題の問題文と回答文（選択肢）を作成したり、そのレベルを付与したりなどするものである（図２から図５参照）。
【００１５】
小問題チェック手段１２は、小問題作成手段１１で作成された小問題（問題文と選択肢）をチェックするものである（図２から図５参照）。
【００１６】
配布手段１３は、小問題チェック手段１２でチェックされた後の小問題（問題文と選択肢）とそのレベルを評価者に配布するものである（図２から図５参照）。
【００１７】
小問題判定手段１４は、小問題の適否を判定（評価）するものである（図２から図５参照）。
【００１８】
正式出力手段１５は、判定後の問題を出力するものである（図６参照）。
記憶部１６は、問題文と回答文とそのレベル、規約、評価基準、各種テーブルなどを記憶する外部記憶装置であって、例えばハードディスク装置である。
【００１９】
通信部１７は、外部と通信するものであって、ここでは、ネットワーク３に接続して評価ＰＣ２などと相互に通信するためのものである。
【００２０】
入力部１８は、各種指示やデータなどを入力するものであって、ここでは、キーボードやマウスなどである。
【００２１】
表示装置１９は、各種データや画面などを表示するものである。
次に、図２のフローチャートの順番に従い、図１の構成の動作を順次詳細に説明する。
【００２２】
図２は、本発明の動作説明フローチャートを示す。
図２の（ａ）は、問題作成サーバ１における動作説明フローチャートを示す。
【００２３】
図２の（ａ）において、Ｓ１は、出力問題の種別を入力する。これは、後述する図３の（ａ）の問題種別選択画面を表示し、当該画面上からこれから出力しようとする問題（作成しようとする問題）の種別（使用場面の種別を表し、難易度と対応する）を選択入力する。ここでは、
・１．入門テスト
・２．単元テスト
・３．修了テスト
・・・
のうちから１つを選択入力する。ここで、「１．入門テスト」、「２．単元テスト」、「３．修了テスト」の順に難易度が高くなる種別の１つを選択する。
【００２４】
Ｓ２は、小問題カテゴリを入力する。これは、後述する図３の（ｂ）のカテゴリ選択画面を表示し、当該画面上からこれから作成しようとする問題のカテゴリ（専門分野）を選択入力する。ここでは、
・１．電気関係
・２．機械関係
・３．制御装置関係
・４．法規関係
・５．セキュリティ関係
・・・
のうちから１つを選択入力する。ここで、例えば「５．セキュリティ関係」は、これから作成しようとする小問題がセキュリティ関係の知識のテストを行うというものであり、後述する図４の（ｈ）のカテゴリ語彙テーブルで参照するテーブルのカテゴリを表し、当該テーブルを参照して当該カテゴリで使用される問題文中の単語をチェックなどするためのものである（図２の（ｃ）のフローチャート参照）。
【００２５】
Ｓ３は、小問題文の難易度レベルｎを設定する。これは、後述する図３の（ｃ）の小問題難易度レベル選択画面を表示し、当該画面上からこれから作成しようとする問題文の難易度ｎを設定（選択）する。ここでは、
・レベル１
・レベル２
・レベル３
・レベル４
・・・
のうちから１つを選択入力する。ここで、レベル１，２，３，４・・・の順にレベルが易から難になっていく。
【００２６】
Ｓ４は、小問題文を入力する。
Ｓ５は、選択回答文を入力する。これらＳ４、Ｓ５は、例えば図４の（ｆ）に示すように、
・Ａ．ノートＰＣへのＢＩＯＳパスワード設定に対応するセキュリティシールは以下のどれか？
１．グリーン：セキュリティ強度２
２．イエロー：セキュリティ強度２
３．イエロー：セキュリティ強度１
４．オレンジ：セキュリティ強度１
という、小問題文と、その４つの選択肢を持つ回答文とを、問題文作成者が画面上から入力する。
【００２７】
Ｓ６は、小問題をチェックする。これは、後述する図２の（ｃ）のフローチャートに従い、作成した小問題をチェックする。
【００２８】
Ｓ７は、エラーか判別する。これは、Ｓ６のチェックの結果、エラーか判別する。ＹＥＳの場合には、小問題のエラー個所を提示し、Ｓ４以降を繰り返す。ＮＯの場合には、Ｓ６のチェックの結果、ＯＫと判明したので、Ｓ８に進む。
【００２９】
Ｓ８は、小問題が終わりか判別する。ＹＥＳの場合には、小問題の作成を終わったので、Ｓ１１に進む。一方、ＮＯの場合には、小問題の作成が終わっていないと判明したので、Ｓ９で小問題の難易度レベルｎ＋１し、次のレベルについてＳ４以降を繰り返す。
【００３０】
以上のＳ１からＳ９によって、問題の難易度を表す種別、専門分野を表すカテゴリを選択した後、難易度レベルを設定してその小問題文と回答文を作成し、チェックしてＯＫとなったときに、種別、カテゴリ、更にレベルに対応づけた小問題文と回答文を作成できたこととなる。
【００３１】
Ｓ１１は、出力問題種別の規約をリードする。これは、Ｓ１からＳ９で作成した種別、カテゴリ、更に、レベルに対応づけた小問題文と回答文とについて、チェックするための後述する図３の（ｄ）の問題種別規約を読み出す。
【００３２】
Ｓ１２は、規約に従い小問題文を集約する。これは、例えば図３の（ｄ）の問題種別規約中の、例えば種別「修了テスト」を参照し、
・レベル３が２文
・レベル４が５文
・レベル５が８文
を取り出し、Ｓ１からＳ９で作成された小問題文と回答文に設定されているレベル毎に集約する。
【００３３】
Ｓ１３は、中間出力する。これは、Ｓ１２で集約した後のレベル毎に、小問題と回答文を組して出力する。
【００３４】
Ｓ１４は、評価依頼を通知する。これは、問題作成サーバ１が評価ＰＣ２に対して、電子メールでＳ１３で中間出力した集約後のレベル毎に、小問題と回答文の組を送信し、評価依頼を通知する。通知を受けた評価ＰＣ２は、後述する図２の（ｂ）のＳ２１からＳ２６に従い評価し、評価結果を返送する。
【００３５】
Ｓ１５は、出力問題の種別毎に定まる評価基準をリードする。これは、Ｓ１４で評価依頼を評価ＰＣ２に通知し、評価結果を受信したときに、後述する図４の（ｇ）のＰＣ評価基準をリードする。
【００３６】
Ｓ１６は、評価結果を集約する。これは、複数の評価ＰＣ２から受信した複数の評価結果について、小問題文と回答文のレベル毎にその評価結果（良の数）を集計する。
【００３７】
Ｓ１７は、小問題文ごとに評価基準を満足か判別する。これは、複数の評価ＰＣ２から受信した評価結果を集約し、小問題文と回答文のレベル毎に、良の数の総和をそれぞれ求め、図４の（ｇ）の例えば種別「修了テスト」のときに、レベル３と設定しておいた小問題文と回答文について当該レベル３について評価者が「良」と評価した数が８０％以上のときは当該評価基準を満足と判定し、ＹＥＳとなり、Ｓ１８に進む。一方、評価基準を満たさないと判定されたときは、ＮＯとなり、評価が悪い点を明記して問題作成者に知らせ、Ｓ３に戻り小問題文と回答文の修正、再作成を行う。
【００３８】
Ｓ１８は、所定の小問題文の必要数ありか判別する。例えば予め設定した種別が「修了テスト」の場合には、所定の１５文という必要な小問題文と回答文が作成して評価を満たすと判定されたか判別する。ＹＥＳの場合には、Ｓ１９で正式出力（図６）し、終了する。ＮＯの場合には、数が足りないので、Ｓ３以降を繰り返し、必要数になるまで繰り返す。
【００３９】
以上のＳ１１からＳ１９によって、Ｓ１からＳ９で作成した小問題文と回答文とその設定されたレベルについて、評価ＰＣ２に電子メールなどで通知し、評価結果を受け取って良の数が図４の（ｇ）のＰＣ評価基準中の種別の欄の値（レベル毎の値）を満たす場合には、当該小問題文と回答文とそのレベルが評価基準を満たすと判定し、評価基準を満たした小問題文と回答文とそのレベルを組とした数が必要小問題文の数に到達したときに一連の問題作成を終了することが可能となる。
【００４０】
図２の（ｂ）は、評価ＰＣ２における評価フローチャートを示す。これは、既述した１４で通知を受けた小問題文と回答文とそのレベルについて、良、否、保留のいずれであるかを評価者が評価するときの詳細フローチャートを示す。
【００４１】
図２の（ｂ）において、Ｓ２１は、評価依頼か判別する。これは、既述したＳ１４で通知された小問題文と回答文とそのレベルの評価依頼か判別する。ＹＥＳの場合には、Ｓ２２に進む。ＮＯの場合には、Ｓ２１を繰り返し、待機する。
【００４２】
Ｓ２２は、中間出力をリードする。
Ｓ２３は、参照画面を表示する。これらＳ２２、Ｓ２３は、評価者が図１の評価ＰＣ２を操作し、電子メールで受信した中間出力（既述したＳ１３で中間出力した結果（作成した小問題文と回答文とそのレベルの組））をリードし、画面上に表示、例えば図４の（ｆ）のように表示する。
【００４３】
Ｓ２４は、評価判定を入力する。これは、Ｓ２３で表示させた例えば図４の（ｆ）の画面を参照し、評価者が別ウィンドウに表示した図３の（ｅ）の評価判定入力画面上から、
・１．良
・２．否
・３．保留：コメント記述欄：
・４．・・・
のいずれかの評価結果を入力する。
【００４４】
Ｓ２５は、評価判定を通知する。これは、Ｓ２４で入力した評価結果を、評価ＰＣ２が問題作成サーバ１に電子メールで通知する。
【００４５】
以上のＳ２１からＳ２６によって、問題作成者が作成した小問題文と回答文とそのレベルの組を受信した評価ＰＣ２において、評価者が図４の（ｆ）の画面を表示して参照し、図３の（ｅ）の評価判定入力画面上で良、否、保留のいずれかの評価結果を入力し返送することが可能となる。
【００４６】
図２の（ｃ）は、小問題チェック手段１２が行う詳細フローチャートを示す。
図２の（ｃ）において、Ｓ３１は、カテゴリ条件を設定する。これは、既述したＳ２で入力したカテゴリ（例えば「修了テスト」）を設定する。
【００４７】
Ｓ３２は、表示は１画面以内で誤字なしか判別する。これは、Ｓ４、Ｓ５で作成された小問題文と回答文の表示は１画面以内で誤字なしか判別する。ＹＥＳの場合には、Ｓ３３に進む。ＮＯの場合には、エラーとする。
【００４８】
Ｓ３３は、回答文選択は３文以上か判別する。これは、Ｓ４、Ｓ５で作成された回答文の選択文（選択肢）が３文以上か判別する。ＹＥＳの場合には、Ｓ３４に進む。ＮＯの場合には、エラーとする。
【００４９】
Ｓ３４は、Ｙ／Ｎ問題は質問形式か又は選択式か判別する。ＹＥＳの場合には、Ｓ３５に進む。ＮＯの場合には、エラーとする。
【００５０】
Ｓ３５は、問題文は否定表現があるか判別する。これは、問題文に否定表現が含まれているか判別する。ＹＥＳの場合には、エラーとする。ＮＯの場合には、Ｓ３６に進む。
【００５１】
Ｓ３６は、問題文はカテゴリ以外があるか判別する。これは、問題文中に含まれる単語について、Ｓ３１で設定したカテゴリのテーブル（図４の（ｈ））を参照し、当該カテゴリ以外の単語があるか判別する。ＹＥＳの場合には、エラーとする。ＮＯの場合には、Ｓ３７に進む。
【００５２】
Ｓ３７は、悪文テーブルと一致するか判別する。これは、問題文中の文言について、図４の（ｉ）の悪文テーブルに設定されている悪文と一致するものがあるか判別する。この時、判断する悪文対象以外はチェックしないワイルドカード方式で判別する。ＹＥＳの場合には、エラーとする。ＮＯの場合には、修了する。
【００５３】
以上のＳ３１からＳ３７によって、既述したＳ４、Ｓ５で作成された小問題文と回答文について設定したカテゴリをもとに各種チェックし、各種エラーを自動的にチェックすることが可能となる。
【００５４】
図３および図４は、本発明の説明図を示す。
図３の（ａ）は、問題種別選択画面例を示す。問題種別選択画面は、既述した図２の（ａ）のＳ１で作成しようとする問題文の種別（難易度）を選択する画面の例を示し、「１．入門テスト」、「２．単元テスト」、「３．修了テスト」の順に種別の難易度が高くなっている。
【００５５】
図３の（ｂ）は、カテゴリ選択画面例を示す。カテゴリ選択画面は、既述した図２の（ａ）のＳ２で作成しようとする問題文のカテゴリ（専門分野）を選択する多面の例を示し、ここでは、
・１．電気関係
・２．機械関係
・３．制御装置関係
・４．法規関係
・５．セキュリティ関係
・・・
というカテゴリを選択する画面である。
【００５６】
図３の（ｃ）は、小問題難易度レベル選択画面例を示す。小問題難易度レベル選択画面は、既述した図２の（ａ）のＳ３で作成しようとする小問題文のレベルを選択する画面の例を示し、ここでは、
・レベル１
・レベル２
・レベル３
・レベル４
・レベル５
・・・
ここで、レベル１，２，３，４，５・・・の順に難易度が高くなるレベルである。
【００５７】
図３の（ｄ）は、問題種別規約例を示す。問題種別規約は、既述した図２の（ａ）のＳ１５でリードする問題種別規約の例を示し、ここでは、
レベル１ レベル２ レベル３ レベル４ レベル４ レベル５
・入門テスト ８ ５ ２
・単元テスト ２ ５ ８
・修了テスト ２ ５ ８
ここで、縦軸の入門テスト、単元テスト、終了テストは、既述した種別である（図３の（ａ）参照）。横軸は、既述したレベル（図３の（ｃ）参照）である。欄中の数字は当該レベルの小問題文と回答文の数（あるいは比率）である。例えば種別「修了テスト」の場合には、レベル３が「２」、レベル４が「５」、レベル５が「８」（小問題文と回答文の数）である。
【００５８】
図３の（ｅ）は、評価判定入力画面例を示す。評価判定入力画面は、既述した図２の（ｂ）のＳ２５で評価者が評価結果を入力する画面の例であって、
・中間出力の小問題編集について、あなたの評価を入力して下さい。
【００５９】
１．良
２．否
３．保留：コメント記述欄
４．・・・
評価点 〔 〕点
これは、小問題文と回答文とそのレベルを参照した評価者が、評価ＰＣ２の表示装置上に表示して評価結果（良、否、保留のいずれかと、評価点）を入力するための画面である。
【００６０】
図４の（ｆ）は、セキュリティ関係、修了テストのレベルｎの小問題と選択文例を示す。ここでは、Ａの小問題文と、１．２．３．４．の選択肢（回答文）との例を示す。
【００６１】
図４の（ｇ）は、ＰＣ評価基準例を示す。評価ＰＣ２で評価された評価結果をもとに、小問題文と回答文とそのレベルの組からなる一連の試験問題について、総合評価するためのものであって、図示の下記の情報を対応づけて登録したものである。
【００６２】
・縦軸の入門テスト、単元テスト、修了テスト：
・横軸のレベル１，２，３，４，５・・・：
・評価基準：
ここで、縦軸の入門テスト、単元テスト、修了テストは、種別である。横軸のレベル１，２，３，４，５・・・難易度を表すレベル（大きい程、高い難易度を表す）。評価基準は、例えば種別「修了テスト」のエントリで、レベル３の「２」の「良が７５％以上」は、評価者が評価（既述した図２のＳ２５）した良の数（あるいは全体に対する割合）が７５％以上であるときに評価がＯＫという意味である。
【００６３】
図４の（ｈ）は、カテゴリ語彙テーブル例を示す。カテゴリ語彙テーブルは、カテゴリ毎に当該カテゴリで使用される語彙を登録したものであって、図示の例は、カテゴリ「セキュリティ」の場合のカテゴリ語彙テーブル例を示す。
【００６４】
図４の（ｉ）は、悪文テーブル例を示す。これは、小問題文と回答文について、悪文を予め登録したものである。
【００６５】
図５は、本発明の評価結果プログ画面例を示す。評価結果プログ画面は、既述した図２から図４で説明した、作成した小問題文と回答文とそのレベルを組して電子メールで評価ＰＣ２に送信して評価者に通知する代わりに、評価専用の図５に図示のプログ（評価者のみが参照、入力可の資格を持つプログ）を開設し、その旨を該当評価者に別途電子メールで通知し、各評価者が図示のプログ画面を参照しつつ評価（良、否、保留とそのコメント）を記入し、他の評価者の評価結果とを同時に見ながら評価、あるいは意見交換しつつ評価することが可能となる。
【００６６】
図６は、本発明の動作説明フローチャート（正式出力）を示す。
図６において、Ｓ４１は、評価済の小問題文の評価をリードする。
【００６７】
Ｓ４２は、ソートする。これらＳ４１，Ｓ４２は、小問題文と回答文についてレベル毎既述した図２の（ｂ）のＳ２５で評価された評価（良、否、保留、更に、評価点）のうちの評価点の大きい順にソートする。
【００６８】
Ｓ４３は、上位から規約による必要数を選択する。これは、Ｓ４２でソートした、レベル毎の上位から規約（図３の（ｄ）の問題種別規約）による必要数を選択する。
【００６９】
Ｓ４４は、正式出力する。これは、Ｓ４３で選択した必要数の小問題文と回答文とをレベル毎に出力する。
【００７０】
以上によって、余分の小問題文と回答文を作成し、その中から評価点の高い順に規約で必要数の小問題文と回答文を選択し、正式に試験問題として出力することが可能となる。
【産業上の利用可能性】
【００７１】
本発明は、受講生の研修受け入れや中間の理解度確認あるいは確認研修終了などの試験の種別および問題のカテゴリに応じて適切なレベルの問題を含む規約を満たす試験問題を作成すると共に第三者に評価依頼してその評価結果が評価基準を満たすように再作成することにより、試験の種別に応じた評価基準を客観的に満たす試験問題を作成する試験問題作成方法、試験問題作成システムおよび試験問題作成プログラムに関するものである。
【図面の簡単な説明】
【００７２】
【図１】本発明のシステム構成図である。
【図２】本発明の動作説明フローチャートである。
【図３】本発明の説明図（その１）である。
【図４】本発明の説明図（その２）である。
【図５】本発明の評価結果プログ画面例である。
【図６】本発明の動作説明フローチャート（正式出力）である。
【符号の説明】
【００７３】
１：問題作成サーバ
１１：小問題作成手段
１２：小問題チェック手段
１３：配布手段
１４：小問題判定手段
１５：正式出力手段
１６：記憶部
１７：通信部
１８：入力部
１９：表示装置
【技術分野】
【０００１】
本発明は、試験の問題を作成する試験問題作成方法、試験問題作成システムおよび試験問題作成プログラムに関するものである。
【背景技術】
【０００２】
従来、研修センタなどで受講生の研修受け入れや中間の理解度確認あるいは研修終了を判断などするために試験問題を作成している。
【０００３】
この際、問題とその問題に対する回答と難易度を示す問題ランクとを対応づけて作成すると共に受講者に提示するテストの各レベル毎に問題ランクから何題出題するかをテーブルに予め設定しておき、受講者の教育レベルとテーブルとをもとに当該受講者用のテスト問題を取り出して作成する技術がある（特許文献１）。
【特許文献１】特開２００３−２２８２７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来の技術では、受講者の教育レベルと予め作成したレベル毎の問題ランクを予め設定したテーブルとをもとに当該受講者用のテスト問題を取り出して作成できるが、しかし、問題ランクについて第三者の評価がなされておらず、必ずしも適切な問題ランク（レベル）の問題が作成できないという問題があった。
【課題を解決するための手段】
【０００５】
本発明は、これらの問題を解決するため、受講生の研修受け入れや中間の理解度確認あるいは研修終了などの試験の種別および問題のカテゴリに応じて適切なレベルの問題を含む規約を満たす試験問題を作成すると共に第三者に評価依頼してその評価結果が評価基準を満たすように再作成するようにしている。
【発明の効果】
【０００６】
本発明は、受講生の研修受け入れや中間の理解度確認あるいは研修終了などの試験の種別および問題のカテゴリに応じて適切なレベルの問題を含む規約を満たす試験問題を作成すると共に第三者に評価依頼してその評価結果が評価基準を満たすように再作成することにより、試験の種別に応じた規約や評価基準を客観的に満たす試験問題を作成することが可能となり、大幅な工数削減が可能となる。
【発明を実施するための最良の形態】
【０００７】
本発明は、受講生の研修受け入れや中間の理解度確認あるいは研修終了などの試験の種別および問題のカテゴリに応じて適切なレベルの問題を含む規約を満たす試験問題を作成すると共に第三者に評価依頼してその評価結果が評価基準を満たすように再作成し、試験の種別に応じた評価基準を客観的に満たす試験問題を作成することを実現した。
【実施例１】
【０００８】
図１は、本発明のシステム構成図を示す。
図１の（ａ）は全体システム構成図を示し、図１の（ｂ）は問題作成サーバ１の詳細システム構成図を示す。
【０００９】
図１の（ａ）において、問題作成サーバ１は、問題文を作成するためのサーバであって、ネットワーク３に接続され、ここでは、図１の（ｂ）に示すものである（図２から図６参照）。
【００１０】
評価ＰＣ２は、評価者が問題文と回答文とそのレベルを参照し、問題文、レベルが適切か評価するものであって、ネットワーク３に接続されたパソコンでありインストールされたプログラムに従い各種処理を行うものである。ここでは、評価ＰＣ２は、評価手段２１などから構成されるものである。
【００１１】
評価手段２１は、問題作成サーバ１から通知された問題文と回答文とそのレベルが適切であるか評価するものである（図２から図６参照）。
【００１２】
ネットワーク３は、問題作成サーバ１、評価ＰＣ２などが相互に送受信するためのネットワークであって、インターネット、ＬＡＮなどである。
【００１３】
図１の（ｂ）において、問題作成サーバ１は、図１の（ａ）のネットワーク３に接続された問題作成サーバ１であって、小問題作成手段１１、小問題チェック手段１２、配布手段１３、小問題判定手段１４、正式出力手段１５、記憶部１６、通信部１７、入力部１８、および表示装置１９などから構成されるものである。
【００１４】
小問題作成手段１１は、試験などのための小問題の問題文と回答文（選択肢）を作成したり、そのレベルを付与したりなどするものである（図２から図５参照）。
【００１５】
小問題チェック手段１２は、小問題作成手段１１で作成された小問題（問題文と選択肢）をチェックするものである（図２から図５参照）。
【００１６】
配布手段１３は、小問題チェック手段１２でチェックされた後の小問題（問題文と選択肢）とそのレベルを評価者に配布するものである（図２から図５参照）。
【００１７】
小問題判定手段１４は、小問題の適否を判定（評価）するものである（図２から図５参照）。
【００１８】
正式出力手段１５は、判定後の問題を出力するものである（図６参照）。
記憶部１６は、問題文と回答文とそのレベル、規約、評価基準、各種テーブルなどを記憶する外部記憶装置であって、例えばハードディスク装置である。
【００１９】
通信部１７は、外部と通信するものであって、ここでは、ネットワーク３に接続して評価ＰＣ２などと相互に通信するためのものである。
【００２０】
入力部１８は、各種指示やデータなどを入力するものであって、ここでは、キーボードやマウスなどである。
【００２１】
表示装置１９は、各種データや画面などを表示するものである。
次に、図２のフローチャートの順番に従い、図１の構成の動作を順次詳細に説明する。
【００２２】
図２は、本発明の動作説明フローチャートを示す。
図２の（ａ）は、問題作成サーバ１における動作説明フローチャートを示す。
【００２３】
図２の（ａ）において、Ｓ１は、出力問題の種別を入力する。これは、後述する図３の（ａ）の問題種別選択画面を表示し、当該画面上からこれから出力しようとする問題（作成しようとする問題）の種別（使用場面の種別を表し、難易度と対応する）を選択入力する。ここでは、
・１．入門テスト
・２．単元テスト
・３．修了テスト
・・・
のうちから１つを選択入力する。ここで、「１．入門テスト」、「２．単元テスト」、「３．修了テスト」の順に難易度が高くなる種別の１つを選択する。
【００２４】
Ｓ２は、小問題カテゴリを入力する。これは、後述する図３の（ｂ）のカテゴリ選択画面を表示し、当該画面上からこれから作成しようとする問題のカテゴリ（専門分野）を選択入力する。ここでは、
・１．電気関係
・２．機械関係
・３．制御装置関係
・４．法規関係
・５．セキュリティ関係
・・・
のうちから１つを選択入力する。ここで、例えば「５．セキュリティ関係」は、これから作成しようとする小問題がセキュリティ関係の知識のテストを行うというものであり、後述する図４の（ｈ）のカテゴリ語彙テーブルで参照するテーブルのカテゴリを表し、当該テーブルを参照して当該カテゴリで使用される問題文中の単語をチェックなどするためのものである（図２の（ｃ）のフローチャート参照）。
【００２５】
Ｓ３は、小問題文の難易度レベルｎを設定する。これは、後述する図３の（ｃ）の小問題難易度レベル選択画面を表示し、当該画面上からこれから作成しようとする問題文の難易度ｎを設定（選択）する。ここでは、
・レベル１
・レベル２
・レベル３
・レベル４
・・・
のうちから１つを選択入力する。ここで、レベル１，２，３，４・・・の順にレベルが易から難になっていく。
【００２６】
Ｓ４は、小問題文を入力する。
Ｓ５は、選択回答文を入力する。これらＳ４、Ｓ５は、例えば図４の（ｆ）に示すように、
・Ａ．ノートＰＣへのＢＩＯＳパスワード設定に対応するセキュリティシールは以下のどれか？
１．グリーン：セキュリティ強度２
２．イエロー：セキュリティ強度２
３．イエロー：セキュリティ強度１
４．オレンジ：セキュリティ強度１
という、小問題文と、その４つの選択肢を持つ回答文とを、問題文作成者が画面上から入力する。
【００２７】
Ｓ６は、小問題をチェックする。これは、後述する図２の（ｃ）のフローチャートに従い、作成した小問題をチェックする。
【００２８】
Ｓ７は、エラーか判別する。これは、Ｓ６のチェックの結果、エラーか判別する。ＹＥＳの場合には、小問題のエラー個所を提示し、Ｓ４以降を繰り返す。ＮＯの場合には、Ｓ６のチェックの結果、ＯＫと判明したので、Ｓ８に進む。
【００２９】
Ｓ８は、小問題が終わりか判別する。ＹＥＳの場合には、小問題の作成を終わったので、Ｓ１１に進む。一方、ＮＯの場合には、小問題の作成が終わっていないと判明したので、Ｓ９で小問題の難易度レベルｎ＋１し、次のレベルについてＳ４以降を繰り返す。
【００３０】
以上のＳ１からＳ９によって、問題の難易度を表す種別、専門分野を表すカテゴリを選択した後、難易度レベルを設定してその小問題文と回答文を作成し、チェックしてＯＫとなったときに、種別、カテゴリ、更にレベルに対応づけた小問題文と回答文を作成できたこととなる。
【００３１】
Ｓ１１は、出力問題種別の規約をリードする。これは、Ｓ１からＳ９で作成した種別、カテゴリ、更に、レベルに対応づけた小問題文と回答文とについて、チェックするための後述する図３の（ｄ）の問題種別規約を読み出す。
【００３２】
Ｓ１２は、規約に従い小問題文を集約する。これは、例えば図３の（ｄ）の問題種別規約中の、例えば種別「修了テスト」を参照し、
・レベル３が２文
・レベル４が５文
・レベル５が８文
を取り出し、Ｓ１からＳ９で作成された小問題文と回答文に設定されているレベル毎に集約する。
【００３３】
Ｓ１３は、中間出力する。これは、Ｓ１２で集約した後のレベル毎に、小問題と回答文を組して出力する。
【００３４】
Ｓ１４は、評価依頼を通知する。これは、問題作成サーバ１が評価ＰＣ２に対して、電子メールでＳ１３で中間出力した集約後のレベル毎に、小問題と回答文の組を送信し、評価依頼を通知する。通知を受けた評価ＰＣ２は、後述する図２の（ｂ）のＳ２１からＳ２６に従い評価し、評価結果を返送する。
【００３５】
Ｓ１５は、出力問題の種別毎に定まる評価基準をリードする。これは、Ｓ１４で評価依頼を評価ＰＣ２に通知し、評価結果を受信したときに、後述する図４の（ｇ）のＰＣ評価基準をリードする。
【００３６】
Ｓ１６は、評価結果を集約する。これは、複数の評価ＰＣ２から受信した複数の評価結果について、小問題文と回答文のレベル毎にその評価結果（良の数）を集計する。
【００３７】
Ｓ１７は、小問題文ごとに評価基準を満足か判別する。これは、複数の評価ＰＣ２から受信した評価結果を集約し、小問題文と回答文のレベル毎に、良の数の総和をそれぞれ求め、図４の（ｇ）の例えば種別「修了テスト」のときに、レベル３と設定しておいた小問題文と回答文について当該レベル３について評価者が「良」と評価した数が８０％以上のときは当該評価基準を満足と判定し、ＹＥＳとなり、Ｓ１８に進む。一方、評価基準を満たさないと判定されたときは、ＮＯとなり、評価が悪い点を明記して問題作成者に知らせ、Ｓ３に戻り小問題文と回答文の修正、再作成を行う。
【００３８】
Ｓ１８は、所定の小問題文の必要数ありか判別する。例えば予め設定した種別が「修了テスト」の場合には、所定の１５文という必要な小問題文と回答文が作成して評価を満たすと判定されたか判別する。ＹＥＳの場合には、Ｓ１９で正式出力（図６）し、終了する。ＮＯの場合には、数が足りないので、Ｓ３以降を繰り返し、必要数になるまで繰り返す。
【００３９】
以上のＳ１１からＳ１９によって、Ｓ１からＳ９で作成した小問題文と回答文とその設定されたレベルについて、評価ＰＣ２に電子メールなどで通知し、評価結果を受け取って良の数が図４の（ｇ）のＰＣ評価基準中の種別の欄の値（レベル毎の値）を満たす場合には、当該小問題文と回答文とそのレベルが評価基準を満たすと判定し、評価基準を満たした小問題文と回答文とそのレベルを組とした数が必要小問題文の数に到達したときに一連の問題作成を終了することが可能となる。
【００４０】
図２の（ｂ）は、評価ＰＣ２における評価フローチャートを示す。これは、既述した１４で通知を受けた小問題文と回答文とそのレベルについて、良、否、保留のいずれであるかを評価者が評価するときの詳細フローチャートを示す。
【００４１】
図２の（ｂ）において、Ｓ２１は、評価依頼か判別する。これは、既述したＳ１４で通知された小問題文と回答文とそのレベルの評価依頼か判別する。ＹＥＳの場合には、Ｓ２２に進む。ＮＯの場合には、Ｓ２１を繰り返し、待機する。
【００４２】
Ｓ２２は、中間出力をリードする。
Ｓ２３は、参照画面を表示する。これらＳ２２、Ｓ２３は、評価者が図１の評価ＰＣ２を操作し、電子メールで受信した中間出力（既述したＳ１３で中間出力した結果（作成した小問題文と回答文とそのレベルの組））をリードし、画面上に表示、例えば図４の（ｆ）のように表示する。
【００４３】
Ｓ２４は、評価判定を入力する。これは、Ｓ２３で表示させた例えば図４の（ｆ）の画面を参照し、評価者が別ウィンドウに表示した図３の（ｅ）の評価判定入力画面上から、
・１．良
・２．否
・３．保留：コメント記述欄：
・４．・・・
のいずれかの評価結果を入力する。
【００４４】
Ｓ２５は、評価判定を通知する。これは、Ｓ２４で入力した評価結果を、評価ＰＣ２が問題作成サーバ１に電子メールで通知する。
【００４５】
以上のＳ２１からＳ２６によって、問題作成者が作成した小問題文と回答文とそのレベルの組を受信した評価ＰＣ２において、評価者が図４の（ｆ）の画面を表示して参照し、図３の（ｅ）の評価判定入力画面上で良、否、保留のいずれかの評価結果を入力し返送することが可能となる。
【００４６】
図２の（ｃ）は、小問題チェック手段１２が行う詳細フローチャートを示す。
図２の（ｃ）において、Ｓ３１は、カテゴリ条件を設定する。これは、既述したＳ２で入力したカテゴリ（例えば「修了テスト」）を設定する。
【００４７】
Ｓ３２は、表示は１画面以内で誤字なしか判別する。これは、Ｓ４、Ｓ５で作成された小問題文と回答文の表示は１画面以内で誤字なしか判別する。ＹＥＳの場合には、Ｓ３３に進む。ＮＯの場合には、エラーとする。
【００４８】
Ｓ３３は、回答文選択は３文以上か判別する。これは、Ｓ４、Ｓ５で作成された回答文の選択文（選択肢）が３文以上か判別する。ＹＥＳの場合には、Ｓ３４に進む。ＮＯの場合には、エラーとする。
【００４９】
Ｓ３４は、Ｙ／Ｎ問題は質問形式か又は選択式か判別する。ＹＥＳの場合には、Ｓ３５に進む。ＮＯの場合には、エラーとする。
【００５０】
Ｓ３５は、問題文は否定表現があるか判別する。これは、問題文に否定表現が含まれているか判別する。ＹＥＳの場合には、エラーとする。ＮＯの場合には、Ｓ３６に進む。
【００５１】
Ｓ３６は、問題文はカテゴリ以外があるか判別する。これは、問題文中に含まれる単語について、Ｓ３１で設定したカテゴリのテーブル（図４の（ｈ））を参照し、当該カテゴリ以外の単語があるか判別する。ＹＥＳの場合には、エラーとする。ＮＯの場合には、Ｓ３７に進む。
【００５２】
Ｓ３７は、悪文テーブルと一致するか判別する。これは、問題文中の文言について、図４の（ｉ）の悪文テーブルに設定されている悪文と一致するものがあるか判別する。この時、判断する悪文対象以外はチェックしないワイルドカード方式で判別する。ＹＥＳの場合には、エラーとする。ＮＯの場合には、修了する。
【００５３】
以上のＳ３１からＳ３７によって、既述したＳ４、Ｓ５で作成された小問題文と回答文について設定したカテゴリをもとに各種チェックし、各種エラーを自動的にチェックすることが可能となる。
【００５４】
図３および図４は、本発明の説明図を示す。
図３の（ａ）は、問題種別選択画面例を示す。問題種別選択画面は、既述した図２の（ａ）のＳ１で作成しようとする問題文の種別（難易度）を選択する画面の例を示し、「１．入門テスト」、「２．単元テスト」、「３．修了テスト」の順に種別の難易度が高くなっている。
【００５５】
図３の（ｂ）は、カテゴリ選択画面例を示す。カテゴリ選択画面は、既述した図２の（ａ）のＳ２で作成しようとする問題文のカテゴリ（専門分野）を選択する多面の例を示し、ここでは、
・１．電気関係
・２．機械関係
・３．制御装置関係
・４．法規関係
・５．セキュリティ関係
・・・
というカテゴリを選択する画面である。
【００５６】
図３の（ｃ）は、小問題難易度レベル選択画面例を示す。小問題難易度レベル選択画面は、既述した図２の（ａ）のＳ３で作成しようとする小問題文のレベルを選択する画面の例を示し、ここでは、
・レベル１
・レベル２
・レベル３
・レベル４
・レベル５
・・・
ここで、レベル１，２，３，４，５・・・の順に難易度が高くなるレベルである。
【００５７】
図３の（ｄ）は、問題種別規約例を示す。問題種別規約は、既述した図２の（ａ）のＳ１５でリードする問題種別規約の例を示し、ここでは、
レベル１ レベル２ レベル３ レベル４ レベル４ レベル５
・入門テスト ８ ５ ２
・単元テスト ２ ５ ８
・修了テスト ２ ５ ８
ここで、縦軸の入門テスト、単元テスト、終了テストは、既述した種別である（図３の（ａ）参照）。横軸は、既述したレベル（図３の（ｃ）参照）である。欄中の数字は当該レベルの小問題文と回答文の数（あるいは比率）である。例えば種別「修了テスト」の場合には、レベル３が「２」、レベル４が「５」、レベル５が「８」（小問題文と回答文の数）である。
【００５８】
図３の（ｅ）は、評価判定入力画面例を示す。評価判定入力画面は、既述した図２の（ｂ）のＳ２５で評価者が評価結果を入力する画面の例であって、
・中間出力の小問題編集について、あなたの評価を入力して下さい。
【００５９】
１．良
２．否
３．保留：コメント記述欄
４．・・・
評価点 〔 〕点
これは、小問題文と回答文とそのレベルを参照した評価者が、評価ＰＣ２の表示装置上に表示して評価結果（良、否、保留のいずれかと、評価点）を入力するための画面である。
【００６０】
図４の（ｆ）は、セキュリティ関係、修了テストのレベルｎの小問題と選択文例を示す。ここでは、Ａの小問題文と、１．２．３．４．の選択肢（回答文）との例を示す。
【００６１】
図４の（ｇ）は、ＰＣ評価基準例を示す。評価ＰＣ２で評価された評価結果をもとに、小問題文と回答文とそのレベルの組からなる一連の試験問題について、総合評価するためのものであって、図示の下記の情報を対応づけて登録したものである。
【００６２】
・縦軸の入門テスト、単元テスト、修了テスト：
・横軸のレベル１，２，３，４，５・・・：
・評価基準：
ここで、縦軸の入門テスト、単元テスト、修了テストは、種別である。横軸のレベル１，２，３，４，５・・・難易度を表すレベル（大きい程、高い難易度を表す）。評価基準は、例えば種別「修了テスト」のエントリで、レベル３の「２」の「良が７５％以上」は、評価者が評価（既述した図２のＳ２５）した良の数（あるいは全体に対する割合）が７５％以上であるときに評価がＯＫという意味である。
【００６３】
図４の（ｈ）は、カテゴリ語彙テーブル例を示す。カテゴリ語彙テーブルは、カテゴリ毎に当該カテゴリで使用される語彙を登録したものであって、図示の例は、カテゴリ「セキュリティ」の場合のカテゴリ語彙テーブル例を示す。
【００６４】
図４の（ｉ）は、悪文テーブル例を示す。これは、小問題文と回答文について、悪文を予め登録したものである。
【００６５】
図５は、本発明の評価結果プログ画面例を示す。評価結果プログ画面は、既述した図２から図４で説明した、作成した小問題文と回答文とそのレベルを組して電子メールで評価ＰＣ２に送信して評価者に通知する代わりに、評価専用の図５に図示のプログ（評価者のみが参照、入力可の資格を持つプログ）を開設し、その旨を該当評価者に別途電子メールで通知し、各評価者が図示のプログ画面を参照しつつ評価（良、否、保留とそのコメント）を記入し、他の評価者の評価結果とを同時に見ながら評価、あるいは意見交換しつつ評価することが可能となる。
【００６６】
図６は、本発明の動作説明フローチャート（正式出力）を示す。
図６において、Ｓ４１は、評価済の小問題文の評価をリードする。
【００６７】
Ｓ４２は、ソートする。これらＳ４１，Ｓ４２は、小問題文と回答文についてレベル毎既述した図２の（ｂ）のＳ２５で評価された評価（良、否、保留、更に、評価点）のうちの評価点の大きい順にソートする。
【００６８】
Ｓ４３は、上位から規約による必要数を選択する。これは、Ｓ４２でソートした、レベル毎の上位から規約（図３の（ｄ）の問題種別規約）による必要数を選択する。
【００６９】
Ｓ４４は、正式出力する。これは、Ｓ４３で選択した必要数の小問題文と回答文とをレベル毎に出力する。
【００７０】
以上によって、余分の小問題文と回答文を作成し、その中から評価点の高い順に規約で必要数の小問題文と回答文を選択し、正式に試験問題として出力することが可能となる。
【産業上の利用可能性】
【００７１】
本発明は、受講生の研修受け入れや中間の理解度確認あるいは確認研修終了などの試験の種別および問題のカテゴリに応じて適切なレベルの問題を含む規約を満たす試験問題を作成すると共に第三者に評価依頼してその評価結果が評価基準を満たすように再作成することにより、試験の種別に応じた評価基準を客観的に満たす試験問題を作成する試験問題作成方法、試験問題作成システムおよび試験問題作成プログラムに関するものである。
【図面の簡単な説明】
【００７２】
【図１】本発明のシステム構成図である。
【図２】本発明の動作説明フローチャートである。
【図３】本発明の説明図（その１）である。
【図４】本発明の説明図（その２）である。
【図５】本発明の評価結果プログ画面例である。
【図６】本発明の動作説明フローチャート（正式出力）である。
【符号の説明】
【００７３】
１：問題作成サーバ
１１：小問題作成手段
１２：小問題チェック手段
１３：配布手段
１４：小問題判定手段
１５：正式出力手段
１６：記憶部
１７：通信部
１８：入力部
１９：表示装置
【特許請求の範囲】
【請求項１】
試験の問題を作成する試験問題作成方法において、
試験の問題文を作成すると共にそのレベルを付与するステップと、
前記作成された問題文とそのレベルを他の１あるいは複数の評価者に通知し、評価された評価結果を受け取るステップと、
前記受け取った評価結果をもとに予め決めた評価基準を満たすか判別するステップと、
前記評価基準を満たすと判明した問題文を出力するステップと
を有する試験問題作成方法。
【請求項２】
前記作成しようとする試験の種別を選択するステップを設け、
当該選択された種別に応じて、複数のレベルの各レベルの問題文の数を設定した規約を参照し、当該規約を満たす小問題文と回答文とそのレベルを前記評価者に通知することを特徴とする請求項１記載の試験問題作成方法。
【請求項３】
前記作成しようとする試験の問題の分野を表すカテゴリを選択するステップを設け、
当該選択されたカテゴリに応じて、予めカテゴリ毎の単語を登録したテーブルを参照し、問題文中の単語が当該テーブルに登録されていると判別した小問題文と回答文とそのレベルを前記評価者に通知することを特徴とする請求項１あるいは請求項２記載の試験問題作成方法。
【請求項４】
前記受け取った評価結果をもとに予め決めた評価基準を満たすとして、小問題文と回答文毎に付与されたレベル毎の評価結果が良の数あるいは良の割合が予め決めた所定値以上のときに当該評価基準を満たすとしたことを特徴とする請求項１から請求項３のいずれかに記載の試験問題作成方法。
【請求項５】
試験の問題を作成する試験問題作成システムにおいて、
試験の問題文を作成すると共にそのレベルを付与する手段と、
前記作成された問題文とそのレベルを他の１あるいは複数の評価者に通知し、評価された評価結果を受け取る手段と、
前記受け取った評価結果をもとに予め決めた評価基準を満たすか判別するステップと、
前記評価基準を満たすと判明した問題文を出力する手段と
を備えたことを特徴とする試験問題作成システム。
【請求項６】
コンピュータに、
試験の問題文を作成すると共にそのレベルを付与するステップと、
前記作成された問題文とそのレベルを他の１あるいは複数の評価者に通知し、評価された評価結果を受け取るステップと、
前記受け取った評価結果をもとに予め決めた評価基準を満たすか判別するステップと、
前記評価基準を満たすと判明した問題文を出力するステップと
して機能させるための試験問題作成プログラム。
【請求項１】
試験の問題を作成する試験問題作成方法において、
試験の問題文を作成すると共にそのレベルを付与するステップと、
前記作成された問題文とそのレベルを他の１あるいは複数の評価者に通知し、評価された評価結果を受け取るステップと、
前記受け取った評価結果をもとに予め決めた評価基準を満たすか判別するステップと、
前記評価基準を満たすと判明した問題文を出力するステップと
を有する試験問題作成方法。
【請求項２】
前記作成しようとする試験の種別を選択するステップを設け、
当該選択された種別に応じて、複数のレベルの各レベルの問題文の数を設定した規約を参照し、当該規約を満たす小問題文と回答文とそのレベルを前記評価者に通知することを特徴とする請求項１記載の試験問題作成方法。
【請求項３】
前記作成しようとする試験の問題の分野を表すカテゴリを選択するステップを設け、
当該選択されたカテゴリに応じて、予めカテゴリ毎の単語を登録したテーブルを参照し、問題文中の単語が当該テーブルに登録されていると判別した小問題文と回答文とそのレベルを前記評価者に通知することを特徴とする請求項１あるいは請求項２記載の試験問題作成方法。
【請求項４】
前記受け取った評価結果をもとに予め決めた評価基準を満たすとして、小問題文と回答文毎に付与されたレベル毎の評価結果が良の数あるいは良の割合が予め決めた所定値以上のときに当該評価基準を満たすとしたことを特徴とする請求項１から請求項３のいずれかに記載の試験問題作成方法。
【請求項５】
試験の問題を作成する試験問題作成システムにおいて、
試験の問題文を作成すると共にそのレベルを付与する手段と、
前記作成された問題文とそのレベルを他の１あるいは複数の評価者に通知し、評価された評価結果を受け取る手段と、
前記受け取った評価結果をもとに予め決めた評価基準を満たすか判別するステップと、
前記評価基準を満たすと判明した問題文を出力する手段と
を備えたことを特徴とする試験問題作成システム。
【請求項６】
コンピュータに、
試験の問題文を作成すると共にそのレベルを付与するステップと、
前記作成された問題文とそのレベルを他の１あるいは複数の評価者に通知し、評価された評価結果を受け取るステップと、
前記受け取った評価結果をもとに予め決めた評価基準を満たすか判別するステップと、
前記評価基準を満たすと判明した問題文を出力するステップと
して機能させるための試験問題作成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２４８６０５（Ｐ２００７−２４８６０５Ａ）
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願番号】特願２００６−６９１８１（Ｐ２００６−６９１８１）
【出願日】平成１８年３月１４日（２００６．３．１４）
【出願人】（５９８０５７２９１）富士通サポートアンドサービス株式会社 (147)
【Ｆターム（参考）】
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願日】平成１８年３月１４日（２００６．３．１４）
【出願人】（５９８０５７２９１）富士通サポートアンドサービス株式会社 (147)
【Ｆターム（参考）】
[ Back to top ]