多肢選択言語試験問題自動作成装置およびコンピュータプログラム
【課題】多肢選択言語試験問題を自動的に作成することができる装置を提供する。
【解決手段】装置は、コーパスを記憶するコーパス記憶部８２と、選択肢作成のための言語情報を記憶する各種データ記憶部６８と、コーパスから問題の元となる文を選択する種文選択部８４と、選択された文のうちの空所を決定する問題位置選択部８６と、各種データ記憶部６８に記憶された言語情報に基づいて、空所に対する選択肢候補を作成する選択肢候補生成処理部８８と、選択された文において、空所を選択肢候補で置換して得られる文の妥当性を判定する妥当性判定部９０と、文が妥当でないと判定された選択肢候補と、元となる文とを整形して多肢選択言語試験問題を作成する整形部９４とを含む。
【解決手段】装置は、コーパスを記憶するコーパス記憶部８２と、選択肢作成のための言語情報を記憶する各種データ記憶部６８と、コーパスから問題の元となる文を選択する種文選択部８４と、選択された文のうちの空所を決定する問題位置選択部８６と、各種データ記憶部６８に記憶された言語情報に基づいて、空所に対する選択肢候補を作成する選択肢候補生成処理部８８と、選択された文において、空所を選択肢候補で置換して得られる文の妥当性を判定する妥当性判定部９０と、文が妥当でないと判定された選択肢候補と、元となる文とを整形して多肢選択言語試験問題を作成する整形部９４とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は試験問題を自動的に作成するための装置に関し、特に、多肢選択式の言語試験問題を自動的に作成するための装置に関する。
【背景技術】
【０００２】
語学教育用試験には、いわゆる記述式問題と多肢選択式問題とがある。語学教育用試験は、学習者の学習習熟度を測定する上で欠くことができないものであり、そのために語学教師は試験問題作成に多大な時間を割いている。したがって、問題作成を容易にする方策が求められている。
【０００３】
記述式試験問題と多肢選択試験問題とを比較すると、両者には以下のような相違がある。まず記述式試験問題については、問題を作成することは比較的容易である。しかし、記述式試験の場合、問題に対する解答の入力および採点が難しいという問題がある。特に採点は採点者の主観によってかなり異なってくるという問題がある。また記述式試験の場合には、採点を機械化することが非常に難しいという問題もある。
【０００４】
これと比較して多肢選択言語試験問題の場合、解答入力が容易で、採点も容易であるという長所を備えている。さらに、評価者による採点の揺れがない、という意味で客観的であるという長所もある。そのため、大量の受験者がある場合や、コンピュータベースの試験（ＣＢＴ）では多肢選択式試験が広く用いられる。また、「いつでもどこでも学習」という目標を標榜するいわゆるｅラーニングでは、携帯電話またはＰＤＡ（Portable Digital Assistant）等のモバイル機器特有の問題、例えば画面が小さい、入力装置が貧弱である、等という制約から考えて、多肢選択言語試験問題が重要な役割を担うと考えられる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、多肢選択式試験の場合、問題を作成する手間が記述式試験と比較してかなり大きいという問題がある。特に、学習対象のドメイン（旅行会話、ビジネス会話、ニュース等）に合致し、かつ被験者の到達目標に合致した問題を作成することは困難だという課題がある。学習対象のドメインにおいて長年の経験または蓄積を持たない教育機関の場合、所望のドメインの多肢選択言語試験問題を、所定の到達レベルに合致させて作成することは非常に困難である。そうした問題を解決しようとすれば、多大な人員を動員することが必要になり、試験問題作成のコストが高くなる要因となっている。何らかの形で多肢選択言語試験問題を自動的に作成できるようになれば、そうした問題が解決され、好ましい。
【０００６】
それゆえに本発明の目的は、多肢選択言語試験問題を自動的に作成することができる装置を提供することである。
【０００７】
本発明の他の目的は、多肢選択言語試験問題であって、所望のドメインの問題を自動的に作成することができる装置を提供することである。
【０００８】
本発明のさらに他の目的は、多肢選択言語試験問題であって、所望のドメインの所望の到達レベル問題を自動的に作成することができる装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の局面に係る多肢選択言語試験問題自動作成装置は、多肢選択言語試験問題を自動的に作成するための、多肢選択言語試験問題自動作成装置であって、コンピュータ読取可能なコーパスを記憶するためのコーパス記憶手段と、選択肢作成のための言語情報をコンピュータ読取可能な形式で記憶するための言語情報記憶手段と、コーパス記憶手段に記憶されたコーパスから、予め定める選択方式にしたがって多肢選択言語試験問題の元となる文を選択するための文選択手段と、文選択手段により選択された文のうち、所定条件を充足する構成要素を決定するための構成要素決定手段と、言語情報記憶手段に記憶された言語情報に基づいて、構成要素決定手段により決定された構成要素に対する置換候補を作成するための置換候補作成手段と、選択された文において、決定された構成要素を置換候補で置換することにより得られる文の妥当性を判定するための妥当性判定手段と、妥当性判定手段により文が妥当でないと判定された置換候補と、元となる文とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための多肢選択言語試験問題作成手段とを含む。
【００１０】
コーパス記憶手段から文が選択され、その中の所定条件を充足する構成要素に対する置換候補が作成される。当該構成要素を置換候補で置換した後の文の妥当性を妥当性判定手段で判定し、文が妥当でないと判定された置換候補と、最初に選択された元となる文とを所定の形態に組合わせることで多肢選択言語試験問題が自動的に作成される。コーパスを変えれば所望のドメインまたはレベルの多肢選択言語試験問題を自動的に作成できる。さらに、置換候補のうち、置換によって得られる文が妥当でないものだけを残すことで、最初に選ばれた文との組合せにより、適切な多肢選択言語試験問題を作成できる。問題文および選択肢集合を人間が考えたり、問題としての正しさを検証したりする必要がなく、短い時間に大量の多肢選択言語試験問題を作成できる。
【００１１】
好ましくは、置換候補作成手段は、言語情報記憶手段に記憶された言語情報に基づいて、決定された構成要素に対する複数個の置換候補を作成するための手段を含み、多肢選択言語試験問題作成手段は、選択された文のうち、決定された構成要素を空所で置換した問題文を作成するための手段と、複数個の置換候補のうち、妥当性判定手段で文が妥当でないと判定された予め定める所定個数の置換候補と、決定された構成要素とからなる選択肢集合を作成するための選択肢作成手段と、問題文と選択肢集合とを所定の問題形式に整形するための整形手段とを含む。
【００１２】
さらに好ましくは、多肢選択言語試験問題作成手段は、選択された文のうち、決定された構成要素を、妥当性判定手段により文が妥当でないと判定された置換候補で置換して問題文を作成するための手段と、問題文のうち、置換候補と、置換候補以外の所定個数の単語または単語群とを選択肢候補として表示するように問題文を整形するための整形手段とを含む。
【００１３】
より好ましくは、置換候補作成手段は、言語情報記憶手段に記憶された言語情報に基づいて、所与の条件に合致するように決定された構成要素に対する置換候補を作成するための条件付置換候補作成手段を含む。
【００１４】
好ましくは、多肢選択言語試験問題自動作成装置はさらに、所与の条件に関するユーザの入力を受け、条件付置換候補作成手段に与えるための手段を含む。
【００１５】
多肢選択言語試験問題自動作成装置は、さらに、複数個のコーパスからなるコーパス群を記憶するためのコンピュータ読取可能なコーパス群記憶手段から、ユーザによって指定されたコーパスを読出してコーパス記憶手段に格納するためのコーパス読出手段を含んでもよい。
【００１６】
好ましくは、コーパスは第１言語の文と第２言語の文との対訳を複数個含むバイリンガルコーパスであり、文選択手段は、コーパス記憶手段に記憶されたバイリンガルコーパスから、選択方式にしたがって多肢選択言語試験問題の元となる対訳を選択するための対訳選択手段を含む。
【００１７】
さらに好ましくは、構成要素決定手段は、選択された対訳の第２言語の文のうち、所定条件を充足する構成要素を決定するための手段を含み、置換候補作成手段は、言語情報記憶手段に記憶された言語情報に基づいて、決定された構成要素に対する複数個の第２言語の置換候補を作成するための手段を含み、多肢選択言語試験問題作成手段は、選択された対訳の第１言語の文と、選択された対訳の第２言語の文のうち、決定された構成要素を空所で置換した文とを含む問題文を作成するための手段と、複数個の置換候補のうち、妥当性判定手段により文が妥当でないと判定された予め定める所定個数の第２言語の置換候補と、決定された構成要素とからなる選択肢集合を作成するための選択肢作成手段と、問題文と選択肢集合とを所定の問題形式に整形するための整形手段とを含む。
【００１８】
多肢選択言語試験問題作成手段は、選択された対訳の第１言語の文と、選択された対訳の第２言語の文のうち、決定された構成要素を、妥当性判定手段により文が妥当でないと判定された置換候補で置換して得られた文とを含む問題文を作成するための手段と、問題文の第２言語の文のうち、置換候補と、置換候補以外の所定個数の単語または単語群とを選択肢候補として表示するように問題文を整形するための整形手段とを含んでもよい。
【００１９】
好ましくは、構成要素決定手段は、選択された対訳の第２言語の文全体を所定条件を充足する構成要素として決定するための手段を含み、置換候補作成手段は、言語情報記憶手段に記憶された言語情報に基づいて、選択された対訳の第１言語の文を機械翻訳するための複数の機械翻訳手段を含み、多肢選択言語試験問題作成手段は、選択された対訳の第２言語の文、および複数の機械翻訳手段による翻訳結果のうち、妥当性判定手段により妥当でないと判定された文からなる選択肢集合を作成するための手段と、選択された対訳の第１言語の文と、選択肢集合とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための手段とを含む。
【００２０】
さらに好ましくは、文選択手段、構成要素決定手段、置換候補作成手段、妥当性判定手段、および多肢選択言語試験問題作成手段を制御して、所定個数の多肢選択言語試験問題を作成させるための制御手段をさらに含む。
【００２１】
本発明の第２の局面に係る多肢選択言語試験問題自動作成装置は、多肢選択言語試験問題を自動的に作成するための、多肢選択言語試験問題自動作成装置であって、第１言語の単語と第２言語の単語との対訳を複数個記憶するためのコンピュータ読取可能な辞書記憶手段と、選択肢作成のための言語情報をコンピュータ読取可能な形式で記憶する言語情報記憶手段と、辞書記憶手段から、予め定める選択方式にしたがって多肢選択言語試験問題の元となる単語の対訳を選択するための対訳選択手段と、言語情報記憶手段に記憶された言語情報に基づいて、選択された対訳のうち第２言語の単語に対する第２言語の置換候補を作成するための置換候補作成手段と、選択された対訳の第１言語の単語に対する対訳として、置換候補作成手段により得られる第２言語の置換候補の妥当性を判定するための妥当性判定手段と、妥当性判定手段により妥当でないと判定された置換候補と、元となる単語の対訳中の第２言語の単語とから選択肢集合を作成するための選択肢作成手段と、選択された対訳の第１言語の単語と、選択肢作成手段により作成された選択肢集合とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための多肢選択言語試験問題作成手段とを含む。
【００２２】
本発明の第３の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを上記したいずれかの多肢選択言語試験問題自動作成装置として動作させる。
【発明を実施するための最良の形態】
【００２３】
［多肢選択言語試験問題の概要］
多肢選択言語試験問題には、図１に示す空所補充問題、図３に示す誤り検出問題、図示しない正解文または誤り文選択問題等がある。以下に述べる実施の形態に係る多肢選択言語試験問題の作成装置は、少なくとも空所補充問題と誤り検出問題との双方を含む複数種類の多肢選択言語試験問題を作成することができる。
【００２４】
まず、図１に示す空所補充問題について説明する。図１を参照して、空所補充問題では、受験者は正しい文となるように選択肢２６から選択して問題文２２中の空所２４を補充することが要求される。
【００２５】
本実施の形態に係る装置では、こうした空所補充問題では、正解は文をなし、不正解は文をなさないことを利用する。また、正解が誤りなく作成できるように、模範的な文を集めたコーパスを準備し、当該コーパスに含まれる文を種として、多肢選択言語試験問題を作成する。
【００２６】
より具体的には、模範的な文を集めたコーパスに基づいて、問題と選択肢（正解と不正解との候補）を生成する。正解はコーパスから抽出できる。問題と不正解の選択肢候補との組合せの各々について、文として妥当か否かを判定する。ここでは不正解の選択肢候補を生成するので、上記判定で文として妥当と判定されたものは、選択肢から除外する。以下の実施の形態では所定の方法で文の妥当性を計算し、妥当性が所定のしきい値を下回るもののみを選択肢として残す。
【００２７】
図２に、例として、問題と解の候補とから生成される文群３０を示す。図２を参照して、この文群は全部で５つの文４０、４２、４４、４６および４８を含む。下線を引いた部分が解候補であり、その中で太字で示したものが正解である。図２に示す例では、１番目の文４０と５番目の文４８との双方とも正解となる。一般的に多肢選択の場合、選択肢の個数と正解の個数は一定である。本明細書では、特に断らない限り、前者を４、後者を１とする。したがってこの場合には１番目の選択肢４０または５番目の選択肢４８を削除する。
【００２８】
誤り検出問題も、空所補充問題とほぼ同様に実現できる。図３に誤り検出問題の例５０を示す。図３を参照して、この問題は、文５２の４つの選択肢ａ）〜ｄ）の中から誤り部分を選択する、というものである。この場合には、最初に文を決め、選択肢として単語を決め、その中の一つに関して単語の置換を行なって、文の妥当性検査で非文になることを確認すればよい。なお、最初に置換単語の位置を決めてから、他の選択肢を決めるようにしても同じことである。
【００２９】
［第１の実施の形態］
＜構成＞
以下、こうした手順を実現するための一実施の形態に係る装置の構成および動作について説明する。なお、以下の装置は本発明の一実施の形態に過ぎず、本発明が以下の実施の形態に限定されることはない。
【００３０】
図４に、本実施の形態に係る多肢選択言語試験問題作成システム６０をブロック図形式で示す。図４を参照して、この多肢選択言語試験問題作成システム６０は、問題作成の条件を設定するためにユーザが使用する条件選択部６２と、種々のドメインに応じた問題の種文となる正しい文をそれぞれ含む、複数のコーパスからなるコーパス群６６と、条件選択部６２により設定された条件にしたがい、指定されたドメインにふさわしいコーパスをコーパス群６６から選択し、上記した空所補充問題と誤り検出問題とのいずれかからなる多肢選択言語試験問題７４を自動的に作成するための問題作成装置６４と、問題作成装置６４が問題を作成する際に参照する種々の言語情報データを記憶する各種データ記憶部６８とを含む。問題作成装置６４はまた、いわゆるインターネット７０を用いて、多肢選択言語試験問題の作成中に文の妥当性をチェックする機能を持つ。
【００３１】
多肢選択言語試験問題作成システム６０はいわゆるコンピュータシステムで実現されることが想定されている。条件選択部６２は、図示しないキーボードと、マウス等のポインティングデバイスと、条件設定の画面を用いた入出力を行なうためのソフトウェアおよび表示装置等からなる。本実施の形態においては、条件選択部６２は、以下のような条件を指定する。
【００３２】
（１）問題作成の対象となるドメイン
（２）作成する多肢選択言語試験問題の種別（空所補充問題または誤り検出問題）
（３）作成する問題の個数
（４）問題作成時の種文の選択条件
（５）空所補充問題の際の空所の位置の決定条件
（６）空所補充問題の選択肢作成の際の条件
（７）候補の妥当性の検証方式
問題作成装置６４は、後述するようにコンピュータハードウェアと、当該コンピュータ上で実行されるコンピュータプログラムとにより実現される。コーパス群６６および各種データ記憶部６８は、本実施の形態では、問題作成装置６４を実現するものと同じコンピュータ内に設けられた記憶装置により実現される。
【００３３】
問題作成装置６４は、条件選択部６２を用いてユーザにより指定されたドメインのコーパスをコーパス群６６から選択するためのコーパス選択部８０と、コーパス選択部８０により選択されたコーパスを記憶するためのコーパス記憶部８２と、条件選択部６２を用いてユーザにより指定された条件にしたがって、コーパス記憶部８２に格納されているコーパスの中から問題の元となる種文を選択するための種文選択部８４とを含む。
【００３４】
問題作成装置６４はさらに、種文選択部８４により選択された種文の中で、条件選択部６２を用いてユーザにより指定された問題の種別に応じ、空所補充問題の作成の際には指定された条件にしたがった位置の単語を空所として選択し、誤り検出問題の作成の際には、選択肢となる単語位置を選択肢の数だけ選択し、問題の種別を示す情報および種文とともに出力するための問題位置選択部８６と、問題位置選択部８６から与えられた種文に対し、問題の種別を示す情報と問題位置とにしたがい、各種データ記憶部６８に記憶された各種データを参照しながら選択肢を作成することにより、多肢選択言語試験の選択肢候補を生成するための選択肢候補生成処理部８８と、選択肢候補生成処理部８８により作成された選択肢候補に関連する文の各々に対し、その妥当性を判定するために、インターネット７０を検索するための妥当性判定用データ検索部９２と、選択肢候補生成処理部８８から受取る選択肢候補に関連する文の各々に対し、妥当性判定用データ検索部９２を用いて妥当性判定用データを検索し、文として妥当性を判定するとともに、条件選択部６２から与えられる問題種別に応じ、問題自体の適切さをも判定するための妥当性判定部９０とを含む。
【００３５】
妥当性判定部９０は、選択肢候補の妥当性の判定の結果、問題が適切なものでないと判定された場合には、当該問題を破棄し、種文選択部８４に対して次の問題作成を指示する機能を持つ。
【００３６】
問題作成装置６４はさらに、妥当性判定部９０によって適切と判定された問題を、問題の種類に応じた適切なフォーマットに整形するための整形部９４と、整形部９４により整形された問題に対して、インターネット７０上のデータおよび各種データ記憶部６８に記憶されたデータの中から、問題に関連した情報（例文、定義、語義等）を付与するための関連情報付与処理部９６と、関連情報付与処理部９６から出力される、関連情報が付与されかつ整形された問題を多肢選択言語試験問題７４として記憶装置に書込む処理を行なうための出力部９８とを含む。
【００３７】
なお、多肢選択言語試験問題の場合には、異なる問題文中に同じ単語が出現することは望ましくない。そのため、問題作成装置６４は、出力部９８により出力された多肢選択言語試験問題中の選択肢を記憶するための既出選択肢記憶部１００を含み、選択肢候補生成処理部８８は、問題作成時に既出選択肢記憶部１００を参照して、既出の単語が後続の問題中に含まれないように、問題作成の際の単語の選択を行なう機能を持つ。
【００３８】
図５は、コーパス記憶部８２に記憶されたコーパス１１０の構成例を示す。図５を参照して、コーパス１１０は本実施の形態ではモノリンガルコーパスであって、複数個の例文１１６を含む。各例文１１６は、識別番号（ＩＤ）１１２と、本文１１４とを含む。コーパス群６６に含まれるコーパスは、全て同じフォーマットである必要はないが、問題作成装置６４の構成を簡単にするために、統一されたフォーマットであることが望ましい。
【００３９】
図６は、図４に示す各種データ記憶部６８の構成を示す。図６を参照して、各種データ記憶部６８は、選択肢を作成する際に使用する、ある単語に関連した誤りを誤りの種類にしたがって集めた複数のリストからなる誤りリスト１２０と、単語に関する辞書１２２と、同義語、反義語等を収録するとともに、単語の間の類似関係等を収録したシソーラス１２４と、所定の単語を、その頻度および重要度とともにリストした単語リスト１２６とを含む。
【００４０】
誤りリスト１２０は、綴りの似た語の集合を集めたリスト１３０と、ある単語と、その単語に対して綴りを誤った単語とからなる集合を集めたリスト１３２と、いわゆる和製英語を正しい英語単語（単語列）とともに集めたリスト１３４とを含む。
【００４１】
リスト１３０に含まれる単語の集合の例として、「ｍｏｓｓ，ｍｉｓｓ，ｍｅｓｓ」がある。リスト１３２に含まれる単語の集合の例としては、「ｆｌｉｇｈｔ，ｆｒｉｇｈｔ，ｆｌｉｔ，ｆｌｉｔｅ」等がある。リスト１３４に含まれる単語の集合の例としては、「ｎｉｇｈｔｅｒ（ナイター），ｎｉｇｈｔ ｇａｍｅ」がある。
【００４２】
後述するように、本実施の形態に係る多肢選択言語試験問題作成システム６０は、コンピュータハードウェアおよびその上で実行されるソフトウェアにより実現可能である。図７に、多肢選択言語試験問題作成システム６０を実現するためのソフトウェアを構成するプログラムのメイン処理の流れをフローチャート形式で示す。以下、図７を参照してこのプログラムの制御構造について説明する。
【００４３】
図７を参照して、このプログラムが起動されると、ステップ１４０で設定の読込みが行なわれる。この設定は、図４に示す条件選択部６２により設定され、記憶装置等に書き込まれていたものである。続いてステップ１４２で、読込んだ設定にしたがって、試験の種別を判定する。試験の種別が空所補充問題の場合にはステップ１４４に進む。試験の種別が誤り検出問題の場合にはステップ１４６に進む。以下同様に、選択された試験の種別にしたがい、適切なステップ１４４〜１４８の処理が実行される。
【００４４】
図８にステップ１４４で実行される空所補充問題の作成処理を行なうプログラムの制御構造をフローチャート形式で示す。図８を参照して、まずステップ１５０で作成中の問題番号を表す変数ｉに０を代入する。ステップ１５２で変数ｉに１を加算する。ステップ１５４で変数ｉの値が、作成する問題数として設定された値ＭＡＸを超えたか否かを判定する。変数ｉの値が値ＭＡＸを超えていれば処理を終了する。変数ｉの値が値ＭＡＸ以下であれば制御はステップ１５６に進む。
【００４５】
ステップ１５６では、図４に示すコーパス記憶部８２に記憶された文の中から所定の方法で種文を選択する。なお、図９を参照して後述するように、このステップで選択する種文については、長さに制限を設けてある。
【００４６】
続いてステップ１５８で、種文の中で空所とする位置を決定する。空所の位置も、全体の中からランダムに選択したり、品詞および単語の位置等を条件として選んだりすることができる。例えば、「最左の動詞（例えば「I lost the return ticket of my flight」の「lost」）」、「頻度の高い前置詞（例えば上記「of」）」、または「最右の限定詞（例えば上記「my」）」等を選択することができる。
【００４７】
さらにステップ１６０で、選択肢候補からなる選択肢集合を作成する。このステップでは、ステップ１５８で選択された空所位置に存在していた単語を「正解」として保存（記憶）した上で、誤りの選択肢候補を複数個だけ作成し、ｉ番目の問題に対する選択肢候補集合Ａiとする。本実施の形態では、作成される選択肢候補の最大個数はＭ個とし、各選択肢候補をＡi,mと表す（１≦ｍ≦Ｍ）。ステップ１６０での処理の詳細については図１０を参照して後述する。なお、後述するように、ステップ１６０の処理では、既出の問題に含まれる単語と同じ単語を選択肢候補とすることは不適当と考えられるので、そのような単語は選択肢候補としない。
【００４８】
この後、ステップ１６２で以下の繰返しを制御するための繰返制御変数ｍに０を代入する。ステップ１６４で変数ｍに１を可算する。続いてステップ１６６で変数ｍの値が値Ｍを超えたか否かが判定される。変数ｍの値が値Ｍを超えた場合、制御はステップ１７２に進む。それ以外の場合、制御はステップ１６８に進む。ステップ１７２以下の処理については後述する。
【００４９】
ステップ１６８では、選択肢候補Ａi,mを含む文が妥当な文かどうかを判定する。本実施の形態では、インターネット７０を利用して文の妥当性を判定する。具体的には、本実施の形態では、空所の前後の内容語までの単語列と選択肢とからなる単語列をインターネット７０の多数のウェブにおいて検索し、あれば選択肢候補Ａi,mを含む文が妥当な文だと判定する。ここでの目的は、誤りとして選択肢候補を見つけることであるから、選択肢候補Ａi,mを含む文が妥当な文だと判定された場合、ステップ１７０で選択肢候補の集合Ａiから選択肢候補Ａi,mを削除し、ステップ１６４に戻る。さもなければ選択肢候補Ａi,mを含む文は非文であって選択肢候補Ａi,mは選択肢として適当であるから選択肢候補集合Ａiに残し、何もせずステップ１６４に戻る。
【００５０】
ステップ１６６で変数ｍの値が値Ｍを上回ると、制御はステップ１７２に進む。ステップ１７２では、選択肢候補の集合Ａiに含まれる要素の数｜Ａi｜が２より大きいか否か（すなわち３以上か）を判定する。２より大きい場合にはステップ１７４に進むが、それ以外の場合には選択肢の数が不足し問題を構成できないので、この選択肢集合Ａiについては問題作成をやめることとし、ステップ１５６に戻って次の種文の選択からやり直す。
【００５１】
ステップ１７４では、選択肢集合Ａiに正解の選択肢を加え、ランダムな順番に配列してその内容を整形して、図１に示すような問題とする。ステップ１７６で、各選択肢についてウェブで検索した例文、辞書から読みだした語義等の関連情報をこの問題に付与する。さらにステップ１７８で、この問題を既出選択肢として図４に示す既出選択肢記憶部１００のような記憶装置に記憶する。この情報は、ステップ１６０での選択肢候補の作成処理で使用される。
【００５２】
さらに、ステップ１８０において、このようにして作成された問題を所定の記憶装置に出力する。この後制御はステップ１５２に戻り、次の問題の作成を開始する。
【００５３】
図９を参照して、図８のステップ１５６で行なわれる種文選択処理について説明する。まずステップ１８１で、種文候補をコーパスの中から選択する。この際、本実施の形態では、種文の選択方式は複数の方式の中からユーザが指定できるようになっている。例えば種文を全くランダムに選択したり、文の属性（長さ、頻度、読みやすさ等）に関する条件、文に含まれる文法事項または文の使われる場面、例えば動詞を含む文、感嘆文、特定の前置詞を含む文、等の条件等で絞った中からランダムに選択したり、上記した属性の値にしたがって所定の順番で選択したりすることができる。
【００５４】
ステップ１８２では、ステップ１８１で選択した種文候補の形態素長が所定のしきい値ＴＨ１より大きいか否かを判定する。このような判定をするのは、あまりにも短い文では情報が足りず、受験者が選択肢を選ぶのが難しくなり、試験が成立しない可能性があるためである。形態素長がしきい値ＴＨ１より大きければステップ１８４に進み、それ以外の場合には種文として不適当であるためステップ１８１に戻り、次の種文候補の選択を行なう。一方、ステップ１８４では、形態素長が別のしきい値ＴＨ２（ＴＨ２＞ＴＨ１）より小さいか否かを判定する。このような判定を行なうのは、問題文が長いと、場所をとり、例えば携帯電話等の狭い画面上に問題を表示するには不都合である可能性があるためである。形態素長がしきい値ＴＨ２より小さければこの種文候補を種文として種文選択の処理を終了する。さもなければステップ１８１に戻り、次の種文候補の選択から繰返す。
【００５５】
図１０に、図８のステップ１６０で実行される選択肢候補作成処理の詳細をフローチャート形式で示す。図１０を参照して、まずステップ１９０で、選択肢候補からなる集合Ａiを空集合φとし、繰返制御変数ｊに０を代入する。ステップ１９１で変数ｊに１を加算する。ステップ１９２で変数ｊの値が選択肢候補の最大数Ｍを超えたか否かを判定する。ｊがＭを超えた場合、この選択肢候補作成処理を終了する。ｊがＭ以下であればステップ１９３に進む。
【００５６】
ステップ１９３では、選択肢候補の単語を、図４に示す各種データ記憶部６８を参照して選択する。この場合、以下のような選択の仕方が可能である。
【００５７】
（１）問題位置の単語を置換しても文法を逸脱しないように、選択肢の単語の品詞、活用（過去形、単数現在等）を維持して別の単語に置換える。この場合、辞書１２２から単語をランダムに選択したり、シソーラス１２４から類義語または反義語を選択したり、単語リスト１２６から単語の頻度順、重要度順に単語を取出して置換したりできる。
【００５８】
（２）単語を置換することで文法を逸脱するように、当該位置の単語の語基を維持して、品詞、活用（過去形、単数現在等）を置換える。例えば辞書１２２を参照して単語の活用形を変化させたり、ある単語を、当該単語に対応する別品詞の単語に置換する。
【００５９】
（３）頻度の高い誤りを再現するように、当該位置の単語を含む誤り単語の集合を図６に示す誤りリスト１２０から取出し、その中の単語で置換する。例えば、図６に示すように，綴りの似た語、綴りの誤っている語、和製英語等で元の単語位置を置換する。
【００６０】
選択肢候補を選択した後、ステップ１９４において当該単語の頻度を各種データ記憶部６８を参照して調べ、その頻度が所定のしきい値ＴＨ３より小さいか否かを判定する。頻度があまりに低い単語の場合、受験者は、見慣れないという理由だけで選択肢の単語が不正解であると考えてしまう可能性があり、選択肢として不適当と考えられるためである。したがってステップ１９４において頻度がしきい値ＴＨ３より小さいと判定された場合、ステップ１９３に戻り、次の選択肢候補を選択する。さもなければステップ１９５に進む。
【００６１】
ステップ１９５では、選択肢候補が既に作成した問題に出現した単語と同じか否かについて、図４に示す既出選択肢記憶部１００に記憶された内容を参照して判定する。既出の単語は選択肢候補として妥当でないため、このような判定を行なう。したがって、選択肢候補が既出単語であればステップ１９３に戻り、次の選択肢候補について上記した処理を繰返す。既出単語でなければ、ステップ１９６に進み、この選択肢候補を選択肢候補集合Ａiに追加する。この後ステップ１９１に戻る。
【００６２】
以上が、例えば問題作成装置６４が空所補充問題を作成する場合に実行されるプログラムのフローチャートである。
【００６３】
一方、図７に示すステップ１４６で実行される誤り検出問題の作成処理も、同様のプログラムにより実現できる。図１１に、本実施の形態の問題作成装置６４において採用したプログラムの制御構造をフローチャート形式で示す。図１１において、図８と同じ処理には同じ参照番号を付す。したがってそれらについての詳細な説明は繰返さない。
【００６４】
図１１において、ステップ１５６で種文を選択した後、制御はステップ２００に進む。ステップ２００では、選択肢として種文の中の所定個数（デフォルトは４個であるが、ユーザによる指定が可能である。）の単語を決定し、そのうちの一つを誤り単語位置として選択する。
【００６５】
続いてステップ２０２で、選択された単語を別の単語で置換することにより、種文Ｂiを別の文Ｂi'に変換する。本実施の形態では、ここでの置換単語は、図６に示す誤りリスト１２０の各リストを用いて決定する。なお、ステップ２００で選択肢として決定された単語と、ステップ２０２で決定された置換単語とは、いずれもこれより前の問題（空所補充／誤り検出の別を問わない。）において既出の単語ではないものとする。またこの置換単語は、後に記載する実験では内容語に限定し、機能語は候補から外している。
【００６６】
ステップ２０４で、置換後の文Ｂi'が非文か否かを判定する。この判定は、図８のステプ１６８で行なう処理と同様の処理により実現できる。文Ｂi'が非文であれば、この文Ｂi'を誤り検出問題の問題とすることができる。
【００６７】
したがってステップ２０６で文Ｂi'を整形して図３に示すような問題とする。ステップ２０８で、ステップ２０４の判定においてインターネット７０等から取得した例文、辞書から取得した語義情報等を関連情報としてこの問題に付与する。ステップ２１０で、この問題を既出選択肢として図４の既出選択肢記憶部１００に記憶する。ステップ２１２でこの問題を出力する。この後、ステップ１５２に戻り、次の問題の作成を行なう。
【００６８】
こうして、誤り検出問題についても、自動的に作成することができる。これ以外にも多肢選択言語試験問題の形式はあるが、それらはいずれも上で説明したものと同様の考え方で実現できる。したがってここではそれら個々についてのプログラムの制御構造については説明しない。
【００６９】
＜動作＞
上に説明した多肢選択言語試験問題作成システム６０は以下のように動作する。図４を参照して、予め様々なドメインおよびレベルに対応したコーパス群６６が準備されているものとする。また、問題を作成するための誤りリスト１２０、辞書１２２、シソーラス１２４、および単語リスト１２６についても予め準備されているものとする。
【００７０】
ユーザは、条件選択部６２を使用して種々の設定を行なう。例えば問題の対象となるドメイン、多肢選択言語試験問題の種別、作成する問題の数、作成しようとする問題のレベル、等を指定する。
【００７１】
コーパス選択部８０は、ユーザによる指定に応答して、コーパス群６６の中から適切なドメインで適切なレベルのコーパスを選択し、コーパス記憶部８２に格納する。
【００７２】
種文選択部８４は、条件選択部６２により指定された条件にしたがって、コーパス記憶部８２に格納されたコーパス中から種文を選択し、指定された条件とともに問題位置選択部８６に与える。問題位置選択部８６は、例えば作成すべき問題が空所補充問題であれば、どの単語を空所とするかを決定する。作成すべき問題が誤り検出問題であれば、問題位置選択部８６は種文の中で選択肢となる単語位置を決定し、さらにどの単語を誤り単語で置換するかを決定する。なおこの順序は逆でもよい。
【００７３】
選択肢候補生成処理部８８は、問題位置選択部８６により問題位置が決定された種文を受け、各種データ記憶部６８を参照して、問題の種別に応じ選択肢候補を生成する。例えば問題が空所補充問題であれば、例えば図６に示すシソーラス１２４を参照し、問題位置の単語と同じ意味コードを持つ単語を選んで選択肢集合を作成する。
【００７４】
妥当性判定部９０は、こうして生成された選択肢候補が妥当か否かを判定する。空所補充問題であれば、選択肢集合に含まれる単語を空所に補充した文が、一つを除いて非文となるか否かを判定する。また誤り検出問題であれば、問題位置に誤り単語を挿入した結果得られた文が非文となるか否かを判定する。この際、妥当性判定部９０は、妥当性判定用データ検索部９２を用いてインターネット７０上のウェブを検索し、文の妥当性を判定する。
【００７５】
空所補充問題の場合、選択肢集合に含まれる単語を種文の空所に補充した文が、一つ（正解）を除いてすべて非文と判定されれば、妥当性判定部９０は選択肢候補を整形部９４に与える。誤り検出問題の場合、種文のうち問題位置に誤り単語を挿入して得られた文が非文であれば、妥当性判定部９０はこの問題を整形部９４に与える。それ以外の場合には、妥当性判定部９０は選択肢候補生成処理部８８から与えられた問題を破棄する。妥当性判定部９０は、問題を採用した場合も、そうでない場合も、種文選択部８４に再度問題の作成を開始することを指示する信号を与える。
【００７６】
整形部９４は、妥当性判定部９０から問題が与えられると、問題の種類に応じて適切な形に整形し関連情報付与処理部９６に与える。関連情報付与処理部９６は、インターネット７０から得られた例文、および各種データ記憶部６８から得られた単語の語義等の関連情報を選択肢に付与し、出力部９８に与える。出力部９８は、この問題を既出選択肢記憶部１００に書込んだ後，多肢選択言語試験問題７４として問題を出力する。
【００７７】
種文選択部８４は、妥当性判定部９０から次の問題の作成を指示する信号が与えられると、既に作成した問題数が条件選択部６２から指定された問題数に達したか否かを判定し、達した場合に処理を終了する。達していない場合には、種文選択部８４は次の種文をコーパス記憶部８２から選択し、問題位置選択部８６に与える。
【００７８】
以下、種文選択部８４、問題位置選択部８６、選択肢候補生成処理部８８、妥当性判定部９０、妥当性判定用データ検索部９２、整形部９４、関連情報付与処理部９６、出力部９８および既出選択肢記憶部１００により、指定された個数の問題が作成されるまで既に述べた動作が繰返される。
【００７９】
なお、上記した妥当性の判定では、空所の前後の内容語までの単語列と、選択肢とからなる単語列がウェブ上に存在するか否かを基準とした。しかし本発明はそのような実施の形態には限定されない。これ以外にも、ウェブにおいて選択肢候補Ａi,mを含む文を検索し、あれば妥当な文だと判定する方法、選択肢候補Ａi,mを含む文を構成する全てのＮグラム（たとえばトライグラム）がウェブ上で見つけられたら妥当な文だと判定する方法、ウェブから求めたＮグラム尤度を用いて選択肢候補Ａi,mを含む文尤度を計算し、所定のしきい値以上であれば妥当な文と判定する方法、等がある。なお最後に挙げた方法では、ウェブのＮグラムの頻度としては、通常の単語列の頻度ではなく、検索システムで検索できた単語列を含む文書の数、すなわち文書頻度ｄｆに置換える。バイグラムｗ１ｗ２の文書頻度をｄｆ（ｗ１ｗ２）、ユニグラムｗ１の文書頻度をｄｆ（ｗ１）、バイグラム文書尤度Ｐ（ｗ１ｗ２）はｄｆ（ｗ１ｗ２）／ｄｆ（ｗ１）とする。
【００８０】
＜実験＞
上記した実施の形態に係る多肢選択言語試験問題作成システム６０について、実験によりその有効性を検証した。実験では、コーパス群６６として旅行会話とビジネス会話という二つのドメインのコーパスを準備し、多肢選択言語試験問題作成システム６０により得られた問題を複数の受験者に解かせた結果と、各受験者のＴＯＥＩＣ（登録商標）スコアとが相関しているか否かを調べることで多肢選択言語試験問題作成システム６０の有効性を検証した。
【００８１】
実験では、以下のオプションを使用した。上記したいずれかのコーパスを選択し、種文を順に選択させる。問題は空所補充問題とする。空所位置は種文の最左の動詞とする。選択肢候補としては、問題位置の単語と同じ意味コードを持つ単語をシソーラス１２４から選択する。妥当性判定では、選択肢候補の前後の内容語までをキーにしてウェブで文書頻度（妥当性判定用データ検索部９２で検索できた単語列を含む文書の個数）を求め、これが０のものを選択肢とする。
【００８２】
種文としては、形態素数が６未満、または２１以上の文を除いた。また、選択肢候補から頻度９未満の単語を除いた。既出の問題で選択肢として採用された単語列は、別の問題では選択肢候補から除いた。妥当性判定用データ検索部９２としては、ＧＯＯＧＬＥ（登録商標）を用いた。
【００８３】
こうして作成した問題を、ＴＯＥＩＣスコアが既知の受験者に解かせ、項目反応理論（大友賢二著、「項目応答理論入門」、大修館書店、１９９６年等の教科書を参照されたい。）によって受験者の英語能力（θ）を推定した。受験者のＴＯＥＩＣスコアを横軸に、受験者の推定英語能力θを縦軸にして、解答結果を示したのが図１２のグラフである。図１２に示すように、両者の相関は８２％と高かった。このことから、上記した実施の形態に係る多肢選択言語試験問題作成システム６０によって自動作成した多肢選択問題／空所補充問題が受験者の英語能力を計測するのに有効であることが検証できた。
【００８４】
なお、本実験では、パーソナルコンピュータ１台で、１時間ほどの間に２０、０００問の多肢選択言語試験問題を作成した。従来、英語の検定試験の運営機関では、問題作成および整備に数年の時間をかけている。しかもそうした機関で準備された問題数は４、０００問程度である。したがって、本実施の形態に係る多肢選択言語試験問題作成システム６０が問題作成の上で非常に有効であることが分かる。
【００８５】
［第２の実施の形態］
第１の実施の形態では、種文をソースとしてモノリンガルのコーパスを用いた。しかし、本発明はモノリンガルのコーパスを用いたものに限定されない。例えば、この第２の実施の形態のように、対訳を集めたバイリンガルコーパスを用いて多肢選択言語試験問題を作成することもできる。バイリンガルコーパスを種文のソースとして用いると、原文が制約として働く多肢選択言語試験問題を実現できる。
【００８６】
＜構成＞
図１３に、本実施の形態に係る多肢選択言語試験問題作成システム２２０の構成をブロック図形式で示す。図１３を参照して、多肢選択言語試験問題作成システム２２０は、第１の実施の形態で使用された条件選択部６２と同様の条件選択部２２２と、複数のバイリンガルコーパスを含むバイリンガルコーパス群２３４と、複数の機械翻訳装置２２６と、第１の実施の形態で使用した各種データ記憶部６８と同様、図６に示すような各種データを記憶するための各種データ記憶部２２８と、条件選択部２２２、複数の機械翻訳装置２２６、各種データ記憶部２２８、およびインターネット２３０に接続され、条件選択部２２２により指定された条件にしたがって多肢選択言語試験問題２３２を自動的に作成するための問題作成装置２２４とを含む。
【００８７】
各種データ記憶部２２８は図４に示す各種データ記憶部６８と同様のデータを記憶している。したがってその構成についてはここでは説明は繰返さない。
【００８８】
複数の機械翻訳装置２２６は、本実施の形態では互いに異なる方式の機械翻訳装置からなっている。機械翻訳装置２２６は、後述するように誤り選択肢となる文を作成するために使用される。
【００８９】
問題作成装置２２４は、条件選択部２２２を用いてユーザが与える指示にしたがい、バイリンガルコーパス群２３４から一つのバイリンガルコーパスを選択するためのコーパス選択部２４０と、コーパス選択部２４０により選択されたバイリンガルコーパスを記憶するためのバイリンガルコーパス記憶部２４２を含む。このバイリンガルコーパスとしては、一般的には受験者の母語の文と、試験の対象となる言語の文との対訳文を多数含むものを選択する。例えば日本人に英語の試験を課す場合であれば、バイリンガルコーパスとして日本語と英語の対訳を多数含むものを用いる。本実施の形態では、日本語と英語とのバイリンガルコーパスを用いるものとする。この場合、複数の機械翻訳装置２２６は、いずれも日本語から英語への翻訳を行なうものを用いる。
【００９０】
問題作成装置２２４はさらに、バイリンガルコーパス記憶部２４２に記憶されたバイリンガルコーパスから、問題を作成するための種文を含む対訳を選択するための種文選択部２４４と、種文選択部２４４により選択された対訳のうちの英語の文について、空所補充問題における空所、誤り検出問題における選択肢位置等を選択するための問題位置選択部２４６とを含む。なお、後述するように、本実施の形態では、原文である日本語を提示してそれに対する複数の訳文から正しいものを選ぶ、という問題形式も可能である。そうした問題を作成する場合には、問題位置選択部２４６は英語の文全体をまとめて問題位置とする。
【００９１】
問題作成装置２２４はさらに、種文を含む対訳を受け、条件選択部２２２を用いてユーザにより指定された問題形式にしたがって選択肢候補を作成するための選択肢候補生成処理部２４８と、選択肢候補生成処理部２４８により生成された選択肢候補についてインターネット２３０を検索した結果に基づいて妥当性を判定し、問題として適切なもののみを残し、不適切なものを削除するための妥当性判定部２５０と、妥当性判定部２５０からの要求に応じてインターネット２３０を検索し、結果を妥当性判定部２５０に返すための妥当性判定用データ検索部２５２とを含む。
【００９２】
選択肢候補生成処理部２４８が行なう選択肢候補生成処理は、作成すべき多肢選択言語試験問題の形式によって異なる。図１４に、本実施の形態に係る問題作成装置２２４によって作成可能な多肢選択言語試験問題の例を示す。図１４を参照して、問題作成装置２２４により作成可能な問題は、問題２７０のように日本語の原文を与えて対応の英語文の空所に、ある単語を適切に活用したものを選択肢から選ぶ問題、問題２７２のように日本語の原文を与えてそれに対応する適切な英語の訳文を４つの選択肢から選択する問題、問題２７４のように日本語の原文を与え、対応する英語の訳文の空所に補充すべき適切な単語を選択する問題、問題２７６のように日本語の複合語を与え、それに対する正しい訳語を選択肢から選ぶ問題、等がある。空所補充問題の場合の作成方法は基本的に第１の実施の形態と同様である。問題２７２の場合には、前述した複数の機械翻訳装置２２６に原文を与えることにより生成される英文を誤答として準備することができる。問題２７６の場合には、日本語の複合語の要素単語の各々を各種データ記憶部２２８内の辞書を使って翻訳し、それら訳語を組合せて誤答を生成できる。
【００９３】
これらいずれの場合にも、種文選択部２４４が選ぶ種文に日本語の文が含まれているため、図１４に示すように問題文に日本語文を添えることが可能になる。この場合、例えば空所補充問題では、受験者は、英語だけでなく日本語も制約条件として考慮し解答する。したがって、種文が短くても解答することが容易になり、短い文でも種文として採用できるという効果がある。
【００９４】
再び図１３を参照して、問題作成装置２２４はさらに、妥当性判定部２５０によって問題として適切と判定されたものを問題形式にあわせて整形するための整形部２５４と、整形部２５４により整形された問題に、インターネット２３０から検索された用例、各種データ記憶部２２８に記憶されている語義、用法等の情報を付与するための関連情報付与処理部２５６と、関連情報付与処理部２５６により関連情報が付された問題を多肢選択言語試験問題２３２として外部の記憶装置に書込むための出力部２５８と、出力部２５８により出力される問題中の選択肢を記憶するための既出選択肢記憶部２６０とを含む。
【００９５】
＜動作＞
多肢選択言語試験問題作成システム２２０は以下のように動作する。空所補充問題については、多肢選択言語試験問題作成システム２２０の動作は第１の実施の形態に係る多肢選択言語試験問題作成システム６０と同様の動作を行なう。異なるのは、選択する種文が日本語の文と英語の文との対訳からなること、短い文でも種文として使用できること、問題文に日本語の文を制約条件として追加すること、等である。従って以下では、図１４に示す問題２７２を作成するときの多肢選択言語試験問題作成システム２２０の動作について説明する。
【００９６】
条件選択部２２２によって、問題２７２のような多肢選択言語試験問題を作成することが指定されたものとする。予めバイリンガルコーパス記憶部２４２には、ユーザの指示にしたがいコーパス選択部２４０がバイリンガルコーパス群２３４から選択したコーパスが記憶されているものとする。以下の説明では、このコーパスは日本語と英語のバイリンガルコーパスであるものとする。
【００９７】
種文選択部２４４は、バイリンガルコーパス記憶部２４２に記憶されたコーパスの中から種文となる対訳を一組選択する。この選択の際、種文の長さとしては、日本語の文と英語の文との双方について考慮する。ただし、選ばれる種文は、第１の実施の形態の場合より短くてもよい。
【００９８】
問題位置選択部２４６は、問題２７２のように複数の文のうちから適切な文を選択する問題の場合、種文全体を問題位置として選択し選択肢候補生成処理部２４８に与える。
【００９９】
選択肢候補生成処理部２４８は、与えられた種文の対訳のうち、日本語の文を機械翻訳装置２２６に与え、機械翻訳させる。例えば、種文が「好きなデザートはアイスクリームです。」と「My favorite dessert is ice cream.」という文との対訳である場合を考える。選択肢候補生成処理部２４８は、この日本語の文「好きなデザートはアイスクリームです。」を複数の機械翻訳装置２２６の各々に与え、その結果を受取る。選択肢候補生成処理部２４８は、受取った機械翻訳結果と、種文の対訳とを妥当性判定部２５０に与える。
【０１００】
妥当性判定部２５０は、機械翻訳結果の各々を選択肢候補とし、妥当性判定用データ検索部２５２を用いたインターネットの検索を行ない、第１の実施の形態で行なったのと同様に、非文か否かの判定を行なう。非文でない候補は捨て、非文となる候補のみ残す。非文となる候補の数が２以下であれば、選択肢の数が不足する。したがって選択肢候補生成処理部２４８は、処理中の種文に関する問題作成を中止し、種文選択部２４４に対して次の種文選択を指示する。非文となる候補の数が３以上の場合、選択肢候補生成処理部２４８は、そのうち３つの文のみ選択して、種文の対訳とともに整形部２５４に与える。妥当性判定部２５０はこのとき、種文選択部２４４に対して次の種文の選択を指示する。これに応答して、種文選択部２４４は次の種文を選択し、次の問題の作成が開始される。
【０１０１】
妥当性判定部２５０から選択肢候補と種文の対訳とを受取った整形部２５４は、図１４に示す問題２７２のような形式に問題を整形する。この際、整形部２５４は、種文のうちの英語文と選択肢候補とをマージし、乱数にしたがってａ）、ｂ）、ｃ）、ｄ）のいずれかに配置する。
【０１０２】
関連情報付与処理部２５６は、このように整形された問題に対し、インターネット２３０から検索した用例、各種データ記憶部２２８に記憶されている語義、同義語、反義語、関連単語等の情報を付与し出力部２５８に与える。
【０１０３】
出力部２５８は、この問題を多肢選択言語試験問題２３２として外部記憶装置に出力する。出力部２５８はまた、出力する問題文中の単語を既出選択肢記憶部２６０に格納する。
【０１０４】
以上の処理を繰返し、条件選択部２２２を用いてユーザが指定しただけの数の問題が作成できたら処理を終了する。
【０１０５】
以上のようにこの実施の形態の多肢選択言語試験問題作成システム２２０によれば、バイリンガルコーパスを用いるため、コーパス中の原文を制約として用いる問題を作成することができる。そのため、受験者は問題文が短くても答えを選択することができるようになる。その結果、コーパスをより有効に利用して、多くの種類の多肢選択言語試験問題を作成することが可能になる。
【０１０６】
また、上記第１の実施の形態、第２の実施の形態のいずれにおいても、様々な属性のコーパスを準備してそこから種文を選択することにより、試験の対象のドメイン（旅行会話、ビジネス会話、ニュース等）、対象となる受験者のレベル（中学、高校、大学等教育機関の別、または各種検定のランク等）に容易に対応することができる。例えば、特定の教科書の特定単元に出現する文（およびその訳文）を含むコーパスを準備することにより、その教科書が想定している学習者（例えば中学１年、高校３年、ビジネス英語受講者等）の学習レベルに適した多肢選択言語試験問題を容易に、かつ短時間のうちに作成することができる。
【０１０７】
さらに、コーパス、辞書、シソーラス等を言語ごとに準備することで、複数の言語についても容易に多肢選択言語試験問題を作成できる。また、対訳辞書の言語の組合せを様々にかえることにより、受験者の母語と、試験の対象となる言語との多様な組合せを容易に実現できる。
【０１０８】
また、インターネット、辞書、シソーラス等を検索することにより、誤答となる選択肢には、適切な用例、語義、同義語、類義語、反義語等を関連情報として付加することができるので、単に問題を解くだけのための問題ではなく、教育効果をあげることが期待できる問題を作成できる。
【０１０９】
なお、上記した実施の形態では、たとえば携帯電話のように狭い画面を使用して多肢選択言語試験問題を提供する場合を想定し、そのために問題文が長くなることを避けている。しかし、この制限は本質的なものではなく、たとえば問題文を提示するスペースに特に制限がない場合等には、問題文の長さを制限する必要はない。
【０１１０】
また、上記した実施の形態では、選択肢候補の妥当性を検査するに際してインターネット上のウェブページを検索し、その結果を用いている。ウェブページは極めて大規模なコーパスと考えることができるので、そこにおける、ある単語列からなる言語表現の出現頻度は、当該言語表現の妥当性を近似できると考えられる。つまり、頻度が大きければその言語表現が極めてよく使用されることの現れであり、頻度が非常に低いかまたはゼロであれば、それはその言語表現が非文法的であるか、不自然な表現であることが期待できる。したがって、上記したようにインターネットを用いることで妥当性検査を精度良く行なうことが期待できる。
【０１１１】
もっとも、文法的であるにもかかわらず新規な表現はどのウェブページにものっていない可能性もあるし、正しい表現が全ていずれかのウェブページ上にあるという保証はない。したがって上記した妥当性検査はあくまで近似的なものと理解されるべきである。したがって、正しい文からなる大規模なコーパスを、ウェブの代わりに使用することもできる。
【０１１２】
［コンピュータによる実現］
なお、上記した第１の実施の形態に係る問題作成装置６４、および第２の実施の形態に係る問題作成装置２２４はいずれも、コンピュータシステムと、当該コンピュータシステムにより実行されるコンピュータプログラムと、当該コンピュータシステム内の記憶装置または外部記憶装置に格納されるデータとにより実現できる。図１５はこのコンピュータシステム３３０の外観を示し、図１６はコンピュータシステム３３０の内部構成を示す。
【０１１３】
図１５を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、いずれもコンピュータ３４０に接続されるキーボード３４６、マウス３４８、およびモニタ３４２とを含む。
【０１１４】
図１６を参照して、コンピュータ３４０は、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、および作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータシステム３３０はさらに、プリンタ３４４を含んでいる。
【０１１５】
ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【０１１６】
コンピュータシステム３３０に上記した問題作成装置６４または問題作成装置２２４としての動作を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。または、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、またはネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
【０１１７】
このプログラムは、コンピュータ３４０に上記した問題作成装置６４または問題作成装置２２４としての動作を行なわせる複数の命令を含む。このために必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）またはサードパーティのプログラム、もしくはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態のシステムおよび方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記した問題作成装置６４または２２４としての動作を実現するための命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰り返さない。
【０１１８】
なお、上記した実施の形態の説明では、例えば図７に示すように、作成する対象となる選択肢問題の種類に応じて、プログラムの主要部分を全く別のものとしている。しかし本発明はそのような実施の形態に限定されるわけではなく、共通の処理を実行する部分は同一のプログラムコードが実行されるようにしてもよい。また、上記説明では、制御構造の説明として便宜的にフローチャートを用いたが、実際のプログラムがこのようなフローチャートにより表された制御構造を持っているとは限らない。例えばオブジェクト指向プログラムのように、個々のオブジェクトが別々に動作し、全体として上に示した実施の形態の装置の機能を実現するものであってもかまわない。
【０１１９】
さらに、上記実施の形態では、コーパス、条件選択部、問題作成装置の各部、および多肢選択言語試験問題を記憶する記憶装置がすべて同一の場所にあるものとして説明した。しかし本発明はそのような実施の形態に限定されるわけではない。例えば問題作成装置がインターネットに接続されたあるコンピュータにより実現され、条件選択部が無線電話網およびインターネットを通じて当該コンピュータに接続可能な携帯電話のような情報端末装置で実現されてもよい。また、多肢選択言語試験問題を蓄積せず、条件選択部を介して問題の作成要求があるごとに、問題作成装置によって多肢選択言語試験問題を作成し、要求の送信元に返信するような構成を採ってもよい。
【０１２０】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１２１】
【図１】空所補充問題の例を示す図である。
【図２】問題作成の途中で得られる問題と解の候補とから生成される文群を模式的に示す図である。
【図３】誤り検出問題の例を示す図である。
【図４】第１の実施の形態に係る多肢選択言語試験問題作成システム６０のブロック図である。
【図５】コーパス記憶部８２に記憶されるコーパス１１０の構成の一例を示す図である。
【図６】各種データ記憶部６８に記憶される各種データの構成の一例を示す図である。
【図７】第１の実施の形態に係る多肢選択言語試験問題作成システム６０を実現するコンピュータプログラムの制御構造を示すフローチャートである。
【図８】空所補充問題を作成するコンピュータプログラムの制御構造を示すフローチャートである。
【図９】種文選択処理のフローチャートである。
【図１０】選択肢候補作成処理のフローチャートである。
【図１１】誤り検出問題を作成するコンピュータプログラムの制御構造を示すフローチャートである。
【図１２】実験により得られた問題を受験者に解かせて得た受験者の英語能力（θ）と、受験者のＴＯＥＩＣスコアとの相関を示すグラフである。
【図１３】本発明の第２の実施の形態に係る多肢選択言語試験問題作成システム２２０のブロック図である。
【図１４】第２の実施の形態において作成可能な多肢選択言語試験問題の種々の形式を模式的に示す図である。
【図１５】コンピュータシステムの外観図である。
【図１６】図１５に示すコンピュータのブロック図である。
【符号の説明】
【０１２２】
６０，２２０ 多肢選択言語試験問題作成システム、６２，２２２ 条件選択部、６４，２２４ 問題作成装置、６６ コーパス群、６８，２２８ 各種データ記憶部、７０，２３０ インターネット、８０ コーパス選択部、８２ コーパス記憶部、８４，２４４ 種文選択部、８６，２４６ 問題位置選択部、８８，２４８ 選択肢候補生成処理部、９０，２５０ 妥当性判定部、９２，２５２ 妥当性判定用データ検索部、９４，２５４ 整形部、９６，２５６ 関連情報付与処理部、９８，２５８ 出力部、１００，２６０ 既出選択肢記憶部、２４２ バイリンガルコーパス記憶部
【技術分野】
【０００１】
この発明は試験問題を自動的に作成するための装置に関し、特に、多肢選択式の言語試験問題を自動的に作成するための装置に関する。
【背景技術】
【０００２】
語学教育用試験には、いわゆる記述式問題と多肢選択式問題とがある。語学教育用試験は、学習者の学習習熟度を測定する上で欠くことができないものであり、そのために語学教師は試験問題作成に多大な時間を割いている。したがって、問題作成を容易にする方策が求められている。
【０００３】
記述式試験問題と多肢選択試験問題とを比較すると、両者には以下のような相違がある。まず記述式試験問題については、問題を作成することは比較的容易である。しかし、記述式試験の場合、問題に対する解答の入力および採点が難しいという問題がある。特に採点は採点者の主観によってかなり異なってくるという問題がある。また記述式試験の場合には、採点を機械化することが非常に難しいという問題もある。
【０００４】
これと比較して多肢選択言語試験問題の場合、解答入力が容易で、採点も容易であるという長所を備えている。さらに、評価者による採点の揺れがない、という意味で客観的であるという長所もある。そのため、大量の受験者がある場合や、コンピュータベースの試験（ＣＢＴ）では多肢選択式試験が広く用いられる。また、「いつでもどこでも学習」という目標を標榜するいわゆるｅラーニングでは、携帯電話またはＰＤＡ（Portable Digital Assistant）等のモバイル機器特有の問題、例えば画面が小さい、入力装置が貧弱である、等という制約から考えて、多肢選択言語試験問題が重要な役割を担うと考えられる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、多肢選択式試験の場合、問題を作成する手間が記述式試験と比較してかなり大きいという問題がある。特に、学習対象のドメイン（旅行会話、ビジネス会話、ニュース等）に合致し、かつ被験者の到達目標に合致した問題を作成することは困難だという課題がある。学習対象のドメインにおいて長年の経験または蓄積を持たない教育機関の場合、所望のドメインの多肢選択言語試験問題を、所定の到達レベルに合致させて作成することは非常に困難である。そうした問題を解決しようとすれば、多大な人員を動員することが必要になり、試験問題作成のコストが高くなる要因となっている。何らかの形で多肢選択言語試験問題を自動的に作成できるようになれば、そうした問題が解決され、好ましい。
【０００６】
それゆえに本発明の目的は、多肢選択言語試験問題を自動的に作成することができる装置を提供することである。
【０００７】
本発明の他の目的は、多肢選択言語試験問題であって、所望のドメインの問題を自動的に作成することができる装置を提供することである。
【０００８】
本発明のさらに他の目的は、多肢選択言語試験問題であって、所望のドメインの所望の到達レベル問題を自動的に作成することができる装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の局面に係る多肢選択言語試験問題自動作成装置は、多肢選択言語試験問題を自動的に作成するための、多肢選択言語試験問題自動作成装置であって、コンピュータ読取可能なコーパスを記憶するためのコーパス記憶手段と、選択肢作成のための言語情報をコンピュータ読取可能な形式で記憶するための言語情報記憶手段と、コーパス記憶手段に記憶されたコーパスから、予め定める選択方式にしたがって多肢選択言語試験問題の元となる文を選択するための文選択手段と、文選択手段により選択された文のうち、所定条件を充足する構成要素を決定するための構成要素決定手段と、言語情報記憶手段に記憶された言語情報に基づいて、構成要素決定手段により決定された構成要素に対する置換候補を作成するための置換候補作成手段と、選択された文において、決定された構成要素を置換候補で置換することにより得られる文の妥当性を判定するための妥当性判定手段と、妥当性判定手段により文が妥当でないと判定された置換候補と、元となる文とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための多肢選択言語試験問題作成手段とを含む。
【００１０】
コーパス記憶手段から文が選択され、その中の所定条件を充足する構成要素に対する置換候補が作成される。当該構成要素を置換候補で置換した後の文の妥当性を妥当性判定手段で判定し、文が妥当でないと判定された置換候補と、最初に選択された元となる文とを所定の形態に組合わせることで多肢選択言語試験問題が自動的に作成される。コーパスを変えれば所望のドメインまたはレベルの多肢選択言語試験問題を自動的に作成できる。さらに、置換候補のうち、置換によって得られる文が妥当でないものだけを残すことで、最初に選ばれた文との組合せにより、適切な多肢選択言語試験問題を作成できる。問題文および選択肢集合を人間が考えたり、問題としての正しさを検証したりする必要がなく、短い時間に大量の多肢選択言語試験問題を作成できる。
【００１１】
好ましくは、置換候補作成手段は、言語情報記憶手段に記憶された言語情報に基づいて、決定された構成要素に対する複数個の置換候補を作成するための手段を含み、多肢選択言語試験問題作成手段は、選択された文のうち、決定された構成要素を空所で置換した問題文を作成するための手段と、複数個の置換候補のうち、妥当性判定手段で文が妥当でないと判定された予め定める所定個数の置換候補と、決定された構成要素とからなる選択肢集合を作成するための選択肢作成手段と、問題文と選択肢集合とを所定の問題形式に整形するための整形手段とを含む。
【００１２】
さらに好ましくは、多肢選択言語試験問題作成手段は、選択された文のうち、決定された構成要素を、妥当性判定手段により文が妥当でないと判定された置換候補で置換して問題文を作成するための手段と、問題文のうち、置換候補と、置換候補以外の所定個数の単語または単語群とを選択肢候補として表示するように問題文を整形するための整形手段とを含む。
【００１３】
より好ましくは、置換候補作成手段は、言語情報記憶手段に記憶された言語情報に基づいて、所与の条件に合致するように決定された構成要素に対する置換候補を作成するための条件付置換候補作成手段を含む。
【００１４】
好ましくは、多肢選択言語試験問題自動作成装置はさらに、所与の条件に関するユーザの入力を受け、条件付置換候補作成手段に与えるための手段を含む。
【００１５】
多肢選択言語試験問題自動作成装置は、さらに、複数個のコーパスからなるコーパス群を記憶するためのコンピュータ読取可能なコーパス群記憶手段から、ユーザによって指定されたコーパスを読出してコーパス記憶手段に格納するためのコーパス読出手段を含んでもよい。
【００１６】
好ましくは、コーパスは第１言語の文と第２言語の文との対訳を複数個含むバイリンガルコーパスであり、文選択手段は、コーパス記憶手段に記憶されたバイリンガルコーパスから、選択方式にしたがって多肢選択言語試験問題の元となる対訳を選択するための対訳選択手段を含む。
【００１７】
さらに好ましくは、構成要素決定手段は、選択された対訳の第２言語の文のうち、所定条件を充足する構成要素を決定するための手段を含み、置換候補作成手段は、言語情報記憶手段に記憶された言語情報に基づいて、決定された構成要素に対する複数個の第２言語の置換候補を作成するための手段を含み、多肢選択言語試験問題作成手段は、選択された対訳の第１言語の文と、選択された対訳の第２言語の文のうち、決定された構成要素を空所で置換した文とを含む問題文を作成するための手段と、複数個の置換候補のうち、妥当性判定手段により文が妥当でないと判定された予め定める所定個数の第２言語の置換候補と、決定された構成要素とからなる選択肢集合を作成するための選択肢作成手段と、問題文と選択肢集合とを所定の問題形式に整形するための整形手段とを含む。
【００１８】
多肢選択言語試験問題作成手段は、選択された対訳の第１言語の文と、選択された対訳の第２言語の文のうち、決定された構成要素を、妥当性判定手段により文が妥当でないと判定された置換候補で置換して得られた文とを含む問題文を作成するための手段と、問題文の第２言語の文のうち、置換候補と、置換候補以外の所定個数の単語または単語群とを選択肢候補として表示するように問題文を整形するための整形手段とを含んでもよい。
【００１９】
好ましくは、構成要素決定手段は、選択された対訳の第２言語の文全体を所定条件を充足する構成要素として決定するための手段を含み、置換候補作成手段は、言語情報記憶手段に記憶された言語情報に基づいて、選択された対訳の第１言語の文を機械翻訳するための複数の機械翻訳手段を含み、多肢選択言語試験問題作成手段は、選択された対訳の第２言語の文、および複数の機械翻訳手段による翻訳結果のうち、妥当性判定手段により妥当でないと判定された文からなる選択肢集合を作成するための手段と、選択された対訳の第１言語の文と、選択肢集合とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための手段とを含む。
【００２０】
さらに好ましくは、文選択手段、構成要素決定手段、置換候補作成手段、妥当性判定手段、および多肢選択言語試験問題作成手段を制御して、所定個数の多肢選択言語試験問題を作成させるための制御手段をさらに含む。
【００２１】
本発明の第２の局面に係る多肢選択言語試験問題自動作成装置は、多肢選択言語試験問題を自動的に作成するための、多肢選択言語試験問題自動作成装置であって、第１言語の単語と第２言語の単語との対訳を複数個記憶するためのコンピュータ読取可能な辞書記憶手段と、選択肢作成のための言語情報をコンピュータ読取可能な形式で記憶する言語情報記憶手段と、辞書記憶手段から、予め定める選択方式にしたがって多肢選択言語試験問題の元となる単語の対訳を選択するための対訳選択手段と、言語情報記憶手段に記憶された言語情報に基づいて、選択された対訳のうち第２言語の単語に対する第２言語の置換候補を作成するための置換候補作成手段と、選択された対訳の第１言語の単語に対する対訳として、置換候補作成手段により得られる第２言語の置換候補の妥当性を判定するための妥当性判定手段と、妥当性判定手段により妥当でないと判定された置換候補と、元となる単語の対訳中の第２言語の単語とから選択肢集合を作成するための選択肢作成手段と、選択された対訳の第１言語の単語と、選択肢作成手段により作成された選択肢集合とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための多肢選択言語試験問題作成手段とを含む。
【００２２】
本発明の第３の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを上記したいずれかの多肢選択言語試験問題自動作成装置として動作させる。
【発明を実施するための最良の形態】
【００２３】
［多肢選択言語試験問題の概要］
多肢選択言語試験問題には、図１に示す空所補充問題、図３に示す誤り検出問題、図示しない正解文または誤り文選択問題等がある。以下に述べる実施の形態に係る多肢選択言語試験問題の作成装置は、少なくとも空所補充問題と誤り検出問題との双方を含む複数種類の多肢選択言語試験問題を作成することができる。
【００２４】
まず、図１に示す空所補充問題について説明する。図１を参照して、空所補充問題では、受験者は正しい文となるように選択肢２６から選択して問題文２２中の空所２４を補充することが要求される。
【００２５】
本実施の形態に係る装置では、こうした空所補充問題では、正解は文をなし、不正解は文をなさないことを利用する。また、正解が誤りなく作成できるように、模範的な文を集めたコーパスを準備し、当該コーパスに含まれる文を種として、多肢選択言語試験問題を作成する。
【００２６】
より具体的には、模範的な文を集めたコーパスに基づいて、問題と選択肢（正解と不正解との候補）を生成する。正解はコーパスから抽出できる。問題と不正解の選択肢候補との組合せの各々について、文として妥当か否かを判定する。ここでは不正解の選択肢候補を生成するので、上記判定で文として妥当と判定されたものは、選択肢から除外する。以下の実施の形態では所定の方法で文の妥当性を計算し、妥当性が所定のしきい値を下回るもののみを選択肢として残す。
【００２７】
図２に、例として、問題と解の候補とから生成される文群３０を示す。図２を参照して、この文群は全部で５つの文４０、４２、４４、４６および４８を含む。下線を引いた部分が解候補であり、その中で太字で示したものが正解である。図２に示す例では、１番目の文４０と５番目の文４８との双方とも正解となる。一般的に多肢選択の場合、選択肢の個数と正解の個数は一定である。本明細書では、特に断らない限り、前者を４、後者を１とする。したがってこの場合には１番目の選択肢４０または５番目の選択肢４８を削除する。
【００２８】
誤り検出問題も、空所補充問題とほぼ同様に実現できる。図３に誤り検出問題の例５０を示す。図３を参照して、この問題は、文５２の４つの選択肢ａ）〜ｄ）の中から誤り部分を選択する、というものである。この場合には、最初に文を決め、選択肢として単語を決め、その中の一つに関して単語の置換を行なって、文の妥当性検査で非文になることを確認すればよい。なお、最初に置換単語の位置を決めてから、他の選択肢を決めるようにしても同じことである。
【００２９】
［第１の実施の形態］
＜構成＞
以下、こうした手順を実現するための一実施の形態に係る装置の構成および動作について説明する。なお、以下の装置は本発明の一実施の形態に過ぎず、本発明が以下の実施の形態に限定されることはない。
【００３０】
図４に、本実施の形態に係る多肢選択言語試験問題作成システム６０をブロック図形式で示す。図４を参照して、この多肢選択言語試験問題作成システム６０は、問題作成の条件を設定するためにユーザが使用する条件選択部６２と、種々のドメインに応じた問題の種文となる正しい文をそれぞれ含む、複数のコーパスからなるコーパス群６６と、条件選択部６２により設定された条件にしたがい、指定されたドメインにふさわしいコーパスをコーパス群６６から選択し、上記した空所補充問題と誤り検出問題とのいずれかからなる多肢選択言語試験問題７４を自動的に作成するための問題作成装置６４と、問題作成装置６４が問題を作成する際に参照する種々の言語情報データを記憶する各種データ記憶部６８とを含む。問題作成装置６４はまた、いわゆるインターネット７０を用いて、多肢選択言語試験問題の作成中に文の妥当性をチェックする機能を持つ。
【００３１】
多肢選択言語試験問題作成システム６０はいわゆるコンピュータシステムで実現されることが想定されている。条件選択部６２は、図示しないキーボードと、マウス等のポインティングデバイスと、条件設定の画面を用いた入出力を行なうためのソフトウェアおよび表示装置等からなる。本実施の形態においては、条件選択部６２は、以下のような条件を指定する。
【００３２】
（１）問題作成の対象となるドメイン
（２）作成する多肢選択言語試験問題の種別（空所補充問題または誤り検出問題）
（３）作成する問題の個数
（４）問題作成時の種文の選択条件
（５）空所補充問題の際の空所の位置の決定条件
（６）空所補充問題の選択肢作成の際の条件
（７）候補の妥当性の検証方式
問題作成装置６４は、後述するようにコンピュータハードウェアと、当該コンピュータ上で実行されるコンピュータプログラムとにより実現される。コーパス群６６および各種データ記憶部６８は、本実施の形態では、問題作成装置６４を実現するものと同じコンピュータ内に設けられた記憶装置により実現される。
【００３３】
問題作成装置６４は、条件選択部６２を用いてユーザにより指定されたドメインのコーパスをコーパス群６６から選択するためのコーパス選択部８０と、コーパス選択部８０により選択されたコーパスを記憶するためのコーパス記憶部８２と、条件選択部６２を用いてユーザにより指定された条件にしたがって、コーパス記憶部８２に格納されているコーパスの中から問題の元となる種文を選択するための種文選択部８４とを含む。
【００３４】
問題作成装置６４はさらに、種文選択部８４により選択された種文の中で、条件選択部６２を用いてユーザにより指定された問題の種別に応じ、空所補充問題の作成の際には指定された条件にしたがった位置の単語を空所として選択し、誤り検出問題の作成の際には、選択肢となる単語位置を選択肢の数だけ選択し、問題の種別を示す情報および種文とともに出力するための問題位置選択部８６と、問題位置選択部８６から与えられた種文に対し、問題の種別を示す情報と問題位置とにしたがい、各種データ記憶部６８に記憶された各種データを参照しながら選択肢を作成することにより、多肢選択言語試験の選択肢候補を生成するための選択肢候補生成処理部８８と、選択肢候補生成処理部８８により作成された選択肢候補に関連する文の各々に対し、その妥当性を判定するために、インターネット７０を検索するための妥当性判定用データ検索部９２と、選択肢候補生成処理部８８から受取る選択肢候補に関連する文の各々に対し、妥当性判定用データ検索部９２を用いて妥当性判定用データを検索し、文として妥当性を判定するとともに、条件選択部６２から与えられる問題種別に応じ、問題自体の適切さをも判定するための妥当性判定部９０とを含む。
【００３５】
妥当性判定部９０は、選択肢候補の妥当性の判定の結果、問題が適切なものでないと判定された場合には、当該問題を破棄し、種文選択部８４に対して次の問題作成を指示する機能を持つ。
【００３６】
問題作成装置６４はさらに、妥当性判定部９０によって適切と判定された問題を、問題の種類に応じた適切なフォーマットに整形するための整形部９４と、整形部９４により整形された問題に対して、インターネット７０上のデータおよび各種データ記憶部６８に記憶されたデータの中から、問題に関連した情報（例文、定義、語義等）を付与するための関連情報付与処理部９６と、関連情報付与処理部９６から出力される、関連情報が付与されかつ整形された問題を多肢選択言語試験問題７４として記憶装置に書込む処理を行なうための出力部９８とを含む。
【００３７】
なお、多肢選択言語試験問題の場合には、異なる問題文中に同じ単語が出現することは望ましくない。そのため、問題作成装置６４は、出力部９８により出力された多肢選択言語試験問題中の選択肢を記憶するための既出選択肢記憶部１００を含み、選択肢候補生成処理部８８は、問題作成時に既出選択肢記憶部１００を参照して、既出の単語が後続の問題中に含まれないように、問題作成の際の単語の選択を行なう機能を持つ。
【００３８】
図５は、コーパス記憶部８２に記憶されたコーパス１１０の構成例を示す。図５を参照して、コーパス１１０は本実施の形態ではモノリンガルコーパスであって、複数個の例文１１６を含む。各例文１１６は、識別番号（ＩＤ）１１２と、本文１１４とを含む。コーパス群６６に含まれるコーパスは、全て同じフォーマットである必要はないが、問題作成装置６４の構成を簡単にするために、統一されたフォーマットであることが望ましい。
【００３９】
図６は、図４に示す各種データ記憶部６８の構成を示す。図６を参照して、各種データ記憶部６８は、選択肢を作成する際に使用する、ある単語に関連した誤りを誤りの種類にしたがって集めた複数のリストからなる誤りリスト１２０と、単語に関する辞書１２２と、同義語、反義語等を収録するとともに、単語の間の類似関係等を収録したシソーラス１２４と、所定の単語を、その頻度および重要度とともにリストした単語リスト１２６とを含む。
【００４０】
誤りリスト１２０は、綴りの似た語の集合を集めたリスト１３０と、ある単語と、その単語に対して綴りを誤った単語とからなる集合を集めたリスト１３２と、いわゆる和製英語を正しい英語単語（単語列）とともに集めたリスト１３４とを含む。
【００４１】
リスト１３０に含まれる単語の集合の例として、「ｍｏｓｓ，ｍｉｓｓ，ｍｅｓｓ」がある。リスト１３２に含まれる単語の集合の例としては、「ｆｌｉｇｈｔ，ｆｒｉｇｈｔ，ｆｌｉｔ，ｆｌｉｔｅ」等がある。リスト１３４に含まれる単語の集合の例としては、「ｎｉｇｈｔｅｒ（ナイター），ｎｉｇｈｔ ｇａｍｅ」がある。
【００４２】
後述するように、本実施の形態に係る多肢選択言語試験問題作成システム６０は、コンピュータハードウェアおよびその上で実行されるソフトウェアにより実現可能である。図７に、多肢選択言語試験問題作成システム６０を実現するためのソフトウェアを構成するプログラムのメイン処理の流れをフローチャート形式で示す。以下、図７を参照してこのプログラムの制御構造について説明する。
【００４３】
図７を参照して、このプログラムが起動されると、ステップ１４０で設定の読込みが行なわれる。この設定は、図４に示す条件選択部６２により設定され、記憶装置等に書き込まれていたものである。続いてステップ１４２で、読込んだ設定にしたがって、試験の種別を判定する。試験の種別が空所補充問題の場合にはステップ１４４に進む。試験の種別が誤り検出問題の場合にはステップ１４６に進む。以下同様に、選択された試験の種別にしたがい、適切なステップ１４４〜１４８の処理が実行される。
【００４４】
図８にステップ１４４で実行される空所補充問題の作成処理を行なうプログラムの制御構造をフローチャート形式で示す。図８を参照して、まずステップ１５０で作成中の問題番号を表す変数ｉに０を代入する。ステップ１５２で変数ｉに１を加算する。ステップ１５４で変数ｉの値が、作成する問題数として設定された値ＭＡＸを超えたか否かを判定する。変数ｉの値が値ＭＡＸを超えていれば処理を終了する。変数ｉの値が値ＭＡＸ以下であれば制御はステップ１５６に進む。
【００４５】
ステップ１５６では、図４に示すコーパス記憶部８２に記憶された文の中から所定の方法で種文を選択する。なお、図９を参照して後述するように、このステップで選択する種文については、長さに制限を設けてある。
【００４６】
続いてステップ１５８で、種文の中で空所とする位置を決定する。空所の位置も、全体の中からランダムに選択したり、品詞および単語の位置等を条件として選んだりすることができる。例えば、「最左の動詞（例えば「I lost the return ticket of my flight」の「lost」）」、「頻度の高い前置詞（例えば上記「of」）」、または「最右の限定詞（例えば上記「my」）」等を選択することができる。
【００４７】
さらにステップ１６０で、選択肢候補からなる選択肢集合を作成する。このステップでは、ステップ１５８で選択された空所位置に存在していた単語を「正解」として保存（記憶）した上で、誤りの選択肢候補を複数個だけ作成し、ｉ番目の問題に対する選択肢候補集合Ａiとする。本実施の形態では、作成される選択肢候補の最大個数はＭ個とし、各選択肢候補をＡi,mと表す（１≦ｍ≦Ｍ）。ステップ１６０での処理の詳細については図１０を参照して後述する。なお、後述するように、ステップ１６０の処理では、既出の問題に含まれる単語と同じ単語を選択肢候補とすることは不適当と考えられるので、そのような単語は選択肢候補としない。
【００４８】
この後、ステップ１６２で以下の繰返しを制御するための繰返制御変数ｍに０を代入する。ステップ１６４で変数ｍに１を可算する。続いてステップ１６６で変数ｍの値が値Ｍを超えたか否かが判定される。変数ｍの値が値Ｍを超えた場合、制御はステップ１７２に進む。それ以外の場合、制御はステップ１６８に進む。ステップ１７２以下の処理については後述する。
【００４９】
ステップ１６８では、選択肢候補Ａi,mを含む文が妥当な文かどうかを判定する。本実施の形態では、インターネット７０を利用して文の妥当性を判定する。具体的には、本実施の形態では、空所の前後の内容語までの単語列と選択肢とからなる単語列をインターネット７０の多数のウェブにおいて検索し、あれば選択肢候補Ａi,mを含む文が妥当な文だと判定する。ここでの目的は、誤りとして選択肢候補を見つけることであるから、選択肢候補Ａi,mを含む文が妥当な文だと判定された場合、ステップ１７０で選択肢候補の集合Ａiから選択肢候補Ａi,mを削除し、ステップ１６４に戻る。さもなければ選択肢候補Ａi,mを含む文は非文であって選択肢候補Ａi,mは選択肢として適当であるから選択肢候補集合Ａiに残し、何もせずステップ１６４に戻る。
【００５０】
ステップ１６６で変数ｍの値が値Ｍを上回ると、制御はステップ１７２に進む。ステップ１７２では、選択肢候補の集合Ａiに含まれる要素の数｜Ａi｜が２より大きいか否か（すなわち３以上か）を判定する。２より大きい場合にはステップ１７４に進むが、それ以外の場合には選択肢の数が不足し問題を構成できないので、この選択肢集合Ａiについては問題作成をやめることとし、ステップ１５６に戻って次の種文の選択からやり直す。
【００５１】
ステップ１７４では、選択肢集合Ａiに正解の選択肢を加え、ランダムな順番に配列してその内容を整形して、図１に示すような問題とする。ステップ１７６で、各選択肢についてウェブで検索した例文、辞書から読みだした語義等の関連情報をこの問題に付与する。さらにステップ１７８で、この問題を既出選択肢として図４に示す既出選択肢記憶部１００のような記憶装置に記憶する。この情報は、ステップ１６０での選択肢候補の作成処理で使用される。
【００５２】
さらに、ステップ１８０において、このようにして作成された問題を所定の記憶装置に出力する。この後制御はステップ１５２に戻り、次の問題の作成を開始する。
【００５３】
図９を参照して、図８のステップ１５６で行なわれる種文選択処理について説明する。まずステップ１８１で、種文候補をコーパスの中から選択する。この際、本実施の形態では、種文の選択方式は複数の方式の中からユーザが指定できるようになっている。例えば種文を全くランダムに選択したり、文の属性（長さ、頻度、読みやすさ等）に関する条件、文に含まれる文法事項または文の使われる場面、例えば動詞を含む文、感嘆文、特定の前置詞を含む文、等の条件等で絞った中からランダムに選択したり、上記した属性の値にしたがって所定の順番で選択したりすることができる。
【００５４】
ステップ１８２では、ステップ１８１で選択した種文候補の形態素長が所定のしきい値ＴＨ１より大きいか否かを判定する。このような判定をするのは、あまりにも短い文では情報が足りず、受験者が選択肢を選ぶのが難しくなり、試験が成立しない可能性があるためである。形態素長がしきい値ＴＨ１より大きければステップ１８４に進み、それ以外の場合には種文として不適当であるためステップ１８１に戻り、次の種文候補の選択を行なう。一方、ステップ１８４では、形態素長が別のしきい値ＴＨ２（ＴＨ２＞ＴＨ１）より小さいか否かを判定する。このような判定を行なうのは、問題文が長いと、場所をとり、例えば携帯電話等の狭い画面上に問題を表示するには不都合である可能性があるためである。形態素長がしきい値ＴＨ２より小さければこの種文候補を種文として種文選択の処理を終了する。さもなければステップ１８１に戻り、次の種文候補の選択から繰返す。
【００５５】
図１０に、図８のステップ１６０で実行される選択肢候補作成処理の詳細をフローチャート形式で示す。図１０を参照して、まずステップ１９０で、選択肢候補からなる集合Ａiを空集合φとし、繰返制御変数ｊに０を代入する。ステップ１９１で変数ｊに１を加算する。ステップ１９２で変数ｊの値が選択肢候補の最大数Ｍを超えたか否かを判定する。ｊがＭを超えた場合、この選択肢候補作成処理を終了する。ｊがＭ以下であればステップ１９３に進む。
【００５６】
ステップ１９３では、選択肢候補の単語を、図４に示す各種データ記憶部６８を参照して選択する。この場合、以下のような選択の仕方が可能である。
【００５７】
（１）問題位置の単語を置換しても文法を逸脱しないように、選択肢の単語の品詞、活用（過去形、単数現在等）を維持して別の単語に置換える。この場合、辞書１２２から単語をランダムに選択したり、シソーラス１２４から類義語または反義語を選択したり、単語リスト１２６から単語の頻度順、重要度順に単語を取出して置換したりできる。
【００５８】
（２）単語を置換することで文法を逸脱するように、当該位置の単語の語基を維持して、品詞、活用（過去形、単数現在等）を置換える。例えば辞書１２２を参照して単語の活用形を変化させたり、ある単語を、当該単語に対応する別品詞の単語に置換する。
【００５９】
（３）頻度の高い誤りを再現するように、当該位置の単語を含む誤り単語の集合を図６に示す誤りリスト１２０から取出し、その中の単語で置換する。例えば、図６に示すように，綴りの似た語、綴りの誤っている語、和製英語等で元の単語位置を置換する。
【００６０】
選択肢候補を選択した後、ステップ１９４において当該単語の頻度を各種データ記憶部６８を参照して調べ、その頻度が所定のしきい値ＴＨ３より小さいか否かを判定する。頻度があまりに低い単語の場合、受験者は、見慣れないという理由だけで選択肢の単語が不正解であると考えてしまう可能性があり、選択肢として不適当と考えられるためである。したがってステップ１９４において頻度がしきい値ＴＨ３より小さいと判定された場合、ステップ１９３に戻り、次の選択肢候補を選択する。さもなければステップ１９５に進む。
【００６１】
ステップ１９５では、選択肢候補が既に作成した問題に出現した単語と同じか否かについて、図４に示す既出選択肢記憶部１００に記憶された内容を参照して判定する。既出の単語は選択肢候補として妥当でないため、このような判定を行なう。したがって、選択肢候補が既出単語であればステップ１９３に戻り、次の選択肢候補について上記した処理を繰返す。既出単語でなければ、ステップ１９６に進み、この選択肢候補を選択肢候補集合Ａiに追加する。この後ステップ１９１に戻る。
【００６２】
以上が、例えば問題作成装置６４が空所補充問題を作成する場合に実行されるプログラムのフローチャートである。
【００６３】
一方、図７に示すステップ１４６で実行される誤り検出問題の作成処理も、同様のプログラムにより実現できる。図１１に、本実施の形態の問題作成装置６４において採用したプログラムの制御構造をフローチャート形式で示す。図１１において、図８と同じ処理には同じ参照番号を付す。したがってそれらについての詳細な説明は繰返さない。
【００６４】
図１１において、ステップ１５６で種文を選択した後、制御はステップ２００に進む。ステップ２００では、選択肢として種文の中の所定個数（デフォルトは４個であるが、ユーザによる指定が可能である。）の単語を決定し、そのうちの一つを誤り単語位置として選択する。
【００６５】
続いてステップ２０２で、選択された単語を別の単語で置換することにより、種文Ｂiを別の文Ｂi'に変換する。本実施の形態では、ここでの置換単語は、図６に示す誤りリスト１２０の各リストを用いて決定する。なお、ステップ２００で選択肢として決定された単語と、ステップ２０２で決定された置換単語とは、いずれもこれより前の問題（空所補充／誤り検出の別を問わない。）において既出の単語ではないものとする。またこの置換単語は、後に記載する実験では内容語に限定し、機能語は候補から外している。
【００６６】
ステップ２０４で、置換後の文Ｂi'が非文か否かを判定する。この判定は、図８のステプ１６８で行なう処理と同様の処理により実現できる。文Ｂi'が非文であれば、この文Ｂi'を誤り検出問題の問題とすることができる。
【００６７】
したがってステップ２０６で文Ｂi'を整形して図３に示すような問題とする。ステップ２０８で、ステップ２０４の判定においてインターネット７０等から取得した例文、辞書から取得した語義情報等を関連情報としてこの問題に付与する。ステップ２１０で、この問題を既出選択肢として図４の既出選択肢記憶部１００に記憶する。ステップ２１２でこの問題を出力する。この後、ステップ１５２に戻り、次の問題の作成を行なう。
【００６８】
こうして、誤り検出問題についても、自動的に作成することができる。これ以外にも多肢選択言語試験問題の形式はあるが、それらはいずれも上で説明したものと同様の考え方で実現できる。したがってここではそれら個々についてのプログラムの制御構造については説明しない。
【００６９】
＜動作＞
上に説明した多肢選択言語試験問題作成システム６０は以下のように動作する。図４を参照して、予め様々なドメインおよびレベルに対応したコーパス群６６が準備されているものとする。また、問題を作成するための誤りリスト１２０、辞書１２２、シソーラス１２４、および単語リスト１２６についても予め準備されているものとする。
【００７０】
ユーザは、条件選択部６２を使用して種々の設定を行なう。例えば問題の対象となるドメイン、多肢選択言語試験問題の種別、作成する問題の数、作成しようとする問題のレベル、等を指定する。
【００７１】
コーパス選択部８０は、ユーザによる指定に応答して、コーパス群６６の中から適切なドメインで適切なレベルのコーパスを選択し、コーパス記憶部８２に格納する。
【００７２】
種文選択部８４は、条件選択部６２により指定された条件にしたがって、コーパス記憶部８２に格納されたコーパス中から種文を選択し、指定された条件とともに問題位置選択部８６に与える。問題位置選択部８６は、例えば作成すべき問題が空所補充問題であれば、どの単語を空所とするかを決定する。作成すべき問題が誤り検出問題であれば、問題位置選択部８６は種文の中で選択肢となる単語位置を決定し、さらにどの単語を誤り単語で置換するかを決定する。なおこの順序は逆でもよい。
【００７３】
選択肢候補生成処理部８８は、問題位置選択部８６により問題位置が決定された種文を受け、各種データ記憶部６８を参照して、問題の種別に応じ選択肢候補を生成する。例えば問題が空所補充問題であれば、例えば図６に示すシソーラス１２４を参照し、問題位置の単語と同じ意味コードを持つ単語を選んで選択肢集合を作成する。
【００７４】
妥当性判定部９０は、こうして生成された選択肢候補が妥当か否かを判定する。空所補充問題であれば、選択肢集合に含まれる単語を空所に補充した文が、一つを除いて非文となるか否かを判定する。また誤り検出問題であれば、問題位置に誤り単語を挿入した結果得られた文が非文となるか否かを判定する。この際、妥当性判定部９０は、妥当性判定用データ検索部９２を用いてインターネット７０上のウェブを検索し、文の妥当性を判定する。
【００７５】
空所補充問題の場合、選択肢集合に含まれる単語を種文の空所に補充した文が、一つ（正解）を除いてすべて非文と判定されれば、妥当性判定部９０は選択肢候補を整形部９４に与える。誤り検出問題の場合、種文のうち問題位置に誤り単語を挿入して得られた文が非文であれば、妥当性判定部９０はこの問題を整形部９４に与える。それ以外の場合には、妥当性判定部９０は選択肢候補生成処理部８８から与えられた問題を破棄する。妥当性判定部９０は、問題を採用した場合も、そうでない場合も、種文選択部８４に再度問題の作成を開始することを指示する信号を与える。
【００７６】
整形部９４は、妥当性判定部９０から問題が与えられると、問題の種類に応じて適切な形に整形し関連情報付与処理部９６に与える。関連情報付与処理部９６は、インターネット７０から得られた例文、および各種データ記憶部６８から得られた単語の語義等の関連情報を選択肢に付与し、出力部９８に与える。出力部９８は、この問題を既出選択肢記憶部１００に書込んだ後，多肢選択言語試験問題７４として問題を出力する。
【００７７】
種文選択部８４は、妥当性判定部９０から次の問題の作成を指示する信号が与えられると、既に作成した問題数が条件選択部６２から指定された問題数に達したか否かを判定し、達した場合に処理を終了する。達していない場合には、種文選択部８４は次の種文をコーパス記憶部８２から選択し、問題位置選択部８６に与える。
【００７８】
以下、種文選択部８４、問題位置選択部８６、選択肢候補生成処理部８８、妥当性判定部９０、妥当性判定用データ検索部９２、整形部９４、関連情報付与処理部９６、出力部９８および既出選択肢記憶部１００により、指定された個数の問題が作成されるまで既に述べた動作が繰返される。
【００７９】
なお、上記した妥当性の判定では、空所の前後の内容語までの単語列と、選択肢とからなる単語列がウェブ上に存在するか否かを基準とした。しかし本発明はそのような実施の形態には限定されない。これ以外にも、ウェブにおいて選択肢候補Ａi,mを含む文を検索し、あれば妥当な文だと判定する方法、選択肢候補Ａi,mを含む文を構成する全てのＮグラム（たとえばトライグラム）がウェブ上で見つけられたら妥当な文だと判定する方法、ウェブから求めたＮグラム尤度を用いて選択肢候補Ａi,mを含む文尤度を計算し、所定のしきい値以上であれば妥当な文と判定する方法、等がある。なお最後に挙げた方法では、ウェブのＮグラムの頻度としては、通常の単語列の頻度ではなく、検索システムで検索できた単語列を含む文書の数、すなわち文書頻度ｄｆに置換える。バイグラムｗ１ｗ２の文書頻度をｄｆ（ｗ１ｗ２）、ユニグラムｗ１の文書頻度をｄｆ（ｗ１）、バイグラム文書尤度Ｐ（ｗ１ｗ２）はｄｆ（ｗ１ｗ２）／ｄｆ（ｗ１）とする。
【００８０】
＜実験＞
上記した実施の形態に係る多肢選択言語試験問題作成システム６０について、実験によりその有効性を検証した。実験では、コーパス群６６として旅行会話とビジネス会話という二つのドメインのコーパスを準備し、多肢選択言語試験問題作成システム６０により得られた問題を複数の受験者に解かせた結果と、各受験者のＴＯＥＩＣ（登録商標）スコアとが相関しているか否かを調べることで多肢選択言語試験問題作成システム６０の有効性を検証した。
【００８１】
実験では、以下のオプションを使用した。上記したいずれかのコーパスを選択し、種文を順に選択させる。問題は空所補充問題とする。空所位置は種文の最左の動詞とする。選択肢候補としては、問題位置の単語と同じ意味コードを持つ単語をシソーラス１２４から選択する。妥当性判定では、選択肢候補の前後の内容語までをキーにしてウェブで文書頻度（妥当性判定用データ検索部９２で検索できた単語列を含む文書の個数）を求め、これが０のものを選択肢とする。
【００８２】
種文としては、形態素数が６未満、または２１以上の文を除いた。また、選択肢候補から頻度９未満の単語を除いた。既出の問題で選択肢として採用された単語列は、別の問題では選択肢候補から除いた。妥当性判定用データ検索部９２としては、ＧＯＯＧＬＥ（登録商標）を用いた。
【００８３】
こうして作成した問題を、ＴＯＥＩＣスコアが既知の受験者に解かせ、項目反応理論（大友賢二著、「項目応答理論入門」、大修館書店、１９９６年等の教科書を参照されたい。）によって受験者の英語能力（θ）を推定した。受験者のＴＯＥＩＣスコアを横軸に、受験者の推定英語能力θを縦軸にして、解答結果を示したのが図１２のグラフである。図１２に示すように、両者の相関は８２％と高かった。このことから、上記した実施の形態に係る多肢選択言語試験問題作成システム６０によって自動作成した多肢選択問題／空所補充問題が受験者の英語能力を計測するのに有効であることが検証できた。
【００８４】
なお、本実験では、パーソナルコンピュータ１台で、１時間ほどの間に２０、０００問の多肢選択言語試験問題を作成した。従来、英語の検定試験の運営機関では、問題作成および整備に数年の時間をかけている。しかもそうした機関で準備された問題数は４、０００問程度である。したがって、本実施の形態に係る多肢選択言語試験問題作成システム６０が問題作成の上で非常に有効であることが分かる。
【００８５】
［第２の実施の形態］
第１の実施の形態では、種文をソースとしてモノリンガルのコーパスを用いた。しかし、本発明はモノリンガルのコーパスを用いたものに限定されない。例えば、この第２の実施の形態のように、対訳を集めたバイリンガルコーパスを用いて多肢選択言語試験問題を作成することもできる。バイリンガルコーパスを種文のソースとして用いると、原文が制約として働く多肢選択言語試験問題を実現できる。
【００８６】
＜構成＞
図１３に、本実施の形態に係る多肢選択言語試験問題作成システム２２０の構成をブロック図形式で示す。図１３を参照して、多肢選択言語試験問題作成システム２２０は、第１の実施の形態で使用された条件選択部６２と同様の条件選択部２２２と、複数のバイリンガルコーパスを含むバイリンガルコーパス群２３４と、複数の機械翻訳装置２２６と、第１の実施の形態で使用した各種データ記憶部６８と同様、図６に示すような各種データを記憶するための各種データ記憶部２２８と、条件選択部２２２、複数の機械翻訳装置２２６、各種データ記憶部２２８、およびインターネット２３０に接続され、条件選択部２２２により指定された条件にしたがって多肢選択言語試験問題２３２を自動的に作成するための問題作成装置２２４とを含む。
【００８７】
各種データ記憶部２２８は図４に示す各種データ記憶部６８と同様のデータを記憶している。したがってその構成についてはここでは説明は繰返さない。
【００８８】
複数の機械翻訳装置２２６は、本実施の形態では互いに異なる方式の機械翻訳装置からなっている。機械翻訳装置２２６は、後述するように誤り選択肢となる文を作成するために使用される。
【００８９】
問題作成装置２２４は、条件選択部２２２を用いてユーザが与える指示にしたがい、バイリンガルコーパス群２３４から一つのバイリンガルコーパスを選択するためのコーパス選択部２４０と、コーパス選択部２４０により選択されたバイリンガルコーパスを記憶するためのバイリンガルコーパス記憶部２４２を含む。このバイリンガルコーパスとしては、一般的には受験者の母語の文と、試験の対象となる言語の文との対訳文を多数含むものを選択する。例えば日本人に英語の試験を課す場合であれば、バイリンガルコーパスとして日本語と英語の対訳を多数含むものを用いる。本実施の形態では、日本語と英語とのバイリンガルコーパスを用いるものとする。この場合、複数の機械翻訳装置２２６は、いずれも日本語から英語への翻訳を行なうものを用いる。
【００９０】
問題作成装置２２４はさらに、バイリンガルコーパス記憶部２４２に記憶されたバイリンガルコーパスから、問題を作成するための種文を含む対訳を選択するための種文選択部２４４と、種文選択部２４４により選択された対訳のうちの英語の文について、空所補充問題における空所、誤り検出問題における選択肢位置等を選択するための問題位置選択部２４６とを含む。なお、後述するように、本実施の形態では、原文である日本語を提示してそれに対する複数の訳文から正しいものを選ぶ、という問題形式も可能である。そうした問題を作成する場合には、問題位置選択部２４６は英語の文全体をまとめて問題位置とする。
【００９１】
問題作成装置２２４はさらに、種文を含む対訳を受け、条件選択部２２２を用いてユーザにより指定された問題形式にしたがって選択肢候補を作成するための選択肢候補生成処理部２４８と、選択肢候補生成処理部２４８により生成された選択肢候補についてインターネット２３０を検索した結果に基づいて妥当性を判定し、問題として適切なもののみを残し、不適切なものを削除するための妥当性判定部２５０と、妥当性判定部２５０からの要求に応じてインターネット２３０を検索し、結果を妥当性判定部２５０に返すための妥当性判定用データ検索部２５２とを含む。
【００９２】
選択肢候補生成処理部２４８が行なう選択肢候補生成処理は、作成すべき多肢選択言語試験問題の形式によって異なる。図１４に、本実施の形態に係る問題作成装置２２４によって作成可能な多肢選択言語試験問題の例を示す。図１４を参照して、問題作成装置２２４により作成可能な問題は、問題２７０のように日本語の原文を与えて対応の英語文の空所に、ある単語を適切に活用したものを選択肢から選ぶ問題、問題２７２のように日本語の原文を与えてそれに対応する適切な英語の訳文を４つの選択肢から選択する問題、問題２７４のように日本語の原文を与え、対応する英語の訳文の空所に補充すべき適切な単語を選択する問題、問題２７６のように日本語の複合語を与え、それに対する正しい訳語を選択肢から選ぶ問題、等がある。空所補充問題の場合の作成方法は基本的に第１の実施の形態と同様である。問題２７２の場合には、前述した複数の機械翻訳装置２２６に原文を与えることにより生成される英文を誤答として準備することができる。問題２７６の場合には、日本語の複合語の要素単語の各々を各種データ記憶部２２８内の辞書を使って翻訳し、それら訳語を組合せて誤答を生成できる。
【００９３】
これらいずれの場合にも、種文選択部２４４が選ぶ種文に日本語の文が含まれているため、図１４に示すように問題文に日本語文を添えることが可能になる。この場合、例えば空所補充問題では、受験者は、英語だけでなく日本語も制約条件として考慮し解答する。したがって、種文が短くても解答することが容易になり、短い文でも種文として採用できるという効果がある。
【００９４】
再び図１３を参照して、問題作成装置２２４はさらに、妥当性判定部２５０によって問題として適切と判定されたものを問題形式にあわせて整形するための整形部２５４と、整形部２５４により整形された問題に、インターネット２３０から検索された用例、各種データ記憶部２２８に記憶されている語義、用法等の情報を付与するための関連情報付与処理部２５６と、関連情報付与処理部２５６により関連情報が付された問題を多肢選択言語試験問題２３２として外部の記憶装置に書込むための出力部２５８と、出力部２５８により出力される問題中の選択肢を記憶するための既出選択肢記憶部２６０とを含む。
【００９５】
＜動作＞
多肢選択言語試験問題作成システム２２０は以下のように動作する。空所補充問題については、多肢選択言語試験問題作成システム２２０の動作は第１の実施の形態に係る多肢選択言語試験問題作成システム６０と同様の動作を行なう。異なるのは、選択する種文が日本語の文と英語の文との対訳からなること、短い文でも種文として使用できること、問題文に日本語の文を制約条件として追加すること、等である。従って以下では、図１４に示す問題２７２を作成するときの多肢選択言語試験問題作成システム２２０の動作について説明する。
【００９６】
条件選択部２２２によって、問題２７２のような多肢選択言語試験問題を作成することが指定されたものとする。予めバイリンガルコーパス記憶部２４２には、ユーザの指示にしたがいコーパス選択部２４０がバイリンガルコーパス群２３４から選択したコーパスが記憶されているものとする。以下の説明では、このコーパスは日本語と英語のバイリンガルコーパスであるものとする。
【００９７】
種文選択部２４４は、バイリンガルコーパス記憶部２４２に記憶されたコーパスの中から種文となる対訳を一組選択する。この選択の際、種文の長さとしては、日本語の文と英語の文との双方について考慮する。ただし、選ばれる種文は、第１の実施の形態の場合より短くてもよい。
【００９８】
問題位置選択部２４６は、問題２７２のように複数の文のうちから適切な文を選択する問題の場合、種文全体を問題位置として選択し選択肢候補生成処理部２４８に与える。
【００９９】
選択肢候補生成処理部２４８は、与えられた種文の対訳のうち、日本語の文を機械翻訳装置２２６に与え、機械翻訳させる。例えば、種文が「好きなデザートはアイスクリームです。」と「My favorite dessert is ice cream.」という文との対訳である場合を考える。選択肢候補生成処理部２４８は、この日本語の文「好きなデザートはアイスクリームです。」を複数の機械翻訳装置２２６の各々に与え、その結果を受取る。選択肢候補生成処理部２４８は、受取った機械翻訳結果と、種文の対訳とを妥当性判定部２５０に与える。
【０１００】
妥当性判定部２５０は、機械翻訳結果の各々を選択肢候補とし、妥当性判定用データ検索部２５２を用いたインターネットの検索を行ない、第１の実施の形態で行なったのと同様に、非文か否かの判定を行なう。非文でない候補は捨て、非文となる候補のみ残す。非文となる候補の数が２以下であれば、選択肢の数が不足する。したがって選択肢候補生成処理部２４８は、処理中の種文に関する問題作成を中止し、種文選択部２４４に対して次の種文選択を指示する。非文となる候補の数が３以上の場合、選択肢候補生成処理部２４８は、そのうち３つの文のみ選択して、種文の対訳とともに整形部２５４に与える。妥当性判定部２５０はこのとき、種文選択部２４４に対して次の種文の選択を指示する。これに応答して、種文選択部２４４は次の種文を選択し、次の問題の作成が開始される。
【０１０１】
妥当性判定部２５０から選択肢候補と種文の対訳とを受取った整形部２５４は、図１４に示す問題２７２のような形式に問題を整形する。この際、整形部２５４は、種文のうちの英語文と選択肢候補とをマージし、乱数にしたがってａ）、ｂ）、ｃ）、ｄ）のいずれかに配置する。
【０１０２】
関連情報付与処理部２５６は、このように整形された問題に対し、インターネット２３０から検索した用例、各種データ記憶部２２８に記憶されている語義、同義語、反義語、関連単語等の情報を付与し出力部２５８に与える。
【０１０３】
出力部２５８は、この問題を多肢選択言語試験問題２３２として外部記憶装置に出力する。出力部２５８はまた、出力する問題文中の単語を既出選択肢記憶部２６０に格納する。
【０１０４】
以上の処理を繰返し、条件選択部２２２を用いてユーザが指定しただけの数の問題が作成できたら処理を終了する。
【０１０５】
以上のようにこの実施の形態の多肢選択言語試験問題作成システム２２０によれば、バイリンガルコーパスを用いるため、コーパス中の原文を制約として用いる問題を作成することができる。そのため、受験者は問題文が短くても答えを選択することができるようになる。その結果、コーパスをより有効に利用して、多くの種類の多肢選択言語試験問題を作成することが可能になる。
【０１０６】
また、上記第１の実施の形態、第２の実施の形態のいずれにおいても、様々な属性のコーパスを準備してそこから種文を選択することにより、試験の対象のドメイン（旅行会話、ビジネス会話、ニュース等）、対象となる受験者のレベル（中学、高校、大学等教育機関の別、または各種検定のランク等）に容易に対応することができる。例えば、特定の教科書の特定単元に出現する文（およびその訳文）を含むコーパスを準備することにより、その教科書が想定している学習者（例えば中学１年、高校３年、ビジネス英語受講者等）の学習レベルに適した多肢選択言語試験問題を容易に、かつ短時間のうちに作成することができる。
【０１０７】
さらに、コーパス、辞書、シソーラス等を言語ごとに準備することで、複数の言語についても容易に多肢選択言語試験問題を作成できる。また、対訳辞書の言語の組合せを様々にかえることにより、受験者の母語と、試験の対象となる言語との多様な組合せを容易に実現できる。
【０１０８】
また、インターネット、辞書、シソーラス等を検索することにより、誤答となる選択肢には、適切な用例、語義、同義語、類義語、反義語等を関連情報として付加することができるので、単に問題を解くだけのための問題ではなく、教育効果をあげることが期待できる問題を作成できる。
【０１０９】
なお、上記した実施の形態では、たとえば携帯電話のように狭い画面を使用して多肢選択言語試験問題を提供する場合を想定し、そのために問題文が長くなることを避けている。しかし、この制限は本質的なものではなく、たとえば問題文を提示するスペースに特に制限がない場合等には、問題文の長さを制限する必要はない。
【０１１０】
また、上記した実施の形態では、選択肢候補の妥当性を検査するに際してインターネット上のウェブページを検索し、その結果を用いている。ウェブページは極めて大規模なコーパスと考えることができるので、そこにおける、ある単語列からなる言語表現の出現頻度は、当該言語表現の妥当性を近似できると考えられる。つまり、頻度が大きければその言語表現が極めてよく使用されることの現れであり、頻度が非常に低いかまたはゼロであれば、それはその言語表現が非文法的であるか、不自然な表現であることが期待できる。したがって、上記したようにインターネットを用いることで妥当性検査を精度良く行なうことが期待できる。
【０１１１】
もっとも、文法的であるにもかかわらず新規な表現はどのウェブページにものっていない可能性もあるし、正しい表現が全ていずれかのウェブページ上にあるという保証はない。したがって上記した妥当性検査はあくまで近似的なものと理解されるべきである。したがって、正しい文からなる大規模なコーパスを、ウェブの代わりに使用することもできる。
【０１１２】
［コンピュータによる実現］
なお、上記した第１の実施の形態に係る問題作成装置６４、および第２の実施の形態に係る問題作成装置２２４はいずれも、コンピュータシステムと、当該コンピュータシステムにより実行されるコンピュータプログラムと、当該コンピュータシステム内の記憶装置または外部記憶装置に格納されるデータとにより実現できる。図１５はこのコンピュータシステム３３０の外観を示し、図１６はコンピュータシステム３３０の内部構成を示す。
【０１１３】
図１５を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、いずれもコンピュータ３４０に接続されるキーボード３４６、マウス３４８、およびモニタ３４２とを含む。
【０１１４】
図１６を参照して、コンピュータ３４０は、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、および作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータシステム３３０はさらに、プリンタ３４４を含んでいる。
【０１１５】
ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【０１１６】
コンピュータシステム３３０に上記した問題作成装置６４または問題作成装置２２４としての動作を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。または、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、またはネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
【０１１７】
このプログラムは、コンピュータ３４０に上記した問題作成装置６４または問題作成装置２２４としての動作を行なわせる複数の命令を含む。このために必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）またはサードパーティのプログラム、もしくはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態のシステムおよび方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記した問題作成装置６４または２２４としての動作を実現するための命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰り返さない。
【０１１８】
なお、上記した実施の形態の説明では、例えば図７に示すように、作成する対象となる選択肢問題の種類に応じて、プログラムの主要部分を全く別のものとしている。しかし本発明はそのような実施の形態に限定されるわけではなく、共通の処理を実行する部分は同一のプログラムコードが実行されるようにしてもよい。また、上記説明では、制御構造の説明として便宜的にフローチャートを用いたが、実際のプログラムがこのようなフローチャートにより表された制御構造を持っているとは限らない。例えばオブジェクト指向プログラムのように、個々のオブジェクトが別々に動作し、全体として上に示した実施の形態の装置の機能を実現するものであってもかまわない。
【０１１９】
さらに、上記実施の形態では、コーパス、条件選択部、問題作成装置の各部、および多肢選択言語試験問題を記憶する記憶装置がすべて同一の場所にあるものとして説明した。しかし本発明はそのような実施の形態に限定されるわけではない。例えば問題作成装置がインターネットに接続されたあるコンピュータにより実現され、条件選択部が無線電話網およびインターネットを通じて当該コンピュータに接続可能な携帯電話のような情報端末装置で実現されてもよい。また、多肢選択言語試験問題を蓄積せず、条件選択部を介して問題の作成要求があるごとに、問題作成装置によって多肢選択言語試験問題を作成し、要求の送信元に返信するような構成を採ってもよい。
【０１２０】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１２１】
【図１】空所補充問題の例を示す図である。
【図２】問題作成の途中で得られる問題と解の候補とから生成される文群を模式的に示す図である。
【図３】誤り検出問題の例を示す図である。
【図４】第１の実施の形態に係る多肢選択言語試験問題作成システム６０のブロック図である。
【図５】コーパス記憶部８２に記憶されるコーパス１１０の構成の一例を示す図である。
【図６】各種データ記憶部６８に記憶される各種データの構成の一例を示す図である。
【図７】第１の実施の形態に係る多肢選択言語試験問題作成システム６０を実現するコンピュータプログラムの制御構造を示すフローチャートである。
【図８】空所補充問題を作成するコンピュータプログラムの制御構造を示すフローチャートである。
【図９】種文選択処理のフローチャートである。
【図１０】選択肢候補作成処理のフローチャートである。
【図１１】誤り検出問題を作成するコンピュータプログラムの制御構造を示すフローチャートである。
【図１２】実験により得られた問題を受験者に解かせて得た受験者の英語能力（θ）と、受験者のＴＯＥＩＣスコアとの相関を示すグラフである。
【図１３】本発明の第２の実施の形態に係る多肢選択言語試験問題作成システム２２０のブロック図である。
【図１４】第２の実施の形態において作成可能な多肢選択言語試験問題の種々の形式を模式的に示す図である。
【図１５】コンピュータシステムの外観図である。
【図１６】図１５に示すコンピュータのブロック図である。
【符号の説明】
【０１２２】
６０，２２０ 多肢選択言語試験問題作成システム、６２，２２２ 条件選択部、６４，２２４ 問題作成装置、６６ コーパス群、６８，２２８ 各種データ記憶部、７０，２３０ インターネット、８０ コーパス選択部、８２ コーパス記憶部、８４，２４４ 種文選択部、８６，２４６ 問題位置選択部、８８，２４８ 選択肢候補生成処理部、９０，２５０ 妥当性判定部、９２，２５２ 妥当性判定用データ検索部、９４，２５４ 整形部、９６，２５６ 関連情報付与処理部、９８，２５８ 出力部、１００，２６０ 既出選択肢記憶部、２４２ バイリンガルコーパス記憶部
【特許請求の範囲】
【請求項１】
多肢選択言語試験問題を自動的に作成するための、多肢選択言語試験問題自動作成装置であって、
コンピュータ読取可能なコーパスを記憶するためのコーパス記憶手段と、
選択肢作成のための言語情報をコンピュータ読取可能な形式で記憶するための言語情報記憶手段と、
前記コーパス記憶手段に記憶された前記コーパスから、予め定める選択方式にしたがって多肢選択言語試験問題の元となる文を選択するための文選択手段と、
前記文選択手段により選択された文のうち、所定条件を充足する構成要素を決定するための構成要素決定手段と、
前記言語情報記憶手段に記憶された前記言語情報に基づいて、前記構成要素決定手段により決定された構成要素に対する置換候補を作成するための置換候補作成手段と、
前記選択された文において、前記決定された構成要素を前記置換候補で置換することにより得られる文の妥当性を判定するための妥当性判定手段と、
前記妥当性判定手段により文が妥当でないと判定された置換候補と、前記元となる文とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための多肢選択言語試験問題作成手段とを含む、多肢選択言語試験問題自動作成装置。
【請求項２】
前記置換候補作成手段は、
前記言語情報記憶手段に記憶された前記言語情報に基づいて、前記決定された構成要素に対する複数個の置換候補を作成するための手段を含み、
前記多肢選択言語試験問題作成手段は、
前記選択された文のうち、前記決定された構成要素を空所で置換した問題文を作成するための手段と、
前記複数個の置換候補のうち、前記妥当性判定手段で文が妥当でないと判定された予め定める所定個数の置換候補と、前記決定された構成要素とからなる選択肢集合を作成するための選択肢作成手段と、
前記問題文と前記選択肢集合とを所定の問題形式に整形するための整形手段とを含む、請求項１に記載の多肢選択言語試験問題自動作成装置。
【請求項３】
前記多肢選択言語試験問題作成手段は、
前記選択された文のうち、前記決定された構成要素を、前記妥当性判定手段により文が妥当でないと判定された置換候補で置換して問題文を作成するための手段と、
前記問題文のうち、前記置換候補と、前記置換候補以外の所定個数の単語または単語群とを選択肢候補として表示するように前記問題文を整形するための整形手段とを含む、請求項１に記載の多肢選択言語試験問題自動作成装置。
【請求項４】
前記置換候補作成手段は、前記言語情報記憶手段に記憶された前記言語情報に基づいて、所与の条件に合致するように前記決定された構成要素に対する置換候補を作成するための条件付置換候補作成手段を含む、請求項１〜請求項３のいずれかに記載の多肢選択言語試験問題自動作成装置。
【請求項５】
さらに、前記所与の条件に関するユーザの入力を受け、前記条件付置換候補作成手段に与えるための手段を含む、請求項４に記載の多肢選択言語試験問題自動作成装置。
【請求項６】
さらに、複数個のコーパスからなるコーパス群を記憶するためのコンピュータ読取可能なコーパス群記憶手段から、ユーザによって指定されたコーパスを読出して前記コーパス記憶手段に格納するためのコーパス読出手段を含む、請求項１に記載の多肢選択言語試験問題自動作成装置。
【請求項７】
前記コーパスは第１言語の文と第２言語の文との対訳を複数個含むバイリンガルコーパスであり、
前記文選択手段は、前記コーパス記憶手段に記憶された前記バイリンガルコーパスから、前記選択方式にしたがって多肢選択言語試験問題の元となる対訳を選択するための対訳選択手段を含む、請求項１に記載の多肢選択言語試験問題自動作成装置。
【請求項８】
前記構成要素決定手段は、前記選択された対訳の前記第２言語の文のうち、前記所定条件を充足する構成要素を決定するための手段を含み、
前記置換候補作成手段は、
前記言語情報記憶手段に記憶された前記言語情報に基づいて、前記決定された構成要素に対する複数個の前記第２言語の置換候補を作成するための手段を含み、
前記多肢選択言語試験問題作成手段は、
前記選択された対訳の前記第１言語の文と、前記選択された対訳の前記第２言語の文のうち、前記決定された構成要素を空所で置換した文とを含む問題文を作成するための手段と、
前記複数個の置換候補のうち、前記妥当性判定手段により文が妥当でないと判定された予め定める所定個数の前記第２言語の置換候補と、前記決定された構成要素とからなる選択肢集合を作成するための選択肢作成手段と、
前記問題文と前記選択肢集合とを所定の問題形式に整形するための整形手段とを含む、請求項７に記載の多肢選択言語試験問題自動作成装置。
【請求項９】
前記多肢選択言語試験問題作成手段は、
前記選択された対訳の前記第１言語の文と、前記選択された対訳の前記第２言語の文のうち、前記決定された構成要素を、前記妥当性判定手段により文が妥当でないと判定された置換候補で置換して得られた文とを含む問題文を作成するための手段と、
前記問題文の前記第２言語の文のうち、前記置換候補と、前記置換候補以外の所定個数の単語または単語群とを選択肢候補として表示するように前記問題文を整形するための整形手段とを含む、請求項７に記載の多肢選択言語試験問題自動作成装置。
【請求項１０】
前記構成要素決定手段は、前記選択された対訳の前記第２言語の文全体を前記所定条件を充足する構成要素として決定するための手段を含み、
前記置換候補作成手段は、前記言語情報記憶手段に記憶された言語情報に基づいて、前記選択された対訳の前記第１言語の文を機械翻訳するための複数の機械翻訳手段を含み、
前記多肢選択言語試験問題作成手段は、
前記選択された対訳の前記第２言語の文、および前記複数の機械翻訳手段による翻訳結果のうち、前記妥当性判定手段により妥当でないと判定された文からなる選択肢集合を作成するための手段と、
前記選択された対訳の前記第１言語の文と、前記選択肢集合とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための手段とを含む、請求項７に記載の多肢選択言語試験問題自動作成装置。
【請求項１１】
前記文選択手段、前記構成要素決定手段、前記置換候補作成手段、前記妥当性判定手段、および前記多肢選択言語試験問題作成手段を制御して、所定個数の多肢選択言語試験問題を作成させるための制御手段をさらに含む、請求項１〜請求項１０のいずれかに記載の多肢選択言語試験問題自動作成装置。
【請求項１２】
多肢選択言語試験問題を自動的に作成するための、多肢選択言語試験問題自動作成装置であって、
第１言語の単語と第２言語の単語との対訳を複数個記憶するためのコンピュータ読取可能な辞書記憶手段と、
選択肢作成のための言語情報をコンピュータ読取可能な形式で記憶する言語情報記憶手段と、
前記辞書記憶手段から、予め定める選択方式にしたがって多肢選択言語試験問題の元となる単語の対訳を選択するための対訳選択手段と、
前記言語情報記憶手段に記憶された前記言語情報に基づいて、前記選択された対訳のうち前記第２言語の単語に対する前記第２言語の置換候補を作成するための置換候補作成手段と、
前記選択された対訳の前記第１言語の単語に対する対訳として、前記置換候補作成手段により得られる前記第２言語の置換候補の妥当性を判定するための妥当性判定手段と、
前記妥当性判定手段により妥当でないと判定された置換候補と、前記元となる単語の対訳中の前記第２言語の単語とから選択肢集合を作成するための選択肢作成手段と、
前記選択された対訳の前記第１言語の単語と、前記選択肢作成手段により作成された選択肢集合とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための多肢選択言語試験問題作成手段とを含む、多肢選択言語試験問題自動作成装置。
【請求項１３】
コンピュータにより実行されると、当該コンピュータを請求項１〜請求項１２のいずれかに記載の多肢選択言語試験問題自動作成装置として動作させる、コンピュータプログラム。
【請求項１】
多肢選択言語試験問題を自動的に作成するための、多肢選択言語試験問題自動作成装置であって、
コンピュータ読取可能なコーパスを記憶するためのコーパス記憶手段と、
選択肢作成のための言語情報をコンピュータ読取可能な形式で記憶するための言語情報記憶手段と、
前記コーパス記憶手段に記憶された前記コーパスから、予め定める選択方式にしたがって多肢選択言語試験問題の元となる文を選択するための文選択手段と、
前記文選択手段により選択された文のうち、所定条件を充足する構成要素を決定するための構成要素決定手段と、
前記言語情報記憶手段に記憶された前記言語情報に基づいて、前記構成要素決定手段により決定された構成要素に対する置換候補を作成するための置換候補作成手段と、
前記選択された文において、前記決定された構成要素を前記置換候補で置換することにより得られる文の妥当性を判定するための妥当性判定手段と、
前記妥当性判定手段により文が妥当でないと判定された置換候補と、前記元となる文とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための多肢選択言語試験問題作成手段とを含む、多肢選択言語試験問題自動作成装置。
【請求項２】
前記置換候補作成手段は、
前記言語情報記憶手段に記憶された前記言語情報に基づいて、前記決定された構成要素に対する複数個の置換候補を作成するための手段を含み、
前記多肢選択言語試験問題作成手段は、
前記選択された文のうち、前記決定された構成要素を空所で置換した問題文を作成するための手段と、
前記複数個の置換候補のうち、前記妥当性判定手段で文が妥当でないと判定された予め定める所定個数の置換候補と、前記決定された構成要素とからなる選択肢集合を作成するための選択肢作成手段と、
前記問題文と前記選択肢集合とを所定の問題形式に整形するための整形手段とを含む、請求項１に記載の多肢選択言語試験問題自動作成装置。
【請求項３】
前記多肢選択言語試験問題作成手段は、
前記選択された文のうち、前記決定された構成要素を、前記妥当性判定手段により文が妥当でないと判定された置換候補で置換して問題文を作成するための手段と、
前記問題文のうち、前記置換候補と、前記置換候補以外の所定個数の単語または単語群とを選択肢候補として表示するように前記問題文を整形するための整形手段とを含む、請求項１に記載の多肢選択言語試験問題自動作成装置。
【請求項４】
前記置換候補作成手段は、前記言語情報記憶手段に記憶された前記言語情報に基づいて、所与の条件に合致するように前記決定された構成要素に対する置換候補を作成するための条件付置換候補作成手段を含む、請求項１〜請求項３のいずれかに記載の多肢選択言語試験問題自動作成装置。
【請求項５】
さらに、前記所与の条件に関するユーザの入力を受け、前記条件付置換候補作成手段に与えるための手段を含む、請求項４に記載の多肢選択言語試験問題自動作成装置。
【請求項６】
さらに、複数個のコーパスからなるコーパス群を記憶するためのコンピュータ読取可能なコーパス群記憶手段から、ユーザによって指定されたコーパスを読出して前記コーパス記憶手段に格納するためのコーパス読出手段を含む、請求項１に記載の多肢選択言語試験問題自動作成装置。
【請求項７】
前記コーパスは第１言語の文と第２言語の文との対訳を複数個含むバイリンガルコーパスであり、
前記文選択手段は、前記コーパス記憶手段に記憶された前記バイリンガルコーパスから、前記選択方式にしたがって多肢選択言語試験問題の元となる対訳を選択するための対訳選択手段を含む、請求項１に記載の多肢選択言語試験問題自動作成装置。
【請求項８】
前記構成要素決定手段は、前記選択された対訳の前記第２言語の文のうち、前記所定条件を充足する構成要素を決定するための手段を含み、
前記置換候補作成手段は、
前記言語情報記憶手段に記憶された前記言語情報に基づいて、前記決定された構成要素に対する複数個の前記第２言語の置換候補を作成するための手段を含み、
前記多肢選択言語試験問題作成手段は、
前記選択された対訳の前記第１言語の文と、前記選択された対訳の前記第２言語の文のうち、前記決定された構成要素を空所で置換した文とを含む問題文を作成するための手段と、
前記複数個の置換候補のうち、前記妥当性判定手段により文が妥当でないと判定された予め定める所定個数の前記第２言語の置換候補と、前記決定された構成要素とからなる選択肢集合を作成するための選択肢作成手段と、
前記問題文と前記選択肢集合とを所定の問題形式に整形するための整形手段とを含む、請求項７に記載の多肢選択言語試験問題自動作成装置。
【請求項９】
前記多肢選択言語試験問題作成手段は、
前記選択された対訳の前記第１言語の文と、前記選択された対訳の前記第２言語の文のうち、前記決定された構成要素を、前記妥当性判定手段により文が妥当でないと判定された置換候補で置換して得られた文とを含む問題文を作成するための手段と、
前記問題文の前記第２言語の文のうち、前記置換候補と、前記置換候補以外の所定個数の単語または単語群とを選択肢候補として表示するように前記問題文を整形するための整形手段とを含む、請求項７に記載の多肢選択言語試験問題自動作成装置。
【請求項１０】
前記構成要素決定手段は、前記選択された対訳の前記第２言語の文全体を前記所定条件を充足する構成要素として決定するための手段を含み、
前記置換候補作成手段は、前記言語情報記憶手段に記憶された言語情報に基づいて、前記選択された対訳の前記第１言語の文を機械翻訳するための複数の機械翻訳手段を含み、
前記多肢選択言語試験問題作成手段は、
前記選択された対訳の前記第２言語の文、および前記複数の機械翻訳手段による翻訳結果のうち、前記妥当性判定手段により妥当でないと判定された文からなる選択肢集合を作成するための手段と、
前記選択された対訳の前記第１言語の文と、前記選択肢集合とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための手段とを含む、請求項７に記載の多肢選択言語試験問題自動作成装置。
【請求項１１】
前記文選択手段、前記構成要素決定手段、前記置換候補作成手段、前記妥当性判定手段、および前記多肢選択言語試験問題作成手段を制御して、所定個数の多肢選択言語試験問題を作成させるための制御手段をさらに含む、請求項１〜請求項１０のいずれかに記載の多肢選択言語試験問題自動作成装置。
【請求項１２】
多肢選択言語試験問題を自動的に作成するための、多肢選択言語試験問題自動作成装置であって、
第１言語の単語と第２言語の単語との対訳を複数個記憶するためのコンピュータ読取可能な辞書記憶手段と、
選択肢作成のための言語情報をコンピュータ読取可能な形式で記憶する言語情報記憶手段と、
前記辞書記憶手段から、予め定める選択方式にしたがって多肢選択言語試験問題の元となる単語の対訳を選択するための対訳選択手段と、
前記言語情報記憶手段に記憶された前記言語情報に基づいて、前記選択された対訳のうち前記第２言語の単語に対する前記第２言語の置換候補を作成するための置換候補作成手段と、
前記選択された対訳の前記第１言語の単語に対する対訳として、前記置換候補作成手段により得られる前記第２言語の置換候補の妥当性を判定するための妥当性判定手段と、
前記妥当性判定手段により妥当でないと判定された置換候補と、前記元となる単語の対訳中の前記第２言語の単語とから選択肢集合を作成するための選択肢作成手段と、
前記選択された対訳の前記第１言語の単語と、前記選択肢作成手段により作成された選択肢集合とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための多肢選択言語試験問題作成手段とを含む、多肢選択言語試験問題自動作成装置。
【請求項１３】
コンピュータにより実行されると、当該コンピュータを請求項１〜請求項１２のいずれかに記載の多肢選択言語試験問題自動作成装置として動作させる、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００６−３９３５３（Ｐ２００６−３９３５３Ａ）
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願番号】特願２００４−２２１４５０（Ｐ２００４−２２１４５０）
【出願日】平成１６年７月２９日（２００４．７．２９）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年度独立行政法人情報通信研究機構、研究テーマ「大規模コーパスベース音声対話翻訳技術の研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願日】平成１６年７月２９日（２００４．７．２９）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年度独立行政法人情報通信研究機構、研究テーマ「大規模コーパスベース音声対話翻訳技術の研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]