論文内容評価装置及び論文内容評価プログラム
【課題】出題文を変えても採点のためのデータ調整を行う必要がない論文内容評価装置を提供する。
【解決手段】論文内容評価装置１０は、相互情報量が記憶された相互情報量データベース２４と、逆出現頻度が記憶された逆出現頻度データベース２５と、前記各データベース２４，２５から抽出したデータを予め記憶した数式に代入し、論文中の各一単語と出題文との関連度を表すスコアを求めるスコア算出手段２７と、単語の組み合わせ毎に求められたスコアからスコア表を作成するスコア表作成手段２８と、分布状況のパターンがそれぞれ異なる複数種の基準スコア表と当該各基準スコア表に対応した人的な内容評価とが記憶された内容評価データベース３１と、スコア表作成手段２８で作成されたスコア表に最も近い基準スコア表を抽出し、当該基準スコア表に対応する内容評価を論文の内容評価とする内容評価決定手段３１から成る。
【解決手段】論文内容評価装置１０は、相互情報量が記憶された相互情報量データベース２４と、逆出現頻度が記憶された逆出現頻度データベース２５と、前記各データベース２４，２５から抽出したデータを予め記憶した数式に代入し、論文中の各一単語と出題文との関連度を表すスコアを求めるスコア算出手段２７と、単語の組み合わせ毎に求められたスコアからスコア表を作成するスコア表作成手段２８と、分布状況のパターンがそれぞれ異なる複数種の基準スコア表と当該各基準スコア表に対応した人的な内容評価とが記憶された内容評価データベース３１と、スコア表作成手段２８で作成されたスコア表に最も近い基準スコア表を抽出し、当該基準スコア表に対応する内容評価を論文の内容評価とする内容評価決定手段３１から成る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、論文内容評価装置及び論文内容評価プログラムに係り、更に詳しくは、論文のテーマとなる出題文に基づいて、当該出題文と同一の言語で学習者が作成した論文の内容を自動評価することのできる論文内容評価装置及び論文内容評価プログラムに関する。
【背景技術】
【０００２】
あるテーマに基づいて学習者が作成した論文の内容を自動的に採点する文章評価採点装置が提案されている（特許文献１参照）。この文章評価採点装置は、次の手順により、出題文と採点対象の小論文との近似度が求められ、当該近似度に基づき小論文の評価採点が行われる。すなわち、予め、新聞記事などの多くの文書を集めて、単語−文書行列が作成され、当該行列を特異値分解することにより、単語と文書の関係を表す行列が求められる。そして、当該行列を用いることで、出題文を構成する単語のベクトルと小論文を構成する単語のベクトルとがそれぞれ文書ベクトルに変換される。その後、コサイン尺度と呼ばれる手法により、両文書ベクトルの近似度が求められて得点対象とされる。この近似度は、各文書ベクトルが近い程、高得点となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５１７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記文章評価採点装置にあっては、当該技術に関する評価を示した論文によると、１００〜２００文字程度の長い問題文でないと上手く採点できないという問題がある。また、前記文章評価採点装置では、小論文の採点結果が、人的な採点結果と必ずしも一致しないという問題もある。すなわち、前記文章評価採点装置では、採点者の観点が全く入らずに、出題文と採点対象の小論文がどの程度近似しているかのみでの採点であり、採点者の感覚に近い採点を行うことができない。例えば、学習者が作成した小論文中の各単語について、出題文中の各単語に対する関連性が高い単語、中程度の単語、低い単語という具合に区別したときに、前記関連性の高い単語及び低い単語が多い一方で前記中程度の単語が少ないようなケースでは、内容の統一感がなく、論述の流れが悪いとして、採点者にマイナスイメージを多く与える可能性がある。ところが、このケースに対し、逆に、前記関連性の高い単語及び低い単語が少ない一方で前記中程度の単語が多いような論文は、前記文章評価採点装置で先のケースの近似度と同一値と算出されても、採点者による採点で、先のケースよりも良い点数と判断されることがある。従って、論文の自動評価を行うためのロジックとして、採点者の主観的な評価基準も何らかの形で反映しないと、採点者の採点結果とずれが生じ得ることになり、採点現場での利用が敬遠される虞がある。ここで、前記特許文献１の文書評価採点装置に採点者の観点を入れるには、基準となる小論文の収集と採点が出題文の種類毎に必要になることから、基礎データの構築の手間が煩雑になり、バリエーションの異なる出題文を簡単に変えることが困難になる。
【０００５】
本発明は、このような課題に着目して案出されたものであり、その目的は、出題文を変えたときに採点用のデータ調整を新たに行う必要がなく、出題文を低コストで自由に設定できるとともに、論文評価者の人的な内容評価に近い評価結果を得ることができる論文内容評価装置及び論文内容評価プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
（１）前記目的を達成するため、本発明は、論文のテーマとなる出題文に基づいて、当該出題文と同一の言語で学習者が作成した論文の内容を自動評価する論文内容評価装置において、
一対の単語が同一文書に登場する可能性を表す指標となる相互情報量が単語の組み合わせ毎に記憶された相互情報量データベースと、
多くの文書に出現する一般的な単語ほど数値が低くなる逆出現頻度が単語毎に記憶された逆出現頻度データベースと、
前記相互情報量データベース及び前記逆出現頻度データベースから抽出したデータを予め記憶された数式に代入することで前記論文中の一単語と前記出題文との関連度を表すスコアを求めるスコア算出手段と、
前記スコア算出手段で前記論文中の単語毎にそれぞれ求められたスコアから、当該スコアの分布状況を表すスコア表を作成するスコア表作成手段と、
前記分布状況のパターンがそれぞれ異なる複数種の基準スコア表と当該各基準スコア表に対応した人的な内容評価とが記憶された内容評価データベースと、
前記スコア表作成手段で作成された前記スコア表に近い前記内容評価データベースの基準スコア表を抽出し、当該基準スコア表に対応する内容評価を前記論文の内容評価とする内容評価決定手段とを備える、という構成を採っている。
【０００７】
（２）また、前記論文中の各単語の出現数をカウントする機能を含む論文カウント手段を備え、前記スコア算出手段では、前記相互情報量と、前記逆出現頻度と、前記単語の出現数と、前記出題文を構成する単語の種類数とをパラメータとしたスコア演算式が予め記憶され、当該スコア演算式に、前記出題文中の一単語と前記論文中の一単語からなる一対の対象単語について前記相互情報量データベースから抽出された前記相互情報量と、前記一対の対象単語のうち前記論文中の一単語について前記逆出現頻度データベースから抽出された前記逆出現頻度と、前記一対の対象単語のうち前記論文中の一単語について前記論文カウント手段でカウントされた前記出現数と、予めカウントされた前記出題文中の単語の種類数とが代入されることで、前記スコアが算出される、という構成を採っている。
ことが好ましい。
【０００８】
（３）更に、前記出題文を構成する単語の種類数をカウントする出題文カウント手段を備え、当該出題文カウント手段でカウントされた単語の種類数を前記スコア演算式に代入する、という構成も併せて採用することができる。
【０００９】
（４）ここで、種々の文書に頻出する単語で一部の処理時に除外対象とするストップワードが記憶されたストップワードデータベースを備え、前記出題文カウント手段は、前記ストップワードデータベースに記憶されたストップワードを除いて前記出題文中の単語の種類数をカウントする、という構成を採るとよい。
【００１０】
（５）また、種々の文書に頻出する単語で一部の処理時に除外対象とするストップワードが記憶されたストップワードデータベースを備え、前記スコア算出手段では、前記ストップワードデータベースに基づき、前記ストップワードを除く前記論文中の一単語と前記ストップワードを除く前記出題文中の一単語との全て組み合わせについて、前記スコアを算出する、という構成を採ることが好ましい。
【００１１】
（６）更に、前記内容評価決定手段では、内容評価対象となる論文の前記スコア表と、前記内容評価データベースに記憶された前記各基準スコア表とがそれぞれ対比され、予め設定されたパターン認識手法により、前記スコア表作成手段で作成されたスコア表に近いパターンの前記基準スコア表が選択される、という構成を採用している。
【００１２】
（７）また、本発明は、論文のテーマとなる出題文に基づいて、当該出題文と同一の言語で学習者が作成した論文の内容を自動評価する処理をコンピュータに実行させるためのプログラムにおいて、
一対の単語が同一文書に登場する可能性を表す指標となる相互情報量が単語の組み合わせ毎に記憶された相互情報量データベースと、
多くの文書に出現する一般的な単語ほど数値が低くなる逆出現頻度が単語毎に記憶された逆出現頻度データベースと、
前記相互情報量データベース及び前記逆出現頻度データベースから抽出したデータを予め記憶された数式に代入することで前記論文中の一単語と前記出題文との関連度を表すスコアを求めるスコア算出手段と、
前記スコア算出手段で前記論文の単語毎にそれぞれ求められたスコアから、当該スコアの分布状況を表すスコア表を作成するスコア表作成手段と、
前記分布状況のパターンがそれぞれ異なる複数種の基準スコア表と当該各基準スコア表に対応した論文の内容評価とが記憶された内容評価データベースと、
前記スコア表作成手段で作成された前記スコア表に近い前記内容評価データベースの基準スコア表を抽出し、当該基準スコア表に対応する内容評価を前記論文の内容評価とする内容評価決定手段として前記コンピュータを機能させる、という構成を採っている。
【発明の効果】
【００１３】
本発明によれば、出題文を構成する各単語と学習者が作成した論文の各単語との組み合わせから一つの値を総合的に求めて内容評価するのではなく、各スコアの分布状況を表すスコア表を作成した上で、人的な内容評価に対応して予め記憶されている基準スコア表の中から、論文のスコア表と分布状況のパターンの近い基準スコア表を選択し、当該基準スコア表に紐付いている内容評価が論文の内容評価とされる。つまり、スコア表上で表されたスコアのパターン自体を出題文の内容に関係なく対比することにより、論文の内容評価が決定される。このため、出題文が変わっても、内容評価データベースのデータを変更する必要がなく、そのままのデータで学習者の論文の内容評価がなされることになる。従って、出題文毎に基準スコア表を作成する必要がなく、出題者側での出題文の変更を低コストで簡単に行うことができる。また、既存の論文類から前記スコア表作成手段での手順と同様の手順で基準スコア表を作成するときに、同時に、採点者が前記既存の論文類の内容を人的に評価し、この人的な内容評価を基準スコア表に対応させることにより、論文評価者の人的な採点評価に近い評価結果を得ることができる。また、本発明によれば、出題文が少ない単語数で構成されていても正確な採点が可能になる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係る論文内容評価装置の概略システム構成図。
【図２】スコア表のイメージ図。
【図３】内容評価データベースのイメージ図。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１６】
図１には、本実施形態に係る論文内容評価装置の概略システム構成図が示されている。この図において、論文内容評価装置１０は、学生等の学習者の英語論文作成教育用として利用され、学習者が作成した英語論文の内容を自動的に評価する装置である。この論文内容評価装置１０は、ＣＰＵ等の演算処理装置、メモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを後述する各手段として機能させるためのプログラムがインストールされている。すなわち、本実施形態に係る論文内容評価装置１０は、学習者が保有するパーソナルコンピュータ等の端末１１に対し、インターネット回線等のデータ回線で接続されるサーバとして機能し、学習者が作成した論文を受信すると、当該論文の内容を自動評価した上で当該評価結果を学習者に送信するようになっている。
【００１７】
具体的に、前記論文内容評価装置１０は、論文のテーマとなる英語の出題文が複数種記憶された出題文データベース１３と、端末１１からの要求に応じて出題文データベース１３から出題文を抽出する出題文抽出手段１４と、当該出題文を端末１１に送信する出題文送信手段１６と、学習者が端末１１で受信した出題文に基づいて英語で論文を作成した後で端末１１に入力された当該論文を受信する受信手段１７と、種々の文書に頻出する単語で一部の処理時に除外対象とするストップワードが記憶されたストップワードデータベース１９と、前記出題文を構成する単語の種類数をカウントする出題文カウント手段２１と、論文中の単語数や文数などをカウントする論文カウント手段２２と、一対の単語が同一文書に登場する可能性を表す指標となる相互情報量が単語の組み合わせ毎に記憶された相互情報量データベース２４と、文書に出現する単語の頻度の逆数を表す逆出現頻度が単語毎に記憶された逆出現頻度データベース２５と、論文中の各一単語と出題文の集合との関連度を表すスコアを求めるスコア算出手段２７と、スコア算出手段２７で論文中の各単語についてそれぞれ求めたスコアから、当該スコアの分布状況を表すスコア表を作成するスコア表作成手段２８と、スコアの分布状況のパターンがそれぞれ異なる多種の基準スコア表と論文の内容評価とが対応して記憶された内容評価データベース３０と、スコア表作成手段２８で作成されたスコア表から、内容評価データベース３０に基づいて学習者が作成した論文の内容評価を決定する内容評価決定手段３１と、内容評価決定手段３１で決定された内容評価をデータ回線経由で学習者の端末１１に送信する評価結果送信手段３３とを備えて構成されている。
【００１８】
前記出題文データベース１３は、出題者によって決定された論文のテーマを英文で記載した出題文が多数記憶されている。当該出題文は、特に限定されるものではないが、学習者の学年毎やレベル毎の他に、テーマのジャンル別等、種々のカテゴリー毎に設定されている。なお、前記出題文データベース１３は、新たな出題文を逐次追加できる機能を備えていても良い。
【００１９】
前記出題文抽出手段１４は、学習者の端末１１から要求があると、当該要求に応じたカテゴリーの中から、ランダムに、若しくは、一定規則に従って、出題文を抽出し、当該出題文を出題文送信手段１６から端末１１に送信するようになっている。
【００２０】
前記ストップワードデータベース１９には、大部分の文書に頻出する単語、例えば、「ａ」、「ａｎ」等の冠詞、「ｉｎ」、「ｏｎ」等の前置詞、「ｉｔ」、「ｔｈａｔ」等の代名詞、「ｗｈｉｃｈ」、「ｗｈｏ」等の疑問詞、「ｉｓ」、「ａｒｅ」のｂｅ動詞、「ｃａｎ」、「ｍａｙ」等の助動詞等の頻出単語が予め記憶されている。
【００２１】
前記出題文カウント手段２１では、出題文中のスペースを手掛かりにして当該出題文を構成する単語を特定した後で、ストップワードデータベース１９に記憶されたストップワードを除く出題文中の単語の種類数をカウントするようになっている。つまり、出題文中に同じ単語が繰り返して出現する場合でも、当該単語を「１」としてカウントする。
【００２２】
前記論文カウント手段２２は、論文中のスペースを手掛かりにして当該論文を構成する単語を特定する機能と、当該単語の特定後に論文中の単語の総数をカウントする機能と、前記単語の特定後に論文中の各単語の出現数をカウントする機能と、前記単語の特定後に論文中の単語の種類数をカウントする機能と、論文を構成する文数をカウントする機能とを有している。ここで、論文中の各単語の出現数は、論文中に同一の単語が何回出現するか、各単語別に計数される。また、論文中の単語の種類数は、出題文カウント手段２１でのカウントと同様に、論文に重複して登場する同一の単語をまとめて「１種類」と計数し、論文中に重複して登場しない単語を一単語につき「１種類」と計数することで求められる。更に、論文を構成する文数は、論文中に存在するピリオド、感嘆符、疑問符の何れかを検出し、当該ピリオド等で区切られた一領域を「一文」として論文全体を計数することで求められる。
【００２３】
前記相互情報量データベース２４には、学習者が使用する可能性のある相当数の英単語中の一対の単語同士の前記相互情報量が単語の組み合わせ毎に記憶されている。当該相互情報量は、新聞や雑誌等、様々なジャンルの多くの文書に記載された英単語から、以下のように、コンピュータ等の図示しない演算装置を使って予め求められる。
【００２４】
すなわち、ある単語「ｗｉ」と他の単語「ｗｊ」との相互情報量ＭＩは、次式（１）によって求められる。なお、以下の各数式において、対数は、自然対数に限らず、種々の底を採ることもできる。
【数１】
ここで、ｐ（ｗｉ，ｗｊ）、ｐ（ｗｉ）、ｐ（ｗｊ）は、次式（２）、（３）で表される。
【数２】
上式（２）、（３）において、「Ｎ」は、相互情報量を求めるために使用した全文書数である。また、「ｎｉｊ」は、前記全文書の中で、単語「ｗｉ」と単語「ｗｊ」の組み合わせが存在する文書数である。つまり、この「ｎｉｊ」は、ある一文書内に単語「ｗｉ」と単語「ｗｊ」の組み合わせが複数存在していても、一文書で「１」とカウントされる。
例えば、全文書数Ｎが１０００であるとして、その中で、単語「ｗｉ」と単語「ｗｊ」が共に登場している文書数ｎｉｊが５０であれば、
ｐ（ｗｉ，ｗｊ）＝５０／１０００＝０．０５
となる。
なお、「Ｎ」を全文書中にそれぞれ存在する文の総数とし、「ｎｉｊ」を、全文書中で、単語「ｗｉ」と単語「ｗｊ」の組み合わせが存在する文の数としてもよい。
また、ｐ（ｗｉ）、ｐ（ｗｊ）を求める上式（３）の分母は、全文書中に存在する単語の総数を意味し、「ｆｉ」は、全文書中での単語「ｗｉ」の出現数であり、「ｆｊ」は、全文書中での単語「ｗｊ」の出現数である。
【００２５】
前記逆出現頻度データベース２５に記憶された逆出現頻度は、前述の相互情報量と同様に、新聞や雑誌等、様々なジャンルの多くの文書に記載された英単語から、コンピュータ等の図示しない演算装置を使って予め求められる。具体的に、単語「ｗｉ」の逆出現頻度ｉｄｆ（ｗｉ）は、次式（４）により求められる。
【数３】
ここで、「Ｎ」は、相互情報量を求める場合と同様、逆出現頻度を求めるために使用した全文書数であり、「ｎｉ」は、当該全文書の中で、単語「ｗｉ」が含まれている文書数である。つまり、この「ｎｉ」は、ある一文書内に単語「ｗｉ」がいくつ存在していても、一文書で「１」とカウントされる。
上式（４）により、逆出現頻度ｉｄｆ（ｗｉ）は、多くの文書に出現する一般的な単語ほど低い数値となる。
【００２６】
前記スコア算出手段２７では、学習者が作成した論文中の単語のうち、ストップワードデータベース１９に記憶された単語（ストップワード）を除く単語全てについて、ストップワードを除く出題文中の各単語との関係に基づき求めたスコアがそれぞれ算出される。すなわち、スコア算出手段２７では、前記相互情報量と、前記逆出現頻度と、論文中の単語の出現数と、出題文中の単語の種類数とをパラメータとした次式（５）のスコア演算式が予め記憶され、当該スコア演算式に前記パラメータの各値を代入することで、スコアが算出される。
【数４】
上式において、「ＭＩＤＦ（ｗｉ，Ｔ）」は、ストップワードを除く出題文中の単語の集合「Ｔ」と、論文中の単語「ｗｉ」とにおけるスコアである。また、「ＭＩ（ｗｉ，ｗｊ）」は、出題文の集合「Ｔ」中の単語「ｗｊ」と論文中の単語「ｗｉ」における前述の相互情報量であり、「｜Ｔ｜」は、ストップワードを除く出題文中の単語の種類数である。更に、「ｉｄｆ（ｗｉ）」は、単語「ｗｉ」における前述の逆出現頻度であり、「ｅｉ」は、単語「ｗｉ」の論文中の出現数である。
【００２７】
つまり、ここでは、対象となる出題文中の各単語「ｗｊ」と論文中の各単語「ｗｉ」について、それぞれの組み合わせにおける相互情報量「ＭＩ（ｗｉ，ｗｊ）」が相互情報量データベース２４から抽出されるとともに、論文中の単語「ｗｉ」の逆出現頻度「ｉｄｆ（ｗｉ）」が逆出現頻度データベース２５から抽出される。そして、各相互情報量「ＭＩ（ｗｉ，ｗｊ）」及び逆出現頻度「ｉｄｆ（ｗｉ）」とともに、出題文カウント手段２１でカウントされた出題文中の単語の種類数「｜Ｔ｜」と、論文カウント手段２２でカウントされた単語「ｗｉ」の論文中の出現数「ｅｉ」とが、前記スコア演算式に代入され、論文中の単語「ｗｉ」毎に、スコア「ＭＩＤＦ（ｗｉ，Ｔ）」が求められる。上式（５）によれば、このスコアは、論文中の単語「ｗｉ」それぞれについての出題文中の各単語「ｗｊ」との組み合わせ全てにおける各相互情報量が加算されることになり、論文中の単語「ｗｉ」毎に一つの値が求められる。
【００２８】
前記スコア表作成手段２８では、次のようにしてスコア表が作成される。
【００２９】
このスコア表は、図２に示されるように、横軸がスコア、縦軸が、カウントされた数（単語数）となっている。横軸のスコアは、ゼロから所定の数値幅毎に区分され、各区分の数値幅ｄは、一定且つ均等に予め設定される。ここで、当該数値幅ｄは、所定の出題文に対して予め作成された多くの論文に基づき、次式（６）〜（８）で求められる。ここで、式（６）中「Ｌ」は、論文に拘らず予め設定された一定の区分数（例えば１０区分）であり、「Ｖ」は、各論文の単語毎に上式（５）で予め求められた各論文中の単語毎のスコア（ＭＩＤＦ）の値「ｖ」を要素とする集合を意味する。
【数５】
【００３０】
すなわち、式（７）は、求めたスコアの総数を「｜Ｖ｜」としたときに、各論文から求めた単語毎の全てのスコア「ｖ」の平均を求める数式であり、式（８）は、各論文から求めた単語毎の全てのスコア「ｖ」の不偏分散を求める数式である。
【００３１】
以上のようにして予め定められた前記数値幅ｄのスコア表に、論文中の単語毎にスコア算出手段２７でそれぞれ求めたスコアがスコア表に反映される。つまり、求めた多数のスコアを該当する区分毎にカウントして棒グラフのようにスコア表にグラフ化し、当該グラフパターンが学習者の作成論文のスコア表として記憶される。更に、論文カウント手段２２でカウントされた各数、すなわち、論文を構成する単語の総数、論文中の単語の種類数、及び論文を構成する文数もスコア表に反映される（図２中右端部分）。なお、これら各数については、そのうち何れか又は全てをスコア表に反映させなくても良い。
【００３２】
前記内容評価データベース３０は、１種類又は複数種類の出題文に対して多数の学習者が作成した多数の論文それぞれについて、前述のようにして作成した基準スコア表と、各基準スコア表に対応する論文をそれぞれ採点者が人的に評価した結果の評価値とが対応されて記憶されている。つまり、内容評価データベース３０には、スコアの分布状況のパターンが種々異なる基準スコア表が、人的に求められた評価値に対応して記憶されている。この評価値としては、特に限定されるものではないが、１から５の５段階評価や、０点から１００点までの点数評価や、合格、不合格のみの２段階評価等、種々の態様を採用することができる。例えば、評価値を５段階としたときの内容評価データベース３０での記憶データのイメージは、図３に示されている。
【００３３】
前記内容評価決定手段３１では、スコア表作成手段２８で作成された内容評価対象となる論文のスコア表と、内容評価データベース３０に記憶された全ての基準スコア表とがそれぞれ対比され、内容評価対象となる論文のスコア表に対して、スコアの分布状況のパターンが近い内容評価データベース３０の基準スコア表が抽出され、抽出された基準スコア表に対応して記憶された前記評価値が学習者の論文の内容評価とされる。ここで、各スコア表のパターンの近似判断は、サポートベクターマシン（ＳＶＭ）、ナイーブベイズ分類器、コサイン尺度、Ｋ近傍法等、予め設定された公知のパターン認識手法を用いて行われる。なお、ここでは、評価対象のスコア表に対し、スコアの分布状況のパターンが最も近い基準スコア表を抽出する他、評価対象のスコア表に対し、ある程度の範囲内で近い基準スコア表を複数抽出し、それぞれ対応する評価値の中で最も多く存在する評価値を選択し、前記評価値を学習者の論文の内容評価とすることもできる。また、パターン認識手法によって区分けされた各評価値の境界に対して近い代表点を評価値毎に設定し、評価対象となるスコア表が最も近くなる各代表点の基準スコア表を特定し、当該基準スコア表に対応する評価値を論文の内容評価とすることもできる。以上により、論文のスコア表とパターンが近い基準スコア表を抽出できる限り、前記パターン認識手法を用いた種々の手法を採用することができる。
【００３４】
前記評価結果送信手段３３では、内容評価決定手段３１で決定された評価値を内容評価結果として学習者の端末１１に送信する。
【００３５】
次に、本実施形態の論文内容評価装置１０における論文の内容評価の流れを説明する。
【００３６】
先ず、学習者が自己の端末１１から、論文内容評価装置１０に出題を要求すると、出題文抽出手段１４で出題文データベース１３から適当な出題文を抽出し、当該出題文が出題文送信手段１６から学習者の端末１１に送信される。学習者は、論文のテーマとなる英語の出題文（例えば、「Ｍｙ Ｆａｍｉｌｙ」）について、自己の思考に基づき英作文をしながら、英語の論文の作成を行う。当該論文作成終了後、学習者は、当該論文を自己の端末１１に入力し、論文内容評価装置１０に送信する。そして、受信手段１４で受信された学習者の論文は、論文カウント手段２２で、論文中の総単語数、論文中の各単語の出現数、論文中の単語の種類数、及び論文を構成する文数がカウントされる。これと前後して、出題文については、その構成単語のうち、ストップワードデータベース１９で記憶されたストップワードを除く単語の種類数が出題文カウント手段２１でカウントされる。なお、ここでカウントされる出題文中の単語の種類数は、出題文と対応して予め出題文データベース１３に記憶させておいてもよい。
【００３７】
更に、ストップワードを除く論文中の各一単語について、スコア算出手段２７でスコアがそれぞれ求められる。この際、出題文中の単語と論文中の単語との相互情報量が相互情報量データベース２４から抽出され、論文中の単語の逆出現頻度が逆出現頻度データベース２５から抽出される。そして、出題文中の単語と論文中の単語について、これら一対の単語の相互情報量と、当該一対の単語のうちの論文中の単語の逆出現頻度と、論文カウント手段２２でカウントされた論文中の単語の出現数と、出題文カウント手段２１でカウントされた出題文の単語の種類数とが、前述のスコア演算式に代入され、スコアが求められる。
【００３８】
例えば、出題文が「Ｔｈｅ ｈｏｌｉｄａｙ ｏｆ ｔｈｅ ｆａｍｉｌｙ」であった場合、学習者が作成した論文中の一単語、例えば「Ｍｏｔｈｅｒ」についてスコアを求める場合、次のようになる。先ず、ストップワードデータベース１９により、出題文中で、単語「ｈｏｌｉｄａｙ」及び「ｆａｍｉｌｙ」以外は、ストップワードとして特定される。そして、相互情報量データベース２４から抽出された出題文中のストップワード以外の各単語の各相互情報量、すなわち、単語「ｈｏｌｉｄａｙ」と単語「Ｍｏｔｈｅｒ」の相互情報量と、単語「Ｆａｍｉｌｙ」と単語「Ｍｏｔｈｅｒ」の相互情報量とが加算された上で、逆出現頻度データベース２５から抽出された論文中の単語「Ｍｏｔｈｅｒ」の逆出現頻度と、論文カウント手段２２でカウントされた論文中の単語「Ｍｏｔｈｅｒ」の出現数と、出題文カウント手段２１でカウントされた出題文を構成する単語の種類数「２」とが前述のスコア演算式に代入され、論文中の単語「Ｍｏｔｈｅｒ」について、スコアが求められる。同様に、論文中の他の単語それぞれについて、出題文中のストップワードを除く単語の集合（単語「ｈｏｌｉｄａｙ」と単語「Ｍｏｔｈｅｒ」）におけるスコアがそれぞれ求められる。なお、出題文中及び論文中における各単語の大文字、小文字の情報については、双方同一の文字情報として前述の処理を行うことが好ましい。
【００３９】
このように、評価対象となる論文からは、多数のスコアが求められることになり、当該求められた各スコアは、スコア表作成手段２８により、予め設定された一定の数値幅ｄのスコア表に投票される。また、論文カウント手段２２でカウントされた論文中の総単語数、当該論文の単語の種類数、及び論文を構成する文数もスコア表に反映される。
【００４０】
以上のようにして作成されたスコア表は、内容評価データベース３０に予め記憶された基準スコア表と対比され、内容評価決定手段３１でのパターン認識処理により、スコアの分布状況のパターンが近い内容評価データベース３０の基準スコア表が決定され、当該決定された基準スコア表に対応して記憶された評価値が、学習者が作成した論文の評価値とされる。例えば、学習者が作成した論文のスコア表が、図２に示されるようなパターンとなった場合、前記パターン認識処理により、内容評価データベース３０中に記憶されたスコア表の中で最も近いパターンである図３中最下部の基準スコア表が抽出され、当該基準スコア表に対応して記憶されている評価値「４」が論文の評価値となる。そして、当該評価値は、評価結果として評価結果送信手段３３から学習者の端末１１に送信される。
【００４１】
本発明者らの実験研究によれば、前記実施形態に係る論文内容評価装置１０で多数の論文の内容を評価したところ、同一の論文を多くの採点者が採点した結果に近い結果が得られたことが実証された。
【００４２】
従って、このような実施形態によれば、採点者が人的に評価する場合に近い論文の内容評価を自動的に得ることができる。また、学習者が作成した論文からスコア表が作成され、予め用意した基準スコア表のパターンとの対比のみで論文が評価されることになり、基準スコア表は、出題文を統一して作成しなくても良い。このため、出題文に対する数多くの模範論文をセットで用意して予め採点した上で記憶させる等、出題文に対応したデータを用意する必要がなく、装置内の出題文の追加変更削除等を簡単な作業で行うことができる。
【００４３】
なお、本発明の論文内容評価装置１０は、英語の論文の内容評価に限らず、同様の手段及び手順で、他の言語の出題文に対する同一言語の論文の内容評価にも適用することができる。
【００４４】
また、前記実施形態にあっては、論文内容評価装置１０をサーバ形式としているが、本発明はこれに限らず、コンピュータを、前記相互情報量データベースと、前記逆出現頻度データベースと、前記スコア算出手段と、前記スコア表作成手段と、前記内容評価データベースと、前記内容評価決定手段として機能させるプログラムを用意し、当該プログラムを論文の学習者となる利用者の端末にインストールして、当該端末自体を論文内容評価装置として機能させることもできる。
【００４５】
その他、本発明における各種構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【符号の説明】
【００４６】
１０ 論文内容評価装置
１９ ストップワードデータベース
２１ 出題文カウント手段
２２ 論文カウント手段
２４ 相互情報量データベース
２５ 内容評価データベース
２７ スコア算出手段
２８ スコア表作成手段
３０ 内容評価データベース
３１ 内容評価決定手段
【技術分野】
【０００１】
本発明は、論文内容評価装置及び論文内容評価プログラムに係り、更に詳しくは、論文のテーマとなる出題文に基づいて、当該出題文と同一の言語で学習者が作成した論文の内容を自動評価することのできる論文内容評価装置及び論文内容評価プログラムに関する。
【背景技術】
【０００２】
あるテーマに基づいて学習者が作成した論文の内容を自動的に採点する文章評価採点装置が提案されている（特許文献１参照）。この文章評価採点装置は、次の手順により、出題文と採点対象の小論文との近似度が求められ、当該近似度に基づき小論文の評価採点が行われる。すなわち、予め、新聞記事などの多くの文書を集めて、単語−文書行列が作成され、当該行列を特異値分解することにより、単語と文書の関係を表す行列が求められる。そして、当該行列を用いることで、出題文を構成する単語のベクトルと小論文を構成する単語のベクトルとがそれぞれ文書ベクトルに変換される。その後、コサイン尺度と呼ばれる手法により、両文書ベクトルの近似度が求められて得点対象とされる。この近似度は、各文書ベクトルが近い程、高得点となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５１７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記文章評価採点装置にあっては、当該技術に関する評価を示した論文によると、１００〜２００文字程度の長い問題文でないと上手く採点できないという問題がある。また、前記文章評価採点装置では、小論文の採点結果が、人的な採点結果と必ずしも一致しないという問題もある。すなわち、前記文章評価採点装置では、採点者の観点が全く入らずに、出題文と採点対象の小論文がどの程度近似しているかのみでの採点であり、採点者の感覚に近い採点を行うことができない。例えば、学習者が作成した小論文中の各単語について、出題文中の各単語に対する関連性が高い単語、中程度の単語、低い単語という具合に区別したときに、前記関連性の高い単語及び低い単語が多い一方で前記中程度の単語が少ないようなケースでは、内容の統一感がなく、論述の流れが悪いとして、採点者にマイナスイメージを多く与える可能性がある。ところが、このケースに対し、逆に、前記関連性の高い単語及び低い単語が少ない一方で前記中程度の単語が多いような論文は、前記文章評価採点装置で先のケースの近似度と同一値と算出されても、採点者による採点で、先のケースよりも良い点数と判断されることがある。従って、論文の自動評価を行うためのロジックとして、採点者の主観的な評価基準も何らかの形で反映しないと、採点者の採点結果とずれが生じ得ることになり、採点現場での利用が敬遠される虞がある。ここで、前記特許文献１の文書評価採点装置に採点者の観点を入れるには、基準となる小論文の収集と採点が出題文の種類毎に必要になることから、基礎データの構築の手間が煩雑になり、バリエーションの異なる出題文を簡単に変えることが困難になる。
【０００５】
本発明は、このような課題に着目して案出されたものであり、その目的は、出題文を変えたときに採点用のデータ調整を新たに行う必要がなく、出題文を低コストで自由に設定できるとともに、論文評価者の人的な内容評価に近い評価結果を得ることができる論文内容評価装置及び論文内容評価プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
（１）前記目的を達成するため、本発明は、論文のテーマとなる出題文に基づいて、当該出題文と同一の言語で学習者が作成した論文の内容を自動評価する論文内容評価装置において、
一対の単語が同一文書に登場する可能性を表す指標となる相互情報量が単語の組み合わせ毎に記憶された相互情報量データベースと、
多くの文書に出現する一般的な単語ほど数値が低くなる逆出現頻度が単語毎に記憶された逆出現頻度データベースと、
前記相互情報量データベース及び前記逆出現頻度データベースから抽出したデータを予め記憶された数式に代入することで前記論文中の一単語と前記出題文との関連度を表すスコアを求めるスコア算出手段と、
前記スコア算出手段で前記論文中の単語毎にそれぞれ求められたスコアから、当該スコアの分布状況を表すスコア表を作成するスコア表作成手段と、
前記分布状況のパターンがそれぞれ異なる複数種の基準スコア表と当該各基準スコア表に対応した人的な内容評価とが記憶された内容評価データベースと、
前記スコア表作成手段で作成された前記スコア表に近い前記内容評価データベースの基準スコア表を抽出し、当該基準スコア表に対応する内容評価を前記論文の内容評価とする内容評価決定手段とを備える、という構成を採っている。
【０００７】
（２）また、前記論文中の各単語の出現数をカウントする機能を含む論文カウント手段を備え、前記スコア算出手段では、前記相互情報量と、前記逆出現頻度と、前記単語の出現数と、前記出題文を構成する単語の種類数とをパラメータとしたスコア演算式が予め記憶され、当該スコア演算式に、前記出題文中の一単語と前記論文中の一単語からなる一対の対象単語について前記相互情報量データベースから抽出された前記相互情報量と、前記一対の対象単語のうち前記論文中の一単語について前記逆出現頻度データベースから抽出された前記逆出現頻度と、前記一対の対象単語のうち前記論文中の一単語について前記論文カウント手段でカウントされた前記出現数と、予めカウントされた前記出題文中の単語の種類数とが代入されることで、前記スコアが算出される、という構成を採っている。
ことが好ましい。
【０００８】
（３）更に、前記出題文を構成する単語の種類数をカウントする出題文カウント手段を備え、当該出題文カウント手段でカウントされた単語の種類数を前記スコア演算式に代入する、という構成も併せて採用することができる。
【０００９】
（４）ここで、種々の文書に頻出する単語で一部の処理時に除外対象とするストップワードが記憶されたストップワードデータベースを備え、前記出題文カウント手段は、前記ストップワードデータベースに記憶されたストップワードを除いて前記出題文中の単語の種類数をカウントする、という構成を採るとよい。
【００１０】
（５）また、種々の文書に頻出する単語で一部の処理時に除外対象とするストップワードが記憶されたストップワードデータベースを備え、前記スコア算出手段では、前記ストップワードデータベースに基づき、前記ストップワードを除く前記論文中の一単語と前記ストップワードを除く前記出題文中の一単語との全て組み合わせについて、前記スコアを算出する、という構成を採ることが好ましい。
【００１１】
（６）更に、前記内容評価決定手段では、内容評価対象となる論文の前記スコア表と、前記内容評価データベースに記憶された前記各基準スコア表とがそれぞれ対比され、予め設定されたパターン認識手法により、前記スコア表作成手段で作成されたスコア表に近いパターンの前記基準スコア表が選択される、という構成を採用している。
【００１２】
（７）また、本発明は、論文のテーマとなる出題文に基づいて、当該出題文と同一の言語で学習者が作成した論文の内容を自動評価する処理をコンピュータに実行させるためのプログラムにおいて、
一対の単語が同一文書に登場する可能性を表す指標となる相互情報量が単語の組み合わせ毎に記憶された相互情報量データベースと、
多くの文書に出現する一般的な単語ほど数値が低くなる逆出現頻度が単語毎に記憶された逆出現頻度データベースと、
前記相互情報量データベース及び前記逆出現頻度データベースから抽出したデータを予め記憶された数式に代入することで前記論文中の一単語と前記出題文との関連度を表すスコアを求めるスコア算出手段と、
前記スコア算出手段で前記論文の単語毎にそれぞれ求められたスコアから、当該スコアの分布状況を表すスコア表を作成するスコア表作成手段と、
前記分布状況のパターンがそれぞれ異なる複数種の基準スコア表と当該各基準スコア表に対応した論文の内容評価とが記憶された内容評価データベースと、
前記スコア表作成手段で作成された前記スコア表に近い前記内容評価データベースの基準スコア表を抽出し、当該基準スコア表に対応する内容評価を前記論文の内容評価とする内容評価決定手段として前記コンピュータを機能させる、という構成を採っている。
【発明の効果】
【００１３】
本発明によれば、出題文を構成する各単語と学習者が作成した論文の各単語との組み合わせから一つの値を総合的に求めて内容評価するのではなく、各スコアの分布状況を表すスコア表を作成した上で、人的な内容評価に対応して予め記憶されている基準スコア表の中から、論文のスコア表と分布状況のパターンの近い基準スコア表を選択し、当該基準スコア表に紐付いている内容評価が論文の内容評価とされる。つまり、スコア表上で表されたスコアのパターン自体を出題文の内容に関係なく対比することにより、論文の内容評価が決定される。このため、出題文が変わっても、内容評価データベースのデータを変更する必要がなく、そのままのデータで学習者の論文の内容評価がなされることになる。従って、出題文毎に基準スコア表を作成する必要がなく、出題者側での出題文の変更を低コストで簡単に行うことができる。また、既存の論文類から前記スコア表作成手段での手順と同様の手順で基準スコア表を作成するときに、同時に、採点者が前記既存の論文類の内容を人的に評価し、この人的な内容評価を基準スコア表に対応させることにより、論文評価者の人的な採点評価に近い評価結果を得ることができる。また、本発明によれば、出題文が少ない単語数で構成されていても正確な採点が可能になる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係る論文内容評価装置の概略システム構成図。
【図２】スコア表のイメージ図。
【図３】内容評価データベースのイメージ図。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１６】
図１には、本実施形態に係る論文内容評価装置の概略システム構成図が示されている。この図において、論文内容評価装置１０は、学生等の学習者の英語論文作成教育用として利用され、学習者が作成した英語論文の内容を自動的に評価する装置である。この論文内容評価装置１０は、ＣＰＵ等の演算処理装置、メモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを後述する各手段として機能させるためのプログラムがインストールされている。すなわち、本実施形態に係る論文内容評価装置１０は、学習者が保有するパーソナルコンピュータ等の端末１１に対し、インターネット回線等のデータ回線で接続されるサーバとして機能し、学習者が作成した論文を受信すると、当該論文の内容を自動評価した上で当該評価結果を学習者に送信するようになっている。
【００１７】
具体的に、前記論文内容評価装置１０は、論文のテーマとなる英語の出題文が複数種記憶された出題文データベース１３と、端末１１からの要求に応じて出題文データベース１３から出題文を抽出する出題文抽出手段１４と、当該出題文を端末１１に送信する出題文送信手段１６と、学習者が端末１１で受信した出題文に基づいて英語で論文を作成した後で端末１１に入力された当該論文を受信する受信手段１７と、種々の文書に頻出する単語で一部の処理時に除外対象とするストップワードが記憶されたストップワードデータベース１９と、前記出題文を構成する単語の種類数をカウントする出題文カウント手段２１と、論文中の単語数や文数などをカウントする論文カウント手段２２と、一対の単語が同一文書に登場する可能性を表す指標となる相互情報量が単語の組み合わせ毎に記憶された相互情報量データベース２４と、文書に出現する単語の頻度の逆数を表す逆出現頻度が単語毎に記憶された逆出現頻度データベース２５と、論文中の各一単語と出題文の集合との関連度を表すスコアを求めるスコア算出手段２７と、スコア算出手段２７で論文中の各単語についてそれぞれ求めたスコアから、当該スコアの分布状況を表すスコア表を作成するスコア表作成手段２８と、スコアの分布状況のパターンがそれぞれ異なる多種の基準スコア表と論文の内容評価とが対応して記憶された内容評価データベース３０と、スコア表作成手段２８で作成されたスコア表から、内容評価データベース３０に基づいて学習者が作成した論文の内容評価を決定する内容評価決定手段３１と、内容評価決定手段３１で決定された内容評価をデータ回線経由で学習者の端末１１に送信する評価結果送信手段３３とを備えて構成されている。
【００１８】
前記出題文データベース１３は、出題者によって決定された論文のテーマを英文で記載した出題文が多数記憶されている。当該出題文は、特に限定されるものではないが、学習者の学年毎やレベル毎の他に、テーマのジャンル別等、種々のカテゴリー毎に設定されている。なお、前記出題文データベース１３は、新たな出題文を逐次追加できる機能を備えていても良い。
【００１９】
前記出題文抽出手段１４は、学習者の端末１１から要求があると、当該要求に応じたカテゴリーの中から、ランダムに、若しくは、一定規則に従って、出題文を抽出し、当該出題文を出題文送信手段１６から端末１１に送信するようになっている。
【００２０】
前記ストップワードデータベース１９には、大部分の文書に頻出する単語、例えば、「ａ」、「ａｎ」等の冠詞、「ｉｎ」、「ｏｎ」等の前置詞、「ｉｔ」、「ｔｈａｔ」等の代名詞、「ｗｈｉｃｈ」、「ｗｈｏ」等の疑問詞、「ｉｓ」、「ａｒｅ」のｂｅ動詞、「ｃａｎ」、「ｍａｙ」等の助動詞等の頻出単語が予め記憶されている。
【００２１】
前記出題文カウント手段２１では、出題文中のスペースを手掛かりにして当該出題文を構成する単語を特定した後で、ストップワードデータベース１９に記憶されたストップワードを除く出題文中の単語の種類数をカウントするようになっている。つまり、出題文中に同じ単語が繰り返して出現する場合でも、当該単語を「１」としてカウントする。
【００２２】
前記論文カウント手段２２は、論文中のスペースを手掛かりにして当該論文を構成する単語を特定する機能と、当該単語の特定後に論文中の単語の総数をカウントする機能と、前記単語の特定後に論文中の各単語の出現数をカウントする機能と、前記単語の特定後に論文中の単語の種類数をカウントする機能と、論文を構成する文数をカウントする機能とを有している。ここで、論文中の各単語の出現数は、論文中に同一の単語が何回出現するか、各単語別に計数される。また、論文中の単語の種類数は、出題文カウント手段２１でのカウントと同様に、論文に重複して登場する同一の単語をまとめて「１種類」と計数し、論文中に重複して登場しない単語を一単語につき「１種類」と計数することで求められる。更に、論文を構成する文数は、論文中に存在するピリオド、感嘆符、疑問符の何れかを検出し、当該ピリオド等で区切られた一領域を「一文」として論文全体を計数することで求められる。
【００２３】
前記相互情報量データベース２４には、学習者が使用する可能性のある相当数の英単語中の一対の単語同士の前記相互情報量が単語の組み合わせ毎に記憶されている。当該相互情報量は、新聞や雑誌等、様々なジャンルの多くの文書に記載された英単語から、以下のように、コンピュータ等の図示しない演算装置を使って予め求められる。
【００２４】
すなわち、ある単語「ｗｉ」と他の単語「ｗｊ」との相互情報量ＭＩは、次式（１）によって求められる。なお、以下の各数式において、対数は、自然対数に限らず、種々の底を採ることもできる。
【数１】
ここで、ｐ（ｗｉ，ｗｊ）、ｐ（ｗｉ）、ｐ（ｗｊ）は、次式（２）、（３）で表される。
【数２】
上式（２）、（３）において、「Ｎ」は、相互情報量を求めるために使用した全文書数である。また、「ｎｉｊ」は、前記全文書の中で、単語「ｗｉ」と単語「ｗｊ」の組み合わせが存在する文書数である。つまり、この「ｎｉｊ」は、ある一文書内に単語「ｗｉ」と単語「ｗｊ」の組み合わせが複数存在していても、一文書で「１」とカウントされる。
例えば、全文書数Ｎが１０００であるとして、その中で、単語「ｗｉ」と単語「ｗｊ」が共に登場している文書数ｎｉｊが５０であれば、
ｐ（ｗｉ，ｗｊ）＝５０／１０００＝０．０５
となる。
なお、「Ｎ」を全文書中にそれぞれ存在する文の総数とし、「ｎｉｊ」を、全文書中で、単語「ｗｉ」と単語「ｗｊ」の組み合わせが存在する文の数としてもよい。
また、ｐ（ｗｉ）、ｐ（ｗｊ）を求める上式（３）の分母は、全文書中に存在する単語の総数を意味し、「ｆｉ」は、全文書中での単語「ｗｉ」の出現数であり、「ｆｊ」は、全文書中での単語「ｗｊ」の出現数である。
【００２５】
前記逆出現頻度データベース２５に記憶された逆出現頻度は、前述の相互情報量と同様に、新聞や雑誌等、様々なジャンルの多くの文書に記載された英単語から、コンピュータ等の図示しない演算装置を使って予め求められる。具体的に、単語「ｗｉ」の逆出現頻度ｉｄｆ（ｗｉ）は、次式（４）により求められる。
【数３】
ここで、「Ｎ」は、相互情報量を求める場合と同様、逆出現頻度を求めるために使用した全文書数であり、「ｎｉ」は、当該全文書の中で、単語「ｗｉ」が含まれている文書数である。つまり、この「ｎｉ」は、ある一文書内に単語「ｗｉ」がいくつ存在していても、一文書で「１」とカウントされる。
上式（４）により、逆出現頻度ｉｄｆ（ｗｉ）は、多くの文書に出現する一般的な単語ほど低い数値となる。
【００２６】
前記スコア算出手段２７では、学習者が作成した論文中の単語のうち、ストップワードデータベース１９に記憶された単語（ストップワード）を除く単語全てについて、ストップワードを除く出題文中の各単語との関係に基づき求めたスコアがそれぞれ算出される。すなわち、スコア算出手段２７では、前記相互情報量と、前記逆出現頻度と、論文中の単語の出現数と、出題文中の単語の種類数とをパラメータとした次式（５）のスコア演算式が予め記憶され、当該スコア演算式に前記パラメータの各値を代入することで、スコアが算出される。
【数４】
上式において、「ＭＩＤＦ（ｗｉ，Ｔ）」は、ストップワードを除く出題文中の単語の集合「Ｔ」と、論文中の単語「ｗｉ」とにおけるスコアである。また、「ＭＩ（ｗｉ，ｗｊ）」は、出題文の集合「Ｔ」中の単語「ｗｊ」と論文中の単語「ｗｉ」における前述の相互情報量であり、「｜Ｔ｜」は、ストップワードを除く出題文中の単語の種類数である。更に、「ｉｄｆ（ｗｉ）」は、単語「ｗｉ」における前述の逆出現頻度であり、「ｅｉ」は、単語「ｗｉ」の論文中の出現数である。
【００２７】
つまり、ここでは、対象となる出題文中の各単語「ｗｊ」と論文中の各単語「ｗｉ」について、それぞれの組み合わせにおける相互情報量「ＭＩ（ｗｉ，ｗｊ）」が相互情報量データベース２４から抽出されるとともに、論文中の単語「ｗｉ」の逆出現頻度「ｉｄｆ（ｗｉ）」が逆出現頻度データベース２５から抽出される。そして、各相互情報量「ＭＩ（ｗｉ，ｗｊ）」及び逆出現頻度「ｉｄｆ（ｗｉ）」とともに、出題文カウント手段２１でカウントされた出題文中の単語の種類数「｜Ｔ｜」と、論文カウント手段２２でカウントされた単語「ｗｉ」の論文中の出現数「ｅｉ」とが、前記スコア演算式に代入され、論文中の単語「ｗｉ」毎に、スコア「ＭＩＤＦ（ｗｉ，Ｔ）」が求められる。上式（５）によれば、このスコアは、論文中の単語「ｗｉ」それぞれについての出題文中の各単語「ｗｊ」との組み合わせ全てにおける各相互情報量が加算されることになり、論文中の単語「ｗｉ」毎に一つの値が求められる。
【００２８】
前記スコア表作成手段２８では、次のようにしてスコア表が作成される。
【００２９】
このスコア表は、図２に示されるように、横軸がスコア、縦軸が、カウントされた数（単語数）となっている。横軸のスコアは、ゼロから所定の数値幅毎に区分され、各区分の数値幅ｄは、一定且つ均等に予め設定される。ここで、当該数値幅ｄは、所定の出題文に対して予め作成された多くの論文に基づき、次式（６）〜（８）で求められる。ここで、式（６）中「Ｌ」は、論文に拘らず予め設定された一定の区分数（例えば１０区分）であり、「Ｖ」は、各論文の単語毎に上式（５）で予め求められた各論文中の単語毎のスコア（ＭＩＤＦ）の値「ｖ」を要素とする集合を意味する。
【数５】
【００３０】
すなわち、式（７）は、求めたスコアの総数を「｜Ｖ｜」としたときに、各論文から求めた単語毎の全てのスコア「ｖ」の平均を求める数式であり、式（８）は、各論文から求めた単語毎の全てのスコア「ｖ」の不偏分散を求める数式である。
【００３１】
以上のようにして予め定められた前記数値幅ｄのスコア表に、論文中の単語毎にスコア算出手段２７でそれぞれ求めたスコアがスコア表に反映される。つまり、求めた多数のスコアを該当する区分毎にカウントして棒グラフのようにスコア表にグラフ化し、当該グラフパターンが学習者の作成論文のスコア表として記憶される。更に、論文カウント手段２２でカウントされた各数、すなわち、論文を構成する単語の総数、論文中の単語の種類数、及び論文を構成する文数もスコア表に反映される（図２中右端部分）。なお、これら各数については、そのうち何れか又は全てをスコア表に反映させなくても良い。
【００３２】
前記内容評価データベース３０は、１種類又は複数種類の出題文に対して多数の学習者が作成した多数の論文それぞれについて、前述のようにして作成した基準スコア表と、各基準スコア表に対応する論文をそれぞれ採点者が人的に評価した結果の評価値とが対応されて記憶されている。つまり、内容評価データベース３０には、スコアの分布状況のパターンが種々異なる基準スコア表が、人的に求められた評価値に対応して記憶されている。この評価値としては、特に限定されるものではないが、１から５の５段階評価や、０点から１００点までの点数評価や、合格、不合格のみの２段階評価等、種々の態様を採用することができる。例えば、評価値を５段階としたときの内容評価データベース３０での記憶データのイメージは、図３に示されている。
【００３３】
前記内容評価決定手段３１では、スコア表作成手段２８で作成された内容評価対象となる論文のスコア表と、内容評価データベース３０に記憶された全ての基準スコア表とがそれぞれ対比され、内容評価対象となる論文のスコア表に対して、スコアの分布状況のパターンが近い内容評価データベース３０の基準スコア表が抽出され、抽出された基準スコア表に対応して記憶された前記評価値が学習者の論文の内容評価とされる。ここで、各スコア表のパターンの近似判断は、サポートベクターマシン（ＳＶＭ）、ナイーブベイズ分類器、コサイン尺度、Ｋ近傍法等、予め設定された公知のパターン認識手法を用いて行われる。なお、ここでは、評価対象のスコア表に対し、スコアの分布状況のパターンが最も近い基準スコア表を抽出する他、評価対象のスコア表に対し、ある程度の範囲内で近い基準スコア表を複数抽出し、それぞれ対応する評価値の中で最も多く存在する評価値を選択し、前記評価値を学習者の論文の内容評価とすることもできる。また、パターン認識手法によって区分けされた各評価値の境界に対して近い代表点を評価値毎に設定し、評価対象となるスコア表が最も近くなる各代表点の基準スコア表を特定し、当該基準スコア表に対応する評価値を論文の内容評価とすることもできる。以上により、論文のスコア表とパターンが近い基準スコア表を抽出できる限り、前記パターン認識手法を用いた種々の手法を採用することができる。
【００３４】
前記評価結果送信手段３３では、内容評価決定手段３１で決定された評価値を内容評価結果として学習者の端末１１に送信する。
【００３５】
次に、本実施形態の論文内容評価装置１０における論文の内容評価の流れを説明する。
【００３６】
先ず、学習者が自己の端末１１から、論文内容評価装置１０に出題を要求すると、出題文抽出手段１４で出題文データベース１３から適当な出題文を抽出し、当該出題文が出題文送信手段１６から学習者の端末１１に送信される。学習者は、論文のテーマとなる英語の出題文（例えば、「Ｍｙ Ｆａｍｉｌｙ」）について、自己の思考に基づき英作文をしながら、英語の論文の作成を行う。当該論文作成終了後、学習者は、当該論文を自己の端末１１に入力し、論文内容評価装置１０に送信する。そして、受信手段１４で受信された学習者の論文は、論文カウント手段２２で、論文中の総単語数、論文中の各単語の出現数、論文中の単語の種類数、及び論文を構成する文数がカウントされる。これと前後して、出題文については、その構成単語のうち、ストップワードデータベース１９で記憶されたストップワードを除く単語の種類数が出題文カウント手段２１でカウントされる。なお、ここでカウントされる出題文中の単語の種類数は、出題文と対応して予め出題文データベース１３に記憶させておいてもよい。
【００３７】
更に、ストップワードを除く論文中の各一単語について、スコア算出手段２７でスコアがそれぞれ求められる。この際、出題文中の単語と論文中の単語との相互情報量が相互情報量データベース２４から抽出され、論文中の単語の逆出現頻度が逆出現頻度データベース２５から抽出される。そして、出題文中の単語と論文中の単語について、これら一対の単語の相互情報量と、当該一対の単語のうちの論文中の単語の逆出現頻度と、論文カウント手段２２でカウントされた論文中の単語の出現数と、出題文カウント手段２１でカウントされた出題文の単語の種類数とが、前述のスコア演算式に代入され、スコアが求められる。
【００３８】
例えば、出題文が「Ｔｈｅ ｈｏｌｉｄａｙ ｏｆ ｔｈｅ ｆａｍｉｌｙ」であった場合、学習者が作成した論文中の一単語、例えば「Ｍｏｔｈｅｒ」についてスコアを求める場合、次のようになる。先ず、ストップワードデータベース１９により、出題文中で、単語「ｈｏｌｉｄａｙ」及び「ｆａｍｉｌｙ」以外は、ストップワードとして特定される。そして、相互情報量データベース２４から抽出された出題文中のストップワード以外の各単語の各相互情報量、すなわち、単語「ｈｏｌｉｄａｙ」と単語「Ｍｏｔｈｅｒ」の相互情報量と、単語「Ｆａｍｉｌｙ」と単語「Ｍｏｔｈｅｒ」の相互情報量とが加算された上で、逆出現頻度データベース２５から抽出された論文中の単語「Ｍｏｔｈｅｒ」の逆出現頻度と、論文カウント手段２２でカウントされた論文中の単語「Ｍｏｔｈｅｒ」の出現数と、出題文カウント手段２１でカウントされた出題文を構成する単語の種類数「２」とが前述のスコア演算式に代入され、論文中の単語「Ｍｏｔｈｅｒ」について、スコアが求められる。同様に、論文中の他の単語それぞれについて、出題文中のストップワードを除く単語の集合（単語「ｈｏｌｉｄａｙ」と単語「Ｍｏｔｈｅｒ」）におけるスコアがそれぞれ求められる。なお、出題文中及び論文中における各単語の大文字、小文字の情報については、双方同一の文字情報として前述の処理を行うことが好ましい。
【００３９】
このように、評価対象となる論文からは、多数のスコアが求められることになり、当該求められた各スコアは、スコア表作成手段２８により、予め設定された一定の数値幅ｄのスコア表に投票される。また、論文カウント手段２２でカウントされた論文中の総単語数、当該論文の単語の種類数、及び論文を構成する文数もスコア表に反映される。
【００４０】
以上のようにして作成されたスコア表は、内容評価データベース３０に予め記憶された基準スコア表と対比され、内容評価決定手段３１でのパターン認識処理により、スコアの分布状況のパターンが近い内容評価データベース３０の基準スコア表が決定され、当該決定された基準スコア表に対応して記憶された評価値が、学習者が作成した論文の評価値とされる。例えば、学習者が作成した論文のスコア表が、図２に示されるようなパターンとなった場合、前記パターン認識処理により、内容評価データベース３０中に記憶されたスコア表の中で最も近いパターンである図３中最下部の基準スコア表が抽出され、当該基準スコア表に対応して記憶されている評価値「４」が論文の評価値となる。そして、当該評価値は、評価結果として評価結果送信手段３３から学習者の端末１１に送信される。
【００４１】
本発明者らの実験研究によれば、前記実施形態に係る論文内容評価装置１０で多数の論文の内容を評価したところ、同一の論文を多くの採点者が採点した結果に近い結果が得られたことが実証された。
【００４２】
従って、このような実施形態によれば、採点者が人的に評価する場合に近い論文の内容評価を自動的に得ることができる。また、学習者が作成した論文からスコア表が作成され、予め用意した基準スコア表のパターンとの対比のみで論文が評価されることになり、基準スコア表は、出題文を統一して作成しなくても良い。このため、出題文に対する数多くの模範論文をセットで用意して予め採点した上で記憶させる等、出題文に対応したデータを用意する必要がなく、装置内の出題文の追加変更削除等を簡単な作業で行うことができる。
【００４３】
なお、本発明の論文内容評価装置１０は、英語の論文の内容評価に限らず、同様の手段及び手順で、他の言語の出題文に対する同一言語の論文の内容評価にも適用することができる。
【００４４】
また、前記実施形態にあっては、論文内容評価装置１０をサーバ形式としているが、本発明はこれに限らず、コンピュータを、前記相互情報量データベースと、前記逆出現頻度データベースと、前記スコア算出手段と、前記スコア表作成手段と、前記内容評価データベースと、前記内容評価決定手段として機能させるプログラムを用意し、当該プログラムを論文の学習者となる利用者の端末にインストールして、当該端末自体を論文内容評価装置として機能させることもできる。
【００４５】
その他、本発明における各種構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【符号の説明】
【００４６】
１０ 論文内容評価装置
１９ ストップワードデータベース
２１ 出題文カウント手段
２２ 論文カウント手段
２４ 相互情報量データベース
２５ 内容評価データベース
２７ スコア算出手段
２８ スコア表作成手段
３０ 内容評価データベース
３１ 内容評価決定手段
【特許請求の範囲】
【請求項１】
論文のテーマとなる出題文に基づいて、当該出題文と同一の言語で学習者が作成した論文の内容を自動評価する論文内容評価装置において、
一対の単語が同一文書に登場する可能性を表す指標となる相互情報量が単語の組み合わせ毎に記憶された相互情報量データベースと、
多くの文書に出現する一般的な単語ほど数値が低くなる逆出現頻度が単語毎に記憶された逆出現頻度データベースと、
前記相互情報量データベース及び前記逆出現頻度データベースから抽出したデータを予め記憶された数式に代入することで前記論文中の一単語と前記出題文との関連度を表すスコアを求めるスコア算出手段と、
前記スコア算出手段で前記論文中の単語毎にそれぞれ求められたスコアから、当該スコアの分布状況を表すスコア表を作成するスコア表作成手段と、
前記分布状況のパターンがそれぞれ異なる複数種の基準スコア表と当該各基準スコア表に対応した人的な内容評価とが記憶された内容評価データベースと、
前記スコア表作成手段で作成された前記スコア表に近い前記内容評価データベースの基準スコア表を抽出し、当該基準スコア表に対応する内容評価を前記論文の内容評価とする内容評価決定手段とを備えたことを特徴とする論文内容評価装置。
【請求項２】
前記論文中の各単語の出現数をカウントする機能を含む論文カウント手段を備え、
前記スコア算出手段では、前記相互情報量と、前記逆出現頻度と、前記単語の出現数と、前記出題文を構成する単語の種類数とをパラメータとしたスコア演算式が予め記憶され、当該スコア演算式に、前記出題文中の一単語と前記論文中の一単語からなる一対の対象単語について前記相互情報量データベースから抽出された前記相互情報量と、前記一対の対象単語のうち前記論文中の一単語について前記逆出現頻度データベースから抽出された前記逆出現頻度と、前記一対の対象単語のうち前記論文中の一単語について前記論文カウント手段でカウントされた前記出現数と、予めカウントされた前記出題文中の単語の種類数とが代入されることで、前記スコアが算出されることを特徴とする請求項１記載の論文内容評価装置。
【請求項３】
前記出題文を構成する単語の種類数をカウントする出題文カウント手段を備え、当該出題文カウント手段でカウントされた単語の種類数を前記スコア演算式に代入することを特徴とする請求項１又は２記載の論文内容評価装置。
【請求項４】
種々の文書に頻出する単語で一部の処理時に除外対象とするストップワードが記憶されたストップワードデータベースを備え、
前記出題文カウント手段は、前記ストップワードデータベースに記憶されたストップワードを除いて前記出題文中の単語の種類数をカウントすることを特徴とする請求項３記載の論文内容評価装置。
【請求項５】
種々の文書に頻出する単語で一部の処理時に除外対象とするストップワードが記憶されたストップワードデータベースを備え、
前記スコア算出手段では、前記ストップワードデータベースに基づき、前記ストップワードを除く前記論文中の一単語と前記ストップワードを除く前記出題文中の一単語との全て組み合わせについて、前記スコアを算出することを特徴とする請求項１、２又は３記載の論文内容評価装置。
【請求項６】
前記内容評価決定手段では、内容評価対象となる論文の前記スコア表と、前記内容評価データベースに記憶された前記各基準スコア表とがそれぞれ対比され、予め設定されたパターン認識手法により、前記スコア表作成手段で作成されたスコア表に近いパターンの前記基準スコア表が選択されることを特徴とする請求項１〜５の何れかに記載の論文内容評価装置。
【請求項７】
論文のテーマとなる出題文に基づいて、当該出題文と同一の言語で学習者が作成した論文の内容を自動評価する処理をコンピュータに実行させるためのプログラムにおいて、
一対の単語が同一文書に登場する可能性を表す指標となる相互情報量が単語の組み合わせ毎に記憶された相互情報量データベースと、
多くの文書に出現する一般的な単語ほど数値が低くなる逆出現頻度が単語毎に記憶された逆出現頻度データベースと、
前記相互情報量データベース及び前記逆出現頻度データベースから抽出したデータを予め記憶された数式に代入することで前記論文中の一単語と前記出題文との関連度を表すスコアを求めるスコア算出手段と、
前記スコア算出手段で前記論文の単語毎にそれぞれ求められたスコアから、当該スコアの分布状況を表すスコア表を作成するスコア表作成手段と、
前記分布状況のパターンがそれぞれ異なる複数種の基準スコア表と当該各基準スコア表に対応した論文の内容評価とが記憶された内容評価データベースと、
前記スコア表作成手段で作成された前記スコア表に近い前記内容評価データベースの基準スコア表を抽出し、当該基準スコア表に対応する内容評価を前記論文の内容評価とする内容評価決定手段として前記コンピュータを機能させることを特徴とする論文内容評価プログラム。
【請求項１】
論文のテーマとなる出題文に基づいて、当該出題文と同一の言語で学習者が作成した論文の内容を自動評価する論文内容評価装置において、
一対の単語が同一文書に登場する可能性を表す指標となる相互情報量が単語の組み合わせ毎に記憶された相互情報量データベースと、
多くの文書に出現する一般的な単語ほど数値が低くなる逆出現頻度が単語毎に記憶された逆出現頻度データベースと、
前記相互情報量データベース及び前記逆出現頻度データベースから抽出したデータを予め記憶された数式に代入することで前記論文中の一単語と前記出題文との関連度を表すスコアを求めるスコア算出手段と、
前記スコア算出手段で前記論文中の単語毎にそれぞれ求められたスコアから、当該スコアの分布状況を表すスコア表を作成するスコア表作成手段と、
前記分布状況のパターンがそれぞれ異なる複数種の基準スコア表と当該各基準スコア表に対応した人的な内容評価とが記憶された内容評価データベースと、
前記スコア表作成手段で作成された前記スコア表に近い前記内容評価データベースの基準スコア表を抽出し、当該基準スコア表に対応する内容評価を前記論文の内容評価とする内容評価決定手段とを備えたことを特徴とする論文内容評価装置。
【請求項２】
前記論文中の各単語の出現数をカウントする機能を含む論文カウント手段を備え、
前記スコア算出手段では、前記相互情報量と、前記逆出現頻度と、前記単語の出現数と、前記出題文を構成する単語の種類数とをパラメータとしたスコア演算式が予め記憶され、当該スコア演算式に、前記出題文中の一単語と前記論文中の一単語からなる一対の対象単語について前記相互情報量データベースから抽出された前記相互情報量と、前記一対の対象単語のうち前記論文中の一単語について前記逆出現頻度データベースから抽出された前記逆出現頻度と、前記一対の対象単語のうち前記論文中の一単語について前記論文カウント手段でカウントされた前記出現数と、予めカウントされた前記出題文中の単語の種類数とが代入されることで、前記スコアが算出されることを特徴とする請求項１記載の論文内容評価装置。
【請求項３】
前記出題文を構成する単語の種類数をカウントする出題文カウント手段を備え、当該出題文カウント手段でカウントされた単語の種類数を前記スコア演算式に代入することを特徴とする請求項１又は２記載の論文内容評価装置。
【請求項４】
種々の文書に頻出する単語で一部の処理時に除外対象とするストップワードが記憶されたストップワードデータベースを備え、
前記出題文カウント手段は、前記ストップワードデータベースに記憶されたストップワードを除いて前記出題文中の単語の種類数をカウントすることを特徴とする請求項３記載の論文内容評価装置。
【請求項５】
種々の文書に頻出する単語で一部の処理時に除外対象とするストップワードが記憶されたストップワードデータベースを備え、
前記スコア算出手段では、前記ストップワードデータベースに基づき、前記ストップワードを除く前記論文中の一単語と前記ストップワードを除く前記出題文中の一単語との全て組み合わせについて、前記スコアを算出することを特徴とする請求項１、２又は３記載の論文内容評価装置。
【請求項６】
前記内容評価決定手段では、内容評価対象となる論文の前記スコア表と、前記内容評価データベースに記憶された前記各基準スコア表とがそれぞれ対比され、予め設定されたパターン認識手法により、前記スコア表作成手段で作成されたスコア表に近いパターンの前記基準スコア表が選択されることを特徴とする請求項１〜５の何れかに記載の論文内容評価装置。
【請求項７】
論文のテーマとなる出題文に基づいて、当該出題文と同一の言語で学習者が作成した論文の内容を自動評価する処理をコンピュータに実行させるためのプログラムにおいて、
一対の単語が同一文書に登場する可能性を表す指標となる相互情報量が単語の組み合わせ毎に記憶された相互情報量データベースと、
多くの文書に出現する一般的な単語ほど数値が低くなる逆出現頻度が単語毎に記憶された逆出現頻度データベースと、
前記相互情報量データベース及び前記逆出現頻度データベースから抽出したデータを予め記憶された数式に代入することで前記論文中の一単語と前記出題文との関連度を表すスコアを求めるスコア算出手段と、
前記スコア算出手段で前記論文の単語毎にそれぞれ求められたスコアから、当該スコアの分布状況を表すスコア表を作成するスコア表作成手段と、
前記分布状況のパターンがそれぞれ異なる複数種の基準スコア表と当該各基準スコア表に対応した論文の内容評価とが記憶された内容評価データベースと、
前記スコア表作成手段で作成された前記スコア表に近い前記内容評価データベースの基準スコア表を抽出し、当該基準スコア表に対応する内容評価を前記論文の内容評価とする内容評価決定手段として前記コンピュータを機能させることを特徴とする論文内容評価プログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１０−２２４３２３（Ｐ２０１０−２２４３２３Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−７２９４７（Ｐ２００９−７２９４７）
【出願日】平成２１年３月２４日（２００９．３．２４）
【出願人】（５０２１９４７３５）株式会社教育測定研究所 (10)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２４日（２００９．３．２４）
【出願人】（５０２１９４７３５）株式会社教育測定研究所 (10)
【Ｆターム（参考）】
[ Back to top ]