学習効果評価装置、プログラム及び学習効果評価方法
【課題】 解答者のテスト問題の理解度を精度よく判定することができる学習効果評価装置を提供する。
【解決手段】 教育者側端末１００の制御部１１０は、解答者に提示した問題と、提示した問題の解答を行う際に解答者が参照した教材の箇所を示す情報とを取得する解答・操作ログ取得部１７３と、教材内容ＤＢ１５３の記録情報と解答・操作ログ取得部１７３で取得した教材の参照箇所とから解答者が参照した教材の内容を判断し、問題確認事項ＤＢ１５２の記録情報を参照して解答・操作ログ取得部１７３で取得した問題の内容を判断し、解答者が参照した教材の内容と提示した問題の内容とが関連しているか否かを判断し、関連していれば解答者の理解度が高いと判断する関連度評価部１７６とを備えている。
【解決手段】 教育者側端末１００の制御部１１０は、解答者に提示した問題と、提示した問題の解答を行う際に解答者が参照した教材の箇所を示す情報とを取得する解答・操作ログ取得部１７３と、教材内容ＤＢ１５３の記録情報と解答・操作ログ取得部１７３で取得した教材の参照箇所とから解答者が参照した教材の内容を判断し、問題確認事項ＤＢ１５２の記録情報を参照して解答・操作ログ取得部１７３で取得した問題の内容を判断し、解答者が参照した教材の内容と提示した問題の内容とが関連しているか否かを判断し、関連していれば解答者の理解度が高いと判断する関連度評価部１７６とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習効果評価装置、プログラム及び学習効果評価方法に関する。
【背景技術】
【０００２】
会社や自宅等の遠隔地に設置されたパーソナルコンピュータ等と通信手段で接続し、学習者から送信されるテスト結果を分析して、学習者の学習の理解度を評価する学習効果評価装置が提案されている。
【０００３】
このような通信手段を利用した装置では、学習者が多数になることもあり、テスト結果を時間をかけずに評価できるように、記述式ではなく、選択式であることが多い。しかし、選択式のテストは偶然解答が合っていたり、逆に考え方があっていても計算を間違えた場合に、教育者側にはわからず、評価されなかったりすることがある。そこで、特許文献１では、解答するまでに要した時間や、選択肢の変更履歴に基づいて、学習者の理解度を評価している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−５５５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、解答者が解答に要した時間や、選択肢の変更履歴だけからでは、学習者が本当に理解しているのかの評価は難しい。
【０００６】
本発明は上記事情に鑑みてなされたものであり、解答者のテスト問題の理解度を精度よく判定することができる学習効果評価装置、プログラム及び学習効果評価方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本明細書に開示の学習効果評価装置は、問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得手段と、前記取得手段で取得した前記教材の箇所と、前記教材内容データベースとから前記解答者が参照した教材の内容を判断し、前記提示した問題と前記問題確認事項データベースとから前記提示した問題の内容を判断し、前記解答者が参照した教材の内容と前記提示した問題の内容とが関連しているか否かを判断し、関連していれば解答者の理解度が高いと判断する理解度判断手段とを備えている。
【発明の効果】
【０００８】
本明細書に開示の学習効果評価装置によれば、解答者のテスト問題の理解度を精度よく判定することができる。
【図面の簡単な説明】
【０００９】
【図１】システム構成の一例を示す図である。
【図２】問題正答データベースの構成の一例を示す図である。
【図３】問題確認事項データベースの構成の一例を示す図である。
【図４】教材内容データベースの構成の一例を示す図である。
【図５】解答ログデータベースの構成の一例を示す図である。
【図６】操作ログデータベースの構成の一例を示す図である。
【図７】教育者側端末の制御部が備える機能ブロックの構成の一例を示す図である。
【図８】教育者側端末の制御部の全体の処理手順を示すフローチャートである。
【図９】学習効果を評価する処理手順を示すフローチャートである。
【図１０】教育者側端末の制御部によってメモリに記録されるデータであり、学習者の解答が正答であるのか誤答であるのかの判定結果を示す図である。
【図１１】問題１の提示から解答までの間の操作ログの一例を示す図である。
【図１２】参照ありと判定されたページの問題１との関連度を示す図である。
【図１３】オープンしたページが学習者によって参照されたか否かを判定する処理手順を示すフローチャートである。
【図１４】問題１の操作ログの一例を示す図である。
【図１５】教材のページ種別ごとに、参照したと判断される参照時間のしきい値を決定する方法について説明するための図である。
【図１６】しきい値を用いて、オープンしたページの参照有無を判断した結果を示す図である。
【図１７】学習者の問題に対する理解のあやふや度を算出する処理手順を示すフローチャートである。
【図１８】問題確認事項ＤＢを参照して取り出した問題１の確認事項の一例を示す図である。
【図１９】関連度を決定するルールの一例を示す図である。
【図２０】参照ありと判定されたページの問題との関連度を算出した結果を示す図である。
【図２１】参照ありと判定された各ページの問題との関連度と、そのページの前後との教材選択の揺れの算出結果とを示す図である。
【図２２】学習者の参照ありと判定されたページの教材選択の揺れselect_diff_p'を学習者の参照時間順にプロットした図である。
【図２３】学習者がオープンしたファイルを関連するページを含むファイル群と含まないファイル群とに分類した結果の一例を示す図である。
【図２４】（ａ）は、関連したページを含むファイルの抽出された関連度を示し、（ｂ）は関連したページを含まないファイルの関連度を示す。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら本発明の好適な実施例を説明する。
【実施例】
【００１１】
まず、図１を参照しながら本実施例のシステム構成を説明する。本実施例は、図１に示すように教育者側端末１００と、複数の学習者側端末２００ａ，２００ｂ，２００ｃ，・・・，２００ｎ（ｎは任意の自然数）とがネットワーク３００に接続されている。教育者側端末１００から学習者側端末２００ａ〜２００ｎには、学習用の教材ファイルやテスト問題等が送信される。また、学習者側端末２００ａ〜２００ｎから教育者側端末１００には、各学習者側端末２００の操作ログや、各学習者の解答結果等が送信される。なお、学習者側端末２００ａ〜２００ｎは、ほぼ同一の構成を備えているので、以下の説明では、学習者側端末２００ａ〜２００ｎを区別する必要がない場合には、総称して学習者側端末２００と表記する。また、教育者側端末１００が学習効果評価装置として機能する。
【００１２】
教育者側端末１００は、制御部１１０と、入力インターフェース１２０と、操作部１２１と、通信インターフェース１３０と、グラフィックインターフェース１４０と、表示装置１４１と、記憶装置１５０とを備えている。制御部１１０と、入力インターフェース１２０と、通信インターフェース１３０と、グラフィックインターフェース１４０とは内部ネットワーク１６０で接続され、それぞれ内部ネットワーク１６０を介して通信可能である。また、制御部１１０は、ＣＰＵ（Central Processing Unit）１１１と、ＲＯＭ（Read Only Memory）１１２と、ＲＡＭ（Random Access Memory）１１３とを備えている。
【００１３】
まず、制御部１１０について説明する。ＲＯＭ１１２には、ＣＰＵ１１１が制御に使用するプログラムが記録されている。ＣＰＵ１１１は、ＲＯＭ１１２に記録されたプログラムを読み込んで、読み込んだプログラムに従った制御を行う。ＲＡＭ１１３には、ＣＰＵ１１１が演算に使用するデータや、ＣＰＵ１１０による演算結果のデータが記録される。ＣＰＵ１１１、ＲＡＭ１１３などのハードウェアと、ＲＯＭ１１２に記録されたプログラムとの協働によって実現される制御部１１０の処理手順についてはフローチャートを参照しながら後述する。
【００１４】
操作部１２１は、ユーザの操作入力を受け付ける受付部であり、操作部１２１によって受け付けた入力情報は、入力インタフェース１２０を介して制御部１１０に出力される。
【００１５】
通信インターフェース１３０は、ネットワーク３００に接続している。通信インターフェース１３０は、学習者側端末２００から操作ログや、解答結果等の情報を受信し、受信した情報を制御部１１０に出力する。
【００１６】
グラフィックインターフェース１４０は、制御部１１０で処理されたグラフィックデータを表示装置１４１に表示させるためのインターフェースであり、グラフィックデータを波形電気信号に変換して表示装置１４１に表示させる。
【００１７】
表示装置１４１には、制御部１１０の制御によって学習者の操作ログや解答結果等が表示される。
【００１８】
記憶装置１５０には、制御部１１０が制御に使用するデータが格納される。制御部１１０の制御によって記憶装置１５０内には後述するデータベース（以下、データベースをＤＢと略記する場合もある）が構築され、記憶装置１５０内に記憶されたデータを制御部１１０によって取り出し可能となる。データベースには、問題正答ＤＢ１５１、問題確認事項ＤＢ１５２、教材内容ＤＢ１５３、解答ログＤＢ１５４、操作ログＤＢ１５５等（図７参照）が含まれる。
【００１９】
次に、学習者側端末２００について説明する。なお、学習者側端末２００ａ〜２００ｎは、ほぼ同一の構成を備えているので、以下では代表して学習者側端末２００ａの構成について説明する。
学習者側端末２００ａは、制御部２１０と、入力インターフェース２２０と、通信インターフェース２３０と、グラフィックインターフェース２４０と、表示装置２４１と、記憶装置２５０とを備えている。制御部２１０と、入力インターフェース２２０と、通信インターフェース２３０と、グラフィックインターフェース２４０とは内部ネットワーク２６０で接続され、それぞれ内部ネットワーク２６０を介して通信可能である。
【００２０】
学習者側端末２００ａの制御部２１０は、教育者側端末１００の制御部１１０と同様に、ＣＰＵ２１１と、ＲＯＭ２１２と、ＲＡＭ２１３とを備えている。ＣＰＵ２１１はＲＯＭ２１２に記録されたプログラムを読み込んで、読み込んだプログラムに従った制御を行う。ＲＡＭ２１３には、ＣＰＵ２１１が演算に使用するデータや、ＣＰＵ２１１による演算結果のデータが記録される。ＣＰＵ２１１、ＲＡＭ２１３などのハードウェアと、ＲＯＭ２１２に記録されたプログラムとの協働によって実現される制御部２１０の処理についてはフローチャートを参照しながら後述する。
学習者側端末２００ａの制御部２１０は、操作部２２１の操作ログを取得してＲＡＭ２１３に記録しておくことができる。操作ログには、教材ファイルを開いたり、参照するページを指定したり、解答を入力したりする操作イベントが含まれる。制御部２１０は、テスト終了後に、ＲＡＭ２１３に記録した一連の操作ログを教育者側端末１００に送信する。なお、操作ログの詳細については後述する。
【００２１】
また、入力インターフェース２２０、操作部２２１、通信インターフェース２３０、グラフィックインターフェース２４０、表示装置２４１の処理については上述した教育者側端末１００と同様であるため説明を省略する。
【００２２】
次に、教育者側端末１００の記憶装置１５０に記憶されるデータベースについて説明する。
図２に、問題正答ＤＢ１５１に記憶される情報の一例を示す。問題正答ＤＢ１５１は、学習者に出題されるテスト問題と、各テスト問題の正答とを対応付けて記憶している。
図３に、問題確認事項ＤＢ１５２に記憶される情報の一例を示す。問題確認事項ＤＢ１５２は、出題されるテスト問題と、各テスト問題で問われている事項（以下、確認事項と呼ぶ）とを対応付けて記憶している。具体的には、テスト問題が数学で、三平方の定理を使って解く問題であれば、確認事項は三平方の定理となる。
図４に、教材内容ＤＢ１５３に記憶される情報の一例を示す。教材内容ＤＢ１５３は、各教材ファイルを識別する教材ファイル名と、教材ファイルのページと、各ページの記載内容と、各ページの種別情報とを対応付けて記憶している。種別情報とは、該当ページに記載された内容が表紙なのか、目次なのか、本文なのかを示す情報である。なお、図４には示していないが各ページのデータ量（テキスト数）等を教材内容ＤＢ１５３に記録しておいてもよい。
図５に、解答ログＤＢ１５４に記憶される情報の一例を示す。解答ログＤＢ１５４は、解答者が解答を入力した入力時刻情報と、各テスト問題を識別する識別情報と、各テスト問題に対する学習者の解答とを対応付けて記憶している。
図６に、操作ログＤＢ１５５に記憶される情報の一例を示す。操作ログＤＢ１５５は、学習者が操作を入力した入力時刻と、該当の操作を識別する操作情報とを対応付けて記憶している。図６には、一人の学習者のテスト開始からテスト終了までの操作ログの一例を示す。問題の提示、学習者の解答入力、解答までにどのような教材ファイルを開いたか等の学習者の操作ログが、該当操作の入力時刻情報とともに記憶されている。
【００２３】
次に、図７を参照しながら教育者側端末１００の制御部１１０に実現される機能ブロックについて説明する。ＣＰＵ１１１、ＲＡＭ１１３などのハードウェアと、ＲＯＭ１１２に記録されたプログラムとの協働によって、図７に示す機能ブロックが制御部１１０に実現される。
制御部１１０は、テスト問題送信部１７１、解答・操作ログ受信部１７２、解答・操作ログ取得部１７３、問題正誤判定部１７４、参照有無判定部１７５、関連度評価部１７６、あやふや度評価部１７７、総合評価部１７８を機能ブロックとして備えている。
【００２４】
テスト問題送信部１７１は、問題正答ＤＢ１５１からテスト問題を１問ずつ取り出して、通信インターフェース１３０を介して学習者側端末２００に送信する。
解答・操作ログ受信部１７２は、通信インターフェース１３０を介して学習者側端末２００から送信された解答者の解答や操作ログを受信する。解答・操作ログ受信部１７２は、受信した解答を解答ログＤＢ１５４に記憶し、受信した操作ログを操作ログＤＢ１５５に記憶する。また、解答・操作ログ受信部１７２は、解答者のテスト問題に対する解答の入力時刻情報をテスト問題と関連づけて解答ログＤＢ１５４に記憶する。
【００２５】
解答・操作ログ取得部１７３は、解答ログＤＢ１５４から対象の解答者の解答を取得する。同様に解答・操作ログ取得部１７３は、操作ログＤＢ１５５から対象の解答者の操作ログを取得する。解答・操作ログ取得部１７３は、取得した対象の解答者の解答と、操作ログとを問題正誤判定部１７４に出力する。
【００２６】
問題正誤判定部１７４は、解答・操作ログ取得部１７３から対象の解答者の解答と、操作ログとを取得する。また、問題正誤判定部１７４は、問題正誤ＤＢ１５１からテスト問題の正答を取得する。そして、問題正誤判定部１７４は、対象の解答者の解答が正答であるか、誤答であるかを判定する。問題正誤判定部１７４は、解答が正答であるのか、誤答であるのかの判定結果をあやふや度評価部１７７に出力する。また、問題正誤判定部１７４は、解答・操作ログ取得部１７３から取得した対象の解答者の操作ログを参照有無判定部１７５に出力する。
【００２７】
参照有無判定部１７５は、問題正誤判定部１７４から対象の解答者の操作ログを取得する。また、参照有無判定部１７５は、教材内容ＤＢ１５３から教材の各ページに記載された内容を取得する。参照有無判定部１７５は、取得した操作ログと、教材の各ページに記載された内容とに基づいて、対象の解答者がテスト問題に対する解答時に参照した教材のページを判定する。参照有無判定部１７５は、解答時に参照したと判定した教材のページ情報を関連度評価部１７６に出力する。なお、対象の解答者がテスト問題に対する解答時に参照した教材のページを判定する手順の詳細については後述する。
【００２８】
関連度評価部１７６は、解答者がテスト問題の解答時に参照した教材の参照ページ（箇所）情報を取得し、解答者が解答中に参照した教材の参照ページの内容を判定する。また、関連度評価部１７６は、解答者に提示したテスト問題で問われている内容を問題確認事項ＤＢ１５２を参照して判定する。さらに、関連度評価部１７６は、解答者が参照した教材の参照ページの内容と、解答者に提示した問題の内容とが関連しているか否かを判断し、関連していれば解答者の理解度が高いと判定する。
【００２９】
関連度評価部１７６についてより具体的に説明する。関連度評価部１７６は、参照有無判定部１７５で解答者が参照したと判定した教材のページ情報を参照有無判定部１７５から取得する。また、関連度評価部１７６は、教材内容ＤＢ１５３から参照ありと判定された教材のページに記載された内容を取得する。また、関連度評価部１７６は、問題確認事項ＤＢ１５２からテスト問題で問われている確認事項を取得する。関連度評価部１７６は、これらの情報を参照して、対象の解答者が参照したページがテスト問題の確認事項に関連する事項を記載したページであるか否かを表す関連度を算出する。関連度評価部１７６は、算出した関連度をあやふや度評価部１７７に出力する。
【００３０】
あやふや度評価部１７７は、対象の解答者が参照した各ページの、テスト問題の確認事項との関連度を関連度評価部１７６から取得する。また、あやふや度評価部１７７は、対象の解答者の解答が正答であるのか、誤答であるのかの判定結果を問題正誤判定部１７４から取得する。
あやふや度評価部１７７は、取得した関連度に基づいて、教材選択の揺れと教材選択の適切性とを評価する。また、あやふや度評価部１７７は、評価した教材選択の揺れと教材選択の適切性とに基づいて理解のあやふや度を算出する。なお、あやふや度評価部１７７は、解答者の解答が正答である場合には、正答用の理解のあやふや度を算出し、解答が誤答である場合には、誤答用の理解のあやふやを算出する。あやふや度評価部１７７は、算出した理解のあやふや度を総合評価部１７８に出力する。なお、教材選択の揺れと教材選択の適切性との具体的な評価方法と、理解のあやふや度の算出方法の詳細については後述する。
【００３１】
総合評価部１７８は、各テスト問題ごとに、対象の解答者の理解のあやふや度をあやふや度評価部１７７から取得する。総合評価部１７８は取得した各テスト問題の理解のあやふや度から総合的な学習効果を算出する。この処理の詳細についても後述する。
【００３２】
次に、学習者側端末２００にテスト問題を送信し、テスト問題に対する解答結果や操作ログを学習者側端末２００から取得して、学習者の理解度を評価するまでの全体の処理手順を、図８のフローチャートを参照しながら説明する。
学習者側端末２００の制御部２１０は、テストの開始と共に、学習者によって入力される操作ログの取得を開始する（ステップＳ１）。
まず、教育者側端末１００の制御部１１０は、問題を識別する変数ｊを１に初期化する（ステップＳ２）。なお、変数ｊは、１以上であって、学習者側端末２００を利用する学習者に送信されるテスト問題の総数までの値をとる変数である。次に、教育者側端末１００の制御部１１０は、問題を学習者側端末２００に送信する（ステップＳ３）。学習者側端末２００の制御部２１０は、教育者側端末１００から受信した問題を表示装置２４１に表示させる（ステップＳ４）。
表示装置２４１に表示した問題に対する解答が操作部２２１から入力されると、学習者側端末２００の制御部２１０は、操作部２２１から取得した解答を通信インターフェース２３０を介して教育者側端末１００に送信する（ステップＳ５）。教育者側端末１００の制御部１１０は、問題ｊに対する解答を受信し（ステップＳ６）、受信した解答を解答ログＤＢに記憶する（ステップＳ６）。次に、教育者側端末１００の制御部１１０は、変数ｊの値を１加算し（ステップＳ７）、変数ｊの値が該当の学習者に送信するテスト問題の総数よりも大きいか否かを判定する（ステップＳ８）。変数ｊの値が学習者に送信するテスト問題の総数以下であった場合（ステップＳ７／ＮＯ）、制御部１１０は問題ｊを学習者側端末２００に送信する（ステップＳ３）。そして、制御部１１０は、学習者側端末２００から解答を受信すると、受信した解答を解答ログＤＢに記録する（ステップＳ６）。
【００３３】
また、変数ｊの値が学習者に送信するテスト問題の総数よりも大きい場合（ステップＳ８／ＹＥＳ）、制御部１１０はテストの終了を学習者側端末２００の制御部２１０に通知する。学習者側端末２００の制御部２１０は、操作ログの取得を終了し、取得した操作ログを教育者側端末１００の制御部１１０に送信する（ステップＳ９）。教育者側端末１００の制御部１１０は、学習者側端末２００から送信された操作ログを受信し、受信した操作ログを操作ログＤＢに記録する（ステップＳ１０）。教育者側端末１００の制御部１１０は、学習者のテスト問題に対する各解答と、操作ログとを用いて各問題ごとに理解のあやふや度を算出し、算出した各問題の理解のあやふや度から総合的な学習効果を算出する（ステップＳ１１）。
なお、理解のあやふや度とは、学習者が問題を解く上で必要な知識を正しく把握しているかどうかを表す指標である。学習者の解答の正誤の他、問題を解くために必要な知識と関係ない知識の区別がついているかも評価する。
問題を解くために必要な知識が何であるかを学習できていて、その知識の中身を教材で参照しつつ問題を解く場合と、必要な知識が何かが分からず、教材で探しながら問題に解く場合では、学習者の理解度という点で差がある。テスト中に教材など参考情報を見られる場合、全く学習をしていなかったり、問題を解くために何が必要であるか把握できていなくても、教材をくまなく見直せば、テスト中に何が必要な知識かが分かる場合もある。また、教材中の例題と類似する問題がそのまま出された場合、例題に当てはめて正解を得られる可能性がある。そこで、テスト中の学習者の教材の参照の仕方を把握して、理解のあやふや度を評価する。
【００３４】
最後に、制御部１１０は、算出した総合的な学習効果を各学習者ごとに記憶装置１５０に記憶させたり、表示装置１４１に表示させたり、用紙に印刷したりして出力する（ステップＳ１２）。
【００３５】
次に、ステップＳ１１の理解のあやふや度の算出と、総合的な学習効果の算出手順を図９に示すフローチャートを参照しながら説明する。
まず、教育者側端末１００の制御部１１０は、解答ログＤＢから学習効果の評価を行う学習者の解答を取得する（ステップＳ２１）。また、制御部１１０は、問題正答ＤＢを参照して、問題の正答を取得する（ステップＳ２２）。
【００３６】
次に、制御部１１０は、問題ｊを識別する変数をｊとして、変数ｊの値を１に設定する（ステップＳ２３）。
次に、制御部１１０は、問題ｊの学習者の解答と、問題ｊの正答とを比較して、学習者の解答が正解であるか否かを判定する（ステップＳ２４）。制御部１１０は、学習者の解答が正答であるのか誤答であるのかを判定し、判定結果をＲＡＭ１１３に記録する。図１０にＲＡＭ１１３に記録される判定結果の一例を示す。図１０に示す例では、学習者の解答が正解である場合には、「１」が記録される。
次に、制御部１１０は、問題ｊが提示されてから、学習者が解答するまでの一連の操作ログを抽出する（ステップＳ２５）。例えば、問題ｊを学習者に提示する操作イベントから、学習者が提示された問題に対して解答を決定して送信する操作イベントまでのログを抽出すればよい。図１１に抽出された操作ログの一例を示す。
【００３７】
次に、制御部１１０は、抽出した操作ログから、ファイルをオープンする操作イベントや、ファイルのページをオープンする操作イベントを検出して、オープンしたファイルやページを検出する（ステップＳ２６）。次に、制御部１１０は、オープンしたページがオープンしていた時間を操作ログから検出し、学習者がページやファイルを参照したか否かを判定する（ステップＳ２７）。この処理の詳細については後述する。
【００３８】
次に、制御部１１０は、参照ありと判定したページの記載内容を教材内容ＤＢを参照して取得し、取得した記載内容と、問題確認事項ＤＢから取得した確認事項との関連度を評価する（ステップＳ２８）。評価した関連度の一例を図１２に示す。関連度の評価方法についても後述する。
【００３９】
次に、制御部１１０は、算出した関連度を用いて、問題ｊに対する理解のあやふや度の要素である教材選択の揺れや、教材選択の適切性を評価する（ステップＳ２９）。さらに、制御部１１０は、評価した教材選択の揺れや、教材選択の適切性に基づいて問題ｊに対する理解のあやふや度を算出する（ステップＳ２９）。これらの処理の詳細についても後述する。制御部１１０は、問題ｊに対する理解のあやふや度を算出すると、変数ｊを１加算し（ステップＳ３０）、変数ｊの値がテスト問題の総数よりも大きくなったか否かを判定する（ステップＳ３１）。変数ｊの値がテスト問題の総数以下であった場合には（ステップＳ３１／ＮＯ）、制御部１１０は、ステップＳ２４からの処理を繰り返し行う。
また、変数ｊの値がテスト問題の総数よりも大きくなると（ステップＳ３１／ＹＥＳ）、全ての問題で求めた理解のあやふや度から、総合的な学習効果を評価する（ステップＳ３２）。なお、総合評価は各問題の理解のあやふや度を問題の難易度に応じた加重平均するなどの一般的に取られる手法をとってよい。
【００４０】
次に、図１３に示すフローチャートを参照しながら学習者がオープンしたページを参照しているか否かを判定する処理フローを説明する。なお、この処理フローを図１４に示す具体例を参照しながら説明する。図１４には、問題１を表示装置２４１に表示して学習者に提示してから、学習者が問題１の解答を決定して教育者側端末１００に送信するまでの操作ログの一例を示す。
【００４１】
制御部１１０は、まず、学習者がオープンしたページを識別する変数ｐの値を１に設定する（ステップＳ４１）。次に、制御部１１０は、ページｐをオープンしたイベント、図１４に示す例では、"show PAGE_x in FILE_y"を抽出する。以下、この操作イベントをp_showと略記する。
次に、制御部１１０は、操作イベントp_showの直後の操作ログから、同一ファイル中の他のページを開くためのファイル種別に応じた操作イベントか、他のファイルを探したりオープンするための操作イベントを抽出する（ステップＳ４３）。また、これらの操作イベントが検出されなかった場合には、制御部１１０は、問題の解答を記入している操作イベントp_postを抽出してもよい（ステップＳ４３）。
なお、ページをオープンする操作は、ファイルを開くためのアプリケーションによって異なっていてもよい。また、１つのファイルに対して複数通りの操作があってもよい。例えば、あるファイルでは、ページを送るアイコンをクリックすることで、表示中のページの前後ページをオープンすることができ、さらにページ数を指定することでも他のページをオープンすることができる。
具体的には、Windows（登録商標）ＯＳ（Operating System）を搭載したパソコンでは、ファイルを探すイベントは、通常、エクスプローラ（登録商標）を操作している操作イベントである。また、ファイルをオープンするための操作イベントには、エクスプローラ上でアイコンをマウスクリックするというイベントが含まれる。
制御部１１０は、操作ログを抽出すると、そのとき開いているページをオープンしたイベントp_showから、抽出した操作ログまでをページの参照時間として算出する（ステップＳ４４）。図１４に示す例では、制御部１１０は、参照ページを開く操作イベントp_showから次のページをオープンする操作イベントp_postまでの参照時間を算出している。
【００４２】
次に、制御部１１０は、ページを識別する変数ｐの値を１加算し、変数ｐの値がステップＳ２６でオープンしたと判定したページ数よりも大きくなったか否かを判定する（ステップＳ４６）。変数ｐが、オープンしたと判定したページ数以下であった場合には（ステップＳ４６／ＮＯ）、制御部１１０は、ページｐをオープンしたイベントp_showを抽出し、ステップＳ４５までの処理を繰り返す。また、変数ｐがオープンしたと判定したページ数よりも大きくなった場合には（ステップＳ４６／ＹＥＳ）、制御部１１０は次のステップＳ４７に移行する。
【００４３】
次のステップＳ４７では、制御部１１０は、教材内容ＤＢに基づき、オープンしていたファイルの各ページの表紙、目次といったページ種別や、もしあるならば、各ページの記述量（データ量）などを照会する。そして、制御部１１０は、例えばページ種別毎に各ページを参照していた時間の統計をとっていき（ステップＳ４７）、ページを繰るために開いていたと考えられる参照と、そうではなく中身を見ていたと考えられる参照を分けられるようなしきい値となる時間を探していく（ステップＳ４８）。例えば、各ページを参照していた時間の統計をとっていった結果、図１５に示すようにオープンしていた時間ごとの時間毎の頻度分布が大きく二つに分かれる場合には、この境の時間をしきい値としてもよい。また、各ページのオープンしていた時間の平均時間を求め、求めた平均時間から、オープンしていた時間の標準偏差の予め決めた倍数分だけ減算した時間をしきい値とするなど、いくつかの方法が考えられる。また、各ページの記載量が分かっている場合は、単純に頻度分布をとるのではなく、各ページの記載量で正規化して参照時間の分布を求めてもよい。なお、しきい値を決めるための分布をページの記載量で正規化して決めた場合は、ページ毎に記載量に応じたしきい値となる時間を計算し、参照時間が計算したしきい値となる時間を超えているか、短いかで参照有無を判断する。このオープンしたページを実際に参照しているかどうかを判断することで、他のページを参照するために、ページを繰っているだけで中身を参照していないようなページが理解のあやふや度に影響するのを防ぐこともできる。
【００４４】
次に、制御部１１０は、ページを識別する変数ｐの値を１に設定する（ステップＳ４９）。
次に、制御部１１０は、各ページ種別毎の参照時間のしきい値と、もしあれば予めシステムで決められた参照時間のしきい値とを用いて、オープンしたページの中身を参照したか否かを判定する（ステップＳ５０）。制御部１１０は、しきい値以下の参照時間しかないページは、中身を参照していないページと判定し、しきい値以上参照していたページは、中身を参照したページと判定する。図１６には、学習者がオープンしたページの参照有無の判定結果を示す。参照ありと判定されたページには、「１」が記録される。この判定結果は、ＣＰＵ１１１によって、ＲＡＭ１１３に記録される。なお、各ページ種別毎の参照時間のしきい値と、システムで決められた参照時間のしきい値とが両方求められる場合には、時間が短いほうのしきい値を使用するとよい。
ページｐが学習者によって参照されたか否かの判定が終了すると、制御部１１０は変数ｐの値を１加算して（ステップＳ５１）、変数ｐの値がステップＳ２６でオープンしたと判定したページ数よりも大きいか否かを判定する（ステップＳ５２）。変数ｐが、オープンしたと判定したページ数以下であった場合には（ステップＳ５２／ＮＯ）、制御部１１０は、ステップＳ５０の処理を繰り返す。また、変数ｐが、オープンしたと判定したページ数よりも大きい場合には（ステップＳ５２／ＹＥＳ）、このフローを終了する。
【００４５】
次に、図１７に示すフローチャートを参照しながら理解のあやふや度を算出する手順を説明する。
まず、制御部１１０は、参照ありと判定れたページを識別する変数ｐ’を１に初期設定する（ステップＳ６１）。次に、制御部１１０は、問題確認事項ＤＢと各ページの教材内容ＤＢを参照し、ページｐ’の問題ｊに対する関連度select_p'を算出する（ステップＳ６２）。具体的には、制御部１１０は、まず、参照有りと判定されたページｐ’に記載された内容を教材内容ＤＢを参照して取り出す。次に、制御部１１０は、問題確認事項ＤＢを参照して問題ｊの確認事項を取り出す。図１８には、問題確認事項ＤＢから取り出された確認事項の一例を示す。そして、制御部１１０は、取り出した問題ｊの確認事項と、参照有りと判定されたページｐ’の記載内容とに関連があるか否かを判定する。関連度は、関連があれば必ず１としてもよいし、図１９に示すように参照有りと判定されたページｐ’の種別や記載内容によって予め決められた重み付けルールに従って関連度を設定してもよい。例えば、ページｐ’のページ種別が本文であり、このページｐ’に確認事項の定義、定理、公式が記述されていた場合には、関連度を１．０に設定する。また、同じくページｐ’のページ種別が本文であり、このページｐ’に定理、公式の例が記述されていた場合には、関連度を１に設定する。また、ページｐ’のページ種別が目次であり、このページｐ’に確認事項が含まれていた場合には、重みを０．５に設定する。さらに、制御部１１０は、学習者が参照しているページであっても、このページの内容と問題の確認事項とが一致しない場合には、関連度を０とする。図２０に参照ありと判定された各ページの問題の確認事項との関連度の一例を示す。
【００４６】
ページｐ’の関連度を判定すると、制御部１１０は、変数ｐ’の値を１加算し（ステップＳ６３）、ステップＳ５０で参照ありと判定されたページ数と比較する（ステップＳ６４）。変数ｐ’の値が、参照ありと判定されたページ数以下であった場合には（ステップＳ６４／ＮＯ）、制御部１１０は、ステップＳ６２、Ｓ６３の処理を繰り返す。また、変数ｐ’の値が、参照ありと判定されたページ数よりも大きい場合には（ステップＳ６４／ＹＥＳ）、制御部１１０は、変数ｐ’を再度１に設定し（ステップＳ６５）、ページｐ’の前後の参照ありと判定されたページを抽出する（ステップＳ６６）。なお、ページｐ’の前の参照ありと判定されたページをp'_preとし、ページｐ’よりも後の参照ありと判定されたページをp'_postとする。
【００４７】
次に、制御部１１０は、ページｐ’とページp'_preとの関連度の差分と、ページｐ’とページp'_postとの関連度の差分をそれぞれ求め、求めた差分から教材選択の揺れselect_diff_p'を算出する（ステップＳ６７）。教材選択の揺れselect_diff_p'の算出手順について、図２１を参照しながら説明する。例えば、図２１に示す例で、処理対象のページｐ’をPAGE_4 in FILE_Aとする。この処理対象のページの前後の参照ありページは、それぞれPAGE_2 in FILE_Aと、 PAGE_8 in FILE_Aである。また、処理対象のページｐ’とページｐ’よりも前の参照ありページ（PAGE_2 in FILE_A）との関連度の差分は、０．５−１．０＝−０．５となる。同様に、処理対象のページｐ’とページｐ’よりも後の参照ありページ（PAGE_4 in FILE_A）との関連度の差分は、１．０−０．０＝１．０となる。制御部１１０は、ページｐ’とページp'_preとの関連度の差分の絶対値と、ページｐ’とページp'_postとの関連度の差分の絶対値の平均値を教材選択の揺れselect_diff_p'として出力する。処理対象ページｐ’をPAGE_4 in FILE_Aとすると、教材選択の揺れselect_diff_p'は、０．７５となる。
なお、教材選択の揺れselect_diff_p'の算出には、前後の差の絶対値の平均値以外にも、前後との関連度の違いの度合いを表す値を算出できる他の計算手法を用いてもよい。
【００４８】
ページｐ’について、教材選択の揺れselect_diff_p'を算出すると、制御部１１０は、ｐ’の値を１加算し（ステップＳ６８）、次の参照ありと判定されたページｐ’について、教材選択の揺れselect_diff_p'を算出する。すべての参照ありと判定されたページｐ’で教材選択の揺れselect_diff_p'を算出すると（ステップＳ６９／ＹＥＳ）、制御部１１０は、求めた各ページの教材選択の揺れselect_diff_p'から全体の関連度の違いの揺れを評価する（ステップＳ７０）。
例えば、参照ありと判定されたすべてのページを学習者が参照した時間で前半ページと、後半ページの２つに分ける。図２２には、学習者の参照ありと判定されたページの教材選択の揺れselect_diff_p'を学習者の参照時間順にプロットした図を示す。なお、２つに分割できない場合には、前半ページと、後半ページとの両方に含まれるページがあってもよい。次に、制御部１１０は、前半ページに分けた参照ありページの中から教材選択の揺れselect_diff_p'が最大の値を抽出する（以下、この値を前半の揺れ幅と呼ぶ）。後半ページに分けた参照ありページについても同様に教材選択の揺れselect_diff_p'が最大の値を抽出する（以下、この値を後半の揺れ幅と呼ぶ）。また、制御部１１０は、参照ありと判定されたすべてのページの教材選択の揺れselect_diff_p'を加算して平均値を求める（以下、この値を全体の揺れの平均値と呼ぶ）。そして、制御部１１０は、求めた全体の揺れの平均値と、後半の揺れの幅と、前半の揺れ幅とに基づいて全体としての教材選択の揺れを評価する。具体的には、全体の揺れの平均値が小さい（全体的に小さい）場合には、教材選択の揺れが小さいと判定する。また、学習者が教材のページを参照をし始めのうちは揺れ幅が大きく、徐々に揺れ幅が小さくなってくる場合にも、教材選択の揺れを示す値が小さくなるように評価する。逆に、教材参照の終盤でも揺れ幅が大きかったり、全参照を通じて揺れ幅が大きい場合には、教材選択の揺れを示す値が大きくなるようにする。
具体的な計算式として、
全体の揺れの平均値×後半の最大揺れ幅／（１＋前半の最大揺れ幅）
を用いることができる。
【００４９】
次に、全体の教材選択の適切性を関係のない教材ファイルを多く選択していないかどうかで評価する。まず、制御部１１０は、オープンしたファイルを問題の確認事項に関連する事項を記載したページが含まれているか否かで分類する。図１２に示すように問題の確認事項に関連する事項が記載されているか否かは判定済みであるので、制御部１１０は、オープンしたファイルを関連するページを含むファイル群と含まないファイル群に分類する（ステップＳ７１）。図２３に分類結果の一例を示す。次に、制御部１１０は、関連するページを含むファイル群と含まないファイル群の分布から、全体の教材選択の適切性を評価する（ステップＳ７１）。
制御部１１０は、関連したページを含むファイルごとに、参照有りと判断したページの最大の関連度を抽出し、そのファイルの問題への関連度とする。また、関連したページを含まないファイルの関連度は、「０」とする。そして、制御部１１０は、関連するページを含むファイル群と含まないファイル群とで関連度の加重平均を取る。図２４（ａ）には、関連したページを含むファイルの抽出された関連度を示し、図２４（ｂ）に関連したページを含まないファイルの関連度を示す。図２４に示す例を用いて、全体の教材選択の適正性selectを計算すると、
｛（１．０＋１．０＋０．５）×１．０＋（０．０）×１．１｝／（３×１０＋１×１．１）＝０．６１となる。
なお、この計算例では、関連したページを含むファイルへの重みを１．０とし、関連したページを含まないファイルの重みを１．１として計算している。
なお、この計算は、関連するページを含むファイル群が含まないファイル群に比べて割合が大きければ値が大きく、小さければ値が小さくなるような性質を持つような他の計算手法であってもよい。
【００５０】
最後に、制御部１１０は、当該問題ｊが正答であれば（ステップＳ７２／ＹＥＳ）、正答用の理解のあやふや度の評価をこれまでに算出した教材選択の揺れselect_diffと教材選択の適正性selectから評価する。また、問題ｊが誤答であれば（ステップＳ７２／ＮＯ）、誤答用の理解のあやふや度の評価を行う。
【００５１】
正答の場合の計算の一例を示す。
例えば、問題１が正答であり、ステップＳ７０で算出される全体の教材選択の揺れselect_diffが０．０８で、ステップＳ７１で算出される教材選択の適正性selectが０．６１であったとする。制御部１１０は、（１−教材選択の揺れ）と教材選択の適正性との平均値を求めて、求めた平均値の逆数を取る。したがって、正答用の理解のあやふや度は、
［｛（１−０．０８）＋０．６１｝／２］−１＝１．５４
となる。
なお、これ以外に、教材選択の揺れselect_diffが大きくて、教材選択の適正性selectが小さければ値が大きく、教材選択の揺れselect_diffが小さく、教材選択の適正性selectが大きければ値が小さくなるような計算手法をとってもよい。例えば、教材選択の揺れと教材選択の適切性の逆数の相乗平均などが挙げられる。
【００５２】
また、誤答用の理解のあやふや度の評価は、正答用の理解のあやふや度の評価と同じ計算をした後、それに決まった数値を足してもよい。また、（１−教材選択の揺れ）と教材選択の適切性の平均を取るところを、２よりも小さい数値で割って計算してもよい。
例えば、制御部１１０は、
［｛（１−教材選択の揺れ）×０．５＋教材選択の適正正×０．７５｝／２］−１
を計算して、誤答用の理解のあやふや度の評価を評価する。
ステップＳ７０で算出される全体の教材選択の揺れselect_diffが０．０８で、ステップＳ７１で算出される教材選択の適正性selectが０．６１であるので、［｛（１−０．０８）×０．５＋０．６１×０．７５｝／２］−１＝２．２７
となる。
【００５３】
（変形例）
なお、上述の説明では、オープンしたページの内容を学習者が参照しているかどうかを判断するために、オープンしたページの参照時間の分布からしきい値を決めていた。すなわち、各問題をを解く間にオープンしたページの参照時間の分布からしきい値を求めていたが、テスト中の全問題でオープンしたページの参照時間を用いてしきい値を求めてもよい。
例えば、問題１と問題２以降で同じページ PAGE_15 in FILE_Zをオープンしている場合、問題２以降でPAGE_15 in FILE_Zを実際にオープンしている時間を定数倍して、しきい値を求める。さらに、中身の参照有無の判断の時には、問題２以降で PAGE_15 in FILE_Zをオープンした時間をしきい値を求めた時と同じ定数倍をしてしきい値と比較して評価する。これにより、テスト中、同じページを何度か見て、ある程度、内容に覚えがあって参照時間が短くなっていく場合も、初回に見た時と同じように評価することができる。
【００５４】
また、上述した説明では、問題確認事項ＤＢと教材内容ＤＢから、オープンしたページと問題との関連度を評価しているため、対象となるのは教材のページだけだが、Ｗｅｂで検索してオープンしたページを評価の対象に加えてもよい。
例えば、制御部１１０は、操作ログから検索に用いたキーワードを抽出し、それと問題確認事項ＤＢに書かれている確認事項が一致するかどうかで関連があるかどうかを判定する。また、操作ログからオープンしたＷｅｂページのＵＲＬ（Uniform Resource Locator）を抽出し、そのＵＲＬに書かれている内容を取得する。そして、取得した内容に問題確認事項データＤＢに書かれている確認事項が現れる場合に関連があると評価してもよい。
【００５５】
以上のように本実施例は、オンラインテストにおいて、問題の提示から解答するまでの学習者の教材閲覧の履歴を用い、そのページの閲覧の変遷を評価して、解答の正誤に追加して、学習者の学習効果を判定する。学習者が問題に関係のあるページを参照しているか、それとも問題に関係のないページも混ざって見ているかを評価することで、学習者が各問題に対して、どのような知識が必要であるかを分かっているかどうかを判定することができる。従って、選択式テストでテスト中に教材を参考にできる環境でも、学習効果を精度よく評価することができる。
【００５６】
上述した実施例は、本発明の好適な実施例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。
［付記１］
問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、
教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、
解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得手段と、
前記取得手段で取得した前記教材の箇所と、前記教材内容データベースとから前記解答者が参照した教材の内容を判断し、前記提示した問題と前記問題確認事項データベースとから前記提示した問題の内容を判断し、前記解答者が参照した教材の内容と前記提示した問題の内容とが関連しているか否かを判断し、関連していれば解答者の理解度が高いと判断する理解度判断手段と、
を有することを特徴とする学習効果評価装置。
［付記２］
前記解答者が参照した教材の箇所を示す情報として複数箇所の情報を前記取得手段で取得した場合、前記理解度判断手段は、前記解答者が参照した前記教材の複数箇所の内容と、前記提示した問題の内容とが関連しているか否かを判断し、前記解答者が問題の内容に関連する前記教材の箇所を連続して参照している場合に、前記理解度をより高いと判断することを特徴とする付記１記載の学習効果評価装置。
［付記３］
コンピュータを、
解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得手段と、
教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、前記取得手段で取得した前記教材の箇所とから前記解答者が参照した教材の内容を判断する第１判断手段と、
問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、前記取得手段で取得した前記提示した問題とから前記提示した問題の内容を判断する第２判断手段と、
前記第１判断手段で判断した教材の内容と、前記第２判断手段で判断した問題の内容とが関連しているか否かを判断し、関連していれば前記解答者の理解度が高いと判断する第３判断手段として機能させることを特徴とするプログラム。
［付記４］
前記解答者が参照した教材の箇所を示す情報として複数箇所の情報を前記取得手段で取得した場合、前記第３判断手段は、前記解答者が参照した前記教材の複数箇所の内容と、前記提示した問題の内容とが関連しているか否かを判断し、前記解答者が問題の内容に関連する前記教材の箇所を連続して参照している場合に、前記理解度をより高いと判断することを特徴とする付記３記載のプログラム。
［付記５］
解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得ステップと、
教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、前記取得ステップで取得した前記教材の箇所とから前記解答者が参照した教材の内容を判断する第１判断ステップと、
問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、前記取得ステップで取得した前記提示した問題とから前記提示した問題の内容を判断する第２判断ステップと、
前記第１判断ステップで判断した教材の内容と、前記第２判断ステップで判断した問題の内容とが関連しているか否かを判断し、関連していれば前記解答者の理解度が高いと判断する第３判断ステップとをコンピュータが実行することを特徴とする学習効果評価方法。
［付記６］
前記解答者が参照した教材の箇所を示す情報として複数箇所の情報を前記取得ステップで取得した場合、前記第３判断ステップは、前記解答者が参照した前記教材の複数箇所の内容と、前記提示した問題の内容とが関連しているか否かを判断し、前記解答者が問題の内容に関連する前記教材の箇所を連続して参照している場合に、前記理解度をより高いと判断することを特徴とする付記５記載の学習効果評価方法。
【符号の説明】
【００５７】
１００ 教育者側端末
１１０ 制御部
１５１ 問題正答ＤＢ
１５２ 問題確認事項ＤＢ
１５３ 教材内容ＤＢ
１５４ 解答ログＤＢ
１５５ 操作ログＤＢ
１７１ テスト問題送信部
１７２ 解答・操作ログ受信部
１７３ 解答・操作ログ取得部
１７４ 問題正誤判定部
１７５ 参照有無判定部
１７６ 関連度評価部
１７７ あやふや度評価部
１７８ 総合評価部
２００ 学習者側端末
２１０ 制御部
【技術分野】
【０００１】
本発明は、学習効果評価装置、プログラム及び学習効果評価方法に関する。
【背景技術】
【０００２】
会社や自宅等の遠隔地に設置されたパーソナルコンピュータ等と通信手段で接続し、学習者から送信されるテスト結果を分析して、学習者の学習の理解度を評価する学習効果評価装置が提案されている。
【０００３】
このような通信手段を利用した装置では、学習者が多数になることもあり、テスト結果を時間をかけずに評価できるように、記述式ではなく、選択式であることが多い。しかし、選択式のテストは偶然解答が合っていたり、逆に考え方があっていても計算を間違えた場合に、教育者側にはわからず、評価されなかったりすることがある。そこで、特許文献１では、解答するまでに要した時間や、選択肢の変更履歴に基づいて、学習者の理解度を評価している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−５５５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、解答者が解答に要した時間や、選択肢の変更履歴だけからでは、学習者が本当に理解しているのかの評価は難しい。
【０００６】
本発明は上記事情に鑑みてなされたものであり、解答者のテスト問題の理解度を精度よく判定することができる学習効果評価装置、プログラム及び学習効果評価方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本明細書に開示の学習効果評価装置は、問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得手段と、前記取得手段で取得した前記教材の箇所と、前記教材内容データベースとから前記解答者が参照した教材の内容を判断し、前記提示した問題と前記問題確認事項データベースとから前記提示した問題の内容を判断し、前記解答者が参照した教材の内容と前記提示した問題の内容とが関連しているか否かを判断し、関連していれば解答者の理解度が高いと判断する理解度判断手段とを備えている。
【発明の効果】
【０００８】
本明細書に開示の学習効果評価装置によれば、解答者のテスト問題の理解度を精度よく判定することができる。
【図面の簡単な説明】
【０００９】
【図１】システム構成の一例を示す図である。
【図２】問題正答データベースの構成の一例を示す図である。
【図３】問題確認事項データベースの構成の一例を示す図である。
【図４】教材内容データベースの構成の一例を示す図である。
【図５】解答ログデータベースの構成の一例を示す図である。
【図６】操作ログデータベースの構成の一例を示す図である。
【図７】教育者側端末の制御部が備える機能ブロックの構成の一例を示す図である。
【図８】教育者側端末の制御部の全体の処理手順を示すフローチャートである。
【図９】学習効果を評価する処理手順を示すフローチャートである。
【図１０】教育者側端末の制御部によってメモリに記録されるデータであり、学習者の解答が正答であるのか誤答であるのかの判定結果を示す図である。
【図１１】問題１の提示から解答までの間の操作ログの一例を示す図である。
【図１２】参照ありと判定されたページの問題１との関連度を示す図である。
【図１３】オープンしたページが学習者によって参照されたか否かを判定する処理手順を示すフローチャートである。
【図１４】問題１の操作ログの一例を示す図である。
【図１５】教材のページ種別ごとに、参照したと判断される参照時間のしきい値を決定する方法について説明するための図である。
【図１６】しきい値を用いて、オープンしたページの参照有無を判断した結果を示す図である。
【図１７】学習者の問題に対する理解のあやふや度を算出する処理手順を示すフローチャートである。
【図１８】問題確認事項ＤＢを参照して取り出した問題１の確認事項の一例を示す図である。
【図１９】関連度を決定するルールの一例を示す図である。
【図２０】参照ありと判定されたページの問題との関連度を算出した結果を示す図である。
【図２１】参照ありと判定された各ページの問題との関連度と、そのページの前後との教材選択の揺れの算出結果とを示す図である。
【図２２】学習者の参照ありと判定されたページの教材選択の揺れselect_diff_p'を学習者の参照時間順にプロットした図である。
【図２３】学習者がオープンしたファイルを関連するページを含むファイル群と含まないファイル群とに分類した結果の一例を示す図である。
【図２４】（ａ）は、関連したページを含むファイルの抽出された関連度を示し、（ｂ）は関連したページを含まないファイルの関連度を示す。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら本発明の好適な実施例を説明する。
【実施例】
【００１１】
まず、図１を参照しながら本実施例のシステム構成を説明する。本実施例は、図１に示すように教育者側端末１００と、複数の学習者側端末２００ａ，２００ｂ，２００ｃ，・・・，２００ｎ（ｎは任意の自然数）とがネットワーク３００に接続されている。教育者側端末１００から学習者側端末２００ａ〜２００ｎには、学習用の教材ファイルやテスト問題等が送信される。また、学習者側端末２００ａ〜２００ｎから教育者側端末１００には、各学習者側端末２００の操作ログや、各学習者の解答結果等が送信される。なお、学習者側端末２００ａ〜２００ｎは、ほぼ同一の構成を備えているので、以下の説明では、学習者側端末２００ａ〜２００ｎを区別する必要がない場合には、総称して学習者側端末２００と表記する。また、教育者側端末１００が学習効果評価装置として機能する。
【００１２】
教育者側端末１００は、制御部１１０と、入力インターフェース１２０と、操作部１２１と、通信インターフェース１３０と、グラフィックインターフェース１４０と、表示装置１４１と、記憶装置１５０とを備えている。制御部１１０と、入力インターフェース１２０と、通信インターフェース１３０と、グラフィックインターフェース１４０とは内部ネットワーク１６０で接続され、それぞれ内部ネットワーク１６０を介して通信可能である。また、制御部１１０は、ＣＰＵ（Central Processing Unit）１１１と、ＲＯＭ（Read Only Memory）１１２と、ＲＡＭ（Random Access Memory）１１３とを備えている。
【００１３】
まず、制御部１１０について説明する。ＲＯＭ１１２には、ＣＰＵ１１１が制御に使用するプログラムが記録されている。ＣＰＵ１１１は、ＲＯＭ１１２に記録されたプログラムを読み込んで、読み込んだプログラムに従った制御を行う。ＲＡＭ１１３には、ＣＰＵ１１１が演算に使用するデータや、ＣＰＵ１１０による演算結果のデータが記録される。ＣＰＵ１１１、ＲＡＭ１１３などのハードウェアと、ＲＯＭ１１２に記録されたプログラムとの協働によって実現される制御部１１０の処理手順についてはフローチャートを参照しながら後述する。
【００１４】
操作部１２１は、ユーザの操作入力を受け付ける受付部であり、操作部１２１によって受け付けた入力情報は、入力インタフェース１２０を介して制御部１１０に出力される。
【００１５】
通信インターフェース１３０は、ネットワーク３００に接続している。通信インターフェース１３０は、学習者側端末２００から操作ログや、解答結果等の情報を受信し、受信した情報を制御部１１０に出力する。
【００１６】
グラフィックインターフェース１４０は、制御部１１０で処理されたグラフィックデータを表示装置１４１に表示させるためのインターフェースであり、グラフィックデータを波形電気信号に変換して表示装置１４１に表示させる。
【００１７】
表示装置１４１には、制御部１１０の制御によって学習者の操作ログや解答結果等が表示される。
【００１８】
記憶装置１５０には、制御部１１０が制御に使用するデータが格納される。制御部１１０の制御によって記憶装置１５０内には後述するデータベース（以下、データベースをＤＢと略記する場合もある）が構築され、記憶装置１５０内に記憶されたデータを制御部１１０によって取り出し可能となる。データベースには、問題正答ＤＢ１５１、問題確認事項ＤＢ１５２、教材内容ＤＢ１５３、解答ログＤＢ１５４、操作ログＤＢ１５５等（図７参照）が含まれる。
【００１９】
次に、学習者側端末２００について説明する。なお、学習者側端末２００ａ〜２００ｎは、ほぼ同一の構成を備えているので、以下では代表して学習者側端末２００ａの構成について説明する。
学習者側端末２００ａは、制御部２１０と、入力インターフェース２２０と、通信インターフェース２３０と、グラフィックインターフェース２４０と、表示装置２４１と、記憶装置２５０とを備えている。制御部２１０と、入力インターフェース２２０と、通信インターフェース２３０と、グラフィックインターフェース２４０とは内部ネットワーク２６０で接続され、それぞれ内部ネットワーク２６０を介して通信可能である。
【００２０】
学習者側端末２００ａの制御部２１０は、教育者側端末１００の制御部１１０と同様に、ＣＰＵ２１１と、ＲＯＭ２１２と、ＲＡＭ２１３とを備えている。ＣＰＵ２１１はＲＯＭ２１２に記録されたプログラムを読み込んで、読み込んだプログラムに従った制御を行う。ＲＡＭ２１３には、ＣＰＵ２１１が演算に使用するデータや、ＣＰＵ２１１による演算結果のデータが記録される。ＣＰＵ２１１、ＲＡＭ２１３などのハードウェアと、ＲＯＭ２１２に記録されたプログラムとの協働によって実現される制御部２１０の処理についてはフローチャートを参照しながら後述する。
学習者側端末２００ａの制御部２１０は、操作部２２１の操作ログを取得してＲＡＭ２１３に記録しておくことができる。操作ログには、教材ファイルを開いたり、参照するページを指定したり、解答を入力したりする操作イベントが含まれる。制御部２１０は、テスト終了後に、ＲＡＭ２１３に記録した一連の操作ログを教育者側端末１００に送信する。なお、操作ログの詳細については後述する。
【００２１】
また、入力インターフェース２２０、操作部２２１、通信インターフェース２３０、グラフィックインターフェース２４０、表示装置２４１の処理については上述した教育者側端末１００と同様であるため説明を省略する。
【００２２】
次に、教育者側端末１００の記憶装置１５０に記憶されるデータベースについて説明する。
図２に、問題正答ＤＢ１５１に記憶される情報の一例を示す。問題正答ＤＢ１５１は、学習者に出題されるテスト問題と、各テスト問題の正答とを対応付けて記憶している。
図３に、問題確認事項ＤＢ１５２に記憶される情報の一例を示す。問題確認事項ＤＢ１５２は、出題されるテスト問題と、各テスト問題で問われている事項（以下、確認事項と呼ぶ）とを対応付けて記憶している。具体的には、テスト問題が数学で、三平方の定理を使って解く問題であれば、確認事項は三平方の定理となる。
図４に、教材内容ＤＢ１５３に記憶される情報の一例を示す。教材内容ＤＢ１５３は、各教材ファイルを識別する教材ファイル名と、教材ファイルのページと、各ページの記載内容と、各ページの種別情報とを対応付けて記憶している。種別情報とは、該当ページに記載された内容が表紙なのか、目次なのか、本文なのかを示す情報である。なお、図４には示していないが各ページのデータ量（テキスト数）等を教材内容ＤＢ１５３に記録しておいてもよい。
図５に、解答ログＤＢ１５４に記憶される情報の一例を示す。解答ログＤＢ１５４は、解答者が解答を入力した入力時刻情報と、各テスト問題を識別する識別情報と、各テスト問題に対する学習者の解答とを対応付けて記憶している。
図６に、操作ログＤＢ１５５に記憶される情報の一例を示す。操作ログＤＢ１５５は、学習者が操作を入力した入力時刻と、該当の操作を識別する操作情報とを対応付けて記憶している。図６には、一人の学習者のテスト開始からテスト終了までの操作ログの一例を示す。問題の提示、学習者の解答入力、解答までにどのような教材ファイルを開いたか等の学習者の操作ログが、該当操作の入力時刻情報とともに記憶されている。
【００２３】
次に、図７を参照しながら教育者側端末１００の制御部１１０に実現される機能ブロックについて説明する。ＣＰＵ１１１、ＲＡＭ１１３などのハードウェアと、ＲＯＭ１１２に記録されたプログラムとの協働によって、図７に示す機能ブロックが制御部１１０に実現される。
制御部１１０は、テスト問題送信部１７１、解答・操作ログ受信部１７２、解答・操作ログ取得部１７３、問題正誤判定部１７４、参照有無判定部１７５、関連度評価部１７６、あやふや度評価部１７７、総合評価部１７８を機能ブロックとして備えている。
【００２４】
テスト問題送信部１７１は、問題正答ＤＢ１５１からテスト問題を１問ずつ取り出して、通信インターフェース１３０を介して学習者側端末２００に送信する。
解答・操作ログ受信部１７２は、通信インターフェース１３０を介して学習者側端末２００から送信された解答者の解答や操作ログを受信する。解答・操作ログ受信部１７２は、受信した解答を解答ログＤＢ１５４に記憶し、受信した操作ログを操作ログＤＢ１５５に記憶する。また、解答・操作ログ受信部１７２は、解答者のテスト問題に対する解答の入力時刻情報をテスト問題と関連づけて解答ログＤＢ１５４に記憶する。
【００２５】
解答・操作ログ取得部１７３は、解答ログＤＢ１５４から対象の解答者の解答を取得する。同様に解答・操作ログ取得部１７３は、操作ログＤＢ１５５から対象の解答者の操作ログを取得する。解答・操作ログ取得部１７３は、取得した対象の解答者の解答と、操作ログとを問題正誤判定部１７４に出力する。
【００２６】
問題正誤判定部１７４は、解答・操作ログ取得部１７３から対象の解答者の解答と、操作ログとを取得する。また、問題正誤判定部１７４は、問題正誤ＤＢ１５１からテスト問題の正答を取得する。そして、問題正誤判定部１７４は、対象の解答者の解答が正答であるか、誤答であるかを判定する。問題正誤判定部１７４は、解答が正答であるのか、誤答であるのかの判定結果をあやふや度評価部１７７に出力する。また、問題正誤判定部１７４は、解答・操作ログ取得部１７３から取得した対象の解答者の操作ログを参照有無判定部１７５に出力する。
【００２７】
参照有無判定部１７５は、問題正誤判定部１７４から対象の解答者の操作ログを取得する。また、参照有無判定部１７５は、教材内容ＤＢ１５３から教材の各ページに記載された内容を取得する。参照有無判定部１７５は、取得した操作ログと、教材の各ページに記載された内容とに基づいて、対象の解答者がテスト問題に対する解答時に参照した教材のページを判定する。参照有無判定部１７５は、解答時に参照したと判定した教材のページ情報を関連度評価部１７６に出力する。なお、対象の解答者がテスト問題に対する解答時に参照した教材のページを判定する手順の詳細については後述する。
【００２８】
関連度評価部１７６は、解答者がテスト問題の解答時に参照した教材の参照ページ（箇所）情報を取得し、解答者が解答中に参照した教材の参照ページの内容を判定する。また、関連度評価部１７６は、解答者に提示したテスト問題で問われている内容を問題確認事項ＤＢ１５２を参照して判定する。さらに、関連度評価部１７６は、解答者が参照した教材の参照ページの内容と、解答者に提示した問題の内容とが関連しているか否かを判断し、関連していれば解答者の理解度が高いと判定する。
【００２９】
関連度評価部１７６についてより具体的に説明する。関連度評価部１７６は、参照有無判定部１７５で解答者が参照したと判定した教材のページ情報を参照有無判定部１７５から取得する。また、関連度評価部１７６は、教材内容ＤＢ１５３から参照ありと判定された教材のページに記載された内容を取得する。また、関連度評価部１７６は、問題確認事項ＤＢ１５２からテスト問題で問われている確認事項を取得する。関連度評価部１７６は、これらの情報を参照して、対象の解答者が参照したページがテスト問題の確認事項に関連する事項を記載したページであるか否かを表す関連度を算出する。関連度評価部１７６は、算出した関連度をあやふや度評価部１７７に出力する。
【００３０】
あやふや度評価部１７７は、対象の解答者が参照した各ページの、テスト問題の確認事項との関連度を関連度評価部１７６から取得する。また、あやふや度評価部１７７は、対象の解答者の解答が正答であるのか、誤答であるのかの判定結果を問題正誤判定部１７４から取得する。
あやふや度評価部１７７は、取得した関連度に基づいて、教材選択の揺れと教材選択の適切性とを評価する。また、あやふや度評価部１７７は、評価した教材選択の揺れと教材選択の適切性とに基づいて理解のあやふや度を算出する。なお、あやふや度評価部１７７は、解答者の解答が正答である場合には、正答用の理解のあやふや度を算出し、解答が誤答である場合には、誤答用の理解のあやふやを算出する。あやふや度評価部１７７は、算出した理解のあやふや度を総合評価部１７８に出力する。なお、教材選択の揺れと教材選択の適切性との具体的な評価方法と、理解のあやふや度の算出方法の詳細については後述する。
【００３１】
総合評価部１７８は、各テスト問題ごとに、対象の解答者の理解のあやふや度をあやふや度評価部１７７から取得する。総合評価部１７８は取得した各テスト問題の理解のあやふや度から総合的な学習効果を算出する。この処理の詳細についても後述する。
【００３２】
次に、学習者側端末２００にテスト問題を送信し、テスト問題に対する解答結果や操作ログを学習者側端末２００から取得して、学習者の理解度を評価するまでの全体の処理手順を、図８のフローチャートを参照しながら説明する。
学習者側端末２００の制御部２１０は、テストの開始と共に、学習者によって入力される操作ログの取得を開始する（ステップＳ１）。
まず、教育者側端末１００の制御部１１０は、問題を識別する変数ｊを１に初期化する（ステップＳ２）。なお、変数ｊは、１以上であって、学習者側端末２００を利用する学習者に送信されるテスト問題の総数までの値をとる変数である。次に、教育者側端末１００の制御部１１０は、問題を学習者側端末２００に送信する（ステップＳ３）。学習者側端末２００の制御部２１０は、教育者側端末１００から受信した問題を表示装置２４１に表示させる（ステップＳ４）。
表示装置２４１に表示した問題に対する解答が操作部２２１から入力されると、学習者側端末２００の制御部２１０は、操作部２２１から取得した解答を通信インターフェース２３０を介して教育者側端末１００に送信する（ステップＳ５）。教育者側端末１００の制御部１１０は、問題ｊに対する解答を受信し（ステップＳ６）、受信した解答を解答ログＤＢに記憶する（ステップＳ６）。次に、教育者側端末１００の制御部１１０は、変数ｊの値を１加算し（ステップＳ７）、変数ｊの値が該当の学習者に送信するテスト問題の総数よりも大きいか否かを判定する（ステップＳ８）。変数ｊの値が学習者に送信するテスト問題の総数以下であった場合（ステップＳ７／ＮＯ）、制御部１１０は問題ｊを学習者側端末２００に送信する（ステップＳ３）。そして、制御部１１０は、学習者側端末２００から解答を受信すると、受信した解答を解答ログＤＢに記録する（ステップＳ６）。
【００３３】
また、変数ｊの値が学習者に送信するテスト問題の総数よりも大きい場合（ステップＳ８／ＹＥＳ）、制御部１１０はテストの終了を学習者側端末２００の制御部２１０に通知する。学習者側端末２００の制御部２１０は、操作ログの取得を終了し、取得した操作ログを教育者側端末１００の制御部１１０に送信する（ステップＳ９）。教育者側端末１００の制御部１１０は、学習者側端末２００から送信された操作ログを受信し、受信した操作ログを操作ログＤＢに記録する（ステップＳ１０）。教育者側端末１００の制御部１１０は、学習者のテスト問題に対する各解答と、操作ログとを用いて各問題ごとに理解のあやふや度を算出し、算出した各問題の理解のあやふや度から総合的な学習効果を算出する（ステップＳ１１）。
なお、理解のあやふや度とは、学習者が問題を解く上で必要な知識を正しく把握しているかどうかを表す指標である。学習者の解答の正誤の他、問題を解くために必要な知識と関係ない知識の区別がついているかも評価する。
問題を解くために必要な知識が何であるかを学習できていて、その知識の中身を教材で参照しつつ問題を解く場合と、必要な知識が何かが分からず、教材で探しながら問題に解く場合では、学習者の理解度という点で差がある。テスト中に教材など参考情報を見られる場合、全く学習をしていなかったり、問題を解くために何が必要であるか把握できていなくても、教材をくまなく見直せば、テスト中に何が必要な知識かが分かる場合もある。また、教材中の例題と類似する問題がそのまま出された場合、例題に当てはめて正解を得られる可能性がある。そこで、テスト中の学習者の教材の参照の仕方を把握して、理解のあやふや度を評価する。
【００３４】
最後に、制御部１１０は、算出した総合的な学習効果を各学習者ごとに記憶装置１５０に記憶させたり、表示装置１４１に表示させたり、用紙に印刷したりして出力する（ステップＳ１２）。
【００３５】
次に、ステップＳ１１の理解のあやふや度の算出と、総合的な学習効果の算出手順を図９に示すフローチャートを参照しながら説明する。
まず、教育者側端末１００の制御部１１０は、解答ログＤＢから学習効果の評価を行う学習者の解答を取得する（ステップＳ２１）。また、制御部１１０は、問題正答ＤＢを参照して、問題の正答を取得する（ステップＳ２２）。
【００３６】
次に、制御部１１０は、問題ｊを識別する変数をｊとして、変数ｊの値を１に設定する（ステップＳ２３）。
次に、制御部１１０は、問題ｊの学習者の解答と、問題ｊの正答とを比較して、学習者の解答が正解であるか否かを判定する（ステップＳ２４）。制御部１１０は、学習者の解答が正答であるのか誤答であるのかを判定し、判定結果をＲＡＭ１１３に記録する。図１０にＲＡＭ１１３に記録される判定結果の一例を示す。図１０に示す例では、学習者の解答が正解である場合には、「１」が記録される。
次に、制御部１１０は、問題ｊが提示されてから、学習者が解答するまでの一連の操作ログを抽出する（ステップＳ２５）。例えば、問題ｊを学習者に提示する操作イベントから、学習者が提示された問題に対して解答を決定して送信する操作イベントまでのログを抽出すればよい。図１１に抽出された操作ログの一例を示す。
【００３７】
次に、制御部１１０は、抽出した操作ログから、ファイルをオープンする操作イベントや、ファイルのページをオープンする操作イベントを検出して、オープンしたファイルやページを検出する（ステップＳ２６）。次に、制御部１１０は、オープンしたページがオープンしていた時間を操作ログから検出し、学習者がページやファイルを参照したか否かを判定する（ステップＳ２７）。この処理の詳細については後述する。
【００３８】
次に、制御部１１０は、参照ありと判定したページの記載内容を教材内容ＤＢを参照して取得し、取得した記載内容と、問題確認事項ＤＢから取得した確認事項との関連度を評価する（ステップＳ２８）。評価した関連度の一例を図１２に示す。関連度の評価方法についても後述する。
【００３９】
次に、制御部１１０は、算出した関連度を用いて、問題ｊに対する理解のあやふや度の要素である教材選択の揺れや、教材選択の適切性を評価する（ステップＳ２９）。さらに、制御部１１０は、評価した教材選択の揺れや、教材選択の適切性に基づいて問題ｊに対する理解のあやふや度を算出する（ステップＳ２９）。これらの処理の詳細についても後述する。制御部１１０は、問題ｊに対する理解のあやふや度を算出すると、変数ｊを１加算し（ステップＳ３０）、変数ｊの値がテスト問題の総数よりも大きくなったか否かを判定する（ステップＳ３１）。変数ｊの値がテスト問題の総数以下であった場合には（ステップＳ３１／ＮＯ）、制御部１１０は、ステップＳ２４からの処理を繰り返し行う。
また、変数ｊの値がテスト問題の総数よりも大きくなると（ステップＳ３１／ＹＥＳ）、全ての問題で求めた理解のあやふや度から、総合的な学習効果を評価する（ステップＳ３２）。なお、総合評価は各問題の理解のあやふや度を問題の難易度に応じた加重平均するなどの一般的に取られる手法をとってよい。
【００４０】
次に、図１３に示すフローチャートを参照しながら学習者がオープンしたページを参照しているか否かを判定する処理フローを説明する。なお、この処理フローを図１４に示す具体例を参照しながら説明する。図１４には、問題１を表示装置２４１に表示して学習者に提示してから、学習者が問題１の解答を決定して教育者側端末１００に送信するまでの操作ログの一例を示す。
【００４１】
制御部１１０は、まず、学習者がオープンしたページを識別する変数ｐの値を１に設定する（ステップＳ４１）。次に、制御部１１０は、ページｐをオープンしたイベント、図１４に示す例では、"show PAGE_x in FILE_y"を抽出する。以下、この操作イベントをp_showと略記する。
次に、制御部１１０は、操作イベントp_showの直後の操作ログから、同一ファイル中の他のページを開くためのファイル種別に応じた操作イベントか、他のファイルを探したりオープンするための操作イベントを抽出する（ステップＳ４３）。また、これらの操作イベントが検出されなかった場合には、制御部１１０は、問題の解答を記入している操作イベントp_postを抽出してもよい（ステップＳ４３）。
なお、ページをオープンする操作は、ファイルを開くためのアプリケーションによって異なっていてもよい。また、１つのファイルに対して複数通りの操作があってもよい。例えば、あるファイルでは、ページを送るアイコンをクリックすることで、表示中のページの前後ページをオープンすることができ、さらにページ数を指定することでも他のページをオープンすることができる。
具体的には、Windows（登録商標）ＯＳ（Operating System）を搭載したパソコンでは、ファイルを探すイベントは、通常、エクスプローラ（登録商標）を操作している操作イベントである。また、ファイルをオープンするための操作イベントには、エクスプローラ上でアイコンをマウスクリックするというイベントが含まれる。
制御部１１０は、操作ログを抽出すると、そのとき開いているページをオープンしたイベントp_showから、抽出した操作ログまでをページの参照時間として算出する（ステップＳ４４）。図１４に示す例では、制御部１１０は、参照ページを開く操作イベントp_showから次のページをオープンする操作イベントp_postまでの参照時間を算出している。
【００４２】
次に、制御部１１０は、ページを識別する変数ｐの値を１加算し、変数ｐの値がステップＳ２６でオープンしたと判定したページ数よりも大きくなったか否かを判定する（ステップＳ４６）。変数ｐが、オープンしたと判定したページ数以下であった場合には（ステップＳ４６／ＮＯ）、制御部１１０は、ページｐをオープンしたイベントp_showを抽出し、ステップＳ４５までの処理を繰り返す。また、変数ｐがオープンしたと判定したページ数よりも大きくなった場合には（ステップＳ４６／ＹＥＳ）、制御部１１０は次のステップＳ４７に移行する。
【００４３】
次のステップＳ４７では、制御部１１０は、教材内容ＤＢに基づき、オープンしていたファイルの各ページの表紙、目次といったページ種別や、もしあるならば、各ページの記述量（データ量）などを照会する。そして、制御部１１０は、例えばページ種別毎に各ページを参照していた時間の統計をとっていき（ステップＳ４７）、ページを繰るために開いていたと考えられる参照と、そうではなく中身を見ていたと考えられる参照を分けられるようなしきい値となる時間を探していく（ステップＳ４８）。例えば、各ページを参照していた時間の統計をとっていった結果、図１５に示すようにオープンしていた時間ごとの時間毎の頻度分布が大きく二つに分かれる場合には、この境の時間をしきい値としてもよい。また、各ページのオープンしていた時間の平均時間を求め、求めた平均時間から、オープンしていた時間の標準偏差の予め決めた倍数分だけ減算した時間をしきい値とするなど、いくつかの方法が考えられる。また、各ページの記載量が分かっている場合は、単純に頻度分布をとるのではなく、各ページの記載量で正規化して参照時間の分布を求めてもよい。なお、しきい値を決めるための分布をページの記載量で正規化して決めた場合は、ページ毎に記載量に応じたしきい値となる時間を計算し、参照時間が計算したしきい値となる時間を超えているか、短いかで参照有無を判断する。このオープンしたページを実際に参照しているかどうかを判断することで、他のページを参照するために、ページを繰っているだけで中身を参照していないようなページが理解のあやふや度に影響するのを防ぐこともできる。
【００４４】
次に、制御部１１０は、ページを識別する変数ｐの値を１に設定する（ステップＳ４９）。
次に、制御部１１０は、各ページ種別毎の参照時間のしきい値と、もしあれば予めシステムで決められた参照時間のしきい値とを用いて、オープンしたページの中身を参照したか否かを判定する（ステップＳ５０）。制御部１１０は、しきい値以下の参照時間しかないページは、中身を参照していないページと判定し、しきい値以上参照していたページは、中身を参照したページと判定する。図１６には、学習者がオープンしたページの参照有無の判定結果を示す。参照ありと判定されたページには、「１」が記録される。この判定結果は、ＣＰＵ１１１によって、ＲＡＭ１１３に記録される。なお、各ページ種別毎の参照時間のしきい値と、システムで決められた参照時間のしきい値とが両方求められる場合には、時間が短いほうのしきい値を使用するとよい。
ページｐが学習者によって参照されたか否かの判定が終了すると、制御部１１０は変数ｐの値を１加算して（ステップＳ５１）、変数ｐの値がステップＳ２６でオープンしたと判定したページ数よりも大きいか否かを判定する（ステップＳ５２）。変数ｐが、オープンしたと判定したページ数以下であった場合には（ステップＳ５２／ＮＯ）、制御部１１０は、ステップＳ５０の処理を繰り返す。また、変数ｐが、オープンしたと判定したページ数よりも大きい場合には（ステップＳ５２／ＹＥＳ）、このフローを終了する。
【００４５】
次に、図１７に示すフローチャートを参照しながら理解のあやふや度を算出する手順を説明する。
まず、制御部１１０は、参照ありと判定れたページを識別する変数ｐ’を１に初期設定する（ステップＳ６１）。次に、制御部１１０は、問題確認事項ＤＢと各ページの教材内容ＤＢを参照し、ページｐ’の問題ｊに対する関連度select_p'を算出する（ステップＳ６２）。具体的には、制御部１１０は、まず、参照有りと判定されたページｐ’に記載された内容を教材内容ＤＢを参照して取り出す。次に、制御部１１０は、問題確認事項ＤＢを参照して問題ｊの確認事項を取り出す。図１８には、問題確認事項ＤＢから取り出された確認事項の一例を示す。そして、制御部１１０は、取り出した問題ｊの確認事項と、参照有りと判定されたページｐ’の記載内容とに関連があるか否かを判定する。関連度は、関連があれば必ず１としてもよいし、図１９に示すように参照有りと判定されたページｐ’の種別や記載内容によって予め決められた重み付けルールに従って関連度を設定してもよい。例えば、ページｐ’のページ種別が本文であり、このページｐ’に確認事項の定義、定理、公式が記述されていた場合には、関連度を１．０に設定する。また、同じくページｐ’のページ種別が本文であり、このページｐ’に定理、公式の例が記述されていた場合には、関連度を１に設定する。また、ページｐ’のページ種別が目次であり、このページｐ’に確認事項が含まれていた場合には、重みを０．５に設定する。さらに、制御部１１０は、学習者が参照しているページであっても、このページの内容と問題の確認事項とが一致しない場合には、関連度を０とする。図２０に参照ありと判定された各ページの問題の確認事項との関連度の一例を示す。
【００４６】
ページｐ’の関連度を判定すると、制御部１１０は、変数ｐ’の値を１加算し（ステップＳ６３）、ステップＳ５０で参照ありと判定されたページ数と比較する（ステップＳ６４）。変数ｐ’の値が、参照ありと判定されたページ数以下であった場合には（ステップＳ６４／ＮＯ）、制御部１１０は、ステップＳ６２、Ｓ６３の処理を繰り返す。また、変数ｐ’の値が、参照ありと判定されたページ数よりも大きい場合には（ステップＳ６４／ＹＥＳ）、制御部１１０は、変数ｐ’を再度１に設定し（ステップＳ６５）、ページｐ’の前後の参照ありと判定されたページを抽出する（ステップＳ６６）。なお、ページｐ’の前の参照ありと判定されたページをp'_preとし、ページｐ’よりも後の参照ありと判定されたページをp'_postとする。
【００４７】
次に、制御部１１０は、ページｐ’とページp'_preとの関連度の差分と、ページｐ’とページp'_postとの関連度の差分をそれぞれ求め、求めた差分から教材選択の揺れselect_diff_p'を算出する（ステップＳ６７）。教材選択の揺れselect_diff_p'の算出手順について、図２１を参照しながら説明する。例えば、図２１に示す例で、処理対象のページｐ’をPAGE_4 in FILE_Aとする。この処理対象のページの前後の参照ありページは、それぞれPAGE_2 in FILE_Aと、 PAGE_8 in FILE_Aである。また、処理対象のページｐ’とページｐ’よりも前の参照ありページ（PAGE_2 in FILE_A）との関連度の差分は、０．５−１．０＝−０．５となる。同様に、処理対象のページｐ’とページｐ’よりも後の参照ありページ（PAGE_4 in FILE_A）との関連度の差分は、１．０−０．０＝１．０となる。制御部１１０は、ページｐ’とページp'_preとの関連度の差分の絶対値と、ページｐ’とページp'_postとの関連度の差分の絶対値の平均値を教材選択の揺れselect_diff_p'として出力する。処理対象ページｐ’をPAGE_4 in FILE_Aとすると、教材選択の揺れselect_diff_p'は、０．７５となる。
なお、教材選択の揺れselect_diff_p'の算出には、前後の差の絶対値の平均値以外にも、前後との関連度の違いの度合いを表す値を算出できる他の計算手法を用いてもよい。
【００４８】
ページｐ’について、教材選択の揺れselect_diff_p'を算出すると、制御部１１０は、ｐ’の値を１加算し（ステップＳ６８）、次の参照ありと判定されたページｐ’について、教材選択の揺れselect_diff_p'を算出する。すべての参照ありと判定されたページｐ’で教材選択の揺れselect_diff_p'を算出すると（ステップＳ６９／ＹＥＳ）、制御部１１０は、求めた各ページの教材選択の揺れselect_diff_p'から全体の関連度の違いの揺れを評価する（ステップＳ７０）。
例えば、参照ありと判定されたすべてのページを学習者が参照した時間で前半ページと、後半ページの２つに分ける。図２２には、学習者の参照ありと判定されたページの教材選択の揺れselect_diff_p'を学習者の参照時間順にプロットした図を示す。なお、２つに分割できない場合には、前半ページと、後半ページとの両方に含まれるページがあってもよい。次に、制御部１１０は、前半ページに分けた参照ありページの中から教材選択の揺れselect_diff_p'が最大の値を抽出する（以下、この値を前半の揺れ幅と呼ぶ）。後半ページに分けた参照ありページについても同様に教材選択の揺れselect_diff_p'が最大の値を抽出する（以下、この値を後半の揺れ幅と呼ぶ）。また、制御部１１０は、参照ありと判定されたすべてのページの教材選択の揺れselect_diff_p'を加算して平均値を求める（以下、この値を全体の揺れの平均値と呼ぶ）。そして、制御部１１０は、求めた全体の揺れの平均値と、後半の揺れの幅と、前半の揺れ幅とに基づいて全体としての教材選択の揺れを評価する。具体的には、全体の揺れの平均値が小さい（全体的に小さい）場合には、教材選択の揺れが小さいと判定する。また、学習者が教材のページを参照をし始めのうちは揺れ幅が大きく、徐々に揺れ幅が小さくなってくる場合にも、教材選択の揺れを示す値が小さくなるように評価する。逆に、教材参照の終盤でも揺れ幅が大きかったり、全参照を通じて揺れ幅が大きい場合には、教材選択の揺れを示す値が大きくなるようにする。
具体的な計算式として、
全体の揺れの平均値×後半の最大揺れ幅／（１＋前半の最大揺れ幅）
を用いることができる。
【００４９】
次に、全体の教材選択の適切性を関係のない教材ファイルを多く選択していないかどうかで評価する。まず、制御部１１０は、オープンしたファイルを問題の確認事項に関連する事項を記載したページが含まれているか否かで分類する。図１２に示すように問題の確認事項に関連する事項が記載されているか否かは判定済みであるので、制御部１１０は、オープンしたファイルを関連するページを含むファイル群と含まないファイル群に分類する（ステップＳ７１）。図２３に分類結果の一例を示す。次に、制御部１１０は、関連するページを含むファイル群と含まないファイル群の分布から、全体の教材選択の適切性を評価する（ステップＳ７１）。
制御部１１０は、関連したページを含むファイルごとに、参照有りと判断したページの最大の関連度を抽出し、そのファイルの問題への関連度とする。また、関連したページを含まないファイルの関連度は、「０」とする。そして、制御部１１０は、関連するページを含むファイル群と含まないファイル群とで関連度の加重平均を取る。図２４（ａ）には、関連したページを含むファイルの抽出された関連度を示し、図２４（ｂ）に関連したページを含まないファイルの関連度を示す。図２４に示す例を用いて、全体の教材選択の適正性selectを計算すると、
｛（１．０＋１．０＋０．５）×１．０＋（０．０）×１．１｝／（３×１０＋１×１．１）＝０．６１となる。
なお、この計算例では、関連したページを含むファイルへの重みを１．０とし、関連したページを含まないファイルの重みを１．１として計算している。
なお、この計算は、関連するページを含むファイル群が含まないファイル群に比べて割合が大きければ値が大きく、小さければ値が小さくなるような性質を持つような他の計算手法であってもよい。
【００５０】
最後に、制御部１１０は、当該問題ｊが正答であれば（ステップＳ７２／ＹＥＳ）、正答用の理解のあやふや度の評価をこれまでに算出した教材選択の揺れselect_diffと教材選択の適正性selectから評価する。また、問題ｊが誤答であれば（ステップＳ７２／ＮＯ）、誤答用の理解のあやふや度の評価を行う。
【００５１】
正答の場合の計算の一例を示す。
例えば、問題１が正答であり、ステップＳ７０で算出される全体の教材選択の揺れselect_diffが０．０８で、ステップＳ７１で算出される教材選択の適正性selectが０．６１であったとする。制御部１１０は、（１−教材選択の揺れ）と教材選択の適正性との平均値を求めて、求めた平均値の逆数を取る。したがって、正答用の理解のあやふや度は、
［｛（１−０．０８）＋０．６１｝／２］−１＝１．５４
となる。
なお、これ以外に、教材選択の揺れselect_diffが大きくて、教材選択の適正性selectが小さければ値が大きく、教材選択の揺れselect_diffが小さく、教材選択の適正性selectが大きければ値が小さくなるような計算手法をとってもよい。例えば、教材選択の揺れと教材選択の適切性の逆数の相乗平均などが挙げられる。
【００５２】
また、誤答用の理解のあやふや度の評価は、正答用の理解のあやふや度の評価と同じ計算をした後、それに決まった数値を足してもよい。また、（１−教材選択の揺れ）と教材選択の適切性の平均を取るところを、２よりも小さい数値で割って計算してもよい。
例えば、制御部１１０は、
［｛（１−教材選択の揺れ）×０．５＋教材選択の適正正×０．７５｝／２］−１
を計算して、誤答用の理解のあやふや度の評価を評価する。
ステップＳ７０で算出される全体の教材選択の揺れselect_diffが０．０８で、ステップＳ７１で算出される教材選択の適正性selectが０．６１であるので、［｛（１−０．０８）×０．５＋０．６１×０．７５｝／２］−１＝２．２７
となる。
【００５３】
（変形例）
なお、上述の説明では、オープンしたページの内容を学習者が参照しているかどうかを判断するために、オープンしたページの参照時間の分布からしきい値を決めていた。すなわち、各問題をを解く間にオープンしたページの参照時間の分布からしきい値を求めていたが、テスト中の全問題でオープンしたページの参照時間を用いてしきい値を求めてもよい。
例えば、問題１と問題２以降で同じページ PAGE_15 in FILE_Zをオープンしている場合、問題２以降でPAGE_15 in FILE_Zを実際にオープンしている時間を定数倍して、しきい値を求める。さらに、中身の参照有無の判断の時には、問題２以降で PAGE_15 in FILE_Zをオープンした時間をしきい値を求めた時と同じ定数倍をしてしきい値と比較して評価する。これにより、テスト中、同じページを何度か見て、ある程度、内容に覚えがあって参照時間が短くなっていく場合も、初回に見た時と同じように評価することができる。
【００５４】
また、上述した説明では、問題確認事項ＤＢと教材内容ＤＢから、オープンしたページと問題との関連度を評価しているため、対象となるのは教材のページだけだが、Ｗｅｂで検索してオープンしたページを評価の対象に加えてもよい。
例えば、制御部１１０は、操作ログから検索に用いたキーワードを抽出し、それと問題確認事項ＤＢに書かれている確認事項が一致するかどうかで関連があるかどうかを判定する。また、操作ログからオープンしたＷｅｂページのＵＲＬ（Uniform Resource Locator）を抽出し、そのＵＲＬに書かれている内容を取得する。そして、取得した内容に問題確認事項データＤＢに書かれている確認事項が現れる場合に関連があると評価してもよい。
【００５５】
以上のように本実施例は、オンラインテストにおいて、問題の提示から解答するまでの学習者の教材閲覧の履歴を用い、そのページの閲覧の変遷を評価して、解答の正誤に追加して、学習者の学習効果を判定する。学習者が問題に関係のあるページを参照しているか、それとも問題に関係のないページも混ざって見ているかを評価することで、学習者が各問題に対して、どのような知識が必要であるかを分かっているかどうかを判定することができる。従って、選択式テストでテスト中に教材を参考にできる環境でも、学習効果を精度よく評価することができる。
【００５６】
上述した実施例は、本発明の好適な実施例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。
［付記１］
問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、
教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、
解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得手段と、
前記取得手段で取得した前記教材の箇所と、前記教材内容データベースとから前記解答者が参照した教材の内容を判断し、前記提示した問題と前記問題確認事項データベースとから前記提示した問題の内容を判断し、前記解答者が参照した教材の内容と前記提示した問題の内容とが関連しているか否かを判断し、関連していれば解答者の理解度が高いと判断する理解度判断手段と、
を有することを特徴とする学習効果評価装置。
［付記２］
前記解答者が参照した教材の箇所を示す情報として複数箇所の情報を前記取得手段で取得した場合、前記理解度判断手段は、前記解答者が参照した前記教材の複数箇所の内容と、前記提示した問題の内容とが関連しているか否かを判断し、前記解答者が問題の内容に関連する前記教材の箇所を連続して参照している場合に、前記理解度をより高いと判断することを特徴とする付記１記載の学習効果評価装置。
［付記３］
コンピュータを、
解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得手段と、
教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、前記取得手段で取得した前記教材の箇所とから前記解答者が参照した教材の内容を判断する第１判断手段と、
問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、前記取得手段で取得した前記提示した問題とから前記提示した問題の内容を判断する第２判断手段と、
前記第１判断手段で判断した教材の内容と、前記第２判断手段で判断した問題の内容とが関連しているか否かを判断し、関連していれば前記解答者の理解度が高いと判断する第３判断手段として機能させることを特徴とするプログラム。
［付記４］
前記解答者が参照した教材の箇所を示す情報として複数箇所の情報を前記取得手段で取得した場合、前記第３判断手段は、前記解答者が参照した前記教材の複数箇所の内容と、前記提示した問題の内容とが関連しているか否かを判断し、前記解答者が問題の内容に関連する前記教材の箇所を連続して参照している場合に、前記理解度をより高いと判断することを特徴とする付記３記載のプログラム。
［付記５］
解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得ステップと、
教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、前記取得ステップで取得した前記教材の箇所とから前記解答者が参照した教材の内容を判断する第１判断ステップと、
問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、前記取得ステップで取得した前記提示した問題とから前記提示した問題の内容を判断する第２判断ステップと、
前記第１判断ステップで判断した教材の内容と、前記第２判断ステップで判断した問題の内容とが関連しているか否かを判断し、関連していれば前記解答者の理解度が高いと判断する第３判断ステップとをコンピュータが実行することを特徴とする学習効果評価方法。
［付記６］
前記解答者が参照した教材の箇所を示す情報として複数箇所の情報を前記取得ステップで取得した場合、前記第３判断ステップは、前記解答者が参照した前記教材の複数箇所の内容と、前記提示した問題の内容とが関連しているか否かを判断し、前記解答者が問題の内容に関連する前記教材の箇所を連続して参照している場合に、前記理解度をより高いと判断することを特徴とする付記５記載の学習効果評価方法。
【符号の説明】
【００５７】
１００ 教育者側端末
１１０ 制御部
１５１ 問題正答ＤＢ
１５２ 問題確認事項ＤＢ
１５３ 教材内容ＤＢ
１５４ 解答ログＤＢ
１５５ 操作ログＤＢ
１７１ テスト問題送信部
１７２ 解答・操作ログ受信部
１７３ 解答・操作ログ取得部
１７４ 問題正誤判定部
１７５ 参照有無判定部
１７６ 関連度評価部
１７７ あやふや度評価部
１７８ 総合評価部
２００ 学習者側端末
２１０ 制御部
【特許請求の範囲】
【請求項１】
問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、
教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、
解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得手段と、
前記取得手段で取得した前記教材の箇所と、前記教材内容データベースとから前記解答者が参照した教材の内容を判断し、前記提示した問題と前記問題確認事項データベースとから前記提示した問題の内容を判断し、前記解答者が参照した教材の内容と前記提示した問題の内容とが関連しているか否かを判断し、関連していれば解答者の理解度が高いと判断する理解度判断手段と、
を有することを特徴とする学習効果評価装置。
【請求項２】
前記解答者が参照した教材の箇所を示す情報として複数箇所の情報を前記取得手段で取得した場合、前記理解度判断手段は、前記解答者が参照した前記教材の複数箇所の内容と、前記提示した問題の内容とが関連しているか否かを判断し、前記解答者が問題の内容に関連する前記教材の箇所を連続して参照している場合に、前記理解度をより高いと判断することを特徴とする請求項１記載の学習効果評価装置。
【請求項３】
コンピュータを、
解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得手段と、
教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、前記取得手段で取得した前記教材の箇所とから前記解答者が参照した教材の内容を判断する第１判断手段と、
問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、前記取得手段で取得した前記提示した問題とから前記提示した問題の内容を判断する第２判断手段と、
前記第１判断手段で判断した教材の内容と、前記第２判断手段で判断した問題の内容とが関連しているか否かを判断し、関連していれば前記解答者の理解度が高いと判断する第３判断手段として機能させることを特徴とするプログラム。
【請求項４】
解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得ステップと、
教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、前記取得ステップで取得した前記教材の箇所とから前記解答者が参照した教材の内容を判断する第１判断ステップと、
問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、前記取得ステップで取得した前記提示した問題とから前記提示した問題の内容を判断する第２判断ステップと、
前記第１判断ステップで判断した教材の内容と、前記第２判断ステップで判断した問題の内容とが関連しているか否かを判断し、関連していれば前記解答者の理解度が高いと判断する第３判断ステップとをコンピュータが実行することを特徴とする学習効果評価方法。
【請求項１】
問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、
教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、
解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得手段と、
前記取得手段で取得した前記教材の箇所と、前記教材内容データベースとから前記解答者が参照した教材の内容を判断し、前記提示した問題と前記問題確認事項データベースとから前記提示した問題の内容を判断し、前記解答者が参照した教材の内容と前記提示した問題の内容とが関連しているか否かを判断し、関連していれば解答者の理解度が高いと判断する理解度判断手段と、
を有することを特徴とする学習効果評価装置。
【請求項２】
前記解答者が参照した教材の箇所を示す情報として複数箇所の情報を前記取得手段で取得した場合、前記理解度判断手段は、前記解答者が参照した前記教材の複数箇所の内容と、前記提示した問題の内容とが関連しているか否かを判断し、前記解答者が問題の内容に関連する前記教材の箇所を連続して参照している場合に、前記理解度をより高いと判断することを特徴とする請求項１記載の学習効果評価装置。
【請求項３】
コンピュータを、
解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得手段と、
教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、前記取得手段で取得した前記教材の箇所とから前記解答者が参照した教材の内容を判断する第１判断手段と、
問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、前記取得手段で取得した前記提示した問題とから前記提示した問題の内容を判断する第２判断手段と、
前記第１判断手段で判断した教材の内容と、前記第２判断手段で判断した問題の内容とが関連しているか否かを判断し、関連していれば前記解答者の理解度が高いと判断する第３判断手段として機能させることを特徴とするプログラム。
【請求項４】
解答者に提示した問題と、該提示した問題の解答を行う際に前記解答者が参照した教材の箇所を示す情報とを取得する取得ステップと、
教材に記載された内容と、該内容が記載された教材の箇所を示す情報とを対応付けて記憶した教材内容データベースと、前記取得ステップで取得した前記教材の箇所とから前記解答者が参照した教材の内容を判断する第１判断ステップと、
問題と、各問題で問われている内容とを対応付けて記憶した問題確認事項データベースと、前記取得ステップで取得した前記提示した問題とから前記提示した問題の内容を判断する第２判断ステップと、
前記第１判断ステップで判断した教材の内容と、前記第２判断ステップで判断した問題の内容とが関連しているか否かを判断し、関連していれば前記解答者の理解度が高いと判断する第３判断ステップとをコンピュータが実行することを特徴とする学習効果評価方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１０−２７７０４６（Ｐ２０１０−２７７０４６Ａ）
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願番号】特願２００９−１３２３８８（Ｐ２００９−１３２３８８）
【出願日】平成２１年６月１日（２００９．６．１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願日】平成２１年６月１日（２００９．６．１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]