遠隔学習システム及び遠隔学習方法
【課題】指導者が学習者の肉体的・精神的情況をリアルタイムに把握し得る遠隔学習システム及び遠隔学習方法を提供する。
【解決手段】学習者Ｂ又はＣが使用する学習者用端末２０Ｂ又は２０Ｃと指導者Ａが使用する指導者用端末２０Ａとがネットワークを介して接続された遠隔学習システムにおいて、前記学習者及び／又は前記学習者周辺における物理的事象を検出するための複数種類のセンサと、前記学習者及び／又は前記学習者周辺における物理的事象の組み合わせと前記学習者の肉体的・精神的情況との相関関係を定めたルール情報を記憶する記憶手段と、前記複数種類のセンサにより検出された物理的事象の組み合わせと前記記憶手段に記憶されたルール情報とに基づいて前記学習者の肉体的・精神的情況を推定する推定手段と、前記推定手段により推定された前記学習者の肉体的・精神的情況を前記指導者用端末に配信する配信手段とを備える。
【解決手段】学習者Ｂ又はＣが使用する学習者用端末２０Ｂ又は２０Ｃと指導者Ａが使用する指導者用端末２０Ａとがネットワークを介して接続された遠隔学習システムにおいて、前記学習者及び／又は前記学習者周辺における物理的事象を検出するための複数種類のセンサと、前記学習者及び／又は前記学習者周辺における物理的事象の組み合わせと前記学習者の肉体的・精神的情況との相関関係を定めたルール情報を記憶する記憶手段と、前記複数種類のセンサにより検出された物理的事象の組み合わせと前記記憶手段に記憶されたルール情報とに基づいて前記学習者の肉体的・精神的情況を推定する推定手段と、前記推定手段により推定された前記学習者の肉体的・精神的情況を前記指導者用端末に配信する配信手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ｅ−ｌｅａｒｎｉｎｇなどの遠隔教育において学習者の理解度をより高めるための遠隔学習システム及び遠隔学習方法に関する。
【背景技術】
【０００２】
近年、遠隔学習の場において、インターネットやＷｅｂを利用したｅ−ｌｅａｒｎｉｎｇ技術が広く一般に使われている。このような遠隔学習システムでは、学習の効果を向上させるために様々な技術が提案されている。例えば、特許文献１には、講師と生徒の映像を互いの端末に表示する遠隔学習システムにおいて、講師の注目度が高い生徒画像ウィンドウを講師用画面の上方に配置する技術が開示されている。この従来技術によれば、講師の顔が下に向かずビデオカメラの正面に向きやすくなるので、講師の顔を好適に撮影することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２８０５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来の遠隔学習システムによると、解像度の低い生の映像や音そのものを送受信することしかできない場合がある。このような場合、指導者は、学習者の視線、目つき、表情、雰囲気、におい、感情、気配、眠気、退屈といった肉体的・精神的情況をリアルタイムに把握することができなかった。そのため、学習者に聞き逃しや見落としなどによる誤解があっても、指導者はそれに気付くことなく講義を進行してしまう場合があった。
【０００５】
本発明は、上記課題を解決するためになされたものであり、その目的は、指導者が学習者の肉体的・精神的情況をリアルタイムに把握し得る遠隔学習システム及び遠隔学習方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の第１の特徴は、学習者が使用する学習者用端末と指導者が使用する指導者用端末とがネットワークを介して接続された遠隔学習システムにおいて、前記学習者及び／又は前記学習者周辺における物理的事象を検出するための複数種類のセンサと、前記学習者及び／又は前記学習者周辺における物理的事象の組み合わせと前記学習者の肉体的・精神的情況との相関関係を定めたルール情報を記憶する記憶手段と、前記複数種類のセンサにより検出された物理的事象の組み合わせと前記記憶手段に記憶されたルール情報とに基づいて前記学習者の肉体的・精神的情況を推定する推定手段と、前記推定手段により推定された前記学習者の肉体的・精神的情況を前記指導者用端末に配信する配信手段とを備えたことである。
【０００７】
本発明の第２の特徴は、前記遠隔学習システムにおいて、前記配信手段が、前記学習者の反応を促す問い合わせ情報を配信し、前記推定手段が、前記問い合わせ後の前記学習者の反応に基づいて前記学習者の肉体的・精神的情況を推定することである。
【０００８】
本発明の第３の特徴は、前記遠隔学習システムにおいて、前記配信手段が、前記学習者の学習意欲が低下した場合は、前記学習者に刺激を与える態様で警告情報を配信することである。
【０００９】
本発明の第４の特徴は、前記遠隔学習システムにおいて、前記配信手段が、前記学習者の学習意欲が低下した場合または前記学習者が聞き逃しあるいは見落としをした場合において、(A)前記学習者が短期記憶容量の少ない学習者であるときはキーワードを前記学習者用端末に配信し、(B)前記学習者が連想学習能力の弱い学習者であるときは要約情報を前記学習者用端末に配信し、(C)前記学習者が短期記憶容量の少ない学習者であり且つ連想学習能力の弱い学習者であるときはキーワードおよび要約情報を前記学習用端末に配信することである。
【００１０】
本発明の第５の特徴は、前記遠隔学習システムにおいて、前記推定手段が、複数のタイミングにおいて前記学習者の肉体的・精神的情況を推定することである。
【００１１】
本発明の第６の特徴は、前記遠隔学習システムにおいて、前記推定手段が、複数のタイミングにおいて前記学習者の肉体的・精神的情況を推定し、連続する所定数のタイミングにおいて同一の推定結果が得られた場合のみ、その推定結果を採用することである。
【００１２】
本発明の第７の特徴は、前記遠隔学習システムにおいて、前記配信手段が、前記学習者に相当するアバターの顔、頭髪、又は衣服の色を変化させることにより、前記学習者の肉体的・精神的情況を前記指導者用端末に配信することである。
【００１３】
本発明の第８の特徴は、前記遠隔学習システムにおいて、前記配信手段が、前記推定手段により推定された前記学習者の肉体的・精神的情況を前記学習者用端末に配信することである。
【００１４】
本発明の第９の特徴は、前記遠隔学習システムにおいて、前記推定手段が、前記学習者の肉体的・精神的情況として、眠気、疲労、元気、溌溂、熱中、集中、興味、関心、無関心、退屈、冷淡、同意、賛成、中立、ためらい、反対、又は反発の情況を推定することである。
【００１５】
本発明の第１０の特徴は、前記遠隔学習システムにおいて、更に、前記配信手段により配信された情報を表示する表示手段を備えることである。
【００１６】
本発明の第１１の特徴は、前記遠隔学習システムで用いられる遠隔学習方法において、前記学習者及び／又は前記学習者周辺における物理的事象を複数種類のセンサで検出する検出工程と、前記学習者及び／又は前記学習者周辺における物理的事象の組み合わせと前記学習者の肉体的・精神的情況との相関関係を定めたルール情報を記憶する記憶行程と、前記検出工程で検出された物理的事象の組み合わせと前記記憶行程で記憶されたルール情報とに基づいて前記学習者の肉体的・精神的情況を推定する推定行程と、前記推定行程で推定された前記学習者の肉体的・精神的情況を前記指導者用端末に配信する配信行程とを備えたことである。
【発明の効果】
【００１７】
本発明によれば、指導者が学習者の肉体的・精神的情況をリアルタイムに把握し得る遠隔学習システム及び遠隔学習方法を提供することができる。これにより、指導者は、学習者の肉体的・精神的情況に応じて講義を進行することができるので、学習者の聞き逃しや見落としなどによる誤解を防止することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図２】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図３】本発明の実施の形態における情況推定手法を説明するための図である。
【図４】本発明の実施の形態におけるルール情報の一例を示す図である。
【図５】本発明の実施の形態における実験データを示す図である。
【図６】本発明の実施の形態における実験データを示す図である。
【図７】本発明の実施の形態における実験データを示す図である。
【図８】本発明の実施の形態における実験データを示す図である。
【図９】本発明の実施の形態における実験データを示す図である。
【図１０】本発明の実施の形態における実験データを示す図である。
【図１１】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図１２】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図１３】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図１４】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図１５】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図１６】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図１７】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
本発明は、ｅ−ｌｅａｒｎｉｎｇなどの遠隔教育において学習者の理解度をより高めるための遠隔学習システムに関する。具体的には、遠隔地にいる学習者の肉体的・精神的情況（眠気、疲労の程度、講義内容に対する関心／無関心度など）を推定し、これを指導者にリアルタイムにフィードバックすることで、より効果的な講義を行う手助けをする。特に、単一のセンサ情報を使うのではなく、複数種類のセンサ情報を合成・分析して学習者の肉体的・精神的情況を精度良く推定することが本発明の特徴である。
【００２１】
本発明の実施の形態における遠隔学習システムは、図１に示すように、各種情報を配信・管理する配信サーバ１０と、ユーザが使用する複数のユーザ端末（クライアント）２０Ａ〜２０Ｃとを備えている。これら装置は、インターネット等のネットワークを介して相互に接続されている。ユーザ端末２０Ａは、指導者が使用する端末であると仮定し、以下「指導者用端末」という場合がある。「指導者」には、講演者、説明者、教師などの意味が含まれるものとする。一方、ユーザ端末２０Ｂ及び２０Ｃは、学習者が使用する端末であると仮定し、以下「学習者用端末」という場合がある。「学習者」には、聴講者、生徒などの意味が含まれるものとする。
【００２２】
ユーザ端末２０Ａは、図２に示すように、情況評価（情況情報合成・分析）／送受信／表示部２１を備えている。情況評価（情況情報合成・分析）／送受信／表示部２１は、複数種類のセンサ４０からのセンサ情報を合成・分析することにより情況情報を推定する情況評価機能と、他の装置との間で各種情報を送受信する機能と、受信した各種情報をディスプレイ等に表示する機能とを備えている。センサ４０には、センサマウス４１、Ｗｅｂカメラ４２、加速度計４３、マイク４４が含まれる。言い換えると、センサ４０は、ユーザ及び／又はユーザ周辺における物理的事象を検出するためのマルチセンサである。マルチセンサの詳細については後述する。検出部３０には、生体情報計測部３１、顔位置計測部３２、加速度計測部３３、音声・キーワード認識・抽出部３４が含まれる。生体情報計測部３１は、センサマウス４１により得られたセンサ情報に基づいて生体情報を計測する。顔位置計測部３２は、Ｗｅｂカメラ４２により得られた画像に基づいて顔の位置を計測する。加速度計測部３３は、加速度計４３により得られたセンサ情報に基づいて加速度を計測する。音声・キーワード認識・抽出部３４は、マイク４４により得られた音声に基づいて音声を認識したり、キーワードを抽出したりする。ここでは、ユーザ端末２０Ａを例示して説明したが、他のユーザ端末２０Ｂ及び２０Ｃも同様の機能を備えている。
【００２３】
このようにマルチセンサを用いて複数種類のセンサ情報を得、これらセンサ情報を融合して処理すれば、単一のセンサ情報では得られない新たな情報を得ることができる。すなわち、図３に示すように、まずはマルチセンサから「脳波」「心拍」「血圧」「眼球運動」「発汗」「顔つき」など複数種類のセンサ情報を得る。次に、これら複数種類のセンサ情報の組み合わせに基づいて「緊張」「集中」「ひらめき」「注意散漫」「ぼんやり」「うとうと」などの徴候を推定する。更に、これら徴候の組み合わせに基づいて「熱意創意盛ん」「疲労気味で聞漏らし可能性大」「イライラで聞漏らし可能性大」「熱意なく聞漏らし可能性大」「関心低く冷淡で意思疎通少」などの情況を推定する。徴候は情況の一種であると考えてもよい。ただし、情況を推定する前処理として徴候を推定しておくことは重要である。すなわち、安価なセンサを用いると測定値が不安定になる場合もあるが、その場合でも何らかの徴候が表れたときは、その徴候の経過を観察することで、より正確に情況を推定することが可能となる。
【００２４】
次に、本発明の実施の形態で用いるマルチセンサについて説明する。ここでは、マウスセンサ、腕時計型などのバンドセンサ、椅子などにつける設置型センサ、服・帽子などにつけるウェアラブルセンサを用いている。これら既存のセンサを用いて、脈拍（脈波）、皮膚温、発汗、加速度などの情報を得る。「皮膚温」は手首や手の甲で計測した温度であり、体温より若干低い値となるが、以下、特に両者を区別せずに説明する場合がある。脈拍や皮膚温等に加えて、Ｗｅｂカメラやマイクから画像や音声を得ると効果的である。このように安価で手軽なセンサを用いれば、ユーザに不快感を与えることなく情況を推定することができる。
【００２５】
ただし、安価で手軽なセンサを用いるとセンサ情報の精度が低くなる場合があり、その場合は情況の推定精度も低くなるという問題がある。そこで、本発明では、推定した情況に応じてユーザに問い合わせを行い、その反応に基づいて情況を推定しなおすことで推定精度の向上を図る。例えば、あるユーザが眠気を催していると推定した場合は、そのユーザ端末に「聞いていますか」などユーザの反応を促すメッセージを表示又は音声を出力し、その後のユーザの反応に基づいて情況を推定しなおす。具体的には、ユーザが回答したり顔を上に上げたりした場合は眠っていなかったと推定し、逆に、ユーザが何も反応しなかった場合は眠っていたと推定する。このようにすれば、安価で手軽なセンサを用いた場合でも精度良くユーザの情況を推定することができる。
【００２６】
「聞いていますか」「〜さん、大丈夫ですか？」等などのメッセージは、ユーザに対する警告情報と考えることもできる。このような警告情報は、ユーザに刺激を与える態様で提示するようにしてもよい。例えば、画面をフラッシュさせたり、あるいは、ユーザ端末が携帯端末である場合は携帯端末を振動させたりすると、ユーザを驚かせることができるので眠気を解消させることができる。また、画面をフラッシュさせたり端末を振動させたりする警告態様は、電車内のような音を出すことができない環境に適している。
【００２７】
学習者用端末で推定された情況情報は、配信サーバ１０を介して指導者用端末に配信され、例えばアバターにより指導者に提示される。アバターとは、チャットなどのコミュニケーションツールでユーザの分身として画面上に登場するキャラクターのことである。眠気の徴候が表れた場合は、アバターの頭髪の色が例えば白色に変化する。頭髪の色ではなく顔や衣装の色を変化させるようにしてもよい。変化させる色もユーザが自由に設定することができるようになっている。これにより、指導者は、学習者の肉体的・精神的情況をリアルタイムに把握し、その肉体的・精神的情況に応じて講義を進行することができるので、学習者の聞き逃しや見落としなどによる誤解を防止することが可能となる。
【００２８】
学習者の情況情報は、指導者だけでなく全学習者に配信するようにしてもよいし、配信サーバ１０で集計して関係者だけに公開するようにしてもよい。配信サーバ１０で公開する場合は、学習者の情況情報を退屈度・眠気度・賛成度・興味度などの統計情報に加工して公開してもよいし、必要な情報だけを適応的に公開してもよい。更に、各学習者の特性データや情況情報などを配信サーバ１０で管理しておき、学習教材中に登場するキーワードや学習内容の要約情報を学習者の特性に応じてその学習者用端末に適応的に表示することも可能である。
【００２９】
例えば、眠気状態など学習意欲が低下した場合において、その学習者が短期記憶容量の少ない学習者であるときは、学習意欲が低下していた部分のキーワードを学習者用端末に表示させるようにしてもよい。短期記憶容量は、複数の演算からなる式の暗算能力と幾つの単語を発生順序なども含めて連続記憶できるかを計測するツール（ＷｅｂＯＰｓａｎ）を用いて測定する。キーワードを表示させるタイミングは、眠い状態であると推定された時点であってもよいし、その時点から一定期間経過した後でもよい。一定期間経過した後にキーワードを表示させる場合は、眠い状態にあった期間を特定する必要がある。そこで、本発明では、眠い状態にあった期間を記録しておき、その期間に学習者用端末に表示されたキーワードを抽出するようにしている。このようにすれば、聞き逃しや見落としが発生しても、その部分のキーワードを後で復習することができるので、誤解が生じる可能性を低下させることが可能となる。しかも、学習教材中の全キーワードが表示されるのではなく、聞き逃しや見落としが発生した可能性のある部分のキーワードだけが表示されるようにしているので、不要に多くのキーワードが表示されるという不具合も生じない。
【００３０】
一方、よそ見やローカルな話しかけ等で聞き逃しや見落としのあった場合において、その学習者が連想学習能力の弱い学習者であるときは、聞き逃しや見落としのあった部分の要約情報を学習者用端末に表示させるようにしてもよい。要約情報を表示させるタイミングは、聞き逃しや見落としのあった時点であってもよいし、その時点から一定期間経過した後でもよい。一定期間経過した後に要約情報を表示させる手法はキーワードの場合と同様であるため、ここでは詳しい説明を省略する。このようにすれば、聞き逃しや見落としが発生しても、その部分の要約情報を後で復習することができるので、誤解が生じる可能性を低下させることが可能となる。しかも、学習範囲全体の要約情報が表示されるのではなく、聞き逃しや見落としが発生した可能性のある部分の要約情報が表示されるようにしているので、適切な内容の要約情報を表示させることが可能である。
【００３１】
なお、ここでは、短期記憶容量の少ない学習者にはキーワードを表示し、また、連想学習能力の弱い学習者には要約情報を表示することとしているが、本発明はこれに限定されるものではない。すなわち、短期記憶容量の少ない学習者にはキーワードだけでなく要約情報を表示するようにしてもよいし、連想学習能力の弱い学習者には要約情報だけでなくキーワードを表示するようにしてもよい。また、短期記憶容量が少なく且つ連想学習能力が弱い学習者にはキーワードおよび要約情報を表示するようにしてもよい。このようにすれば、より学習者の理解が深まり、効果的な復習を期待することができる。
【００３２】
ところで、学習者の肉体的・精神的情況を推定するには一定のルールが必要である。この推定ルールは、図４に示すように、ハードディスク等の記憶手段に予めルール情報Ｒとして記憶しておく。ルール情報Ｒは、学習者及び／又は学習者周辺における物理的事象の組み合わせ（例えば「脈拍間隔」「皮膚温」「発汗」の組み合わせ）と、学習者の肉体的・精神的情況（例えば「眠気」「ストレス」「疲労」「興奮」）との相関関係を定めた情報である。複数種類のセンサ情報を融合させれば、下記（１）〜（６）に述べるように単一のセンサ情報では得られない複雑な状況を把握することができるので、学習者の情況を精度良く推定することが可能となる。ルール情報Ｒを記憶する記憶手段は遠隔学習システム内にあればよく、どの装置上に存在するかは特に限定されるものではない。以下、ルール情報Ｒの具体例について説明する。
【００３３】
（１）退屈度や眠気は、脈拍間隔の増大、皮膚温あるいは発汗の低下などに基づいて推定することができる。ただし、高温高湿の場合や人によっては汗をかかない場合がある。この場合でも、あくび（口の暗部の縦幅率が一定値以上である状態が一定時間以上継続）やコックリコックリ（顔の上下動、何回も継続、比較的大、但し左右動なし）の動作をＷｅｂカメラで検出したときは、退屈や眠気の状態にあるとして推定精度を向上することができる。
【００３４】
（２）興味は、前記（１）と逆のルールに基づいて推定することができる。
【００３５】
（３）賛意などは、コックリとうなずく動作（顔の上下動、２〜３回まで、比較的小さい）に基づいて推定することができる。つまり、前記の首や顔を縦に振る（うなずく）動作をＷｅｂカメラで検出したときは、賛意の状態にあると推定する。また、「ウンウン」とか「フムフム」などの音声がマイクから入力された場合は、その音声を音声認識器などで言語に変換すれば、賛意の状態にあると推定することができる。ただし、首を縦に２回振ったことを検出しただけでは、コックリコックリと眠い状態にあるのか「ウンウン」とうなずいたのか区別することができない。そこで、このコックリ動作と「ウンウン」「フムフム」音声の認識のＡＮＤを取る。更に、脈拍間隔の増大、皮膚温あるいは発汗の低下などを併せて検出精度を向上させる。すなわち、脈拍間隔の増大、皮膚温あるいは発汗の低下などがなければ、眠い状態でないとみなして「ウンウン」とうなずいたものと推定する。あるいは、Ｗｅｂカメラで口を縦に長く開けたことや目をつぶっていることを検出した場合は、あくびや眠気とみなして眠い状態にあると推定する。
【００３６】
（４）反対の意思などは、首や顔を左右に振ったり斜めにしたりする動作に基づいて推定することができる。つまり、このような動作をＷｅｂカメラで検出したときは、反対の意思があると推定する。また、「イヤイヤ」「エー」「そーかな」「フーン」などの音声がマイクから入力された場合は、その音声を音声認識器などで言語に変換すれば、反対の意思があると推定することができる。
【００３７】
（５）反対の意思ではなく注意散漫の徴候として、同じく顔を左右に振ったり横に向けたりする場合がある。そこで、Ｗｅｂカメラで撮影した画像を解析することにより、人や書類などが所定の領域に出入りしたことを検出するようにしてもよい。このようにすれば、人や書類が近くに来たことで顔を横に向けたものとみなして注意散漫の徴候を推定することができる。話し声がマイクや音声認識器から入力された場合も注意散漫の徴候であると推定してもよい。「イヤイヤ」などの言葉も、横に向いた状態で発せられた場合は、途中で現れた人に言ったものであり、反対の意思ではなく注意散漫の徴候とみなすことができる。あるいは、顔を大きく上向けたり後ろを向いたりしながら椅子の背もたれを押したり、椅子を回転させたりして動かしたことを椅子に設けた加速度センサで検出した場合は、人への対応や書類の受け取りを行ったことにより注意散漫の徴候が表れたと推定することができる。
【００３８】
（６）その他、厚着をしている状況下では、皮膚温が低下しなくても脈拍が低下すれば眠い状態であると推定する。また、問題解決などに緊張している状況下では、脈拍が上昇しても皮膚温や発汗が低下すれば眠い状態であると推定する。また、風邪で薬を服用している状況下では、皮膚温が上昇しても脈拍が低下すれば眠い状態であると推定する。あくびの前後では脈拍が低下し、また眠いときも脈拍が低下するので、両方のルールに基づいて眠気を推定すれば、より推定の精度を上げることができる。
【００３９】
次に、実験データを示しながら本発明の構成を更に詳しく説明する。昨春、ある学習者の通常時と眠気時の脈拍数、発汗、皮膚温、正答数について調べた。「正答数」はプレペリンテストの正答数である。その結果、図５に示すように、眠気時は通常時に比べて皮膚温も脈拍も低い値となることが分かった。特に、集中力が下がっている実験開始２０分以降にその傾向が表れている。それに対して、発汗については同様の傾向が表れていない。つまり、複数種類のセンサを用いないと分からないことがあり、マルチセンサの必要な場合があることを示している。以下、その他の実験データとその解釈例について説明する。
【００４０】
（１）例えば興奮などは、一種類のセンサ情報を用いるだけでは推定することが困難であるが、複数種類のセンサ情報を用いれば精度良く推定することができる。すなわち、脈波の揺らぎが少なく血圧が高い位置を保っていた場合、被験者は緊張していることが知られている（http://www.seeds.sd.tmu.ac.jp/sys/abstdown.html?d=2008-PS04.pdf参照）。
【００４１】
図６、図７、図８に示す状況では、脈波の揺らぎが少なく正答率も高いことから、被験者は多少の緊張感を持って検査に当たったと推定することができる。この推定では一種類のセンサ情報（脈波）だけを用いているが、更に発汗のデータを加えると効果的である。例えば、図８に示す状況では、脈波の揺らぎが少ないことに加えて発汗が常に高いので、興奮又は緊張状態であるという可能性がさらに高まる。つまり、複数種類のセンサを用いることで、より正確な情況評価を期待することが可能となる。
【００４２】
（２）例えば眠気などは、一種類のセンサ情報を用いるだけで推定することができるが、脈拍、発汗、皮膚温など複数種類のセンサ情報を用いると更に効果的である。複数種類のセンサ情報を用いると、室温が高かったり厚着をしていることが原因で皮膚温が高い場合でも、計測誤差を生じさせることなく正しく情況を推定することができる。
【００４３】
図８を見ると、実験開始５５分以降、急に発汗が減少しているが、脈拍も皮膚温も低くないので、少なくとも眠いのではないと正しく情況を推定することができる（自己申告では眠気を催していない）。このような場合、最初は手が濡れていたが、除湿で部屋が乾燥していたとか汗の少ない人であったとか推定することもできる。図９を見ると、脈波の揺らぎが大きい時間帯では正答率が一時的に低下している。このことから、被験者は寝ているわけではないが眠気を催しているものと推定することができる。一種類のセンサ情報を用いるだけでも眠気などの徴候を推定することはできるが、発汗や体温の変化を検出すれば、図９に示すように「眠いのに発汗が上昇していること」や「眠いのに体温が上昇していること」から「眠気を催しているが寝ているわけではない」、図６に示すように「眠くないのに発汗が下降していること」から「眠くない」など、より正確な情況評価が可能となる。更に、湿度を検出すれば、眠いのに発汗が上昇している場合でも、その原因が湿度の高さに関係しているかどうかを推定することが可能となる。
【００４４】
（３）タイミングによっては、各センサからのセンサ情報（徴候）のＡＮＤが取れず、情況を推定することができない場合がある。このような場合でも、複数のタイミングにおいて各センサからのセンサ情報のＡＮＤを取れば、いずれかのタイミングにおいて情況を推定することが可能となる。
【００４５】
例えば、図１０を見ると、発汗の低下と集中度（正答数）の低下との間に若干のタイムラグが発生している。このとき、気温は２８度で部屋には冷房が効いていた。このことがタイムラグが発生した原因になっていると考えられる。図７でも同様に、発汗の低下と集中度の低下との間に若干のタイムラグが発生している。タイムラグが発生する場合、タイミングによっては、各センサからのセンサ情報のＡＮＤが取れず、情況を推定することができない。この場合、複数のタイミングにおいて各センサからのセンサ情報のＡＮＤを取れば、いずれかのタイミングにおいて情況を推定することが可能となる。もちろん、連続する幾つかのタイミングにおいて同一の推定結果が得られた場合のみ、その推定結果を採用するようにしてもよい。このようにすれば、推定精度をより向上させることができる。安価なセンサを用いた場合は計測値が不安定になることがあるので、この場合にも多数のセンサを用いて複数のタイミングにおいて情況を推定する手法は有効である。なお、タイムラグ発生可能性を知識データとし、事前に設定しておくことにより、センサ情報と徴候とは必ずしも同時刻に計測されていなくても、情況を推定することは可能である。
【００４６】
以下、図１１〜図１７を用いて、本発明の実施の形態における遠隔学習システムの具体的な構成例について説明する。ここでは、クライアント２０内のプログラムがＣ言語やｊａｖａ（登録商標）により記述されている場合を例示するが、プログラミング言語は特に限定されるものではない。また、クライアント２０の機能を中心に説明するが、同様の機能の全部又は一部を配信サーバ１０が備えるようにしてもよい。
【００４７】
図１１に示すように、クライアント２０は、配信要求モジュール、情況情報合成・反映部、自他アバター反映モジュール、脈拍低下判定モジュール、体温・汗低下判定モジュールなどを備えている。配信要求モジュールは、配信サーバ１０にデータ配信を要求する。情況情報合成・反映部は、ユーザの情況を推定して、その推定結果を反映させるよう他の処理部に指示する。自他アバター反映モジュールは、自身のユーザ端末２０や他人のユーザ端末２０に登場するアバターに推定結果を反映させる。脈拍低下判定モジュールは、脈拍が低下したかどうかを判定し、体温・汗低下判定モジュールは、体温や汗の量が低下したかどうかを判定する。このような構成によれば、脈拍、体温、汗などの生体情報に基づいてユーザの情況を推定することができる。
【００４８】
図１２に示すように、クライアント２０は、配信要求モジュール、情況情報合成・反映部、自他アバター反映モジュール、加速度判定モジュールなどを備えている。加速度判定モジュールは加速度を判定する。その他のモジュールについては図１１で説明した通りであるため説明を省略する。このような構成によれば、ユーザが座っている椅子の動き等に基づいてユーザの情況を推定することができる。
【００４９】
図１３に示すように、クライアント２０は、配信要求モジュール、情況情報合成・反映部、自他アバター反映モジュール、あくび判定モジュール、首振り上下判定モジュール、首振り左右判定モジュールなどを備えている。あくび判定モジュールは、ユーザがあくびをしたかどうか判定する。首振り上下判定モジュールは、ユーザが首を上下に振ったかどうかを判定する。首振り左右判定モジュールは、ユーザが首を左右に振ったかどうかを判定する。このような構成によれば、ユーザ周辺で撮影された画像に基づいてユーザの情況を推定することができる。
【００５０】
図１４に示すように、クライアント２０は、配信要求スレッド、音声情報監視モジュール、チャット画面反映モジュールなどを備えている。音声情報監視モジュールは、マイクから音声情報が入力されたかどうかを監視する。チャット画面反映モジュールは、入力された音声情報から取得したキーワードや要約情報を眠気などの音声以外の情況情報やその配信結果も考慮してチャット画面に反映させる。このような構成によれば、ユーザ周辺の音声に基づいてユーザの情況を推定することができる。
【００５１】
図１５に示すように、クライアント２０は、情況情報監視・メータ作成表示部、理解度メータ作成・表示モジュール、眠気・退屈度メータ作成・表示モジュール、集中度メータ作成・表示モジュールなどを備えている。情況情報監視・メータ作成表示部は、入力される各種情況情報を監視しており、情況情報に変化があると、その内容を各メータ作成・表示モジュールに通知する。理解度メータ作成・表示モジュールは、ユーザの学習理解度を示すメータを作成・表示し、眠気・退屈度メータ作成・表示モジュールは、ユーザの眠気・退屈度を示すメータを作成・表示し、集中度メータ作成・表示モジュールは、ユーザの集中度を示すメータを作成・表示する。このような構成によれば、ユーザの情況がメータで表示されるので、容易にユーザの情況を把握することができる。
【００５２】
図１６に示すように、クライアント２０は、配信要求モジュール、情況情報監視・合成・反映モジュール、自他アバター反映モジュール、アバター動作決定モジュールなどを備えている。アバター動作決定モジュールは、首振りや手振りをするかどうかなど、アバターの動作を決定する。このような構成によれば、ユーザの情況がアバターで表示されるので、容易にユーザの情況を把握することができる。
【００５３】
図１７に示すように、クライアント２０は、眠気度変数・警告監視モジュール、警告音モジュール、警告テキスト表示モジュールなどを備えている。眠気度変数・警告監視モジュールは、眠気度変数を監視しており、眠気度変数の値が所定の値に達すると警告音モジュール又は警告テキスト表示モジュールを起動させる。警告音モジュールは警告音を出力し、警告テキスト表示モジュールは警告テキストを表示する。このような構成によれば、適切なタイミングでユーザに警告を与えることができるので、学習効果を向上させることが可能となる。
【００５４】
以上のように、本発明によれば、指導者が学習者の肉体的・精神的情況をリアルタイムに把握し得る遠隔学習システム及び遠隔学習方法を提供することができる。これにより、指導者は、学習者の肉体的・精神的情況に応じて講義を進行することができるので、学習者の聞き逃しや見落としなどによる誤解を防止することが可能となる。このような遠隔学習システムを導入することにより、遠隔学習におけるニーズの増加を見込むことができる。また、説明・講演における複数の聴講者・受講者の情況をリアルタイムに把握可能なことは、遠隔学習のみではなく、遠隔共同開発、官が研究奨励する在宅勤務、海外でのオフショア開発などの効率向上に繋がる。
【００５５】
なお、前記の説明では、幾つかの肉体的・精神的情況を例示したが、本発明で採用する肉体的・精神的情況は、前記した内容に限定されるものではない。すなわち、眠気、疲労、元気、溌溂、熱中、集中、興味、関心、無関心、退屈、冷淡、同意、賛成、中立、ためらい、反対、反発など、様々な情況を推定することができる。
【符号の説明】
【００５６】
１０ 配信サーバ
２０Ａ ユーザ端末（指導者用端末）
２０Ｂ ユーザ端末（学習者用端末）
２０Ｃ ユーザ端末（学習者用端末）
【技術分野】
【０００１】
本発明は、ｅ−ｌｅａｒｎｉｎｇなどの遠隔教育において学習者の理解度をより高めるための遠隔学習システム及び遠隔学習方法に関する。
【背景技術】
【０００２】
近年、遠隔学習の場において、インターネットやＷｅｂを利用したｅ−ｌｅａｒｎｉｎｇ技術が広く一般に使われている。このような遠隔学習システムでは、学習の効果を向上させるために様々な技術が提案されている。例えば、特許文献１には、講師と生徒の映像を互いの端末に表示する遠隔学習システムにおいて、講師の注目度が高い生徒画像ウィンドウを講師用画面の上方に配置する技術が開示されている。この従来技術によれば、講師の顔が下に向かずビデオカメラの正面に向きやすくなるので、講師の顔を好適に撮影することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２８０５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来の遠隔学習システムによると、解像度の低い生の映像や音そのものを送受信することしかできない場合がある。このような場合、指導者は、学習者の視線、目つき、表情、雰囲気、におい、感情、気配、眠気、退屈といった肉体的・精神的情況をリアルタイムに把握することができなかった。そのため、学習者に聞き逃しや見落としなどによる誤解があっても、指導者はそれに気付くことなく講義を進行してしまう場合があった。
【０００５】
本発明は、上記課題を解決するためになされたものであり、その目的は、指導者が学習者の肉体的・精神的情況をリアルタイムに把握し得る遠隔学習システム及び遠隔学習方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の第１の特徴は、学習者が使用する学習者用端末と指導者が使用する指導者用端末とがネットワークを介して接続された遠隔学習システムにおいて、前記学習者及び／又は前記学習者周辺における物理的事象を検出するための複数種類のセンサと、前記学習者及び／又は前記学習者周辺における物理的事象の組み合わせと前記学習者の肉体的・精神的情況との相関関係を定めたルール情報を記憶する記憶手段と、前記複数種類のセンサにより検出された物理的事象の組み合わせと前記記憶手段に記憶されたルール情報とに基づいて前記学習者の肉体的・精神的情況を推定する推定手段と、前記推定手段により推定された前記学習者の肉体的・精神的情況を前記指導者用端末に配信する配信手段とを備えたことである。
【０００７】
本発明の第２の特徴は、前記遠隔学習システムにおいて、前記配信手段が、前記学習者の反応を促す問い合わせ情報を配信し、前記推定手段が、前記問い合わせ後の前記学習者の反応に基づいて前記学習者の肉体的・精神的情況を推定することである。
【０００８】
本発明の第３の特徴は、前記遠隔学習システムにおいて、前記配信手段が、前記学習者の学習意欲が低下した場合は、前記学習者に刺激を与える態様で警告情報を配信することである。
【０００９】
本発明の第４の特徴は、前記遠隔学習システムにおいて、前記配信手段が、前記学習者の学習意欲が低下した場合または前記学習者が聞き逃しあるいは見落としをした場合において、(A)前記学習者が短期記憶容量の少ない学習者であるときはキーワードを前記学習者用端末に配信し、(B)前記学習者が連想学習能力の弱い学習者であるときは要約情報を前記学習者用端末に配信し、(C)前記学習者が短期記憶容量の少ない学習者であり且つ連想学習能力の弱い学習者であるときはキーワードおよび要約情報を前記学習用端末に配信することである。
【００１０】
本発明の第５の特徴は、前記遠隔学習システムにおいて、前記推定手段が、複数のタイミングにおいて前記学習者の肉体的・精神的情況を推定することである。
【００１１】
本発明の第６の特徴は、前記遠隔学習システムにおいて、前記推定手段が、複数のタイミングにおいて前記学習者の肉体的・精神的情況を推定し、連続する所定数のタイミングにおいて同一の推定結果が得られた場合のみ、その推定結果を採用することである。
【００１２】
本発明の第７の特徴は、前記遠隔学習システムにおいて、前記配信手段が、前記学習者に相当するアバターの顔、頭髪、又は衣服の色を変化させることにより、前記学習者の肉体的・精神的情況を前記指導者用端末に配信することである。
【００１３】
本発明の第８の特徴は、前記遠隔学習システムにおいて、前記配信手段が、前記推定手段により推定された前記学習者の肉体的・精神的情況を前記学習者用端末に配信することである。
【００１４】
本発明の第９の特徴は、前記遠隔学習システムにおいて、前記推定手段が、前記学習者の肉体的・精神的情況として、眠気、疲労、元気、溌溂、熱中、集中、興味、関心、無関心、退屈、冷淡、同意、賛成、中立、ためらい、反対、又は反発の情況を推定することである。
【００１５】
本発明の第１０の特徴は、前記遠隔学習システムにおいて、更に、前記配信手段により配信された情報を表示する表示手段を備えることである。
【００１６】
本発明の第１１の特徴は、前記遠隔学習システムで用いられる遠隔学習方法において、前記学習者及び／又は前記学習者周辺における物理的事象を複数種類のセンサで検出する検出工程と、前記学習者及び／又は前記学習者周辺における物理的事象の組み合わせと前記学習者の肉体的・精神的情況との相関関係を定めたルール情報を記憶する記憶行程と、前記検出工程で検出された物理的事象の組み合わせと前記記憶行程で記憶されたルール情報とに基づいて前記学習者の肉体的・精神的情況を推定する推定行程と、前記推定行程で推定された前記学習者の肉体的・精神的情況を前記指導者用端末に配信する配信行程とを備えたことである。
【発明の効果】
【００１７】
本発明によれば、指導者が学習者の肉体的・精神的情況をリアルタイムに把握し得る遠隔学習システム及び遠隔学習方法を提供することができる。これにより、指導者は、学習者の肉体的・精神的情況に応じて講義を進行することができるので、学習者の聞き逃しや見落としなどによる誤解を防止することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図２】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図３】本発明の実施の形態における情況推定手法を説明するための図である。
【図４】本発明の実施の形態におけるルール情報の一例を示す図である。
【図５】本発明の実施の形態における実験データを示す図である。
【図６】本発明の実施の形態における実験データを示す図である。
【図７】本発明の実施の形態における実験データを示す図である。
【図８】本発明の実施の形態における実験データを示す図である。
【図９】本発明の実施の形態における実験データを示す図である。
【図１０】本発明の実施の形態における実験データを示す図である。
【図１１】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図１２】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図１３】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図１４】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図１５】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図１６】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【図１７】本発明の実施の形態における遠隔学習システムの構成を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
本発明は、ｅ−ｌｅａｒｎｉｎｇなどの遠隔教育において学習者の理解度をより高めるための遠隔学習システムに関する。具体的には、遠隔地にいる学習者の肉体的・精神的情況（眠気、疲労の程度、講義内容に対する関心／無関心度など）を推定し、これを指導者にリアルタイムにフィードバックすることで、より効果的な講義を行う手助けをする。特に、単一のセンサ情報を使うのではなく、複数種類のセンサ情報を合成・分析して学習者の肉体的・精神的情況を精度良く推定することが本発明の特徴である。
【００２１】
本発明の実施の形態における遠隔学習システムは、図１に示すように、各種情報を配信・管理する配信サーバ１０と、ユーザが使用する複数のユーザ端末（クライアント）２０Ａ〜２０Ｃとを備えている。これら装置は、インターネット等のネットワークを介して相互に接続されている。ユーザ端末２０Ａは、指導者が使用する端末であると仮定し、以下「指導者用端末」という場合がある。「指導者」には、講演者、説明者、教師などの意味が含まれるものとする。一方、ユーザ端末２０Ｂ及び２０Ｃは、学習者が使用する端末であると仮定し、以下「学習者用端末」という場合がある。「学習者」には、聴講者、生徒などの意味が含まれるものとする。
【００２２】
ユーザ端末２０Ａは、図２に示すように、情況評価（情況情報合成・分析）／送受信／表示部２１を備えている。情況評価（情況情報合成・分析）／送受信／表示部２１は、複数種類のセンサ４０からのセンサ情報を合成・分析することにより情況情報を推定する情況評価機能と、他の装置との間で各種情報を送受信する機能と、受信した各種情報をディスプレイ等に表示する機能とを備えている。センサ４０には、センサマウス４１、Ｗｅｂカメラ４２、加速度計４３、マイク４４が含まれる。言い換えると、センサ４０は、ユーザ及び／又はユーザ周辺における物理的事象を検出するためのマルチセンサである。マルチセンサの詳細については後述する。検出部３０には、生体情報計測部３１、顔位置計測部３２、加速度計測部３３、音声・キーワード認識・抽出部３４が含まれる。生体情報計測部３１は、センサマウス４１により得られたセンサ情報に基づいて生体情報を計測する。顔位置計測部３２は、Ｗｅｂカメラ４２により得られた画像に基づいて顔の位置を計測する。加速度計測部３３は、加速度計４３により得られたセンサ情報に基づいて加速度を計測する。音声・キーワード認識・抽出部３４は、マイク４４により得られた音声に基づいて音声を認識したり、キーワードを抽出したりする。ここでは、ユーザ端末２０Ａを例示して説明したが、他のユーザ端末２０Ｂ及び２０Ｃも同様の機能を備えている。
【００２３】
このようにマルチセンサを用いて複数種類のセンサ情報を得、これらセンサ情報を融合して処理すれば、単一のセンサ情報では得られない新たな情報を得ることができる。すなわち、図３に示すように、まずはマルチセンサから「脳波」「心拍」「血圧」「眼球運動」「発汗」「顔つき」など複数種類のセンサ情報を得る。次に、これら複数種類のセンサ情報の組み合わせに基づいて「緊張」「集中」「ひらめき」「注意散漫」「ぼんやり」「うとうと」などの徴候を推定する。更に、これら徴候の組み合わせに基づいて「熱意創意盛ん」「疲労気味で聞漏らし可能性大」「イライラで聞漏らし可能性大」「熱意なく聞漏らし可能性大」「関心低く冷淡で意思疎通少」などの情況を推定する。徴候は情況の一種であると考えてもよい。ただし、情況を推定する前処理として徴候を推定しておくことは重要である。すなわち、安価なセンサを用いると測定値が不安定になる場合もあるが、その場合でも何らかの徴候が表れたときは、その徴候の経過を観察することで、より正確に情況を推定することが可能となる。
【００２４】
次に、本発明の実施の形態で用いるマルチセンサについて説明する。ここでは、マウスセンサ、腕時計型などのバンドセンサ、椅子などにつける設置型センサ、服・帽子などにつけるウェアラブルセンサを用いている。これら既存のセンサを用いて、脈拍（脈波）、皮膚温、発汗、加速度などの情報を得る。「皮膚温」は手首や手の甲で計測した温度であり、体温より若干低い値となるが、以下、特に両者を区別せずに説明する場合がある。脈拍や皮膚温等に加えて、Ｗｅｂカメラやマイクから画像や音声を得ると効果的である。このように安価で手軽なセンサを用いれば、ユーザに不快感を与えることなく情況を推定することができる。
【００２５】
ただし、安価で手軽なセンサを用いるとセンサ情報の精度が低くなる場合があり、その場合は情況の推定精度も低くなるという問題がある。そこで、本発明では、推定した情況に応じてユーザに問い合わせを行い、その反応に基づいて情況を推定しなおすことで推定精度の向上を図る。例えば、あるユーザが眠気を催していると推定した場合は、そのユーザ端末に「聞いていますか」などユーザの反応を促すメッセージを表示又は音声を出力し、その後のユーザの反応に基づいて情況を推定しなおす。具体的には、ユーザが回答したり顔を上に上げたりした場合は眠っていなかったと推定し、逆に、ユーザが何も反応しなかった場合は眠っていたと推定する。このようにすれば、安価で手軽なセンサを用いた場合でも精度良くユーザの情況を推定することができる。
【００２６】
「聞いていますか」「〜さん、大丈夫ですか？」等などのメッセージは、ユーザに対する警告情報と考えることもできる。このような警告情報は、ユーザに刺激を与える態様で提示するようにしてもよい。例えば、画面をフラッシュさせたり、あるいは、ユーザ端末が携帯端末である場合は携帯端末を振動させたりすると、ユーザを驚かせることができるので眠気を解消させることができる。また、画面をフラッシュさせたり端末を振動させたりする警告態様は、電車内のような音を出すことができない環境に適している。
【００２７】
学習者用端末で推定された情況情報は、配信サーバ１０を介して指導者用端末に配信され、例えばアバターにより指導者に提示される。アバターとは、チャットなどのコミュニケーションツールでユーザの分身として画面上に登場するキャラクターのことである。眠気の徴候が表れた場合は、アバターの頭髪の色が例えば白色に変化する。頭髪の色ではなく顔や衣装の色を変化させるようにしてもよい。変化させる色もユーザが自由に設定することができるようになっている。これにより、指導者は、学習者の肉体的・精神的情況をリアルタイムに把握し、その肉体的・精神的情況に応じて講義を進行することができるので、学習者の聞き逃しや見落としなどによる誤解を防止することが可能となる。
【００２８】
学習者の情況情報は、指導者だけでなく全学習者に配信するようにしてもよいし、配信サーバ１０で集計して関係者だけに公開するようにしてもよい。配信サーバ１０で公開する場合は、学習者の情況情報を退屈度・眠気度・賛成度・興味度などの統計情報に加工して公開してもよいし、必要な情報だけを適応的に公開してもよい。更に、各学習者の特性データや情況情報などを配信サーバ１０で管理しておき、学習教材中に登場するキーワードや学習内容の要約情報を学習者の特性に応じてその学習者用端末に適応的に表示することも可能である。
【００２９】
例えば、眠気状態など学習意欲が低下した場合において、その学習者が短期記憶容量の少ない学習者であるときは、学習意欲が低下していた部分のキーワードを学習者用端末に表示させるようにしてもよい。短期記憶容量は、複数の演算からなる式の暗算能力と幾つの単語を発生順序なども含めて連続記憶できるかを計測するツール（ＷｅｂＯＰｓａｎ）を用いて測定する。キーワードを表示させるタイミングは、眠い状態であると推定された時点であってもよいし、その時点から一定期間経過した後でもよい。一定期間経過した後にキーワードを表示させる場合は、眠い状態にあった期間を特定する必要がある。そこで、本発明では、眠い状態にあった期間を記録しておき、その期間に学習者用端末に表示されたキーワードを抽出するようにしている。このようにすれば、聞き逃しや見落としが発生しても、その部分のキーワードを後で復習することができるので、誤解が生じる可能性を低下させることが可能となる。しかも、学習教材中の全キーワードが表示されるのではなく、聞き逃しや見落としが発生した可能性のある部分のキーワードだけが表示されるようにしているので、不要に多くのキーワードが表示されるという不具合も生じない。
【００３０】
一方、よそ見やローカルな話しかけ等で聞き逃しや見落としのあった場合において、その学習者が連想学習能力の弱い学習者であるときは、聞き逃しや見落としのあった部分の要約情報を学習者用端末に表示させるようにしてもよい。要約情報を表示させるタイミングは、聞き逃しや見落としのあった時点であってもよいし、その時点から一定期間経過した後でもよい。一定期間経過した後に要約情報を表示させる手法はキーワードの場合と同様であるため、ここでは詳しい説明を省略する。このようにすれば、聞き逃しや見落としが発生しても、その部分の要約情報を後で復習することができるので、誤解が生じる可能性を低下させることが可能となる。しかも、学習範囲全体の要約情報が表示されるのではなく、聞き逃しや見落としが発生した可能性のある部分の要約情報が表示されるようにしているので、適切な内容の要約情報を表示させることが可能である。
【００３１】
なお、ここでは、短期記憶容量の少ない学習者にはキーワードを表示し、また、連想学習能力の弱い学習者には要約情報を表示することとしているが、本発明はこれに限定されるものではない。すなわち、短期記憶容量の少ない学習者にはキーワードだけでなく要約情報を表示するようにしてもよいし、連想学習能力の弱い学習者には要約情報だけでなくキーワードを表示するようにしてもよい。また、短期記憶容量が少なく且つ連想学習能力が弱い学習者にはキーワードおよび要約情報を表示するようにしてもよい。このようにすれば、より学習者の理解が深まり、効果的な復習を期待することができる。
【００３２】
ところで、学習者の肉体的・精神的情況を推定するには一定のルールが必要である。この推定ルールは、図４に示すように、ハードディスク等の記憶手段に予めルール情報Ｒとして記憶しておく。ルール情報Ｒは、学習者及び／又は学習者周辺における物理的事象の組み合わせ（例えば「脈拍間隔」「皮膚温」「発汗」の組み合わせ）と、学習者の肉体的・精神的情況（例えば「眠気」「ストレス」「疲労」「興奮」）との相関関係を定めた情報である。複数種類のセンサ情報を融合させれば、下記（１）〜（６）に述べるように単一のセンサ情報では得られない複雑な状況を把握することができるので、学習者の情況を精度良く推定することが可能となる。ルール情報Ｒを記憶する記憶手段は遠隔学習システム内にあればよく、どの装置上に存在するかは特に限定されるものではない。以下、ルール情報Ｒの具体例について説明する。
【００３３】
（１）退屈度や眠気は、脈拍間隔の増大、皮膚温あるいは発汗の低下などに基づいて推定することができる。ただし、高温高湿の場合や人によっては汗をかかない場合がある。この場合でも、あくび（口の暗部の縦幅率が一定値以上である状態が一定時間以上継続）やコックリコックリ（顔の上下動、何回も継続、比較的大、但し左右動なし）の動作をＷｅｂカメラで検出したときは、退屈や眠気の状態にあるとして推定精度を向上することができる。
【００３４】
（２）興味は、前記（１）と逆のルールに基づいて推定することができる。
【００３５】
（３）賛意などは、コックリとうなずく動作（顔の上下動、２〜３回まで、比較的小さい）に基づいて推定することができる。つまり、前記の首や顔を縦に振る（うなずく）動作をＷｅｂカメラで検出したときは、賛意の状態にあると推定する。また、「ウンウン」とか「フムフム」などの音声がマイクから入力された場合は、その音声を音声認識器などで言語に変換すれば、賛意の状態にあると推定することができる。ただし、首を縦に２回振ったことを検出しただけでは、コックリコックリと眠い状態にあるのか「ウンウン」とうなずいたのか区別することができない。そこで、このコックリ動作と「ウンウン」「フムフム」音声の認識のＡＮＤを取る。更に、脈拍間隔の増大、皮膚温あるいは発汗の低下などを併せて検出精度を向上させる。すなわち、脈拍間隔の増大、皮膚温あるいは発汗の低下などがなければ、眠い状態でないとみなして「ウンウン」とうなずいたものと推定する。あるいは、Ｗｅｂカメラで口を縦に長く開けたことや目をつぶっていることを検出した場合は、あくびや眠気とみなして眠い状態にあると推定する。
【００３６】
（４）反対の意思などは、首や顔を左右に振ったり斜めにしたりする動作に基づいて推定することができる。つまり、このような動作をＷｅｂカメラで検出したときは、反対の意思があると推定する。また、「イヤイヤ」「エー」「そーかな」「フーン」などの音声がマイクから入力された場合は、その音声を音声認識器などで言語に変換すれば、反対の意思があると推定することができる。
【００３７】
（５）反対の意思ではなく注意散漫の徴候として、同じく顔を左右に振ったり横に向けたりする場合がある。そこで、Ｗｅｂカメラで撮影した画像を解析することにより、人や書類などが所定の領域に出入りしたことを検出するようにしてもよい。このようにすれば、人や書類が近くに来たことで顔を横に向けたものとみなして注意散漫の徴候を推定することができる。話し声がマイクや音声認識器から入力された場合も注意散漫の徴候であると推定してもよい。「イヤイヤ」などの言葉も、横に向いた状態で発せられた場合は、途中で現れた人に言ったものであり、反対の意思ではなく注意散漫の徴候とみなすことができる。あるいは、顔を大きく上向けたり後ろを向いたりしながら椅子の背もたれを押したり、椅子を回転させたりして動かしたことを椅子に設けた加速度センサで検出した場合は、人への対応や書類の受け取りを行ったことにより注意散漫の徴候が表れたと推定することができる。
【００３８】
（６）その他、厚着をしている状況下では、皮膚温が低下しなくても脈拍が低下すれば眠い状態であると推定する。また、問題解決などに緊張している状況下では、脈拍が上昇しても皮膚温や発汗が低下すれば眠い状態であると推定する。また、風邪で薬を服用している状況下では、皮膚温が上昇しても脈拍が低下すれば眠い状態であると推定する。あくびの前後では脈拍が低下し、また眠いときも脈拍が低下するので、両方のルールに基づいて眠気を推定すれば、より推定の精度を上げることができる。
【００３９】
次に、実験データを示しながら本発明の構成を更に詳しく説明する。昨春、ある学習者の通常時と眠気時の脈拍数、発汗、皮膚温、正答数について調べた。「正答数」はプレペリンテストの正答数である。その結果、図５に示すように、眠気時は通常時に比べて皮膚温も脈拍も低い値となることが分かった。特に、集中力が下がっている実験開始２０分以降にその傾向が表れている。それに対して、発汗については同様の傾向が表れていない。つまり、複数種類のセンサを用いないと分からないことがあり、マルチセンサの必要な場合があることを示している。以下、その他の実験データとその解釈例について説明する。
【００４０】
（１）例えば興奮などは、一種類のセンサ情報を用いるだけでは推定することが困難であるが、複数種類のセンサ情報を用いれば精度良く推定することができる。すなわち、脈波の揺らぎが少なく血圧が高い位置を保っていた場合、被験者は緊張していることが知られている（http://www.seeds.sd.tmu.ac.jp/sys/abstdown.html?d=2008-PS04.pdf参照）。
【００４１】
図６、図７、図８に示す状況では、脈波の揺らぎが少なく正答率も高いことから、被験者は多少の緊張感を持って検査に当たったと推定することができる。この推定では一種類のセンサ情報（脈波）だけを用いているが、更に発汗のデータを加えると効果的である。例えば、図８に示す状況では、脈波の揺らぎが少ないことに加えて発汗が常に高いので、興奮又は緊張状態であるという可能性がさらに高まる。つまり、複数種類のセンサを用いることで、より正確な情況評価を期待することが可能となる。
【００４２】
（２）例えば眠気などは、一種類のセンサ情報を用いるだけで推定することができるが、脈拍、発汗、皮膚温など複数種類のセンサ情報を用いると更に効果的である。複数種類のセンサ情報を用いると、室温が高かったり厚着をしていることが原因で皮膚温が高い場合でも、計測誤差を生じさせることなく正しく情況を推定することができる。
【００４３】
図８を見ると、実験開始５５分以降、急に発汗が減少しているが、脈拍も皮膚温も低くないので、少なくとも眠いのではないと正しく情況を推定することができる（自己申告では眠気を催していない）。このような場合、最初は手が濡れていたが、除湿で部屋が乾燥していたとか汗の少ない人であったとか推定することもできる。図９を見ると、脈波の揺らぎが大きい時間帯では正答率が一時的に低下している。このことから、被験者は寝ているわけではないが眠気を催しているものと推定することができる。一種類のセンサ情報を用いるだけでも眠気などの徴候を推定することはできるが、発汗や体温の変化を検出すれば、図９に示すように「眠いのに発汗が上昇していること」や「眠いのに体温が上昇していること」から「眠気を催しているが寝ているわけではない」、図６に示すように「眠くないのに発汗が下降していること」から「眠くない」など、より正確な情況評価が可能となる。更に、湿度を検出すれば、眠いのに発汗が上昇している場合でも、その原因が湿度の高さに関係しているかどうかを推定することが可能となる。
【００４４】
（３）タイミングによっては、各センサからのセンサ情報（徴候）のＡＮＤが取れず、情況を推定することができない場合がある。このような場合でも、複数のタイミングにおいて各センサからのセンサ情報のＡＮＤを取れば、いずれかのタイミングにおいて情況を推定することが可能となる。
【００４５】
例えば、図１０を見ると、発汗の低下と集中度（正答数）の低下との間に若干のタイムラグが発生している。このとき、気温は２８度で部屋には冷房が効いていた。このことがタイムラグが発生した原因になっていると考えられる。図７でも同様に、発汗の低下と集中度の低下との間に若干のタイムラグが発生している。タイムラグが発生する場合、タイミングによっては、各センサからのセンサ情報のＡＮＤが取れず、情況を推定することができない。この場合、複数のタイミングにおいて各センサからのセンサ情報のＡＮＤを取れば、いずれかのタイミングにおいて情況を推定することが可能となる。もちろん、連続する幾つかのタイミングにおいて同一の推定結果が得られた場合のみ、その推定結果を採用するようにしてもよい。このようにすれば、推定精度をより向上させることができる。安価なセンサを用いた場合は計測値が不安定になることがあるので、この場合にも多数のセンサを用いて複数のタイミングにおいて情況を推定する手法は有効である。なお、タイムラグ発生可能性を知識データとし、事前に設定しておくことにより、センサ情報と徴候とは必ずしも同時刻に計測されていなくても、情況を推定することは可能である。
【００４６】
以下、図１１〜図１７を用いて、本発明の実施の形態における遠隔学習システムの具体的な構成例について説明する。ここでは、クライアント２０内のプログラムがＣ言語やｊａｖａ（登録商標）により記述されている場合を例示するが、プログラミング言語は特に限定されるものではない。また、クライアント２０の機能を中心に説明するが、同様の機能の全部又は一部を配信サーバ１０が備えるようにしてもよい。
【００４７】
図１１に示すように、クライアント２０は、配信要求モジュール、情況情報合成・反映部、自他アバター反映モジュール、脈拍低下判定モジュール、体温・汗低下判定モジュールなどを備えている。配信要求モジュールは、配信サーバ１０にデータ配信を要求する。情況情報合成・反映部は、ユーザの情況を推定して、その推定結果を反映させるよう他の処理部に指示する。自他アバター反映モジュールは、自身のユーザ端末２０や他人のユーザ端末２０に登場するアバターに推定結果を反映させる。脈拍低下判定モジュールは、脈拍が低下したかどうかを判定し、体温・汗低下判定モジュールは、体温や汗の量が低下したかどうかを判定する。このような構成によれば、脈拍、体温、汗などの生体情報に基づいてユーザの情況を推定することができる。
【００４８】
図１２に示すように、クライアント２０は、配信要求モジュール、情況情報合成・反映部、自他アバター反映モジュール、加速度判定モジュールなどを備えている。加速度判定モジュールは加速度を判定する。その他のモジュールについては図１１で説明した通りであるため説明を省略する。このような構成によれば、ユーザが座っている椅子の動き等に基づいてユーザの情況を推定することができる。
【００４９】
図１３に示すように、クライアント２０は、配信要求モジュール、情況情報合成・反映部、自他アバター反映モジュール、あくび判定モジュール、首振り上下判定モジュール、首振り左右判定モジュールなどを備えている。あくび判定モジュールは、ユーザがあくびをしたかどうか判定する。首振り上下判定モジュールは、ユーザが首を上下に振ったかどうかを判定する。首振り左右判定モジュールは、ユーザが首を左右に振ったかどうかを判定する。このような構成によれば、ユーザ周辺で撮影された画像に基づいてユーザの情況を推定することができる。
【００５０】
図１４に示すように、クライアント２０は、配信要求スレッド、音声情報監視モジュール、チャット画面反映モジュールなどを備えている。音声情報監視モジュールは、マイクから音声情報が入力されたかどうかを監視する。チャット画面反映モジュールは、入力された音声情報から取得したキーワードや要約情報を眠気などの音声以外の情況情報やその配信結果も考慮してチャット画面に反映させる。このような構成によれば、ユーザ周辺の音声に基づいてユーザの情況を推定することができる。
【００５１】
図１５に示すように、クライアント２０は、情況情報監視・メータ作成表示部、理解度メータ作成・表示モジュール、眠気・退屈度メータ作成・表示モジュール、集中度メータ作成・表示モジュールなどを備えている。情況情報監視・メータ作成表示部は、入力される各種情況情報を監視しており、情況情報に変化があると、その内容を各メータ作成・表示モジュールに通知する。理解度メータ作成・表示モジュールは、ユーザの学習理解度を示すメータを作成・表示し、眠気・退屈度メータ作成・表示モジュールは、ユーザの眠気・退屈度を示すメータを作成・表示し、集中度メータ作成・表示モジュールは、ユーザの集中度を示すメータを作成・表示する。このような構成によれば、ユーザの情況がメータで表示されるので、容易にユーザの情況を把握することができる。
【００５２】
図１６に示すように、クライアント２０は、配信要求モジュール、情況情報監視・合成・反映モジュール、自他アバター反映モジュール、アバター動作決定モジュールなどを備えている。アバター動作決定モジュールは、首振りや手振りをするかどうかなど、アバターの動作を決定する。このような構成によれば、ユーザの情況がアバターで表示されるので、容易にユーザの情況を把握することができる。
【００５３】
図１７に示すように、クライアント２０は、眠気度変数・警告監視モジュール、警告音モジュール、警告テキスト表示モジュールなどを備えている。眠気度変数・警告監視モジュールは、眠気度変数を監視しており、眠気度変数の値が所定の値に達すると警告音モジュール又は警告テキスト表示モジュールを起動させる。警告音モジュールは警告音を出力し、警告テキスト表示モジュールは警告テキストを表示する。このような構成によれば、適切なタイミングでユーザに警告を与えることができるので、学習効果を向上させることが可能となる。
【００５４】
以上のように、本発明によれば、指導者が学習者の肉体的・精神的情況をリアルタイムに把握し得る遠隔学習システム及び遠隔学習方法を提供することができる。これにより、指導者は、学習者の肉体的・精神的情況に応じて講義を進行することができるので、学習者の聞き逃しや見落としなどによる誤解を防止することが可能となる。このような遠隔学習システムを導入することにより、遠隔学習におけるニーズの増加を見込むことができる。また、説明・講演における複数の聴講者・受講者の情況をリアルタイムに把握可能なことは、遠隔学習のみではなく、遠隔共同開発、官が研究奨励する在宅勤務、海外でのオフショア開発などの効率向上に繋がる。
【００５５】
なお、前記の説明では、幾つかの肉体的・精神的情況を例示したが、本発明で採用する肉体的・精神的情況は、前記した内容に限定されるものではない。すなわち、眠気、疲労、元気、溌溂、熱中、集中、興味、関心、無関心、退屈、冷淡、同意、賛成、中立、ためらい、反対、反発など、様々な情況を推定することができる。
【符号の説明】
【００５６】
１０ 配信サーバ
２０Ａ ユーザ端末（指導者用端末）
２０Ｂ ユーザ端末（学習者用端末）
２０Ｃ ユーザ端末（学習者用端末）
【特許請求の範囲】
【請求項１】
学習者が使用する学習者用端末と指導者が使用する指導者用端末とがネットワークを介して接続された遠隔学習システムであって、
前記学習者及び／又は前記学習者周辺における物理的事象を検出するための複数種類のセンサと、
前記学習者及び／又は前記学習者周辺における物理的事象の組み合わせと前記学習者の肉体的・精神的情況との相関関係を定めたルール情報を記憶する記憶手段と、
前記複数種類のセンサにより検出された物理的事象の組み合わせと前記記憶手段に記憶されたルール情報とに基づいて前記学習者の肉体的・精神的情況を推定する推定手段と、
前記推定手段により推定された前記学習者の肉体的・精神的情況を前記指導者用端末に配信する配信手段と、
を備えることを特徴とする遠隔学習システム。
【請求項２】
前記配信手段は、前記学習者の反応を促す問い合わせ情報を配信し、
前記推定手段は、前記問い合わせ後の前記学習者の反応に基づいて前記学習者の肉体的・精神的情況を推定することを特徴とする請求項１記載の遠隔学習システム。
【請求項３】
前記配信手段は、前記学習者の学習意欲が低下した場合は、前記学習者に刺激を与える態様で警告情報を配信することを特徴とする請求項１記載の遠隔学習システム。
【請求項４】
前記配信手段は、前記学習者の学習意欲が低下した場合または前記学習者が聞き逃しあるいは見落としをした場合において、(A)前記学習者が短期記憶容量の少ない学習者であるときはキーワードを前記学習者用端末に配信し、(B)前記学習者が連想学習能力の弱い学習者であるときは要約情報を前記学習者用端末に配信し、(C)前記学習者が短期記憶容量の少ない学習者であり且つ連想学習能力の弱い学習者であるときはキーワードおよび要約情報を前記学習用端末に配信することを特徴とする請求項１記載の遠隔学習システム。
【請求項５】
前記推定手段は、複数のタイミングにおいて前記学習者の肉体的・精神的情況を推定することを特徴とする請求項１記載の遠隔学習システム。
【請求項６】
前記推定手段は、複数のタイミングにおいて前記学習者の肉体的・精神的情況を推定し、連続する所定数のタイミングにおいて同一の推定結果が得られた場合のみ、その推定結果を採用することを特徴とする請求項１記載の遠隔学習システム。
【請求項７】
前記配信手段は、前記学習者に相当するアバターの顔、頭髪、又は衣服の色を変化させることにより、前記学習者の肉体的・精神的情況を前記指導者用端末に配信することを特徴とする請求項１記載の遠隔学習システム。
【請求項８】
前記配信手段は、前記推定手段により推定された前記学習者の肉体的・精神的情況を前記学習者用端末に配信することを特徴とする請求項１記載の遠隔学習システム。
【請求項９】
前記推定手段は、前記学習者の肉体的・精神的情況として、眠気、疲労、元気、溌溂、熱中、集中、興味、関心、無関心、退屈、冷淡、同意、賛成、中立、ためらい、反対、又は反発の情況を推定することを特徴とする請求項１記載の遠隔学習システム。
【請求項１０】
更に、前記配信手段により配信された情報を表示する表示手段を備えることを特徴とする請求項１から９のいずれかに記載の遠隔学習システム。
【請求項１１】
学習者が使用する学習者用端末と指導者が使用する指導者用端末とがネットワークを介して接続された遠隔学習システムで用いられる遠隔学習方法であって、
前記学習者及び／又は前記学習者周辺における物理的事象を複数種類のセンサで検出する検出工程と、
前記学習者及び／又は前記学習者周辺における物理的事象の組み合わせと前記学習者の肉体的・精神的情況との相関関係を定めたルール情報を記憶する記憶行程と、
前記検出工程で検出された物理的事象の組み合わせと前記記憶行程で記憶されたルール情報とに基づいて前記学習者の肉体的・精神的情況を推定する推定行程と、
前記推定行程で推定された前記学習者の肉体的・精神的情況を前記指導者用端末に配信する配信行程と、
を備えることを特徴とする遠隔学習方法。
【請求項１】
学習者が使用する学習者用端末と指導者が使用する指導者用端末とがネットワークを介して接続された遠隔学習システムであって、
前記学習者及び／又は前記学習者周辺における物理的事象を検出するための複数種類のセンサと、
前記学習者及び／又は前記学習者周辺における物理的事象の組み合わせと前記学習者の肉体的・精神的情況との相関関係を定めたルール情報を記憶する記憶手段と、
前記複数種類のセンサにより検出された物理的事象の組み合わせと前記記憶手段に記憶されたルール情報とに基づいて前記学習者の肉体的・精神的情況を推定する推定手段と、
前記推定手段により推定された前記学習者の肉体的・精神的情況を前記指導者用端末に配信する配信手段と、
を備えることを特徴とする遠隔学習システム。
【請求項２】
前記配信手段は、前記学習者の反応を促す問い合わせ情報を配信し、
前記推定手段は、前記問い合わせ後の前記学習者の反応に基づいて前記学習者の肉体的・精神的情況を推定することを特徴とする請求項１記載の遠隔学習システム。
【請求項３】
前記配信手段は、前記学習者の学習意欲が低下した場合は、前記学習者に刺激を与える態様で警告情報を配信することを特徴とする請求項１記載の遠隔学習システム。
【請求項４】
前記配信手段は、前記学習者の学習意欲が低下した場合または前記学習者が聞き逃しあるいは見落としをした場合において、(A)前記学習者が短期記憶容量の少ない学習者であるときはキーワードを前記学習者用端末に配信し、(B)前記学習者が連想学習能力の弱い学習者であるときは要約情報を前記学習者用端末に配信し、(C)前記学習者が短期記憶容量の少ない学習者であり且つ連想学習能力の弱い学習者であるときはキーワードおよび要約情報を前記学習用端末に配信することを特徴とする請求項１記載の遠隔学習システム。
【請求項５】
前記推定手段は、複数のタイミングにおいて前記学習者の肉体的・精神的情況を推定することを特徴とする請求項１記載の遠隔学習システム。
【請求項６】
前記推定手段は、複数のタイミングにおいて前記学習者の肉体的・精神的情況を推定し、連続する所定数のタイミングにおいて同一の推定結果が得られた場合のみ、その推定結果を採用することを特徴とする請求項１記載の遠隔学習システム。
【請求項７】
前記配信手段は、前記学習者に相当するアバターの顔、頭髪、又は衣服の色を変化させることにより、前記学習者の肉体的・精神的情況を前記指導者用端末に配信することを特徴とする請求項１記載の遠隔学習システム。
【請求項８】
前記配信手段は、前記推定手段により推定された前記学習者の肉体的・精神的情況を前記学習者用端末に配信することを特徴とする請求項１記載の遠隔学習システム。
【請求項９】
前記推定手段は、前記学習者の肉体的・精神的情況として、眠気、疲労、元気、溌溂、熱中、集中、興味、関心、無関心、退屈、冷淡、同意、賛成、中立、ためらい、反対、又は反発の情況を推定することを特徴とする請求項１記載の遠隔学習システム。
【請求項１０】
更に、前記配信手段により配信された情報を表示する表示手段を備えることを特徴とする請求項１から９のいずれかに記載の遠隔学習システム。
【請求項１１】
学習者が使用する学習者用端末と指導者が使用する指導者用端末とがネットワークを介して接続された遠隔学習システムで用いられる遠隔学習方法であって、
前記学習者及び／又は前記学習者周辺における物理的事象を複数種類のセンサで検出する検出工程と、
前記学習者及び／又は前記学習者周辺における物理的事象の組み合わせと前記学習者の肉体的・精神的情況との相関関係を定めたルール情報を記憶する記憶行程と、
前記検出工程で検出された物理的事象の組み合わせと前記記憶行程で記憶されたルール情報とに基づいて前記学習者の肉体的・精神的情況を推定する推定行程と、
前記推定行程で推定された前記学習者の肉体的・精神的情況を前記指導者用端末に配信する配信行程と、
を備えることを特徴とする遠隔学習方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−７９６３（Ｐ２０１１−７９６３Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２００９−１５０２８３（Ｐ２００９−１５０２８３）
【出願日】平成２１年６月２４日（２００９．６．２４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００９年２月１４日、東京電機大学大学院情報環境学研究科発行の「平成２０年度 修士論文・研究成果報告書 要旨集」に発表
【出願人】（８００００００６８）学校法人東京電機大学 (112)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２１年６月２４日（２００９．６．２４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００９年２月１４日、東京電機大学大学院情報環境学研究科発行の「平成２０年度 修士論文・研究成果報告書 要旨集」に発表
【出願人】（８００００００６８）学校法人東京電機大学 (112)
【Ｆターム（参考）】
[ Back to top ]