講義システムおよび集計システム
【課題】多数の受講者の講義に対する反応を講師が容易に把握でき、また、ネットワークの負荷が少ない講義システムおよび集計システムを提供すること。
【解決手段】本発明の実施形態に係る講義システム100は、複数の受講者用端末2から、各受講者の視線方向を示す特徴データが送信され、管理端末1において、特徴データ、およびこの特徴データに統計処理を施した統計データに基づく表示内容で、表示部の表示画面に表示させることができる。したがって、管理端末1を使用する講師は、その表示画面を確認することで、受講者全体としての講義に対する反応を容易に知ることができる。また、各受講者用端末2から送信されるデータは、データ量が少ない特徴データであるから、ネットワークへの負荷を少なくすることができるとともに、これを受信した管理端末1における統計処理を容易に行うことができる。
【解決手段】本発明の実施形態に係る講義システム100は、複数の受講者用端末2から、各受講者の視線方向を示す特徴データが送信され、管理端末1において、特徴データ、およびこの特徴データに統計処理を施した統計データに基づく表示内容で、表示部の表示画面に表示させることができる。したがって、管理端末1を使用する講師は、その表示画面を確認することで、受講者全体としての講義に対する反応を容易に知ることができる。また、各受講者用端末2から送信されるデータは、データ量が少ない特徴データであるから、ネットワークへの負荷を少なくすることができるとともに、これを受信した管理端末1における統計処理を容易に行うことができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、講義時の受講者の反応を評価する技術に関する。
【背景技術】
【0002】
遠隔地にいる講師の端末と受講者の端末とをネットワーク上で接続して、講義を行う講義システムがある。このような講義システムは、受講者が講義を受けるために、同一の教室に集まる必要がない一方、講師は直接受講者の様子を見ることができないため、一方的な講義になってしまうことがあった。そのため、受講者を撮影した画像や受講者が使用している端末の画面を、講師の端末のモニタに表示させることにより、受講者の受講態度を確認する技術が、特許文献1に開示されている。
【特許文献1】特開2008−32787号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1に開示された技術によると、受講者が講義をまじめに受けているかどうかを確認することができるが、受講者数が多くなると、講師の端末のモニタに表示される受講者の画像が多くなりすぎてしまい、受講者の受講態度を判別することが難しかった。また、受講者数の増加に伴い、端末間での画像データの通信データ量が非常に多くなってしまい、ネットワークの負荷が大きいものとなっていた。
【0004】
本発明は、上述の事情に鑑みてなされたものであり、多数の受講者の講義に対する反応を講師が容易に把握でき、また、ネットワークの負荷が少ない講義システムおよび集計システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
上述の課題を解決するため、本発明は、複数の受講者用端末と、前記複数の受講者用端末とネットワークを介して通信を行う管理端末とを有する講義システムにおいて、前記複数の受講者用端末の各々は、講義内容を示す講義データを受信する講義データ受信手段と、前記講義用データ受信手段が講義データを受信している間に、所定範囲の撮影をし、前記撮影した画像から当該画像の特徴を取得し、当該取得した特徴を示す特徴データを生成する特徴データ生成手段と、前記特徴データ生成手段によって生成された特徴データとして前記管理端末に送信する特徴データ送信手段とを具備し、前記管理端末は、前記複数の受講者用端末から送信された特徴データを受信する特徴データ受信手段と、前記特徴データ受信手段が受信した複数の特徴データに対して、統計処理を施すことによって統計データを生成する統計データ生成手段とを具備することを特徴とする講義システムを提供する。
【0006】
また、別の好ましい態様において、前記特徴データ生成手段は、利用者の眼球付近の範囲を撮影し、前記撮影した画像から前記利用者の視線方向を当該画像の特徴として取得することを特徴とする。
【0007】
また、本発明は、複数の受講者用端末と、前記複数の受講者用端末とネットワークを介して通信を行う管理端末とを有する講義システムにおいて、前記複数の受講者用端末の各々は、講義内容を示す講義データを受信する講義データ受信手段と、前記講義用データ受信手段が講義データを受信している間に、周囲の音を収音し、当該収音した音から当該音の特徴を取得し、当該取得した特徴を示す特徴データを生成する特徴データ生成手段と、前記特徴データ生成手段によって生成された特徴データとして前記管理端末に送信する特徴データ送信手段とを具備し、前記管理端末は、前記複数の受講者用端末から送信された特徴データを受信する特徴データ受信手段と、前記特徴データ受信手段が受信した複数の特徴データに対して、統計処理を施すことによって統計データを生成する統計データ生成手段とを具備することを特徴とする講義システムを特徴とする。
【0008】
また、別の好ましい態様において、前記管理端末は、前記統計データ生成手段によって生成された統計データに基づいて、表示手段に表示させる表示内容を制御する表示内容制御手段をさらに具備することを特徴とする。
【0009】
また、別の好ましい態様において、前記管理端末は、前記統計データ生成手段によって生成された統計データが所定の条件を満たしたときに、報知手段に報知させる報知制御手段をさらに具備することを特徴とする。
【0010】
また、別の好ましい態様において、前記講義データ受信手段は、前記統計データ生成手段によって生成された統計データに基づいて、異なる講義内容の講義データの受信に変更することを特徴とする。
【0011】
また、別の好ましい態様において、前記管理端末は、前記統計データ生成手段によって生成された統計データを前記各受講者用端末に送信する統計データ送信手段をさらに具備し、前記受講者用端末は、前記管理端末から統計データを受信する統計データ受信手段と、前記統計データ受信手段によって受信された統計データと前記特徴データ生成手段が生成した特徴データとを比較し、その比較結果に基づいて所定の処理を行う比較手段とをさらに具備することを特徴とする。
【0012】
また、別の好ましい態様において、前記管理端末は、前記受講者用端末に受信させる講義データを送信する講義データ送信手段をさらに具備することを特徴とする。
【0013】
また、本発明は、複数の請求項1乃至請求項7のいずれかに記載の講義システムと、ネットワークを介して前記講義システムの各々から統計データを受信し、前記受信した複数の統計データの集計に基づいて集計データを生成する集計装置とを具備し、前記講義システムの各々の管理端末は、前記統計データ生成手段が生成した統計データを前記集計装置に送信する統計データ送信手段をさらに具備することを特徴とする集計システムを提供する。
【発明の効果】
【0014】
本発明によれば、多数の受講者の講義に対する反応を講師が容易に把握でき、また、ネットワークの負荷が少ない講義システムおよび集計システムを提供することができる。
【発明を実施するための最良の形態】
【0015】
以下、本発明の一実施形態について説明する。
【0016】
<実施形態>
本発明の実施形態に係る講義システム100は、図1に示すように、ネットワーク5に接続された管理端末1と複数の受講者用端末2−1、2−2、・・・、2−n(以下、それぞれを区別しない場合には受講者用端末2という)とを有する。管理端末1は、講義を行う講師が使用する端末であり、受講者用端末2は、講義を受ける受講者が使用する端末である。以下、講義システム100の構成について、管理端末1、受講者用端末2の順に説明する。
【0017】
まず、管理端末1のハードウエアの構成について、図2を用いて説明する。管理端末1は、制御部11、記憶部12、放音部13、表示部14、操作部15、映像入力部16、音声入力部17、通信部18およびインターフェイス19を有し、バス10を介して互いに接続されている。
【0018】
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を有している。CPUは、ROMから制御プログラムをRAMに読み出して実行することにより、管理端末1の各部について、バス10を介して制御するとともに、後述する各機能を実現する。また、RAMは、CPUが各データの加工などを行う際のワークエリアとして機能する。
【0019】
記憶部12は、例えばハードディスクなどの大容量記憶手段であって、後述する統計データなど生成した各データを記憶することができる。
【0020】
放音部13は、スピーカユニットなどの放音手段を有し、制御部11の制御によって入力される音声データをアナログ信号である音声信号に変換して放音する。
【0021】
表示部14は、映像を表示画面14Mに表示する液晶ディスプレイなどの表示デバイスであって、制御部11の制御によって入力される映像データに基づく表示を行う。管理端末1を利用する講師は、表示画面14Mの表示内容を確認することにより、受講者の講義に対する反応を確認することができる。
【0022】
操作部15は、例えばキーボード、マウスなどの操作手段である。利用者が操作部15を操作するとその操作内容を表すデータが制御部11へ出力される。また、操作に応じて移動するポインタなどが表示部14の表示画面14Mに表示される。
【0023】
映像入力部16は、所定範囲の撮影を行うデジタルビデオカメラなどの撮影手段を有し、撮影内容を示す撮影データを出力する。この撮影手段は、複数であってもよく、例えば、講師の撮影を行う撮影手段と、講義のテキストを撮影する撮影手段とを有し、いずれか一方、または同時に撮影し、その撮影内容を示す撮影データが出力される。
【0024】
音声入力部17は、マイクなどの収音手段を有し、収音内容を示す収音データを出力する。
【0025】
通信部18は、ネットワーク5に接続し、管理端末1と各受講者用端末2との間で通信を行う通信手段であって、管理端末1と通信を行う各受講者用端末2との間で各データの送受信を行う。この例においては、後述する講義データ、特徴データなどを送受信する。
【0026】
インターフェイス19は、外部機器と接続し、様々なデータの入出力をするための接続端子であって、例えばUSB(Universal Serial Bus)端子などである。
【0027】
ここで、受講者用端末2のハードウエアの構成については、図2に示す管理端末1とほぼ同様であるので、その説明を省略する。以下、管理端末1と受講者用端末2とを区別するために、それぞれの符号を変えて、受講者用端末2においては、バス20、制御部21、記憶部22、放音部23、表示部24、操作部25、映像入力部26、音声入力部27、通信部28およびインターフェイス29とする。なお、制御部11が実行する制御プログラムと制御部21が実行する制御プログラムとは異なっている。
【0028】
次に、本発明の実施形態に係る受講者用端末2の制御部21が制御プログラムを実行することによって実現する機能について、図3を用いて説明する。図3は、制御部21が実現する機能を示す機能ブロック図である。
【0029】
講義データ再生部201は、通信部28によって管理端末1から受信した講義データが入力される。そして、その講義データを構成するデータのうち、映像部分については映像データとして表示部24に出力し、音声部分については、音声データとして放音部23に出力する。これにより、受講者用端末2を利用する受講者は、表示部24への表示、および放音部23からの放音により、講師の講義を受講することができる。
【0030】
特徴解析部202は、少なくとも、通信部28において講義データを受信し、講義データが再生されている間に、映像入力部26の撮影手段の撮影に係る画像の特徴を所定時間ごとに取得し、その特徴を示す特徴データを通信部28に出力し、管理端末1に送信させる。この例においては、映像入力部26の撮影手段によって受講者、特に受講者の眼球付近が撮影されることによって出力される撮影データを解析して、受講者の視線方向を解析することにより、その視線方向を特徴として取得する。
【0031】
視線方向は、例えば、極座標(r,θ)などで表され、θは、視線の方向、rは、θが示す方向への視線がどの程度であるかを示すようになっている。すなわち、r=0であれば、正面を向いている状態、rが大きいほど、θが示す方向に大きく向いている状態を示すことになる。また、目を閉じているなどして眼球の運動を測定できない場合には、測定不能であることを示す値となる。
【0032】
そして、特徴解析部202は、解析した視線方向を示す特徴データを生成し、通信部28に出力して管理端末1に送信させる。ここで、視線方向の解析は、撮影データから眼球部分を認識し、その眼球の運動を測定することによって行う画像処理方式を用いたが、眼球の運動の測定方法は、他の公知の方法を用いてもよい。以上が、講義システム100の受講者用端末2の制御部21が制御プログラムを実行することによって実現する機能の説明である。
【0033】
次に、本発明の実施形態に係る管理端末1の制御部11が制御プログラムを実行することによって実現する機能について、図4を用いて説明する。図4は、制御部11が実現する機能を示す機能ブロック図である。
【0034】
講義データ生成部101は、映像入力部16から入力された撮影データと、音声入力部17から入力された収音データとが入力され、これらに基づいて講義データを生成する。講義データは、映像部分のデータと音声部分のデータから構成され、映像部分のデータは入力された撮影データから、音声部分のデータは入力された収音データから構成される。そして、講義データ生成部101は、通信部18に生成した講義データを出力して各受講者用端末2に送信する。
【0035】
ここで、映像入力部16の撮影手段によって撮影される内容は、講義を行っている講師であり、音声入力部17の収音手段によって収音される内容は、講師の講義音声である。したがって、講義データは、講師による講義内容を示すデータとなっている。
【0036】
統計処理部102は、各受講者用端末2から通信部18が受信した特徴データが入力され、これらの特徴データに対して統計処理を施すことによって統計データを生成する。この例においては、統計処理とは、特徴データが示す視線方向について、その視線方向の分布を算出するとともに、その視線方向の分布において、概ね同一方向の視線である割合を示す集中度Pを算出する処理である。このように算出された集中度Pが高いほど、各受講者の視線方向が揃っていることを示しているから、テキストや表示部24の表示内容などのうち、その時点において見るべき場所を各受講者が見ていることになり、講義に集中しているとみなすことができる。
【0037】
そして、統計処理部102は、このように算出した分布、集中度Pを示す統計データを生成し、映像データ生成部103に出力する。なお、統計処理は、このような処理に限らず、受信した複数の特徴データから得られる統計的な数値を算出する処理であれば、どのような処理であってもよい。また、このように出力した統計データは、記憶部12に記憶させてもよい。この場合には、集中度Pなどの算出された結果と、算出された時刻との対応付けを行って記憶させてもよい。このようにすれば、講義開始からのある時点において、どのような集中度Pであったかを、講義終了後においても確認することができ、講義内容についての評価を行うこともできる。なお、記憶部12には、統計データだけでなく、特徴データを記憶させてもよく、上述のような対応付けを行なってもよい。
【0038】
映像データ生成部103は、各受講者用端末2から通信部18が受信した特徴データ、および統計処理部102が出力した統計データが入力され、これらに基づいて表示部14の表示画面14Mに表示させるべき表示内容を示す映像データを生成して、表示部14に出力する。
【0039】
この例においては、表示画面14Mに表示される表示内容は、図5に示すような表示内容となる。この表示内容について説明する。表示画面14Mには、視線ウインドウ14W−1、視線分布ウインドウ14W−2、講義時間ウインドウ14W−3、集中度経時変化ウインドウ14W−4が表示される。
【0040】
視線ウインドウ14W−1には、特徴データが示す視線方向を視覚的に表現した視線画像301が表示される。この視線画像301は、各受講者用端末2から特徴データを受信した数に応じて表示される。ここで、特徴データが示す視線方向が測定不能であることを示す値である場合には、例えば、視線画像302のように、目を閉じていることを視覚的に表現したものとする。このとき、一定時間測定不能であることを示す値であったときに、このような表示にすれば、瞬きのたびに表示が変化しないようにすることができる。
【0041】
このように、講師は、視線ウインドウ14W−1の表示を確認することにより、各受講者の視線がどのような方向に向いているのかを全体的なイメージとして知ることができる。なお、各視線画像301の各々は、各受講者と1対1で対応付けられているわけではなく、各受講者個人が特定できないような態様となっている。また、同じような視線画像301であるから、講師は、各受講者の顔の表情などの個人差による別の要素を除外し、視線方向に重点をおいて受講者の反応を確認することができる。
【0042】
視線分布ウインドウ14W−2は、統計データが示す視線方向の分布を視覚的に表現したものである。この例においては、視線方向とその方向に対応する受講者の数が表示され、グラフのピーク部分に対応する方向に視線が集まっていることを示す。したがって、ピークの高さが大きくなって鋭い形状になるほど、多くの受講者が同一の方向を見ていることになり、集中していることがわかることになる。このように、講師は、視線分布ウインドウ14W−2の表示を確認することにより、現時点において各受講者の視線の分布を一目で確認でき、どのくらいの受講者が集中しているかを知ることができる。
【0043】
講義時間ウインドウ14W−3は、講義データの送信を開始してからの講義時間を表示させるものである。上述のように、統計データと時刻とを対応付けて、記憶部12に記憶させるときには、この時間を時刻として対応付けてもよい。
【0044】
集中度経時変化ウインドウ14W−4は、統計データが示す集中度Pの経時変化を視覚的に表現したものである。この例においては、縦軸に集中度P、横軸に上記講義時間に対応した経過時間tのグラフとして表現したものである。講師は、集中度経時変化ウインドウ14W−4の表示を確認することにより、これまでの講義のうち、どの時間帯の集中度Pが高く、受講者の反応がよかったのか、また、集中度Pの増減によって、受講者の集中度の変化を知ることができる。以上が、講義システム100の管理端末1の制御部11が制御プログラムを実行することによって実現する機能の説明である。
【0045】
このように、本発明の実施形態に係る講義システム100は、複数の受講者用端末2から、各受講者の視線方向を示す特徴データが送信され、管理端末1において、特徴データ、およびこの特徴データに統計処理を施した統計データに基づく表示内容で、表示部14の表示画面14Mに表示させることができる。したがって、管理端末1を使用する講師は、その表示画面14Mを確認することで、受講者全体としての講義に対する反応を容易に知ることができる。そして、統計データや特徴データを記憶部12に記憶させておけば、講義後に、その講義内容について評価を行うこともできる。
【0046】
また、各受講者用端末2から送信されるデータは、データ量が少ない特徴データであるから、ネットワークへの負荷を少なくすることができるとともに、これを受信した管理端末1における統計処理を容易に行うことができる。
【0047】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【0048】
<変形例1>
上述した実施形態においては、特徴データが示す特徴は、特徴解析部202において解析した視線方向を示すものとしていたが、特徴は視線方向に限られない。例えば、映像入力部26によって出力される撮影データから受講者の顔の認識し、顔の動きを解析し、その動きを特徴として示すものであってもよい。この特徴を用いれば、統計処理部102は、例えば、うなずいている受講者の人数、回数などを統計データとして生成するようにすることができる。また、撮影データから解析できる特徴としては、他にも受講者の体の動き、受講者付近の明るさなど、撮影データに係る画像を解析して取得できる特徴であれば、どのようなものを特徴としてもよい。
【0049】
また、特徴解析部202において解析するデータは、映像入力部26によって出力される撮影データに限られず、音声入力部27によって出力される収音データであってもよい。例えば、収音データに係る音を解析して、その音の音量レベルを特徴とすればよい。この特徴を用いれば、統計処理部102は、例えば、音量レベルが所定レベル以上である人数などから、英語の講座などにおいて、講師による復唱の指示にしたがって、復唱を行っている受講者の人数などを統計データとして生成することができる。また、収音データから解析できる特徴としては、他にも周波数分布など、収音データに係る音を解析して取得できる特徴であれば、どのようなものを特徴としてもよい。
【0050】
また、受講者の音声以外の音である雑音の音量レベルを特徴としてもよい。この場合には、音声入力部27に二の収音手段を設け、一の収音手段は、指向性の高い収音手段とし、受講者の方向にその指向方向を向けて、受講者の音声を収音するようにする。もう一方の収音手段は、無指向性の収音手段とし、受講者の音声と周辺の音声を収音するようにする。そして、双方の収音手段による収音内容に基づいて、周辺の音声の音量レベルだけを抽出して、その音量レベルを雑音の音量レベルとすればよい。この特徴を用いれば、統計処理部102は、例えば、雑音の音量レベルが所定レベル以上である人数などから、テレビ、ラジオを視聴しながら受講しているよう雑音の多い受講者の人数などを統計データとして生成することができる。
【0051】
なお、これらのようにとり得る特徴は、複数同時に取得して複数種類の特徴を示す特徴データが生成されるようにしてもよい。この場合には、統計処理部102は、それぞれの種類に対応して統計データを生成してもよいし、異なる種類の特徴を複合して統計処理を行うことにより一の統計データを生成するようにしてもよい。
【0052】
<変形例2>
上述した実施形態においては、管理端末1から各受講者用端末2に送信される講義データは、講師の講義をリアルタイムに撮影、収音したものであったが、講義データを記憶部12に記憶させておき、予め準備しておいてもよい。この場合には、管理端末1は図6に示すような構成とすればよい。以下、その構成について説明する。なお、統計処理部102、映像データ生成部103については、実施形態の構成と同様であるので、その説明を省略する。
【0053】
講義データ読出部104は、記憶部12に記憶された講義データを読み出して、通信部18に対して出力し、通信部18によって各受講者用端末2に講義データを送信させる。記憶部12に記憶されている講義データには、その講義データの各部に、再生すべきタイミングを示すタイミング情報が付されている。このタイミング情報は、時刻、講義開始からの時間、講義内容のセクション単位など、講義データの各部を示すものであればよい。講義データ読出部104は、講義データを読み出して、講義データの各部を通信部18から送信させるときの各部に対応するタイミング情報を認識し、後述するデータ対応部105に出力する。
【0054】
データ対応部105は、統計処理部102によって出力された統計データ、および講義データ読出部104によって出力されたタイミング情報が入力される。そして、データ対応部105は、入力された統計データとタイミング情報とを対応付けて、対応統計データとして記憶部12に記憶する。このようにして記憶部12に記憶された対応統計データは、タイミング情報と統計データとを対応付けたものであるから、統計データの各部と講義データの各部とが対応付けられていることになる。したがって、対応統計データを確認することで、講義内容の各部分における受講者の反応を知ることができる。なお、記憶部12に記憶させるデータは、対応統計データだけでなく、特徴データとタイミング情報とを対応付けることにより、特徴データの各部と講義データの各部とを対応付けられる対応特徴データを記憶させてもよい。また、本構成においては、講義データは予め用意され、管理端末1には講師がいなくてもよいから、表示部14の表示画面14Mを確認する利用者がいなければ、映像データ生成部103はなくてもよい。
【0055】
<変形例3>
上述した変形例2においては、講義データは、管理端末1の講義データ読出部104によって読み出されて、各受講者用端末2に送信されていたが、各受講者用端末2の要求にしたがって、個別に読み出せるようにしてもよい。この場合には、受講者用端末2を図7に示すような構成とし、管理端末1を図8に示すような構成とすればよい。以下、受講者用端末2、管理端末1の構成について、順に説明する。
【0056】
受講者用端末2の講義データ再生部201は、受講者用端末2の要求にしたがって管理端末1から送信される講義データを再生する。このとき、講義データに付されたタイミング情報を通信部28に対して出力し、タイミング情報を管理端末1へ送信させる。これにより受講者用端末2からは、管理端末1に対して特徴データとタイミング情報との組が送信される。なお、特徴解析部202の構成については、実施形態と同様な構成であるので、その説明を省略する。
【0057】
管理端末1の統計処理部102は、通信部18が各受講者用端末2から受信した特徴データとタイミング情報との組が入力され、各受講者用端末2から受信した複数の特徴データの各々の各部をタイミング情報により対応させて、統計処理を行うことにより統計データを生成する。そして、統計処理部102は、統計データとタイミング情報とを対応付けた対応統計データを映像データ生成部103に出力するとともに、記憶部12に記憶させる。
【0058】
管理端末1の映像データ生成部103は、通信部18が各受講者用端末2から受信した特徴データとタイミング情報との組が入力され、また、統計処理部102から対応統計データが入力される。そして、映像データ生成部103は、各受講者用端末2から受信した複数の特徴データの各々の各部をタイミング情報により対応させ、また、対応統計データに係る統計データの各部についても対応させて、実施形態と同様な処理により映像データを生成する。なお、本構成においては、講義データは予め用意され、管理端末1には講師がいなくてもよいから、表示部14の表示画面14Mを確認する利用者がいなければ、映像データ生成部103はなくてもよい。
【0059】
このようにすると、講義データが各受講者用端末2の要求に応じて送信されるような状況であっても、変形例2と同様の効果、すなわち、講義内容の各部分における受講者の反応を知ることができる。
【0060】
<変形例4>
上述した変形例2のように、管理端末1が記憶部12に記憶された講義データを送信しているときには、統計処理部102において生成される統計データが予め設定された所定の条件を満たした場合に、送信の態様を変更するようにしてもよい。例えば、講義データ読出部104は、統計データが示す集中度Pが所定の値より少ない状態が一定時間続いたときには、講義データの読み出しを停止して各受講者用端末2への送信を停止するようにしてもよい。そして、講義データ読出部104は、集中度Pが所定の値より大きい状態が一定時間続いたときに、講義データの読み出しを再開し、各受講者用端末2への送信を再開するようにしてもよい。このように受講者の反応が低くなった状態が続いた場合には、講義の進行を停止して、各受講者は休憩を取れるようにすることができる。なお、講義データの読み出しの再開位置は、講義データの読み出しを停止した位置からでもよいし、集中度Pが所定の値より少なくなった時点に遡った位置としてもよい。また、復習のためさらに所定時間前の時点に遡った位置としてもよい。すなわち、講義データの読み出しの再開位置は、講義データの読み出しを停止した位置以前であればどのような位置としてもよく、所望の態様を予め設定しておけばよい。
【0061】
また、以下のような送信の態様としてもよい。まず、記憶部12に記憶される講義データは、講義内容の区切りごとに、第1ブロック、第2ブロック、・・・、第nブロックと複数のブロックに分割され、ブロックごとに講義の難易度が異なる複数のデータを有しているものとする。例えば、第1ブロックは、難易度が高いほうから低い方へHレベルデータ、Mレベルデータ、Lレベルデータを有し、各ブロックは、同様にHレベルデータ、Mレベルデータ、Lレベルデータを有するようになっている。
【0062】
そして、講義データ読出部104において読み出す講義データのブロックごとに、統計処理部102において生成される統計データに応じて、Hレベルデータ、Mレベルデータ、Lレベルデータのいずれかを選択して、選択されたデータを読み出すようにすればよい。この例においては、例えば、あるブロックに対応する統計データが示す集中度Pが予め設定された所定の値よりも低い状態が続いたときには、次のブロックの読み出すデータをより難易度の低いデータとすればよい。そして、集中度Pが高い状態が続いたときには、次のブロックの読み出すデータをより難易度の高いデータとすればよい。
【0063】
そして、講義データ読出部104は読み出したデータを通信部18に各受講者用端末2に対して送信させればよい。このようにすれば、各受講者の講義に対する反応に応じて、講義内容を変化させることができる。なお、上述した変形例3に示したように、受講者用端末2からの要求に応じて講義データを読み出す場合には、各受講者用端末2から送信される特徴データに応じて、制御部11が送信の態様を変更させるように制御すればよい。
【0064】
<変形例5>
上述した実施形態においては、表示部14の表示画面14Mに様々な表示をさせることで、講師に各受講者の講義への反応を示すようにしていたが、表示以外の態様により講師に各受講者の講義への反応を報知する報知手段を設けてもよい。この場合には、制御部11は、統計処理部102から出力される統計データが予め設定した所定の条件を満たしたときに、報知手段に報知させればよい。
【0065】
報知手段の報知としては、例えば、音による報知があり、統計データが示す集中度Pが所定の値より少なくなったときには、音による聴覚的な報知がなされるようにすればよい。また、集中度Pが所定の値より多くなったときには、別の音による報知がなされるようにしてもよい。このように、制御部11は、統計データに基づいて報知手段に報知させる報知内容を制御するようにしてもよい。また、報知手段の報知は、他にもLED(Light Emitting Diode)などによる発光をはじめ、講師の五感に対して報知されるものであればどのような態様であってもよい。
【0066】
<変形例6>
上述した実施形態において、講義に対する反応が悪い受講者に対して、その受講者が使用する受講者用端末2において所定の処理が行われるようにしてもよい。この場合には、以下のようにすればよい。管理端末1の統計処理部102は、統計データを通信部18にも出力し、通信部18に対して各受講者用端末2に統計データを送信する。
【0067】
受講者用端末2は、統計データを受信すると、特徴解析部202において生成した特徴データが示す視線方向と、統計データに係る視線方向の分布と比較する。そして、分布のピークに対応する視線方向付近の一定範囲内に、特徴量データが示す視線方向が含まれない状態になった場合には、その受講者用端末2を使用する受講者が、他の受講者用端末2を使用する受講者の大多数とは異なる視線方向であって、講義に集中していない状態であることを示していることになる。したがって、講義に集中していない受講者に対して、集中するように促すために、受講者用端末2の制御部21は、受講者に対して警告音などにより報知するなど、所定の処理を行なうようにすればよい。
【0068】
また、講義に集中していない受講者は、その講義内容を理解できていない場合がある。このような場合を想定して、受講者用端末2は、受信した講義データをRAMにバッファして、講義データの再生を一時停止させたり、その再生速度を遅くしたりしてもよい。また、変形例3に示すように受講者用端末2により講義データの受信を制御できる場合には、受信を一時停止するなどの制御をしてもよいし、変形例4に示すような講義データである場合には、受信する講義データの難易度を変化させてもよい。そして、視線方向が分布のピークに対応する視線方向付近の一定範囲内に戻ったとき、一定時間経過後、受講者の指示など所定の条件を満たしたときに、元の状態に戻すようにすればよい。なお、このように、受講者用端末2ごとに異なる難易度の講義データを受信している場合には、管理端末1の統計処理部102は、難易度別に統計処理を行うようにしてもよい。
【0069】
<変形例7>
上述した実施形態における講義システム100が複数存在し、このような複数の講義システム100と、各講義システム100の管理端末1の統計処理部102が生成する統計データを集計する集計装置3とを有することにより、集計システムを構成するようにしてもよい。この場合は、図9に示すように、各講義システム100の管理端末1−1、1−2、・・・、1−mの各々は統計処理部102が生成した統計データ、または記憶部12に記憶された統計データを、通信部18を介して集計装置3に送信する。そして、集計装置3は、各講義システム100の管理端末1−1、1−2、・・・、1−mの各々から統計データを受信し、受信した複数の統計データを所定の集計処理により集計して集計データを生成するようにすればよい。
【0070】
このような集計処理は、各統計データの内容をそれぞれ統合して集計するものであり、例えば、統計データが示す集中度Pにおいて、経時変化する集中度Pの平均値を講義システム100ごとに集計するようにすればよい。この集計方法は一例であって、複数の統計データから別の情報が算出されることにより集計するものであれば、どのようなものであってもよい。なお、集計装置3は、生成した集計データを別の装置に送信するようにしてもよい。そしてその装置は、複数の集計装置3から集計データを受信して、受信した集計データに対してさらに集計処理を行うようにしてもよい。
【0071】
<変形例8>
上述した実施形態においては、講師は、管理端末1を使用して、講義データを送信していたが、図10に示すように、講義データ生成部101など講義データの送信に係る構成を有する講師用端末4を用いて講義データを各受講者用端末2に送信するようにしてもよい。この場合には、管理端末1の表示部14の表示画面14Mに表示される表示内容については、講師とは別の補助員が確認する。そして、補助員は、その表示内容に応じて、補助員が管理端末1を操作して講師用端末4に対して、講義内容をどのようにすべきかなど、講師への指示内容を示す指示データを送信するようにすればよい。このように、管理端末1には、必ずしも講義データの送信に係る構成を有さなくてもよく、各受講者用端末2においては、管理端末1以外から講義データを受信してもよい。
【0072】
<変形例9>
上述した実施形態における管理端末1および受講者用端末2によって実行される制御プログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でダウンロードさせることも可能である。
【図面の簡単な説明】
【0073】
【図1】実施形態に係る講義システムの構成を示すブロック図である。
【図2】実施形態に係る管理端末の構成を示すブロック図である。
【図3】実施形態に係る受講者用端末の機能を示すブロック図である。
【図4】実施形態に係る管理端末の機能を示すブロック図である。
【図5】実施形態に係る管理端末の表示部の表示態様の一例を示す説明図である。
【図6】変形例2に係る管理端末の機能を示すブロック図である。
【図7】変形例3に係る受講者用端末の機能を示すブロック図である。
【図8】変形例3に係る管理端末の機能を示すブロック図である。
【図9】変形例7に係る集計システムの構成を示す説明図である。
【図10】変形例8に係る講義システムの構成を示す説明図である。
【符号の説明】
【0074】
1,1−1,1−2,・・・,1−m…管理端末、2,2−1,2−2,・・・,2−n…受講者用端末、3…集計装置、4…講師用端末、5…ネットワーク、10,20…バス、11,21…制御部、12,22…記憶部、13,23…放音部、14,24…表示部、14M…表示画面、15,25…操作部、16,26…映像入力部、17,27…音声入力部、18,28…通信部、19,29…インターフェイス、100…講義システム、101…講義データ生成部、102…統計処理部、103…映像データ生成部、104…講義データ読出部、105…データ対応部、201…講義データ再生部、202…特徴解析部、301,302…視線画像
【技術分野】
【0001】
本発明は、講義時の受講者の反応を評価する技術に関する。
【背景技術】
【0002】
遠隔地にいる講師の端末と受講者の端末とをネットワーク上で接続して、講義を行う講義システムがある。このような講義システムは、受講者が講義を受けるために、同一の教室に集まる必要がない一方、講師は直接受講者の様子を見ることができないため、一方的な講義になってしまうことがあった。そのため、受講者を撮影した画像や受講者が使用している端末の画面を、講師の端末のモニタに表示させることにより、受講者の受講態度を確認する技術が、特許文献1に開示されている。
【特許文献1】特開2008−32787号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1に開示された技術によると、受講者が講義をまじめに受けているかどうかを確認することができるが、受講者数が多くなると、講師の端末のモニタに表示される受講者の画像が多くなりすぎてしまい、受講者の受講態度を判別することが難しかった。また、受講者数の増加に伴い、端末間での画像データの通信データ量が非常に多くなってしまい、ネットワークの負荷が大きいものとなっていた。
【0004】
本発明は、上述の事情に鑑みてなされたものであり、多数の受講者の講義に対する反応を講師が容易に把握でき、また、ネットワークの負荷が少ない講義システムおよび集計システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
上述の課題を解決するため、本発明は、複数の受講者用端末と、前記複数の受講者用端末とネットワークを介して通信を行う管理端末とを有する講義システムにおいて、前記複数の受講者用端末の各々は、講義内容を示す講義データを受信する講義データ受信手段と、前記講義用データ受信手段が講義データを受信している間に、所定範囲の撮影をし、前記撮影した画像から当該画像の特徴を取得し、当該取得した特徴を示す特徴データを生成する特徴データ生成手段と、前記特徴データ生成手段によって生成された特徴データとして前記管理端末に送信する特徴データ送信手段とを具備し、前記管理端末は、前記複数の受講者用端末から送信された特徴データを受信する特徴データ受信手段と、前記特徴データ受信手段が受信した複数の特徴データに対して、統計処理を施すことによって統計データを生成する統計データ生成手段とを具備することを特徴とする講義システムを提供する。
【0006】
また、別の好ましい態様において、前記特徴データ生成手段は、利用者の眼球付近の範囲を撮影し、前記撮影した画像から前記利用者の視線方向を当該画像の特徴として取得することを特徴とする。
【0007】
また、本発明は、複数の受講者用端末と、前記複数の受講者用端末とネットワークを介して通信を行う管理端末とを有する講義システムにおいて、前記複数の受講者用端末の各々は、講義内容を示す講義データを受信する講義データ受信手段と、前記講義用データ受信手段が講義データを受信している間に、周囲の音を収音し、当該収音した音から当該音の特徴を取得し、当該取得した特徴を示す特徴データを生成する特徴データ生成手段と、前記特徴データ生成手段によって生成された特徴データとして前記管理端末に送信する特徴データ送信手段とを具備し、前記管理端末は、前記複数の受講者用端末から送信された特徴データを受信する特徴データ受信手段と、前記特徴データ受信手段が受信した複数の特徴データに対して、統計処理を施すことによって統計データを生成する統計データ生成手段とを具備することを特徴とする講義システムを特徴とする。
【0008】
また、別の好ましい態様において、前記管理端末は、前記統計データ生成手段によって生成された統計データに基づいて、表示手段に表示させる表示内容を制御する表示内容制御手段をさらに具備することを特徴とする。
【0009】
また、別の好ましい態様において、前記管理端末は、前記統計データ生成手段によって生成された統計データが所定の条件を満たしたときに、報知手段に報知させる報知制御手段をさらに具備することを特徴とする。
【0010】
また、別の好ましい態様において、前記講義データ受信手段は、前記統計データ生成手段によって生成された統計データに基づいて、異なる講義内容の講義データの受信に変更することを特徴とする。
【0011】
また、別の好ましい態様において、前記管理端末は、前記統計データ生成手段によって生成された統計データを前記各受講者用端末に送信する統計データ送信手段をさらに具備し、前記受講者用端末は、前記管理端末から統計データを受信する統計データ受信手段と、前記統計データ受信手段によって受信された統計データと前記特徴データ生成手段が生成した特徴データとを比較し、その比較結果に基づいて所定の処理を行う比較手段とをさらに具備することを特徴とする。
【0012】
また、別の好ましい態様において、前記管理端末は、前記受講者用端末に受信させる講義データを送信する講義データ送信手段をさらに具備することを特徴とする。
【0013】
また、本発明は、複数の請求項1乃至請求項7のいずれかに記載の講義システムと、ネットワークを介して前記講義システムの各々から統計データを受信し、前記受信した複数の統計データの集計に基づいて集計データを生成する集計装置とを具備し、前記講義システムの各々の管理端末は、前記統計データ生成手段が生成した統計データを前記集計装置に送信する統計データ送信手段をさらに具備することを特徴とする集計システムを提供する。
【発明の効果】
【0014】
本発明によれば、多数の受講者の講義に対する反応を講師が容易に把握でき、また、ネットワークの負荷が少ない講義システムおよび集計システムを提供することができる。
【発明を実施するための最良の形態】
【0015】
以下、本発明の一実施形態について説明する。
【0016】
<実施形態>
本発明の実施形態に係る講義システム100は、図1に示すように、ネットワーク5に接続された管理端末1と複数の受講者用端末2−1、2−2、・・・、2−n(以下、それぞれを区別しない場合には受講者用端末2という)とを有する。管理端末1は、講義を行う講師が使用する端末であり、受講者用端末2は、講義を受ける受講者が使用する端末である。以下、講義システム100の構成について、管理端末1、受講者用端末2の順に説明する。
【0017】
まず、管理端末1のハードウエアの構成について、図2を用いて説明する。管理端末1は、制御部11、記憶部12、放音部13、表示部14、操作部15、映像入力部16、音声入力部17、通信部18およびインターフェイス19を有し、バス10を介して互いに接続されている。
【0018】
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を有している。CPUは、ROMから制御プログラムをRAMに読み出して実行することにより、管理端末1の各部について、バス10を介して制御するとともに、後述する各機能を実現する。また、RAMは、CPUが各データの加工などを行う際のワークエリアとして機能する。
【0019】
記憶部12は、例えばハードディスクなどの大容量記憶手段であって、後述する統計データなど生成した各データを記憶することができる。
【0020】
放音部13は、スピーカユニットなどの放音手段を有し、制御部11の制御によって入力される音声データをアナログ信号である音声信号に変換して放音する。
【0021】
表示部14は、映像を表示画面14Mに表示する液晶ディスプレイなどの表示デバイスであって、制御部11の制御によって入力される映像データに基づく表示を行う。管理端末1を利用する講師は、表示画面14Mの表示内容を確認することにより、受講者の講義に対する反応を確認することができる。
【0022】
操作部15は、例えばキーボード、マウスなどの操作手段である。利用者が操作部15を操作するとその操作内容を表すデータが制御部11へ出力される。また、操作に応じて移動するポインタなどが表示部14の表示画面14Mに表示される。
【0023】
映像入力部16は、所定範囲の撮影を行うデジタルビデオカメラなどの撮影手段を有し、撮影内容を示す撮影データを出力する。この撮影手段は、複数であってもよく、例えば、講師の撮影を行う撮影手段と、講義のテキストを撮影する撮影手段とを有し、いずれか一方、または同時に撮影し、その撮影内容を示す撮影データが出力される。
【0024】
音声入力部17は、マイクなどの収音手段を有し、収音内容を示す収音データを出力する。
【0025】
通信部18は、ネットワーク5に接続し、管理端末1と各受講者用端末2との間で通信を行う通信手段であって、管理端末1と通信を行う各受講者用端末2との間で各データの送受信を行う。この例においては、後述する講義データ、特徴データなどを送受信する。
【0026】
インターフェイス19は、外部機器と接続し、様々なデータの入出力をするための接続端子であって、例えばUSB(Universal Serial Bus)端子などである。
【0027】
ここで、受講者用端末2のハードウエアの構成については、図2に示す管理端末1とほぼ同様であるので、その説明を省略する。以下、管理端末1と受講者用端末2とを区別するために、それぞれの符号を変えて、受講者用端末2においては、バス20、制御部21、記憶部22、放音部23、表示部24、操作部25、映像入力部26、音声入力部27、通信部28およびインターフェイス29とする。なお、制御部11が実行する制御プログラムと制御部21が実行する制御プログラムとは異なっている。
【0028】
次に、本発明の実施形態に係る受講者用端末2の制御部21が制御プログラムを実行することによって実現する機能について、図3を用いて説明する。図3は、制御部21が実現する機能を示す機能ブロック図である。
【0029】
講義データ再生部201は、通信部28によって管理端末1から受信した講義データが入力される。そして、その講義データを構成するデータのうち、映像部分については映像データとして表示部24に出力し、音声部分については、音声データとして放音部23に出力する。これにより、受講者用端末2を利用する受講者は、表示部24への表示、および放音部23からの放音により、講師の講義を受講することができる。
【0030】
特徴解析部202は、少なくとも、通信部28において講義データを受信し、講義データが再生されている間に、映像入力部26の撮影手段の撮影に係る画像の特徴を所定時間ごとに取得し、その特徴を示す特徴データを通信部28に出力し、管理端末1に送信させる。この例においては、映像入力部26の撮影手段によって受講者、特に受講者の眼球付近が撮影されることによって出力される撮影データを解析して、受講者の視線方向を解析することにより、その視線方向を特徴として取得する。
【0031】
視線方向は、例えば、極座標(r,θ)などで表され、θは、視線の方向、rは、θが示す方向への視線がどの程度であるかを示すようになっている。すなわち、r=0であれば、正面を向いている状態、rが大きいほど、θが示す方向に大きく向いている状態を示すことになる。また、目を閉じているなどして眼球の運動を測定できない場合には、測定不能であることを示す値となる。
【0032】
そして、特徴解析部202は、解析した視線方向を示す特徴データを生成し、通信部28に出力して管理端末1に送信させる。ここで、視線方向の解析は、撮影データから眼球部分を認識し、その眼球の運動を測定することによって行う画像処理方式を用いたが、眼球の運動の測定方法は、他の公知の方法を用いてもよい。以上が、講義システム100の受講者用端末2の制御部21が制御プログラムを実行することによって実現する機能の説明である。
【0033】
次に、本発明の実施形態に係る管理端末1の制御部11が制御プログラムを実行することによって実現する機能について、図4を用いて説明する。図4は、制御部11が実現する機能を示す機能ブロック図である。
【0034】
講義データ生成部101は、映像入力部16から入力された撮影データと、音声入力部17から入力された収音データとが入力され、これらに基づいて講義データを生成する。講義データは、映像部分のデータと音声部分のデータから構成され、映像部分のデータは入力された撮影データから、音声部分のデータは入力された収音データから構成される。そして、講義データ生成部101は、通信部18に生成した講義データを出力して各受講者用端末2に送信する。
【0035】
ここで、映像入力部16の撮影手段によって撮影される内容は、講義を行っている講師であり、音声入力部17の収音手段によって収音される内容は、講師の講義音声である。したがって、講義データは、講師による講義内容を示すデータとなっている。
【0036】
統計処理部102は、各受講者用端末2から通信部18が受信した特徴データが入力され、これらの特徴データに対して統計処理を施すことによって統計データを生成する。この例においては、統計処理とは、特徴データが示す視線方向について、その視線方向の分布を算出するとともに、その視線方向の分布において、概ね同一方向の視線である割合を示す集中度Pを算出する処理である。このように算出された集中度Pが高いほど、各受講者の視線方向が揃っていることを示しているから、テキストや表示部24の表示内容などのうち、その時点において見るべき場所を各受講者が見ていることになり、講義に集中しているとみなすことができる。
【0037】
そして、統計処理部102は、このように算出した分布、集中度Pを示す統計データを生成し、映像データ生成部103に出力する。なお、統計処理は、このような処理に限らず、受信した複数の特徴データから得られる統計的な数値を算出する処理であれば、どのような処理であってもよい。また、このように出力した統計データは、記憶部12に記憶させてもよい。この場合には、集中度Pなどの算出された結果と、算出された時刻との対応付けを行って記憶させてもよい。このようにすれば、講義開始からのある時点において、どのような集中度Pであったかを、講義終了後においても確認することができ、講義内容についての評価を行うこともできる。なお、記憶部12には、統計データだけでなく、特徴データを記憶させてもよく、上述のような対応付けを行なってもよい。
【0038】
映像データ生成部103は、各受講者用端末2から通信部18が受信した特徴データ、および統計処理部102が出力した統計データが入力され、これらに基づいて表示部14の表示画面14Mに表示させるべき表示内容を示す映像データを生成して、表示部14に出力する。
【0039】
この例においては、表示画面14Mに表示される表示内容は、図5に示すような表示内容となる。この表示内容について説明する。表示画面14Mには、視線ウインドウ14W−1、視線分布ウインドウ14W−2、講義時間ウインドウ14W−3、集中度経時変化ウインドウ14W−4が表示される。
【0040】
視線ウインドウ14W−1には、特徴データが示す視線方向を視覚的に表現した視線画像301が表示される。この視線画像301は、各受講者用端末2から特徴データを受信した数に応じて表示される。ここで、特徴データが示す視線方向が測定不能であることを示す値である場合には、例えば、視線画像302のように、目を閉じていることを視覚的に表現したものとする。このとき、一定時間測定不能であることを示す値であったときに、このような表示にすれば、瞬きのたびに表示が変化しないようにすることができる。
【0041】
このように、講師は、視線ウインドウ14W−1の表示を確認することにより、各受講者の視線がどのような方向に向いているのかを全体的なイメージとして知ることができる。なお、各視線画像301の各々は、各受講者と1対1で対応付けられているわけではなく、各受講者個人が特定できないような態様となっている。また、同じような視線画像301であるから、講師は、各受講者の顔の表情などの個人差による別の要素を除外し、視線方向に重点をおいて受講者の反応を確認することができる。
【0042】
視線分布ウインドウ14W−2は、統計データが示す視線方向の分布を視覚的に表現したものである。この例においては、視線方向とその方向に対応する受講者の数が表示され、グラフのピーク部分に対応する方向に視線が集まっていることを示す。したがって、ピークの高さが大きくなって鋭い形状になるほど、多くの受講者が同一の方向を見ていることになり、集中していることがわかることになる。このように、講師は、視線分布ウインドウ14W−2の表示を確認することにより、現時点において各受講者の視線の分布を一目で確認でき、どのくらいの受講者が集中しているかを知ることができる。
【0043】
講義時間ウインドウ14W−3は、講義データの送信を開始してからの講義時間を表示させるものである。上述のように、統計データと時刻とを対応付けて、記憶部12に記憶させるときには、この時間を時刻として対応付けてもよい。
【0044】
集中度経時変化ウインドウ14W−4は、統計データが示す集中度Pの経時変化を視覚的に表現したものである。この例においては、縦軸に集中度P、横軸に上記講義時間に対応した経過時間tのグラフとして表現したものである。講師は、集中度経時変化ウインドウ14W−4の表示を確認することにより、これまでの講義のうち、どの時間帯の集中度Pが高く、受講者の反応がよかったのか、また、集中度Pの増減によって、受講者の集中度の変化を知ることができる。以上が、講義システム100の管理端末1の制御部11が制御プログラムを実行することによって実現する機能の説明である。
【0045】
このように、本発明の実施形態に係る講義システム100は、複数の受講者用端末2から、各受講者の視線方向を示す特徴データが送信され、管理端末1において、特徴データ、およびこの特徴データに統計処理を施した統計データに基づく表示内容で、表示部14の表示画面14Mに表示させることができる。したがって、管理端末1を使用する講師は、その表示画面14Mを確認することで、受講者全体としての講義に対する反応を容易に知ることができる。そして、統計データや特徴データを記憶部12に記憶させておけば、講義後に、その講義内容について評価を行うこともできる。
【0046】
また、各受講者用端末2から送信されるデータは、データ量が少ない特徴データであるから、ネットワークへの負荷を少なくすることができるとともに、これを受信した管理端末1における統計処理を容易に行うことができる。
【0047】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【0048】
<変形例1>
上述した実施形態においては、特徴データが示す特徴は、特徴解析部202において解析した視線方向を示すものとしていたが、特徴は視線方向に限られない。例えば、映像入力部26によって出力される撮影データから受講者の顔の認識し、顔の動きを解析し、その動きを特徴として示すものであってもよい。この特徴を用いれば、統計処理部102は、例えば、うなずいている受講者の人数、回数などを統計データとして生成するようにすることができる。また、撮影データから解析できる特徴としては、他にも受講者の体の動き、受講者付近の明るさなど、撮影データに係る画像を解析して取得できる特徴であれば、どのようなものを特徴としてもよい。
【0049】
また、特徴解析部202において解析するデータは、映像入力部26によって出力される撮影データに限られず、音声入力部27によって出力される収音データであってもよい。例えば、収音データに係る音を解析して、その音の音量レベルを特徴とすればよい。この特徴を用いれば、統計処理部102は、例えば、音量レベルが所定レベル以上である人数などから、英語の講座などにおいて、講師による復唱の指示にしたがって、復唱を行っている受講者の人数などを統計データとして生成することができる。また、収音データから解析できる特徴としては、他にも周波数分布など、収音データに係る音を解析して取得できる特徴であれば、どのようなものを特徴としてもよい。
【0050】
また、受講者の音声以外の音である雑音の音量レベルを特徴としてもよい。この場合には、音声入力部27に二の収音手段を設け、一の収音手段は、指向性の高い収音手段とし、受講者の方向にその指向方向を向けて、受講者の音声を収音するようにする。もう一方の収音手段は、無指向性の収音手段とし、受講者の音声と周辺の音声を収音するようにする。そして、双方の収音手段による収音内容に基づいて、周辺の音声の音量レベルだけを抽出して、その音量レベルを雑音の音量レベルとすればよい。この特徴を用いれば、統計処理部102は、例えば、雑音の音量レベルが所定レベル以上である人数などから、テレビ、ラジオを視聴しながら受講しているよう雑音の多い受講者の人数などを統計データとして生成することができる。
【0051】
なお、これらのようにとり得る特徴は、複数同時に取得して複数種類の特徴を示す特徴データが生成されるようにしてもよい。この場合には、統計処理部102は、それぞれの種類に対応して統計データを生成してもよいし、異なる種類の特徴を複合して統計処理を行うことにより一の統計データを生成するようにしてもよい。
【0052】
<変形例2>
上述した実施形態においては、管理端末1から各受講者用端末2に送信される講義データは、講師の講義をリアルタイムに撮影、収音したものであったが、講義データを記憶部12に記憶させておき、予め準備しておいてもよい。この場合には、管理端末1は図6に示すような構成とすればよい。以下、その構成について説明する。なお、統計処理部102、映像データ生成部103については、実施形態の構成と同様であるので、その説明を省略する。
【0053】
講義データ読出部104は、記憶部12に記憶された講義データを読み出して、通信部18に対して出力し、通信部18によって各受講者用端末2に講義データを送信させる。記憶部12に記憶されている講義データには、その講義データの各部に、再生すべきタイミングを示すタイミング情報が付されている。このタイミング情報は、時刻、講義開始からの時間、講義内容のセクション単位など、講義データの各部を示すものであればよい。講義データ読出部104は、講義データを読み出して、講義データの各部を通信部18から送信させるときの各部に対応するタイミング情報を認識し、後述するデータ対応部105に出力する。
【0054】
データ対応部105は、統計処理部102によって出力された統計データ、および講義データ読出部104によって出力されたタイミング情報が入力される。そして、データ対応部105は、入力された統計データとタイミング情報とを対応付けて、対応統計データとして記憶部12に記憶する。このようにして記憶部12に記憶された対応統計データは、タイミング情報と統計データとを対応付けたものであるから、統計データの各部と講義データの各部とが対応付けられていることになる。したがって、対応統計データを確認することで、講義内容の各部分における受講者の反応を知ることができる。なお、記憶部12に記憶させるデータは、対応統計データだけでなく、特徴データとタイミング情報とを対応付けることにより、特徴データの各部と講義データの各部とを対応付けられる対応特徴データを記憶させてもよい。また、本構成においては、講義データは予め用意され、管理端末1には講師がいなくてもよいから、表示部14の表示画面14Mを確認する利用者がいなければ、映像データ生成部103はなくてもよい。
【0055】
<変形例3>
上述した変形例2においては、講義データは、管理端末1の講義データ読出部104によって読み出されて、各受講者用端末2に送信されていたが、各受講者用端末2の要求にしたがって、個別に読み出せるようにしてもよい。この場合には、受講者用端末2を図7に示すような構成とし、管理端末1を図8に示すような構成とすればよい。以下、受講者用端末2、管理端末1の構成について、順に説明する。
【0056】
受講者用端末2の講義データ再生部201は、受講者用端末2の要求にしたがって管理端末1から送信される講義データを再生する。このとき、講義データに付されたタイミング情報を通信部28に対して出力し、タイミング情報を管理端末1へ送信させる。これにより受講者用端末2からは、管理端末1に対して特徴データとタイミング情報との組が送信される。なお、特徴解析部202の構成については、実施形態と同様な構成であるので、その説明を省略する。
【0057】
管理端末1の統計処理部102は、通信部18が各受講者用端末2から受信した特徴データとタイミング情報との組が入力され、各受講者用端末2から受信した複数の特徴データの各々の各部をタイミング情報により対応させて、統計処理を行うことにより統計データを生成する。そして、統計処理部102は、統計データとタイミング情報とを対応付けた対応統計データを映像データ生成部103に出力するとともに、記憶部12に記憶させる。
【0058】
管理端末1の映像データ生成部103は、通信部18が各受講者用端末2から受信した特徴データとタイミング情報との組が入力され、また、統計処理部102から対応統計データが入力される。そして、映像データ生成部103は、各受講者用端末2から受信した複数の特徴データの各々の各部をタイミング情報により対応させ、また、対応統計データに係る統計データの各部についても対応させて、実施形態と同様な処理により映像データを生成する。なお、本構成においては、講義データは予め用意され、管理端末1には講師がいなくてもよいから、表示部14の表示画面14Mを確認する利用者がいなければ、映像データ生成部103はなくてもよい。
【0059】
このようにすると、講義データが各受講者用端末2の要求に応じて送信されるような状況であっても、変形例2と同様の効果、すなわち、講義内容の各部分における受講者の反応を知ることができる。
【0060】
<変形例4>
上述した変形例2のように、管理端末1が記憶部12に記憶された講義データを送信しているときには、統計処理部102において生成される統計データが予め設定された所定の条件を満たした場合に、送信の態様を変更するようにしてもよい。例えば、講義データ読出部104は、統計データが示す集中度Pが所定の値より少ない状態が一定時間続いたときには、講義データの読み出しを停止して各受講者用端末2への送信を停止するようにしてもよい。そして、講義データ読出部104は、集中度Pが所定の値より大きい状態が一定時間続いたときに、講義データの読み出しを再開し、各受講者用端末2への送信を再開するようにしてもよい。このように受講者の反応が低くなった状態が続いた場合には、講義の進行を停止して、各受講者は休憩を取れるようにすることができる。なお、講義データの読み出しの再開位置は、講義データの読み出しを停止した位置からでもよいし、集中度Pが所定の値より少なくなった時点に遡った位置としてもよい。また、復習のためさらに所定時間前の時点に遡った位置としてもよい。すなわち、講義データの読み出しの再開位置は、講義データの読み出しを停止した位置以前であればどのような位置としてもよく、所望の態様を予め設定しておけばよい。
【0061】
また、以下のような送信の態様としてもよい。まず、記憶部12に記憶される講義データは、講義内容の区切りごとに、第1ブロック、第2ブロック、・・・、第nブロックと複数のブロックに分割され、ブロックごとに講義の難易度が異なる複数のデータを有しているものとする。例えば、第1ブロックは、難易度が高いほうから低い方へHレベルデータ、Mレベルデータ、Lレベルデータを有し、各ブロックは、同様にHレベルデータ、Mレベルデータ、Lレベルデータを有するようになっている。
【0062】
そして、講義データ読出部104において読み出す講義データのブロックごとに、統計処理部102において生成される統計データに応じて、Hレベルデータ、Mレベルデータ、Lレベルデータのいずれかを選択して、選択されたデータを読み出すようにすればよい。この例においては、例えば、あるブロックに対応する統計データが示す集中度Pが予め設定された所定の値よりも低い状態が続いたときには、次のブロックの読み出すデータをより難易度の低いデータとすればよい。そして、集中度Pが高い状態が続いたときには、次のブロックの読み出すデータをより難易度の高いデータとすればよい。
【0063】
そして、講義データ読出部104は読み出したデータを通信部18に各受講者用端末2に対して送信させればよい。このようにすれば、各受講者の講義に対する反応に応じて、講義内容を変化させることができる。なお、上述した変形例3に示したように、受講者用端末2からの要求に応じて講義データを読み出す場合には、各受講者用端末2から送信される特徴データに応じて、制御部11が送信の態様を変更させるように制御すればよい。
【0064】
<変形例5>
上述した実施形態においては、表示部14の表示画面14Mに様々な表示をさせることで、講師に各受講者の講義への反応を示すようにしていたが、表示以外の態様により講師に各受講者の講義への反応を報知する報知手段を設けてもよい。この場合には、制御部11は、統計処理部102から出力される統計データが予め設定した所定の条件を満たしたときに、報知手段に報知させればよい。
【0065】
報知手段の報知としては、例えば、音による報知があり、統計データが示す集中度Pが所定の値より少なくなったときには、音による聴覚的な報知がなされるようにすればよい。また、集中度Pが所定の値より多くなったときには、別の音による報知がなされるようにしてもよい。このように、制御部11は、統計データに基づいて報知手段に報知させる報知内容を制御するようにしてもよい。また、報知手段の報知は、他にもLED(Light Emitting Diode)などによる発光をはじめ、講師の五感に対して報知されるものであればどのような態様であってもよい。
【0066】
<変形例6>
上述した実施形態において、講義に対する反応が悪い受講者に対して、その受講者が使用する受講者用端末2において所定の処理が行われるようにしてもよい。この場合には、以下のようにすればよい。管理端末1の統計処理部102は、統計データを通信部18にも出力し、通信部18に対して各受講者用端末2に統計データを送信する。
【0067】
受講者用端末2は、統計データを受信すると、特徴解析部202において生成した特徴データが示す視線方向と、統計データに係る視線方向の分布と比較する。そして、分布のピークに対応する視線方向付近の一定範囲内に、特徴量データが示す視線方向が含まれない状態になった場合には、その受講者用端末2を使用する受講者が、他の受講者用端末2を使用する受講者の大多数とは異なる視線方向であって、講義に集中していない状態であることを示していることになる。したがって、講義に集中していない受講者に対して、集中するように促すために、受講者用端末2の制御部21は、受講者に対して警告音などにより報知するなど、所定の処理を行なうようにすればよい。
【0068】
また、講義に集中していない受講者は、その講義内容を理解できていない場合がある。このような場合を想定して、受講者用端末2は、受信した講義データをRAMにバッファして、講義データの再生を一時停止させたり、その再生速度を遅くしたりしてもよい。また、変形例3に示すように受講者用端末2により講義データの受信を制御できる場合には、受信を一時停止するなどの制御をしてもよいし、変形例4に示すような講義データである場合には、受信する講義データの難易度を変化させてもよい。そして、視線方向が分布のピークに対応する視線方向付近の一定範囲内に戻ったとき、一定時間経過後、受講者の指示など所定の条件を満たしたときに、元の状態に戻すようにすればよい。なお、このように、受講者用端末2ごとに異なる難易度の講義データを受信している場合には、管理端末1の統計処理部102は、難易度別に統計処理を行うようにしてもよい。
【0069】
<変形例7>
上述した実施形態における講義システム100が複数存在し、このような複数の講義システム100と、各講義システム100の管理端末1の統計処理部102が生成する統計データを集計する集計装置3とを有することにより、集計システムを構成するようにしてもよい。この場合は、図9に示すように、各講義システム100の管理端末1−1、1−2、・・・、1−mの各々は統計処理部102が生成した統計データ、または記憶部12に記憶された統計データを、通信部18を介して集計装置3に送信する。そして、集計装置3は、各講義システム100の管理端末1−1、1−2、・・・、1−mの各々から統計データを受信し、受信した複数の統計データを所定の集計処理により集計して集計データを生成するようにすればよい。
【0070】
このような集計処理は、各統計データの内容をそれぞれ統合して集計するものであり、例えば、統計データが示す集中度Pにおいて、経時変化する集中度Pの平均値を講義システム100ごとに集計するようにすればよい。この集計方法は一例であって、複数の統計データから別の情報が算出されることにより集計するものであれば、どのようなものであってもよい。なお、集計装置3は、生成した集計データを別の装置に送信するようにしてもよい。そしてその装置は、複数の集計装置3から集計データを受信して、受信した集計データに対してさらに集計処理を行うようにしてもよい。
【0071】
<変形例8>
上述した実施形態においては、講師は、管理端末1を使用して、講義データを送信していたが、図10に示すように、講義データ生成部101など講義データの送信に係る構成を有する講師用端末4を用いて講義データを各受講者用端末2に送信するようにしてもよい。この場合には、管理端末1の表示部14の表示画面14Mに表示される表示内容については、講師とは別の補助員が確認する。そして、補助員は、その表示内容に応じて、補助員が管理端末1を操作して講師用端末4に対して、講義内容をどのようにすべきかなど、講師への指示内容を示す指示データを送信するようにすればよい。このように、管理端末1には、必ずしも講義データの送信に係る構成を有さなくてもよく、各受講者用端末2においては、管理端末1以外から講義データを受信してもよい。
【0072】
<変形例9>
上述した実施形態における管理端末1および受講者用端末2によって実行される制御プログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でダウンロードさせることも可能である。
【図面の簡単な説明】
【0073】
【図1】実施形態に係る講義システムの構成を示すブロック図である。
【図2】実施形態に係る管理端末の構成を示すブロック図である。
【図3】実施形態に係る受講者用端末の機能を示すブロック図である。
【図4】実施形態に係る管理端末の機能を示すブロック図である。
【図5】実施形態に係る管理端末の表示部の表示態様の一例を示す説明図である。
【図6】変形例2に係る管理端末の機能を示すブロック図である。
【図7】変形例3に係る受講者用端末の機能を示すブロック図である。
【図8】変形例3に係る管理端末の機能を示すブロック図である。
【図9】変形例7に係る集計システムの構成を示す説明図である。
【図10】変形例8に係る講義システムの構成を示す説明図である。
【符号の説明】
【0074】
1,1−1,1−2,・・・,1−m…管理端末、2,2−1,2−2,・・・,2−n…受講者用端末、3…集計装置、4…講師用端末、5…ネットワーク、10,20…バス、11,21…制御部、12,22…記憶部、13,23…放音部、14,24…表示部、14M…表示画面、15,25…操作部、16,26…映像入力部、17,27…音声入力部、18,28…通信部、19,29…インターフェイス、100…講義システム、101…講義データ生成部、102…統計処理部、103…映像データ生成部、104…講義データ読出部、105…データ対応部、201…講義データ再生部、202…特徴解析部、301,302…視線画像
【特許請求の範囲】
【請求項1】
複数の受講者用端末と、前記複数の受講者用端末とネットワークを介して通信を行う管理端末とを有する講義システムにおいて、
前記複数の受講者用端末の各々は、
講義内容を示す講義データを受信する講義データ受信手段と、
前記講義用データ受信手段が講義データを受信している間に、所定範囲の撮影をし、前記撮影した画像から当該画像の特徴を取得し、当該取得した特徴を示す特徴データを生成する特徴データ生成手段と、
前記特徴データ生成手段によって生成された特徴データとして前記管理端末に送信する特徴データ送信手段と
を具備し、
前記管理端末は、
前記複数の受講者用端末から送信された特徴データを受信する特徴データ受信手段と、
前記特徴データ受信手段が受信した複数の特徴データに対して、統計処理を施すことによって統計データを生成する統計データ生成手段と
を具備する
ことを特徴とする講義システム。
【請求項2】
前記特徴データ生成手段は、利用者の眼球付近の範囲を撮影し、前記撮影した画像から前記利用者の視線方向を当該画像の特徴として取得する
ことを特徴とする請求項1に記載の講義システム。
【請求項3】
複数の受講者用端末と、前記複数の受講者用端末とネットワークを介して通信を行う管理端末とを有する講義システムにおいて、
前記複数の受講者用端末の各々は、
講義内容を示す講義データを受信する講義データ受信手段と、
前記講義用データ受信手段が講義データを受信している間に、周囲の音を収音し、当該収音した音から当該音の特徴を取得し、当該取得した特徴を示す特徴データを生成する特徴データ生成手段と、
前記特徴データ生成手段によって生成された特徴データとして前記管理端末に送信する特徴データ送信手段と
を具備し、
前記管理端末は、
前記複数の受講者用端末から送信された特徴データを受信する特徴データ受信手段と、
前記特徴データ受信手段が受信した複数の特徴データに対して、統計処理を施すことによって統計データを生成する統計データ生成手段と
を具備する
ことを特徴とする講義システム。
【請求項4】
前記管理端末は、
前記統計データ生成手段によって生成された統計データに基づいて、表示手段に表示させる表示内容を制御する表示内容制御手段
をさらに具備する
ことを特徴とする請求項1乃至請求項3のいずれかに記載の講義システム。
【請求項5】
前記管理端末は、
前記統計データ生成手段によって生成された統計データが所定の条件を満たしたときに、報知手段に報知させる報知制御手段
をさらに具備する
ことを特徴とする請求項1乃至請求項4のいずれかに記載の講義システム。
【請求項6】
前記講義データ受信手段は、前記統計データ生成手段によって生成された統計データに基づいて、異なる講義内容の講義データの受信に変更する
ことを特徴とする請求項1乃至請求項5のいずれかに記載の講義システム。
【請求項7】
前記管理端末は、
前記統計データ生成手段によって生成された統計データを前記各受講者用端末に送信する統計データ送信手段
をさらに具備し、
前記受講者用端末は、
前記管理端末から統計データを受信する統計データ受信手段と、
前記統計データ受信手段によって受信された統計データと前記特徴データ生成手段が生成した特徴データとを比較し、その比較結果に基づいて所定の処理を行う比較手段と
をさらに具備する
ことを特徴とする請求項1乃至請求項6のいずれかに記載の講義システム。
【請求項8】
前記管理端末は、
前記受講者用端末に受信させる講義データを送信する講義データ送信手段
をさらに具備する
ことを特徴とする請求項1乃至請求項7のいずれかに記載の講義システム。
【請求項9】
複数の請求項1乃至請求項8のいずれかに記載の講義システムと、
ネットワークを介して前記講義システムの各々から統計データを受信し、前記受信した複数の統計データの集計に基づいて集計データを生成する集計装置と
を具備し、
前記講義システムの各々の管理端末は、
前記統計データ生成手段が生成した統計データを前記集計装置に送信する統計データ送信手段
をさらに具備する
ことを特徴とする集計システム。
【請求項1】
複数の受講者用端末と、前記複数の受講者用端末とネットワークを介して通信を行う管理端末とを有する講義システムにおいて、
前記複数の受講者用端末の各々は、
講義内容を示す講義データを受信する講義データ受信手段と、
前記講義用データ受信手段が講義データを受信している間に、所定範囲の撮影をし、前記撮影した画像から当該画像の特徴を取得し、当該取得した特徴を示す特徴データを生成する特徴データ生成手段と、
前記特徴データ生成手段によって生成された特徴データとして前記管理端末に送信する特徴データ送信手段と
を具備し、
前記管理端末は、
前記複数の受講者用端末から送信された特徴データを受信する特徴データ受信手段と、
前記特徴データ受信手段が受信した複数の特徴データに対して、統計処理を施すことによって統計データを生成する統計データ生成手段と
を具備する
ことを特徴とする講義システム。
【請求項2】
前記特徴データ生成手段は、利用者の眼球付近の範囲を撮影し、前記撮影した画像から前記利用者の視線方向を当該画像の特徴として取得する
ことを特徴とする請求項1に記載の講義システム。
【請求項3】
複数の受講者用端末と、前記複数の受講者用端末とネットワークを介して通信を行う管理端末とを有する講義システムにおいて、
前記複数の受講者用端末の各々は、
講義内容を示す講義データを受信する講義データ受信手段と、
前記講義用データ受信手段が講義データを受信している間に、周囲の音を収音し、当該収音した音から当該音の特徴を取得し、当該取得した特徴を示す特徴データを生成する特徴データ生成手段と、
前記特徴データ生成手段によって生成された特徴データとして前記管理端末に送信する特徴データ送信手段と
を具備し、
前記管理端末は、
前記複数の受講者用端末から送信された特徴データを受信する特徴データ受信手段と、
前記特徴データ受信手段が受信した複数の特徴データに対して、統計処理を施すことによって統計データを生成する統計データ生成手段と
を具備する
ことを特徴とする講義システム。
【請求項4】
前記管理端末は、
前記統計データ生成手段によって生成された統計データに基づいて、表示手段に表示させる表示内容を制御する表示内容制御手段
をさらに具備する
ことを特徴とする請求項1乃至請求項3のいずれかに記載の講義システム。
【請求項5】
前記管理端末は、
前記統計データ生成手段によって生成された統計データが所定の条件を満たしたときに、報知手段に報知させる報知制御手段
をさらに具備する
ことを特徴とする請求項1乃至請求項4のいずれかに記載の講義システム。
【請求項6】
前記講義データ受信手段は、前記統計データ生成手段によって生成された統計データに基づいて、異なる講義内容の講義データの受信に変更する
ことを特徴とする請求項1乃至請求項5のいずれかに記載の講義システム。
【請求項7】
前記管理端末は、
前記統計データ生成手段によって生成された統計データを前記各受講者用端末に送信する統計データ送信手段
をさらに具備し、
前記受講者用端末は、
前記管理端末から統計データを受信する統計データ受信手段と、
前記統計データ受信手段によって受信された統計データと前記特徴データ生成手段が生成した特徴データとを比較し、その比較結果に基づいて所定の処理を行う比較手段と
をさらに具備する
ことを特徴とする請求項1乃至請求項6のいずれかに記載の講義システム。
【請求項8】
前記管理端末は、
前記受講者用端末に受信させる講義データを送信する講義データ送信手段
をさらに具備する
ことを特徴とする請求項1乃至請求項7のいずれかに記載の講義システム。
【請求項9】
複数の請求項1乃至請求項8のいずれかに記載の講義システムと、
ネットワークを介して前記講義システムの各々から統計データを受信し、前記受信した複数の統計データの集計に基づいて集計データを生成する集計装置と
を具備し、
前記講義システムの各々の管理端末は、
前記統計データ生成手段が生成した統計データを前記集計装置に送信する統計データ送信手段
をさらに具備する
ことを特徴とする集計システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2009−258175(P2009−258175A)
【公開日】平成21年11月5日(2009.11.5)
【国際特許分類】
【出願番号】特願2008−103920(P2008−103920)
【出願日】平成20年4月11日(2008.4.11)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
【公開日】平成21年11月5日(2009.11.5)
【国際特許分類】
【出願日】平成20年4月11日(2008.4.11)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
[ Back to top ]