モニタリングシステム、モニタリング方法、およびプログラム
【課題】受講者の状態を適確に把握できる情報を出力すること。
【解決手段】モニタリングシステムは、ネットワークに接続されている端末装置のユーザをモニタリングする。モニタリングシステムは、異なる複数の警告情報に対応づけて、予め定められた複数の書き込み条件を格納している条件格納部と、端末装置に対するユーザによるデータの書き込み履歴を取得する履歴取得部と、条件格納部に格納されている書き込み条件に書き込み履歴が合致する場合に、書き込み履歴が合致する書き込み条件に対応づけられた警告情報を用いて警告する警告部とを備える。
【解決手段】モニタリングシステムは、ネットワークに接続されている端末装置のユーザをモニタリングする。モニタリングシステムは、異なる複数の警告情報に対応づけて、予め定められた複数の書き込み条件を格納している条件格納部と、端末装置に対するユーザによるデータの書き込み履歴を取得する履歴取得部と、条件格納部に格納されている書き込み条件に書き込み履歴が合致する場合に、書き込み履歴が合致する書き込み条件に対応づけられた警告情報を用いて警告する警告部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モニタリングシステム、モニタリング方法、およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、受講者端末で入力された、講義内容に対する受講者の反応を示す反応情報を、講義内容の送信元の講師端末に表示する反応情報表示システムが記載されている。
【特許文献１】国際公開第２００５／０６２２１８号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記技術では、受講者端末において、受講者がキーボード、マウスを用いて反応情報を入力する必要がある。このため、受講者が適確な反応情報を入力しない場合、講師は、受講者の理解度、集中度などの学習状態を適確に把握することができない。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態においては、ネットワークに接続されている端末装置のユーザをモニタリングするモニタリングシステムであって、異なる複数の警告情報に対応づけて、予め定められた複数の書き込み条件を格納している条件格納部と、端末装置に対するユーザによるデータの書き込み履歴を取得する履歴取得部と、条件格納部に格納されている書き込み条件に書き込み履歴が合致する場合に、書き込み履歴が合致する書き込み条件に対応づけられた警告情報を用いて警告する警告部とを備える。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【０００６】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００７】
図１は、実施形態に係る学習システム１０の構成の一例を示す。モニタリングシステムの一例である学習システム１０は、先生用端末装置１００、生徒用端末装置１１０、および事業主用端末装置１２０を備える。これら複数の端末装置のそれぞれは、インターネットなどのネットワーク１３０に接続されており、ネットワーク１３０を介して他の端末装置とのデータ通信をすることができる。
【０００８】
学習システム１０には、複数の仮想クラス２０が設けられている。学習システム１０においては、先生が先生用端末装置１００で仮想クラス２０にログインし、生徒が生徒用端末装置１１０で仮想クラス２０にログインすることで、先生および生徒による仮想クラス２０の授業がネットワーク上でおこなわれる。
【０００９】
事業主用端末装置１２０は、学習システム１０を管理する学習システム管理装置として機能する。たとえば、事業主用端末装置１２０は、生徒および先生の、ユーザ情報、ログイン、およびログアウトを管理する。学習システム１０は、事業主用端末装置１２０の代わりに学習システム１０を管理するサーバなどの外部装置をさらに備えてもよい。
【００１０】
先生用端末装置１００は、生徒用端末装置１１０のユーザである生徒をモニタリングする機能を有する。具体的には、生徒用端末装置１１０は、ネットワークカメラ、マイク、および電子ペンを備えている。生徒用端末装置１１０は、ネットワークカメラで撮像した画像、マイクによって入力された音声、および電子ペンによって書き込まれた書き込み情報を、先生用端末装置１００へリアルタイムに送信する。先生用端末装置１００は、複数の生徒用端末装置１１０のそれぞれから送信された画像、音声、および書き込み情報を、表示および音声出力する。これにより先生用端末装置１００のユーザである先生は、先生用端末装置１００から出力された画像、音声、および書き込み情報から、各生徒の表情、状態、回答内容、質問内容などを確認することができる。
【００１１】
先生用端末装置１００は、生徒用端末装置１１０と同様に、ネットワークカメラ、マイク、および電子ペンを備えており、ネットワークカメラで撮像した画像、マイクによって入力された音声、および電子ペンによって書き込まれた書き込み情報を、事業主用端末装置１２０へリアルタイムに送信する。事業主用端末装置１２０は、複数の先生用端末装置１００のそれぞれから送信された画像、音声、および書き込み情報を、表示および音声出力する。これにより、事業主用端末装置１２０のユーザである事業主は、事業主用端末装置１２０から出力された画像、音声、および書き込み情報から、各先生の指導状態などを確認することができる。
【００１２】
図２は、生徒用端末装置１１０の構成の一例を示す。なお、先生用端末装置１００は、以下で説明する生徒用端末装置１１０の構成と同様の構成を有する。生徒用端末装置１１０は、ネットワークカメラ２００、マイク２１０、電子ペン２２２、および電子ペンユニット２２４を備える。ネットワークカメラ２００は、生徒を撮像する。マイク２１０は、生徒が発した音声を入力する。電子ペン２２２は、生徒による書き込みを入力する。電子ペンユニット２２４は、赤外線および超音波により、電子ペン２２２による書き込みおよび消去を検出し、検出した書き込みおよび消去に対応する書き込み情報を生成する。生徒用端末装置１１０は、ネットワークカメラ２００が撮像した画像、マイク２１０から入力された音声、および電子ペンユニット２２４が生成した書き込み情報をパケット化して、先生用端末装置１００へ送信する。生徒用端末装置１１０は、スタイラスペン、ペンタブレット、キーボード、マウス、タッチパネルなど、他の入力デバイスによって生徒による書き込みおよび消去を入力してもよい。
【００１３】
図２において、生徒用端末装置１１０が備える表示部１１２には、学習用の画面が表示されている。学習用の画面は、領域２３２、領域２３４、領域２３６、および領域２３８を含む。領域２３２には、先生用端末装置１００から送信された講義中の問題文が表示される。領域２３４には、電子ペンユニット２２４が生成した書き込み情報が表示される。領域２３６には、先生用端末装置１００で撮像された先生の画像、および他の生徒用端末装置１１０で撮像された他の生徒の画像が表示される。
【００１４】
領域２３８には、意思表示ボタンが表示される。たとえば、図２に示す例では、領域２３８には、意思表示ボタン「○」、「△」、「×」、および「？」が表示されている。意思表示ボタンのそれぞれには、生徒の意思表示を示す意思表示情報が対応付けられている。たとえば、意思表示ボタン「○」には、意思表示情報として「わかりました」が対応付けられている。また、意思表示ボタン「△」には、意思表示情報として「自信ないです」が対応付けられている。また、意思表示ボタン「×」には、意思表示情報として「わかりません」が対応付けられている。また、意思表示ボタン「？」には、意思表示情報として「助けて」が対応付けられている。生徒用端末装置１１０は、生徒によって任意の意思表示ボタンが押下された場合、押下された意思表示ボタンに対応付けられている意思表示情報を、先生用端末装置１００へ送信する。
【００１５】
電子ペン２２２は、当該電子ペン２２２を一意に識別するための電子ペンＩＤを格納する記憶部を有してもよい。この場合、電子ペン２２２は、用紙２２６への書き込みが行われた場合に、記憶部に格納されている電子ペンＩＤを電子ペンユニット２２４へ送信してもよい。電子ペンユニット２２４は、電子ペン２２２による書き込み情報と電子ペン２２２の電子ペンＩＤとを対応付けて生徒用端末装置１１０へ出力してもよい。さらに、生徒用端末装置１１０は、電子ペン２２２による書き込み情報と電子ペン２２２の電子ペンＩＤとを対応付けて先生用端末装置１００へ送信してもよい。
【００１６】
先生用端末装置１００は、書き込み情報に対応付けられている電子ペンＩＤを用いて、書き込み情報の表示を制御してもよい。たとえば、先生用端末装置１００は、複数の電子ペン２２２によって書き込まれた複数の書き込み情報のうち、先生が選択した電子ペンＩＤに対応付けられている書き込み情報のみを画面上に表示または画面上から消去してもよい。また、先生用端末装置１００は、複数の電子ペン２２２によって書き込まれた複数の書き込み情報のそれぞれを異なる色または異なる線種で表示してもよい。
【００１７】
電子ペン２２２は、それぞれ色が異なる複数の芯を有し、複数の芯を切り替えることにより、複数の色により用紙２２６への書き込みができるものであってもよい。この場合、電子ペン２２２は、複数の芯のそれぞれを一意に識別するための芯ＩＤを格納する記憶部を有してもよい。さらに、電子ペン２２２は、用紙２２６への書き込みが行われた場合に、記憶部に格納されている芯ＩＤを電子ペンユニット２２４へ送信してもよい。電子ペンユニット２２４は、電子ペン２２２による書き込み情報と電子ペン２２２の芯ＩＤとを対応付けて生徒用端末装置１１０へ出力してもよい。さらに、生徒用端末装置１１０は、電子ペン２２２による書き込み情報と電子ペン２２２の芯ＩＤとを対応付けて先生用端末装置１００へ送信してもよい。芯ＩＤは、ＲＧＢ形式など、当該芯ＩＤから表示色を特定できるデータ形式であってもよい。
【００１８】
先生用端末装置１００は、書き込み情報に対応付けられている芯ＩＤを用いて、書き込み情報の表示を制御してもよい。たとえば、先生用端末装置１００は、電子ペン２２２によって書き込まれた複数の書き込み情報のうち、先生が選択した芯ＩＤに対応付けられている書き込み情報のみを画面上に表示または画面上から消去してもよい。先生用端末装置１００は、書き込み情報に対応付けられている芯ＩＤを用いて、書き込み情報の表示色を制御してもよい。たとえば、先生用端末装置１００は、電子ペン２２２によって書き込まれた複数の書き込み情報のそれぞれを、当該書き込み情報の芯ＩＤに予め対応付けられている表示色で表示してもよい。芯ＩＤが、当該芯ＩＤから表示色を特定できるデータ形式を有する場合、先生用端末装置１００は、電子ペン２２２によって書き込まれた複数の書き込み情報のそれぞれを、当該書き込み情報の芯ＩＤから特定した表示色で表示してもよい。
【００１９】
図３は、先生用端末装置１００の表示部６０８が表示する画面の一例を示す。画面３００は、先生用端末装置１００の表示部６０８に表示された画面であって、領域３０２、領域３０４、領域３０６、領域３２０、および領域３３０を含む。
【００２０】
領域３０２には、講義中の問題文が表示される。たとえば、先生用端末装置１００は、先生用端末装置１００内部または外部の問題文データベースから問題文を取得する。領域３０４には、先生によって電子ペン２２２で書き込まれた書き込み情報が表示される。領域３０６には、先生用端末装置１００で撮像された先生の画像、および各生徒用端末装置１１０で撮像された各生徒の画像が表示される。領域３０６において、各画像の周囲には枠部が設けられており、当該枠部は、生徒ごとに異なる色で着色されている。先生用端末装置１００は、領域３０２に表示されている問題文、領域３０４に表示されている書き込み情報、および領域３０６に表示されている画像を、各生徒用端末装置１１０へ公開することで、これらの情報を各生徒用端末装置１１０と共有する。なお、領域３０６には、各生徒の画像に対応付けて、各生徒用端末装置１１０から送信された各生徒の意思表示情報が表示されるが、これらの意思表示情報は、他の生徒には知られないように、各生徒用端末装置１１０には公開されない。
【００２１】
領域３２０には、複数の共有切替ボタンが表示される。先生は、複数の共有ボタンにより、共有モードを「全員指導モード」、「個別指導モード」、「招待指導モード」のいずれかに切り替える。先生用端末装置１００は、「全員指導モード」においては、全ての生徒用端末装置１１０と、書き込み情報、音声、および画像を共有する。また、「個別指導モード」においては、先生が指導の対象として選択した生徒の生徒用端末装置１１０と、書き込み情報、音声、および画像を共有する。また、「招待指導モード」においては、先生が指導の対象として選択した複数の生徒の生徒用端末装置１１０、書き込み情報、音声、および画像を共有する。なお、先生用端末装置１００は、先生が選択した場合、「個別指導モード」および「招待指導モード」であっても、全ての生徒用端末装置１１０と音声を共有することができる。領域３３０には、アプリケーションを切り替えるためのアプリケーション切替ボタンが複数表示される。
【００２２】
図４は、先生用端末装置１００の表示部６０８が表示する画面の他の一例を示す。図４に示す画面３００は、領域４００を含む点で、図３に示した画面３００と相違する。
【００２３】
領域４００には、各生徒用端末装置１１０で書き込まれた各生徒の書き込み情報が表示される。領域４００において、各書き込み情報の周囲には枠部が設けられており、当該枠部は、領域３０６と同様に、生徒ごとに、領域３０６の枠部の色と同色で着色されている。先生用端末装置１００は、領域４００に表示されている複数の書き込み情報のそれぞれについて、当該書き込み情報を書き込んだ生徒の生徒用端末装置１１０にのみ公開し、その他の生徒には知られないように、その他の生徒の生徒用端末装置１１０には公開しない。
【００２４】
図５は、先生用端末装置１００の表示部６０８が表示する画面の他の一例を示す。図５に示す画面３００は、領域５００および領域５１０を含む点で、図３および図４に示した画面３００と相違する。
【００２５】
領域５００には、先生が指導の対象として選択した生徒の書き込み情報、および当該書き込み情報に対して先生が書き込んだ書き込み情報が拡大表示される。領域５１０には、先生が選択した生徒以外の生徒の書き込み情報が縮小表示される。領域５００および領域５１０において、各書き込み情報の周囲には枠部が設けられている。ここで、画面３００においては、生徒の画像と書き込み情報との対応付けを先生が容易に認識できるように、生徒ごとに、領域３０６に表示されている画像の枠部と、領域５００および領域５１０に表示されている書き込み情報の枠部とが、同色で着色して表示されている。先生用端末装置１００は、領域５００に表示されている書き込み情報を、先生が指導の対象として選択した生徒の生徒用端末装置１１０のみに公開し、その他の生徒には知られないように、その他の生徒の生徒用端末装置１１０には公開しない。
【００２６】
なお、先生用端末装置１００は、生徒の画像と書き込み情報との対応付けを先生に容易に認識させるための処理として、上記した同色で着色する処理に代えて、または上記した同色で着色する処理と組み合わせて、以下の処理（１）〜（３）をおこなってもよい。（１）生徒ごとに、画像と書き込み情報とを並べてまたは重ねて表示する。（２）生徒に対する警告情報を出力する場合、警告された生徒の、画像および書き込み情報の一方または双方を点滅させる。（３）任意の生徒の画像または書き込み情報がマウスオーバー操作によって選択された場合、選択された生徒の、画像および書き込み情報の一方または双方を点滅させる。
【００２７】
図６は、先生用端末装置１００の機能構成の一例を示す。先生用端末装置１００は、受信部６３０、履歴格納部６２２、画像格納部６２４、音声格納部６２６を備える。また、先生用端末装置１００は、履歴取得部６０２、画像取得部６１８、音声取得部６２０、条件格納部６００、条件比較部６０４、および警告部６０６を備える。
【００２８】
受信部６３０は、生徒による書き込み情報を受信する。また、受信部６３０は、生徒の画像を受信する。また、受信部６３０は、生徒の音声を受信する。
【００２９】
履歴格納部６２２は、受信部６３０が受信した、生徒による書き込み情報の履歴（書き込み履歴）を格納する。たとえば、書き込み履歴は、書き込み内容を特定するための、書き込みまたは消去の区別、書き込みまたは消去した領域、場所、日時、ユーザＩＤ、端末装置ＩＤなどの情報を含む。履歴格納部６２２は、書き込み履歴を、書き込みまたは消去の１ストロークごとに格納してもよい。画像格納部６２４は、受信部６３０が受信した、生徒の画像を格納する。音声格納部６２６は、受信部６３０が受信した、生徒の音声を格納する。
【００３０】
履歴取得部６０２は、生徒による書き込み履歴を取得する。たとえば、履歴取得部６０２は、履歴格納部６２２から、書き込み履歴を取得する。履歴取得部６０２は、生徒用端末装置１１０から、書き込み履歴を取得してもよい。
【００３１】
画像取得部６１８は、生徒の画像を取得する。たとえば、画像取得部６１８は、画像格納部６２４から、生徒の画像を取得する。画像取得部６１８は、生徒用端末装置１１０から、生徒の画像を取得してもよい。
【００３２】
音声取得部６２０は、生徒の音声を取得する。たとえば、音声取得部６２０は、音声格納部６２６から、生徒の音声を取得する。音声取得部６２０は、生徒用端末装置１１０から、生徒の音声を取得してもよい。
【００３３】
条件格納部６００は、異なる複数の警告情報に対応づけて、予め定められた複数の書き込み条件を格納している。また、条件格納部６００は、異なる複数の警告情報に対応づけて、予め定められた複数の画像条件を格納している。さらに、条件格納部６００は、異なる複数の警告情報に対応づけて、予め定められた複数の音声条件を格納している。
【００３４】
条件比較部６０４は、履歴取得部６０２が取得した書き込み履歴を、条件格納部６００に格納されている書き込み条件と比較する。また、条件比較部６０４は、画像取得部６１８が取得した画像を、条件格納部６００に格納されている画像条件と比較する。さらに、また、条件比較部６０４は、音声取得部６２０が取得した音声を、条件格納部６００に格納されている音声条件と比較する。
【００３５】
警告部６０６は、条件格納部６００に格納されている書き込み条件に、履歴取得部６０２が取得した書き込み履歴が合致する場合に、書き込み履歴が合致する書き込み条件に対応づけられている警告情報を用いて警告する。具体的には、警告部６０６は、上記書き込み条件に対応づけられている警告情報を、表示部６０８に表示する。警告部６０６は、上記書き込み条件に対応づけられている警告情報を、スピーカなどの音声出力部６１０から音声出力してもよい。
【００３６】
たとえば、警告部６０６は、履歴取得部６０２が取得した書き込み履歴が、以下のいずれかの書き込み条件に合致した場合、合致した書き込み条件に対応付けられている警告情報を警告してもよい。「書き込み速度が基準値よりも低下した」、「書き込みしていない時間が基準時間以上継続している」、「同じ場所または同じ領域で所定回数以上書き込みをした」、「同じ場所または同じ領域で所定回数以上消去をした」。
【００３７】
警告部６０６は、条件格納部６００に格納されている画像条件に画像取得部６１８が取得した生徒の画像が合致する場合に、合致した画像条件に対応づけられた警告情報を用いて警告してもよい。たとえば、警告部６０６は、画像取得部６１８が取得した画像が、以下のいずれかの画像条件に合致した場合、合致した画像条件に対応付けられている警告情報を警告してもよい。「顔の向きが所定時間以上継続して正面以外を向いている」、「目線が所定時間以上継続してカメラ以外を向いている」、「顔又は体が所定量以上動作した」、「目の位置が所定量以上動作した」、「口が所定時間以上動作していない」、「所定の動作（頬杖、頭をかく、顔をいじるなど）をおこなった」、「集中力が低下した」、「画像から人物を認識できない」。
【００３８】
警告部６０６は、顔の向きを目の面積に基づいて判断してもよい。たとえば、条件式（目の面積＞第１基準値）を満たす場合には、顔の向きを「正面」と判断し、条件式（第１基準値＞目の面積＞第２基準値）を満たす場合には、顔の向きを「横」と判断し、条件式（第２基準値＞目の面積）を満たす場合には、顔の向きを「下」と判断してもよい。警告部６０６は、頭と鼻との相対的な位置関係に基づいて判断してもよい。警告部６０６は、上記所定の動作を、手と顔の相対的な位置関係から判断してもよい。警告部６０６は、まばたきまたはあくびを所定回数以上おこなわれたことをもって、「集中力が低下した」と判断してもよい。
【００３９】
警告部６０６は、条件格納部６００に格納されている音声条件に音声取得部６２０が取得した生徒の音声が合致する場合に、合致した音声条件に対応づけられた警告情報を用いて警告してもよい。たとえば、警告部６０６は、音声取得部６２０が取得した音声が、以下のいずれかの音声条件に合致した場合、合致した音声条件に対応付けられている警告情報を警告してもよい。「無発音状態が所定時間以上継続した」、「所定の発音（ため息、うなりなど）が所定回数以上おこなわれた」、「所定の発音が所定時間以上継続しておこなわれた」。
【００４０】
条件格納部６００は、複数の生徒のそれぞれに対応して異なる書き込み条件を格納してもよい。たとえば、条件格納部６００は、複数の生徒のそれぞれに対応して書き込み情報の書き込み速度が異なる書き込み条件を格納してもよい。また、条件格納部６００は、複数の生徒のそれぞれに対応して書き込み情報の書き込みが停止している時間が異なる書き込み条件を格納してもよい。また、条件格納部６００は、複数の生徒のそれぞれに対応して異なる画像条件を格納してもよい。さらに、条件格納部６００は、複数の生徒のそれぞれに対応して異なる音声条件を格納してもよい。
【００４１】
先生用端末装置１００は、基準速度算出部６１２、現在速度算出部６１４、および差分算出部６１６をさらに備える。基準速度算出部６１２は、履歴取得部６０２が取得した書き込み履歴に基づいて、生徒による書き込みの基準速度を算出する。たとえば、基準速度算出部６１２は、書き込み履歴から単位時間あたりの書き込み量を算出し、算出した単位時間あたりの書き込み量に基づいて、基準速度を算出する。基準速度算出部６１２は、生徒による書き込みの平均速度を基準速度として算出してもよい。また、基準速度算出部６１２は、生徒による書き込み速度のうち最も頻度が高い書き込み速度を基準速度として算出してもよい。
【００４２】
現在速度算出部６１４は、履歴取得部６０２が新たに取得した書き込み履歴に基づいて、生徒による現在の書き込み速度を算出する。差分算出部６１６は、基準速度算出部６１２が算出した基準速度と現在速度算出部６１４が算出した現在の書き込み速度との差分を算出する。警告部６０６は、書き込み速度が低下したことを通知する警告情報に対応づけて予め定められている書き込み条件に、差分算出部６１６が算出した差分が合致する場合に、書き込み速度が低下したことを通知する警告情報を用いて警告してもよい。
【００４３】
警告部６０６は、警告情報に対応づけて予め定められている書き込み条件に、履歴取得部６０２が取得した書き込み履歴が合致し、かつ警告情報に対応づけて予め定められている画像条件に画像取得部６１８が取得した生徒の画像が合致する場合に、合致した書き込み条件および合致した画像条件に対応づけられた警告情報を用いて警告してもよい。
【００４４】
警告部６０６は、警告情報に対応づけて予め定められている書き込み条件に、履歴取得部６０２が取得した書き込み履歴が合致し、かつ警告情報に対応づけて予め定められている音声条件に音声取得部６２０が取得した生徒の音声が合致する場合に、合致した書き込み条件および合致した音声条件に対応づけられた警告情報を用いて警告してもよい。
【００４５】
警告部６０６は、警告情報に対応づけて予め定められている書き込み条件に、履歴取得部６０２が取得した書き込み履歴が合致し、警告情報に対応づけて予め定められている画像条件に画像取得部６１８が取得した生徒の画像が合致し、かつ警告情報に対応づけて予め定められている音声条件に音声取得部６２０が取得した生徒の音声が合致する場合に、合致した書き込み条件、合致した画像条件、および合致した音声条件に対応づけられた警告情報を用いて警告してもよい。
【００４６】
なお、一の仮想クラス２０には複数の先生がログインしてもよい。この場合、学習システム１０は、警告情報を発する先生用端末装置１００を動的に切り替えてもよい。たとえば、一方の先生用端末装置１００が、既に警告情報を発している場合または個別指導中の場合、学習システム１０は、他方の先生用端末装置１００に警告情報を発せさせてもよい。
【００４７】
図７は、条件格納部６００に格納されている条件の一例を示す。図７に示す例では、条件格納部６００には、ユーザＩＤごとに、警告部６０６が警告に用いる警告情報を決定するための、複数の書き込み条件、複数の画像条件、および複数の音声条件が対応付けて格納されている。たとえば、ユーザＩＤ「０００１」の生徒用端末装置１１０から取得した、書き込み履歴が書き込み条件「停止時間：３０秒以上」に合致し、生徒の画像が画像条件「正面以外を向いている」に合致し、生徒の音声が音声条件「無音」に合致する場合、警告部６０６は、条件格納部６００に格納されている複数の警告情報のうち、上記した複数の条件に対応付けられている警告情報「居眠りしています」を取得する。そして、警告部６０６は、取得した警告情報「居眠りしています」を用いて、表示、音声出力などの方法により警告する。
【００４８】
図８は、先生用端末装置１００による処理のフローの一例を示す。図８では、一の生徒用端末装置１１０に対する処理のフローの一例を示す。先生用端末装置１００は、複数の生徒用端末装置１１０に対する複数の以下の処理を、並行または連続しておこなってもよい。
【００４９】
まず、履歴取得部６０２が、生徒による書き込み履歴を取得する（Ｓ８０２）。つぎに、画像取得部６１８が、生徒の画像を取得する（Ｓ８０４）。つぎに、音声取得部６２０が、生徒の音声を取得する（Ｓ８０６）。
【００５０】
つぎに、基準速度算出部６１２が、Ｓ８０２で取得した書き込み履歴に基づいて、生徒による書き込みの基準速度を算出する（Ｓ８０８）。つぎに、現在速度算出部６１４が、Ｓ８０２で新たに取得した書き込み履歴に基づいて、生徒による現在の書き込み速度を算出する（Ｓ８１０）。つぎに、差分算出部６１６が、Ｓ８０８で算出した基準速度とＳ８１０で算出した現在の書き込み速度との差分を算出する（Ｓ８１２）。
【００５１】
つぎに、条件比較部６０４が、Ｓ８１２で算出した差分を、条件格納部６００に格納されている書き込み条件と比較し、Ｓ８０４で取得した生徒の画像を、条件格納部６００に格納されている画像条件と比較し、Ｓ８０６で取得した生徒の音声を、条件格納部６００に格納されている音声条件と比較する（Ｓ８１４）。
【００５２】
そして、Ｓ８１４の比較の結果、書き込み条件に書き込み履歴が合致し、画像条件に生徒の画像が合致し、かつ音声条件に生徒の音声が合致する場合（Ｓ８１６：Ｙｅｓ）、警告部６０６が、合致した書き込み条件、合致した画像条件、および合致した音声条件に対応づけられた警告情報を用いて警告する（Ｓ８１８）。そして、先生用端末装置１００は、処理をＳ８０２へ戻し、Ｓ８０２以降の処理を繰り返しおこなう。
【００５３】
一方、Ｓ８１４の比較の結果、書き込み条件に書き込み履歴が合致しない場合、画像条件に生徒の画像が合致しない場合、または音声条件に生徒の音声が合致しない場合（Ｓ８１６：Ｎｏ）、先生用端末装置１００は、処理をＳ８０２へ戻し、Ｓ８０２以降の処理を繰り返しおこなう。
【００５４】
図９は、警告部６０６による警告の一例を示す。図９に示す画面３００においては、警告部６０６による警告として、生徒の集中力が無いことを示す警告情報が表示されている。また、領域３０６において、警告対象の生徒の画像の周囲の枠部が点滅している。また、領域５１０において、警告対象の生徒の書き込み情報の周囲の枠部が点滅している。
【００５５】
このように、本実施形態の学習システム１０によれば、生徒に理解度、集中度などの情報を入力させることなく、生徒用端末装置１１０から送信された生徒の書き込み履歴に応じた警告情報を用いて、先生用端末装置１００から自動的に警告を発することができる。このため、先生に対して、生徒の学習状態を適確に把握させることができる。また、生徒の画像および音声にさらに応じた警告情報を用いているので、先生に対して、生徒の学習状態をより適確に把握させることができる。
【００５６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００５７】
【図１】実施形態に係る学習システム１０の構成の一例を示す。
【図２】生徒用端末装置１１０の構成の一例を示す。
【図３】先生用端末装置１００の表示部１１２が表示する画面の一例を示す。
【図４】先生用端末装置１００の表示部１１２が表示する画面の他の一例を示す。
【図５】先生用端末装置１００の表示部１１２が表示する画面の他の一例を示す。
【図６】先生用端末装置１００の機能構成の一例を示す。
【図７】条件格納部６００に格納されている条件の一例を示す。
【図８】先生用端末装置１００による処理のフローの一例を示す。
【図９】警告部６０６による警告の一例を示す。
【符号の説明】
【００５８】
１０ 学習システム、２０ 仮想クラス、１００ 先生用端末装置、１１０ 生徒用端末装置、１１２ 表示部、１２０ 事業主用端末装置、１３０ ネットワーク、２００ ネットワークカメラ、２１０ マイク、２２２ 電子ペン、２２４ 電子ペンユニット、２２６ 用紙、２３２ 領域、２３４ 領域、２３６ 領域、２３８ 領域、３００ 画面、３０２ 領域、３０４ 領域、３０６ 領域、３２０ 領域、３３０ 領域、４００ 領域、５００ 領域、５１０ 領域、６００ 条件格納部、６０２ 履歴取得部、６０４ 条件比較部、６０６ 警告部、６０８ 表示部、６１０ 音声出力部、６１２ 基準速度算出部、６１４ 現在速度算出部、６１６ 差分算出部、６１８ 画像取得部、６２０ 音声取得部、６２２ 履歴格納部、６２４ 画像格納部、６２６ 音声格納部、６３０ 受信部
【技術分野】
【０００１】
本発明は、モニタリングシステム、モニタリング方法、およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、受講者端末で入力された、講義内容に対する受講者の反応を示す反応情報を、講義内容の送信元の講師端末に表示する反応情報表示システムが記載されている。
【特許文献１】国際公開第２００５／０６２２１８号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記技術では、受講者端末において、受講者がキーボード、マウスを用いて反応情報を入力する必要がある。このため、受講者が適確な反応情報を入力しない場合、講師は、受講者の理解度、集中度などの学習状態を適確に把握することができない。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態においては、ネットワークに接続されている端末装置のユーザをモニタリングするモニタリングシステムであって、異なる複数の警告情報に対応づけて、予め定められた複数の書き込み条件を格納している条件格納部と、端末装置に対するユーザによるデータの書き込み履歴を取得する履歴取得部と、条件格納部に格納されている書き込み条件に書き込み履歴が合致する場合に、書き込み履歴が合致する書き込み条件に対応づけられた警告情報を用いて警告する警告部とを備える。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【０００６】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００７】
図１は、実施形態に係る学習システム１０の構成の一例を示す。モニタリングシステムの一例である学習システム１０は、先生用端末装置１００、生徒用端末装置１１０、および事業主用端末装置１２０を備える。これら複数の端末装置のそれぞれは、インターネットなどのネットワーク１３０に接続されており、ネットワーク１３０を介して他の端末装置とのデータ通信をすることができる。
【０００８】
学習システム１０には、複数の仮想クラス２０が設けられている。学習システム１０においては、先生が先生用端末装置１００で仮想クラス２０にログインし、生徒が生徒用端末装置１１０で仮想クラス２０にログインすることで、先生および生徒による仮想クラス２０の授業がネットワーク上でおこなわれる。
【０００９】
事業主用端末装置１２０は、学習システム１０を管理する学習システム管理装置として機能する。たとえば、事業主用端末装置１２０は、生徒および先生の、ユーザ情報、ログイン、およびログアウトを管理する。学習システム１０は、事業主用端末装置１２０の代わりに学習システム１０を管理するサーバなどの外部装置をさらに備えてもよい。
【００１０】
先生用端末装置１００は、生徒用端末装置１１０のユーザである生徒をモニタリングする機能を有する。具体的には、生徒用端末装置１１０は、ネットワークカメラ、マイク、および電子ペンを備えている。生徒用端末装置１１０は、ネットワークカメラで撮像した画像、マイクによって入力された音声、および電子ペンによって書き込まれた書き込み情報を、先生用端末装置１００へリアルタイムに送信する。先生用端末装置１００は、複数の生徒用端末装置１１０のそれぞれから送信された画像、音声、および書き込み情報を、表示および音声出力する。これにより先生用端末装置１００のユーザである先生は、先生用端末装置１００から出力された画像、音声、および書き込み情報から、各生徒の表情、状態、回答内容、質問内容などを確認することができる。
【００１１】
先生用端末装置１００は、生徒用端末装置１１０と同様に、ネットワークカメラ、マイク、および電子ペンを備えており、ネットワークカメラで撮像した画像、マイクによって入力された音声、および電子ペンによって書き込まれた書き込み情報を、事業主用端末装置１２０へリアルタイムに送信する。事業主用端末装置１２０は、複数の先生用端末装置１００のそれぞれから送信された画像、音声、および書き込み情報を、表示および音声出力する。これにより、事業主用端末装置１２０のユーザである事業主は、事業主用端末装置１２０から出力された画像、音声、および書き込み情報から、各先生の指導状態などを確認することができる。
【００１２】
図２は、生徒用端末装置１１０の構成の一例を示す。なお、先生用端末装置１００は、以下で説明する生徒用端末装置１１０の構成と同様の構成を有する。生徒用端末装置１１０は、ネットワークカメラ２００、マイク２１０、電子ペン２２２、および電子ペンユニット２２４を備える。ネットワークカメラ２００は、生徒を撮像する。マイク２１０は、生徒が発した音声を入力する。電子ペン２２２は、生徒による書き込みを入力する。電子ペンユニット２２４は、赤外線および超音波により、電子ペン２２２による書き込みおよび消去を検出し、検出した書き込みおよび消去に対応する書き込み情報を生成する。生徒用端末装置１１０は、ネットワークカメラ２００が撮像した画像、マイク２１０から入力された音声、および電子ペンユニット２２４が生成した書き込み情報をパケット化して、先生用端末装置１００へ送信する。生徒用端末装置１１０は、スタイラスペン、ペンタブレット、キーボード、マウス、タッチパネルなど、他の入力デバイスによって生徒による書き込みおよび消去を入力してもよい。
【００１３】
図２において、生徒用端末装置１１０が備える表示部１１２には、学習用の画面が表示されている。学習用の画面は、領域２３２、領域２３４、領域２３６、および領域２３８を含む。領域２３２には、先生用端末装置１００から送信された講義中の問題文が表示される。領域２３４には、電子ペンユニット２２４が生成した書き込み情報が表示される。領域２３６には、先生用端末装置１００で撮像された先生の画像、および他の生徒用端末装置１１０で撮像された他の生徒の画像が表示される。
【００１４】
領域２３８には、意思表示ボタンが表示される。たとえば、図２に示す例では、領域２３８には、意思表示ボタン「○」、「△」、「×」、および「？」が表示されている。意思表示ボタンのそれぞれには、生徒の意思表示を示す意思表示情報が対応付けられている。たとえば、意思表示ボタン「○」には、意思表示情報として「わかりました」が対応付けられている。また、意思表示ボタン「△」には、意思表示情報として「自信ないです」が対応付けられている。また、意思表示ボタン「×」には、意思表示情報として「わかりません」が対応付けられている。また、意思表示ボタン「？」には、意思表示情報として「助けて」が対応付けられている。生徒用端末装置１１０は、生徒によって任意の意思表示ボタンが押下された場合、押下された意思表示ボタンに対応付けられている意思表示情報を、先生用端末装置１００へ送信する。
【００１５】
電子ペン２２２は、当該電子ペン２２２を一意に識別するための電子ペンＩＤを格納する記憶部を有してもよい。この場合、電子ペン２２２は、用紙２２６への書き込みが行われた場合に、記憶部に格納されている電子ペンＩＤを電子ペンユニット２２４へ送信してもよい。電子ペンユニット２２４は、電子ペン２２２による書き込み情報と電子ペン２２２の電子ペンＩＤとを対応付けて生徒用端末装置１１０へ出力してもよい。さらに、生徒用端末装置１１０は、電子ペン２２２による書き込み情報と電子ペン２２２の電子ペンＩＤとを対応付けて先生用端末装置１００へ送信してもよい。
【００１６】
先生用端末装置１００は、書き込み情報に対応付けられている電子ペンＩＤを用いて、書き込み情報の表示を制御してもよい。たとえば、先生用端末装置１００は、複数の電子ペン２２２によって書き込まれた複数の書き込み情報のうち、先生が選択した電子ペンＩＤに対応付けられている書き込み情報のみを画面上に表示または画面上から消去してもよい。また、先生用端末装置１００は、複数の電子ペン２２２によって書き込まれた複数の書き込み情報のそれぞれを異なる色または異なる線種で表示してもよい。
【００１７】
電子ペン２２２は、それぞれ色が異なる複数の芯を有し、複数の芯を切り替えることにより、複数の色により用紙２２６への書き込みができるものであってもよい。この場合、電子ペン２２２は、複数の芯のそれぞれを一意に識別するための芯ＩＤを格納する記憶部を有してもよい。さらに、電子ペン２２２は、用紙２２６への書き込みが行われた場合に、記憶部に格納されている芯ＩＤを電子ペンユニット２２４へ送信してもよい。電子ペンユニット２２４は、電子ペン２２２による書き込み情報と電子ペン２２２の芯ＩＤとを対応付けて生徒用端末装置１１０へ出力してもよい。さらに、生徒用端末装置１１０は、電子ペン２２２による書き込み情報と電子ペン２２２の芯ＩＤとを対応付けて先生用端末装置１００へ送信してもよい。芯ＩＤは、ＲＧＢ形式など、当該芯ＩＤから表示色を特定できるデータ形式であってもよい。
【００１８】
先生用端末装置１００は、書き込み情報に対応付けられている芯ＩＤを用いて、書き込み情報の表示を制御してもよい。たとえば、先生用端末装置１００は、電子ペン２２２によって書き込まれた複数の書き込み情報のうち、先生が選択した芯ＩＤに対応付けられている書き込み情報のみを画面上に表示または画面上から消去してもよい。先生用端末装置１００は、書き込み情報に対応付けられている芯ＩＤを用いて、書き込み情報の表示色を制御してもよい。たとえば、先生用端末装置１００は、電子ペン２２２によって書き込まれた複数の書き込み情報のそれぞれを、当該書き込み情報の芯ＩＤに予め対応付けられている表示色で表示してもよい。芯ＩＤが、当該芯ＩＤから表示色を特定できるデータ形式を有する場合、先生用端末装置１００は、電子ペン２２２によって書き込まれた複数の書き込み情報のそれぞれを、当該書き込み情報の芯ＩＤから特定した表示色で表示してもよい。
【００１９】
図３は、先生用端末装置１００の表示部６０８が表示する画面の一例を示す。画面３００は、先生用端末装置１００の表示部６０８に表示された画面であって、領域３０２、領域３０４、領域３０６、領域３２０、および領域３３０を含む。
【００２０】
領域３０２には、講義中の問題文が表示される。たとえば、先生用端末装置１００は、先生用端末装置１００内部または外部の問題文データベースから問題文を取得する。領域３０４には、先生によって電子ペン２２２で書き込まれた書き込み情報が表示される。領域３０６には、先生用端末装置１００で撮像された先生の画像、および各生徒用端末装置１１０で撮像された各生徒の画像が表示される。領域３０６において、各画像の周囲には枠部が設けられており、当該枠部は、生徒ごとに異なる色で着色されている。先生用端末装置１００は、領域３０２に表示されている問題文、領域３０４に表示されている書き込み情報、および領域３０６に表示されている画像を、各生徒用端末装置１１０へ公開することで、これらの情報を各生徒用端末装置１１０と共有する。なお、領域３０６には、各生徒の画像に対応付けて、各生徒用端末装置１１０から送信された各生徒の意思表示情報が表示されるが、これらの意思表示情報は、他の生徒には知られないように、各生徒用端末装置１１０には公開されない。
【００２１】
領域３２０には、複数の共有切替ボタンが表示される。先生は、複数の共有ボタンにより、共有モードを「全員指導モード」、「個別指導モード」、「招待指導モード」のいずれかに切り替える。先生用端末装置１００は、「全員指導モード」においては、全ての生徒用端末装置１１０と、書き込み情報、音声、および画像を共有する。また、「個別指導モード」においては、先生が指導の対象として選択した生徒の生徒用端末装置１１０と、書き込み情報、音声、および画像を共有する。また、「招待指導モード」においては、先生が指導の対象として選択した複数の生徒の生徒用端末装置１１０、書き込み情報、音声、および画像を共有する。なお、先生用端末装置１００は、先生が選択した場合、「個別指導モード」および「招待指導モード」であっても、全ての生徒用端末装置１１０と音声を共有することができる。領域３３０には、アプリケーションを切り替えるためのアプリケーション切替ボタンが複数表示される。
【００２２】
図４は、先生用端末装置１００の表示部６０８が表示する画面の他の一例を示す。図４に示す画面３００は、領域４００を含む点で、図３に示した画面３００と相違する。
【００２３】
領域４００には、各生徒用端末装置１１０で書き込まれた各生徒の書き込み情報が表示される。領域４００において、各書き込み情報の周囲には枠部が設けられており、当該枠部は、領域３０６と同様に、生徒ごとに、領域３０６の枠部の色と同色で着色されている。先生用端末装置１００は、領域４００に表示されている複数の書き込み情報のそれぞれについて、当該書き込み情報を書き込んだ生徒の生徒用端末装置１１０にのみ公開し、その他の生徒には知られないように、その他の生徒の生徒用端末装置１１０には公開しない。
【００２４】
図５は、先生用端末装置１００の表示部６０８が表示する画面の他の一例を示す。図５に示す画面３００は、領域５００および領域５１０を含む点で、図３および図４に示した画面３００と相違する。
【００２５】
領域５００には、先生が指導の対象として選択した生徒の書き込み情報、および当該書き込み情報に対して先生が書き込んだ書き込み情報が拡大表示される。領域５１０には、先生が選択した生徒以外の生徒の書き込み情報が縮小表示される。領域５００および領域５１０において、各書き込み情報の周囲には枠部が設けられている。ここで、画面３００においては、生徒の画像と書き込み情報との対応付けを先生が容易に認識できるように、生徒ごとに、領域３０６に表示されている画像の枠部と、領域５００および領域５１０に表示されている書き込み情報の枠部とが、同色で着色して表示されている。先生用端末装置１００は、領域５００に表示されている書き込み情報を、先生が指導の対象として選択した生徒の生徒用端末装置１１０のみに公開し、その他の生徒には知られないように、その他の生徒の生徒用端末装置１１０には公開しない。
【００２６】
なお、先生用端末装置１００は、生徒の画像と書き込み情報との対応付けを先生に容易に認識させるための処理として、上記した同色で着色する処理に代えて、または上記した同色で着色する処理と組み合わせて、以下の処理（１）〜（３）をおこなってもよい。（１）生徒ごとに、画像と書き込み情報とを並べてまたは重ねて表示する。（２）生徒に対する警告情報を出力する場合、警告された生徒の、画像および書き込み情報の一方または双方を点滅させる。（３）任意の生徒の画像または書き込み情報がマウスオーバー操作によって選択された場合、選択された生徒の、画像および書き込み情報の一方または双方を点滅させる。
【００２７】
図６は、先生用端末装置１００の機能構成の一例を示す。先生用端末装置１００は、受信部６３０、履歴格納部６２２、画像格納部６２４、音声格納部６２６を備える。また、先生用端末装置１００は、履歴取得部６０２、画像取得部６１８、音声取得部６２０、条件格納部６００、条件比較部６０４、および警告部６０６を備える。
【００２８】
受信部６３０は、生徒による書き込み情報を受信する。また、受信部６３０は、生徒の画像を受信する。また、受信部６３０は、生徒の音声を受信する。
【００２９】
履歴格納部６２２は、受信部６３０が受信した、生徒による書き込み情報の履歴（書き込み履歴）を格納する。たとえば、書き込み履歴は、書き込み内容を特定するための、書き込みまたは消去の区別、書き込みまたは消去した領域、場所、日時、ユーザＩＤ、端末装置ＩＤなどの情報を含む。履歴格納部６２２は、書き込み履歴を、書き込みまたは消去の１ストロークごとに格納してもよい。画像格納部６２４は、受信部６３０が受信した、生徒の画像を格納する。音声格納部６２６は、受信部６３０が受信した、生徒の音声を格納する。
【００３０】
履歴取得部６０２は、生徒による書き込み履歴を取得する。たとえば、履歴取得部６０２は、履歴格納部６２２から、書き込み履歴を取得する。履歴取得部６０２は、生徒用端末装置１１０から、書き込み履歴を取得してもよい。
【００３１】
画像取得部６１８は、生徒の画像を取得する。たとえば、画像取得部６１８は、画像格納部６２４から、生徒の画像を取得する。画像取得部６１８は、生徒用端末装置１１０から、生徒の画像を取得してもよい。
【００３２】
音声取得部６２０は、生徒の音声を取得する。たとえば、音声取得部６２０は、音声格納部６２６から、生徒の音声を取得する。音声取得部６２０は、生徒用端末装置１１０から、生徒の音声を取得してもよい。
【００３３】
条件格納部６００は、異なる複数の警告情報に対応づけて、予め定められた複数の書き込み条件を格納している。また、条件格納部６００は、異なる複数の警告情報に対応づけて、予め定められた複数の画像条件を格納している。さらに、条件格納部６００は、異なる複数の警告情報に対応づけて、予め定められた複数の音声条件を格納している。
【００３４】
条件比較部６０４は、履歴取得部６０２が取得した書き込み履歴を、条件格納部６００に格納されている書き込み条件と比較する。また、条件比較部６０４は、画像取得部６１８が取得した画像を、条件格納部６００に格納されている画像条件と比較する。さらに、また、条件比較部６０４は、音声取得部６２０が取得した音声を、条件格納部６００に格納されている音声条件と比較する。
【００３５】
警告部６０６は、条件格納部６００に格納されている書き込み条件に、履歴取得部６０２が取得した書き込み履歴が合致する場合に、書き込み履歴が合致する書き込み条件に対応づけられている警告情報を用いて警告する。具体的には、警告部６０６は、上記書き込み条件に対応づけられている警告情報を、表示部６０８に表示する。警告部６０６は、上記書き込み条件に対応づけられている警告情報を、スピーカなどの音声出力部６１０から音声出力してもよい。
【００３６】
たとえば、警告部６０６は、履歴取得部６０２が取得した書き込み履歴が、以下のいずれかの書き込み条件に合致した場合、合致した書き込み条件に対応付けられている警告情報を警告してもよい。「書き込み速度が基準値よりも低下した」、「書き込みしていない時間が基準時間以上継続している」、「同じ場所または同じ領域で所定回数以上書き込みをした」、「同じ場所または同じ領域で所定回数以上消去をした」。
【００３７】
警告部６０６は、条件格納部６００に格納されている画像条件に画像取得部６１８が取得した生徒の画像が合致する場合に、合致した画像条件に対応づけられた警告情報を用いて警告してもよい。たとえば、警告部６０６は、画像取得部６１８が取得した画像が、以下のいずれかの画像条件に合致した場合、合致した画像条件に対応付けられている警告情報を警告してもよい。「顔の向きが所定時間以上継続して正面以外を向いている」、「目線が所定時間以上継続してカメラ以外を向いている」、「顔又は体が所定量以上動作した」、「目の位置が所定量以上動作した」、「口が所定時間以上動作していない」、「所定の動作（頬杖、頭をかく、顔をいじるなど）をおこなった」、「集中力が低下した」、「画像から人物を認識できない」。
【００３８】
警告部６０６は、顔の向きを目の面積に基づいて判断してもよい。たとえば、条件式（目の面積＞第１基準値）を満たす場合には、顔の向きを「正面」と判断し、条件式（第１基準値＞目の面積＞第２基準値）を満たす場合には、顔の向きを「横」と判断し、条件式（第２基準値＞目の面積）を満たす場合には、顔の向きを「下」と判断してもよい。警告部６０６は、頭と鼻との相対的な位置関係に基づいて判断してもよい。警告部６０６は、上記所定の動作を、手と顔の相対的な位置関係から判断してもよい。警告部６０６は、まばたきまたはあくびを所定回数以上おこなわれたことをもって、「集中力が低下した」と判断してもよい。
【００３９】
警告部６０６は、条件格納部６００に格納されている音声条件に音声取得部６２０が取得した生徒の音声が合致する場合に、合致した音声条件に対応づけられた警告情報を用いて警告してもよい。たとえば、警告部６０６は、音声取得部６２０が取得した音声が、以下のいずれかの音声条件に合致した場合、合致した音声条件に対応付けられている警告情報を警告してもよい。「無発音状態が所定時間以上継続した」、「所定の発音（ため息、うなりなど）が所定回数以上おこなわれた」、「所定の発音が所定時間以上継続しておこなわれた」。
【００４０】
条件格納部６００は、複数の生徒のそれぞれに対応して異なる書き込み条件を格納してもよい。たとえば、条件格納部６００は、複数の生徒のそれぞれに対応して書き込み情報の書き込み速度が異なる書き込み条件を格納してもよい。また、条件格納部６００は、複数の生徒のそれぞれに対応して書き込み情報の書き込みが停止している時間が異なる書き込み条件を格納してもよい。また、条件格納部６００は、複数の生徒のそれぞれに対応して異なる画像条件を格納してもよい。さらに、条件格納部６００は、複数の生徒のそれぞれに対応して異なる音声条件を格納してもよい。
【００４１】
先生用端末装置１００は、基準速度算出部６１２、現在速度算出部６１４、および差分算出部６１６をさらに備える。基準速度算出部６１２は、履歴取得部６０２が取得した書き込み履歴に基づいて、生徒による書き込みの基準速度を算出する。たとえば、基準速度算出部６１２は、書き込み履歴から単位時間あたりの書き込み量を算出し、算出した単位時間あたりの書き込み量に基づいて、基準速度を算出する。基準速度算出部６１２は、生徒による書き込みの平均速度を基準速度として算出してもよい。また、基準速度算出部６１２は、生徒による書き込み速度のうち最も頻度が高い書き込み速度を基準速度として算出してもよい。
【００４２】
現在速度算出部６１４は、履歴取得部６０２が新たに取得した書き込み履歴に基づいて、生徒による現在の書き込み速度を算出する。差分算出部６１６は、基準速度算出部６１２が算出した基準速度と現在速度算出部６１４が算出した現在の書き込み速度との差分を算出する。警告部６０６は、書き込み速度が低下したことを通知する警告情報に対応づけて予め定められている書き込み条件に、差分算出部６１６が算出した差分が合致する場合に、書き込み速度が低下したことを通知する警告情報を用いて警告してもよい。
【００４３】
警告部６０６は、警告情報に対応づけて予め定められている書き込み条件に、履歴取得部６０２が取得した書き込み履歴が合致し、かつ警告情報に対応づけて予め定められている画像条件に画像取得部６１８が取得した生徒の画像が合致する場合に、合致した書き込み条件および合致した画像条件に対応づけられた警告情報を用いて警告してもよい。
【００４４】
警告部６０６は、警告情報に対応づけて予め定められている書き込み条件に、履歴取得部６０２が取得した書き込み履歴が合致し、かつ警告情報に対応づけて予め定められている音声条件に音声取得部６２０が取得した生徒の音声が合致する場合に、合致した書き込み条件および合致した音声条件に対応づけられた警告情報を用いて警告してもよい。
【００４５】
警告部６０６は、警告情報に対応づけて予め定められている書き込み条件に、履歴取得部６０２が取得した書き込み履歴が合致し、警告情報に対応づけて予め定められている画像条件に画像取得部６１８が取得した生徒の画像が合致し、かつ警告情報に対応づけて予め定められている音声条件に音声取得部６２０が取得した生徒の音声が合致する場合に、合致した書き込み条件、合致した画像条件、および合致した音声条件に対応づけられた警告情報を用いて警告してもよい。
【００４６】
なお、一の仮想クラス２０には複数の先生がログインしてもよい。この場合、学習システム１０は、警告情報を発する先生用端末装置１００を動的に切り替えてもよい。たとえば、一方の先生用端末装置１００が、既に警告情報を発している場合または個別指導中の場合、学習システム１０は、他方の先生用端末装置１００に警告情報を発せさせてもよい。
【００４７】
図７は、条件格納部６００に格納されている条件の一例を示す。図７に示す例では、条件格納部６００には、ユーザＩＤごとに、警告部６０６が警告に用いる警告情報を決定するための、複数の書き込み条件、複数の画像条件、および複数の音声条件が対応付けて格納されている。たとえば、ユーザＩＤ「０００１」の生徒用端末装置１１０から取得した、書き込み履歴が書き込み条件「停止時間：３０秒以上」に合致し、生徒の画像が画像条件「正面以外を向いている」に合致し、生徒の音声が音声条件「無音」に合致する場合、警告部６０６は、条件格納部６００に格納されている複数の警告情報のうち、上記した複数の条件に対応付けられている警告情報「居眠りしています」を取得する。そして、警告部６０６は、取得した警告情報「居眠りしています」を用いて、表示、音声出力などの方法により警告する。
【００４８】
図８は、先生用端末装置１００による処理のフローの一例を示す。図８では、一の生徒用端末装置１１０に対する処理のフローの一例を示す。先生用端末装置１００は、複数の生徒用端末装置１１０に対する複数の以下の処理を、並行または連続しておこなってもよい。
【００４９】
まず、履歴取得部６０２が、生徒による書き込み履歴を取得する（Ｓ８０２）。つぎに、画像取得部６１８が、生徒の画像を取得する（Ｓ８０４）。つぎに、音声取得部６２０が、生徒の音声を取得する（Ｓ８０６）。
【００５０】
つぎに、基準速度算出部６１２が、Ｓ８０２で取得した書き込み履歴に基づいて、生徒による書き込みの基準速度を算出する（Ｓ８０８）。つぎに、現在速度算出部６１４が、Ｓ８０２で新たに取得した書き込み履歴に基づいて、生徒による現在の書き込み速度を算出する（Ｓ８１０）。つぎに、差分算出部６１６が、Ｓ８０８で算出した基準速度とＳ８１０で算出した現在の書き込み速度との差分を算出する（Ｓ８１２）。
【００５１】
つぎに、条件比較部６０４が、Ｓ８１２で算出した差分を、条件格納部６００に格納されている書き込み条件と比較し、Ｓ８０４で取得した生徒の画像を、条件格納部６００に格納されている画像条件と比較し、Ｓ８０６で取得した生徒の音声を、条件格納部６００に格納されている音声条件と比較する（Ｓ８１４）。
【００５２】
そして、Ｓ８１４の比較の結果、書き込み条件に書き込み履歴が合致し、画像条件に生徒の画像が合致し、かつ音声条件に生徒の音声が合致する場合（Ｓ８１６：Ｙｅｓ）、警告部６０６が、合致した書き込み条件、合致した画像条件、および合致した音声条件に対応づけられた警告情報を用いて警告する（Ｓ８１８）。そして、先生用端末装置１００は、処理をＳ８０２へ戻し、Ｓ８０２以降の処理を繰り返しおこなう。
【００５３】
一方、Ｓ８１４の比較の結果、書き込み条件に書き込み履歴が合致しない場合、画像条件に生徒の画像が合致しない場合、または音声条件に生徒の音声が合致しない場合（Ｓ８１６：Ｎｏ）、先生用端末装置１００は、処理をＳ８０２へ戻し、Ｓ８０２以降の処理を繰り返しおこなう。
【００５４】
図９は、警告部６０６による警告の一例を示す。図９に示す画面３００においては、警告部６０６による警告として、生徒の集中力が無いことを示す警告情報が表示されている。また、領域３０６において、警告対象の生徒の画像の周囲の枠部が点滅している。また、領域５１０において、警告対象の生徒の書き込み情報の周囲の枠部が点滅している。
【００５５】
このように、本実施形態の学習システム１０によれば、生徒に理解度、集中度などの情報を入力させることなく、生徒用端末装置１１０から送信された生徒の書き込み履歴に応じた警告情報を用いて、先生用端末装置１００から自動的に警告を発することができる。このため、先生に対して、生徒の学習状態を適確に把握させることができる。また、生徒の画像および音声にさらに応じた警告情報を用いているので、先生に対して、生徒の学習状態をより適確に把握させることができる。
【００５６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００５７】
【図１】実施形態に係る学習システム１０の構成の一例を示す。
【図２】生徒用端末装置１１０の構成の一例を示す。
【図３】先生用端末装置１００の表示部１１２が表示する画面の一例を示す。
【図４】先生用端末装置１００の表示部１１２が表示する画面の他の一例を示す。
【図５】先生用端末装置１００の表示部１１２が表示する画面の他の一例を示す。
【図６】先生用端末装置１００の機能構成の一例を示す。
【図７】条件格納部６００に格納されている条件の一例を示す。
【図８】先生用端末装置１００による処理のフローの一例を示す。
【図９】警告部６０６による警告の一例を示す。
【符号の説明】
【００５８】
１０ 学習システム、２０ 仮想クラス、１００ 先生用端末装置、１１０ 生徒用端末装置、１１２ 表示部、１２０ 事業主用端末装置、１３０ ネットワーク、２００ ネットワークカメラ、２１０ マイク、２２２ 電子ペン、２２４ 電子ペンユニット、２２６ 用紙、２３２ 領域、２３４ 領域、２３６ 領域、２３８ 領域、３００ 画面、３０２ 領域、３０４ 領域、３０６ 領域、３２０ 領域、３３０ 領域、４００ 領域、５００ 領域、５１０ 領域、６００ 条件格納部、６０２ 履歴取得部、６０４ 条件比較部、６０６ 警告部、６０８ 表示部、６１０ 音声出力部、６１２ 基準速度算出部、６１４ 現在速度算出部、６１６ 差分算出部、６１８ 画像取得部、６２０ 音声取得部、６２２ 履歴格納部、６２４ 画像格納部、６２６ 音声格納部、６３０ 受信部
【特許請求の範囲】
【請求項１】
ネットワークに接続されている端末装置のユーザをモニタリングするモニタリングシステムであって、
異なる複数の警告情報に対応づけて、予め定められた複数の書き込み条件を格納している条件格納部と、
前記端末装置に対する前記ユーザによるデータの書き込み履歴を取得する履歴取得部と、
前記条件格納部に格納されている前記書き込み条件に前記書き込み履歴が合致する場合に、前記書き込み履歴が合致する前記書き込み条件に対応づけられた前記警告情報を用いて警告する警告部と
を備えるモニタリングシステム。
【請求項２】
前記条件格納部は、複数の前記ユーザのそれぞれに対応して異なる前記書き込み条件を格納している
請求項１に記載のモニタリングシステム。
【請求項３】
前記端末装置に接続された撮像装置によって撮像された前記ユーザの画像を取得する画像取得部をさらに備え、
前記警告部は、前記警告情報に対応づけて予め定められている画像条件に前記ユーザの前記画像が合致する場合に、前記画像条件に対応づけられた前記警告情報を用いて警告する
請求項１または２に記載のモニタリングシステム。
【請求項４】
前記端末装置に接続された集音装置によって取得された前記ユーザの音声を取得する音声取得部をさらに備え、
前記警告部は、前記警告情報に対応づけて予め定められている音声条件に前記ユーザの前記音声が合致する場合に、前記音声条件に対応づけられた前記警告情報を用いて警告する
請求項１から３のいずれかに記載のモニタリングシステム。
【請求項５】
ネットワークに接続されている端末装置のユーザをモニタリングするモニタリング方法であって、
前記端末装置に対する前記ユーザによるデータの書き込み履歴を取得する履歴取得段階と、
警告情報に対応づけて条件格納部に格納されている書き込み条件に前記書き込み履歴が合致する場合に、前記書き込み履歴が合致する前記書き込み条件に対応づけられた前記警告情報を用いて警告する警告段階と
を備えるモニタリング方法。
【請求項６】
ネットワークに接続されている端末装置のユーザをモニタリングするモニタリングシステム用のプログラムであって、コンピュータを、
前記端末装置に対する前記ユーザによるデータの書き込み履歴を取得する履歴取得部、
警告情報に対応づけて条件格納部に格納されている書き込み条件に前記書き込み履歴が合致する場合に、前記書き込み履歴が合致する前記書き込み条件に対応づけられた前記警告情報を用いて警告する警告部
として機能させるプログラム。
【請求項１】
ネットワークに接続されている端末装置のユーザをモニタリングするモニタリングシステムであって、
異なる複数の警告情報に対応づけて、予め定められた複数の書き込み条件を格納している条件格納部と、
前記端末装置に対する前記ユーザによるデータの書き込み履歴を取得する履歴取得部と、
前記条件格納部に格納されている前記書き込み条件に前記書き込み履歴が合致する場合に、前記書き込み履歴が合致する前記書き込み条件に対応づけられた前記警告情報を用いて警告する警告部と
を備えるモニタリングシステム。
【請求項２】
前記条件格納部は、複数の前記ユーザのそれぞれに対応して異なる前記書き込み条件を格納している
請求項１に記載のモニタリングシステム。
【請求項３】
前記端末装置に接続された撮像装置によって撮像された前記ユーザの画像を取得する画像取得部をさらに備え、
前記警告部は、前記警告情報に対応づけて予め定められている画像条件に前記ユーザの前記画像が合致する場合に、前記画像条件に対応づけられた前記警告情報を用いて警告する
請求項１または２に記載のモニタリングシステム。
【請求項４】
前記端末装置に接続された集音装置によって取得された前記ユーザの音声を取得する音声取得部をさらに備え、
前記警告部は、前記警告情報に対応づけて予め定められている音声条件に前記ユーザの前記音声が合致する場合に、前記音声条件に対応づけられた前記警告情報を用いて警告する
請求項１から３のいずれかに記載のモニタリングシステム。
【請求項５】
ネットワークに接続されている端末装置のユーザをモニタリングするモニタリング方法であって、
前記端末装置に対する前記ユーザによるデータの書き込み履歴を取得する履歴取得段階と、
警告情報に対応づけて条件格納部に格納されている書き込み条件に前記書き込み履歴が合致する場合に、前記書き込み履歴が合致する前記書き込み条件に対応づけられた前記警告情報を用いて警告する警告段階と
を備えるモニタリング方法。
【請求項６】
ネットワークに接続されている端末装置のユーザをモニタリングするモニタリングシステム用のプログラムであって、コンピュータを、
前記端末装置に対する前記ユーザによるデータの書き込み履歴を取得する履歴取得部、
警告情報に対応づけて条件格納部に格納されている書き込み条件に前記書き込み履歴が合致する場合に、前記書き込み履歴が合致する前記書き込み条件に対応づけられた前記警告情報を用いて警告する警告部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２０４９２６（Ｐ２０１０−２０４９２６Ａ）
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願番号】特願２００９−４９３８０（Ｐ２００９−４９３８０）
【出願日】平成２１年３月３日（２００９．３．３）
【出願人】（５０１２７５１７８）ソフトバンクＢＢ株式会社 (112)
【Ｆターム（参考）】
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願日】平成２１年３月３日（２００９．３．３）
【出願人】（５０１２７５１７８）ソフトバンクＢＢ株式会社 (112)
【Ｆターム（参考）】
[ Back to top ]