学習システム、記憶媒体及び学習方法
【課題】 操作性のよい学習システムを提供する。
【解決手段】
講師側の機器と生徒側の機器との間で講義を行う学習システムである。講師側の機器は、３次元で描写される仮想空間を描画する仮想現実技術を用いた講師用ソフトウェアを備える。生徒側の機器は、前記仮想現実技術を用いた生徒用ソフトウェアを備える。また、前記講師側の機器と生徒側の機器との間で、前記仮想空間を描画するための講義の信号を送受信するネットワーク手段とを備える。また、講義資料のデータを仮想空間内の空間スクリーンに描画する。講師が前記講義資料のスライドを更新したとき又は所定時間経過後に、前記講師のアバターの背後に別の空間スクリーンを作成して並べる。
【解決手段】
講師側の機器と生徒側の機器との間で講義を行う学習システムである。講師側の機器は、３次元で描写される仮想空間を描画する仮想現実技術を用いた講師用ソフトウェアを備える。生徒側の機器は、前記仮想現実技術を用いた生徒用ソフトウェアを備える。また、前記講師側の機器と生徒側の機器との間で、前記仮想空間を描画するための講義の信号を送受信するネットワーク手段とを備える。また、講義資料のデータを仮想空間内の空間スクリーンに描画する。講師が前記講義資料のスライドを更新したとき又は所定時間経過後に、前記講師のアバターの背後に別の空間スクリーンを作成して並べる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習システム、記憶媒体及び学習方法、特に仮想現実（ＶＲ、バーチャル・リアリティ）技術を用いた学習システム、記憶媒体及び学習方法に関する。
【背景技術】
【０００２】
近年、コンピュータとネットワーク技術の発展により、ＰＣ（パーソナル・コンピュータ）等の端末と専用回線やインターネット網等のネットワークを用いて、遠隔地において授業を受けるｅラーニングシステム（ｅ−ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍ）が開発されてきている。
【０００３】
このｅラーニングシステムには、予め録画された講義のファイルをビデオ・オン・デマンドのようにダウンロード又はストリーミングで視聴するタイプと、リアルタイムの講義をストリーミング視聴するタイプのシステムがある。
本明細書においては、前者の録画された授業を視聴するｅラーニングシステムを非同期型といい、後者のリアルタイムの講義をストリーミング視聴をするものを同期型という。
【０００４】
非同期型のｅラーニングシステムにおいては、講義の資料については、事前に（紙）媒体で配布するか、ＨＴＭＬ・ＰＤＦ・パワーポイント（登録商標）形式の資料をダウンロードし、それを印刷又は同一画面上で生徒（学生）自らが操作して参照しながら講義を受ける。
そして、生徒が講義を視聴した後で、課題やレポート等を講師に対してｅ−ｍａｉｌ等で送信するシステムになっていることが多い。
これにより、郵送で課題やレポートの提出を行わなくて済む利便性はあるものの、授業を受ける仕組みとしては、従来の通信教育に近い。
【０００５】
これに対して、同期型のｅラーニングシステムにおいては、生徒が講義のストリーミング放送を視聴するＰＣの同じ画面上に、講義の進行に応じてパワーポイントの各スライドが自動的に切り替わって表示されるようなものが存在する。
【０００６】
しかしながら、通常、同期型のｅラーニングシステムにおいては、講義の資料を生徒が手元に置いておくためには、（１）非同期型のｅラーニングシステムと同様に講義開始前に紙媒体又はダウンロードして入手するか、（２）ストリーミング視聴中に生徒が画面キャプチャ又は写真に撮るか、（３）講義終了後に紙媒体又はダウンロードしてファイルを入手するか、の方法しかない。
生徒が、講義時にメモを取ったり浮かんだ発想を書き留めたりする為には、（１）の方法を用いて紙媒体の資料に書き込むしかない。
紙媒体の資料は事前に配布を受けるものであるから、講師がリアルタイムに又は即興的に作成（引用）呈示してストリーミング放送された資料に対しては、講義時にメモを取ったり浮かんだ発想を書き留めたりするのが難しいという問題がある。
【０００７】
ここで、特許文献１を参照すると、テレビ会議システムにおいて、リアルタイムに注釈付けを行うことができるインタラクティブ環境で情報を交換する方法が提示されている（以下、従来技術１とする）。
従来技術１の方法においては、ストリーミング放送をドラッグ＆ドロップすることで、他のあるＰＣから他のＰＣやプロジェクタ等の物理的装置に簡単に表示することができるＧＵＩ（グラフィカル・ユーザー・インターフェイス）を備えている。
また、従来技術１の方法においては、ストリーミング放送（例えば、グラフ等のプレゼンテーション資料に書き込んだ映像）を別の装置に同時に表示されるようにし、この別の装置で注釈をつけた映像を、他のテレビ会議の参加者と共有することが可能である。
【特許文献１】特開２００５−５１７７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、従来技術１においては、同期型のｅラーニングシステムに適用すると、講師がストリーミング放送においてマウスを用いて映像に注釈することはできるものの、平面である同一画面上で複数のウィンドウを表示して操作するのは大変であり、操作性が悪いという問題があった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、上述の問題を解消することを課題とする。
【課題を解決するための手段】
【００１０】
本発明の学習システムは、講師側の機器と生徒側の機器との間で講義を行う学習システムであって、３次元で描写される仮想空間を描画する仮想現実技術を用いた講師用ソフトウェアを含む前記講師側の機器と、前記仮想現実技術を用いた生徒用ソフトウェアを含む前記生徒側の機器と、前記講師側の機器と生徒側の機器との間で、前記仮想空間を描画するための講義の信号を送受信するネットワーク手段とを備えることを特徴とする。
本発明の学習システムは、前記講師側の機器は、前記仮想空間のためのコントロール信号を入力するための第１入力手段と、前記講義で用いられる講義資料のデータを保存する記憶手段と、前記仮想空間に、前記コントロール信号により講師用ソフトウェアのコマンドを選択するためのインターフェイスである第１アバターと、講義資料を描画するポリゴンである空間スクリーンとをレンダリングする第１レンダリング手段と、前記コントロール信号により前記講師用ソフトウェアにて前記第１アバターと前記空間スクリーンの空間位置を移動し、前記コマンドを実行する第１制御手段とを備えることを特徴とする。
本発明の学習システムは、前記生徒側の機器は、前記仮想空間のためのコントロール信号を入力するための第２入力手段と、前記仮想空間に、前記コントロール信号によりは生徒用ソフトウェアのコマンドを選択するためのインターフェイスである第２アバターと、講義資料を描画するポリゴンである空間スクリーンとをレンダリングする第２レンダリング手段と、前記コントロール信号により前記生徒用ソフトウェアにて前記第２アバターと前記空間スクリーンの空間位置を移動し、前記コマンドを実行する第２制御手段とを備えることを特徴とする。
本発明の学習システムは、前記講師側の機器又は前記生徒側の機器は、前記第１レンダリング手段により描画された仮想空間を表示するための第１表示手段又は前記第２レンダリング手段により描画された仮想空間を表示するための第２表示手段を備え、前記第１入力手段又は前記第２入力手段は、フォースフィードバックデバイス、グローブデバイス、又はジョイパッドを備えることを特徴とする。
本発明の学習システムは、前記空間スクリーンは、前記第１入力手段又は前記第２入力手段の前記グローブデバイス及び／又はジョイパッドのコントロール信号を元に空間位置を移動する空間スクリーンであることを特徴とする。
本発明の学習システムは、前記空間スクリーンは、前記入力手段からのコントロール信号により作成する空間スクリーンであることを特徴とする。
本発明の学習システムは、前記講師側の機器は、映像入力手段を更に備えることを特徴とする。
本発明の学習システムは、前記空間スクリーンは、前記映像入力手段により入力されたリアルタイムに又は即興的に作成又は引用された資料を講義資料として描画することを特徴とする。
本発明の学習システムは、前記空間スクリーンは、前記アバターの背後にサムネイル表示する空間スクリーンであることを特徴とする。
本発明の学習システムは、前記サムネイル表示する空間スクリーンは、前記講義において描画された講義資料のスライドが更新される際に更新される前のスライドを描画して作成する空間スクリーンであることを特徴とする。
本発明の学習システムは、前記講師側の機器は、時間を計測するタイマー手段を更に備え、前記サムネイル表示する空間スクリーンは、前記リアルタイムに又は即興的に作成又は引用された資料が描画された空間スクリーンから、前記タイマー手段で計測した所定の時間に画面ショットを描画して作成する空間スクリーンであることを特徴とする。
本発明の学習システムは、前記空間レンダリング手段は、前記サムネイル表示された前記空間スクリーンがアバターの背後に多くなった場合にスクロールするレンダリング手段であることを特徴とする。
本発明の学習システムは、前記生徒側の機器、又は前記講師側の機器の制御手段は、前記仮想空間で前記サムネイル表示された前記空間スクリーンが前記コントロール信号により移動した際に、何も描画されていない前記空間スクリーンに重なったことを検知して、前記サムネイル表示された前記空間スクリーンの描画内容を前記記憶手段に保存するコマンドを実行する制御手段であることを特徴とする。
本発明の学習システムは、前記第１制御手段又は第２制御手段は、前記空間スクリーンに前記入力手段からのコントロール信号により、文字又は画像を文字入力又は描画して記憶手段に記憶する制御手段であることを特徴とする。
本発明の学習システムは、前記第１制御手段又は第２制御手段は、更に文字又は画像を描画した前記空間スクリーンを、別の前記空間スクリーンと関連づけする制御手段であることを特徴とする。
本発明の学習システムは、前記第１制御手段又は第２制御手段は、更に文字又は画像を前記グローブデバイスからのコントロール信号により文字入力又は描画する制御手段であることを特徴とする。
本発明の学習システムは、文字又は画像を描画した前記空間スクリーンは、更に前記文字又は画像を描画した時間を記憶手段に記憶していることを特徴とする。
本発明の学習システムは、前記ネットワーク手段は、前記仮想空間の描画に関する情報を含むＶＲ空間動作データを含む前記講義の信号を送信することを特徴とする。
本発明の学習システムは、前記第１制御手段又は第２制御手段は、更に音声入力手段を備え、該音声入力手段から入力した音声信号を基にコントロール信号として用いる制御手段であることを特徴とする。
本発明の学習システムは、講義資料を記憶して、前記講師側の機器からの信号により前記生徒側の機器に前記ネットワーク手段を介して講義資料を送信するサーバを更に含むことを特徴とする。
本発明の学習システムは、前記サーバは更に複数の拠点に設置され、前記サーバ間で前記講義の信号を送受信するサーバであることを特徴とする。
本発明の学習システムは、前記第１表示手段は第１ＨＭＤであり、前記第２表示手段は第２ＨＭＤであることを特徴とする。
本発明の記憶媒体は、講師用ソフトウェア及び／又は生徒用ソフトウェアが記憶されていることを特徴とする。
本発明の学習方法は、仮想現実技術を用いて講師側の機器と生徒側の機器との間で講義を行う学習システムにおいて、講師のアバター又は画像データを表示し、講義資料のデータを仮想空間内の空間スクリーンに描画し、講師が前記講義資料のスライドを更新したとき又は所定時間経過後に、前記講師のアバター又は画像データの背後に別の空間スクリーンを作成して並べ、前記別の空間スクリーンに、更新前の前記スライドを描画し、前記別の空間スクリーンが多くなった際に、スクロールすることを特徴とする。
本発明の学習方法は、前記スライドが描画された空間スクリーンが、何も描画されていない別の空間スクリーンと空間位置が重なった際に、描画内容を記憶手段に保存することを特徴とする。
本発明の学習方法は、前記スライドが描画された空間スクリーンに、入力手段からのコントロール信号により文字又は画像の描画をすることを特徴とする。
本発明の学習方法は、前記講義資料と講師の音声とＶＲ空間動作データとを再生データとして講師用機器又はサーバに保存し、前記再生データを講義で再生して、生徒側の機器に送信し、講師が講義インタラクションを行うと、前記再生データと入れ替えて生徒側の機器に送信することを特徴とする。
本発明の学習方法は、前記生徒側の機器は、前記第１アバターが正面近くに表示するようにビューポイントを調整してレンダリングすることを特徴とする。
本発明の学習方法は、前記講師のアバターを複数表示し、講師の指示を検知して、前記複数のアバターを切り替えて、該切り替えたアバターを用いて講義インタラクション処理を行うことを特徴とする。
本発明の学習方法は、前記講師側の機器又は複数の前記生徒側の機器との間で、音声チャットを行い、前記音声チャットの音声を音声認識して前記空間スクリーンに描画することを特徴とする。
本発明の学習方法は、前記空間スクリーンは、前記講師側の機器又は複数の前記生徒側の機器との間で共用し、前記講師側の機器又は又は複数の前記生徒側の機器から、共用した前記空間スクリーンに文字又は画像の描画をすることを特徴とする。
本発明の学習方法は、前記空間スクリーンに表示する文字は、前記講師側の機器又は前記生徒側の機器で入力された音声又は手書き文字の特徴を基にして描画することを特徴とする。
本発明の学習方法は、前記講師の音声とＶＲ空間動作データとを前記サーバに記憶し、前記生徒側の機器は、前記サーバに記憶された前記再生データを早送り再生することを特徴とする。
本発明の学習方法は、前記講義資料の空間スクリーンにＵＲＬの属性を記憶し、前記生徒側の機器により前記ＵＲＬを記憶した前記講義資料の空間スクリーンにアクセスすると、前記ＵＲＬのファイルを該空間スクリーンに表示することを特徴とする。
本発明の学習方法は、前記空間スクリーンの描画座標及び関連づけを記憶し、復習時に前記空間スクリーンを前記記憶された描画座標及び関連づけで描画することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ＶＲ（バーチャル・リアリティ）技術を用いることで、操作性のよい学習システムを提供することができる。
【発明を実施するための最良の形態】
【００１２】
＜実施の形態＞
〔学習システムＸの構成構成〕
まず、図１を参照して、本発明の実施の形態に係る学習システムＸの構成の概要について説明する。
学習システムＸは、ＶＲ（バーチャル・リアリティ）技術を導入したｅラーニングシステムである。ＶＲとは、３次元ＣＧ（コンピュータ・グラフィックス）により仮想空間を作成し、更に聴覚、触覚・体性感覚、嗅覚、味覚等の組み合わせにより、人工的な現実感を作り出す技術のことをいう。ＶＲにおいては、ＨＭＤ（ヘッド・マウント・ディスプレイ；表示手段）やフォース・フィードバック等の技術を用いてユーザの行動を仮想空間内での各種オブジェクトの動作に反映させることができる。
さらにＶＲにおいては、３次元空間内の位置・座標を入力するためのデバイスを用いることが多い。このデバイスとしては、グローブデバイス、データグローブ、３次元グローブ、又はサイバーグローブ（登録商標）と呼ばれるような手を包み込むように装備するデバイスを用いると、３次元空間内のオブジェクト（数値データ化された物体）の動作を視覚的・感覚的にコントロールするための信号を入力できるため、好適である。
【００１３】
ここで、学習システムＸは、講義用の資料のファイルや映像データをＨＤＤ等の補助記憶装置に記憶したＰＣ／ＡＴ互換機等のＰＣ（パーソナル・コンピュータ）やサーバ等であるサーバ１００と、各種カメラが接続されており講師が使用する講師用機器２００（講師側の機器）と、生徒が使用して講義を視聴する生徒用機器３００−１〜３００−ｎ（生徒側の機器）とが、イーサネット（登録商標）や無線ＬＡＮ（ローカル・エリア・ネットワーク）等の構内ＬＡＮであるネットワーク５（ネットワーク手段）に接続されている。このネットワーク５は、インターネットやＡＴＭ回線等の専用回線に接続されており、外部の拠点にあるサーバやウェブカメラ等と接続することができる。
なお、本発明の実施の形態においては、学習システムＸにおける発信側、すなわち講師用機器２００を始めとする講師側を「ローカル」という。同様に、学習システムＸにおける受信側、すなわち生徒用機器３００−１を始めとする生徒側を「リモート」という。
【００１４】
講師用機器２００や生徒用機器３００−１〜３００−ｎには、頭部に搭載するディスプレイで画面が空中に浮かんでいるように表示されるＨＭＤが接続されており、また、手を包むように装備して指の位置や動きを電気信号に変換する入力装置であるグローブデバイス（サイバーグローブ）が接続されている。このグローブデバイス、ジョイパッド、キーボードやマウス等からの入力信号により、仮想空間内での講師又は生徒の化身として描画されるＣＧで描かれた人体キャラクタや手のキャラクタである「アバター」の動作をコントロールすることができる。
さらに、講師用機器２００や生徒用機器３００−１〜３００−ｎには、仮想空間内での各種のコマンド実行を簡易的に行うためのジョイパッド等を備えている。なお、後述するように、このコマンド実行はジョイパッド、又はキーボードやマウス等の補助入力部を用いて行うことも可能である。
以下で、制御ブロック図を参照して、講師用機器２００と、生徒用機器の１例である生徒用機器３００−１の構成について、さらに詳細に説明する。
【００１５】
〔制御構成〕
図２を参照すると、講師用機器２００は、生徒のＰＣの接続等を監視することができるインターフェイス及びソフトウェアである生徒管理部１０と、上下左右ズーム等の操作が可能であるｗｅｂカメラやＵＳＢカメラ等である講師使用カメラ１５と、仮想空間内に描画される教室で用いる教室用カメラ１６と、講師を外部から撮影するための講師撮影用カメラ１７と、講師がリアルタイムに又は即興的に作成（引用）呈示する資料を撮影するための書画カメラ１８と、これらの映像を入力するキャプチャデバイスやＵＳＢ端子等と、講義資料やデータ等を記憶する一般的なＨＤＤやフラッシュメモリやＲＯＭ等の補助記憶装置（記憶手段）・ＲＡＭ等の主記憶装置・Ｉ／Ｏを制御するチップセット・ビデオカード（レンダリング手段）・ＣＰＵ等の制御装置（制御手段）・バッテリバックアップ時計であるタイマー（タイマー手段）を含むＰＣ２０と、講師が装着して仮想空間の映像を表示するＨＭＤであるＨＭＤ３０（第１表示手段，第１ＨＭＤ）と、外部液晶ディスプレイ・フロントプロジェクタ・ＰＤＰパネル等である表示部４０（第１表示手段）と、ビデオカードからの映像信号を表示部４０とＨＭＤ３０とに切り換える切換器部４５と、講師が装着して後述する手のアバターをコントロールするグローブデバイス５０と、複数のボタンとアナログスティック等を備えた汎用の（ビデオゲーム用）入力装置であるＵＳＢ接続のジョイパッド６０と、キーボードやマウスやタッチパッド等のＰＣ用の一般的な入力機器と電磁タブレットやタッチパネル等の筆記用の入力機器を含む補助入力部７０とを備えて、さらにネットワーク５に接続している。
また、上述のグローブデバイス５０と、ジョイパッド６０と、補助入力部７０とは、適宜、入力手段として用いることができる。
また、講師使用カメラ１５と、教室用カメラ１６と、講師撮影用カメラ１７と、書画カメラ１８とは、適宜、映像入力手段として用いることができる。
【００１６】
さらに詳しく説明すると、生徒管理部１０は、生徒側のＰＣの状態や生徒の出欠を知ることができるハードウェア又はソフトウェアであれば何でもよく、例えばネットワーク上で生徒の出欠の管理ができる株式会社コンピュータ・ウィング製のＷｉｎｇｎｅｔ等を使用することができる。この場合は、生徒管理部１０は特別なケーブル等で生徒側のＰＣに接続するのではなく、ネットワーク５を用いて接続する。また、講師用機器２００においては、この生徒管理部１０からの信号を受信するだけでなく、生徒管理部１０に信号を発信して、生徒用機器３００−１〜３００−ｎのいずれかの電源をマジックパケット等を用いてオンにし、自動的に講義受信開始の状態にすることもできる。
ＰＣ２０では、仮想空間を構築することができ、仮想空間でのアバターのコントロールを行うことができ、後述する空間スクリーンを複数もつことができる、仮想空間を用いたｅラーニングシステムを実現する講師用の仮想空間学習ソフトウェア（講師用ソフトウェア）を補助記憶装置に記憶している。ＰＣ２０の制御装置は、この講師用の仮想空間学習ソフトウェアを主記憶装置にロードして実行している。さらに、ＰＣ２０は、生徒管理部１０とネットワーク５を介して生徒用機器３００−１〜３００−ｎの状態を把握することができる、講義管理ソフトウェアも補助記憶装置に記憶しており、制御装置が講義開始時に主記憶装置にロードして実行する。
なお、生徒管理部１０がソフトウェアの場合は、ＰＣ２０に内蔵する構成にすることも可能である。この場合は、講義管理ソフトウェアと統合して運用することができる。
【００１７】
ＨＭＤ３０は、左右の眼用にポリシリコン液晶・ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）・有機ＥＬ等の超小型ディスプレイとプリズムやレンズ等の光学部品とを備えて更にその駆動回路を備えるＨＭＤ本体部３２と、装着者の頭の３次元空間上の位置や視線等をトラッキング可能なジャイロセンサ３４と、いわゆるヘッドセット等であるマイクとヘッドフォンやニア・フィールドスピーカー等であるヘッドフォンマイク３６とを備える。
なお、ジャイロセンサ３４は、同様の機能を備えた磁気センサを用いることができる。さらに、レーザージャイロ、電場センサ、赤外線等で位置をトラッキングする装置、カメラ等を用いて画像認識で位置を捉える装置等、３次元空間上の位置や視線等を検知する各種の技術を用いることができる。
また、ＨＭＤ３０に電極等を備え、脳波や脳磁場の特徴を統計的手法等により検知する装置により、ジャイロセンサ３４と同等の機能を実現することもできる（たとえば、「ｈｔｔｐ：／／ｗｗｗ．ｐｎａｓ．ｏｒｇ／ｃｇｉ／ｃｏｎｔｅｎｔ／ａｂｓｔｒａｃｔ／１０１／５１／１７８４９」のような技術を用いることができる）。
【００１８】
また、ＨＭＤ３０用にはビデオカードにて両目間の視差を計算した左眼用と右眼用の映像信号が別々に送信されており、これをＨＭＤ本体部３２の左眼用ディスプレイと右眼用ディスプレイが描画する。
この左右の眼用の別々の映像は、切換器部４５で切り換えて表示部４０が表示する際には、視差バリアタイプの３Ｄ液晶や、偏光により眼鏡をかけると左右の眼毎に別の表示を見ることができるプロジェクタ等に接続することができる。また、表示部４０では、左右の眼用の映像の一方を１つのディスプレイで表示することもできる。これら、ＨＭＤ３０と表示部４０とは第１表示手段である。
【００１９】
グローブデバイス５０は、圧力センサや接触センサ等であって装着者の指の位置や動きを電気信号に変換するグローブ本体部５２と、グローブデバイス５０の３次元空間上の座標をトラッキング可能な磁気センサ５４とを備える。
なお、グローブデバイスの磁気センサ５４についても、ジャイロセンサ３４と同様に、ジャイロセンサ、レーザージャイロ、赤外線トラッキング装置、画像認識による位置認識装置等、３次元空間上の位置を検知する各種の技術を用いることができる。また、脳波と連動する指の微弱な電流等を検知する装置（たとえば、「ＭｉｎｄＤｒｉｖｅ」等）により、磁気センサ５４と同等な機能を実現することも可能である。
また、ジョイパッド６０はフォースフィードバックデバイス（フォースフィードバック部）のような、ＶＲ空間をなぞると計算された質感を返すような機器であってもよい。
【００２０】
なお、講師用機器２００と生徒用機器３００−１〜３００−ｎにおいては、グローブデバイス５０を用いない構成も可能である。この場合は、仮想空間上の手のアバターは、ジョイパッド６０のアナログスティック等からの信号によりコントロールすることが可能である。
また、講師用機器２００における各種カメラである、講師使用カメラ１５と、教室用カメラ１６と、講師撮影用カメラ１７と、書画カメラ１８とは、サーバ１００に装備することも、ネットワークカメラのように直接ネットワーク５に接続するような構成とすることも可能である。この場合でも、上下左右パンやズーム等のコントロールは講師用機器２００から行うことが可能であることが望ましい。
【００２１】
次に、図３を参照すると、生徒用機器３００−１の、生徒管理部１０は生徒管理部１１と、ＨＭＤ３１（第２表示手段，第２ＨＭＤ）はＨＭＤ３０と、ＨＭＤ本体部３３はＨＭＤ本体部３２と、ジャイロセンサ３５はジャイロセンサ３４と、ヘッドフォンマイク３７はヘッドフォンマイク３６と、表示部４１（第２表示手段）は表示部４０と、切換器部４６は切換器部４５と、グローブデバイス５１はグローブデバイス５０と、グローブ本体部５３はグローブ本体部５２と、磁気センサ５５は磁気センサ５４と、ジョイパッド６１はジョイパッド６０と、補助入力部７１は補助入力部７０と同等の構成要素である。また、ＨＭＤ３１と表示部４１は第２表示手段である。
【００２２】
生徒用機器３００−１においては、講師用機器２００から各種カメラである、講師使用カメラ１５と、教室用カメラ１６と、講師撮影用カメラ１７と、書画カメラ１８が除かれている点が異なっている。
また、生徒管理部１０と同等の生徒管理部１１への信号を受信することができるだけである点も異なっている。
加えて、ＰＣ２１は、ＰＣ／ＡＴ互換機等のＰＣやＭＡＣ規格等のＰＣであるが、ノートＰＣ等のコンパクトなＰＣであることが望ましい。さらに、ＰＣ２１に関しては、ハッキング等を防ぐために、後述する生徒用の仮想空間学習ソフトウェアのみをインストールするような、シンクライアント（ｔｈｉｎ ｃｌｉｅｎｔ）システムを用いることもできる。
また、ノートＰＣの外部画像出力は１画面分だけであることが多いので、ＰＣ２１は、２画面出力可能で３次元描画能力が高い例えばＰＣカード（ＣａｒｄＢｕｓ）接続のビデオカードを別途装備することが望ましい。
【００２３】
また、ＰＣ２１は講師用機器２００のＰＣ２０と異なり、生徒用の仮想空間学習ソフトウェア（生徒用ソフトウェア）が補助記憶装置に記憶されており、制御装置が主記憶装置にロードして実行している。
なお、生徒用の仮想空間学習ソフトウェアも、後述する空間スクリーンを複数もつことができる。
生徒用機器３００−１の他の構成要素は、講師用機器２００と同一である。また、同一の符号を付けられた構成要素は同一の機器であることを示す。また、生徒用機器３００−２〜３００−ｎは、生徒用機器３００−１と同一の構成をもつ。
なお、以下の仮想空間を用いた処理の説明では、生徒用機器３００−１を生徒用機器の代表として説明する。
【００２４】
〔講義の開始処理〕
次に図４〜図５を用いて、本発明の実施の形態に係る学習システムＸにおける、実際に講義を行う際の処理の流れと、主に講師側（ローカル）からの講義の開始処理について説明する。
【００２５】
（タイミングＴ１０１）
まずは、図４のタイミングチャートを参照して説明する。
タイミングＴ１０１において、講義の開始時に講師用と生徒用のＰＣがそれぞれ起動されて準備が完了した後、生徒側（リモート）である生徒用機器３００−１の制御部は、講師側（ローカル）側である講師用機器２００に対して、生徒管理部１０を用いて講義参加要求の信号を送信する。
この講義参加要求の信号に関しては、生徒用の仮想空間学習ソフトウェアを起動した後、生徒がアカウント名や指紋認証等を行った信号を用いて、ＰＣ２１の制御部がネットワーク５を介して行う。
【００２６】
（タイミングＴ１０２）
タイミングＴ１０２において、講義参加要求の信号を受信する講師用機器２００では、ＰＣ２０の補助記憶装置に生徒のデータベースが記憶されている。
ＰＣ２０の制御部は、このデータベースを基にして、講義管理用ソフトウェアのユーザー認証機能を用いて生徒用機器３００−１との間でユーザ認証を行う。
このユーザ認証が終了すると、講師用機器２００のＰＣ２０の制御部は、サーバ１００のアクセスキーを送信する。
【００２７】
（タイミングＴ１０３）
タイミングＴ１０３において、生徒用機器３００−１のＰＣ２１の制御部が、サーバ１００にこのアクセスキーを用いてアクセスして、講義中の仮想空間内で用いられるアバターのモデリングデータや動作用のマクロ（規則）等と、講義資料のパワーポイント用ファイル等である講義準備用ファイルをダウンロードする。
なお、講義資料のファイルやアバターのデータは、サーバではなく講師用機器２００の補助記憶装置から直接ダウンロードするように構成してもよい。この場合は、サーバ１００はなくてもよいが、同一のファイルを記憶しているミラーとして用いることもできる。
さらに、講義資料に関しては、ユーザ認証をサーバ１００で行い、サーバ１００に対して直接送信するように要求することも可能である。この場合は、サーバ１００により生徒管理部１０に対して送信された信号を用いて、講師用機器２００の講義管理用ソフトウェアが各生徒のダウンロードの状態を把握できるようにすることが望ましい。
また、上述の講義準備用ファイルには、生徒用の仮想空間学習ソフトウェアそのものが含まれていて、ダウンロード後にＰＣ２１の制御部が自動的にアップデートするようにしてもよい。この構成では、生徒が各自で生徒用の仮想空間学習ソフトウェアをアップデートしてバージョンの差で不具合が生じる可能性を防ぐことができる。
【００２８】
（タイミングＴ１０４）
タイミングＴ１０４において、生徒用機器３００−１のＰＣ２１の制御部は、上述のデータのダウンロードが終了した場合、生徒用仮想空間学習ソフトウェアにより、ネットワーク５を介して講義参加準備完了信号を送信する。
【００２９】
（タイミングＴ１０５）
タイミングＴ１０５において、講師用機器２００のＰＣ２０は講義参加準備完了信号を受信し、ＰＣ２０の制御部が講義管理用ソフトウェアに反映させる。
ここで、すべての生徒の講義参加準備完了信号を確認した講師は、講義開始の指示をＰＣ２０に対して行う。
この指示を受信すると、ＰＣ２０の制御部は、講義開始の処理を始める。これにより、仮想空間学習ソフトウェアの各種処理をスタートすることができる。
【００３０】
次に、図５のフローチャートを参照して、図４の（１）の処理である、Ｔ１０５の講義開始処理の具体的な内容について、さらに詳しく説明する。
この講義開始処理は、主に講師用機器２００のＰＣ２０の講義管理用ソフトウェアにより、ＰＣ２０の制御部が実行する。
【００３１】
（ステップＳ１０１）
まず、ステップＳ１０１において、ＰＣ２０の制御部は、音声録音用のＰＣ２０のマイク入力が正常に起動するかのテスト等を行い、ヘッドフォンマイク３６のマイクからの音声信号をデジタル信号に変換して、ＭＰ３、ＡＡＣやＷＡＶ形式等の音声データで記憶する音声録音処理を開始する。この際に、この音声データは、講義管理用ソフトウェアが録音用ソフトウェアを作動させてＰＣ２０の補助記憶装置に記憶する。
なお、以下のステップにおいて、ＰＣ２０の補助記憶装置に録音・録画されるデータは、すべてサーバ１００の補助記憶装置にもミラーリングにより記憶して、後で用いることができる。また、上述したように、サーバ１００に直接音声データや映像データとして記憶する
【００３２】
（ステップＳ１０２）
次に、ステップＳ１０２において、ＰＣ２０の制御部は、各種カメラである、講師使用カメラ１５と、教室用カメラ１６と、講師撮影用カメラ１７と、書画カメラ１８からの録画を受信して、これを録画するビデオ保存処理を開始する。具体的には、ＰＣ２０の制御部又はキャプチャデバイスは、カメラからの映像信号をＭＰＥＧ２やＭＰＥＧ４等の映像データに変換し、ＰＣ２０の補助記憶装置に記憶する。
なお、これらのカメラに音声入力があった場合は、映像データと同時に音声データも録音することができる。
【００３３】
（ステップＳ１０３）
次に、ステップＳ１０３において、ＰＣ２０の制御部は、講師用機器２００にて講師が仮想空間内でアバターの操作を行った際に、アバターや空間スクリーンの３次元空間の位置座標内での移動や動作のコマンド等の履歴であるＶＲ空間動作データをそのまま記憶するＶＲ空間動作履歴保存処理を開始する。
このＶＲ空間動作履歴保存処理により保存されたＶＲ空間動作データにより、後に生徒が講義を視聴した際に、他のデータと連動して講師のアバターの動作やスライド等の仮想空間内での動きなどを、そのまま再現することが可能である。
【００３４】
（ステップＳ１０４）
次に、ステップＳ１０４において、ＰＣ２０の制御部は、講師用仮想空間学習ソフトウェアをスタートする。
講師用仮想空間学習ソフトウェアは、この段階では、実際の講義のデータを送信するための各種の初期化処理を行う。このデータとしては、音声データ、映像データ、ＶＲ空間動作データ等の、実際の講義中に用いられるデータをまとめて、講師用と生徒用の仮想空間学習ソフトウェアが用いる独自形式のデータとして送信することができる。
【００３５】
また、この仮想空間学習ソフトウェアが用いるデータとしては、独自形式のデータとは別に、映像と音声のストリーミング放送を別々に送信することも可能である。この場合は、高速なネットワークやＱｏＳ等を用いて、ネットワークの帯域を十分に確保することが望ましい。
以上で、講師用機器２００における講義開始処理を終了する。
【００３６】
（タイミングＴ１０６）
ここで、図４に戻って説明を続ける。
上述のように、ＰＣ２０の制御部は、講師用仮想空間学習ソフトウェアをスタートさせているので、上述の独自形式のデータをストリーミング送信にて、ネットワーク５を介して生徒用機器３００−１に音声・ビデオ送信処理を開始する。
【００３７】
（タイミングＴ１０７）
タイミングＴ１０７において、上述の音声・ビデオ送信処理が行われると、生徒用機器３００−１のＰＣ２１の制御部は、生徒用の仮想空間学習ソフトウェアにより、上述のストリーミング送信された独自形式のデータを検知して講義の受信を開始する。ここで、生徒用の仮想空間学習ソフトウェアも開始する。
これにより、実際の講義が開始される。
【００３８】
（タイミングＴ１０８とタイミングＴ１０９）
次に、講義が開始されると、講師用機器２００と生徒用機器３００−１との間で、講師用と生徒用のそれぞれの仮想空間学習ソフトウェアを用いて、図４の（２）の処理が行われる。
タイミングＴ１０８においては、講師用機器２００では、講師用の仮想空間学習ソフトウェアを用いて、ＰＣ２０の制御部が講義インタラクションの処理を行う。
タイミングＴ１０９においては、生徒用機器３００−１では、生徒用の仮想空間学習ソフトウェアを用いて、ＰＣ２１の制御部が講義インタラクションの処理を行う。
【００３９】
〔仮想空間学習ソフトウェアの描画処理〕
ここで、図６〜図８を参照して、実際の講義中に、講師用と生徒用の仮想空間学習ソフトウェアにおいて、実際の講師又は生徒の講義インタラクションで用いられる、仮想空間における描画の説明を行う。
【００４０】
図６は講師側（ローカル）のＨＭＤに表示される、ＰＣ２０の講師用の仮想空間学習ソフトウェアにて作成する画面の１例であり、ＰＣ２０の制御部がビデオカードにレンダリングした３次元ＣＧの映像から、左右のうち１方の映像の画面ショットを取得したものである。３次元ＣＧの描画に関しては、仮想空間学習ソフトウェアがＯｐｅｎＧＬやＤｉｒｅｃｔＸといった、描画用のＡＰＩ（アプリケーション・プログラミング・インターフェイス）を用いて実現している。なお、レンダリングとは、ポリゴン（多角形）で表現されたオブジェクトの数値データを計算によって画像化することをいう。
図６においては、バックグラウンド中に多数の描画されたオブジェクトが浮かんでいる。すなわち、講師のアバターであるアバター４００と、講師の手のアバターであるアバター４５０と、講義管理ソフトウェアの機能や、その他の講師用の仮想空間学習ソフトウェアの機能を呼び出すための講師用のカーソル４６０とが描画されている。
なお、音声については、仮想空間学習ソフトウェアが別途データを抽出してＰＣ２０の音声出力から出力する。
これら描画や音声出力の仕組みは、ＰＣ２１で実行されている生徒用の仮想空間学習ソフトウェアでも同様である。
【００４１】
さらに図６においては、本発明の実施の形態において「空間スクリーン」と呼ぶ、矩形のオブジェクトが複数浮かんでいるように描画されている。
ここで、空間スクリーンは、３次元空間上に描画されるポリゴン（多角形）とそのポリゴンに描画されているテクスチャである。ＰＣ２０においては、講師用の仮想空間学習ソフトウェアを用いて、ＰＣ２０の制御部が独自形式データから、ストリーミング放送された映像のデータを抽出し、映像を描画するビデオテクスチャや画像データをｂｌｔｅｒ（ｂｌｏｃｋ ｔｒａｎｓｆｅｒｅｒ、矩形領域の画素をコピー又は移動するデータ転送機能）により転送してテクスチャとしてビデオカードによりレンダリングすることで機能させることができる。
また、この空間スクリーンの領域は、矩形には留まらずに、折り曲げたり、楕円形に変形したり、球形や楕円球状に変形したりする等、任意の形状に変化させることも可能である。この空間スクリーンの形状の変化は、ジョイパッド６０又はジョイパッド６１からのボタンで所定の形状に変化させることも、グローブデバイス５０又はグローブデバイス５１からの信号を用いて例えば粘土をこねるように座標を変化させて変形させることも可能である。さらに、各種シェーダプログラムにより、発光やコントラスト変換等の特殊効果を施して用いることもできる。
【００４２】
講師板書画面４１０は、講師が実際に講義で使用する教材であるパワーポイントのスライド（以下、「教員側提示教材」という。）を描画したり、そのスライドに書き込み等を行う講義で主に用いられる、デフォルト（既定）の空間スクリーンである。デフォルトでは、デスクトップ画面が描画されており、講師が授業を始める前に、どの教員側提示教材を描画するのかについて、設定しておくことができる。
【００４３】
講師撮影用カメラ画面４１７は、講師撮影用のカメラの画像が常に描画されている、デフォルトの空間スクリーンである。講師は、ＨＭＤを装備して仮想空間の外である外界を裸眼で確認できない状態であっても、この画面を介して外界を見て、板書やカメラの移動、書画カメラ１８の起動といった操作を行うことができる。
なお、この講師撮影用カメラ画面４１７は、生徒側（リモート）では、生徒用の仮想空間学習ソフトウェアで描画されないために、通常は見ることはできない。しかし、講師側の判断により、生徒側で見せるように設定することもできる。これは、講師撮影用カメラ画面４１７は、本来は生徒側からは見えない方が好都合ではあるが、講師側の目線のカメラをあえて学生に示して見せるのが必要／望ましいケースもあるためである。特に視線トラッキングを用いている場合は、講師が注目している外界の物体を、リアルタイムで生徒に示すことができるため、生徒の学習効果を高めることができる。
【００４４】
空間スクリーン４４０−１、４４０−２は、何も描画されていない空白の空間スクリーンであるブランク空間スクリーンで、後述するように、ここに各種カメラの映像やパワーポイントのスライド等を割り当てて描画することができる。
すなわち、テンポラリー（一時的）に使用する資料等をこの空間スクリーンに描画しておいて講義の際の参考にすると、講師にとって便利である。
【００４５】
これらの空間スライドを生徒に見せるか見せないかの状態や、視点、アバターの位置や服装・テクスチャー等について、どのようにレンダリングして生徒に見せるかについての情報であるステージ情報は、予め所定の値やマクロとして講師用仮想空間学習ソフトウェアで設定可能である。
さらにこのステージ情報のパラメータについて、ＰＣ２０の制御部は講師用の機能として、カーソル４６０の動作を検知して、リアルタイムで変更することも可能である。
加えて、講師のアバター４００や背景等の情報についても、設定可能である。
生徒用機器３００−１のＰＣ２１の制御部は。生徒用の仮想空間学習ソフトウェアにより、独自形式のデータの中に含まれたこれらの情報を随時受信して、このデータに従って、仮想空間を描画する。
すなわち、実際に講師が操作している際の仮想空間の状態を、そのまま生徒が視聴するという訳ではない。
【００４６】
また、講師側の仮想空間学習ソフトウェアでは、講師用の教材となるパワーポイントファイルのスライドショーが終了した場合は、自動的にブランク空間スクリーンに割り当てて、講師のアバター４００の背面に置くことができるという機能が存在する。この割り当てられた空間スクリーンは、生徒側の仮想空間学習ソフトウェアでも描画され、自由にメモ書き等もできる。
また、生徒が生徒用の仮想空間学習ソフトウェアで講師板書画面４１０を別の空間スクリーンに割り当てて、さらに注釈することも可能である。
これらの機能については、さらに詳しく後述する。
【００４７】
なお、他の講師用の機能としては、また、アバター４００の所定のアクション（動作）を設定することも可能である。例えば、講師板書画面４１０を指さすようなアクションを行ったり、頷いたり、手をたたいたり、歩いたりといったアクションが可能である。これらのアクションについても、独自形式データに含ませてストリーミング送信を行う。
【００４８】
次に、図７を参照して、生徒側（リモート）のＨＭＤに描画される映像について説明する。
この映像においては、生徒は、仮想空間内で、講師のアバター４００が、講師板書画面４１０を用いて授業を進めるのを見学する。
すなわち、ＰＣ２１の制御部は、生徒側の仮想空間学習ソフトウェアにより、講師のアバター４００を講師側（ローカル）から送信される仮想空間学習ソフトウェア用のストリーミング送信された独自データに基づいて様々なアクションを行わせ、講師板書画面４１０にパワーポイントのスライドや各種カメラのストリーミング放送を描画し、スライドショーが終わったパワーポイントファイルを新たな空間スクリーンに割り付けて背後に描画する。
【００４９】
また、ＰＣ２１の制御部は、生徒がＰＣ２１に接続されたＨＭＤ３１やグローブデバイス５１やジョイパッド６１で操作される手のアバター４５１の動作を検知して、空間スクリーンに対する各種の動作を行う。このジョイパッド６１を用いた操作は、同時に補助入力部７１のキーボード等からの入力を検知して行うことも可能である。
なお、生徒用の仮想空間学習ソフトウェアにおいては、講師側の設定したアバター４００のアクションとは異なるアクションを、ＰＣ２１に接続されたジョイパッド６１の操作を通じて起こすことが可能である。
さらに、空間スクリーンの形状に関しても、単なる矩形ではなく、いくつかの所定の形状、例えば本のポリゴンの形状にしたり、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔ）の端末のような形状にしたり、窓のような形状にすることが可能である。
また、背景の設定を変えることも可能である。たとえば、デフォルトの暗い空間の他にも、大学風の教室、図書館、ギリシア・ローマ風の円形劇場、真夏のビーチといった背景に設定することが可能である。また、アバター４００の姿に関しても、所定のキャラクタ数種、例えば、男性講師、女性講師、クリップやペン等の文具、動物や妖精といったキャラクタから選択することができる。
このようなカスタマイズ機能により、生徒がリラックスして授業を受けることができ、学習に対するモチベーションを上げることが可能になる。
【００５０】
また、空間スクリーン内には、実際にログインをしている数百人程度の他の生徒のアバターを、リアルタイムでレンダリングして表示することが可能である。この生徒のアバターに関しても、生徒が設定した所定のキャラクタから選択することができる。
加えて、レンダリングする生徒のキャラクタを、背景の設定に合うキャラクタにして表示することができる。たとえば、ギリシア・ローマ風の円形劇場の背景にしていた場合には、チュニックを着ているキャラクタで表示する等の選択を行うことができる。このようにすることで、歴史の授業等で生徒の学習意欲を高めることができる。
なお、数百人に及ぶ生徒のアバターを表示する場合には、ミップマップ等のテクスチャのレンダリングを軽減する技術や、アダプティブメッシュやテッセレーション等を用いた視線距離によりポリゴン数を増減する技術を用いて、レンダリングの負担を抑えることが好適である。
【００５１】
（絶対アリーナ機能）
さらに、カスタマイズ機能により、レンダリングする生徒のアバターの数について設定することも可能である。
すなわち、生徒のアバター数を少なく描画することで、多数の生徒がログインしていても、少人数クラスのように感じさせる「絶対アリーナ機能」を備えることができる。また、生徒当人のアバターのみ表示することで個人授業を受けているような感覚を得ることもできる。これにより、生徒の学習のモチベーションを上げることができと共に、レンダリングの負担を軽減できるという効果も得られる。
このレンダリングする生徒の数が実際にログインしている生徒の数より少ない場合は、ランダムに選択することができる。また、生徒の知り合いや友人を登録したり、同じ授業を取っている者を優先してレンダリングすることができる。これにより、生徒は、同じ授業を受けている生徒との間で一体感を感じることができ、学習効率を高めることができる。
【００５２】
実際に、現実の空間（実空間）にスクリーンをつくりだすことができたとしても、そこに人を集めなければならない。人を集める空間には、必ず、特等席と端の席ができる。よって、座る席により、学習効果に差が出ることが考えられる。
これに対して、本発明の実施の形態に係るこの絶対アリーナ機能を用いることで、授業参加者である生徒は、望めば必ず講師の目の前に席を取ることができる。すなわち、講師のアバターを正面近くに表示するようにビューポイントを調整してレンダリングできる。このように構成すると、予備的な実験により、学習効果を飛躍的に高めることが可能であることが分かった。
なお、ＶＲ空間に学生が自分一人では寂寥感を感じることがある。そして、事実上、複数人いた方がモチベーション上がる可能性が示唆されている。
複数の生徒が絶対アリーナ機能を用いる場合には、各生徒が先生の正面席となる絶対アリーナで授業を受けている場合、後述するメモの受け渡し等については、向きを適宜計算して行う。
【００５３】
なお、授業において、講師に、レンダリングされていない生徒（以下、生徒Ａとする）が解答するように促された（当てられた）場合には、レンダリングされている生徒（以下、生徒Ｂとする）が当てられたように表示することが可能である。
その際に、レンダリングされていた生徒（生徒Ｂ）は、当てられたレンダリングされていない生徒（生徒Ａ）と、もっとも外見の近いキャラクタや、もっとも知り合いでない生徒を選択することができる。さらに、当てられた後に、生徒Ａと生徒Ｂを入れ替えてレンダリングすることで、違和感を軽減することが可能である。
【００５４】
〔仮想空間内でのオブジェクトの動作処理〕
次に、図８のフローチャートを参照して、講師用の仮想空間学習ソフトウェアにおいて、各種入力装置からの情報に従って、講師のアバター４００、手のアバター４５０、講師用のカーソル４６０を動作させる際のオブジェクトの動作処理について説明する。
このアバターとカーソルの仮想空間学習ソフトウェアでの動作については、ＰＣ２０の制御部が講師用の仮想空間学習ソフトウェアを用いて行う。
なお、手のアバター４５０の動作に関しては、生徒用の仮想空間学習ソフトウェアでも同様の処理を行う。
【００５５】
（ステップＳ２０１）
まず、ステップＳ２０１において、ＰＣ２０の制御部は、ジャイロセンサ３４が検知した視線と空間位置の情報を入力する。
【００５６】
（ステップＳ２０２）
次に、ステップＳ２０２において、ＰＣ２０の制御部は、ジャイロセンサ３４から入力された空間位置の情報により、講師の頭部の動きについて計算を行う。さらに、この計算の結果により、アバター４００の頭部の座標を移動させる。
この座標の移動に関しては、ボーンと呼ばれるアバター４００のポリゴン内部に埋め込まれたポリゴン変形用の座標を記憶した構造体の値を変更することで行うことができる。以下のアバターの移動や変形処理でも、このボーンの値を変更することで行う。
【００５７】
（ステップＳ２０３）
次に、ステップＳ２０３において、ＰＣ２０の制御部は、ジャイロセンサ３４から入力された視線の情報により、講師の視線を移動する計算を行う。
具体的には、視線の情報により、講師が注目している仮想空間上にレンダリングされている物体を認識して、視線の移動の計算を行う。この視線の移動の計算は、ビューポートと呼ばれる３次元空間上でレンダリングされる位置を調整する計算を行う。
たとえば、講師が見ているとＰＣ２０が空間スクリーンを画面上の中央に来るように、ビューポートの位置の値を調整したり、講師がカーソルを見ているときは、このカーソルが中央にくるようにビューポートの位置の値を調整することができる。また、講師の視線が画面の遥か下を見ていることを視線の情報から検知した場合には、ズームアウトを行う等の計算を行うこともできる。
さらに、視線を特定のサインで移動することで、アバターのアクションを変更するようなコマンドを入力することも可能である。
【００５８】
（ステップＳ２０４）
次に、ステップＳ２０４において、ＰＣ２０の制御部は、ジョイパッド６０から、講師により押下されたボタンやアナログスティック等の情報を入力する。
【００５９】
（ステップＳ２０５）
次に、ステップＳ２０５において、ＰＣ２０の制御部は、ジョイパッド６０から入力された情報により、アバター４００の胴体の移動と、各種アクションを行う。
具体的には、ジョイパッド６０のアナログスティック等には、講師のアバター４００の前後左右の移動が割り当てられており、ＰＣ２０の制御部は、アナログスティックを傾けた量をＡ／Ｄ変換した値に比例して、アバター４００が歩くから走るまでのスピードとアクションにて仮想空間内を移動するように描画することができる。
ここで、ジョイパッド６０にアナログスティックが２本ある場合は、別のアナログスティックには、講師のアバター４００が背伸びしたりしゃがんだりといったアクションを割り当てたり、アバター４００の手の開閉の動きを割り当てることも可能である。また、別のアナログスティックに、カーソル４６０の移動を割り当てることもできる。
ジョイパッド６０の各種ボタンには、アバター４００の各種アクションをそれぞれ割り当てることも、カーソル４６０によって呼び出される機能について割り当てることも可能である。
これらの割り当てについては、講義を開始する前に、講師が講師用の仮想空間学習ソフトウェアのコンフィグレーション画面にてＧＵＩで設定することが可能である。
【００６０】
（ステップＳ２０６）
次に、ステップＳ２０６において、ＰＣ２０の制御部は、磁気センサ５４が検知した情報を入力する。これにより、講師の手の空間的な位置の情報を入力することができる。
【００６１】
（ステップＳ２０７）
次に、ステップＳ２０７において、ＰＣ２０の制御部は、グローブ本体部５２が検知した情報を入力する。これにより、講師の個々の指の曲げ具合についての情報を入力することができる。
【００６２】
（ステップＳ２０８）
次に、ステップＳ２０８において、ＰＣ２０の制御部は、グローブ本体部５２から入力された情報と、磁気センサ５４から入力された情報により、手のアバター４５０を移動する。
具体的には、磁気センサ５４から入力された情報により、手のアバター４５０の座標を移動する。
また、グローブ本体部５２から入力された情報により、手のアバター４５０の指の状態をボーンにより変形する。
【００６３】
さらに、手のアバター４５０の座標が何かのオブジェクト（例えば、空間スクリーン）と接触している状態でグローブ本体部の指の状態が何かつまんでいるように変形した場合には、空間スクリーンをつかんで移動（ドラッグ）や引き寄せる等の各種の処理を行う。
この処理は、後述するように、生徒側の仮想空間学習ソフトウェアでも同様に行うことができ、メモ書き等を行うことも可能である。
また、グローブ本体部５２に対して、つかんでいる空間スクリーンの種類やオブジェクトの種類等に応じてフォース・フィードバックの処理を行うこともできる。
【００６４】
（ステップＳ２０９）
次に、ステップＳ２０９において、ＰＣ２０の制御部は、ジョイパッド６０や磁気センサ５４からの情報を用いて、カーソル４６０を移動する。
また、ジョイパッド６０のボタン等に割り当てられた各種機能に関する処理も行う。
【００６５】
（ステップＳ２１０）
次に、ステップＳ２１０において、ＰＣ２０の制御部は、空間スクリーンをつかんでいる状態の場合は、空間スクリーンの選択・移動の処理を行う。
また、この空間スクリーンについて、各種のカメラの映像を割り当てたり、メモ書き等を行う際には、その処理を行うことができる。以上で、オブジェクトの動作処理を終了する。
実際にスタートしている講師用の仮想空間学習ソフトウェアでは、ＰＣ２０の制御部が、このオブジェクトの動作処理を、常に繰り返し実行している。
【００６６】
〔空間スクリーンの各種操作処理〕
次に、図９〜図１２を参照して、講師側（ローカル）と、生徒側（リモート）の空間スクリーンの各種操作について、それぞれの立場から説明する。
【００６７】
まず、図９を参照して、空間スクリーンのデータについて、主なものについて説明する。
図９は、ＰＣ２０又はＰＣ２１の補助記憶装置内において、仮想空間学習ソフトウェアが使用する領域に記憶されている空間スクリーンのデータベース内にある、１つの空間スクリーンのデータから主なものを抽出して記載したテーブルである。
Ｄ１０１のスライドＩＤの値は、該空間スクリーンにパワーポイントのファイル（．ｐｐｔファイル）が割り当てられている場合には、そのファイルの番号が記載される。各種カメラが割り上てられている場合には、特別な値（例えば、０ｘ００等）とそのカメラのＩＤが記載される。
【００６８】
Ｄ１０２の表示ステータスは、該空間スクリーンの描画状態を示すフラグである。この空間スクリーンのフラグとしては、例えば講師板書画面４１０のように大きく描画されているか、サムネイル表示のように小さく描画されているかといったフラグを設定することができる。このサムネイル表示としては、通常の大きさの例えば１／８の大きさにすることが可能である。
このフラグにより、ミップマップ等の処理を行い、レンダリングのスピードを高速化することができる。
また、後述する空間メモパッドの空間スクリーンのように、標準では「表示しない」すなわち、仮想空間学習ソフトウェアで描画しない状態にするというフラグをたてることもできる。
【００６９】
Ｄ１０３の選択ステータスは、該空間スクリーンの選択状態を示すフラグである。このフラグとしては、上述したように手のアバター４５０によりつかんでいる状態であるか（選択中であるか）のフラグや、移動中の状態であるか（ドラッグ中であるか）、スライドを設定したりメモ書き操作中であるかといったフラグを用いることができる。
【００７０】
Ｄ１０４のタイプとしては、単なる画像ファイルであるイメージであるか、パワーポイントのスライド（．ｐｐｔファイル）であるか、各種カメラ映像であるか、ＭＰＥＧ２等のムービーファイルであるか、といったタイプを設定できる。
【００７１】
Ｄ１０５のデータポインタとしては、実際のデータ、例えば仮想空間学習ソフトウェアが読み込んだパワーポイントファイルのデータへのポインタを記憶することができる。また、主記憶装置に読み込むには巨大なファイルの場合は、ファイルの先頭位置からのポインタを例えば６４ビットで記憶することができる。
さらに、他の空間スクリーンとの関連についての関連づけデータを記憶することができる。この機能は、後述するメモ書き処理で使用する。
【００７２】
Ｄ１０６のファイル名は、該空間スクリーンにテクスチャとして描画するファイルのファイル名又はファイル名のポインタである。
【００７３】
Ｄ１０７のサイズは、該空間スクリーンのサイズである。このサイズは、実際に大きく描画された際のサイズを記憶しており、サムネイル表示された場合のサイズはまた別に設定することができる。
【００７４】
Ｄ１０８の位置は、該空間スクリーンを描画する仮想空間上の空間位置と角度である。この空間位置は、Ｘ、Ｙ、Ｚ軸の座標を用いることができる。さらに、空間スクリーンの角度をオイラー角で記憶している。なお、この角度に関してはクォータニオンを用いて表現することもできる。
各空間スクリーンのデータテーブルには他にも、スライドの形状、明度、シェーダの適応度、アルファ値等の他のデータも記憶されている。また、カーソル４６０により選択されているかといった情報も記憶できる。
【００７５】
〔講師の講義インタラクション〕
次に、図１０のフローチャートを参照して、講師が講師用の仮想空間学習ソフトウェアを用いて講義を行う際の、講師の講義インタラクションに対応した空間スクリーンへの処理について説明する。
以下では、主に講師側提示教材の描画処理について詳しく説明する。
この講師側提示教材は、講義の開始前に、講師が講師用の仮想空間学習ソフトウェアを用いて予めどのファイルを使用するか設定している。
【００７６】
（ステップＳ３０１）
まず、ステップＳ３０１において、講師がカーソル４６０により講義の開始の操作を行った場合、ＰＣ２０の制御部は、講師側提示教材のスライドの１枚目を描画して、この描画画像のデータを講師側の仮想空間ソフトウェアで扱えるようなパイプ処理を開始する。
【００７７】
また、講師側提示教材のパワーポイントのファイル自体は、上述したように講義開始前に生徒側（リモート）へファイル形式（．ｐｐｔ）で送信している。
そこで、以下のステップにおいては、各スライドについて、講師側（ローカル）のＰＣ２０の制御部は、ネットワーク５を介して、生徒側のＰＣ２１で実行されている仮想空間学習ソフトウェアでも．ｐｐｔファイルから同様に読み込んで、描画し表示させるコマンドを送信する。
さらに、ＰＣ２０が検知した講師の入力データやアバターの仮想空間の座標の移動等の情報についても、ＰＣ２０の制御部が、生徒用のＰＣ２１に対して上述の独自形式のデータで送信する。
【００７８】
（ステップＳ３０２）
次に、ステップＳ３０２において、ＰＣ２０の制御部は、ビデオカードの初期化を行い、メイン画面となる仮想空間のレンダリングをスタートする。
以下のステップで、この仮想空間の画面は定期的（例えば、１／６０秒）にレンダリングされて、ＨＭＤ３０や表示部４０で表示される。
生徒側のＰＣ２１の制御部も、生徒側の仮想空間学習ソフトウェアにより、同様に定期的にレンダリングと表示を行う。
【００７９】
（ステップＳ３０３）
次に、ステップＳ３０３において、ＰＣ２０の制御部は、講師側提示教材のスライドの１ページを空間スクリーンのテクスチャメモリに転送し、更新して描画する。
各種カメラの画像の場合は、これをｂｌｔｅｒ等を用いてレンダリング時に描画し続ける。ここでは、この空間スクリーンを講師板書画面４１０に描画するとして説明する。
【００８０】
（ステップＳ３０４）
次に、ステップＳ３０４において、ＰＣ２０の制御部は、サムネイル作成処理を行う。
具体的には、まず、講師板書画面４１０の背後に別の空間スクリーンを作成する。
次に、ステップＳ３０３で更新する前の講師板書画面４１０に描画されていたスライドを、この空間スクリーンにコピーして描画する。
各種カメラの画像の場合は、所定時間ごとに画面ショットを別の空間スクリーンに、コピーして描画する。
このサムネイル作成処理により作成される空間スクリーンは、通常の大きさの空間スクリーンよりも面積小さい。
【００８１】
このサムネイル作成処理により、講師が示したパワーポイント資料について、呈示済みのスライドは背後に一覧で浮かべておくことができる。
すなわち、パワーポイントのスライドが一枚めくられる毎に、空間スクリーンを１枚づつ増やし、提示し終わったスライドをその増やした空間スクリーンに移すことができる。
【００８２】
サムネイル作成処理により作成した空間スクリーンは、複数の画像を縮小して一覧表示する本来の意味の「サムネイル」のような縮小版のように、現在説明している講師板書画面４１０に描画されたスライドの上方に布置する。
布置させているスライドが増えてビューポート又は画面に入りきらなくなった場合は、ＰＣ２０のタイマーで計測した１秒程度の間隔で、向かって右から左方向へ順次スクロールさせる。このスクロールの処理は、ビデオカードのバーテックス・シェーダーのような機能を使用して実現しても、ＰＣ２１の制御部が空間位置座標をビューポートから計算して移動させることで実現してもよい。
同一テーマについての講義中は、このスライド一覧提示は続けておくことができる。また、講師がカーソル４６０により消去するコマンドを検知した際に消去することもできる。
なお、このＰＣ２０のタイマーは、パワーポイントファイル内に音声オブジェクトを再生する場合や、所定のマクロに記載があった場合は、より精度の高いタイマーであるマルチメディアタイマーとＮＴＰ（ネットワーク・タイム・プロトコル）等を用いて音声と同期させることもできる。
【００８３】
（ステップＳ３０５）
次に、Ｓ３０５において、ＰＣ２０の制御部は、パワーポイントのスライドが最終ページであったかどうかについて判断する。
Ｙｅｓ、すなわち、最終ページであった場合は、このスライドについて読み込む処理を終了する。これによって講師側提示教材の表示処理を終了する。
なお、複数のパワーポイントファイルが講師により指定してあった場合は、次のファイルのスライドショーを開始して、ステップＳ３０３に戻って更新を進める。それ以外の場合は、講師側提示教材の表示処理を終了する。
Ｎｏ、すなわち、最終ページでなかった場合は、ステップＳ３０６に処理を進める。
【００８４】
（ステップＳ３０６）
ステップＳ３０６において、ＰＣ２０の制御部は、講師のジョイパッド６０のボタンの入力や、グローブデバイス５０からの入力信号を待って待機する。
ここで、ＰＣ２０の制御部は、講師からの入力信号を検知した場合は、パワーポイントファイルのスライドを更新するために、ステップＳ３０３に処理を戻す。
【００８５】
上述したように、パワーポイントファイルのスライドショーがすべて終了した場合には、ＰＣ２０の制御部は、講師側提示教材の表示処理を終了する。
この際に、ＰＣ２０の制御部は、講師用のＰＣ２０のＨＭＤ３０には、講義が終了した旨のダイアログボックスを空間スクリーンに描画し、本当に講義を終了するかについて問い合わせる。
講師がＹｅｓを選択した場合は、図４の講義終了信号送信処理に進む。講義終了処理に進んだ時点で、講師の講義インタラクションも終了する。
講師がＮｏを選択した場合は、生徒側（リモート）との接続を保った状態で、待機状態となる。
この場合は、講師のアバター４００は、時折、頷いたり、コツコツと足を鳴らしたり、背を伸ばしたりといったような、いくつかの所定のアクションを行う。これにより、生徒の注意力を削がないようにすることができる。
ここで、ＰＣ２０の制御部は、講師がカーソル４６０により各種のコマンドを選択したことを検知して、別のスライドを描画したり各種カメラの画像を描画したりといったことも可能である。
また、ＰＣ２０の制御部は、講師がカーソル４６０により、講義を終了するコマンドを選択した場合にも、図４の講義終了信号送信処理に進む。
【００８６】
なお、講師の講義インタラクションとしては、この講師提示教材の表示処理の他にも、カメラの操作等を、リアルタイムにカーソル４６０のコマンドにより実現することができる。
また、スライドが見やすくなるように、講師は、グローブデバイス５０を用いて空間スクリーンを自在に動かすことができる。グローブデバイス５０でなく、ジョイパッド６０を用いても同様のことができる。
さらに、グローブデバイス５０を用いて後述する生徒のメモ書き処理と同様の処理を行うことも可能である。
また、特定の生徒を指名して、答えさせるといった処理も可能である。この場合は、そのための空間スクリーンを用意して、チャット形式にて行うこともできる。生徒側のＰＣ２１がウェブカメラを装備していた場合は、直接空間スクリーンを通して対話することも可能である。
これらの処理により、仮想空間内でのスライドの見やすさを改善し、即効的・直感的な操作が可能になるため、学習システムの操作性が向上する。
【００８７】
（シークレットバージョンアップ機能）
なお、これらの講師の講義インタラクションのデータは、ＶＲ空間動作履歴保存処理により、ＶＲ空間動作データとして講師用機器やサーバ１００に保存することができる。そして、このＶＲ空間動作データ、音声データ、映像データ、講義の資料等は、上述のようにサーバ１００や講師用機器の補助記憶装置に「再生データ」として保存することができる。
ここで、多くの大学等の授業は、半期または１年が１つのサイクルであり、その積み重ね（蓄積）によって授業を「熟成」することができる。
このため、過去に蓄積した講義のＶＲ空間動作データ、音声データ、映像データ等の再生データをＶＲ空間で再生しながら、新規分をライブで追加してゆくことができる。この際に、通常の状態では、サーバ１００の補助記憶装置に保存された講義の再生データを再生する。この際に、受講者にはライブ授業にしか見えない。
しかしながら、リアルタイムで講師が上述の講師の講義インタラクションの処理を行うと、再生データと、リアルタイムの講義インタラクションの処理とを入れ替えることができる。このような機能を「シークレットバージョンアップ機能」と呼ぶ。
シークレットバージョンアップ機能により、生徒用機器３００−１〜３００−ｎを使用している生徒や受講者には、すべてがライブにしか見えない。しかしながら、実際には、教員による最少限の労力でのライブ追加によって、最良の講義へと完成度・熟成度をあげてゆくことが可能になる。
【００８８】
（複数講師機能）
また、物理的にはそこに存在しない講師もＶＲ空間では登場可能である。実際に、２人の人物が２人として登場することも、また１人であるかのように、講師用機器２００を用いて、２人の講師が同じアバター４００を操作することも可能である。この際に、講師用機器２００と同様の構成をもつ講師用機器を用いてこの同じアバター４００を操作することもできる。
これとは逆に、実際に１人の講師が、複数の人物のアバターをＶＲ空間内で登場させて、各アバターを操作することが可能である。この機能を複数講師機能とよぶ。
この複数講師機能においては、リアルタイムで、１人の講師と他の講師のアバターを入れ替えることができる。
また、複数講師機能において、１人のアバターはリアルタイムで講師が操作して講義インタラクションの各処理を行い、他の複数のアバターは記憶したデータを再生することで操作するということが可能である。この記憶したデータとしては、ＶＲ空間動作データや映像データや音声データをサーバ１００に記憶しておき、データのストリームを合成することができる。
【００８９】
従来の現実空間での大学等の授業においては、講師料の問題等により、１つの授業で複数の講師等の人物を登場することは難しい。通常、複数の講師の登場は、あり得ない。
しかしながら、本発明の実施の形態に係る複数講師機能を用いて、リアルタイムでの講師のアバターの操作と、再生データを用いたアバターの動作とを合成することで、複数の講師の登場する授業を簡単に行うことができる。
また、この際に、リアルタイムで講師用のアバターと再生データのストリーム等を合成すると、生徒用機器３００−１〜３００−ｎにおいては、複数のアバターのうち、どれを実際に講師が操作しているのか分かりづらいという効果が得られる。
【００９０】
これにより、漫才でいうところのボケとツッコミを１人で実行することができる。たとえば、ツッコミ又はボケのアバターが真面目な解説をしている際に、ボケのアバターがわざと間違ったことを言い、ツッコミのアバターが「そうではないだろう」と正す、といったシチュエーションで、ツッコミ又はボケを１人の講師が演じることができる。つまり、ＶＲ空間での講義において真面目に解説している方のアバターが実は再生データを用いたアバター（ツッコミ）であり、それに対してとぼけた口をはさむ方のアバター（ボケ）が、リアルタイム参加の講師本人が演じているという状況が考えられる。すなわち、ツッコミでなくボケのアバター方をリアルタイム参加の講師本人が実行していたり、逆にボケの方を講師本人が実行していたりということがありえる。
従来、テレビ放送等で、芸人が知識情報番組のメインキャスターである事例は実に多い。これは、芸人のボケとツッコミが、実は問答による知識提供にひじょうにマッチすることを示しており、心理学的な効果が期待できる。
【００９１】
複数講師機能においては、複数のアバターのうち、講師が操作するアバターをリアルタイムでコマンド等により変更することが可能である。これにより、講師本人が瞬時にツッコミ役からボケ役、ボケ役からツッコミ役といった具合に入れ替わることが可能である。
こうした方法は、ロボット等を用いて現実空間で行うことは可能と考えられる。しかしながら、本発明の実施の形態に係る学習システムＸを用いてＶＲ空間で演じることで、上述のように各アバターをリアルタイムで描画しているために区別できないため、より複数の人物が演じているという真実味を増すことができる。
これにより、知識情報番組のような問答による知識提供の効率を向上させることができる。
なお、複数講師機能では、講師のアバターだけではなく、生徒や質問者のサクラのようなアバターも登場させることができる。また、これらのアバターを講師が演じることも当然可能である。
【００９２】
〔生徒の講義インタラクション〕
次に、図１１と図１２のフローチャートを参照して、生徒が生徒用の仮想空間学習ソフトウェアを用いて講義を受ける際の、生徒の講義インタラクションに対応した空間スクリーンへの処理、具体的には生徒のスライド選択処理と、メモ書き処理について説明する。
この生徒の講義インタラクションにおいては、ＰＣ２１の補助記憶装置内に、生徒用に記録領域を設けておく。具体的には、この空間スクリーンのＤ１０６に、データのセーブ用のファイルを作成して割り当てる。
講義中は、この保存領域が割り付けられたブランク空間スクリーンを、デフォルトで生徒の手のアバターが描画される空間位置の近くに描画しておく。
さらに、ＰＣ２１の制御部は、講義インタラクションの最中に、生徒が手のアバター４５１にて特定のサインを描くように移動させたか（例えば、四角を描くように移動させた場合）、ジョイパッドの特定のボタン（例えば、「□」ボタン）を押下したことを検知することで、ブランク空間スクリーンを追加して描画したり（この際に、ＰＣ２０又はＰＣ２１の主記憶領域を確保する）、ブランク空間スクリーンを選択して消去又はセーブして消去するといったことを自由に行うことができる。
このスライド選択処理とメモ書き処理に用いるブランク空間スクリーンは、生徒が取るノートの視覚的・直感的イメージであり、生徒が即効的・直感的に用いることができる。当然、以下の手順と同様な手順を用いて、講師もメモ書き処理をすることができる。これにより、更に学習システムの操作性が向上させることができる。
このブランク空間スクリーンに対して、以下の処理を行う。
【００９３】
（スライド選択処理）
まず、以下で図１１を参照して、生徒のスライド選択処理について説明する。生徒側のＰＣ２１では、上述のように生徒用仮想空間ソフトウェアが実行されている。
ＰＣ２１の制御部は、グローブデバイス５１とジョイパッド６１の入力信号から、生徒が手のアバター４５１で、空間スクリーンを移動やつかんでいる状態の処理を行う。この上で、手のアバター４５１の処理と各空間スクリーンの位置座標や選択の状態により、以下に述べるような各種の処理を行う。
また、生徒用の仮想空間学習ソフトウェアも、上述の講師側のインタラクションと同様に、仮想空間の画面の更新等も例えば１／６０秒ごとに行っている。
【００９４】
（ステップＳ４０１）
ステップＳ４０１において、手のアバター４５１が空間スクリーンと空間位置が接触して、つかんでいる状態になったことを検知した場合は、ＰＣ２１の制御部は、その空間スクリーンを選択するスライド選択処理を行う。すなわち、該空間スクリーンのＤ１０３について、移動やつかんでいる状態のフラグを立てる。
このスライド選択処理においては、生徒が手のアバターをジョイパッド６１のアナログスティックで移動し、ボタン（例えば、「○」ボタン）を押下したことを検知して行ってもよい。
また、この空間スクリーンとしては、講師板書画面４１０でも、講師のアバター４００の背後に浮かんでいる上述のサムネイル処理を行った空間スクリーンでもよい。
【００９５】
（ステップＳ４０２）
次に、ステップＳ４０２において、ＰＣ２１の制御部は、手のアバター４５１が、つかんでいる状態になっている間は、スライドの移動をするスライド移動処理を行う。
この移動としては、ＰＣ２１の制御部は、上述したように、グローブデバイス５１の磁気センサ５５の入力を用いて生徒の実際の手の位置と加速度を検出し、この手の位置と加速度に従って手のアバター４５１の空間位置を移動する。
具体的には、加速度が大きいと、より高速に移動する処理を行う。また、加速度が小さいと、動きを少なくする処理を行う。これにより、限られた空間内で実際の手を動かしても、広い仮想空間内で十分高速に手のアバター４５１を移動させることができる。
また、ジョイパッド６１のアナログスティックを検知して同様の移動を行ってもよい。さらに、上下ボタンで空間スクリーンで指示された空間上の位置に移動することもできる。
【００９６】
（ステップＳ４０３）
次に、ステップＳ４０３において、ＰＣ２１の制御部は、手のアバター４５１が、つかんでいる空間スクリーンを離した（リリース）場合に、スライド選択解除処理を行う。
つかんでいる空間スクリーンを離す際には、生徒がグローブデバイス５１のグローブ本体部５３の指の動きを検知して、例えば、人差し指先と親指との距離が所定の大きさまで十分開いた際には「離す」とすることができる。また、ジョイパッド６１のボタンを離したことを検知してもよい。
このスライド選択解除処理においては、ＰＣ２１の制御部は、該空間スクリーンのＤ１０３を通常の（選択、移動中等ではないデフォルトの状態）のフラグにする。
以上のステップＳ４０１、Ｓ４０２、Ｓ４０３により、空間スクリーンのドラッグ処理を行うことができる。
【００９７】
（ステップＳ４０４）
次に、ステップＳ４０４において、ＰＣ２１の制御部は、手のアバターの座標がブランクスクリーン内であったかについて判定する。
具体的には、手のアバター４５１の離された場所の空間位置と、他の空間スクリーンの座標と接触しているかを判定する。この判定には、いわゆる「ヘッドバッファ」と呼ばれるような、各ポリゴンの位置をより荒いボリュームマップとして表現したデータを用いて高速に処理することができる。
Ｙｅｓの場合は、ＰＣ２１の制御部は、処理をステップＳ４０６に進める。
Ｎｏの場合は、ＰＣ２１の制御部は、処理をステップＳ４０５に進める。
【００９８】
（ステップＳ４０５）
ステップＳ４０５において、ＰＣ２１の制御部は、選択されていた空間スクリーンの位置を固定するスライド位置固定処理を行う。すなわち、手のアバター４５１が離された位置に、当該空間スクリーンのＤ１０８の空間位置を指定する。また、指の角度等により、当該空間スクリーンの姿勢を変更することもできる。
さらに、このスライド位置固定処理においては、指定する空間位置について、ＰＣ２１の制御部がヒステリシス特性や格子の位置指定（仮想空間内をある単位で区切った格子の位置に置くようにする）の処理等の計算を行って、複数の空間スライドが重ならないように都合の良い場所に空間位置を指定することができる。
これらの処理により、この位置に空間スクリーンのスライドを置きたいという生徒の要求に従ってスライドの位置を移動させることができる。
【００９９】
（ステップＳ４０６）
ステップＳ４０６において、ＰＣ２１の制御部は、ブランク空間スクリーン表示処理を行う。
具体的には、ＰＣ２１の制御部は、選択されていた空間スクリーンの位置にあったブランク空間スクリーンに、選択されていた空間スクリーンのサムネイル表示されていたスライドを描画する。すなわち、パワーポイントのスライド又は、各種カメラの画像ショットを描画する。この上で、選択されていた空間スクリーンを消去する。
この処理により、生徒の手のアバターの近くに描画されていた空間スクリーンに、ノートを取るような感覚で、講師が提示するスライドを取得することができる。
【０１００】
（ステップＳ４０７）
次に、ステップＳ４０６において、ＰＣ２１の制御部は、上述のブランク空間スクリーンに対してスライド保存処理を行う。
具体的には、ＰＣ２１の制御部は、上述のブランク空間スクリーンに割り当てられていたＤ１０６のファイルに、描画されているスライド（空間スクリーンの描画内容）を保存する。
以上により、スライド選択処理を終了する。
【０１０１】
上述のブランク空間スクリーンに割り当てられていた保存されたファイルは、講義終了時に、講師が許可し、学生が希望すればＵＳＢメモリ等にコピーして渡すことが可能である。また、講師が電子化されたデータを渡したくない場合は、プリントサービス等によりプリンタで印刷して渡すことも可能である。
また、ＰＣ２１は通常、共用のＰＣであるため、ＰＣ２１の制御部により、保存されたファイルを講義終了後に消去するか、講義毎に上書きすることもできる。
さらに、講師用ＰＣ２０は、講義終了後に、生徒用機器３００−１〜３００−ｎから回収することも可能である。これにより、講師は、生徒がメモを取った回数や、どの箇所で生徒がメモを取ったのかについて、参考とすることもできる。
【０１０２】
なお、上述のブランク空間スクリーンに割り当てるファイルの保存については、サーバ１００を指定することもできる。さらに、ファイルにスライドのデータそのものを保存するのではなく、スライドの位置や別途保存されている画像ショットの箇所を示すインデックスとして保存することもできる。これにより、補助記憶装置のメモリ使用量を減少させ、上述のＰＣ２０が回収する際の負担を減少させ、統計を取る等の処理をしやすくすることができる。
また、上述したようにサーバを用いた場合でも、データが講義終了時に生徒に渡るというのは技術的なやり取りのことであり、生徒自身はスライドを引き寄せてブランク空間スクリーンに重ねた時点で自分のものになったと認識して用いることができる。
【０１０３】
以上のスライド選択処理により、生徒は、講義中で欲しいと思ったスライドをグローブデバイスで掴んで手元に引き寄せ、自分のものとすることができる。すなわち、生徒は、自らの事後学習用にほしいと思ったスライドに対しては、直感的にそれに手を伸ばして取り、保存用とすることができる。
この保存用とする際には、生徒がグローブデバイス等でほしいスライドを手元に引き寄せ、そのブランク空間スクリーンに重ねると保存の指定を行ったことになるという簡便な操作で済むため、現実空間でメモを取るよりも容易に、自分だけの学習教材を作成することができる。
このため、ｅラーニングシステムでの、学習効果を増進させる効果が得られる。
【０１０４】
（メモ書き処理）
次に、図１２を参照して、生徒の講義インタラクションにおいて、生徒がブランク空間スクリーンに実際に筆記してメモを取る際の、メモ書き処理について説明する。
メモ書き処理においては、生徒用のＰＣ２１に接続された何らかのデバイス（キーボード又はタブレット等）である補助入力部７１からの入力又はグローブデバイス５１からの入力に従って、ブランク空間スクリーンに筆記でメモを書くことができる。
【０１０５】
（ステップＳ５０１）
まず、ステップＳ５０１において、ＰＣ２１の制御部は、メモ書き機能呼び出し処理を行う。
具体的には、ＰＣ２１の制御部は、生徒がグローブデバイス５１で特定のサイン（例えば三角を描くようなサイン）を描くようにグローブデバイス５１を動かしたことを磁気センサ５５で検知したか、ジョイパッド６１の特定のボタン（例えば、「△」三角ボタン）が押下されたことを検知したか、補助入力部７１からの特定の信号（例えば、キーボードのキーが押下されるか、タブレット又はタッチパネルにペンが押下された場合）を検知した場合は、仮想空間学習ソフトウェアのメモ書きを実現するメモ書きルーチン（機能部位）をスタートする。
【０１０６】
（ステップＳ５０２）
次に、ステップＳ５０２において、ＰＣ２１の制御部は、空間メモパッド表示処理を行う。
具体的には、ＰＣ２１の制御部は、メモ入力パネルとなる専用の空間スクリーンが、仮想空間内に描画されてない場合には作成して描画する。この専用の空間スクリーンを、空間メモパッドと呼ぶ。
また、既に空間メモパッドが作成されていてＤ１０２に「表示しない」というフラグが書き込まれていた場合には、このフラグを０にして、仮想空間学習ソフトウェアで描画されるようにする。
【０１０７】
（ステップＳ５０３）
次に、ステップＳ５０３において、ＰＣ２１の制御部は、空間メモパッド上に、ジョイパッド６１の特定のボタンや補助入力部７１のキーボードが押下されたことを検知した場合は、フォントや文字サイズや色を選択するダイアログボックスを描画する。
また、グローブデバイス５１の特定のサインやタブレット又はタッチパネルのペンが押下された信号を検知した場合は、線の太さや色や文字認識ボックスを用いるか選択するダイアログボックスを描画する。
これにより、ＰＣ２１の制御部は、生徒が文字サイズや線の太さ等を選択した際の処理を行って、次のステップに処理を進める。
【０１０８】
（ステップＳ５０４）
次に、ステップＳ５０４において、ＰＣ２１の制御部は、空間メモパッドに生徒が文字を入力したことを検知して描画する文字入力処理を行う。
ＰＣ２１の制御部は、この文字入力処理においては、空間メモパッドにキーボードからＩＭＥ等で直接文字を入力することも、ソフトキーボードをさらに描画してジョイパッド６１で文字を選択することも、タブレットやタッチパッドで文字認識ボックスに文字を書き込んで入力することも、タブレットやタッチパッドやグローブデバイス５１により線画又は、ビットマップ画像として入力することも可能である。
【０１０９】
なお、グローブデバイス５１を用いた場合は、空中に文字を書くがごとく、フリーハンド的な文字になるが、これをＰＣ２１の制御部が文字認識ボックスのポリゴンとの法線を求め、線画としてポリゴンで描画するか又はビットマップ画像としてテクスチャのデータに描画する。
この際に、グローブデバイス５１の極端な加速度を検知して、大きな文字にならないような丸め処理や微分処理等を行うことで、生徒の意図した操作性の高いメモ書きを行うことができる。
また、この線画をサインのようなデータとして扱い、文字認識を行うことで文字を入力することもできる。これにより、文字データとして使用可能な板書を得ることができる。
さらに、文字認識して描かれた文字を、予め清書レベルで読みやすく書いた文字を登録しておいて、その文字に変換することも可能である。これにより、活字ではなく手書き風の板書を得ることができ、文字データの利便性に加え、授業の生々しさといった感覚的なクォリティを向上させることができる。
【０１１０】
また、文字入力に関しては、音声認識技術を用いて入力することも可能である。この際に、ヘッドフォンマイク３７の出力を、他の生徒や講師に伝わらないように特に設定することもできる。
なお、音声認識を用いる場合は、文字の入力だけでなく、ジョイパッド６１や補助入力部７１で可能な操作をすべて、この音声認識のコマンドで代用することが可能である。
さらに、音声認識で文字を入力する場合には、認識された文字を、その当人の文字の癖に合わせた字体の文字で記憶することが可能である。
【０１１１】
（ステップＳ５０５）
次に、ステップＳ５０５において、ＰＣ２１の制御部は、文字入力完了処理を行う。
具体的には、ＰＣ２１の制御部は、キーボードの特定のキー（例えば、全角／半角キーやＥＳＣキー）が入力されたか、空間メモパッドの特定の位置をデジタイザやタッチパネルやグローブデバイス５１で選択したか、ジョイパッド６１で特定のキーが押下されたかを検知して、空間メモパッドの入力が終わったと判断する。
【０１１２】
（ステップＳ５０６）
次に、ステップＳ５０６において、ＰＣ２１の制御部は、スライド作成・表示処理を行う。
具体的には、空間メモパッドの入力が終わった後に、ＰＣ２１の制御部は、空間スクリーンを作成して仮想空間に描画する。
この作成した空間スクリーンには、上述のデフォルトで生徒の手のアバターの周囲に描画されたブランク空間スクリーンと同様に、ＰＣ２１の補助記憶装置内に保存用のファイルを作成してＤ１０６にファイル名を記載する。
この上で、作成した空間スクリーンに、空間メモパッドに記載された文字又は画像を描画する。
【０１１３】
さらに、空間メモパッドの描画をしないようにする。具体的には、空間メモパッドのＤ１０２に「表示しない」というフラグを立てることで、仮想空間学習ソフトウェアで描画されないようにする。
【０１１４】
（ステップＳ５０７）
次に、ステップＳ５０７において、ＰＣ２１の制御部は、ＰＣ２１の補助記憶装置内の保存用のファイルに、メモ書きされた文字又は画像を描画した空間スクリーンに描画された文字又は画像を保存するスライド保存処理を行う。
なお、このメモ書きされた文字は、空間メモパッドが起動される度に、同一のファイルに追加されるように設定してもよい。この場合は、空間スクリーンは複数作成されるものの、メモ書きが保存されるファイルは１つである。
【０１１５】
（ステップＳ５０８）
次に、ステップＳ５０８において、ＰＣ２１の制御部は、作成したメモ書きが描画されている空間スクリーンと、別の空間スクリーンが重なったかについて判断する。
これは、所定時間（例えば、３秒〜講義終了までのいずれかの時間）以内に、このメモ書きが描画された空間スクリーンについてドラッグが行われて、他の空間スクリーンと空間位置が重なったかについてＰＣ２１の制御部が判定する。この判定は、後の、取得したスライドにメモ書きを行いたい場合に付箋のように貼り付けるという処理を行うかの判断のためのものである。
Ｙｅｓの場合は、ＰＣ２１の制御部は、処理をステップＳ５０９に進める。
Ｎｏの場合は、ＰＣ２１の制御部は、このままメモ書きされた空間スクリーンを保持するものとして、メモ書き処理を終了する。
【０１１６】
（ステップＳ５０９）
次に、ステップＳ５０９において、ＰＣ２１の制御部は、スライド関連づけ処理を行う。
この処理により、ＰＣ２１の制御部は、まず、メモ書きが描画されている空間スクリーンについて、まず、背景色を透明にする。
次に、Ｄ１０８の姿勢を重なっている空間スクリーンと同一にし、空間位置が重なっている空間スクリーンについて、法線方向に十分上方に位置するようにする。
これにより、完全に法線方向で重なった場合に、ビデオカードのデプス（深度）バッファの精度の問題で、レンダリング時の描画の破綻を避けることができる。
【０１１７】
（ステップＳ５１０）
次に、ステップＳ５１０において、ＰＣ２１の制御部は、スライド関連づけ保存処理を行う。
具体的には、重なっていた空間スクリーンのＤ１０５の関連づけのデータに、メモ書きをした空間スクリーンのＩＤを書き込む。
これにより、重なっていた空間スクリーンを選択・移動した際に、メモ書きされた空間スクリーンも同時に移動することができるようになる。
また、スライド選択処理で保存したファイルと、メモ書きで保存したファイルをＸＭＬ等を用いて統一的に扱うことも可能になる。
以上の処理により、メモ書き処理を終了する。
【０１１８】
上述のメモ書き処理で保存された、メモ書きを保存したファイルは、後で見られるように、上述したスライド選択処理と同様に、講義後にＵＳＢメモリにコピーしたり、プリンタで印刷することもできる。
【０１１９】
また、講義中にメモを取るのと同様に、スライド関連づけ処理により、生徒が上述のスライド選択処理等で自分のものにした空間スクリーン（重なっていたスライド）にメモ書きをしたい場合、該空間スクリーンに上述のメモ書きが描画されている空間スクリーンを重ねることで、メモ書きが描画されている空間スクリーンを貼り付けておく機能を実現することができる。
これにより、講義のスライドとメモ書きを分離して、例えば問題の回答欄にメモ書きで講師が解説した箇所を、後にメモ書きのみを描画されないようにして、覚えた知識を自分でテストするといった用途に用いることができる。
さらに、メモ書きはメモ書きが行われた時間を記憶し、重層的にメモ書きを貼り付けることができる。このため、古い書き込みと新しい書き込みを参照することで、ＣＶＳ等の「バージョン管理」方法のように、生徒自らの学習の進展について時間を追って確認することが可能である。
【０１２０】
なお、上述のメモ書き処理では、空間メモパッドを用いて間接的にメモ書きを行うように記載したが、実際には、スライド選択処理が行われた空間スクリーンに直接メモ書きを行うようにすることも可能である。
この際には、空間メモパッドを透明にして、テクスチャとして重ねるように構成しても、直接、メモ書きする空間スクリーンのテクスチャのデータにメモ書きを記載するように構成してもよい。
いずれの構成を用いる場合でも、空間スクリーンに割り当てられて保存するファイルについて、メモ書きしたのと同一のファイル中でメモ書きされた状態で保存することもできる。
また、ＸＭＬ等を用いて、メモ書きの文字や画像のデータを分離して保存することも可能である。
【０１２１】
なお、上述したように、講師側（ローカル）の仮想空間学習ソフトウェアでも同様に、スライド選択処理とメモ書き処理とを行うことができる。
すなわち、スライド選択処理において、講師は生徒と同様にスライドを選択して保存することができる。
また、メモ書き処理においても、講師は自分が提示している教材にメモ書き処理により書込みを加えることができる。
【０１２２】
通常、講師のメモ書きやスライド選択処理、メモ書き処理は生徒側（リモート）に独自形式のデータとして送信されない。
しかし、カーソル４６０を用いたコマンドを使用して、これを生徒側（リモート）でシェアするように設定可能である。この場合は、講義中に、ＶＲ空間動作データの一部として送信することができる。
これにより、特定のスライドを講師が注目させたり、講師のメモ書きを板書のように用いたりすることが可能である。また、講師のメモが書かれたスライドを生徒が取得することも可能になる。
【０１２３】
（協同作業ボード機能）
次に、生徒インタラクションにおいて、学生同士の協同作業も可能にする機能である、学生協同作業ボード機能について説明する。
本発明の実施の形態に係る協同作業ボード機能として、空間スクリーンとの関連についての関連づけデータＤ１０５を「共有」として、他の学生や講師のメモ書きされた空間スクリーンを共有することができる。この空間スクリーンについては、ジョイパットの特定ボタンにより、ブランク空間スクリーンを新たに作成して、各生徒や講師に対してチャット等の処理により「共有」を選択することで実現することができる。
この「共有」処理が行われると、サーバ１００は、講師用機器２００や生徒用機器３００−１〜３００−ｎとの間で、「共有」の空間スクリーンにメモ書き等が行われると、その結果を他の生徒や講師の空間スクリーンに反映する。
すなわち、講師がリアルタイムで書き込んだ空間スクリーンや、生徒がリアルタイムで書き込んだ空間スクリーンを共有し、講師／生徒がそれぞれその場で書き込むことができる。
【０１２４】
（音声チャット機能）
また、この協同作業ボード機能の機能の一部として、音声のやり取りをする音声チャット処理も可能である。
現実空間では、許可がない限り、生徒同士の協同作業は私語と区別がつかないばかりか、話している教員自身や周囲の他の生徒への学習の妨げになりかねない。よって、現実空間では、たとえ授業に対する生徒の熱心さの発露であっても、各生徒の間で音声通話を行うことは難しい。
これに対して、本発明の実施の形態に係る協同作業ボード機能の音声チャットを用いることで、誰の妨害もせず可能になる。特に、本発明の実施の形態に係る学習システムＸにおいては、ＶＲ空間を用いて音声のやり取りを行うために、音声が講師や他の生徒に洩れることなく、当該生徒間だけで音声通話を交わすことが可能である。このため、リアルタイムな共同学習により、学習効率を向上させることが可能になる。
【０１２５】
（字体変換メモ書き機能）
協同作業ボード機能では、「共有」の空間スクリーンに、上述のメモ書き機能によりメモ書きを行うと、リアルタイムで、教材には複数人の記入が刻々とされてゆくため、どの記入がどの講師又は生徒が描画に当たるのかを把握するのが難しいことがある。
このため、メモ書き処理において、予めスキャナ画像から公知の機能にて字体の癖を抽出した「自分の字体の文字」により入力することができる。これにより、講師と、他の生徒の書き込みと、書き込み者本人の書き込みとを直感的に把握することができる。これは、周囲の状況を直接把握するのとは異なるＶＲ空間でのメモ書きについて特に有効である。
また、手書きによる遅延を避けたい場合には、上述の音声入力にて入力した文字を「自分の字体の文字」に変換することも可能である。
【０１２６】
（追いつき再生機能）
また、生徒用機器３００−１〜３００−ｎにおいては、講師インタラクションのデータ受信のスピードを変更することができる。これは、サーバ１００に記憶されたＶＲ空間動作データや音声データの再生を例えば、２倍〜１０倍に早送りして再生することができる機能である。
すなわち、リアルタイムの講義において、メモ書き処理等で授業の聞き取りが遅れたときに、その部分を早送りで「追いかけ再生」のように再生することで、講師の講義に「追いついて」講義を受けることが可能になる。単なる映像・音声データではなく、ＶＲ空間動作データも早送り再生することで、五感を使ったＶＲ空間での「追いかけ」再生の授業送信が可能になり、生徒の理解を促進することができる。
この「追いかけ」再生のスピードとしては、生徒が理解可能なスピードであれば、どのようなスピードであっても構わない。通常のスピードとしては２〜１０倍以上のスピードで追いかけ再生を行い、聞き取りにくいところでは少しスピードを落としたり、「巻き戻し」てもう一度再生をしたりするといったことが可能である。
また、この追いつき再生を行った部分に関しては、生徒用機器３００−１〜３００−ｎとサーバ１００にタイムライン等の情報として保存するため、復習を行う際にこの部分だけゆっくりと再生しなおして復習をすることもできる。
【０１２７】
（資料倉庫参照機能）
講師は、授業理解のために、生徒がもう少し詳しい情報を参照するための資料の空間スクリーンを用意しておくことができる。
生徒用インタラクションの処理において、生徒が生徒用機器３００−１〜３００−ｎにて、この空間スクリーンを見ることで、これらの資料を参照することができる。また、講師の手間を省くために、空間スクリーンにインターネット上の資料へのＵＲＬ等のみを書き込んでおき、空間スクリーンを生徒がアクセスすると、ブラウザやプラグインやアプリケーション等の画面を用いて、このインターネット上の資料のファイルにアクセス可能である。
実際には、インターネット上の情報は玉石混交であり、すべての情報が信頼に足るものとは限らない。このため、講師が正しい情報をプールした「倉庫」のように、資料の空間スクリーンを作成する必要がある。講師は、生徒が理解度・学習準備度に応じて、深く確認したい事項を追ってゆけるように、「倉庫」内の資料の空間スクリーンを手前から奥等に並べて用意することができる。
生徒は、講義でわからない事柄を、リアルタイムでその「倉庫」へアクセスして、理解を深めることができる。これにより、「ユニバーサル」な教育を実現することができる。
生徒が講義インタラクション処理中に、リアルタイムで「倉庫」を参照した場合には、参照に時間がかかるために、講義インタラクションの各ストリームの配信を一時停止することもできる。
この際に、実際に講師が授業を進めている時点に追いつく必要があり、そのために上述の追いつき再生機能を用いて、高速に授業を聞くことも可能である。
【０１２８】
上述のように、講義が終了した時点で、講師の講義インタラクションが終了する。これに伴って、生徒の講義インタラクションも終了する。
【０１２９】
ここで、図４に戻って、講義インタラクションが終了した後の、授業の終了時の処理について説明する。
【０１３０】
（タイミングＴ１１０）
タイミングＴ１１０において、ＰＣ２０の制御部は、講義終了信号送信処理を行う。具体的には、講師によりすべてのスライドが提示されて、講義が終了と指示されたことを講師用機器２００のＰＣ２０が検知した場合、ＰＣ２０の制御部は、ネットワーク５を介して講義終了の信号を送信する。
この講義終了信号送信処理においては、ＰＣ２０の制御部は他にも、仮想空間の描画を終了したり、保存用のファイルを閉じたりといった処理を行う。
【０１３１】
この講義終了の信号を生徒用機器３００−１のＰＣ２１が受信した場合、ＰＣ２１の制御部は、生徒用の仮想空間学習ソフトウェアを用いて仮想空間の描画を終了したり、保存用のファイルを閉じたりという処理を行う。
その上で、次の講義資料・ログ送信要求処理を行う。
【０１３２】
（タイミングＴ１１１）
タイミングＴ１１１において、生徒のＰＣ２１の制御部は、講義資料・ログ送信要求処理を行う。
具体的には、講師が書き込んだ講義資料やＶＲ空間動作データを取得するための要求処理を行う。また、生徒側（リモート）でスライド選択処理や、メモ書き処理が行われて、保存されたファイルが講師側のＰＣ２０やサーバに存在するという場合には、選択されたスライド・メモが書き込まれたファイル・画面ショット等の送信についても要求する。
【０１３３】
（タイミングＴ１１２）
タイミングＴ１１２において、ＰＣ２０の制御部は、講義資料・ログ送信処理を行う。
具体的には、ＰＣ２０の制御部は、講義資料やＶＲ空間動作データと、これに加えて、講師が書き込んだメモ等についても送信することができる。この送信は、講師が許可したことが補助記憶装置に記憶されている場合に行う。
サーバ１００の補助記憶装置に、選択されたスライド・メモが書き込まれたファイル・画面ショット等が記憶されている構成の場合は、上述のユーザ認証時の処理と同様に、まず、ＰＣ２０の制御部がＰＣ２１の制御部に鍵を送信する。この上で、ＰＣ２１の制御部は、サーバ１００からダウンロードすることができる。
【０１３４】
（タイミングＴ１１３）
最後に、タイミングＴ１１３において、生徒用機器３００−１のＰＣ２１の制御部は、講義資料・ログ保存処理を行う。
これは、生徒側のＰＣ２１で上述したようにＵＳＢメモリに、要求したファイルを記憶したり、プリンタで印刷したりする処理である。
この後、講師用機器２００では、生徒管理部１０により、各生徒のＰＣの電源をオフにして、教室の照明等をオフにすることもできる。
以上で、１つの講義を終了する。
【０１３５】
以上のように構成することにより、本発明の実施の形態に係る学習システムＸは以下のような効果を得ることができる。
まず、従来技術１は、多数のウィンドウが開かれて、これを切り換えながら会議を視聴するのが面倒で、操作性が悪いという問題があった。
【０１３６】
これに対して、本発明の実施の形態に係る学習システムＸにおいては、３次元空間で表現される仮想空間に多数の資料を浮かべておくことができる。
すなわち、パワーポイントのスライドや各種カメラの映像について、仮想空間でスライドをスクロールしながら描画することでウィンドウが多数になって視認性を悪くすることなく提示し続けられる。
さらに、仮想空間内の多数の空間スクリーンを選択してつかむというような、直感的に操作を行うことができる。
これにより、講師又は生徒は、ウィンドウが多数描画されていても、直感的に資料の閲覧を行うことができるため、操作性がよくなる。
また、グローブデバイスを用いて直感的に選択し、つかむ状態にすることができるため、機器操作に煩わされることがない。よって、即興性・直感的に操作を行うことが可能になる。
このため、操作性をさらに上げ、学習効率を向上することができる。
【０１３７】
また、従来技術１のｗｅｂ会議システムでは、全員で会議の内容をシェアするための会議システムであって、ｅラーニングシステムのように、講師や生徒がローカルで資料を保持するために用いることができなかった。
また、各生徒が資料のファイルに個別にメモを取ったり浮かんだ発想を書き留めて保存することはできないという問題があった。
【０１３８】
これに対して、本発明の実施の形態に係る学習システムＸにおいては、教師にとっては、事前準備の教材のみでなく、その場で即興的に資料を作ったり、インターネット上の資料・ＨＰ、書画カメラ映像、実物の映像を示したり、書き込みを行ったりできる。
加えて、資料の種類によっては、教師が資料や教材を作り上げてゆく状況、手続き、手順、経緯といったものを生徒に示すこともできる。
これにより、生徒の学習効果を高めることが可能になる。
【０１３９】
生徒にとっては、事前配布の教材のみでなく、上述のように教師が即興的に書き込み処理により作成したり各種カメラの画像として示したりしたものを、即興的・即時的に入手でき、且つ、自分のコメントやメモを書き込みすることができる。さらに、この書き込みが行われた資料を、さかのぼって検討することができる。
また、メモ書き等をした資料のファイルをダウンロードして、手元に残し、授業後にも利用することができる。
【０１４０】
また、現実空間では、講師の即席の資料を、生徒がノートに取るのは困難であったが、仮想空間を用いて、講師の後方に描画されるスライドを選択するだけでノートを取るのと同様に保存でき、これに書き込みを行うことができるため、現実空間で講義のノートをとるよりも便利に用いることができる。加えて、書き込みの様子を録画・再生することもできる。このため、上述の書き込みを遡って検討することと合わせて、講師・生徒とも、自分の思考の展開プロセス・作業プロセスを、動画的に記しておくことが可能となる。
これらの機能により、本発明の実施の形態に係る学習システムＸでは、ｅラーニングシステムの操作性を飛躍的に向上させることができる。
【０１４１】
加えて、講師も生徒のノート書きの時間を意識することなく授業を進めることができるため、講義の進行スピードを早くすることも可能になる。
このため、学習のスピードが早い生徒をイライラさせることなく講義を行うこともできる。さらに、学習スピードが遅い生徒も取得したスライドをチェックし、反復で講義を視聴して復習を行うことで講義を理解することが可能である。
よって、学習スピードが平均的な生徒に合わせて講義を構築する必要がなくなり、より講師のスタイルに合った講義を行うことができる。
【０１４２】
なお、上述のＰＣ２１では、共用のＰＣを用いたために、講義毎に生徒側の仮想空間学習ソフトウェアの環境がリセットされたり、保存したファイルが消去されるように説明したが、上述のファイルをサーバ１００内に保存して、講義の開始時に読み出すように設定することも可能である。さらに、生徒が個人で所有するノートＰＣやＰＤＡ等を持ち込んで講義を受けることも可能である。
これにより、生徒は、自らがカスタマイズした生徒用の仮想空間学習ソフトウェアの環境で、仮想空間内で前の授業で取ったメモ書きのファイルを参照しながら学習を行うことができるため、より学習効率を向上させることができるという効果が得られる。
また、このような授業形態は、少人数性のゼミなどに用いると、より効果的である。加えて、上述のように、レンダリングする生徒の数を制限して表示して、同様な効果を得ることができる。さらに、制限して表示した際に登録した友人等を、実際のゼミのメンバーになってもらうといったことも可能である。
【０１４３】
（再開機能）
上述のように、ログ保存処理を行って講義終了後にも、サーバや講師用機器や生徒用機器やＵＳＢメモリに、講義インタラクション処理中に移動された空間スクリーンの配置の座標、資料の提示順序、関連づけ、展開されたタイミング等を記憶することができる。
そして、講義を復習して再生する際に、空間スクリーンの座標、資料の提示順序、関連づけ、展開されたタイミング等を同じように復元することが可能である。すなわち、作業中断の状態がそのまま保存され、再開時にその状態にて、再生することが可能である。
これにより、授業後に復習する際、授業を受けた状態で、速やかに作業を再開し、メモ等の記憶を思い出す手がかりになり、思考を整理できるため、学習効率を向上させることができる。
【０１４４】
また、生徒が直接持ち込んだノートＰＣやＰＤＡ等で講義を受ける場合には、ウェブブラウザ等でユーザ認証を行うと、ＡｃｔｉｖｅＸやＪａｖａ（登録商標）等の生徒用仮想空間学習ソフトウェアを起動するという構成であってもよい。
この場合は、生徒のＰＣ２１にＨＭＤやグローブデバイス等が接続されていない場合は、キーボードやマウス等の補助入力部７１により、仮想空間の閲覧とメモ書きを行うことができる。
【０１４５】
また、上述の実施の形態においては、仮想空間内に講師のアバター４００が表示されるように記載した。しかし、ポリゴンで描画されたアバター４００ではなく、予め撮影しておいた講師の画像データや、講師撮影用カメラ１７で撮影した講師の姿の画像データを表示することもできる。この画像データは、講師表示用の空間スクリーンを用いたり、ビルボード技術を用いて、２次元的に表示可能である。この際、例えばクロマキー合成を用いて、講師の姿だけを抜きだして、背景に違和感なく表示することができる。
また、この画像データは、ポリゴンの表面にテクスチャマッピング等を行うことも可能である。モーションキャプチャ等の技術を用いて、講師の身体の動きと連動させることも当然可能である。
【実施例】
【０１４６】
本発明の実施の形態に係るバーチャルリアリティを用いた学習システムＸの有用性を検討するため、実験をおこなった。
この実験としては、実際には、まだ社会に出ていない制作物（プロダクト）等を評価する際に、広告効果に関する心理学で扱われている手法を援用した実験を行った。すなわち、プロダクトや案を提示して、それに対する使用欲求や入手意図を評価する態度測定の実験手法を用いて評価を行った。
この評価の測定手法については、官能評価（センソリー・エバリュエーション）あるいは感性評価の手法（例えば、増山英太郎・小林茂雄の手法（１９８９）や神宮英夫（１９９６）の手法等を参照）を用いた。
官能評価とは、人でしか測れない対象を主に言語的表出から測ろうとする心理学における評価手法である。この官能評価では、例えば、料理が「どのように、どれくらい美味しいか」といった、構成する化学的成分を機械によって物理的に測定しても評価が非常に難しいような主観的な評価について、被験者のアンケート調査等の「表出」の情報を用いて統計等を用いて評価することができる。官能評価は、他にも、ヒトにとって評価を行うことが重要だが評価が難しい「居心地の快適感」や「芸術への感動」など、多様な対象に用いられている。
以下、この実験の結果について、実施例として図１３を参照して説明する。
【０１４７】
〔実験方法〕
実験参加者： 講義、講師の経験を持つ者に対しての個別実験であり、７名（男性４、女性３、３０〜５０歳代）であった。
実験装置： 回転センサー付きＨＭＤ（理論画角８０°）、グローブ型入力デバイス、ゲームパッド、ＶＲ空間構築ソフトウェアを用いた。
刺激材料： 説明ＶＴＲ、およびＶＲコンテンツ、パワーポイントスライド（ＶＲ空間内提示）を用いた。
実験手順： まず、実験参加者に実験の概要を説明し、各実験参加者に、（１）従来技術１と同等な公知の２次元の学習システム、（２）講師用機器２００のみ使用による教員側の体験、（３）実際の学習システムＸにより、講師用機器２００と生徒用機器３００−１〜３００−ｎを用いた授業の体験、をしてもらった。その後、７段階評価によって、（１）〜（３）の各システムの利用価値・有用性等の評価のアンケート用紙を直後に記載してもらって回収し、官能評価の手法を用いて評価を行った。（１）は従来から通常用いられているプレゼンテーションシステムを、（２）はスペックが低いシステムを、（３）は本発明の実施の形態に係る学習システムＸの全体像での体験の例に対応する。
【０１４８】
〔結果および考察〕
図１３を参照すると、（１）〜（３）について、各システムの利用価値、貢献度の評価についての、「非常にそう思う」から「まったくそう思わない」までの７段階評価（７件法）において、評定値「４」は「どちらでもない」であるので、それより下は否定的評価、それより上は肯定的評価を意味する。
このうち、実験参加者は、（１）従来の学習システムに比べて、（２）講師用機器２００を使用した講師側の体験だけでも、（１）の評定値「４」よりも上の値を示していた。この（１）と（２）との差は、統計的な有意性はないが、個別のアンケートによると実験参加者のコメントは好意的であり、教師側のＶＲ空間での授業の体験だけでも、有用性は高いという印象であった。
これに対して、（３）のように本発明の実施の形態に係る学習システムＸを用いて、実際に講師用機器２００と、生徒用機器３００−１〜３００−ｎを用いた授業を体験してもらうと、実験参加者は、有用性について顕著な効果を認めてもらえることが分かった。実際に、（１）と（３）の評価の差について二項検定を行ったところ、双方の評定値の間に統計的な有意差があるといえた（ｐ値＜０．０５）。
以上のように、本発明の実施の形態に係る学習システムＸは、教員用の講師用機器２００だけでも教育−学習の官能評価的な利用価値の向上が見込める。さらに、講師用機器２００と生徒用機器３００−１〜３００−ｎを用いた全体的な学習システムＸによる授業に実際に使用することで、官能評価における教育−学習に対する顕著な利用価値が認められ、教育−学習の効果が上がると推測できる。
【０１４９】
（マルチポイントサーバを用いたイベントの同期）
上述の図１の学習システムＸにおいては、ＰＣ２０がＰｔＰ（ピア・トゥー・ピア）のような形式で、１対１の個人レッスンのような送信や、１対多数のストリーミング送信を行うことも可能である。
しかし、実際の講義においては、多数の生徒が講義に参加する場合は、ＰＣ２０の処理能力が飽和することもある。
このため、上述の講義中に用いられる独自形式データは、ＰＣ２０から、一旦、サーバ１００に対して送信し、サーバ１００が中継して多数の生徒用ＰＣにストリーミング送信することも可能である。
また、サーバを多数用意して、サーバ間をポイント・トゥー・ポイントで接続することで、負荷を分散させると同時に、離れた拠点どうしを同期して授業を行うことができる。
【０１５０】
ここで、図１４を参照して、図１の学習システムＸに多数のサーバを追加した際の構成例について説明する。
この図１４のシステムでは、サーバ１００の他に、物理的に離れた箇所にサーバ１１０、サーバ１２０、サーバ１３０を設置し、これらの間をＡＴＭ等の専用線又は帯域が確保されたネットワークで接続している。
ここで、各サーバに接続されたＰＣは、講師側（ローカル）のＰＣでも、生徒側（リモート）のＰＣでもよい。
【０１５１】
この構成例においては、講師側のＰＣで例えば講義を開始する等の処理が行われたり、生徒側のＰＣで例えば講義中に当てられてチャット形式で返答する等、各ＰＣで何らかのイベントが発生した際には、これらの接続されたＰＣ間で仮想空間学習ソフトウェアのオブジェクトやデータについて同期をすることができる。
すなわち、アバターや空間スクリーンの位置情報等がサーバを介して独自信号形式で他のＰＣに送信され、この送信されたデータを受信して、各ＰＣ内が仮想空間学習ソフトウェアにて当該イベントを再現することができる。
この構成例は、大学のように複数の校舎にまたがって存在する学習機関で教養課程等の大規模な授業を行う際に有効である。
【０１５２】
（講師用の整理機能）
上述の学習システムＸにおける講師の講義インタラクションの処理について、さらに改良を行った講師用の整理機能について、以下で図１５の概念図を参照して説明する。
まず、図１５（ａ）の教師用のＶＲ空間の概念図を参照すると、講師は、前もって教材、メモ、資料等の空間スクリーンをＶＲ空間に貼り付けておく。また、各空間スクリーンには、実行日付順、各空間スクリーンに設定したキーワード、設定した重要度順などの属性を設定する。
また、上述のように、映像データや音声データを、各空間スクリーンに記憶しておくこともできる。この音声データは、予め講師が録音しておくこともできる。
このようにＶＲ空間に貼ったデータは、上述のように各空間スクリーンの座標等を、サーバ１００や講師用機器２００の補助記憶装置に「そのまま」保存する。
【０１５３】
次に、図１５（ｂ）の概念図を参照して説明すると、講師がジョイパッド６１等を用いて、コマンドを実行することで、上述の空間スクリーンの属性により並べかえることが可能である。
この並べ替えの際に、必ずしも直線的に整列させる必要はなく、関連する空間スクリーン同士を並べ替え、並べ替えた空間スクリーン同士を「ハイパーリンク」のように「関連ライン」で接続して可視化して示すことができる。この関連ラインを矢印にて示す。
この並べ替えた状態のＶＲ空間の各種データや、関連ラインのポリゴン等の座標についても、サーバ１００や講師用機器２００の補助記憶装置に保存する。
【０１５４】
この状態で、上述する講師の講義インタラクションの処理を行うと、図１４（ｂ）の概念図のように、講師用のＨＭＤに表示されるＶＲ空間は「そのまま」の状態で描画を行われ、授業を開始することができる。この際に、講師が閲覧するための資料や関連ラインは、当然、生徒用機器には表示されない。
また、この授業の際に、生徒に閲覧させる資料は、録音した講師の音声データや公知の音声合成機能等を用いて自動的に読ませることができる。これにより、講師は、その間に、教員は別の作業ができる。すなわち、次にどの資料を利用するか考えることができる。なお、音声合成機能を用いる場合は、資料の文字情報を用いて音声合成を行うが、サーバ又は講師用機器にて、講師の発声の特徴量を抽出するような合成音声アルゴリズムを用いて話すことで、合成された音声の違和感を少なくすることができるために好適である。
また、講師は、フォースフィードバック部（フォースフィードバックデバイス）やグローブデバイス等を用いてアバターを操作し、次にどの資料を使用するかを選択して指定する。この際に、関連ラインを点線で表示したり、点滅させたり、色を変化させて描画する等により区別する。
【０１５５】
また、各資料の空間スクリーンには、講師が属性として設定したり、過去の授業で使用した際の時間に基づく説明に要する時間を表示する。これは、各資料の空間スクリーンの所要の時間は単独で利用されるのではないためである。
さらに、ＶＲ空間内に各種のインジケーターを表示することができる。
この各種のインジケーターとしては、資料積算時間、授業残り時間又は現在時間等について表示することが好適である。資料積算時間としては、残り時間のうち選択した資料で何分が埋まるか、あと何分ぶんの資料が追加できるかについて表示することができる。
また、各種のインジケーターとは、講師が直観的に分かり易いように空間スクリーンや時計状のポリゴン等で表示する。
このように、各資料の空間スクリーンに説明の時間を表示したり、各種のインジケーターを表示することで、どの資料を組み合わせて用いることで、授業時間が埋まるかについて、一目で理解することができるという効果が得られる。
よって、講師にとっては、授業途中でネタ切れしないか、逆に話しすぎで尻切れトンボのような中途半端な状態にならないかが講義の度に心配であるが、これを解消することが可能になる。
【０１５６】
また、講師が資料の空間スクリーンを指定する際に、読み終わった箇所や資料の空間スクリーンは、ＶＲ空間上で消したり、薄い色等に変化させて表示する。
このように構成することで、講師はどの資料を用いているか迷うことがない。また、資料が切り替わるに応じて、関連ラインを太く表示したり、選択されなかった関連ラインを細く表示することが可能である。これにより、資料の並びの整理を行うこともできる。
【０１５７】
また、次回以降何の授業テーマが残っているか、残りの授業日数で何をどこまでこなすか、計画が埋まっているか等について、その時点での授業進行進度によって、資料の空間スクリーンに、刻々と更新して表示することができる。
この資料用の空間スクリーンの表示は、どの資料を選択するか、過去の授業を基にデータベース化された「こなしの過去データ」から算出することができる。
結果として、授業をこなしながらその場で、授業年間計画も、リアルタイムで整理ができる。すなわち、変更があればリアルタイムで更新可能である。
さらに、上述したように、ＶＲ空間に貼ったものは「そのまま」保存しておけるので、講義の直前においても、準備しておける。また、空いた時間に途切れ途切れに整理してゆくことができる。
【０１５８】
さらに、講師がその場で口頭で話したことも、同時にテロップ化して空間スクリーンに表示することができる。このテロップをフォースフィードバック部やグローブデバイス等で「なぞる」ことで、その箇所を、パワーポイント等のスライドの項目として記載することができる。
さらに、各資料の空間数クリーンのキーワードを、授業時に、即興で作成することができる。このキーワードも、各資料の空間スクリーンとして用いることが可能である。
他にも、講師が話していることと資料同士の関連度や一致度順について、キーワードをリアルタイムで設定し、関連ラインをリアルタイムで調整可能である。また、講師として、テストへの出題候補重要順などを設定することも可能である。
この各資料の空間スクリーンに設定した情報もサーバや講師用機器に保存可能である。
加えて、講義の後で、各資料の空間スクリーンと関連ラインの記憶の他に、他の資料用の空間スクリーンを整理することも可能である。
これにより、講師の授業をより効率的にクォリティーを高めることができ、学習効果を向上させることができる。
【産業上の利用可能性】
【０１５９】
本発明においては、ｅラーニングシステムにおいて、講師による教材・資料の示方法と、学生側としての資料活用方法を、仮想現実を用いて行う学習システムと学習方法を提供する。
仮想空間における講義・演習等で３次元空間に示された資料を、学生が自己学習・復習のために利用できるよう、手元に残したり、書き込みをしたり、授業終了後に保存しておくことができ、自分の思考の展開プロセス・作業プロセスを動画的、追体験的に記すことができる。これにより学習効率と操作性が高いｅラーニングシステムを構築することができるため、産業上の利用可能性がある。
【０１６０】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【図面の簡単な説明】
【０１６１】
【図１】本発明の実施の形態に係る学習システムＸのシステム構成の概要を示す概念図である。
【図２】本発明の実施の形態に係る講師用機器２００の制御ブロック図である。
【図３】本発明の実施の形態に係る生徒用機器３００−１の制御ブロック図である。
【図４】本発明の実施の形態に係る学習システムＸのタイミングチャートである。
【図５】本発明の実施の形態に係る講義開始の処理を示すフローチャートである。
【図６】本発明の実施の形態に係る講師用機器２００のＨＭＤ３０の表示画面例を示す図である。
【図７】本発明の実施の形態に係る生徒用機器３００−１のＨＭＤ３０の表示画面例を示す図である。
【図８】本発明の実施の形態に係るアバターの動作処理を示すフローチャートである。
【図９】本発明の実施の形態に係るスライドのデータを示すテーブルの概念図である。
【図１０】本発明の実施の形態に係る講師用機器２００の講義インタラクションの処理を示すフローチャートである。
【図１１】本発明の実施の形態に係るの生徒用機器３００−１の講義インタラクションの処理を示すフローチャートである。
【図１２】本発明の実施の形態に係るスライドのメモ処理を示すフローチャートである。
【図１３】本発明の実施の形態に係る実施例の実験結果を示すグラフである。
【図１４】本発明の実施の形態に係る複数のサーバを用いるシステムについての構成の概要を示す概念図である。
【図１５】本発明の実施の形態に係る講師用の整理機能の概念図である。
【符号の説明】
【０１６２】
５ ネットワーク
１０、１１ 生徒管理部
１５ 講師使用カメラ
１６ 教室用カメラ
１７ 講師撮影用カメラ
１８ 書画カメラ
２０、２１ ＰＣ
３０、３１ ＨＭＤ（表示手段）
３２、３３ ＨＭＤ本体部
３４、３５ ジャイロセンサ
３６、３７ ヘッドフォンマイク
４０、４１ 表示部（表示手段）
４５、４６ 切換器部
５０、５１ グローブデバイス
５２、５３ グローブ本体部
５４、５５ 磁気センサ
６０、６１ ジョイパッド
７０、７１ 補助入力部
１００、１１０、１２０、１３０ サーバ
２００ 講師用機器
３００−１〜３００−ｎ 生徒用機器
４００、４５０、４５１ アバター
４１０ 講師板書画面
４１７ 講師撮影用カメラ画面
４４０−１〜４４０−ｎ 空間スクリーン
４６０ カーソル
Ｘ 学習システム
【技術分野】
【０００１】
本発明は、学習システム、記憶媒体及び学習方法、特に仮想現実（ＶＲ、バーチャル・リアリティ）技術を用いた学習システム、記憶媒体及び学習方法に関する。
【背景技術】
【０００２】
近年、コンピュータとネットワーク技術の発展により、ＰＣ（パーソナル・コンピュータ）等の端末と専用回線やインターネット網等のネットワークを用いて、遠隔地において授業を受けるｅラーニングシステム（ｅ−ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍ）が開発されてきている。
【０００３】
このｅラーニングシステムには、予め録画された講義のファイルをビデオ・オン・デマンドのようにダウンロード又はストリーミングで視聴するタイプと、リアルタイムの講義をストリーミング視聴するタイプのシステムがある。
本明細書においては、前者の録画された授業を視聴するｅラーニングシステムを非同期型といい、後者のリアルタイムの講義をストリーミング視聴をするものを同期型という。
【０００４】
非同期型のｅラーニングシステムにおいては、講義の資料については、事前に（紙）媒体で配布するか、ＨＴＭＬ・ＰＤＦ・パワーポイント（登録商標）形式の資料をダウンロードし、それを印刷又は同一画面上で生徒（学生）自らが操作して参照しながら講義を受ける。
そして、生徒が講義を視聴した後で、課題やレポート等を講師に対してｅ−ｍａｉｌ等で送信するシステムになっていることが多い。
これにより、郵送で課題やレポートの提出を行わなくて済む利便性はあるものの、授業を受ける仕組みとしては、従来の通信教育に近い。
【０００５】
これに対して、同期型のｅラーニングシステムにおいては、生徒が講義のストリーミング放送を視聴するＰＣの同じ画面上に、講義の進行に応じてパワーポイントの各スライドが自動的に切り替わって表示されるようなものが存在する。
【０００６】
しかしながら、通常、同期型のｅラーニングシステムにおいては、講義の資料を生徒が手元に置いておくためには、（１）非同期型のｅラーニングシステムと同様に講義開始前に紙媒体又はダウンロードして入手するか、（２）ストリーミング視聴中に生徒が画面キャプチャ又は写真に撮るか、（３）講義終了後に紙媒体又はダウンロードしてファイルを入手するか、の方法しかない。
生徒が、講義時にメモを取ったり浮かんだ発想を書き留めたりする為には、（１）の方法を用いて紙媒体の資料に書き込むしかない。
紙媒体の資料は事前に配布を受けるものであるから、講師がリアルタイムに又は即興的に作成（引用）呈示してストリーミング放送された資料に対しては、講義時にメモを取ったり浮かんだ発想を書き留めたりするのが難しいという問題がある。
【０００７】
ここで、特許文献１を参照すると、テレビ会議システムにおいて、リアルタイムに注釈付けを行うことができるインタラクティブ環境で情報を交換する方法が提示されている（以下、従来技術１とする）。
従来技術１の方法においては、ストリーミング放送をドラッグ＆ドロップすることで、他のあるＰＣから他のＰＣやプロジェクタ等の物理的装置に簡単に表示することができるＧＵＩ（グラフィカル・ユーザー・インターフェイス）を備えている。
また、従来技術１の方法においては、ストリーミング放送（例えば、グラフ等のプレゼンテーション資料に書き込んだ映像）を別の装置に同時に表示されるようにし、この別の装置で注釈をつけた映像を、他のテレビ会議の参加者と共有することが可能である。
【特許文献１】特開２００５−５１７７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、従来技術１においては、同期型のｅラーニングシステムに適用すると、講師がストリーミング放送においてマウスを用いて映像に注釈することはできるものの、平面である同一画面上で複数のウィンドウを表示して操作するのは大変であり、操作性が悪いという問題があった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、上述の問題を解消することを課題とする。
【課題を解決するための手段】
【００１０】
本発明の学習システムは、講師側の機器と生徒側の機器との間で講義を行う学習システムであって、３次元で描写される仮想空間を描画する仮想現実技術を用いた講師用ソフトウェアを含む前記講師側の機器と、前記仮想現実技術を用いた生徒用ソフトウェアを含む前記生徒側の機器と、前記講師側の機器と生徒側の機器との間で、前記仮想空間を描画するための講義の信号を送受信するネットワーク手段とを備えることを特徴とする。
本発明の学習システムは、前記講師側の機器は、前記仮想空間のためのコントロール信号を入力するための第１入力手段と、前記講義で用いられる講義資料のデータを保存する記憶手段と、前記仮想空間に、前記コントロール信号により講師用ソフトウェアのコマンドを選択するためのインターフェイスである第１アバターと、講義資料を描画するポリゴンである空間スクリーンとをレンダリングする第１レンダリング手段と、前記コントロール信号により前記講師用ソフトウェアにて前記第１アバターと前記空間スクリーンの空間位置を移動し、前記コマンドを実行する第１制御手段とを備えることを特徴とする。
本発明の学習システムは、前記生徒側の機器は、前記仮想空間のためのコントロール信号を入力するための第２入力手段と、前記仮想空間に、前記コントロール信号によりは生徒用ソフトウェアのコマンドを選択するためのインターフェイスである第２アバターと、講義資料を描画するポリゴンである空間スクリーンとをレンダリングする第２レンダリング手段と、前記コントロール信号により前記生徒用ソフトウェアにて前記第２アバターと前記空間スクリーンの空間位置を移動し、前記コマンドを実行する第２制御手段とを備えることを特徴とする。
本発明の学習システムは、前記講師側の機器又は前記生徒側の機器は、前記第１レンダリング手段により描画された仮想空間を表示するための第１表示手段又は前記第２レンダリング手段により描画された仮想空間を表示するための第２表示手段を備え、前記第１入力手段又は前記第２入力手段は、フォースフィードバックデバイス、グローブデバイス、又はジョイパッドを備えることを特徴とする。
本発明の学習システムは、前記空間スクリーンは、前記第１入力手段又は前記第２入力手段の前記グローブデバイス及び／又はジョイパッドのコントロール信号を元に空間位置を移動する空間スクリーンであることを特徴とする。
本発明の学習システムは、前記空間スクリーンは、前記入力手段からのコントロール信号により作成する空間スクリーンであることを特徴とする。
本発明の学習システムは、前記講師側の機器は、映像入力手段を更に備えることを特徴とする。
本発明の学習システムは、前記空間スクリーンは、前記映像入力手段により入力されたリアルタイムに又は即興的に作成又は引用された資料を講義資料として描画することを特徴とする。
本発明の学習システムは、前記空間スクリーンは、前記アバターの背後にサムネイル表示する空間スクリーンであることを特徴とする。
本発明の学習システムは、前記サムネイル表示する空間スクリーンは、前記講義において描画された講義資料のスライドが更新される際に更新される前のスライドを描画して作成する空間スクリーンであることを特徴とする。
本発明の学習システムは、前記講師側の機器は、時間を計測するタイマー手段を更に備え、前記サムネイル表示する空間スクリーンは、前記リアルタイムに又は即興的に作成又は引用された資料が描画された空間スクリーンから、前記タイマー手段で計測した所定の時間に画面ショットを描画して作成する空間スクリーンであることを特徴とする。
本発明の学習システムは、前記空間レンダリング手段は、前記サムネイル表示された前記空間スクリーンがアバターの背後に多くなった場合にスクロールするレンダリング手段であることを特徴とする。
本発明の学習システムは、前記生徒側の機器、又は前記講師側の機器の制御手段は、前記仮想空間で前記サムネイル表示された前記空間スクリーンが前記コントロール信号により移動した際に、何も描画されていない前記空間スクリーンに重なったことを検知して、前記サムネイル表示された前記空間スクリーンの描画内容を前記記憶手段に保存するコマンドを実行する制御手段であることを特徴とする。
本発明の学習システムは、前記第１制御手段又は第２制御手段は、前記空間スクリーンに前記入力手段からのコントロール信号により、文字又は画像を文字入力又は描画して記憶手段に記憶する制御手段であることを特徴とする。
本発明の学習システムは、前記第１制御手段又は第２制御手段は、更に文字又は画像を描画した前記空間スクリーンを、別の前記空間スクリーンと関連づけする制御手段であることを特徴とする。
本発明の学習システムは、前記第１制御手段又は第２制御手段は、更に文字又は画像を前記グローブデバイスからのコントロール信号により文字入力又は描画する制御手段であることを特徴とする。
本発明の学習システムは、文字又は画像を描画した前記空間スクリーンは、更に前記文字又は画像を描画した時間を記憶手段に記憶していることを特徴とする。
本発明の学習システムは、前記ネットワーク手段は、前記仮想空間の描画に関する情報を含むＶＲ空間動作データを含む前記講義の信号を送信することを特徴とする。
本発明の学習システムは、前記第１制御手段又は第２制御手段は、更に音声入力手段を備え、該音声入力手段から入力した音声信号を基にコントロール信号として用いる制御手段であることを特徴とする。
本発明の学習システムは、講義資料を記憶して、前記講師側の機器からの信号により前記生徒側の機器に前記ネットワーク手段を介して講義資料を送信するサーバを更に含むことを特徴とする。
本発明の学習システムは、前記サーバは更に複数の拠点に設置され、前記サーバ間で前記講義の信号を送受信するサーバであることを特徴とする。
本発明の学習システムは、前記第１表示手段は第１ＨＭＤであり、前記第２表示手段は第２ＨＭＤであることを特徴とする。
本発明の記憶媒体は、講師用ソフトウェア及び／又は生徒用ソフトウェアが記憶されていることを特徴とする。
本発明の学習方法は、仮想現実技術を用いて講師側の機器と生徒側の機器との間で講義を行う学習システムにおいて、講師のアバター又は画像データを表示し、講義資料のデータを仮想空間内の空間スクリーンに描画し、講師が前記講義資料のスライドを更新したとき又は所定時間経過後に、前記講師のアバター又は画像データの背後に別の空間スクリーンを作成して並べ、前記別の空間スクリーンに、更新前の前記スライドを描画し、前記別の空間スクリーンが多くなった際に、スクロールすることを特徴とする。
本発明の学習方法は、前記スライドが描画された空間スクリーンが、何も描画されていない別の空間スクリーンと空間位置が重なった際に、描画内容を記憶手段に保存することを特徴とする。
本発明の学習方法は、前記スライドが描画された空間スクリーンに、入力手段からのコントロール信号により文字又は画像の描画をすることを特徴とする。
本発明の学習方法は、前記講義資料と講師の音声とＶＲ空間動作データとを再生データとして講師用機器又はサーバに保存し、前記再生データを講義で再生して、生徒側の機器に送信し、講師が講義インタラクションを行うと、前記再生データと入れ替えて生徒側の機器に送信することを特徴とする。
本発明の学習方法は、前記生徒側の機器は、前記第１アバターが正面近くに表示するようにビューポイントを調整してレンダリングすることを特徴とする。
本発明の学習方法は、前記講師のアバターを複数表示し、講師の指示を検知して、前記複数のアバターを切り替えて、該切り替えたアバターを用いて講義インタラクション処理を行うことを特徴とする。
本発明の学習方法は、前記講師側の機器又は複数の前記生徒側の機器との間で、音声チャットを行い、前記音声チャットの音声を音声認識して前記空間スクリーンに描画することを特徴とする。
本発明の学習方法は、前記空間スクリーンは、前記講師側の機器又は複数の前記生徒側の機器との間で共用し、前記講師側の機器又は又は複数の前記生徒側の機器から、共用した前記空間スクリーンに文字又は画像の描画をすることを特徴とする。
本発明の学習方法は、前記空間スクリーンに表示する文字は、前記講師側の機器又は前記生徒側の機器で入力された音声又は手書き文字の特徴を基にして描画することを特徴とする。
本発明の学習方法は、前記講師の音声とＶＲ空間動作データとを前記サーバに記憶し、前記生徒側の機器は、前記サーバに記憶された前記再生データを早送り再生することを特徴とする。
本発明の学習方法は、前記講義資料の空間スクリーンにＵＲＬの属性を記憶し、前記生徒側の機器により前記ＵＲＬを記憶した前記講義資料の空間スクリーンにアクセスすると、前記ＵＲＬのファイルを該空間スクリーンに表示することを特徴とする。
本発明の学習方法は、前記空間スクリーンの描画座標及び関連づけを記憶し、復習時に前記空間スクリーンを前記記憶された描画座標及び関連づけで描画することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ＶＲ（バーチャル・リアリティ）技術を用いることで、操作性のよい学習システムを提供することができる。
【発明を実施するための最良の形態】
【００１２】
＜実施の形態＞
〔学習システムＸの構成構成〕
まず、図１を参照して、本発明の実施の形態に係る学習システムＸの構成の概要について説明する。
学習システムＸは、ＶＲ（バーチャル・リアリティ）技術を導入したｅラーニングシステムである。ＶＲとは、３次元ＣＧ（コンピュータ・グラフィックス）により仮想空間を作成し、更に聴覚、触覚・体性感覚、嗅覚、味覚等の組み合わせにより、人工的な現実感を作り出す技術のことをいう。ＶＲにおいては、ＨＭＤ（ヘッド・マウント・ディスプレイ；表示手段）やフォース・フィードバック等の技術を用いてユーザの行動を仮想空間内での各種オブジェクトの動作に反映させることができる。
さらにＶＲにおいては、３次元空間内の位置・座標を入力するためのデバイスを用いることが多い。このデバイスとしては、グローブデバイス、データグローブ、３次元グローブ、又はサイバーグローブ（登録商標）と呼ばれるような手を包み込むように装備するデバイスを用いると、３次元空間内のオブジェクト（数値データ化された物体）の動作を視覚的・感覚的にコントロールするための信号を入力できるため、好適である。
【００１３】
ここで、学習システムＸは、講義用の資料のファイルや映像データをＨＤＤ等の補助記憶装置に記憶したＰＣ／ＡＴ互換機等のＰＣ（パーソナル・コンピュータ）やサーバ等であるサーバ１００と、各種カメラが接続されており講師が使用する講師用機器２００（講師側の機器）と、生徒が使用して講義を視聴する生徒用機器３００−１〜３００−ｎ（生徒側の機器）とが、イーサネット（登録商標）や無線ＬＡＮ（ローカル・エリア・ネットワーク）等の構内ＬＡＮであるネットワーク５（ネットワーク手段）に接続されている。このネットワーク５は、インターネットやＡＴＭ回線等の専用回線に接続されており、外部の拠点にあるサーバやウェブカメラ等と接続することができる。
なお、本発明の実施の形態においては、学習システムＸにおける発信側、すなわち講師用機器２００を始めとする講師側を「ローカル」という。同様に、学習システムＸにおける受信側、すなわち生徒用機器３００−１を始めとする生徒側を「リモート」という。
【００１４】
講師用機器２００や生徒用機器３００−１〜３００−ｎには、頭部に搭載するディスプレイで画面が空中に浮かんでいるように表示されるＨＭＤが接続されており、また、手を包むように装備して指の位置や動きを電気信号に変換する入力装置であるグローブデバイス（サイバーグローブ）が接続されている。このグローブデバイス、ジョイパッド、キーボードやマウス等からの入力信号により、仮想空間内での講師又は生徒の化身として描画されるＣＧで描かれた人体キャラクタや手のキャラクタである「アバター」の動作をコントロールすることができる。
さらに、講師用機器２００や生徒用機器３００−１〜３００−ｎには、仮想空間内での各種のコマンド実行を簡易的に行うためのジョイパッド等を備えている。なお、後述するように、このコマンド実行はジョイパッド、又はキーボードやマウス等の補助入力部を用いて行うことも可能である。
以下で、制御ブロック図を参照して、講師用機器２００と、生徒用機器の１例である生徒用機器３００−１の構成について、さらに詳細に説明する。
【００１５】
〔制御構成〕
図２を参照すると、講師用機器２００は、生徒のＰＣの接続等を監視することができるインターフェイス及びソフトウェアである生徒管理部１０と、上下左右ズーム等の操作が可能であるｗｅｂカメラやＵＳＢカメラ等である講師使用カメラ１５と、仮想空間内に描画される教室で用いる教室用カメラ１６と、講師を外部から撮影するための講師撮影用カメラ１７と、講師がリアルタイムに又は即興的に作成（引用）呈示する資料を撮影するための書画カメラ１８と、これらの映像を入力するキャプチャデバイスやＵＳＢ端子等と、講義資料やデータ等を記憶する一般的なＨＤＤやフラッシュメモリやＲＯＭ等の補助記憶装置（記憶手段）・ＲＡＭ等の主記憶装置・Ｉ／Ｏを制御するチップセット・ビデオカード（レンダリング手段）・ＣＰＵ等の制御装置（制御手段）・バッテリバックアップ時計であるタイマー（タイマー手段）を含むＰＣ２０と、講師が装着して仮想空間の映像を表示するＨＭＤであるＨＭＤ３０（第１表示手段，第１ＨＭＤ）と、外部液晶ディスプレイ・フロントプロジェクタ・ＰＤＰパネル等である表示部４０（第１表示手段）と、ビデオカードからの映像信号を表示部４０とＨＭＤ３０とに切り換える切換器部４５と、講師が装着して後述する手のアバターをコントロールするグローブデバイス５０と、複数のボタンとアナログスティック等を備えた汎用の（ビデオゲーム用）入力装置であるＵＳＢ接続のジョイパッド６０と、キーボードやマウスやタッチパッド等のＰＣ用の一般的な入力機器と電磁タブレットやタッチパネル等の筆記用の入力機器を含む補助入力部７０とを備えて、さらにネットワーク５に接続している。
また、上述のグローブデバイス５０と、ジョイパッド６０と、補助入力部７０とは、適宜、入力手段として用いることができる。
また、講師使用カメラ１５と、教室用カメラ１６と、講師撮影用カメラ１７と、書画カメラ１８とは、適宜、映像入力手段として用いることができる。
【００１６】
さらに詳しく説明すると、生徒管理部１０は、生徒側のＰＣの状態や生徒の出欠を知ることができるハードウェア又はソフトウェアであれば何でもよく、例えばネットワーク上で生徒の出欠の管理ができる株式会社コンピュータ・ウィング製のＷｉｎｇｎｅｔ等を使用することができる。この場合は、生徒管理部１０は特別なケーブル等で生徒側のＰＣに接続するのではなく、ネットワーク５を用いて接続する。また、講師用機器２００においては、この生徒管理部１０からの信号を受信するだけでなく、生徒管理部１０に信号を発信して、生徒用機器３００−１〜３００−ｎのいずれかの電源をマジックパケット等を用いてオンにし、自動的に講義受信開始の状態にすることもできる。
ＰＣ２０では、仮想空間を構築することができ、仮想空間でのアバターのコントロールを行うことができ、後述する空間スクリーンを複数もつことができる、仮想空間を用いたｅラーニングシステムを実現する講師用の仮想空間学習ソフトウェア（講師用ソフトウェア）を補助記憶装置に記憶している。ＰＣ２０の制御装置は、この講師用の仮想空間学習ソフトウェアを主記憶装置にロードして実行している。さらに、ＰＣ２０は、生徒管理部１０とネットワーク５を介して生徒用機器３００−１〜３００−ｎの状態を把握することができる、講義管理ソフトウェアも補助記憶装置に記憶しており、制御装置が講義開始時に主記憶装置にロードして実行する。
なお、生徒管理部１０がソフトウェアの場合は、ＰＣ２０に内蔵する構成にすることも可能である。この場合は、講義管理ソフトウェアと統合して運用することができる。
【００１７】
ＨＭＤ３０は、左右の眼用にポリシリコン液晶・ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）・有機ＥＬ等の超小型ディスプレイとプリズムやレンズ等の光学部品とを備えて更にその駆動回路を備えるＨＭＤ本体部３２と、装着者の頭の３次元空間上の位置や視線等をトラッキング可能なジャイロセンサ３４と、いわゆるヘッドセット等であるマイクとヘッドフォンやニア・フィールドスピーカー等であるヘッドフォンマイク３６とを備える。
なお、ジャイロセンサ３４は、同様の機能を備えた磁気センサを用いることができる。さらに、レーザージャイロ、電場センサ、赤外線等で位置をトラッキングする装置、カメラ等を用いて画像認識で位置を捉える装置等、３次元空間上の位置や視線等を検知する各種の技術を用いることができる。
また、ＨＭＤ３０に電極等を備え、脳波や脳磁場の特徴を統計的手法等により検知する装置により、ジャイロセンサ３４と同等の機能を実現することもできる（たとえば、「ｈｔｔｐ：／／ｗｗｗ．ｐｎａｓ．ｏｒｇ／ｃｇｉ／ｃｏｎｔｅｎｔ／ａｂｓｔｒａｃｔ／１０１／５１／１７８４９」のような技術を用いることができる）。
【００１８】
また、ＨＭＤ３０用にはビデオカードにて両目間の視差を計算した左眼用と右眼用の映像信号が別々に送信されており、これをＨＭＤ本体部３２の左眼用ディスプレイと右眼用ディスプレイが描画する。
この左右の眼用の別々の映像は、切換器部４５で切り換えて表示部４０が表示する際には、視差バリアタイプの３Ｄ液晶や、偏光により眼鏡をかけると左右の眼毎に別の表示を見ることができるプロジェクタ等に接続することができる。また、表示部４０では、左右の眼用の映像の一方を１つのディスプレイで表示することもできる。これら、ＨＭＤ３０と表示部４０とは第１表示手段である。
【００１９】
グローブデバイス５０は、圧力センサや接触センサ等であって装着者の指の位置や動きを電気信号に変換するグローブ本体部５２と、グローブデバイス５０の３次元空間上の座標をトラッキング可能な磁気センサ５４とを備える。
なお、グローブデバイスの磁気センサ５４についても、ジャイロセンサ３４と同様に、ジャイロセンサ、レーザージャイロ、赤外線トラッキング装置、画像認識による位置認識装置等、３次元空間上の位置を検知する各種の技術を用いることができる。また、脳波と連動する指の微弱な電流等を検知する装置（たとえば、「ＭｉｎｄＤｒｉｖｅ」等）により、磁気センサ５４と同等な機能を実現することも可能である。
また、ジョイパッド６０はフォースフィードバックデバイス（フォースフィードバック部）のような、ＶＲ空間をなぞると計算された質感を返すような機器であってもよい。
【００２０】
なお、講師用機器２００と生徒用機器３００−１〜３００−ｎにおいては、グローブデバイス５０を用いない構成も可能である。この場合は、仮想空間上の手のアバターは、ジョイパッド６０のアナログスティック等からの信号によりコントロールすることが可能である。
また、講師用機器２００における各種カメラである、講師使用カメラ１５と、教室用カメラ１６と、講師撮影用カメラ１７と、書画カメラ１８とは、サーバ１００に装備することも、ネットワークカメラのように直接ネットワーク５に接続するような構成とすることも可能である。この場合でも、上下左右パンやズーム等のコントロールは講師用機器２００から行うことが可能であることが望ましい。
【００２１】
次に、図３を参照すると、生徒用機器３００−１の、生徒管理部１０は生徒管理部１１と、ＨＭＤ３１（第２表示手段，第２ＨＭＤ）はＨＭＤ３０と、ＨＭＤ本体部３３はＨＭＤ本体部３２と、ジャイロセンサ３５はジャイロセンサ３４と、ヘッドフォンマイク３７はヘッドフォンマイク３６と、表示部４１（第２表示手段）は表示部４０と、切換器部４６は切換器部４５と、グローブデバイス５１はグローブデバイス５０と、グローブ本体部５３はグローブ本体部５２と、磁気センサ５５は磁気センサ５４と、ジョイパッド６１はジョイパッド６０と、補助入力部７１は補助入力部７０と同等の構成要素である。また、ＨＭＤ３１と表示部４１は第２表示手段である。
【００２２】
生徒用機器３００−１においては、講師用機器２００から各種カメラである、講師使用カメラ１５と、教室用カメラ１６と、講師撮影用カメラ１７と、書画カメラ１８が除かれている点が異なっている。
また、生徒管理部１０と同等の生徒管理部１１への信号を受信することができるだけである点も異なっている。
加えて、ＰＣ２１は、ＰＣ／ＡＴ互換機等のＰＣやＭＡＣ規格等のＰＣであるが、ノートＰＣ等のコンパクトなＰＣであることが望ましい。さらに、ＰＣ２１に関しては、ハッキング等を防ぐために、後述する生徒用の仮想空間学習ソフトウェアのみをインストールするような、シンクライアント（ｔｈｉｎ ｃｌｉｅｎｔ）システムを用いることもできる。
また、ノートＰＣの外部画像出力は１画面分だけであることが多いので、ＰＣ２１は、２画面出力可能で３次元描画能力が高い例えばＰＣカード（ＣａｒｄＢｕｓ）接続のビデオカードを別途装備することが望ましい。
【００２３】
また、ＰＣ２１は講師用機器２００のＰＣ２０と異なり、生徒用の仮想空間学習ソフトウェア（生徒用ソフトウェア）が補助記憶装置に記憶されており、制御装置が主記憶装置にロードして実行している。
なお、生徒用の仮想空間学習ソフトウェアも、後述する空間スクリーンを複数もつことができる。
生徒用機器３００−１の他の構成要素は、講師用機器２００と同一である。また、同一の符号を付けられた構成要素は同一の機器であることを示す。また、生徒用機器３００−２〜３００−ｎは、生徒用機器３００−１と同一の構成をもつ。
なお、以下の仮想空間を用いた処理の説明では、生徒用機器３００−１を生徒用機器の代表として説明する。
【００２４】
〔講義の開始処理〕
次に図４〜図５を用いて、本発明の実施の形態に係る学習システムＸにおける、実際に講義を行う際の処理の流れと、主に講師側（ローカル）からの講義の開始処理について説明する。
【００２５】
（タイミングＴ１０１）
まずは、図４のタイミングチャートを参照して説明する。
タイミングＴ１０１において、講義の開始時に講師用と生徒用のＰＣがそれぞれ起動されて準備が完了した後、生徒側（リモート）である生徒用機器３００−１の制御部は、講師側（ローカル）側である講師用機器２００に対して、生徒管理部１０を用いて講義参加要求の信号を送信する。
この講義参加要求の信号に関しては、生徒用の仮想空間学習ソフトウェアを起動した後、生徒がアカウント名や指紋認証等を行った信号を用いて、ＰＣ２１の制御部がネットワーク５を介して行う。
【００２６】
（タイミングＴ１０２）
タイミングＴ１０２において、講義参加要求の信号を受信する講師用機器２００では、ＰＣ２０の補助記憶装置に生徒のデータベースが記憶されている。
ＰＣ２０の制御部は、このデータベースを基にして、講義管理用ソフトウェアのユーザー認証機能を用いて生徒用機器３００−１との間でユーザ認証を行う。
このユーザ認証が終了すると、講師用機器２００のＰＣ２０の制御部は、サーバ１００のアクセスキーを送信する。
【００２７】
（タイミングＴ１０３）
タイミングＴ１０３において、生徒用機器３００−１のＰＣ２１の制御部が、サーバ１００にこのアクセスキーを用いてアクセスして、講義中の仮想空間内で用いられるアバターのモデリングデータや動作用のマクロ（規則）等と、講義資料のパワーポイント用ファイル等である講義準備用ファイルをダウンロードする。
なお、講義資料のファイルやアバターのデータは、サーバではなく講師用機器２００の補助記憶装置から直接ダウンロードするように構成してもよい。この場合は、サーバ１００はなくてもよいが、同一のファイルを記憶しているミラーとして用いることもできる。
さらに、講義資料に関しては、ユーザ認証をサーバ１００で行い、サーバ１００に対して直接送信するように要求することも可能である。この場合は、サーバ１００により生徒管理部１０に対して送信された信号を用いて、講師用機器２００の講義管理用ソフトウェアが各生徒のダウンロードの状態を把握できるようにすることが望ましい。
また、上述の講義準備用ファイルには、生徒用の仮想空間学習ソフトウェアそのものが含まれていて、ダウンロード後にＰＣ２１の制御部が自動的にアップデートするようにしてもよい。この構成では、生徒が各自で生徒用の仮想空間学習ソフトウェアをアップデートしてバージョンの差で不具合が生じる可能性を防ぐことができる。
【００２８】
（タイミングＴ１０４）
タイミングＴ１０４において、生徒用機器３００−１のＰＣ２１の制御部は、上述のデータのダウンロードが終了した場合、生徒用仮想空間学習ソフトウェアにより、ネットワーク５を介して講義参加準備完了信号を送信する。
【００２９】
（タイミングＴ１０５）
タイミングＴ１０５において、講師用機器２００のＰＣ２０は講義参加準備完了信号を受信し、ＰＣ２０の制御部が講義管理用ソフトウェアに反映させる。
ここで、すべての生徒の講義参加準備完了信号を確認した講師は、講義開始の指示をＰＣ２０に対して行う。
この指示を受信すると、ＰＣ２０の制御部は、講義開始の処理を始める。これにより、仮想空間学習ソフトウェアの各種処理をスタートすることができる。
【００３０】
次に、図５のフローチャートを参照して、図４の（１）の処理である、Ｔ１０５の講義開始処理の具体的な内容について、さらに詳しく説明する。
この講義開始処理は、主に講師用機器２００のＰＣ２０の講義管理用ソフトウェアにより、ＰＣ２０の制御部が実行する。
【００３１】
（ステップＳ１０１）
まず、ステップＳ１０１において、ＰＣ２０の制御部は、音声録音用のＰＣ２０のマイク入力が正常に起動するかのテスト等を行い、ヘッドフォンマイク３６のマイクからの音声信号をデジタル信号に変換して、ＭＰ３、ＡＡＣやＷＡＶ形式等の音声データで記憶する音声録音処理を開始する。この際に、この音声データは、講義管理用ソフトウェアが録音用ソフトウェアを作動させてＰＣ２０の補助記憶装置に記憶する。
なお、以下のステップにおいて、ＰＣ２０の補助記憶装置に録音・録画されるデータは、すべてサーバ１００の補助記憶装置にもミラーリングにより記憶して、後で用いることができる。また、上述したように、サーバ１００に直接音声データや映像データとして記憶する
【００３２】
（ステップＳ１０２）
次に、ステップＳ１０２において、ＰＣ２０の制御部は、各種カメラである、講師使用カメラ１５と、教室用カメラ１６と、講師撮影用カメラ１７と、書画カメラ１８からの録画を受信して、これを録画するビデオ保存処理を開始する。具体的には、ＰＣ２０の制御部又はキャプチャデバイスは、カメラからの映像信号をＭＰＥＧ２やＭＰＥＧ４等の映像データに変換し、ＰＣ２０の補助記憶装置に記憶する。
なお、これらのカメラに音声入力があった場合は、映像データと同時に音声データも録音することができる。
【００３３】
（ステップＳ１０３）
次に、ステップＳ１０３において、ＰＣ２０の制御部は、講師用機器２００にて講師が仮想空間内でアバターの操作を行った際に、アバターや空間スクリーンの３次元空間の位置座標内での移動や動作のコマンド等の履歴であるＶＲ空間動作データをそのまま記憶するＶＲ空間動作履歴保存処理を開始する。
このＶＲ空間動作履歴保存処理により保存されたＶＲ空間動作データにより、後に生徒が講義を視聴した際に、他のデータと連動して講師のアバターの動作やスライド等の仮想空間内での動きなどを、そのまま再現することが可能である。
【００３４】
（ステップＳ１０４）
次に、ステップＳ１０４において、ＰＣ２０の制御部は、講師用仮想空間学習ソフトウェアをスタートする。
講師用仮想空間学習ソフトウェアは、この段階では、実際の講義のデータを送信するための各種の初期化処理を行う。このデータとしては、音声データ、映像データ、ＶＲ空間動作データ等の、実際の講義中に用いられるデータをまとめて、講師用と生徒用の仮想空間学習ソフトウェアが用いる独自形式のデータとして送信することができる。
【００３５】
また、この仮想空間学習ソフトウェアが用いるデータとしては、独自形式のデータとは別に、映像と音声のストリーミング放送を別々に送信することも可能である。この場合は、高速なネットワークやＱｏＳ等を用いて、ネットワークの帯域を十分に確保することが望ましい。
以上で、講師用機器２００における講義開始処理を終了する。
【００３６】
（タイミングＴ１０６）
ここで、図４に戻って説明を続ける。
上述のように、ＰＣ２０の制御部は、講師用仮想空間学習ソフトウェアをスタートさせているので、上述の独自形式のデータをストリーミング送信にて、ネットワーク５を介して生徒用機器３００−１に音声・ビデオ送信処理を開始する。
【００３７】
（タイミングＴ１０７）
タイミングＴ１０７において、上述の音声・ビデオ送信処理が行われると、生徒用機器３００−１のＰＣ２１の制御部は、生徒用の仮想空間学習ソフトウェアにより、上述のストリーミング送信された独自形式のデータを検知して講義の受信を開始する。ここで、生徒用の仮想空間学習ソフトウェアも開始する。
これにより、実際の講義が開始される。
【００３８】
（タイミングＴ１０８とタイミングＴ１０９）
次に、講義が開始されると、講師用機器２００と生徒用機器３００−１との間で、講師用と生徒用のそれぞれの仮想空間学習ソフトウェアを用いて、図４の（２）の処理が行われる。
タイミングＴ１０８においては、講師用機器２００では、講師用の仮想空間学習ソフトウェアを用いて、ＰＣ２０の制御部が講義インタラクションの処理を行う。
タイミングＴ１０９においては、生徒用機器３００−１では、生徒用の仮想空間学習ソフトウェアを用いて、ＰＣ２１の制御部が講義インタラクションの処理を行う。
【００３９】
〔仮想空間学習ソフトウェアの描画処理〕
ここで、図６〜図８を参照して、実際の講義中に、講師用と生徒用の仮想空間学習ソフトウェアにおいて、実際の講師又は生徒の講義インタラクションで用いられる、仮想空間における描画の説明を行う。
【００４０】
図６は講師側（ローカル）のＨＭＤに表示される、ＰＣ２０の講師用の仮想空間学習ソフトウェアにて作成する画面の１例であり、ＰＣ２０の制御部がビデオカードにレンダリングした３次元ＣＧの映像から、左右のうち１方の映像の画面ショットを取得したものである。３次元ＣＧの描画に関しては、仮想空間学習ソフトウェアがＯｐｅｎＧＬやＤｉｒｅｃｔＸといった、描画用のＡＰＩ（アプリケーション・プログラミング・インターフェイス）を用いて実現している。なお、レンダリングとは、ポリゴン（多角形）で表現されたオブジェクトの数値データを計算によって画像化することをいう。
図６においては、バックグラウンド中に多数の描画されたオブジェクトが浮かんでいる。すなわち、講師のアバターであるアバター４００と、講師の手のアバターであるアバター４５０と、講義管理ソフトウェアの機能や、その他の講師用の仮想空間学習ソフトウェアの機能を呼び出すための講師用のカーソル４６０とが描画されている。
なお、音声については、仮想空間学習ソフトウェアが別途データを抽出してＰＣ２０の音声出力から出力する。
これら描画や音声出力の仕組みは、ＰＣ２１で実行されている生徒用の仮想空間学習ソフトウェアでも同様である。
【００４１】
さらに図６においては、本発明の実施の形態において「空間スクリーン」と呼ぶ、矩形のオブジェクトが複数浮かんでいるように描画されている。
ここで、空間スクリーンは、３次元空間上に描画されるポリゴン（多角形）とそのポリゴンに描画されているテクスチャである。ＰＣ２０においては、講師用の仮想空間学習ソフトウェアを用いて、ＰＣ２０の制御部が独自形式データから、ストリーミング放送された映像のデータを抽出し、映像を描画するビデオテクスチャや画像データをｂｌｔｅｒ（ｂｌｏｃｋ ｔｒａｎｓｆｅｒｅｒ、矩形領域の画素をコピー又は移動するデータ転送機能）により転送してテクスチャとしてビデオカードによりレンダリングすることで機能させることができる。
また、この空間スクリーンの領域は、矩形には留まらずに、折り曲げたり、楕円形に変形したり、球形や楕円球状に変形したりする等、任意の形状に変化させることも可能である。この空間スクリーンの形状の変化は、ジョイパッド６０又はジョイパッド６１からのボタンで所定の形状に変化させることも、グローブデバイス５０又はグローブデバイス５１からの信号を用いて例えば粘土をこねるように座標を変化させて変形させることも可能である。さらに、各種シェーダプログラムにより、発光やコントラスト変換等の特殊効果を施して用いることもできる。
【００４２】
講師板書画面４１０は、講師が実際に講義で使用する教材であるパワーポイントのスライド（以下、「教員側提示教材」という。）を描画したり、そのスライドに書き込み等を行う講義で主に用いられる、デフォルト（既定）の空間スクリーンである。デフォルトでは、デスクトップ画面が描画されており、講師が授業を始める前に、どの教員側提示教材を描画するのかについて、設定しておくことができる。
【００４３】
講師撮影用カメラ画面４１７は、講師撮影用のカメラの画像が常に描画されている、デフォルトの空間スクリーンである。講師は、ＨＭＤを装備して仮想空間の外である外界を裸眼で確認できない状態であっても、この画面を介して外界を見て、板書やカメラの移動、書画カメラ１８の起動といった操作を行うことができる。
なお、この講師撮影用カメラ画面４１７は、生徒側（リモート）では、生徒用の仮想空間学習ソフトウェアで描画されないために、通常は見ることはできない。しかし、講師側の判断により、生徒側で見せるように設定することもできる。これは、講師撮影用カメラ画面４１７は、本来は生徒側からは見えない方が好都合ではあるが、講師側の目線のカメラをあえて学生に示して見せるのが必要／望ましいケースもあるためである。特に視線トラッキングを用いている場合は、講師が注目している外界の物体を、リアルタイムで生徒に示すことができるため、生徒の学習効果を高めることができる。
【００４４】
空間スクリーン４４０−１、４４０−２は、何も描画されていない空白の空間スクリーンであるブランク空間スクリーンで、後述するように、ここに各種カメラの映像やパワーポイントのスライド等を割り当てて描画することができる。
すなわち、テンポラリー（一時的）に使用する資料等をこの空間スクリーンに描画しておいて講義の際の参考にすると、講師にとって便利である。
【００４５】
これらの空間スライドを生徒に見せるか見せないかの状態や、視点、アバターの位置や服装・テクスチャー等について、どのようにレンダリングして生徒に見せるかについての情報であるステージ情報は、予め所定の値やマクロとして講師用仮想空間学習ソフトウェアで設定可能である。
さらにこのステージ情報のパラメータについて、ＰＣ２０の制御部は講師用の機能として、カーソル４６０の動作を検知して、リアルタイムで変更することも可能である。
加えて、講師のアバター４００や背景等の情報についても、設定可能である。
生徒用機器３００−１のＰＣ２１の制御部は。生徒用の仮想空間学習ソフトウェアにより、独自形式のデータの中に含まれたこれらの情報を随時受信して、このデータに従って、仮想空間を描画する。
すなわち、実際に講師が操作している際の仮想空間の状態を、そのまま生徒が視聴するという訳ではない。
【００４６】
また、講師側の仮想空間学習ソフトウェアでは、講師用の教材となるパワーポイントファイルのスライドショーが終了した場合は、自動的にブランク空間スクリーンに割り当てて、講師のアバター４００の背面に置くことができるという機能が存在する。この割り当てられた空間スクリーンは、生徒側の仮想空間学習ソフトウェアでも描画され、自由にメモ書き等もできる。
また、生徒が生徒用の仮想空間学習ソフトウェアで講師板書画面４１０を別の空間スクリーンに割り当てて、さらに注釈することも可能である。
これらの機能については、さらに詳しく後述する。
【００４７】
なお、他の講師用の機能としては、また、アバター４００の所定のアクション（動作）を設定することも可能である。例えば、講師板書画面４１０を指さすようなアクションを行ったり、頷いたり、手をたたいたり、歩いたりといったアクションが可能である。これらのアクションについても、独自形式データに含ませてストリーミング送信を行う。
【００４８】
次に、図７を参照して、生徒側（リモート）のＨＭＤに描画される映像について説明する。
この映像においては、生徒は、仮想空間内で、講師のアバター４００が、講師板書画面４１０を用いて授業を進めるのを見学する。
すなわち、ＰＣ２１の制御部は、生徒側の仮想空間学習ソフトウェアにより、講師のアバター４００を講師側（ローカル）から送信される仮想空間学習ソフトウェア用のストリーミング送信された独自データに基づいて様々なアクションを行わせ、講師板書画面４１０にパワーポイントのスライドや各種カメラのストリーミング放送を描画し、スライドショーが終わったパワーポイントファイルを新たな空間スクリーンに割り付けて背後に描画する。
【００４９】
また、ＰＣ２１の制御部は、生徒がＰＣ２１に接続されたＨＭＤ３１やグローブデバイス５１やジョイパッド６１で操作される手のアバター４５１の動作を検知して、空間スクリーンに対する各種の動作を行う。このジョイパッド６１を用いた操作は、同時に補助入力部７１のキーボード等からの入力を検知して行うことも可能である。
なお、生徒用の仮想空間学習ソフトウェアにおいては、講師側の設定したアバター４００のアクションとは異なるアクションを、ＰＣ２１に接続されたジョイパッド６１の操作を通じて起こすことが可能である。
さらに、空間スクリーンの形状に関しても、単なる矩形ではなく、いくつかの所定の形状、例えば本のポリゴンの形状にしたり、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔ）の端末のような形状にしたり、窓のような形状にすることが可能である。
また、背景の設定を変えることも可能である。たとえば、デフォルトの暗い空間の他にも、大学風の教室、図書館、ギリシア・ローマ風の円形劇場、真夏のビーチといった背景に設定することが可能である。また、アバター４００の姿に関しても、所定のキャラクタ数種、例えば、男性講師、女性講師、クリップやペン等の文具、動物や妖精といったキャラクタから選択することができる。
このようなカスタマイズ機能により、生徒がリラックスして授業を受けることができ、学習に対するモチベーションを上げることが可能になる。
【００５０】
また、空間スクリーン内には、実際にログインをしている数百人程度の他の生徒のアバターを、リアルタイムでレンダリングして表示することが可能である。この生徒のアバターに関しても、生徒が設定した所定のキャラクタから選択することができる。
加えて、レンダリングする生徒のキャラクタを、背景の設定に合うキャラクタにして表示することができる。たとえば、ギリシア・ローマ風の円形劇場の背景にしていた場合には、チュニックを着ているキャラクタで表示する等の選択を行うことができる。このようにすることで、歴史の授業等で生徒の学習意欲を高めることができる。
なお、数百人に及ぶ生徒のアバターを表示する場合には、ミップマップ等のテクスチャのレンダリングを軽減する技術や、アダプティブメッシュやテッセレーション等を用いた視線距離によりポリゴン数を増減する技術を用いて、レンダリングの負担を抑えることが好適である。
【００５１】
（絶対アリーナ機能）
さらに、カスタマイズ機能により、レンダリングする生徒のアバターの数について設定することも可能である。
すなわち、生徒のアバター数を少なく描画することで、多数の生徒がログインしていても、少人数クラスのように感じさせる「絶対アリーナ機能」を備えることができる。また、生徒当人のアバターのみ表示することで個人授業を受けているような感覚を得ることもできる。これにより、生徒の学習のモチベーションを上げることができと共に、レンダリングの負担を軽減できるという効果も得られる。
このレンダリングする生徒の数が実際にログインしている生徒の数より少ない場合は、ランダムに選択することができる。また、生徒の知り合いや友人を登録したり、同じ授業を取っている者を優先してレンダリングすることができる。これにより、生徒は、同じ授業を受けている生徒との間で一体感を感じることができ、学習効率を高めることができる。
【００５２】
実際に、現実の空間（実空間）にスクリーンをつくりだすことができたとしても、そこに人を集めなければならない。人を集める空間には、必ず、特等席と端の席ができる。よって、座る席により、学習効果に差が出ることが考えられる。
これに対して、本発明の実施の形態に係るこの絶対アリーナ機能を用いることで、授業参加者である生徒は、望めば必ず講師の目の前に席を取ることができる。すなわち、講師のアバターを正面近くに表示するようにビューポイントを調整してレンダリングできる。このように構成すると、予備的な実験により、学習効果を飛躍的に高めることが可能であることが分かった。
なお、ＶＲ空間に学生が自分一人では寂寥感を感じることがある。そして、事実上、複数人いた方がモチベーション上がる可能性が示唆されている。
複数の生徒が絶対アリーナ機能を用いる場合には、各生徒が先生の正面席となる絶対アリーナで授業を受けている場合、後述するメモの受け渡し等については、向きを適宜計算して行う。
【００５３】
なお、授業において、講師に、レンダリングされていない生徒（以下、生徒Ａとする）が解答するように促された（当てられた）場合には、レンダリングされている生徒（以下、生徒Ｂとする）が当てられたように表示することが可能である。
その際に、レンダリングされていた生徒（生徒Ｂ）は、当てられたレンダリングされていない生徒（生徒Ａ）と、もっとも外見の近いキャラクタや、もっとも知り合いでない生徒を選択することができる。さらに、当てられた後に、生徒Ａと生徒Ｂを入れ替えてレンダリングすることで、違和感を軽減することが可能である。
【００５４】
〔仮想空間内でのオブジェクトの動作処理〕
次に、図８のフローチャートを参照して、講師用の仮想空間学習ソフトウェアにおいて、各種入力装置からの情報に従って、講師のアバター４００、手のアバター４５０、講師用のカーソル４６０を動作させる際のオブジェクトの動作処理について説明する。
このアバターとカーソルの仮想空間学習ソフトウェアでの動作については、ＰＣ２０の制御部が講師用の仮想空間学習ソフトウェアを用いて行う。
なお、手のアバター４５０の動作に関しては、生徒用の仮想空間学習ソフトウェアでも同様の処理を行う。
【００５５】
（ステップＳ２０１）
まず、ステップＳ２０１において、ＰＣ２０の制御部は、ジャイロセンサ３４が検知した視線と空間位置の情報を入力する。
【００５６】
（ステップＳ２０２）
次に、ステップＳ２０２において、ＰＣ２０の制御部は、ジャイロセンサ３４から入力された空間位置の情報により、講師の頭部の動きについて計算を行う。さらに、この計算の結果により、アバター４００の頭部の座標を移動させる。
この座標の移動に関しては、ボーンと呼ばれるアバター４００のポリゴン内部に埋め込まれたポリゴン変形用の座標を記憶した構造体の値を変更することで行うことができる。以下のアバターの移動や変形処理でも、このボーンの値を変更することで行う。
【００５７】
（ステップＳ２０３）
次に、ステップＳ２０３において、ＰＣ２０の制御部は、ジャイロセンサ３４から入力された視線の情報により、講師の視線を移動する計算を行う。
具体的には、視線の情報により、講師が注目している仮想空間上にレンダリングされている物体を認識して、視線の移動の計算を行う。この視線の移動の計算は、ビューポートと呼ばれる３次元空間上でレンダリングされる位置を調整する計算を行う。
たとえば、講師が見ているとＰＣ２０が空間スクリーンを画面上の中央に来るように、ビューポートの位置の値を調整したり、講師がカーソルを見ているときは、このカーソルが中央にくるようにビューポートの位置の値を調整することができる。また、講師の視線が画面の遥か下を見ていることを視線の情報から検知した場合には、ズームアウトを行う等の計算を行うこともできる。
さらに、視線を特定のサインで移動することで、アバターのアクションを変更するようなコマンドを入力することも可能である。
【００５８】
（ステップＳ２０４）
次に、ステップＳ２０４において、ＰＣ２０の制御部は、ジョイパッド６０から、講師により押下されたボタンやアナログスティック等の情報を入力する。
【００５９】
（ステップＳ２０５）
次に、ステップＳ２０５において、ＰＣ２０の制御部は、ジョイパッド６０から入力された情報により、アバター４００の胴体の移動と、各種アクションを行う。
具体的には、ジョイパッド６０のアナログスティック等には、講師のアバター４００の前後左右の移動が割り当てられており、ＰＣ２０の制御部は、アナログスティックを傾けた量をＡ／Ｄ変換した値に比例して、アバター４００が歩くから走るまでのスピードとアクションにて仮想空間内を移動するように描画することができる。
ここで、ジョイパッド６０にアナログスティックが２本ある場合は、別のアナログスティックには、講師のアバター４００が背伸びしたりしゃがんだりといったアクションを割り当てたり、アバター４００の手の開閉の動きを割り当てることも可能である。また、別のアナログスティックに、カーソル４６０の移動を割り当てることもできる。
ジョイパッド６０の各種ボタンには、アバター４００の各種アクションをそれぞれ割り当てることも、カーソル４６０によって呼び出される機能について割り当てることも可能である。
これらの割り当てについては、講義を開始する前に、講師が講師用の仮想空間学習ソフトウェアのコンフィグレーション画面にてＧＵＩで設定することが可能である。
【００６０】
（ステップＳ２０６）
次に、ステップＳ２０６において、ＰＣ２０の制御部は、磁気センサ５４が検知した情報を入力する。これにより、講師の手の空間的な位置の情報を入力することができる。
【００６１】
（ステップＳ２０７）
次に、ステップＳ２０７において、ＰＣ２０の制御部は、グローブ本体部５２が検知した情報を入力する。これにより、講師の個々の指の曲げ具合についての情報を入力することができる。
【００６２】
（ステップＳ２０８）
次に、ステップＳ２０８において、ＰＣ２０の制御部は、グローブ本体部５２から入力された情報と、磁気センサ５４から入力された情報により、手のアバター４５０を移動する。
具体的には、磁気センサ５４から入力された情報により、手のアバター４５０の座標を移動する。
また、グローブ本体部５２から入力された情報により、手のアバター４５０の指の状態をボーンにより変形する。
【００６３】
さらに、手のアバター４５０の座標が何かのオブジェクト（例えば、空間スクリーン）と接触している状態でグローブ本体部の指の状態が何かつまんでいるように変形した場合には、空間スクリーンをつかんで移動（ドラッグ）や引き寄せる等の各種の処理を行う。
この処理は、後述するように、生徒側の仮想空間学習ソフトウェアでも同様に行うことができ、メモ書き等を行うことも可能である。
また、グローブ本体部５２に対して、つかんでいる空間スクリーンの種類やオブジェクトの種類等に応じてフォース・フィードバックの処理を行うこともできる。
【００６４】
（ステップＳ２０９）
次に、ステップＳ２０９において、ＰＣ２０の制御部は、ジョイパッド６０や磁気センサ５４からの情報を用いて、カーソル４６０を移動する。
また、ジョイパッド６０のボタン等に割り当てられた各種機能に関する処理も行う。
【００６５】
（ステップＳ２１０）
次に、ステップＳ２１０において、ＰＣ２０の制御部は、空間スクリーンをつかんでいる状態の場合は、空間スクリーンの選択・移動の処理を行う。
また、この空間スクリーンについて、各種のカメラの映像を割り当てたり、メモ書き等を行う際には、その処理を行うことができる。以上で、オブジェクトの動作処理を終了する。
実際にスタートしている講師用の仮想空間学習ソフトウェアでは、ＰＣ２０の制御部が、このオブジェクトの動作処理を、常に繰り返し実行している。
【００６６】
〔空間スクリーンの各種操作処理〕
次に、図９〜図１２を参照して、講師側（ローカル）と、生徒側（リモート）の空間スクリーンの各種操作について、それぞれの立場から説明する。
【００６７】
まず、図９を参照して、空間スクリーンのデータについて、主なものについて説明する。
図９は、ＰＣ２０又はＰＣ２１の補助記憶装置内において、仮想空間学習ソフトウェアが使用する領域に記憶されている空間スクリーンのデータベース内にある、１つの空間スクリーンのデータから主なものを抽出して記載したテーブルである。
Ｄ１０１のスライドＩＤの値は、該空間スクリーンにパワーポイントのファイル（．ｐｐｔファイル）が割り当てられている場合には、そのファイルの番号が記載される。各種カメラが割り上てられている場合には、特別な値（例えば、０ｘ００等）とそのカメラのＩＤが記載される。
【００６８】
Ｄ１０２の表示ステータスは、該空間スクリーンの描画状態を示すフラグである。この空間スクリーンのフラグとしては、例えば講師板書画面４１０のように大きく描画されているか、サムネイル表示のように小さく描画されているかといったフラグを設定することができる。このサムネイル表示としては、通常の大きさの例えば１／８の大きさにすることが可能である。
このフラグにより、ミップマップ等の処理を行い、レンダリングのスピードを高速化することができる。
また、後述する空間メモパッドの空間スクリーンのように、標準では「表示しない」すなわち、仮想空間学習ソフトウェアで描画しない状態にするというフラグをたてることもできる。
【００６９】
Ｄ１０３の選択ステータスは、該空間スクリーンの選択状態を示すフラグである。このフラグとしては、上述したように手のアバター４５０によりつかんでいる状態であるか（選択中であるか）のフラグや、移動中の状態であるか（ドラッグ中であるか）、スライドを設定したりメモ書き操作中であるかといったフラグを用いることができる。
【００７０】
Ｄ１０４のタイプとしては、単なる画像ファイルであるイメージであるか、パワーポイントのスライド（．ｐｐｔファイル）であるか、各種カメラ映像であるか、ＭＰＥＧ２等のムービーファイルであるか、といったタイプを設定できる。
【００７１】
Ｄ１０５のデータポインタとしては、実際のデータ、例えば仮想空間学習ソフトウェアが読み込んだパワーポイントファイルのデータへのポインタを記憶することができる。また、主記憶装置に読み込むには巨大なファイルの場合は、ファイルの先頭位置からのポインタを例えば６４ビットで記憶することができる。
さらに、他の空間スクリーンとの関連についての関連づけデータを記憶することができる。この機能は、後述するメモ書き処理で使用する。
【００７２】
Ｄ１０６のファイル名は、該空間スクリーンにテクスチャとして描画するファイルのファイル名又はファイル名のポインタである。
【００７３】
Ｄ１０７のサイズは、該空間スクリーンのサイズである。このサイズは、実際に大きく描画された際のサイズを記憶しており、サムネイル表示された場合のサイズはまた別に設定することができる。
【００７４】
Ｄ１０８の位置は、該空間スクリーンを描画する仮想空間上の空間位置と角度である。この空間位置は、Ｘ、Ｙ、Ｚ軸の座標を用いることができる。さらに、空間スクリーンの角度をオイラー角で記憶している。なお、この角度に関してはクォータニオンを用いて表現することもできる。
各空間スクリーンのデータテーブルには他にも、スライドの形状、明度、シェーダの適応度、アルファ値等の他のデータも記憶されている。また、カーソル４６０により選択されているかといった情報も記憶できる。
【００７５】
〔講師の講義インタラクション〕
次に、図１０のフローチャートを参照して、講師が講師用の仮想空間学習ソフトウェアを用いて講義を行う際の、講師の講義インタラクションに対応した空間スクリーンへの処理について説明する。
以下では、主に講師側提示教材の描画処理について詳しく説明する。
この講師側提示教材は、講義の開始前に、講師が講師用の仮想空間学習ソフトウェアを用いて予めどのファイルを使用するか設定している。
【００７６】
（ステップＳ３０１）
まず、ステップＳ３０１において、講師がカーソル４６０により講義の開始の操作を行った場合、ＰＣ２０の制御部は、講師側提示教材のスライドの１枚目を描画して、この描画画像のデータを講師側の仮想空間ソフトウェアで扱えるようなパイプ処理を開始する。
【００７７】
また、講師側提示教材のパワーポイントのファイル自体は、上述したように講義開始前に生徒側（リモート）へファイル形式（．ｐｐｔ）で送信している。
そこで、以下のステップにおいては、各スライドについて、講師側（ローカル）のＰＣ２０の制御部は、ネットワーク５を介して、生徒側のＰＣ２１で実行されている仮想空間学習ソフトウェアでも．ｐｐｔファイルから同様に読み込んで、描画し表示させるコマンドを送信する。
さらに、ＰＣ２０が検知した講師の入力データやアバターの仮想空間の座標の移動等の情報についても、ＰＣ２０の制御部が、生徒用のＰＣ２１に対して上述の独自形式のデータで送信する。
【００７８】
（ステップＳ３０２）
次に、ステップＳ３０２において、ＰＣ２０の制御部は、ビデオカードの初期化を行い、メイン画面となる仮想空間のレンダリングをスタートする。
以下のステップで、この仮想空間の画面は定期的（例えば、１／６０秒）にレンダリングされて、ＨＭＤ３０や表示部４０で表示される。
生徒側のＰＣ２１の制御部も、生徒側の仮想空間学習ソフトウェアにより、同様に定期的にレンダリングと表示を行う。
【００７９】
（ステップＳ３０３）
次に、ステップＳ３０３において、ＰＣ２０の制御部は、講師側提示教材のスライドの１ページを空間スクリーンのテクスチャメモリに転送し、更新して描画する。
各種カメラの画像の場合は、これをｂｌｔｅｒ等を用いてレンダリング時に描画し続ける。ここでは、この空間スクリーンを講師板書画面４１０に描画するとして説明する。
【００８０】
（ステップＳ３０４）
次に、ステップＳ３０４において、ＰＣ２０の制御部は、サムネイル作成処理を行う。
具体的には、まず、講師板書画面４１０の背後に別の空間スクリーンを作成する。
次に、ステップＳ３０３で更新する前の講師板書画面４１０に描画されていたスライドを、この空間スクリーンにコピーして描画する。
各種カメラの画像の場合は、所定時間ごとに画面ショットを別の空間スクリーンに、コピーして描画する。
このサムネイル作成処理により作成される空間スクリーンは、通常の大きさの空間スクリーンよりも面積小さい。
【００８１】
このサムネイル作成処理により、講師が示したパワーポイント資料について、呈示済みのスライドは背後に一覧で浮かべておくことができる。
すなわち、パワーポイントのスライドが一枚めくられる毎に、空間スクリーンを１枚づつ増やし、提示し終わったスライドをその増やした空間スクリーンに移すことができる。
【００８２】
サムネイル作成処理により作成した空間スクリーンは、複数の画像を縮小して一覧表示する本来の意味の「サムネイル」のような縮小版のように、現在説明している講師板書画面４１０に描画されたスライドの上方に布置する。
布置させているスライドが増えてビューポート又は画面に入りきらなくなった場合は、ＰＣ２０のタイマーで計測した１秒程度の間隔で、向かって右から左方向へ順次スクロールさせる。このスクロールの処理は、ビデオカードのバーテックス・シェーダーのような機能を使用して実現しても、ＰＣ２１の制御部が空間位置座標をビューポートから計算して移動させることで実現してもよい。
同一テーマについての講義中は、このスライド一覧提示は続けておくことができる。また、講師がカーソル４６０により消去するコマンドを検知した際に消去することもできる。
なお、このＰＣ２０のタイマーは、パワーポイントファイル内に音声オブジェクトを再生する場合や、所定のマクロに記載があった場合は、より精度の高いタイマーであるマルチメディアタイマーとＮＴＰ（ネットワーク・タイム・プロトコル）等を用いて音声と同期させることもできる。
【００８３】
（ステップＳ３０５）
次に、Ｓ３０５において、ＰＣ２０の制御部は、パワーポイントのスライドが最終ページであったかどうかについて判断する。
Ｙｅｓ、すなわち、最終ページであった場合は、このスライドについて読み込む処理を終了する。これによって講師側提示教材の表示処理を終了する。
なお、複数のパワーポイントファイルが講師により指定してあった場合は、次のファイルのスライドショーを開始して、ステップＳ３０３に戻って更新を進める。それ以外の場合は、講師側提示教材の表示処理を終了する。
Ｎｏ、すなわち、最終ページでなかった場合は、ステップＳ３０６に処理を進める。
【００８４】
（ステップＳ３０６）
ステップＳ３０６において、ＰＣ２０の制御部は、講師のジョイパッド６０のボタンの入力や、グローブデバイス５０からの入力信号を待って待機する。
ここで、ＰＣ２０の制御部は、講師からの入力信号を検知した場合は、パワーポイントファイルのスライドを更新するために、ステップＳ３０３に処理を戻す。
【００８５】
上述したように、パワーポイントファイルのスライドショーがすべて終了した場合には、ＰＣ２０の制御部は、講師側提示教材の表示処理を終了する。
この際に、ＰＣ２０の制御部は、講師用のＰＣ２０のＨＭＤ３０には、講義が終了した旨のダイアログボックスを空間スクリーンに描画し、本当に講義を終了するかについて問い合わせる。
講師がＹｅｓを選択した場合は、図４の講義終了信号送信処理に進む。講義終了処理に進んだ時点で、講師の講義インタラクションも終了する。
講師がＮｏを選択した場合は、生徒側（リモート）との接続を保った状態で、待機状態となる。
この場合は、講師のアバター４００は、時折、頷いたり、コツコツと足を鳴らしたり、背を伸ばしたりといったような、いくつかの所定のアクションを行う。これにより、生徒の注意力を削がないようにすることができる。
ここで、ＰＣ２０の制御部は、講師がカーソル４６０により各種のコマンドを選択したことを検知して、別のスライドを描画したり各種カメラの画像を描画したりといったことも可能である。
また、ＰＣ２０の制御部は、講師がカーソル４６０により、講義を終了するコマンドを選択した場合にも、図４の講義終了信号送信処理に進む。
【００８６】
なお、講師の講義インタラクションとしては、この講師提示教材の表示処理の他にも、カメラの操作等を、リアルタイムにカーソル４６０のコマンドにより実現することができる。
また、スライドが見やすくなるように、講師は、グローブデバイス５０を用いて空間スクリーンを自在に動かすことができる。グローブデバイス５０でなく、ジョイパッド６０を用いても同様のことができる。
さらに、グローブデバイス５０を用いて後述する生徒のメモ書き処理と同様の処理を行うことも可能である。
また、特定の生徒を指名して、答えさせるといった処理も可能である。この場合は、そのための空間スクリーンを用意して、チャット形式にて行うこともできる。生徒側のＰＣ２１がウェブカメラを装備していた場合は、直接空間スクリーンを通して対話することも可能である。
これらの処理により、仮想空間内でのスライドの見やすさを改善し、即効的・直感的な操作が可能になるため、学習システムの操作性が向上する。
【００８７】
（シークレットバージョンアップ機能）
なお、これらの講師の講義インタラクションのデータは、ＶＲ空間動作履歴保存処理により、ＶＲ空間動作データとして講師用機器やサーバ１００に保存することができる。そして、このＶＲ空間動作データ、音声データ、映像データ、講義の資料等は、上述のようにサーバ１００や講師用機器の補助記憶装置に「再生データ」として保存することができる。
ここで、多くの大学等の授業は、半期または１年が１つのサイクルであり、その積み重ね（蓄積）によって授業を「熟成」することができる。
このため、過去に蓄積した講義のＶＲ空間動作データ、音声データ、映像データ等の再生データをＶＲ空間で再生しながら、新規分をライブで追加してゆくことができる。この際に、通常の状態では、サーバ１００の補助記憶装置に保存された講義の再生データを再生する。この際に、受講者にはライブ授業にしか見えない。
しかしながら、リアルタイムで講師が上述の講師の講義インタラクションの処理を行うと、再生データと、リアルタイムの講義インタラクションの処理とを入れ替えることができる。このような機能を「シークレットバージョンアップ機能」と呼ぶ。
シークレットバージョンアップ機能により、生徒用機器３００−１〜３００−ｎを使用している生徒や受講者には、すべてがライブにしか見えない。しかしながら、実際には、教員による最少限の労力でのライブ追加によって、最良の講義へと完成度・熟成度をあげてゆくことが可能になる。
【００８８】
（複数講師機能）
また、物理的にはそこに存在しない講師もＶＲ空間では登場可能である。実際に、２人の人物が２人として登場することも、また１人であるかのように、講師用機器２００を用いて、２人の講師が同じアバター４００を操作することも可能である。この際に、講師用機器２００と同様の構成をもつ講師用機器を用いてこの同じアバター４００を操作することもできる。
これとは逆に、実際に１人の講師が、複数の人物のアバターをＶＲ空間内で登場させて、各アバターを操作することが可能である。この機能を複数講師機能とよぶ。
この複数講師機能においては、リアルタイムで、１人の講師と他の講師のアバターを入れ替えることができる。
また、複数講師機能において、１人のアバターはリアルタイムで講師が操作して講義インタラクションの各処理を行い、他の複数のアバターは記憶したデータを再生することで操作するということが可能である。この記憶したデータとしては、ＶＲ空間動作データや映像データや音声データをサーバ１００に記憶しておき、データのストリームを合成することができる。
【００８９】
従来の現実空間での大学等の授業においては、講師料の問題等により、１つの授業で複数の講師等の人物を登場することは難しい。通常、複数の講師の登場は、あり得ない。
しかしながら、本発明の実施の形態に係る複数講師機能を用いて、リアルタイムでの講師のアバターの操作と、再生データを用いたアバターの動作とを合成することで、複数の講師の登場する授業を簡単に行うことができる。
また、この際に、リアルタイムで講師用のアバターと再生データのストリーム等を合成すると、生徒用機器３００−１〜３００−ｎにおいては、複数のアバターのうち、どれを実際に講師が操作しているのか分かりづらいという効果が得られる。
【００９０】
これにより、漫才でいうところのボケとツッコミを１人で実行することができる。たとえば、ツッコミ又はボケのアバターが真面目な解説をしている際に、ボケのアバターがわざと間違ったことを言い、ツッコミのアバターが「そうではないだろう」と正す、といったシチュエーションで、ツッコミ又はボケを１人の講師が演じることができる。つまり、ＶＲ空間での講義において真面目に解説している方のアバターが実は再生データを用いたアバター（ツッコミ）であり、それに対してとぼけた口をはさむ方のアバター（ボケ）が、リアルタイム参加の講師本人が演じているという状況が考えられる。すなわち、ツッコミでなくボケのアバター方をリアルタイム参加の講師本人が実行していたり、逆にボケの方を講師本人が実行していたりということがありえる。
従来、テレビ放送等で、芸人が知識情報番組のメインキャスターである事例は実に多い。これは、芸人のボケとツッコミが、実は問答による知識提供にひじょうにマッチすることを示しており、心理学的な効果が期待できる。
【００９１】
複数講師機能においては、複数のアバターのうち、講師が操作するアバターをリアルタイムでコマンド等により変更することが可能である。これにより、講師本人が瞬時にツッコミ役からボケ役、ボケ役からツッコミ役といった具合に入れ替わることが可能である。
こうした方法は、ロボット等を用いて現実空間で行うことは可能と考えられる。しかしながら、本発明の実施の形態に係る学習システムＸを用いてＶＲ空間で演じることで、上述のように各アバターをリアルタイムで描画しているために区別できないため、より複数の人物が演じているという真実味を増すことができる。
これにより、知識情報番組のような問答による知識提供の効率を向上させることができる。
なお、複数講師機能では、講師のアバターだけではなく、生徒や質問者のサクラのようなアバターも登場させることができる。また、これらのアバターを講師が演じることも当然可能である。
【００９２】
〔生徒の講義インタラクション〕
次に、図１１と図１２のフローチャートを参照して、生徒が生徒用の仮想空間学習ソフトウェアを用いて講義を受ける際の、生徒の講義インタラクションに対応した空間スクリーンへの処理、具体的には生徒のスライド選択処理と、メモ書き処理について説明する。
この生徒の講義インタラクションにおいては、ＰＣ２１の補助記憶装置内に、生徒用に記録領域を設けておく。具体的には、この空間スクリーンのＤ１０６に、データのセーブ用のファイルを作成して割り当てる。
講義中は、この保存領域が割り付けられたブランク空間スクリーンを、デフォルトで生徒の手のアバターが描画される空間位置の近くに描画しておく。
さらに、ＰＣ２１の制御部は、講義インタラクションの最中に、生徒が手のアバター４５１にて特定のサインを描くように移動させたか（例えば、四角を描くように移動させた場合）、ジョイパッドの特定のボタン（例えば、「□」ボタン）を押下したことを検知することで、ブランク空間スクリーンを追加して描画したり（この際に、ＰＣ２０又はＰＣ２１の主記憶領域を確保する）、ブランク空間スクリーンを選択して消去又はセーブして消去するといったことを自由に行うことができる。
このスライド選択処理とメモ書き処理に用いるブランク空間スクリーンは、生徒が取るノートの視覚的・直感的イメージであり、生徒が即効的・直感的に用いることができる。当然、以下の手順と同様な手順を用いて、講師もメモ書き処理をすることができる。これにより、更に学習システムの操作性が向上させることができる。
このブランク空間スクリーンに対して、以下の処理を行う。
【００９３】
（スライド選択処理）
まず、以下で図１１を参照して、生徒のスライド選択処理について説明する。生徒側のＰＣ２１では、上述のように生徒用仮想空間ソフトウェアが実行されている。
ＰＣ２１の制御部は、グローブデバイス５１とジョイパッド６１の入力信号から、生徒が手のアバター４５１で、空間スクリーンを移動やつかんでいる状態の処理を行う。この上で、手のアバター４５１の処理と各空間スクリーンの位置座標や選択の状態により、以下に述べるような各種の処理を行う。
また、生徒用の仮想空間学習ソフトウェアも、上述の講師側のインタラクションと同様に、仮想空間の画面の更新等も例えば１／６０秒ごとに行っている。
【００９４】
（ステップＳ４０１）
ステップＳ４０１において、手のアバター４５１が空間スクリーンと空間位置が接触して、つかんでいる状態になったことを検知した場合は、ＰＣ２１の制御部は、その空間スクリーンを選択するスライド選択処理を行う。すなわち、該空間スクリーンのＤ１０３について、移動やつかんでいる状態のフラグを立てる。
このスライド選択処理においては、生徒が手のアバターをジョイパッド６１のアナログスティックで移動し、ボタン（例えば、「○」ボタン）を押下したことを検知して行ってもよい。
また、この空間スクリーンとしては、講師板書画面４１０でも、講師のアバター４００の背後に浮かんでいる上述のサムネイル処理を行った空間スクリーンでもよい。
【００９５】
（ステップＳ４０２）
次に、ステップＳ４０２において、ＰＣ２１の制御部は、手のアバター４５１が、つかんでいる状態になっている間は、スライドの移動をするスライド移動処理を行う。
この移動としては、ＰＣ２１の制御部は、上述したように、グローブデバイス５１の磁気センサ５５の入力を用いて生徒の実際の手の位置と加速度を検出し、この手の位置と加速度に従って手のアバター４５１の空間位置を移動する。
具体的には、加速度が大きいと、より高速に移動する処理を行う。また、加速度が小さいと、動きを少なくする処理を行う。これにより、限られた空間内で実際の手を動かしても、広い仮想空間内で十分高速に手のアバター４５１を移動させることができる。
また、ジョイパッド６１のアナログスティックを検知して同様の移動を行ってもよい。さらに、上下ボタンで空間スクリーンで指示された空間上の位置に移動することもできる。
【００９６】
（ステップＳ４０３）
次に、ステップＳ４０３において、ＰＣ２１の制御部は、手のアバター４５１が、つかんでいる空間スクリーンを離した（リリース）場合に、スライド選択解除処理を行う。
つかんでいる空間スクリーンを離す際には、生徒がグローブデバイス５１のグローブ本体部５３の指の動きを検知して、例えば、人差し指先と親指との距離が所定の大きさまで十分開いた際には「離す」とすることができる。また、ジョイパッド６１のボタンを離したことを検知してもよい。
このスライド選択解除処理においては、ＰＣ２１の制御部は、該空間スクリーンのＤ１０３を通常の（選択、移動中等ではないデフォルトの状態）のフラグにする。
以上のステップＳ４０１、Ｓ４０２、Ｓ４０３により、空間スクリーンのドラッグ処理を行うことができる。
【００９７】
（ステップＳ４０４）
次に、ステップＳ４０４において、ＰＣ２１の制御部は、手のアバターの座標がブランクスクリーン内であったかについて判定する。
具体的には、手のアバター４５１の離された場所の空間位置と、他の空間スクリーンの座標と接触しているかを判定する。この判定には、いわゆる「ヘッドバッファ」と呼ばれるような、各ポリゴンの位置をより荒いボリュームマップとして表現したデータを用いて高速に処理することができる。
Ｙｅｓの場合は、ＰＣ２１の制御部は、処理をステップＳ４０６に進める。
Ｎｏの場合は、ＰＣ２１の制御部は、処理をステップＳ４０５に進める。
【００９８】
（ステップＳ４０５）
ステップＳ４０５において、ＰＣ２１の制御部は、選択されていた空間スクリーンの位置を固定するスライド位置固定処理を行う。すなわち、手のアバター４５１が離された位置に、当該空間スクリーンのＤ１０８の空間位置を指定する。また、指の角度等により、当該空間スクリーンの姿勢を変更することもできる。
さらに、このスライド位置固定処理においては、指定する空間位置について、ＰＣ２１の制御部がヒステリシス特性や格子の位置指定（仮想空間内をある単位で区切った格子の位置に置くようにする）の処理等の計算を行って、複数の空間スライドが重ならないように都合の良い場所に空間位置を指定することができる。
これらの処理により、この位置に空間スクリーンのスライドを置きたいという生徒の要求に従ってスライドの位置を移動させることができる。
【００９９】
（ステップＳ４０６）
ステップＳ４０６において、ＰＣ２１の制御部は、ブランク空間スクリーン表示処理を行う。
具体的には、ＰＣ２１の制御部は、選択されていた空間スクリーンの位置にあったブランク空間スクリーンに、選択されていた空間スクリーンのサムネイル表示されていたスライドを描画する。すなわち、パワーポイントのスライド又は、各種カメラの画像ショットを描画する。この上で、選択されていた空間スクリーンを消去する。
この処理により、生徒の手のアバターの近くに描画されていた空間スクリーンに、ノートを取るような感覚で、講師が提示するスライドを取得することができる。
【０１００】
（ステップＳ４０７）
次に、ステップＳ４０６において、ＰＣ２１の制御部は、上述のブランク空間スクリーンに対してスライド保存処理を行う。
具体的には、ＰＣ２１の制御部は、上述のブランク空間スクリーンに割り当てられていたＤ１０６のファイルに、描画されているスライド（空間スクリーンの描画内容）を保存する。
以上により、スライド選択処理を終了する。
【０１０１】
上述のブランク空間スクリーンに割り当てられていた保存されたファイルは、講義終了時に、講師が許可し、学生が希望すればＵＳＢメモリ等にコピーして渡すことが可能である。また、講師が電子化されたデータを渡したくない場合は、プリントサービス等によりプリンタで印刷して渡すことも可能である。
また、ＰＣ２１は通常、共用のＰＣであるため、ＰＣ２１の制御部により、保存されたファイルを講義終了後に消去するか、講義毎に上書きすることもできる。
さらに、講師用ＰＣ２０は、講義終了後に、生徒用機器３００−１〜３００−ｎから回収することも可能である。これにより、講師は、生徒がメモを取った回数や、どの箇所で生徒がメモを取ったのかについて、参考とすることもできる。
【０１０２】
なお、上述のブランク空間スクリーンに割り当てるファイルの保存については、サーバ１００を指定することもできる。さらに、ファイルにスライドのデータそのものを保存するのではなく、スライドの位置や別途保存されている画像ショットの箇所を示すインデックスとして保存することもできる。これにより、補助記憶装置のメモリ使用量を減少させ、上述のＰＣ２０が回収する際の負担を減少させ、統計を取る等の処理をしやすくすることができる。
また、上述したようにサーバを用いた場合でも、データが講義終了時に生徒に渡るというのは技術的なやり取りのことであり、生徒自身はスライドを引き寄せてブランク空間スクリーンに重ねた時点で自分のものになったと認識して用いることができる。
【０１０３】
以上のスライド選択処理により、生徒は、講義中で欲しいと思ったスライドをグローブデバイスで掴んで手元に引き寄せ、自分のものとすることができる。すなわち、生徒は、自らの事後学習用にほしいと思ったスライドに対しては、直感的にそれに手を伸ばして取り、保存用とすることができる。
この保存用とする際には、生徒がグローブデバイス等でほしいスライドを手元に引き寄せ、そのブランク空間スクリーンに重ねると保存の指定を行ったことになるという簡便な操作で済むため、現実空間でメモを取るよりも容易に、自分だけの学習教材を作成することができる。
このため、ｅラーニングシステムでの、学習効果を増進させる効果が得られる。
【０１０４】
（メモ書き処理）
次に、図１２を参照して、生徒の講義インタラクションにおいて、生徒がブランク空間スクリーンに実際に筆記してメモを取る際の、メモ書き処理について説明する。
メモ書き処理においては、生徒用のＰＣ２１に接続された何らかのデバイス（キーボード又はタブレット等）である補助入力部７１からの入力又はグローブデバイス５１からの入力に従って、ブランク空間スクリーンに筆記でメモを書くことができる。
【０１０５】
（ステップＳ５０１）
まず、ステップＳ５０１において、ＰＣ２１の制御部は、メモ書き機能呼び出し処理を行う。
具体的には、ＰＣ２１の制御部は、生徒がグローブデバイス５１で特定のサイン（例えば三角を描くようなサイン）を描くようにグローブデバイス５１を動かしたことを磁気センサ５５で検知したか、ジョイパッド６１の特定のボタン（例えば、「△」三角ボタン）が押下されたことを検知したか、補助入力部７１からの特定の信号（例えば、キーボードのキーが押下されるか、タブレット又はタッチパネルにペンが押下された場合）を検知した場合は、仮想空間学習ソフトウェアのメモ書きを実現するメモ書きルーチン（機能部位）をスタートする。
【０１０６】
（ステップＳ５０２）
次に、ステップＳ５０２において、ＰＣ２１の制御部は、空間メモパッド表示処理を行う。
具体的には、ＰＣ２１の制御部は、メモ入力パネルとなる専用の空間スクリーンが、仮想空間内に描画されてない場合には作成して描画する。この専用の空間スクリーンを、空間メモパッドと呼ぶ。
また、既に空間メモパッドが作成されていてＤ１０２に「表示しない」というフラグが書き込まれていた場合には、このフラグを０にして、仮想空間学習ソフトウェアで描画されるようにする。
【０１０７】
（ステップＳ５０３）
次に、ステップＳ５０３において、ＰＣ２１の制御部は、空間メモパッド上に、ジョイパッド６１の特定のボタンや補助入力部７１のキーボードが押下されたことを検知した場合は、フォントや文字サイズや色を選択するダイアログボックスを描画する。
また、グローブデバイス５１の特定のサインやタブレット又はタッチパネルのペンが押下された信号を検知した場合は、線の太さや色や文字認識ボックスを用いるか選択するダイアログボックスを描画する。
これにより、ＰＣ２１の制御部は、生徒が文字サイズや線の太さ等を選択した際の処理を行って、次のステップに処理を進める。
【０１０８】
（ステップＳ５０４）
次に、ステップＳ５０４において、ＰＣ２１の制御部は、空間メモパッドに生徒が文字を入力したことを検知して描画する文字入力処理を行う。
ＰＣ２１の制御部は、この文字入力処理においては、空間メモパッドにキーボードからＩＭＥ等で直接文字を入力することも、ソフトキーボードをさらに描画してジョイパッド６１で文字を選択することも、タブレットやタッチパッドで文字認識ボックスに文字を書き込んで入力することも、タブレットやタッチパッドやグローブデバイス５１により線画又は、ビットマップ画像として入力することも可能である。
【０１０９】
なお、グローブデバイス５１を用いた場合は、空中に文字を書くがごとく、フリーハンド的な文字になるが、これをＰＣ２１の制御部が文字認識ボックスのポリゴンとの法線を求め、線画としてポリゴンで描画するか又はビットマップ画像としてテクスチャのデータに描画する。
この際に、グローブデバイス５１の極端な加速度を検知して、大きな文字にならないような丸め処理や微分処理等を行うことで、生徒の意図した操作性の高いメモ書きを行うことができる。
また、この線画をサインのようなデータとして扱い、文字認識を行うことで文字を入力することもできる。これにより、文字データとして使用可能な板書を得ることができる。
さらに、文字認識して描かれた文字を、予め清書レベルで読みやすく書いた文字を登録しておいて、その文字に変換することも可能である。これにより、活字ではなく手書き風の板書を得ることができ、文字データの利便性に加え、授業の生々しさといった感覚的なクォリティを向上させることができる。
【０１１０】
また、文字入力に関しては、音声認識技術を用いて入力することも可能である。この際に、ヘッドフォンマイク３７の出力を、他の生徒や講師に伝わらないように特に設定することもできる。
なお、音声認識を用いる場合は、文字の入力だけでなく、ジョイパッド６１や補助入力部７１で可能な操作をすべて、この音声認識のコマンドで代用することが可能である。
さらに、音声認識で文字を入力する場合には、認識された文字を、その当人の文字の癖に合わせた字体の文字で記憶することが可能である。
【０１１１】
（ステップＳ５０５）
次に、ステップＳ５０５において、ＰＣ２１の制御部は、文字入力完了処理を行う。
具体的には、ＰＣ２１の制御部は、キーボードの特定のキー（例えば、全角／半角キーやＥＳＣキー）が入力されたか、空間メモパッドの特定の位置をデジタイザやタッチパネルやグローブデバイス５１で選択したか、ジョイパッド６１で特定のキーが押下されたかを検知して、空間メモパッドの入力が終わったと判断する。
【０１１２】
（ステップＳ５０６）
次に、ステップＳ５０６において、ＰＣ２１の制御部は、スライド作成・表示処理を行う。
具体的には、空間メモパッドの入力が終わった後に、ＰＣ２１の制御部は、空間スクリーンを作成して仮想空間に描画する。
この作成した空間スクリーンには、上述のデフォルトで生徒の手のアバターの周囲に描画されたブランク空間スクリーンと同様に、ＰＣ２１の補助記憶装置内に保存用のファイルを作成してＤ１０６にファイル名を記載する。
この上で、作成した空間スクリーンに、空間メモパッドに記載された文字又は画像を描画する。
【０１１３】
さらに、空間メモパッドの描画をしないようにする。具体的には、空間メモパッドのＤ１０２に「表示しない」というフラグを立てることで、仮想空間学習ソフトウェアで描画されないようにする。
【０１１４】
（ステップＳ５０７）
次に、ステップＳ５０７において、ＰＣ２１の制御部は、ＰＣ２１の補助記憶装置内の保存用のファイルに、メモ書きされた文字又は画像を描画した空間スクリーンに描画された文字又は画像を保存するスライド保存処理を行う。
なお、このメモ書きされた文字は、空間メモパッドが起動される度に、同一のファイルに追加されるように設定してもよい。この場合は、空間スクリーンは複数作成されるものの、メモ書きが保存されるファイルは１つである。
【０１１５】
（ステップＳ５０８）
次に、ステップＳ５０８において、ＰＣ２１の制御部は、作成したメモ書きが描画されている空間スクリーンと、別の空間スクリーンが重なったかについて判断する。
これは、所定時間（例えば、３秒〜講義終了までのいずれかの時間）以内に、このメモ書きが描画された空間スクリーンについてドラッグが行われて、他の空間スクリーンと空間位置が重なったかについてＰＣ２１の制御部が判定する。この判定は、後の、取得したスライドにメモ書きを行いたい場合に付箋のように貼り付けるという処理を行うかの判断のためのものである。
Ｙｅｓの場合は、ＰＣ２１の制御部は、処理をステップＳ５０９に進める。
Ｎｏの場合は、ＰＣ２１の制御部は、このままメモ書きされた空間スクリーンを保持するものとして、メモ書き処理を終了する。
【０１１６】
（ステップＳ５０９）
次に、ステップＳ５０９において、ＰＣ２１の制御部は、スライド関連づけ処理を行う。
この処理により、ＰＣ２１の制御部は、まず、メモ書きが描画されている空間スクリーンについて、まず、背景色を透明にする。
次に、Ｄ１０８の姿勢を重なっている空間スクリーンと同一にし、空間位置が重なっている空間スクリーンについて、法線方向に十分上方に位置するようにする。
これにより、完全に法線方向で重なった場合に、ビデオカードのデプス（深度）バッファの精度の問題で、レンダリング時の描画の破綻を避けることができる。
【０１１７】
（ステップＳ５１０）
次に、ステップＳ５１０において、ＰＣ２１の制御部は、スライド関連づけ保存処理を行う。
具体的には、重なっていた空間スクリーンのＤ１０５の関連づけのデータに、メモ書きをした空間スクリーンのＩＤを書き込む。
これにより、重なっていた空間スクリーンを選択・移動した際に、メモ書きされた空間スクリーンも同時に移動することができるようになる。
また、スライド選択処理で保存したファイルと、メモ書きで保存したファイルをＸＭＬ等を用いて統一的に扱うことも可能になる。
以上の処理により、メモ書き処理を終了する。
【０１１８】
上述のメモ書き処理で保存された、メモ書きを保存したファイルは、後で見られるように、上述したスライド選択処理と同様に、講義後にＵＳＢメモリにコピーしたり、プリンタで印刷することもできる。
【０１１９】
また、講義中にメモを取るのと同様に、スライド関連づけ処理により、生徒が上述のスライド選択処理等で自分のものにした空間スクリーン（重なっていたスライド）にメモ書きをしたい場合、該空間スクリーンに上述のメモ書きが描画されている空間スクリーンを重ねることで、メモ書きが描画されている空間スクリーンを貼り付けておく機能を実現することができる。
これにより、講義のスライドとメモ書きを分離して、例えば問題の回答欄にメモ書きで講師が解説した箇所を、後にメモ書きのみを描画されないようにして、覚えた知識を自分でテストするといった用途に用いることができる。
さらに、メモ書きはメモ書きが行われた時間を記憶し、重層的にメモ書きを貼り付けることができる。このため、古い書き込みと新しい書き込みを参照することで、ＣＶＳ等の「バージョン管理」方法のように、生徒自らの学習の進展について時間を追って確認することが可能である。
【０１２０】
なお、上述のメモ書き処理では、空間メモパッドを用いて間接的にメモ書きを行うように記載したが、実際には、スライド選択処理が行われた空間スクリーンに直接メモ書きを行うようにすることも可能である。
この際には、空間メモパッドを透明にして、テクスチャとして重ねるように構成しても、直接、メモ書きする空間スクリーンのテクスチャのデータにメモ書きを記載するように構成してもよい。
いずれの構成を用いる場合でも、空間スクリーンに割り当てられて保存するファイルについて、メモ書きしたのと同一のファイル中でメモ書きされた状態で保存することもできる。
また、ＸＭＬ等を用いて、メモ書きの文字や画像のデータを分離して保存することも可能である。
【０１２１】
なお、上述したように、講師側（ローカル）の仮想空間学習ソフトウェアでも同様に、スライド選択処理とメモ書き処理とを行うことができる。
すなわち、スライド選択処理において、講師は生徒と同様にスライドを選択して保存することができる。
また、メモ書き処理においても、講師は自分が提示している教材にメモ書き処理により書込みを加えることができる。
【０１２２】
通常、講師のメモ書きやスライド選択処理、メモ書き処理は生徒側（リモート）に独自形式のデータとして送信されない。
しかし、カーソル４６０を用いたコマンドを使用して、これを生徒側（リモート）でシェアするように設定可能である。この場合は、講義中に、ＶＲ空間動作データの一部として送信することができる。
これにより、特定のスライドを講師が注目させたり、講師のメモ書きを板書のように用いたりすることが可能である。また、講師のメモが書かれたスライドを生徒が取得することも可能になる。
【０１２３】
（協同作業ボード機能）
次に、生徒インタラクションにおいて、学生同士の協同作業も可能にする機能である、学生協同作業ボード機能について説明する。
本発明の実施の形態に係る協同作業ボード機能として、空間スクリーンとの関連についての関連づけデータＤ１０５を「共有」として、他の学生や講師のメモ書きされた空間スクリーンを共有することができる。この空間スクリーンについては、ジョイパットの特定ボタンにより、ブランク空間スクリーンを新たに作成して、各生徒や講師に対してチャット等の処理により「共有」を選択することで実現することができる。
この「共有」処理が行われると、サーバ１００は、講師用機器２００や生徒用機器３００−１〜３００−ｎとの間で、「共有」の空間スクリーンにメモ書き等が行われると、その結果を他の生徒や講師の空間スクリーンに反映する。
すなわち、講師がリアルタイムで書き込んだ空間スクリーンや、生徒がリアルタイムで書き込んだ空間スクリーンを共有し、講師／生徒がそれぞれその場で書き込むことができる。
【０１２４】
（音声チャット機能）
また、この協同作業ボード機能の機能の一部として、音声のやり取りをする音声チャット処理も可能である。
現実空間では、許可がない限り、生徒同士の協同作業は私語と区別がつかないばかりか、話している教員自身や周囲の他の生徒への学習の妨げになりかねない。よって、現実空間では、たとえ授業に対する生徒の熱心さの発露であっても、各生徒の間で音声通話を行うことは難しい。
これに対して、本発明の実施の形態に係る協同作業ボード機能の音声チャットを用いることで、誰の妨害もせず可能になる。特に、本発明の実施の形態に係る学習システムＸにおいては、ＶＲ空間を用いて音声のやり取りを行うために、音声が講師や他の生徒に洩れることなく、当該生徒間だけで音声通話を交わすことが可能である。このため、リアルタイムな共同学習により、学習効率を向上させることが可能になる。
【０１２５】
（字体変換メモ書き機能）
協同作業ボード機能では、「共有」の空間スクリーンに、上述のメモ書き機能によりメモ書きを行うと、リアルタイムで、教材には複数人の記入が刻々とされてゆくため、どの記入がどの講師又は生徒が描画に当たるのかを把握するのが難しいことがある。
このため、メモ書き処理において、予めスキャナ画像から公知の機能にて字体の癖を抽出した「自分の字体の文字」により入力することができる。これにより、講師と、他の生徒の書き込みと、書き込み者本人の書き込みとを直感的に把握することができる。これは、周囲の状況を直接把握するのとは異なるＶＲ空間でのメモ書きについて特に有効である。
また、手書きによる遅延を避けたい場合には、上述の音声入力にて入力した文字を「自分の字体の文字」に変換することも可能である。
【０１２６】
（追いつき再生機能）
また、生徒用機器３００−１〜３００−ｎにおいては、講師インタラクションのデータ受信のスピードを変更することができる。これは、サーバ１００に記憶されたＶＲ空間動作データや音声データの再生を例えば、２倍〜１０倍に早送りして再生することができる機能である。
すなわち、リアルタイムの講義において、メモ書き処理等で授業の聞き取りが遅れたときに、その部分を早送りで「追いかけ再生」のように再生することで、講師の講義に「追いついて」講義を受けることが可能になる。単なる映像・音声データではなく、ＶＲ空間動作データも早送り再生することで、五感を使ったＶＲ空間での「追いかけ」再生の授業送信が可能になり、生徒の理解を促進することができる。
この「追いかけ」再生のスピードとしては、生徒が理解可能なスピードであれば、どのようなスピードであっても構わない。通常のスピードとしては２〜１０倍以上のスピードで追いかけ再生を行い、聞き取りにくいところでは少しスピードを落としたり、「巻き戻し」てもう一度再生をしたりするといったことが可能である。
また、この追いつき再生を行った部分に関しては、生徒用機器３００−１〜３００−ｎとサーバ１００にタイムライン等の情報として保存するため、復習を行う際にこの部分だけゆっくりと再生しなおして復習をすることもできる。
【０１２７】
（資料倉庫参照機能）
講師は、授業理解のために、生徒がもう少し詳しい情報を参照するための資料の空間スクリーンを用意しておくことができる。
生徒用インタラクションの処理において、生徒が生徒用機器３００−１〜３００−ｎにて、この空間スクリーンを見ることで、これらの資料を参照することができる。また、講師の手間を省くために、空間スクリーンにインターネット上の資料へのＵＲＬ等のみを書き込んでおき、空間スクリーンを生徒がアクセスすると、ブラウザやプラグインやアプリケーション等の画面を用いて、このインターネット上の資料のファイルにアクセス可能である。
実際には、インターネット上の情報は玉石混交であり、すべての情報が信頼に足るものとは限らない。このため、講師が正しい情報をプールした「倉庫」のように、資料の空間スクリーンを作成する必要がある。講師は、生徒が理解度・学習準備度に応じて、深く確認したい事項を追ってゆけるように、「倉庫」内の資料の空間スクリーンを手前から奥等に並べて用意することができる。
生徒は、講義でわからない事柄を、リアルタイムでその「倉庫」へアクセスして、理解を深めることができる。これにより、「ユニバーサル」な教育を実現することができる。
生徒が講義インタラクション処理中に、リアルタイムで「倉庫」を参照した場合には、参照に時間がかかるために、講義インタラクションの各ストリームの配信を一時停止することもできる。
この際に、実際に講師が授業を進めている時点に追いつく必要があり、そのために上述の追いつき再生機能を用いて、高速に授業を聞くことも可能である。
【０１２８】
上述のように、講義が終了した時点で、講師の講義インタラクションが終了する。これに伴って、生徒の講義インタラクションも終了する。
【０１２９】
ここで、図４に戻って、講義インタラクションが終了した後の、授業の終了時の処理について説明する。
【０１３０】
（タイミングＴ１１０）
タイミングＴ１１０において、ＰＣ２０の制御部は、講義終了信号送信処理を行う。具体的には、講師によりすべてのスライドが提示されて、講義が終了と指示されたことを講師用機器２００のＰＣ２０が検知した場合、ＰＣ２０の制御部は、ネットワーク５を介して講義終了の信号を送信する。
この講義終了信号送信処理においては、ＰＣ２０の制御部は他にも、仮想空間の描画を終了したり、保存用のファイルを閉じたりといった処理を行う。
【０１３１】
この講義終了の信号を生徒用機器３００−１のＰＣ２１が受信した場合、ＰＣ２１の制御部は、生徒用の仮想空間学習ソフトウェアを用いて仮想空間の描画を終了したり、保存用のファイルを閉じたりという処理を行う。
その上で、次の講義資料・ログ送信要求処理を行う。
【０１３２】
（タイミングＴ１１１）
タイミングＴ１１１において、生徒のＰＣ２１の制御部は、講義資料・ログ送信要求処理を行う。
具体的には、講師が書き込んだ講義資料やＶＲ空間動作データを取得するための要求処理を行う。また、生徒側（リモート）でスライド選択処理や、メモ書き処理が行われて、保存されたファイルが講師側のＰＣ２０やサーバに存在するという場合には、選択されたスライド・メモが書き込まれたファイル・画面ショット等の送信についても要求する。
【０１３３】
（タイミングＴ１１２）
タイミングＴ１１２において、ＰＣ２０の制御部は、講義資料・ログ送信処理を行う。
具体的には、ＰＣ２０の制御部は、講義資料やＶＲ空間動作データと、これに加えて、講師が書き込んだメモ等についても送信することができる。この送信は、講師が許可したことが補助記憶装置に記憶されている場合に行う。
サーバ１００の補助記憶装置に、選択されたスライド・メモが書き込まれたファイル・画面ショット等が記憶されている構成の場合は、上述のユーザ認証時の処理と同様に、まず、ＰＣ２０の制御部がＰＣ２１の制御部に鍵を送信する。この上で、ＰＣ２１の制御部は、サーバ１００からダウンロードすることができる。
【０１３４】
（タイミングＴ１１３）
最後に、タイミングＴ１１３において、生徒用機器３００−１のＰＣ２１の制御部は、講義資料・ログ保存処理を行う。
これは、生徒側のＰＣ２１で上述したようにＵＳＢメモリに、要求したファイルを記憶したり、プリンタで印刷したりする処理である。
この後、講師用機器２００では、生徒管理部１０により、各生徒のＰＣの電源をオフにして、教室の照明等をオフにすることもできる。
以上で、１つの講義を終了する。
【０１３５】
以上のように構成することにより、本発明の実施の形態に係る学習システムＸは以下のような効果を得ることができる。
まず、従来技術１は、多数のウィンドウが開かれて、これを切り換えながら会議を視聴するのが面倒で、操作性が悪いという問題があった。
【０１３６】
これに対して、本発明の実施の形態に係る学習システムＸにおいては、３次元空間で表現される仮想空間に多数の資料を浮かべておくことができる。
すなわち、パワーポイントのスライドや各種カメラの映像について、仮想空間でスライドをスクロールしながら描画することでウィンドウが多数になって視認性を悪くすることなく提示し続けられる。
さらに、仮想空間内の多数の空間スクリーンを選択してつかむというような、直感的に操作を行うことができる。
これにより、講師又は生徒は、ウィンドウが多数描画されていても、直感的に資料の閲覧を行うことができるため、操作性がよくなる。
また、グローブデバイスを用いて直感的に選択し、つかむ状態にすることができるため、機器操作に煩わされることがない。よって、即興性・直感的に操作を行うことが可能になる。
このため、操作性をさらに上げ、学習効率を向上することができる。
【０１３７】
また、従来技術１のｗｅｂ会議システムでは、全員で会議の内容をシェアするための会議システムであって、ｅラーニングシステムのように、講師や生徒がローカルで資料を保持するために用いることができなかった。
また、各生徒が資料のファイルに個別にメモを取ったり浮かんだ発想を書き留めて保存することはできないという問題があった。
【０１３８】
これに対して、本発明の実施の形態に係る学習システムＸにおいては、教師にとっては、事前準備の教材のみでなく、その場で即興的に資料を作ったり、インターネット上の資料・ＨＰ、書画カメラ映像、実物の映像を示したり、書き込みを行ったりできる。
加えて、資料の種類によっては、教師が資料や教材を作り上げてゆく状況、手続き、手順、経緯といったものを生徒に示すこともできる。
これにより、生徒の学習効果を高めることが可能になる。
【０１３９】
生徒にとっては、事前配布の教材のみでなく、上述のように教師が即興的に書き込み処理により作成したり各種カメラの画像として示したりしたものを、即興的・即時的に入手でき、且つ、自分のコメントやメモを書き込みすることができる。さらに、この書き込みが行われた資料を、さかのぼって検討することができる。
また、メモ書き等をした資料のファイルをダウンロードして、手元に残し、授業後にも利用することができる。
【０１４０】
また、現実空間では、講師の即席の資料を、生徒がノートに取るのは困難であったが、仮想空間を用いて、講師の後方に描画されるスライドを選択するだけでノートを取るのと同様に保存でき、これに書き込みを行うことができるため、現実空間で講義のノートをとるよりも便利に用いることができる。加えて、書き込みの様子を録画・再生することもできる。このため、上述の書き込みを遡って検討することと合わせて、講師・生徒とも、自分の思考の展開プロセス・作業プロセスを、動画的に記しておくことが可能となる。
これらの機能により、本発明の実施の形態に係る学習システムＸでは、ｅラーニングシステムの操作性を飛躍的に向上させることができる。
【０１４１】
加えて、講師も生徒のノート書きの時間を意識することなく授業を進めることができるため、講義の進行スピードを早くすることも可能になる。
このため、学習のスピードが早い生徒をイライラさせることなく講義を行うこともできる。さらに、学習スピードが遅い生徒も取得したスライドをチェックし、反復で講義を視聴して復習を行うことで講義を理解することが可能である。
よって、学習スピードが平均的な生徒に合わせて講義を構築する必要がなくなり、より講師のスタイルに合った講義を行うことができる。
【０１４２】
なお、上述のＰＣ２１では、共用のＰＣを用いたために、講義毎に生徒側の仮想空間学習ソフトウェアの環境がリセットされたり、保存したファイルが消去されるように説明したが、上述のファイルをサーバ１００内に保存して、講義の開始時に読み出すように設定することも可能である。さらに、生徒が個人で所有するノートＰＣやＰＤＡ等を持ち込んで講義を受けることも可能である。
これにより、生徒は、自らがカスタマイズした生徒用の仮想空間学習ソフトウェアの環境で、仮想空間内で前の授業で取ったメモ書きのファイルを参照しながら学習を行うことができるため、より学習効率を向上させることができるという効果が得られる。
また、このような授業形態は、少人数性のゼミなどに用いると、より効果的である。加えて、上述のように、レンダリングする生徒の数を制限して表示して、同様な効果を得ることができる。さらに、制限して表示した際に登録した友人等を、実際のゼミのメンバーになってもらうといったことも可能である。
【０１４３】
（再開機能）
上述のように、ログ保存処理を行って講義終了後にも、サーバや講師用機器や生徒用機器やＵＳＢメモリに、講義インタラクション処理中に移動された空間スクリーンの配置の座標、資料の提示順序、関連づけ、展開されたタイミング等を記憶することができる。
そして、講義を復習して再生する際に、空間スクリーンの座標、資料の提示順序、関連づけ、展開されたタイミング等を同じように復元することが可能である。すなわち、作業中断の状態がそのまま保存され、再開時にその状態にて、再生することが可能である。
これにより、授業後に復習する際、授業を受けた状態で、速やかに作業を再開し、メモ等の記憶を思い出す手がかりになり、思考を整理できるため、学習効率を向上させることができる。
【０１４４】
また、生徒が直接持ち込んだノートＰＣやＰＤＡ等で講義を受ける場合には、ウェブブラウザ等でユーザ認証を行うと、ＡｃｔｉｖｅＸやＪａｖａ（登録商標）等の生徒用仮想空間学習ソフトウェアを起動するという構成であってもよい。
この場合は、生徒のＰＣ２１にＨＭＤやグローブデバイス等が接続されていない場合は、キーボードやマウス等の補助入力部７１により、仮想空間の閲覧とメモ書きを行うことができる。
【０１４５】
また、上述の実施の形態においては、仮想空間内に講師のアバター４００が表示されるように記載した。しかし、ポリゴンで描画されたアバター４００ではなく、予め撮影しておいた講師の画像データや、講師撮影用カメラ１７で撮影した講師の姿の画像データを表示することもできる。この画像データは、講師表示用の空間スクリーンを用いたり、ビルボード技術を用いて、２次元的に表示可能である。この際、例えばクロマキー合成を用いて、講師の姿だけを抜きだして、背景に違和感なく表示することができる。
また、この画像データは、ポリゴンの表面にテクスチャマッピング等を行うことも可能である。モーションキャプチャ等の技術を用いて、講師の身体の動きと連動させることも当然可能である。
【実施例】
【０１４６】
本発明の実施の形態に係るバーチャルリアリティを用いた学習システムＸの有用性を検討するため、実験をおこなった。
この実験としては、実際には、まだ社会に出ていない制作物（プロダクト）等を評価する際に、広告効果に関する心理学で扱われている手法を援用した実験を行った。すなわち、プロダクトや案を提示して、それに対する使用欲求や入手意図を評価する態度測定の実験手法を用いて評価を行った。
この評価の測定手法については、官能評価（センソリー・エバリュエーション）あるいは感性評価の手法（例えば、増山英太郎・小林茂雄の手法（１９８９）や神宮英夫（１９９６）の手法等を参照）を用いた。
官能評価とは、人でしか測れない対象を主に言語的表出から測ろうとする心理学における評価手法である。この官能評価では、例えば、料理が「どのように、どれくらい美味しいか」といった、構成する化学的成分を機械によって物理的に測定しても評価が非常に難しいような主観的な評価について、被験者のアンケート調査等の「表出」の情報を用いて統計等を用いて評価することができる。官能評価は、他にも、ヒトにとって評価を行うことが重要だが評価が難しい「居心地の快適感」や「芸術への感動」など、多様な対象に用いられている。
以下、この実験の結果について、実施例として図１３を参照して説明する。
【０１４７】
〔実験方法〕
実験参加者： 講義、講師の経験を持つ者に対しての個別実験であり、７名（男性４、女性３、３０〜５０歳代）であった。
実験装置： 回転センサー付きＨＭＤ（理論画角８０°）、グローブ型入力デバイス、ゲームパッド、ＶＲ空間構築ソフトウェアを用いた。
刺激材料： 説明ＶＴＲ、およびＶＲコンテンツ、パワーポイントスライド（ＶＲ空間内提示）を用いた。
実験手順： まず、実験参加者に実験の概要を説明し、各実験参加者に、（１）従来技術１と同等な公知の２次元の学習システム、（２）講師用機器２００のみ使用による教員側の体験、（３）実際の学習システムＸにより、講師用機器２００と生徒用機器３００−１〜３００−ｎを用いた授業の体験、をしてもらった。その後、７段階評価によって、（１）〜（３）の各システムの利用価値・有用性等の評価のアンケート用紙を直後に記載してもらって回収し、官能評価の手法を用いて評価を行った。（１）は従来から通常用いられているプレゼンテーションシステムを、（２）はスペックが低いシステムを、（３）は本発明の実施の形態に係る学習システムＸの全体像での体験の例に対応する。
【０１４８】
〔結果および考察〕
図１３を参照すると、（１）〜（３）について、各システムの利用価値、貢献度の評価についての、「非常にそう思う」から「まったくそう思わない」までの７段階評価（７件法）において、評定値「４」は「どちらでもない」であるので、それより下は否定的評価、それより上は肯定的評価を意味する。
このうち、実験参加者は、（１）従来の学習システムに比べて、（２）講師用機器２００を使用した講師側の体験だけでも、（１）の評定値「４」よりも上の値を示していた。この（１）と（２）との差は、統計的な有意性はないが、個別のアンケートによると実験参加者のコメントは好意的であり、教師側のＶＲ空間での授業の体験だけでも、有用性は高いという印象であった。
これに対して、（３）のように本発明の実施の形態に係る学習システムＸを用いて、実際に講師用機器２００と、生徒用機器３００−１〜３００−ｎを用いた授業を体験してもらうと、実験参加者は、有用性について顕著な効果を認めてもらえることが分かった。実際に、（１）と（３）の評価の差について二項検定を行ったところ、双方の評定値の間に統計的な有意差があるといえた（ｐ値＜０．０５）。
以上のように、本発明の実施の形態に係る学習システムＸは、教員用の講師用機器２００だけでも教育−学習の官能評価的な利用価値の向上が見込める。さらに、講師用機器２００と生徒用機器３００−１〜３００−ｎを用いた全体的な学習システムＸによる授業に実際に使用することで、官能評価における教育−学習に対する顕著な利用価値が認められ、教育−学習の効果が上がると推測できる。
【０１４９】
（マルチポイントサーバを用いたイベントの同期）
上述の図１の学習システムＸにおいては、ＰＣ２０がＰｔＰ（ピア・トゥー・ピア）のような形式で、１対１の個人レッスンのような送信や、１対多数のストリーミング送信を行うことも可能である。
しかし、実際の講義においては、多数の生徒が講義に参加する場合は、ＰＣ２０の処理能力が飽和することもある。
このため、上述の講義中に用いられる独自形式データは、ＰＣ２０から、一旦、サーバ１００に対して送信し、サーバ１００が中継して多数の生徒用ＰＣにストリーミング送信することも可能である。
また、サーバを多数用意して、サーバ間をポイント・トゥー・ポイントで接続することで、負荷を分散させると同時に、離れた拠点どうしを同期して授業を行うことができる。
【０１５０】
ここで、図１４を参照して、図１の学習システムＸに多数のサーバを追加した際の構成例について説明する。
この図１４のシステムでは、サーバ１００の他に、物理的に離れた箇所にサーバ１１０、サーバ１２０、サーバ１３０を設置し、これらの間をＡＴＭ等の専用線又は帯域が確保されたネットワークで接続している。
ここで、各サーバに接続されたＰＣは、講師側（ローカル）のＰＣでも、生徒側（リモート）のＰＣでもよい。
【０１５１】
この構成例においては、講師側のＰＣで例えば講義を開始する等の処理が行われたり、生徒側のＰＣで例えば講義中に当てられてチャット形式で返答する等、各ＰＣで何らかのイベントが発生した際には、これらの接続されたＰＣ間で仮想空間学習ソフトウェアのオブジェクトやデータについて同期をすることができる。
すなわち、アバターや空間スクリーンの位置情報等がサーバを介して独自信号形式で他のＰＣに送信され、この送信されたデータを受信して、各ＰＣ内が仮想空間学習ソフトウェアにて当該イベントを再現することができる。
この構成例は、大学のように複数の校舎にまたがって存在する学習機関で教養課程等の大規模な授業を行う際に有効である。
【０１５２】
（講師用の整理機能）
上述の学習システムＸにおける講師の講義インタラクションの処理について、さらに改良を行った講師用の整理機能について、以下で図１５の概念図を参照して説明する。
まず、図１５（ａ）の教師用のＶＲ空間の概念図を参照すると、講師は、前もって教材、メモ、資料等の空間スクリーンをＶＲ空間に貼り付けておく。また、各空間スクリーンには、実行日付順、各空間スクリーンに設定したキーワード、設定した重要度順などの属性を設定する。
また、上述のように、映像データや音声データを、各空間スクリーンに記憶しておくこともできる。この音声データは、予め講師が録音しておくこともできる。
このようにＶＲ空間に貼ったデータは、上述のように各空間スクリーンの座標等を、サーバ１００や講師用機器２００の補助記憶装置に「そのまま」保存する。
【０１５３】
次に、図１５（ｂ）の概念図を参照して説明すると、講師がジョイパッド６１等を用いて、コマンドを実行することで、上述の空間スクリーンの属性により並べかえることが可能である。
この並べ替えの際に、必ずしも直線的に整列させる必要はなく、関連する空間スクリーン同士を並べ替え、並べ替えた空間スクリーン同士を「ハイパーリンク」のように「関連ライン」で接続して可視化して示すことができる。この関連ラインを矢印にて示す。
この並べ替えた状態のＶＲ空間の各種データや、関連ラインのポリゴン等の座標についても、サーバ１００や講師用機器２００の補助記憶装置に保存する。
【０１５４】
この状態で、上述する講師の講義インタラクションの処理を行うと、図１４（ｂ）の概念図のように、講師用のＨＭＤに表示されるＶＲ空間は「そのまま」の状態で描画を行われ、授業を開始することができる。この際に、講師が閲覧するための資料や関連ラインは、当然、生徒用機器には表示されない。
また、この授業の際に、生徒に閲覧させる資料は、録音した講師の音声データや公知の音声合成機能等を用いて自動的に読ませることができる。これにより、講師は、その間に、教員は別の作業ができる。すなわち、次にどの資料を利用するか考えることができる。なお、音声合成機能を用いる場合は、資料の文字情報を用いて音声合成を行うが、サーバ又は講師用機器にて、講師の発声の特徴量を抽出するような合成音声アルゴリズムを用いて話すことで、合成された音声の違和感を少なくすることができるために好適である。
また、講師は、フォースフィードバック部（フォースフィードバックデバイス）やグローブデバイス等を用いてアバターを操作し、次にどの資料を使用するかを選択して指定する。この際に、関連ラインを点線で表示したり、点滅させたり、色を変化させて描画する等により区別する。
【０１５５】
また、各資料の空間スクリーンには、講師が属性として設定したり、過去の授業で使用した際の時間に基づく説明に要する時間を表示する。これは、各資料の空間スクリーンの所要の時間は単独で利用されるのではないためである。
さらに、ＶＲ空間内に各種のインジケーターを表示することができる。
この各種のインジケーターとしては、資料積算時間、授業残り時間又は現在時間等について表示することが好適である。資料積算時間としては、残り時間のうち選択した資料で何分が埋まるか、あと何分ぶんの資料が追加できるかについて表示することができる。
また、各種のインジケーターとは、講師が直観的に分かり易いように空間スクリーンや時計状のポリゴン等で表示する。
このように、各資料の空間スクリーンに説明の時間を表示したり、各種のインジケーターを表示することで、どの資料を組み合わせて用いることで、授業時間が埋まるかについて、一目で理解することができるという効果が得られる。
よって、講師にとっては、授業途中でネタ切れしないか、逆に話しすぎで尻切れトンボのような中途半端な状態にならないかが講義の度に心配であるが、これを解消することが可能になる。
【０１５６】
また、講師が資料の空間スクリーンを指定する際に、読み終わった箇所や資料の空間スクリーンは、ＶＲ空間上で消したり、薄い色等に変化させて表示する。
このように構成することで、講師はどの資料を用いているか迷うことがない。また、資料が切り替わるに応じて、関連ラインを太く表示したり、選択されなかった関連ラインを細く表示することが可能である。これにより、資料の並びの整理を行うこともできる。
【０１５７】
また、次回以降何の授業テーマが残っているか、残りの授業日数で何をどこまでこなすか、計画が埋まっているか等について、その時点での授業進行進度によって、資料の空間スクリーンに、刻々と更新して表示することができる。
この資料用の空間スクリーンの表示は、どの資料を選択するか、過去の授業を基にデータベース化された「こなしの過去データ」から算出することができる。
結果として、授業をこなしながらその場で、授業年間計画も、リアルタイムで整理ができる。すなわち、変更があればリアルタイムで更新可能である。
さらに、上述したように、ＶＲ空間に貼ったものは「そのまま」保存しておけるので、講義の直前においても、準備しておける。また、空いた時間に途切れ途切れに整理してゆくことができる。
【０１５８】
さらに、講師がその場で口頭で話したことも、同時にテロップ化して空間スクリーンに表示することができる。このテロップをフォースフィードバック部やグローブデバイス等で「なぞる」ことで、その箇所を、パワーポイント等のスライドの項目として記載することができる。
さらに、各資料の空間数クリーンのキーワードを、授業時に、即興で作成することができる。このキーワードも、各資料の空間スクリーンとして用いることが可能である。
他にも、講師が話していることと資料同士の関連度や一致度順について、キーワードをリアルタイムで設定し、関連ラインをリアルタイムで調整可能である。また、講師として、テストへの出題候補重要順などを設定することも可能である。
この各資料の空間スクリーンに設定した情報もサーバや講師用機器に保存可能である。
加えて、講義の後で、各資料の空間スクリーンと関連ラインの記憶の他に、他の資料用の空間スクリーンを整理することも可能である。
これにより、講師の授業をより効率的にクォリティーを高めることができ、学習効果を向上させることができる。
【産業上の利用可能性】
【０１５９】
本発明においては、ｅラーニングシステムにおいて、講師による教材・資料の示方法と、学生側としての資料活用方法を、仮想現実を用いて行う学習システムと学習方法を提供する。
仮想空間における講義・演習等で３次元空間に示された資料を、学生が自己学習・復習のために利用できるよう、手元に残したり、書き込みをしたり、授業終了後に保存しておくことができ、自分の思考の展開プロセス・作業プロセスを動画的、追体験的に記すことができる。これにより学習効率と操作性が高いｅラーニングシステムを構築することができるため、産業上の利用可能性がある。
【０１６０】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【図面の簡単な説明】
【０１６１】
【図１】本発明の実施の形態に係る学習システムＸのシステム構成の概要を示す概念図である。
【図２】本発明の実施の形態に係る講師用機器２００の制御ブロック図である。
【図３】本発明の実施の形態に係る生徒用機器３００−１の制御ブロック図である。
【図４】本発明の実施の形態に係る学習システムＸのタイミングチャートである。
【図５】本発明の実施の形態に係る講義開始の処理を示すフローチャートである。
【図６】本発明の実施の形態に係る講師用機器２００のＨＭＤ３０の表示画面例を示す図である。
【図７】本発明の実施の形態に係る生徒用機器３００−１のＨＭＤ３０の表示画面例を示す図である。
【図８】本発明の実施の形態に係るアバターの動作処理を示すフローチャートである。
【図９】本発明の実施の形態に係るスライドのデータを示すテーブルの概念図である。
【図１０】本発明の実施の形態に係る講師用機器２００の講義インタラクションの処理を示すフローチャートである。
【図１１】本発明の実施の形態に係るの生徒用機器３００−１の講義インタラクションの処理を示すフローチャートである。
【図１２】本発明の実施の形態に係るスライドのメモ処理を示すフローチャートである。
【図１３】本発明の実施の形態に係る実施例の実験結果を示すグラフである。
【図１４】本発明の実施の形態に係る複数のサーバを用いるシステムについての構成の概要を示す概念図である。
【図１５】本発明の実施の形態に係る講師用の整理機能の概念図である。
【符号の説明】
【０１６２】
５ ネットワーク
１０、１１ 生徒管理部
１５ 講師使用カメラ
１６ 教室用カメラ
１７ 講師撮影用カメラ
１８ 書画カメラ
２０、２１ ＰＣ
３０、３１ ＨＭＤ（表示手段）
３２、３３ ＨＭＤ本体部
３４、３５ ジャイロセンサ
３６、３７ ヘッドフォンマイク
４０、４１ 表示部（表示手段）
４５、４６ 切換器部
５０、５１ グローブデバイス
５２、５３ グローブ本体部
５４、５５ 磁気センサ
６０、６１ ジョイパッド
７０、７１ 補助入力部
１００、１１０、１２０、１３０ サーバ
２００ 講師用機器
３００−１〜３００−ｎ 生徒用機器
４００、４５０、４５１ アバター
４１０ 講師板書画面
４１７ 講師撮影用カメラ画面
４４０−１〜４４０−ｎ 空間スクリーン
４６０ カーソル
Ｘ 学習システム
【特許請求の範囲】
【請求項１】
講師側の機器と生徒側の機器との間で講義を行う学習システムであって、
３次元で描写される仮想空間を描画する仮想現実技術を用いた講師用ソフトウェアを含む前記講師側の機器と、
前記仮想現実技術を用いた生徒用ソフトウェアを含む前記生徒側の機器と、
前記講師側の機器と生徒側の機器との間で、前記仮想空間を描画するための講義の信号を送受信するネットワーク手段とを備える
ことを特徴とする学習システム。
【請求項２】
前記講師側の機器は、
前記仮想空間のためのコントロール信号を入力するための第１入力手段と、
前記講義で用いられる講義資料のデータを保存する記憶手段と、
前記仮想空間に、前記コントロール信号により講師用ソフトウェアのコマンドを選択するためのインターフェイスである第１アバターと、講義資料を描画するポリゴンである空間スクリーンとをレンダリングする第１レンダリング手段と、
前記コントロール信号により前記講師用ソフトウェアにて前記第１アバターと前記空間スクリーンの空間位置を移動し、前記コマンドを実行する第１制御手段とを備える
ことを特徴とする請求項１に記載の学習システム。
【請求項３】
前記生徒側の機器は、
前記仮想空間のためのコントロール信号を入力するための第２入力手段と、
前記仮想空間に、前記コントロール信号により生徒用ソフトウェアのコマンドを選択するためのインターフェイスである第２アバターと、講義資料を描画するポリゴンである空間スクリーンとをレンダリングする第２レンダリング手段と、
前記コントロール信号により前記生徒用ソフトウェアにて前記第２アバターと前記空間スクリーンの空間位置を移動し、前記コマンドを実行する第２制御手段とを備える
ことを特徴とする請求項１又は２に記載の学習システム。
【請求項４】
前記講師側の機器又は前記生徒側の機器は、前記第１レンダリング手段により描画された仮想空間を表示するための第１表示手段又は前記第２レンダリング手段により描画された仮想空間を表示するための第２表示手段を備え、
前記第１入力手段又は前記第２入力手段は、フォースフィードバックデバイス、グローブデバイス、又はジョイパッドを備えることを特徴とする請求項２又は３に記載の学習システム。
【請求項５】
前記空間スクリーンは、前記第１入力手段又は前記第２入力手段の前記グローブデバイス及び／又はジョイパッドのコントロール信号を元に空間位置を移動する空間スクリーンであることを特徴とする請求項４に記載の学習システム。
【請求項６】
前記空間スクリーンは、前記第１入力手段又は前記第２入力手段からのコントロール信号により作成する空間スクリーンであることを特徴とする請求項２乃至５のいずれか１項に記載の学習システム。
【請求項７】
前記講師側の機器は、映像入力手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の学習システム。
【請求項８】
前記空間スクリーンは、前記映像入力手段により入力されたリアルタイムに又は即興的に作成又は引用された資料を講義資料として描画することを特徴とする請求項７に記載の学習システム。
【請求項９】
前記空間スクリーンは、前記第１アバター又は第２アバターの背後にサムネイル表示する空間スクリーンであることを特徴とする請求項２乃至８のいずれか１項に記載の学習システム。
【請求項１０】
前記サムネイル表示する空間スクリーンは、前記講義において描画された講義資料のスライドが更新される際に更新される前のスライドを描画して作成する空間スクリーンであることを特徴とする請求項９に記載の学習システム。
【請求項１１】
前記講師側の機器は、
時間を計測するタイマー手段を更に備え、
前記サムネイル表示する空間スクリーンは、前記リアルタイムに又は即興的に作成又は引用された資料が描画された空間スクリーンから、前記タイマー手段で計測した所定の時間に画面ショットを描画して作成する空間スクリーンであることを特徴とする請求項９に記載の学習システム。
【請求項１２】
前記第１レンダリング手段又は第２レンダリング手段は、前記サムネイル表示された前記空間スクリーンがアバターの背後に多くなった場合にスクロールするレンダリング手段であることを特徴とする請求項９乃至１１のいずれか１項に記載の学習システム。
【請求項１３】
前記生徒側の機器、又は前記講師側の機器の制御手段は、
前記仮想空間で前記サムネイル表示された前記空間スクリーンが前記コントロール信号により移動した際に、何も描画されていない前記空間スクリーンに重なったことを検知して、前記サムネイル表示された前記空間スクリーンの描画内容を前記記憶手段に保存するコマンドを実行する制御手段であることを特徴とする請求項９乃至１２のいずれか１項に記載の学習システム。
【請求項１４】
前記第１制御手段又は前記第２制御手段は、
前記空間スクリーンに前記第１入力手段又は前記第２入力手段からのコントロール信号により、文字又は画像を文字入力又は描画して記憶手段に記憶する制御手段であることを特徴とする請求項２乃至１３のいずれか１項に記載の学習システム。
【請求項１５】
前記第１制御手段又は前記第２制御手段は、更に文字又は画像を描画した前記空間スクリーンを、別の前記空間スクリーンと関連づけする制御手段であることを特徴とする請求項１４に記載の学習システム。
【請求項１６】
前記第１制御手段又は前記第２制御手段は、更に文字又は画像を前記グローブデバイスからのコントロール信号により文字入力又は描画する制御手段であることを特徴とする請求項１４又は１５に記載の学習システム。
【請求項１７】
文字又は画像を描画した前記空間スクリーンは、更に前記文字又は画像を描画した時間を記憶手段に記憶していることを特徴とする請求項１４乃至１６のいずれか１項に記載の学習システム。
【請求項１８】
前記ネットワーク手段は、前記仮想空間の描画に関する情報を含むＶＲ空間動作データを含む前記講義の信号を送信することを特徴とする請求項１乃至１７のいずれか１項に記載の学習システム。
【請求項１９】
前記第１制御手段又は前記第２制御手段は、
更に音声入力手段を備え、該音声入力手段から入力した音声信号を基にコントロール信号として用いる制御手段であることを特徴とする請求項２乃至１８のいずれか１項に記載の学習システム。
【請求項２０】
講義資料を記憶して、前記講師側の機器からの信号により前記生徒側の機器に前記ネットワーク手段を介して講義資料を送信するサーバを更に含むことを特徴とする請求項２乃至１９のいずれか１項に記載の学習システム。
【請求項２１】
前記サーバは更に複数の拠点に設置され、前記サーバ間で前記講義の信号を送受信するサーバであることを特徴とする請求項２０に記載の学習システム。
【請求項２２】
前記第１表示手段は第１ＨＭＤであり、前記第２表示手段は第２ＨＭＤであることを特徴とする請求項４乃至２１のいずれか１項に記載の学習システム。
【請求項２３】
請求項１乃至２２の講師用ソフトウェア及び／又は生徒用ソフトウェアが記憶されている記憶媒体。
【請求項２４】
仮想現実技術を用いて講師側の機器と生徒側の機器との間で講義を行う学習システムにおいて、
講師のアバター又は画像データを表示し、
講義資料のデータを仮想空間内の空間スクリーンに描画し、
講師が前記講義資料のスライドを更新したとき又は所定時間経過後に、前記講師のアバター又は画像データの背後に別の空間スクリーンを作成して並べ、
前記別の空間スクリーンに、更新前の前記スライドを描画し、
前記別の空間スクリーンが多くなった際に、スクロールする
ことを特徴とする学習方法。
【請求項２５】
前記スライドが描画された空間スクリーンが、何も描画されていない別の空間スクリーンと空間位置が重なった際に、描画内容を記憶手段に保存する
ことを特徴とする請求項２４に記載の学習方法。
【請求項２６】
前記スライドが描画された空間スクリーンに、入力手段からのコントロール信号により文字又は画像の描画をする
ことを特徴とする請求項２４又は２５に記載の学習方法。
【請求項２７】
前記講義資料と講師の音声とＶＲ空間動作データとを再生データとして講師用機器又はサーバに保存し、
前記再生データを講義で再生して、生徒側の機器に送信し、
講師が講義インタラクションを行うと、前記再生データと入れ替えて生徒側の機器に送信する
ことを特徴とする請求項２４乃至２６のいずれか１項に記載の学習方法。
【請求項２８】
前記生徒側の機器は、前記アバターが正面近くに表示するようにビューポイントを調整してレンダリングする
ことを特徴とする請求項２４乃至２７のいずれか１項に記載の学習方法。
【請求項２９】
前記アバターを複数表示し、
講師の指示を検知して、複数の前記アバターを切り替えて、該切り替えたアバターを用いて講義インタラクション処理を行う
ことを特徴とする請求項２４乃至２８のいずれか１項に記載の学習方法。
【請求項３０】
前記講師側の機器又は複数の前記生徒側の機器との間で、音声チャットを行い、
前記音声チャットの音声を音声認識して前記空間スクリーンに描画する
ことを特徴とする請求項２４乃至２９のいずれか１項に記載の学習方法。
【請求項３１】
前記空間スクリーンは、前記講師側の機器又は複数の前記生徒側の機器との間で共用し、前記講師側の機器又は又は複数の前記生徒側の機器から、共用した前記空間スクリーンに文字又は画像の描画をする
ことを特徴とする請求項２６乃至３０のいずれか１項に記載の学習方法。
【請求項３２】
前記空間スクリーンに表示する文字は、前記講師側の機器又は前記生徒側の機器で入力された音声又は手書き文字の特徴を基にして描画する
ことを特徴とする請求項３１に記載の学習方法。
【請求項３３】
前記講師の音声とＶＲ空間動作データとを前記サーバに記憶し、
前記生徒側の機器は、前記サーバに記憶された前記再生データを早送り再生する
ことを特徴とする請求項２７乃至３２のいずれか１項に記載の学習方法。
【請求項３４】
前記講義資料の空間スクリーンにＵＲＬの属性を記憶し、
前記生徒側の機器により前記ＵＲＬを記憶した前記講義資料の空間スクリーンにアクセスすると、前記ＵＲＬのファイルを該空間スクリーンに表示する
ことを特徴とする請求項２４乃至３３のいずれか１項に記載の学習方法。
【請求項３５】
前記空間スクリーンの描画座標及び関連づけを記憶し、復習時に前記空間スクリーンを前記記憶された描画座標及び関連づけで描画する
ことを特徴とする請求項２４乃至３４のいずれか１項に記載の学習方法。
【請求項１】
講師側の機器と生徒側の機器との間で講義を行う学習システムであって、
３次元で描写される仮想空間を描画する仮想現実技術を用いた講師用ソフトウェアを含む前記講師側の機器と、
前記仮想現実技術を用いた生徒用ソフトウェアを含む前記生徒側の機器と、
前記講師側の機器と生徒側の機器との間で、前記仮想空間を描画するための講義の信号を送受信するネットワーク手段とを備える
ことを特徴とする学習システム。
【請求項２】
前記講師側の機器は、
前記仮想空間のためのコントロール信号を入力するための第１入力手段と、
前記講義で用いられる講義資料のデータを保存する記憶手段と、
前記仮想空間に、前記コントロール信号により講師用ソフトウェアのコマンドを選択するためのインターフェイスである第１アバターと、講義資料を描画するポリゴンである空間スクリーンとをレンダリングする第１レンダリング手段と、
前記コントロール信号により前記講師用ソフトウェアにて前記第１アバターと前記空間スクリーンの空間位置を移動し、前記コマンドを実行する第１制御手段とを備える
ことを特徴とする請求項１に記載の学習システム。
【請求項３】
前記生徒側の機器は、
前記仮想空間のためのコントロール信号を入力するための第２入力手段と、
前記仮想空間に、前記コントロール信号により生徒用ソフトウェアのコマンドを選択するためのインターフェイスである第２アバターと、講義資料を描画するポリゴンである空間スクリーンとをレンダリングする第２レンダリング手段と、
前記コントロール信号により前記生徒用ソフトウェアにて前記第２アバターと前記空間スクリーンの空間位置を移動し、前記コマンドを実行する第２制御手段とを備える
ことを特徴とする請求項１又は２に記載の学習システム。
【請求項４】
前記講師側の機器又は前記生徒側の機器は、前記第１レンダリング手段により描画された仮想空間を表示するための第１表示手段又は前記第２レンダリング手段により描画された仮想空間を表示するための第２表示手段を備え、
前記第１入力手段又は前記第２入力手段は、フォースフィードバックデバイス、グローブデバイス、又はジョイパッドを備えることを特徴とする請求項２又は３に記載の学習システム。
【請求項５】
前記空間スクリーンは、前記第１入力手段又は前記第２入力手段の前記グローブデバイス及び／又はジョイパッドのコントロール信号を元に空間位置を移動する空間スクリーンであることを特徴とする請求項４に記載の学習システム。
【請求項６】
前記空間スクリーンは、前記第１入力手段又は前記第２入力手段からのコントロール信号により作成する空間スクリーンであることを特徴とする請求項２乃至５のいずれか１項に記載の学習システム。
【請求項７】
前記講師側の機器は、映像入力手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の学習システム。
【請求項８】
前記空間スクリーンは、前記映像入力手段により入力されたリアルタイムに又は即興的に作成又は引用された資料を講義資料として描画することを特徴とする請求項７に記載の学習システム。
【請求項９】
前記空間スクリーンは、前記第１アバター又は第２アバターの背後にサムネイル表示する空間スクリーンであることを特徴とする請求項２乃至８のいずれか１項に記載の学習システム。
【請求項１０】
前記サムネイル表示する空間スクリーンは、前記講義において描画された講義資料のスライドが更新される際に更新される前のスライドを描画して作成する空間スクリーンであることを特徴とする請求項９に記載の学習システム。
【請求項１１】
前記講師側の機器は、
時間を計測するタイマー手段を更に備え、
前記サムネイル表示する空間スクリーンは、前記リアルタイムに又は即興的に作成又は引用された資料が描画された空間スクリーンから、前記タイマー手段で計測した所定の時間に画面ショットを描画して作成する空間スクリーンであることを特徴とする請求項９に記載の学習システム。
【請求項１２】
前記第１レンダリング手段又は第２レンダリング手段は、前記サムネイル表示された前記空間スクリーンがアバターの背後に多くなった場合にスクロールするレンダリング手段であることを特徴とする請求項９乃至１１のいずれか１項に記載の学習システム。
【請求項１３】
前記生徒側の機器、又は前記講師側の機器の制御手段は、
前記仮想空間で前記サムネイル表示された前記空間スクリーンが前記コントロール信号により移動した際に、何も描画されていない前記空間スクリーンに重なったことを検知して、前記サムネイル表示された前記空間スクリーンの描画内容を前記記憶手段に保存するコマンドを実行する制御手段であることを特徴とする請求項９乃至１２のいずれか１項に記載の学習システム。
【請求項１４】
前記第１制御手段又は前記第２制御手段は、
前記空間スクリーンに前記第１入力手段又は前記第２入力手段からのコントロール信号により、文字又は画像を文字入力又は描画して記憶手段に記憶する制御手段であることを特徴とする請求項２乃至１３のいずれか１項に記載の学習システム。
【請求項１５】
前記第１制御手段又は前記第２制御手段は、更に文字又は画像を描画した前記空間スクリーンを、別の前記空間スクリーンと関連づけする制御手段であることを特徴とする請求項１４に記載の学習システム。
【請求項１６】
前記第１制御手段又は前記第２制御手段は、更に文字又は画像を前記グローブデバイスからのコントロール信号により文字入力又は描画する制御手段であることを特徴とする請求項１４又は１５に記載の学習システム。
【請求項１７】
文字又は画像を描画した前記空間スクリーンは、更に前記文字又は画像を描画した時間を記憶手段に記憶していることを特徴とする請求項１４乃至１６のいずれか１項に記載の学習システム。
【請求項１８】
前記ネットワーク手段は、前記仮想空間の描画に関する情報を含むＶＲ空間動作データを含む前記講義の信号を送信することを特徴とする請求項１乃至１７のいずれか１項に記載の学習システム。
【請求項１９】
前記第１制御手段又は前記第２制御手段は、
更に音声入力手段を備え、該音声入力手段から入力した音声信号を基にコントロール信号として用いる制御手段であることを特徴とする請求項２乃至１８のいずれか１項に記載の学習システム。
【請求項２０】
講義資料を記憶して、前記講師側の機器からの信号により前記生徒側の機器に前記ネットワーク手段を介して講義資料を送信するサーバを更に含むことを特徴とする請求項２乃至１９のいずれか１項に記載の学習システム。
【請求項２１】
前記サーバは更に複数の拠点に設置され、前記サーバ間で前記講義の信号を送受信するサーバであることを特徴とする請求項２０に記載の学習システム。
【請求項２２】
前記第１表示手段は第１ＨＭＤであり、前記第２表示手段は第２ＨＭＤであることを特徴とする請求項４乃至２１のいずれか１項に記載の学習システム。
【請求項２３】
請求項１乃至２２の講師用ソフトウェア及び／又は生徒用ソフトウェアが記憶されている記憶媒体。
【請求項２４】
仮想現実技術を用いて講師側の機器と生徒側の機器との間で講義を行う学習システムにおいて、
講師のアバター又は画像データを表示し、
講義資料のデータを仮想空間内の空間スクリーンに描画し、
講師が前記講義資料のスライドを更新したとき又は所定時間経過後に、前記講師のアバター又は画像データの背後に別の空間スクリーンを作成して並べ、
前記別の空間スクリーンに、更新前の前記スライドを描画し、
前記別の空間スクリーンが多くなった際に、スクロールする
ことを特徴とする学習方法。
【請求項２５】
前記スライドが描画された空間スクリーンが、何も描画されていない別の空間スクリーンと空間位置が重なった際に、描画内容を記憶手段に保存する
ことを特徴とする請求項２４に記載の学習方法。
【請求項２６】
前記スライドが描画された空間スクリーンに、入力手段からのコントロール信号により文字又は画像の描画をする
ことを特徴とする請求項２４又は２５に記載の学習方法。
【請求項２７】
前記講義資料と講師の音声とＶＲ空間動作データとを再生データとして講師用機器又はサーバに保存し、
前記再生データを講義で再生して、生徒側の機器に送信し、
講師が講義インタラクションを行うと、前記再生データと入れ替えて生徒側の機器に送信する
ことを特徴とする請求項２４乃至２６のいずれか１項に記載の学習方法。
【請求項２８】
前記生徒側の機器は、前記アバターが正面近くに表示するようにビューポイントを調整してレンダリングする
ことを特徴とする請求項２４乃至２７のいずれか１項に記載の学習方法。
【請求項２９】
前記アバターを複数表示し、
講師の指示を検知して、複数の前記アバターを切り替えて、該切り替えたアバターを用いて講義インタラクション処理を行う
ことを特徴とする請求項２４乃至２８のいずれか１項に記載の学習方法。
【請求項３０】
前記講師側の機器又は複数の前記生徒側の機器との間で、音声チャットを行い、
前記音声チャットの音声を音声認識して前記空間スクリーンに描画する
ことを特徴とする請求項２４乃至２９のいずれか１項に記載の学習方法。
【請求項３１】
前記空間スクリーンは、前記講師側の機器又は複数の前記生徒側の機器との間で共用し、前記講師側の機器又は又は複数の前記生徒側の機器から、共用した前記空間スクリーンに文字又は画像の描画をする
ことを特徴とする請求項２６乃至３０のいずれか１項に記載の学習方法。
【請求項３２】
前記空間スクリーンに表示する文字は、前記講師側の機器又は前記生徒側の機器で入力された音声又は手書き文字の特徴を基にして描画する
ことを特徴とする請求項３１に記載の学習方法。
【請求項３３】
前記講師の音声とＶＲ空間動作データとを前記サーバに記憶し、
前記生徒側の機器は、前記サーバに記憶された前記再生データを早送り再生する
ことを特徴とする請求項２７乃至３２のいずれか１項に記載の学習方法。
【請求項３４】
前記講義資料の空間スクリーンにＵＲＬの属性を記憶し、
前記生徒側の機器により前記ＵＲＬを記憶した前記講義資料の空間スクリーンにアクセスすると、前記ＵＲＬのファイルを該空間スクリーンに表示する
ことを特徴とする請求項２４乃至３３のいずれか１項に記載の学習方法。
【請求項３５】
前記空間スクリーンの描画座標及び関連づけを記憶し、復習時に前記空間スクリーンを前記記憶された描画座標及び関連づけで描画する
ことを特徴とする請求項２４乃至３４のいずれか１項に記載の学習方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−１４５８８３（Ｐ２００９−１４５８８３Ａ）
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願番号】特願２００８−２９７０７８（Ｐ２００８−２９７０７８）
【出願日】平成２０年１１月２０日（２００８．１１．２０）
【出願人】（５０６０６２７５７）学校法人立正大学学園 (1)
【Ｆターム（参考）】
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願日】平成２０年１１月２０日（２００８．１１．２０）
【出願人】（５０６０６２７５７）学校法人立正大学学園 (1)
【Ｆターム（参考）】
[ Back to top ]