遠隔教育システムおよびマルチメディアコンテンツの表示制御方法
【課題】動画、テキスト、カーソル等を同期させて表示でき、編集が容易で、かつ単独の教育にもオンライン教育にも利用可能なこと。
【解決手段】教材コンテンツに付随して、一または二以上のページからなる静止画データの表示順序と、ページごとにそのページで表示する動画データおよびページ表示開始時からの経過時間とカーソル位置およびカーソル移動情報とを関連付けて保存する制御テーブルと、ページを切り替えると共にページ切り替えタイミングを通知するページ制御手段と、ページ表示開始時からの時間を計測するタイマ手段と、タイミングの通知を受けて、制御テーブルを参照して、音声データの出力または動画を所定位置に表示すると共にぺージ表示開始時からの経過時間に合わせてカーソルの表示および移動させる再生手段と、を備える。
【解決手段】教材コンテンツに付随して、一または二以上のページからなる静止画データの表示順序と、ページごとにそのページで表示する動画データおよびページ表示開始時からの経過時間とカーソル位置およびカーソル移動情報とを関連付けて保存する制御テーブルと、ページを切り替えると共にページ切り替えタイミングを通知するページ制御手段と、ページ表示開始時からの時間を計測するタイマ手段と、タイミングの通知を受けて、制御テーブルを参照して、音声データの出力または動画を所定位置に表示すると共にぺージ表示開始時からの経過時間に合わせてカーソルの表示および移動させる再生手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、個人学習としてもリアルタイム遠隔授業としても利用可能な教育システムに係り、特に静止画のほか音声や動画などを含むマルチメディアコンテンツを作成、配布するためのコンテンツ作成ツールとして活用することのできる遠隔教育システムおよびマルチメディアコンテンツの表示制御方法に関する。
【背景技術】
【０００２】
従来、遠隔教育システムの教材を作成、配布するための教材作成ツールの多くは録画したセミナー・受講風景の動画、あるいは動画と説明用シートを組み合わせたものを教材の基本と据えているツールが多い。
【０００３】
たとえば、特許文献１では、再生された動画の内容に同期して、静止画や文書上の対応位置を表示することのできるマルチメディア表示装置が提案されている。これは、動画再生区間の時間帯ごとに表示すべき頁やカーソルの位置および表示区間をシナリオとして格納しておき、動画再生時の時間の経過に伴って、頁の切り替えやカーソルを移動させていくというものである。
【特許文献１】特開２００１−２０９３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術は、講演中の講師の動作を動画で記録し、これに静止画のテキストやカーソル情報を付加していくので、一部の差し替えなど編集が容易ではなく、教材作成に特別な装置や専門家の作業が必要になるという問題がある。
【０００５】
また、個人学習以外の用途、たとえば、インターネット会議や遠隔授業に利用しようとすると、視聴者の通信速度等の回線環境によって表示タイミングにずれが生じ、資料のどの部分の説明か不明確になるおそれがある。このため、教材の用途が限定されてしまい、教育の自由度が制限されるという問題がある。
【０００６】
本発明は、上述のかかる事情に鑑みてなされたものであり、動画と、テキスト、カーソル等を同期させて表示でき、編集が容易で、かつ、単独の教育にもオンライン教育にも利用することのできる遠隔教育システムおよびマルチメディアコンテンツの表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明にかかわる遠隔教育システムは、教材コンテンツの動画または音声と同期して静止画上にカーソルを表示する遠隔教育システムであって、教材コンテンツに付随して、一または二以上のページからなる静止画データの表示順序と、ページごとにそのページで表示あるいは再生する動画データあるいは音声データおよびページ表示開始時からの経過時間とカーソル位置およびカーソル移動情報とを関連付けて保存する制御テーブルと、ページを切り替えると共にページ切り替えタイミングを通知するページ制御手段と、ページ表示開始時からの時間を計測するタイマ手段と、タイミングの通知を受けて、制御テーブルを参照して、音声の出力または動画の予め定められた所定位置への表示を行うと共にぺージ表示開始時からの経過時間に合わせてカーソルの表示および移動させる再生手段と、を備えたことを特徴とする。
【０００８】
ページごとに動画あるいは音声データを付加すると共に、ページ表示開始時からの経過時間とカーソル位置およびカーソル移動情報とを持たせてページ単位での編集を容易にする。
【０００９】
好ましくは、制御テーブルにはページごとの切り替え条件を保存しておき、ページ制御手段は、該切り替え条件が成立したか否かを判定し、切り替え条件が成立した場合は、次のページに切り替えるようにすると良い。ページ切り替え条件を持たせることによって、複数人のリアルタイム遠隔教育を行うときに表示タイミングのずれの補正を可能にする。
【００１０】
なお、遠隔教育システムは、複数のユーザ端末と通信ネットワークを介して接続する管理サーバによって構築し、ユーザ端末からアクセスがあると、各手段を実現する閲覧プログラム（ビュワー）をユーザ端末へ送信すると共にユーザの選択する教材コンテンツおよび該教材コンテンツに付随する制御テーブルを送信し、ユーザ端末上で該閲覧プログラムを実行することによって、該制御テーブルに基づいて教材コンテンツを再生するように構成すると良い。
【００１１】
ユーザ端末に対して、ストリーム配信するという手法もあるが、閲覧プログラムと教材コンテンツをユーザ端末にダウンロードして再生することによって、ネットワークの速度や負荷の影響を回避することができるとともに、コンテンツとビュワーを保存しておいてオフラインで閲覧することができる。
【００１２】
また、本発明に係わる遠隔教育システムでは、ユーザ端末は、端末上に存在するパワーポイント（PPT）（登録商標）やpdfファイルなどの汎用ドキュメントファイルをページ単位の静止画に変換して取り込む一方、動画を取り込んで静止画単位のページとして取り扱えるように変換し、ページごとに静止画を表示し、該ページに関連付けて動画または音声データを保存すると共に、該ページの静止画上のカーソル位置情報と動画または音声データの録画または録音開始タイミングからの時間とを関連付けて保存することによって制御テーブルを生成する編集処理手段を備え、生成された教材コンテンツおよび制御テーブルを管理サーバへアップロードすることを特徴とする。
【００１３】
特に、管理サーバは、ユーザ端末からのアクセスを認識して一または二以上のアクセスで構成されたアドホックなバーチャル会議室を生成すると共に、他のユーザの端末へ注釈等のデータを送信できる権利である発言権を有する一のユーザ端末を登録または変更する手段を備え、発言権を有するユーザの端末で実行されるページ制御手段は、ページ切り替え時に、サーバ経由で他のユーザの端末に対して次に表示すべきページを指定して、ページ切り替えタイミングを通知するようにすると良い。
複数のユーザで同期を取って同じ画面を表示させるようにすると、リアルタイムで遠隔講義を行うことができるが、上述したように予め教材コンテンツをユーザ端末へ送って再生させる場合は、その同期制御が難しくなる。本発明では、発言権のあるユーザ端末上の再生タイミングを基準にしてページ切り替えタイミングを他のユーザ端末へ送信してページごとの同期をとるようにしている。
【００１４】
また、本発明に係わる遠隔教育システムでは、発言権を有するユーザの端末は、表示されている静止画への書込みを受け付け、書込み時のポインタの軌跡を記録し、一定時間の変化のないことを検知して、ポインタの基準点からの軌跡情報を管理サーバ経由で、他のユーザの端末へ送信する手段を備え、他のユーザの端末は、管理サーバから送られてくる軌跡情報を受信すると、静止画の基準点をもとに該軌跡情報を現在表示中の静止画へ合成して表示することを特徴とする。
【００１５】
オンラインで静止画に注釈を書き込む場合は、静止画データも含めた全データを送るのではなく、静止画の基準点をもとにしたポインタの軌跡情報を送信してネットワーク負荷を軽減する。ページごとに同期をとっているため、このような軌跡情報のみを送っても、他のユーザ端末上でのずれを小さく抑えることができる。
【００１６】
なお、各ユーザ端末は、あるページの表示が終了したときに、そのページの終了タイミングを管理サーバへ送信するようにして、管理サーバでは、発言権を有するユーザ端末から送られてくる終了タイミングとそれ以外のユーザから送られてくる終了タイミングとの差をそれぞれ演算して、これをもとに各ユーザ端末での補正値を演算して、開始タイミングや計測時間の補正をするようにしても良い。これにより同期制御の精度を上げることができる。
【００１７】
また、本発明に係わるマルチメディアコンテンツの表示制御方法は、コンピュータシステムを用いて静止画、および、動画もしくは音声の混在するマルチメディアコンテンツの表示制御を行う方法であって、一または二以上のページからなる静止画の表示順序と、ページごとの切り替え条件と、ページごとに当該ページで表示すべき静止画データ、当該ページで再生すべき動画もしくは音声データ、および当該ページの表示開始時からの経過時間とカーソル移動情報とを関連付けて保存する制御テーブルを生成する編集処理と、ページごとの切替条件は、通信ネットワークを介して複数で用いる場合は、発言権を有するか発言権を有しないかでそれぞれ異なる条件を設定可能であり、発言権を有する場合は、少なくとも前ページの終了を条件に次のページへ切り変えると共に他のユーザへページ切替のタイミングを通知し、発言権を有しない場合は、当該タイミングの通知を受けてページの切替を行い、個人使用の場合は、発言権を有する場合と同一の設定でページの切替を実行するページ切替処理と、タイミングの通知を受けて、制御テーブルを参照して、音声データの出力または動画を所定位置に表示すると共にタイマ手段によって計測されたぺージ表示開始時からの経過時間に合わせてカーソルの表示および移動させる再生処理と、を含むことを特徴とする。
【００１８】
本発明では、ページごとにマルチメディアデータを保存する一方、ページの切替条件を保存し用途によってその切替条件を設定することによって、マルチメディアコンテンツを個人使用や遠隔授業等の複数の使用形態に共通して使用可能にする。
【発明の効果】
【００１９】
以上、本発明によれば、ページ単位で、動画や音声情報を記録すると共に、ページの表示開始からの時間経過によって、カーソル位置を移動させていくので、ページごとの変更が容易となり、また、各ページの開始条件を設定することによって、視聴者間の画面の表示タイミングずれを抑制することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態を説明する。図１は、第１の実施の形態による遠隔教育システムの利用形態の概要説明図である。
【００２１】
ここで、遠隔教育システムは、インターネット等の通信ネットワークに接続する管理サーバとして構築され、端末からこの管理サーバへアクセスして、教材の作成を行い、管理サーバへアップロードして保存する。この教育コンテンツは、受講生の端末に視聴用のツールであるビュワーをダウンロードする。
【００２２】
次に、サーバに保存されている教材のコンテンツをダウンロードして、このビュワーを通して受講生のコンピュータ画面上に表示する。
【００２３】
この手順を図２を通して説明する。まず、ユーザの端末からブラウザでサーバへアクセスする。これによって、編集用プログラムがダウンロードされ、起動される。ユーザは、ユーザの使用するドキュメントファイルから、たとえばｐｎｇ形式のスライドを作成し、音声、カーソル動作を登録して、教材を作成する。これを圧縮形式でサーバへアップロードする。
【００２４】
個人学習時は、ブラウザでアクセスして、再生手段のプログラムを自動ダウンロードして起動し、次に教材のダウンロードを行う。この教材は圧縮形式で送り、端末側で解凍して再生実行する。視聴終了でログアウトする。
【００２５】
図３は、教材コンテンツのデータ構造の説明図、図４は、データタイプごとの設定例である。
【００２６】
サーバ内のスライドＳｉのデータ構造は、コースＩＤごとにインデックス（ページ番号とメモリ上のデータ位置）とデータ、データタイプとデータサイズ等の情報が関連付けられて保存されている。データタイプは、スライド（静止画）、音声、カーソル、動画、講師ビデオなど表示対象ごとのデータの種別である。データタイプごとのデータファイルは、サーバにアップロードされるときには高速化のためにコンテンツ単位で圧縮されて送信される。
【００２７】
以下、個人学習の場合の編集処理手順を図３用いて説明する。
ビデオの属性情報としては、元データのピクセル数、基準点のＸ，Ｙ座標、幅、高さなどの表示条件データを有する。基準点としては、例えばスライド（静止画）の左上角（Ｘ＝０，Ｙ＝０）を全体の基準点とする。
一つのスライドがＮ個のデータタイプを持つときは、Ｎ個のデータユニットが生成されることになる。図４は、スライド２に、音声、カーソル、ビデオが組み合わされている場合のデータ構造例を示す。
【００２８】
スライドＮＯ．が番号順にセットされ、再生時には各データタイプに付属した再生アルゴリズムが実行される。再生はスライドＮＯ．順に行われるが、スライドのスキップやスライドＮＯ．指定は優先処理される。
連続モードのときはスライドが連続的に自動再生される。
【００２９】
カーソルおよび組込みビデオの制御については、組み込みビデオあるいは音声記録の開始ボタンを押下したときにそのスライドの時刻カウンタが開始され、記録中にカーソルをクリックすれば（ｘ，ｙ）座標が読み取られてその時の時刻ｔと共に（ｔ，ｘ，ｙ）のユニットが生成され、図５に示されるようなそのスライドの付加データのリストが生成される。ビデオ制御の場合は、カーソル表示におけるＸ（Ｘ座標のデータ位置）が制御信号となる。そして、スタート「−１」、停止「−２」、ポーズ「−３」、再スタート「−４」、ジャンプ「−５」などというように、負の値を割り付ける。音声開始ボタンの代わりに、ビデオ開始ボタンを押下しても時刻カウンタが開始される。時刻カウンタは、ビデオの終了か音声記録の停止ボタンのいずれか遅い方で終了する。
【００３０】
このようにすれば、図５に示すように、スライドｉ（ｉ番目のスライド）のデータとして例示しているように、カーソル表示とビデオ表示のデータ構造を共通化することができる。
【００３１】
次に、編集処理のアルゴリズムを、図６を用いて説明する。
まず、編集画面に表示されている開始ボタンあるいは挿入ビデオの開始ボタンを押下することによって音声付加を開始する（Ｓ１０１）。次に、音声付加の実行中か否かを判定して（Ｓ１０２）、実行中の場合は音声を記録する（Ｓ１０３）。そして、マウス操作の有無を検知したときは（Ｓ１０４で「ＹＥＳ」）、カーソル情報を生成する（Ｓ１０５）。また、ビデオ操作があった場合は（Ｓ１０６で「ＹＥＳ」）、ビデオ制御情報を生成してリストへ記入し（Ｓ１０７）、再びステップＳ１０２へ戻る。一方、ステップＳ１０２で音声付加の実行あるいは挿入ビデオの実行（の遅い方）が終了した場合は（Ｓ１０２で「ＮＯ」）、音声データおよびカーソルデータを保存する（Ｓ１０８，Ｓ１０９）。
【００３２】
次に、再生手段の処理手順を図７を用いて説明する。
まず、スライド（静止画）データを読み込んで（Ｓ２０１）、スライドを表示する（Ｓ２０２）。ビデオデータがある場合は（Ｓ２０３で「ＹＥＳ」）、ビデオ再生機能によって再生する（Ｓ２０４）。音声データがある場合には（Ｓ２０５で「ＹＥＳ」）、音声再送機能によって再生する（Ｓ２０６）。また、カーソルデータが有るか否かを判定して（Ｓ２０７）、カーソルデータがある場合には、次に音声再生中であるか否かを判定して（Ｓ２０８）、音声再生中でなければ終了し、音声再生中であれば再生経過時間ｔを取得して（Ｓ２０９）、その時間から０．１秒後の時間範囲、すなわち（ｔ，ｔ＋０．１）でデータを検索する（Ｓ２１０）。その結果、この時間範囲でデータが存在すれば（Ｓ２１１で「ＹＥＳ」）、ｘ座標の値が「０」以上ならば（Ｓ２１２で「ＹＥＳ」）、カーソルデータであるとして（ｘ，ｙ）点にカーソル表示をする（Ｓ２１４）。一方、ステップＳ２１２でｘ座標の値が負ならば、ビデオデータであるとしてビデオ再生機能によって再生を行う。再生中ならば再生を続行する（Ｓ２１３）。そして、ステップＳ２１３，Ｓ２１４の終了後、またはステップＳ２１１で「ＮＯ」の場合は、０．１秒スリープしてステップＳ２０８へ戻る（Ｓ２１５）。
以上の手順によって、再生処理を実行する。
【００３３】
本実施の形態によれば、スライドページ単位で、動画や音声情報を記録すると共に、ページの表示開始からの時間経過によって、カーソル位置を移動させていくので、ページごとの変更が容易となる。
【００３４】
次に、本発明の第２の実施の形態を説明する。
図８は、本実施の形態による遠隔教育システムの機能ブロック図である。遠隔教育システム１は、管理サーバ１０と、管理サーバからの編集プログラムまたは閲覧プログラムをダウンロードして実行するユーザ端末５０から構成される。
【００３５】
ここで、管理サーバ１０は、通信ネットワーク２に対して情報を送受信する伝送部１１、コンテンツやテーブルを保存する記憶部１３、演算処理を実行する演算部１２を有している。
【００３６】
記憶部１３は、ユーザ端末５０からのアクセスによって送信する編集プログラム３１、閲覧プログラム３２、複数のユーザ端末間での情報の送信者（いわゆる発言権者）を管理するための発言権管理テーブル３３、教材コンテンツ３５とこれに付随する制御テーブル３４を保存している。なお、図示しないが、管理サーバ１０はこの他、教室管理データやユーザ管理データ等を有する。
【００３７】
また、演算部１２は、伝送部１１との間でデータ受け渡しを行う送受信処理手段２１、教材コンテンツや制御テーブルなどを登録する情報登録手段２２、ユーザ端末５０からアクセスがあるとその用途によって編集プログラムまたは閲覧プログラムを送信する情報送信手段２３、後述するタイミング情報などを中継する中継手段２４を有している。演算部１２の各手段２１〜２４は、ＣＰＵ実行可能なプログラムによって実現することができる。
【００３８】
また、ユーザ端末５０は、ダウンロードするプログラムの種類によって機能が異なり、編集者用のユーザ端末５０では、演算部５５に、伝送部５１との間でデータ受け渡しを行う送受信処理手段７１、編集プログラム等の情報を受信する情報受信手段７２、教材コンテンツや制御テーブルを作成する編集処理手段７３、作成した教材コンテンツ３５と制御テーブル３４を管理サーバへアップロードする情報送信手段７４を有している。編集処理手段７３や情報送信手段７４の機能は、ダウンロードした編集プログラム３１によって組み込まれるものである。
【００３９】
一方、教材コンテンツを利用する者（便宜上、閲覧者という）のユーザ端末５０の演算部５５は、伝送部５１との間でデータの受け渡しを行う送受信処理手段７１、プログラムや教材コンテンツなどの情報を取得する情報受信手段７２、教材コンテンツを再生する再生手段８１、教材コンテンツのページを切り替えるページ制御手段８０、管理サーバ１０に対して発言権を要求する発言権要求手段７５、管理サーバ１０にアクセスして発言権の有無を判定する発言権判定手段７６、ページの開始のタイミングを送信する開始タイミング送信手段７７、ページの開始のタイミングを受信する開始タイミング受信手段７８、各ページの静止画上に図形や文字の書込みを受け付け、書き込まれた情報を他のユーザ端末へ送信する注釈書込手段７９を有している。
【００４０】
また、記憶部５４は、管理サーバ１０からダウンロードした教材コンテンツ３５とこれに付随する制御テーブル３４を有している。
【００４１】
本実施の形態では、複数人で教材プログラムを閲覧しながら、一の発言権を有するユーザの端末から注釈や音声などをリアルタイムに送信して他のユーザの端末画面上に表示あるいは出力して講義や会議を進めるというものである。
【００４２】
以下、本実施の形態による遠隔教育システムの動作概要を図９を用いて説明する。なお編集処理の内容については、第１の実施の形態と同様であるので説明を割愛し、遠隔授業時の閲覧・コメント送信処理を中心に説明する。
【００４３】
<１．遠隔授業時の発言権の移行手順概要>
（１）クライアントからの会議（授業）参加の要求を行うとサーバ内でユーザ管理情報が生成され、コネクションが張られる。ユーザｉが講師権限（発言権）を有するとした場合、講師端末５０を通して権限を要求し、サーバはこの要求を受信すると、ユーザｉに対して講師権限を示すステータスを設定する（図１１で発言権「１」）。その他のユーザに対しては、質問者を示すステータスを設定する（図１１で発言権「０」）。
（２）質問者は質問権限（発言権）を要求する。
（３）講師への問合せを行い、（４）講師が承諾すると、（５）管理サーバが発言権限を質問者のユーザ１へ移す。その後、（６）質問者は、スライドを切り替えて、カーソルで質問する。カーソル情報は、管理サーバ１０を経由して、講師および他のユーザの端末へ配信され各端末上のスライドと重ねあわされて表示される。（７）講師は音声で応答する。（８）以下、必要に応じて質問者の変更を行って同様の処理を繰り返す。
（９）会議が終わると各ユーザがコネクションを切断する。
なお、ユーザ情報としては、乱数で与えられるユーザＩＤとユーザ端末のＩＰアドレスを用いる。ユーザＩＤは乱数でアドホック（一時的ないし暫定的）に与えられるので、本会議システムは事前登録を必要としないという特徴を持つ。
【００４４】
<２．ページの切替処理>
まず、本実施の形態でのデータ構造は、図３および図５に示した各スライド単位を基準とした制御テーブル３４のデータ構造に加え、図１０に示すように各スライドページの切替条件を持たせたことである。
【００４５】
この図において、発言権がある場合と無い場合で、ページの切替条件が異なり、発言権がある場合は、スライド１（最初のページ）は閲覧画面の開始ボタンを押下することによって開始され、それ以降のスライドについては、前ページの終了によって開始する。一方、発言権が無い場合は、管理サーバ１０経由で送られてきた開始タイミングを受信することによってページの切替が行われる。
【００４６】
以下、上述のぺージ切替処理を具体的に説明する。
講師端末あるいは発言を要求するユーザの端末は、ユーザ端末５０の発言権要求手段７５から管理サーバ１０に対して、発言権を要求する。
【００４７】
管理サーバ１０は、情報登録手段２２によってこの要求を受信すると、現発言者の端末５０へ通知し、現発言者の許可を受けることによって、図１１に示す発言権管理テーブル３３の発言権を新発言者に移す。この発言権は、最初は講師設定されているものの端末に付与される。
【００４８】
そして、発言権を要求した者の端末５０へ発言権許可通知を送信する。
発言権を要求した者の端末５０の発言権判定手段７６は、この発言権許可通知を受信すると、切替条件を「発言権あり」モードに設定する一方、開始タイミング送信手段７７をアクティブ状態にして、各ページの切替時には、次の開始ページとページ開始タイミング信号を管理サーバ１０へ送信する。管理サーバ１０では、この開始タイミング信号等を受信すると、情報中継手段２４によって、他のユーザ（発言権を持たないユーザ）の端末５０へ開始タイミング信号を転送する。
【００４９】
一方、他のユーザの端末は、発言権判定手段７６によって、管理サーバ１０からの発言権あり通知を受けない場合は、「発言権なし」モードに設定されており、開始タイミング受信手段７８によって管理サーバ１０から転送されてくる次のページ番号および開始タイミングを受け取ると、これをページ制御手段８０へ渡す。ページ制御手段８０は、そのスライドページを表示し、ページ表示からの時間の経過とともに再生手段８１によって動画やカーソルの移動処理等を実行する。
【００５０】
このように、本実施の形態の特徴は、同一コンテンツへアクセスしているユーザがバーチャル会議室／教室を構成し、ページの自動制御をするものである。また、再生手段８１によって、コンテンツがスライドのみか音声・カーソルビデオなども付随しているかを自動判定して、それにあわせた再生や会議・講義を行うことができる。
【００５１】
<３．データ構造>
本実施の形態による遠隔教育システムは、バーチャル教室のように動作する。
バーチャル教室管理の教室管理テーブルによって行われる。図１２に管理サーバ１０の有する教室管理テーブルのデータ構造例を示す。
【００５２】
バーチャル教室は、コースＩＤ（コンテンツ名称）で教室を識別する。コースＩＤごとにプレゼンタのユーザＩＤを登録する。このプレゼンタは、教室の開催者である。なお、このユーザＩＤの初期値は「0」（講師なしの状態）を設定しておく。また、教室のステータスとして、アクティブ「0」,休止「1」,クローズ「2」を有する。
【００５３】
このほか、当該教室の参加人数、当該教室のユーザＩＤリスト、現在表示中のアノテーション・ボードＮＯ(アノテーション・ファイルへのポインタ)、教室で共有されている画像（現在の仮想アノテーション・ボード）たとえば、800ｘ600ピクセルのビットマップ（各ピクセルはrngの値を持つ）、現在表示中のスライドＮＯ（スライド・ファイルへのポインタ）などが関連付けられて保存されている。なお、仮想アノテーション・ボードの詳細は後述するが、各頁の静止画（スライド）に対して注釈を記入あるいは描画させたときに、その情報を静止画の基準点からの位置情報等として登録するメモリ領域である。そして、複数の参加者がそれぞれプレゼンタ（発言権を有する者）となり得るときに各参加者にそれぞれ仮想的にアノテーションボードを割り当て（仮想アノテーションボード）、その参加者がプレゼンタの時に当該参加者に割り当てられた仮想アノテーションボードの番号が現在表示中のアノテーションボードＮＯとしてセットされる。
【００５４】
なお、バーチャル教室はコンテンツに関して一つ生成される。また、仮想アノテーション・ボードは、800ｘ600ピクセルのビットマップ（ピクセル値はrng）を有し、メモリサイズ、処理時間の効率化のためにデータ値を持つピクセルの配列のみで構成される。
【００５５】
参加者は、図１３に例示するユーザ管理テーブルによって行う。
ユーザ管理テーブルは、バーチャル教室の参加者ごとに生成され、乱数で与えられるユーザＩＤ、そのユーザのログイン時刻、状態（アクティブ「0」，休止「1」，クローズ「2」、そのユーザのＩＰアドレス、当該ユーザとサーバとのコネクション・ソケット、などが保存されている。
【００５６】
次に、通信信号のデータ構造について説明する。
遠隔教育システムでは、２種類のメッセージ交信が行われる。プレゼンタとサーバ間、およびサーバと各リスナ（参加者）間のメッセージ交信であり、その描画要素メッセージとコマンド・メッセージである。これらは図１４のType変数で識別される。
【００５７】
ユーザからのメッセージは、図１４に示すように当該メッセージのユニーク名称、ユーザのユニークＩＤ、メッセージの型： 描画要素（Shape）「0」，コマンド「1」、データ：描画要素オブジェクトの記憶「0」，コマンド・オブジェクトの記憶「1」などを含み、メッセージが送信されたときに、メッセージの送信時刻が付され登録される。
【００５８】
次に、図１５に例示する描画の制御データの構造を説明する。
描画要素ごとに、: ピクセル「0」: 自由曲線「1」: 直線「2」: 円「3」: 長方形「4」: 塗りつぶし円「5」: 塗りつぶし長方形「6」：消しゴム「7」などのタイプが識別される。この中で自由曲線と消しゴムが中心的な機能である。また、描画要素の色、線の太さ、当該描画要素のピクセル数、当該描画要素のピクセルの配列 (x0,y0)，(x1,y1) …(xi,yi)…(xn,yn)などが保存される。このピクセルの配列は、点の繋がりとして描画処理される。
【００５９】
なお、自由曲線を使って、任意の太さの曲線で、文章や式を自由に描画する（書く）ことが出来るのが本システムの重要な特徴である。しかも、任意のまとまり毎に、実時間でサーバに送信され、バーチャルなアノテーション・ボードに書き込まれると共に、各参加者（リスナ）へも送信され、各アノテーション・ボードに書き込まれると共に、前もってダウンロードされているスライドに重ね書きされるようにして表示される。
【００６０】
スライドの切り替え等の制御は、図１６に例示するコマンドデータによって行われる。
このコマンドタイプは、: update participate number（参加者数の更新）「0」，スライド切り替え「1」，プレゼンタ切り替え「2」，プレゼンタの申請（プレゼンタになるための申請）「3」，プレゼンタ申請への応答「4」，スライドに添付されている音声／カーソルの再生／停止（付加音声／カーソルを再生することが出来る）「5」。また、コマンドデータとしては、それぞれ上記のコマンドタイプに対応して、タイプ0は参加者数，タイプ1は変更するスライドの番号，タイプ2はプレゼンタのUserID，タイプ3はプレゼンタ申請者のUserID，タイプ4は（deny「0」, OK「1」），タイプ5は（再生実行「0」 ,停止「1」）などのデータが設定される。
【００６１】
<４．バーチャル教室の管理法>
図１７は、バーチャル教室の管理手順を示すフローチャートである。ここで、図１７（ａ）は、管理サーバ１０側の処理手順であり、ユーザ端末のコネクションと教室参加時に付与されたユーザＩＤによってユーザが特定され、管理される。図１７（ｂ）は、クライアント、すなわちユーザ端末５０側の処理手順であり、管理サーバからの接続許可（Ｓ４０２）によってユーザは、教室に入室する（Ｓ４０３）。これは、管理サーバ側でのステップＳ３０５の入試管理処理と連動している。その後、ユーザ端末は、管理サーバ１０を通して、他のユーザ端末とメッセージの受け渡しを行う（Ｓ４０４，Ｓ４０５）。
【００６２】
なお、バーチャル教室はあるコンテンツにアクセスが起こったとき生成され、一人以上の参加者があれば成立し、途中で参加／退室が出来、参加者数がゼロになったとき、消える。また、講師（プレゼンタ）には誰でもなれ、"Click for Presenter"ボタンを最初に押した参加者が講師権限（発言権）をシステムから与えられる。その後は、申請があったとき、現在の講師権限を持つ参加者の了解で切り替わる。
【００６３】
図１８は、プレゼンタ権限の割り当て処理の手順を示すフローチャートである。
管理サーバ１０は、ユーザ端末５０の発言権要求手段７５から送信されたプレゼンタの申請要求を受信すると（Ｓ５０１）、このフローチャートに記載の手順によって現プレゼンタからの許可の取得を行い（Ｓ５０３，Ｓ５０５）、その結果として応答値０または１をセットして、申請者に返信する（Ｓ５０９）。申請者のユーザ端末５０は、発言権判定手段７６によってこの応答値を受信して、ページ切替タイミングのセット等を行う。
プレゼンタ（講師）の権限は以下である。
１）アノテーション・ボードに書き込むことが出来る
２）アノテーション・ボード（描画イメージ）をサーバのデータベースにセーブしたり、セーブされている描画イメージを取り出すことが出来る。なお処理は、スライド全体に対して一括で行われ、セーブすると基のセーブされているイメージが消されて記憶され、取り出すと現在の描画イメージと置き換わる。
３）プレゼンタになるという申告があったとき、諾否ができる。
【００６４】
<５．オンライン・アノテーションボードの画像（image）の送信法・表現法、記入法>
遠隔教育システムはコンテンツ・イメージと描画イメージの２つのパーツで構成されている。コンテンツ・イメージとは、サーバからダウンロードされる編集用プログラムで作成され、サーバのコンテンツ・データベースに管理されている学習コンテンツのイメージ（画像つまりスライド）であり、一般に複数のスライドで構成されており、これが背景画像となる。
【００６５】
描画イメージとは、プレゼンテーションに於いてオンラインで描画されたイメージ（画像）であり、参加者で共有される。従って、図１９に示すように、
最終表示イメージ = コンテンツ・イメージ（背景） + 描画イメージ
となる。
【００６６】
通常のオンライン・ホワイトボードは、コンテンツ・イメージを持たないが、本システムは学習コンテンツを背景として、その上書き（アノテーション）として描画イメージを重ね書きする機能を持つ。また、描画イメージは背景イメージ（スライド）と、スライド単位で１対１対応しており、かつ独立なファイルとして保存される。したがって、基のスライドには全く影響を与えない。表示のときには、先ず背景イメージを書き、その上に描画イメージを書く。ユーザから見ると、背景の上にアノテーションが"書き加えられた"と見える。また、描画イメージの一部を消す場合は、正方形の「消しゴム」を使うが、描画だけが消えて背景は原図のまま残る。したがって、印刷物の上に鉛筆でメモを書き、その一部を消しゴムで消すのと同じ機能を持つ。
【００６７】
描画イメージはいわゆるビットマップと呼ばれるピクセルの配列で表現されるが、背景となるコンテンツと同一のピクセル配列（800ｘ600）を持つので、各ピクセルが完全に重なるので、表示に於いてはコンテンツイメージの上に描画イメージを重ねたとき、背景のデータ値（ピクセル）が描画ピクセルと置き換わる。
【００６８】
なお、コンテンツ・イメージも描画イメージも全く同じ画像サイズ800ｘ600のピクセルで表現され、かつ表示位置も厳密に重なるので、あたかも背景画像の上にアノテーションを書き込むイメージで上書きでき、プレゼンタおよびリスナとも、本表示技術によって背景の上に上書き画像が書き加えられたように見える。
【００６９】
次に、オンライン・アノテーションボードの処理アルゴリズムについて説明する。
図２０（ａ）は管理サーバ側の処理、図２０（ｂ）はクライアント（ユーザ端末）側の処理である。
（１）コンテンツ・イメージの初期化
プレゼンタがスライド番号を指定するとその番号はサーバに送信され、バーチャル教室の全メンバーに配信され、前もってダウンロードされているコンテンツの指定スライドのイメージがユーザ・ウインドウに表示される。これが背景として利用される。このとき、当該スライドに対応した描画イメージが存在する場合には、それも同時に切り替わるので、ユーザから見ると、アノテーションが書き込まれているスライドが切り替えられたと見える。実際には、表示機能が二つの画像を重ね合わせる処理を行う。
（２）サーバ−クライアント間の描画のオンライン同期
バーチャル教室毎に一つの描画用バッファ・メモリ（仮想アノテーション・ボード）を持つ。クライアントから描画情報を受け取ったサーバは先ずそのバッファに記入するとともに、その教室の全メンバー（リスナー）に配信する。
各メンバーは、最初にその教室に入ったとき、そのバッファの内容がzip形式で圧縮されてそのメンバーのクライアント・コンピュータに送信される。
クライアント側では、受信したデータが解凍され、描画イメージとして記憶される。その後受け取った描画データはその上に書き込まれる。
（３）クライアント側の最終イメージ
クライアント側でイメージが更新されると、コンテンツ・イメージと重ね合わされて表示画面に表示される。
【００７０】
<６．バーチャル教室の管理の概念>
遠隔教育システムでは、２つのオペレーション・モードとして使い分けることができる。それらは、プレゼンテーション／ディスカッション・モード、および同期自動再生モード、である。
【００７１】
（１）プレゼンテーション／ディスカッション・モード
各教室に於いては、同時に一人だけがプレゼンタになれる。プレゼンタは、スライドの切り替えやモードの変更を行うことが出来る。プレゼンタの全ての操作は、同期を取って全メンバーに反映される。また、全メンバーは現プレゼンタに対してプレゼンタ権限の申請が出来る（図１８参照）。
【００７２】
また、この状態で、プレゼンタはコンテンツ・イメージの上に描画要素を書き加えることができ、それらはサーバ上の仮想アノテーション・ボードに書き込まれ、更にオンラインで同期を取って各メンバーに配信される。
【００７３】
プレゼンタ権限はリスナが申請をして、現在のプレゼンタが許諾すれば、その申請者に移る。プレゼンタ権限を受け取ったメンバーは、新しいプレゼンタとなり、全ての権限を引き継ぐ。（図２１参照）
【００７４】
（２）同期自動再生モード
コンテンツに音声／カーソル／ビデオが付加されている場合は、プレゼンタは同期自動再生の開始や停止を全メンバーの視聴画面に対して実行できる。これは、特に、遠隔授業において同期を取って再生を行うのに使える。
【００７５】
（描画の方法）
プレゼンタによって描かれた描画要素は、サーバに送られ、仮想アノテーション・ボードに書き込まれると共に、各リスナに送信され、それぞれのアノテーション・ボードに書き込まれた後、スライド・イメージと合成されて表示される。（図２２参照）。
【００７６】
なお、仮想アノテーション・ボードは単純なピクセルの集合（ビットマップ的なもの）であり、文字や図形としては認識できない。これは、構造的な取り扱いには不向きであるが、人が印刷物の上に鉛筆等で上書きをして、消しゴムで消し、更に上書きをする、という場合には、むしろ適している。特に、式、自由図形、色々な文字の文章、の自由記述には、本技術が適する。
【００７７】
以上、本実施の形態によれば、複数のユーザ間でリアルタイム遠隔授業を行う場合は、ページ単位で静止画（スライド）、動画、カーソル移動情報等のデータを関連付けて保存しておき、ページの切替タイミングを送受信することによってページ切替を行うので、事前にダウンロードした教材コンテンツの再生時の端末間のずれの蓄積を防止することができる。このため、アノテーションボードをスライドに重ねあわせて表示する際にもより正確に表示させることができる。遠隔授業の場合は、予め教材コンテンツをダウンロードして使用するので、ユーザのネットワーク環境の影響を少なくすることができる。また、教材コンテンツを個人学習で使用する場合は、制御テーブルのページ切替条件を「発言権あり」モードに設定することによって、個人学習、リアルタイム遠隔授業の両方で使用することができる。
【００７８】
さらに、キャンバスが白（無地）の場合はオンライン・ホワイトボードとなり、スライドの場合は、上書き（アノテーション）ボードとなり、音声・カーソル添付のスライドの場合は、再生させるかどうかも制御できる。多機能のプレゼンテーション・ボードとして利用できる。
【００７９】
なお、上記の実施形態は、音声や動画、静止画、および音声や動画と連動した静止画上のカーソル移動情報を含むマルチメディアコンテンツをダウンロードして、個人学習でも利用可能な遠隔教育システムとして説明したが、本発明は、教育システムに限定されず、たとえば会議システムなどを含むコミュニケーションツールとしても使用可能であることは明白である。
【図面の簡単な説明】
【００８０】
【図１】本発明の第１の実施の形態による遠隔教育システムの利用形態の概要説明図である。
【図２】本発明の第１の実施の形態による教材コンテンツの編集時と再生時のサーバ端末間の手順の説明図である。
【図３】本発明の第１の実施の形態による教材コンテンツのデータ構造の説明図である。
【図４】図３のデータタイプごとの設定例である。
【図５】図３のカーソル・ビデオコントロールのデータ例である。
【図６】本発明の第１の実施の形態による編集処理の手順を示すフローチャートである。
【図７】本発明の第１の実施の形態による再生処理の手順を示すフローチャートである。
【図８】本発明の第２の実施の形態による遠隔教育システムの機能ブロック図である。
【図９】本発明の第２の実施の形態による遠隔教育システムの動作概要である。
【図１０】図８の制御テーブルの一部を構成するページ切替条件のデータ例である。
【図１１】図８の発言権管理テーブルのデータ構造図である。
【図１２】図８の管理サーバが有する教室管理テーブルのデータ構造図である。
【図１３】図８の管理サーバが有するユーザ管理テーブルのデータ構造図である。
【図１４】本発明の第２の実施の形態による通信信号のデータ構造図である。
【図１５】図１４においてメッセージタイプが描画要素の場合のデータ構造例である。
【図１６】図１４においてメッセージタイプがコマンドの場合のデータ構造例である。
【図１７】本発明の第２の実施の形態によるバーチャル教室の管理手順を示すフローチャートである。
【図１８】本発明の第２の実施の形態によるプレゼンタ権限の割り当て処理の手順を示すフローチャートである。
【図１９】図８の再生手段によるコンテンツ・イメージ（背景スライド）と描画イメージ（アノテーション；注釈画像）との重ねあわせ処理の説明図である。
【図２０】本発明の第２の実施の形態によるオンライン・アノテーションボードの処理手順を示すフローチャートである。
【図２１】本発明の第２の実施の形態によるユーザ端末側の処理の概要を示すフローチャートである。
【図２２】本発明の第２の実施の形態による描画処理における線の太さの制御の説明図である。
【符号の説明】
【００８１】
１ 遠隔教育システム
２ 通信ネットワーク
１０ 管理サーバ
１１，５１ 伝送部
１２，５５ 演算部
１３，５４ 記憶部
２１，７１ 送受信処理手段
２２ 情報登録手段
２３ 情報送信手段
２４ 情報中継手段
３１ 編集プログラム
３２ 閲覧プログラム
３３ 発言権管理テーブル
３４ 制御テーブル
３５ 教材コンテンツ
５０ ユーザ端末
５２ 入力部
５３ 表示部
７２ 情報受信手段
７３ 編集処理手段
７４ 情報送信手段
７５ 発言権要求手段
７６ 発言権判定手段
７７ 開始タイミング送信手段
７８ 開始タイミング受信手段
７９ 注釈書込手段
８０ ページ制御手段
８１ 再生手段
【技術分野】
【０００１】
本発明は、個人学習としてもリアルタイム遠隔授業としても利用可能な教育システムに係り、特に静止画のほか音声や動画などを含むマルチメディアコンテンツを作成、配布するためのコンテンツ作成ツールとして活用することのできる遠隔教育システムおよびマルチメディアコンテンツの表示制御方法に関する。
【背景技術】
【０００２】
従来、遠隔教育システムの教材を作成、配布するための教材作成ツールの多くは録画したセミナー・受講風景の動画、あるいは動画と説明用シートを組み合わせたものを教材の基本と据えているツールが多い。
【０００３】
たとえば、特許文献１では、再生された動画の内容に同期して、静止画や文書上の対応位置を表示することのできるマルチメディア表示装置が提案されている。これは、動画再生区間の時間帯ごとに表示すべき頁やカーソルの位置および表示区間をシナリオとして格納しておき、動画再生時の時間の経過に伴って、頁の切り替えやカーソルを移動させていくというものである。
【特許文献１】特開２００１−２０９３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術は、講演中の講師の動作を動画で記録し、これに静止画のテキストやカーソル情報を付加していくので、一部の差し替えなど編集が容易ではなく、教材作成に特別な装置や専門家の作業が必要になるという問題がある。
【０００５】
また、個人学習以外の用途、たとえば、インターネット会議や遠隔授業に利用しようとすると、視聴者の通信速度等の回線環境によって表示タイミングにずれが生じ、資料のどの部分の説明か不明確になるおそれがある。このため、教材の用途が限定されてしまい、教育の自由度が制限されるという問題がある。
【０００６】
本発明は、上述のかかる事情に鑑みてなされたものであり、動画と、テキスト、カーソル等を同期させて表示でき、編集が容易で、かつ、単独の教育にもオンライン教育にも利用することのできる遠隔教育システムおよびマルチメディアコンテンツの表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明にかかわる遠隔教育システムは、教材コンテンツの動画または音声と同期して静止画上にカーソルを表示する遠隔教育システムであって、教材コンテンツに付随して、一または二以上のページからなる静止画データの表示順序と、ページごとにそのページで表示あるいは再生する動画データあるいは音声データおよびページ表示開始時からの経過時間とカーソル位置およびカーソル移動情報とを関連付けて保存する制御テーブルと、ページを切り替えると共にページ切り替えタイミングを通知するページ制御手段と、ページ表示開始時からの時間を計測するタイマ手段と、タイミングの通知を受けて、制御テーブルを参照して、音声の出力または動画の予め定められた所定位置への表示を行うと共にぺージ表示開始時からの経過時間に合わせてカーソルの表示および移動させる再生手段と、を備えたことを特徴とする。
【０００８】
ページごとに動画あるいは音声データを付加すると共に、ページ表示開始時からの経過時間とカーソル位置およびカーソル移動情報とを持たせてページ単位での編集を容易にする。
【０００９】
好ましくは、制御テーブルにはページごとの切り替え条件を保存しておき、ページ制御手段は、該切り替え条件が成立したか否かを判定し、切り替え条件が成立した場合は、次のページに切り替えるようにすると良い。ページ切り替え条件を持たせることによって、複数人のリアルタイム遠隔教育を行うときに表示タイミングのずれの補正を可能にする。
【００１０】
なお、遠隔教育システムは、複数のユーザ端末と通信ネットワークを介して接続する管理サーバによって構築し、ユーザ端末からアクセスがあると、各手段を実現する閲覧プログラム（ビュワー）をユーザ端末へ送信すると共にユーザの選択する教材コンテンツおよび該教材コンテンツに付随する制御テーブルを送信し、ユーザ端末上で該閲覧プログラムを実行することによって、該制御テーブルに基づいて教材コンテンツを再生するように構成すると良い。
【００１１】
ユーザ端末に対して、ストリーム配信するという手法もあるが、閲覧プログラムと教材コンテンツをユーザ端末にダウンロードして再生することによって、ネットワークの速度や負荷の影響を回避することができるとともに、コンテンツとビュワーを保存しておいてオフラインで閲覧することができる。
【００１２】
また、本発明に係わる遠隔教育システムでは、ユーザ端末は、端末上に存在するパワーポイント（PPT）（登録商標）やpdfファイルなどの汎用ドキュメントファイルをページ単位の静止画に変換して取り込む一方、動画を取り込んで静止画単位のページとして取り扱えるように変換し、ページごとに静止画を表示し、該ページに関連付けて動画または音声データを保存すると共に、該ページの静止画上のカーソル位置情報と動画または音声データの録画または録音開始タイミングからの時間とを関連付けて保存することによって制御テーブルを生成する編集処理手段を備え、生成された教材コンテンツおよび制御テーブルを管理サーバへアップロードすることを特徴とする。
【００１３】
特に、管理サーバは、ユーザ端末からのアクセスを認識して一または二以上のアクセスで構成されたアドホックなバーチャル会議室を生成すると共に、他のユーザの端末へ注釈等のデータを送信できる権利である発言権を有する一のユーザ端末を登録または変更する手段を備え、発言権を有するユーザの端末で実行されるページ制御手段は、ページ切り替え時に、サーバ経由で他のユーザの端末に対して次に表示すべきページを指定して、ページ切り替えタイミングを通知するようにすると良い。
複数のユーザで同期を取って同じ画面を表示させるようにすると、リアルタイムで遠隔講義を行うことができるが、上述したように予め教材コンテンツをユーザ端末へ送って再生させる場合は、その同期制御が難しくなる。本発明では、発言権のあるユーザ端末上の再生タイミングを基準にしてページ切り替えタイミングを他のユーザ端末へ送信してページごとの同期をとるようにしている。
【００１４】
また、本発明に係わる遠隔教育システムでは、発言権を有するユーザの端末は、表示されている静止画への書込みを受け付け、書込み時のポインタの軌跡を記録し、一定時間の変化のないことを検知して、ポインタの基準点からの軌跡情報を管理サーバ経由で、他のユーザの端末へ送信する手段を備え、他のユーザの端末は、管理サーバから送られてくる軌跡情報を受信すると、静止画の基準点をもとに該軌跡情報を現在表示中の静止画へ合成して表示することを特徴とする。
【００１５】
オンラインで静止画に注釈を書き込む場合は、静止画データも含めた全データを送るのではなく、静止画の基準点をもとにしたポインタの軌跡情報を送信してネットワーク負荷を軽減する。ページごとに同期をとっているため、このような軌跡情報のみを送っても、他のユーザ端末上でのずれを小さく抑えることができる。
【００１６】
なお、各ユーザ端末は、あるページの表示が終了したときに、そのページの終了タイミングを管理サーバへ送信するようにして、管理サーバでは、発言権を有するユーザ端末から送られてくる終了タイミングとそれ以外のユーザから送られてくる終了タイミングとの差をそれぞれ演算して、これをもとに各ユーザ端末での補正値を演算して、開始タイミングや計測時間の補正をするようにしても良い。これにより同期制御の精度を上げることができる。
【００１７】
また、本発明に係わるマルチメディアコンテンツの表示制御方法は、コンピュータシステムを用いて静止画、および、動画もしくは音声の混在するマルチメディアコンテンツの表示制御を行う方法であって、一または二以上のページからなる静止画の表示順序と、ページごとの切り替え条件と、ページごとに当該ページで表示すべき静止画データ、当該ページで再生すべき動画もしくは音声データ、および当該ページの表示開始時からの経過時間とカーソル移動情報とを関連付けて保存する制御テーブルを生成する編集処理と、ページごとの切替条件は、通信ネットワークを介して複数で用いる場合は、発言権を有するか発言権を有しないかでそれぞれ異なる条件を設定可能であり、発言権を有する場合は、少なくとも前ページの終了を条件に次のページへ切り変えると共に他のユーザへページ切替のタイミングを通知し、発言権を有しない場合は、当該タイミングの通知を受けてページの切替を行い、個人使用の場合は、発言権を有する場合と同一の設定でページの切替を実行するページ切替処理と、タイミングの通知を受けて、制御テーブルを参照して、音声データの出力または動画を所定位置に表示すると共にタイマ手段によって計測されたぺージ表示開始時からの経過時間に合わせてカーソルの表示および移動させる再生処理と、を含むことを特徴とする。
【００１８】
本発明では、ページごとにマルチメディアデータを保存する一方、ページの切替条件を保存し用途によってその切替条件を設定することによって、マルチメディアコンテンツを個人使用や遠隔授業等の複数の使用形態に共通して使用可能にする。
【発明の効果】
【００１９】
以上、本発明によれば、ページ単位で、動画や音声情報を記録すると共に、ページの表示開始からの時間経過によって、カーソル位置を移動させていくので、ページごとの変更が容易となり、また、各ページの開始条件を設定することによって、視聴者間の画面の表示タイミングずれを抑制することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態を説明する。図１は、第１の実施の形態による遠隔教育システムの利用形態の概要説明図である。
【００２１】
ここで、遠隔教育システムは、インターネット等の通信ネットワークに接続する管理サーバとして構築され、端末からこの管理サーバへアクセスして、教材の作成を行い、管理サーバへアップロードして保存する。この教育コンテンツは、受講生の端末に視聴用のツールであるビュワーをダウンロードする。
【００２２】
次に、サーバに保存されている教材のコンテンツをダウンロードして、このビュワーを通して受講生のコンピュータ画面上に表示する。
【００２３】
この手順を図２を通して説明する。まず、ユーザの端末からブラウザでサーバへアクセスする。これによって、編集用プログラムがダウンロードされ、起動される。ユーザは、ユーザの使用するドキュメントファイルから、たとえばｐｎｇ形式のスライドを作成し、音声、カーソル動作を登録して、教材を作成する。これを圧縮形式でサーバへアップロードする。
【００２４】
個人学習時は、ブラウザでアクセスして、再生手段のプログラムを自動ダウンロードして起動し、次に教材のダウンロードを行う。この教材は圧縮形式で送り、端末側で解凍して再生実行する。視聴終了でログアウトする。
【００２５】
図３は、教材コンテンツのデータ構造の説明図、図４は、データタイプごとの設定例である。
【００２６】
サーバ内のスライドＳｉのデータ構造は、コースＩＤごとにインデックス（ページ番号とメモリ上のデータ位置）とデータ、データタイプとデータサイズ等の情報が関連付けられて保存されている。データタイプは、スライド（静止画）、音声、カーソル、動画、講師ビデオなど表示対象ごとのデータの種別である。データタイプごとのデータファイルは、サーバにアップロードされるときには高速化のためにコンテンツ単位で圧縮されて送信される。
【００２７】
以下、個人学習の場合の編集処理手順を図３用いて説明する。
ビデオの属性情報としては、元データのピクセル数、基準点のＸ，Ｙ座標、幅、高さなどの表示条件データを有する。基準点としては、例えばスライド（静止画）の左上角（Ｘ＝０，Ｙ＝０）を全体の基準点とする。
一つのスライドがＮ個のデータタイプを持つときは、Ｎ個のデータユニットが生成されることになる。図４は、スライド２に、音声、カーソル、ビデオが組み合わされている場合のデータ構造例を示す。
【００２８】
スライドＮＯ．が番号順にセットされ、再生時には各データタイプに付属した再生アルゴリズムが実行される。再生はスライドＮＯ．順に行われるが、スライドのスキップやスライドＮＯ．指定は優先処理される。
連続モードのときはスライドが連続的に自動再生される。
【００２９】
カーソルおよび組込みビデオの制御については、組み込みビデオあるいは音声記録の開始ボタンを押下したときにそのスライドの時刻カウンタが開始され、記録中にカーソルをクリックすれば（ｘ，ｙ）座標が読み取られてその時の時刻ｔと共に（ｔ，ｘ，ｙ）のユニットが生成され、図５に示されるようなそのスライドの付加データのリストが生成される。ビデオ制御の場合は、カーソル表示におけるＸ（Ｘ座標のデータ位置）が制御信号となる。そして、スタート「−１」、停止「−２」、ポーズ「−３」、再スタート「−４」、ジャンプ「−５」などというように、負の値を割り付ける。音声開始ボタンの代わりに、ビデオ開始ボタンを押下しても時刻カウンタが開始される。時刻カウンタは、ビデオの終了か音声記録の停止ボタンのいずれか遅い方で終了する。
【００３０】
このようにすれば、図５に示すように、スライドｉ（ｉ番目のスライド）のデータとして例示しているように、カーソル表示とビデオ表示のデータ構造を共通化することができる。
【００３１】
次に、編集処理のアルゴリズムを、図６を用いて説明する。
まず、編集画面に表示されている開始ボタンあるいは挿入ビデオの開始ボタンを押下することによって音声付加を開始する（Ｓ１０１）。次に、音声付加の実行中か否かを判定して（Ｓ１０２）、実行中の場合は音声を記録する（Ｓ１０３）。そして、マウス操作の有無を検知したときは（Ｓ１０４で「ＹＥＳ」）、カーソル情報を生成する（Ｓ１０５）。また、ビデオ操作があった場合は（Ｓ１０６で「ＹＥＳ」）、ビデオ制御情報を生成してリストへ記入し（Ｓ１０７）、再びステップＳ１０２へ戻る。一方、ステップＳ１０２で音声付加の実行あるいは挿入ビデオの実行（の遅い方）が終了した場合は（Ｓ１０２で「ＮＯ」）、音声データおよびカーソルデータを保存する（Ｓ１０８，Ｓ１０９）。
【００３２】
次に、再生手段の処理手順を図７を用いて説明する。
まず、スライド（静止画）データを読み込んで（Ｓ２０１）、スライドを表示する（Ｓ２０２）。ビデオデータがある場合は（Ｓ２０３で「ＹＥＳ」）、ビデオ再生機能によって再生する（Ｓ２０４）。音声データがある場合には（Ｓ２０５で「ＹＥＳ」）、音声再送機能によって再生する（Ｓ２０６）。また、カーソルデータが有るか否かを判定して（Ｓ２０７）、カーソルデータがある場合には、次に音声再生中であるか否かを判定して（Ｓ２０８）、音声再生中でなければ終了し、音声再生中であれば再生経過時間ｔを取得して（Ｓ２０９）、その時間から０．１秒後の時間範囲、すなわち（ｔ，ｔ＋０．１）でデータを検索する（Ｓ２１０）。その結果、この時間範囲でデータが存在すれば（Ｓ２１１で「ＹＥＳ」）、ｘ座標の値が「０」以上ならば（Ｓ２１２で「ＹＥＳ」）、カーソルデータであるとして（ｘ，ｙ）点にカーソル表示をする（Ｓ２１４）。一方、ステップＳ２１２でｘ座標の値が負ならば、ビデオデータであるとしてビデオ再生機能によって再生を行う。再生中ならば再生を続行する（Ｓ２１３）。そして、ステップＳ２１３，Ｓ２１４の終了後、またはステップＳ２１１で「ＮＯ」の場合は、０．１秒スリープしてステップＳ２０８へ戻る（Ｓ２１５）。
以上の手順によって、再生処理を実行する。
【００３３】
本実施の形態によれば、スライドページ単位で、動画や音声情報を記録すると共に、ページの表示開始からの時間経過によって、カーソル位置を移動させていくので、ページごとの変更が容易となる。
【００３４】
次に、本発明の第２の実施の形態を説明する。
図８は、本実施の形態による遠隔教育システムの機能ブロック図である。遠隔教育システム１は、管理サーバ１０と、管理サーバからの編集プログラムまたは閲覧プログラムをダウンロードして実行するユーザ端末５０から構成される。
【００３５】
ここで、管理サーバ１０は、通信ネットワーク２に対して情報を送受信する伝送部１１、コンテンツやテーブルを保存する記憶部１３、演算処理を実行する演算部１２を有している。
【００３６】
記憶部１３は、ユーザ端末５０からのアクセスによって送信する編集プログラム３１、閲覧プログラム３２、複数のユーザ端末間での情報の送信者（いわゆる発言権者）を管理するための発言権管理テーブル３３、教材コンテンツ３５とこれに付随する制御テーブル３４を保存している。なお、図示しないが、管理サーバ１０はこの他、教室管理データやユーザ管理データ等を有する。
【００３７】
また、演算部１２は、伝送部１１との間でデータ受け渡しを行う送受信処理手段２１、教材コンテンツや制御テーブルなどを登録する情報登録手段２２、ユーザ端末５０からアクセスがあるとその用途によって編集プログラムまたは閲覧プログラムを送信する情報送信手段２３、後述するタイミング情報などを中継する中継手段２４を有している。演算部１２の各手段２１〜２４は、ＣＰＵ実行可能なプログラムによって実現することができる。
【００３８】
また、ユーザ端末５０は、ダウンロードするプログラムの種類によって機能が異なり、編集者用のユーザ端末５０では、演算部５５に、伝送部５１との間でデータ受け渡しを行う送受信処理手段７１、編集プログラム等の情報を受信する情報受信手段７２、教材コンテンツや制御テーブルを作成する編集処理手段７３、作成した教材コンテンツ３５と制御テーブル３４を管理サーバへアップロードする情報送信手段７４を有している。編集処理手段７３や情報送信手段７４の機能は、ダウンロードした編集プログラム３１によって組み込まれるものである。
【００３９】
一方、教材コンテンツを利用する者（便宜上、閲覧者という）のユーザ端末５０の演算部５５は、伝送部５１との間でデータの受け渡しを行う送受信処理手段７１、プログラムや教材コンテンツなどの情報を取得する情報受信手段７２、教材コンテンツを再生する再生手段８１、教材コンテンツのページを切り替えるページ制御手段８０、管理サーバ１０に対して発言権を要求する発言権要求手段７５、管理サーバ１０にアクセスして発言権の有無を判定する発言権判定手段７６、ページの開始のタイミングを送信する開始タイミング送信手段７７、ページの開始のタイミングを受信する開始タイミング受信手段７８、各ページの静止画上に図形や文字の書込みを受け付け、書き込まれた情報を他のユーザ端末へ送信する注釈書込手段７９を有している。
【００４０】
また、記憶部５４は、管理サーバ１０からダウンロードした教材コンテンツ３５とこれに付随する制御テーブル３４を有している。
【００４１】
本実施の形態では、複数人で教材プログラムを閲覧しながら、一の発言権を有するユーザの端末から注釈や音声などをリアルタイムに送信して他のユーザの端末画面上に表示あるいは出力して講義や会議を進めるというものである。
【００４２】
以下、本実施の形態による遠隔教育システムの動作概要を図９を用いて説明する。なお編集処理の内容については、第１の実施の形態と同様であるので説明を割愛し、遠隔授業時の閲覧・コメント送信処理を中心に説明する。
【００４３】
<１．遠隔授業時の発言権の移行手順概要>
（１）クライアントからの会議（授業）参加の要求を行うとサーバ内でユーザ管理情報が生成され、コネクションが張られる。ユーザｉが講師権限（発言権）を有するとした場合、講師端末５０を通して権限を要求し、サーバはこの要求を受信すると、ユーザｉに対して講師権限を示すステータスを設定する（図１１で発言権「１」）。その他のユーザに対しては、質問者を示すステータスを設定する（図１１で発言権「０」）。
（２）質問者は質問権限（発言権）を要求する。
（３）講師への問合せを行い、（４）講師が承諾すると、（５）管理サーバが発言権限を質問者のユーザ１へ移す。その後、（６）質問者は、スライドを切り替えて、カーソルで質問する。カーソル情報は、管理サーバ１０を経由して、講師および他のユーザの端末へ配信され各端末上のスライドと重ねあわされて表示される。（７）講師は音声で応答する。（８）以下、必要に応じて質問者の変更を行って同様の処理を繰り返す。
（９）会議が終わると各ユーザがコネクションを切断する。
なお、ユーザ情報としては、乱数で与えられるユーザＩＤとユーザ端末のＩＰアドレスを用いる。ユーザＩＤは乱数でアドホック（一時的ないし暫定的）に与えられるので、本会議システムは事前登録を必要としないという特徴を持つ。
【００４４】
<２．ページの切替処理>
まず、本実施の形態でのデータ構造は、図３および図５に示した各スライド単位を基準とした制御テーブル３４のデータ構造に加え、図１０に示すように各スライドページの切替条件を持たせたことである。
【００４５】
この図において、発言権がある場合と無い場合で、ページの切替条件が異なり、発言権がある場合は、スライド１（最初のページ）は閲覧画面の開始ボタンを押下することによって開始され、それ以降のスライドについては、前ページの終了によって開始する。一方、発言権が無い場合は、管理サーバ１０経由で送られてきた開始タイミングを受信することによってページの切替が行われる。
【００４６】
以下、上述のぺージ切替処理を具体的に説明する。
講師端末あるいは発言を要求するユーザの端末は、ユーザ端末５０の発言権要求手段７５から管理サーバ１０に対して、発言権を要求する。
【００４７】
管理サーバ１０は、情報登録手段２２によってこの要求を受信すると、現発言者の端末５０へ通知し、現発言者の許可を受けることによって、図１１に示す発言権管理テーブル３３の発言権を新発言者に移す。この発言権は、最初は講師設定されているものの端末に付与される。
【００４８】
そして、発言権を要求した者の端末５０へ発言権許可通知を送信する。
発言権を要求した者の端末５０の発言権判定手段７６は、この発言権許可通知を受信すると、切替条件を「発言権あり」モードに設定する一方、開始タイミング送信手段７７をアクティブ状態にして、各ページの切替時には、次の開始ページとページ開始タイミング信号を管理サーバ１０へ送信する。管理サーバ１０では、この開始タイミング信号等を受信すると、情報中継手段２４によって、他のユーザ（発言権を持たないユーザ）の端末５０へ開始タイミング信号を転送する。
【００４９】
一方、他のユーザの端末は、発言権判定手段７６によって、管理サーバ１０からの発言権あり通知を受けない場合は、「発言権なし」モードに設定されており、開始タイミング受信手段７８によって管理サーバ１０から転送されてくる次のページ番号および開始タイミングを受け取ると、これをページ制御手段８０へ渡す。ページ制御手段８０は、そのスライドページを表示し、ページ表示からの時間の経過とともに再生手段８１によって動画やカーソルの移動処理等を実行する。
【００５０】
このように、本実施の形態の特徴は、同一コンテンツへアクセスしているユーザがバーチャル会議室／教室を構成し、ページの自動制御をするものである。また、再生手段８１によって、コンテンツがスライドのみか音声・カーソルビデオなども付随しているかを自動判定して、それにあわせた再生や会議・講義を行うことができる。
【００５１】
<３．データ構造>
本実施の形態による遠隔教育システムは、バーチャル教室のように動作する。
バーチャル教室管理の教室管理テーブルによって行われる。図１２に管理サーバ１０の有する教室管理テーブルのデータ構造例を示す。
【００５２】
バーチャル教室は、コースＩＤ（コンテンツ名称）で教室を識別する。コースＩＤごとにプレゼンタのユーザＩＤを登録する。このプレゼンタは、教室の開催者である。なお、このユーザＩＤの初期値は「0」（講師なしの状態）を設定しておく。また、教室のステータスとして、アクティブ「0」,休止「1」,クローズ「2」を有する。
【００５３】
このほか、当該教室の参加人数、当該教室のユーザＩＤリスト、現在表示中のアノテーション・ボードＮＯ(アノテーション・ファイルへのポインタ)、教室で共有されている画像（現在の仮想アノテーション・ボード）たとえば、800ｘ600ピクセルのビットマップ（各ピクセルはrngの値を持つ）、現在表示中のスライドＮＯ（スライド・ファイルへのポインタ）などが関連付けられて保存されている。なお、仮想アノテーション・ボードの詳細は後述するが、各頁の静止画（スライド）に対して注釈を記入あるいは描画させたときに、その情報を静止画の基準点からの位置情報等として登録するメモリ領域である。そして、複数の参加者がそれぞれプレゼンタ（発言権を有する者）となり得るときに各参加者にそれぞれ仮想的にアノテーションボードを割り当て（仮想アノテーションボード）、その参加者がプレゼンタの時に当該参加者に割り当てられた仮想アノテーションボードの番号が現在表示中のアノテーションボードＮＯとしてセットされる。
【００５４】
なお、バーチャル教室はコンテンツに関して一つ生成される。また、仮想アノテーション・ボードは、800ｘ600ピクセルのビットマップ（ピクセル値はrng）を有し、メモリサイズ、処理時間の効率化のためにデータ値を持つピクセルの配列のみで構成される。
【００５５】
参加者は、図１３に例示するユーザ管理テーブルによって行う。
ユーザ管理テーブルは、バーチャル教室の参加者ごとに生成され、乱数で与えられるユーザＩＤ、そのユーザのログイン時刻、状態（アクティブ「0」，休止「1」，クローズ「2」、そのユーザのＩＰアドレス、当該ユーザとサーバとのコネクション・ソケット、などが保存されている。
【００５６】
次に、通信信号のデータ構造について説明する。
遠隔教育システムでは、２種類のメッセージ交信が行われる。プレゼンタとサーバ間、およびサーバと各リスナ（参加者）間のメッセージ交信であり、その描画要素メッセージとコマンド・メッセージである。これらは図１４のType変数で識別される。
【００５７】
ユーザからのメッセージは、図１４に示すように当該メッセージのユニーク名称、ユーザのユニークＩＤ、メッセージの型： 描画要素（Shape）「0」，コマンド「1」、データ：描画要素オブジェクトの記憶「0」，コマンド・オブジェクトの記憶「1」などを含み、メッセージが送信されたときに、メッセージの送信時刻が付され登録される。
【００５８】
次に、図１５に例示する描画の制御データの構造を説明する。
描画要素ごとに、: ピクセル「0」: 自由曲線「1」: 直線「2」: 円「3」: 長方形「4」: 塗りつぶし円「5」: 塗りつぶし長方形「6」：消しゴム「7」などのタイプが識別される。この中で自由曲線と消しゴムが中心的な機能である。また、描画要素の色、線の太さ、当該描画要素のピクセル数、当該描画要素のピクセルの配列 (x0,y0)，(x1,y1) …(xi,yi)…(xn,yn)などが保存される。このピクセルの配列は、点の繋がりとして描画処理される。
【００５９】
なお、自由曲線を使って、任意の太さの曲線で、文章や式を自由に描画する（書く）ことが出来るのが本システムの重要な特徴である。しかも、任意のまとまり毎に、実時間でサーバに送信され、バーチャルなアノテーション・ボードに書き込まれると共に、各参加者（リスナ）へも送信され、各アノテーション・ボードに書き込まれると共に、前もってダウンロードされているスライドに重ね書きされるようにして表示される。
【００６０】
スライドの切り替え等の制御は、図１６に例示するコマンドデータによって行われる。
このコマンドタイプは、: update participate number（参加者数の更新）「0」，スライド切り替え「1」，プレゼンタ切り替え「2」，プレゼンタの申請（プレゼンタになるための申請）「3」，プレゼンタ申請への応答「4」，スライドに添付されている音声／カーソルの再生／停止（付加音声／カーソルを再生することが出来る）「5」。また、コマンドデータとしては、それぞれ上記のコマンドタイプに対応して、タイプ0は参加者数，タイプ1は変更するスライドの番号，タイプ2はプレゼンタのUserID，タイプ3はプレゼンタ申請者のUserID，タイプ4は（deny「0」, OK「1」），タイプ5は（再生実行「0」 ,停止「1」）などのデータが設定される。
【００６１】
<４．バーチャル教室の管理法>
図１７は、バーチャル教室の管理手順を示すフローチャートである。ここで、図１７（ａ）は、管理サーバ１０側の処理手順であり、ユーザ端末のコネクションと教室参加時に付与されたユーザＩＤによってユーザが特定され、管理される。図１７（ｂ）は、クライアント、すなわちユーザ端末５０側の処理手順であり、管理サーバからの接続許可（Ｓ４０２）によってユーザは、教室に入室する（Ｓ４０３）。これは、管理サーバ側でのステップＳ３０５の入試管理処理と連動している。その後、ユーザ端末は、管理サーバ１０を通して、他のユーザ端末とメッセージの受け渡しを行う（Ｓ４０４，Ｓ４０５）。
【００６２】
なお、バーチャル教室はあるコンテンツにアクセスが起こったとき生成され、一人以上の参加者があれば成立し、途中で参加／退室が出来、参加者数がゼロになったとき、消える。また、講師（プレゼンタ）には誰でもなれ、"Click for Presenter"ボタンを最初に押した参加者が講師権限（発言権）をシステムから与えられる。その後は、申請があったとき、現在の講師権限を持つ参加者の了解で切り替わる。
【００６３】
図１８は、プレゼンタ権限の割り当て処理の手順を示すフローチャートである。
管理サーバ１０は、ユーザ端末５０の発言権要求手段７５から送信されたプレゼンタの申請要求を受信すると（Ｓ５０１）、このフローチャートに記載の手順によって現プレゼンタからの許可の取得を行い（Ｓ５０３，Ｓ５０５）、その結果として応答値０または１をセットして、申請者に返信する（Ｓ５０９）。申請者のユーザ端末５０は、発言権判定手段７６によってこの応答値を受信して、ページ切替タイミングのセット等を行う。
プレゼンタ（講師）の権限は以下である。
１）アノテーション・ボードに書き込むことが出来る
２）アノテーション・ボード（描画イメージ）をサーバのデータベースにセーブしたり、セーブされている描画イメージを取り出すことが出来る。なお処理は、スライド全体に対して一括で行われ、セーブすると基のセーブされているイメージが消されて記憶され、取り出すと現在の描画イメージと置き換わる。
３）プレゼンタになるという申告があったとき、諾否ができる。
【００６４】
<５．オンライン・アノテーションボードの画像（image）の送信法・表現法、記入法>
遠隔教育システムはコンテンツ・イメージと描画イメージの２つのパーツで構成されている。コンテンツ・イメージとは、サーバからダウンロードされる編集用プログラムで作成され、サーバのコンテンツ・データベースに管理されている学習コンテンツのイメージ（画像つまりスライド）であり、一般に複数のスライドで構成されており、これが背景画像となる。
【００６５】
描画イメージとは、プレゼンテーションに於いてオンラインで描画されたイメージ（画像）であり、参加者で共有される。従って、図１９に示すように、
最終表示イメージ = コンテンツ・イメージ（背景） + 描画イメージ
となる。
【００６６】
通常のオンライン・ホワイトボードは、コンテンツ・イメージを持たないが、本システムは学習コンテンツを背景として、その上書き（アノテーション）として描画イメージを重ね書きする機能を持つ。また、描画イメージは背景イメージ（スライド）と、スライド単位で１対１対応しており、かつ独立なファイルとして保存される。したがって、基のスライドには全く影響を与えない。表示のときには、先ず背景イメージを書き、その上に描画イメージを書く。ユーザから見ると、背景の上にアノテーションが"書き加えられた"と見える。また、描画イメージの一部を消す場合は、正方形の「消しゴム」を使うが、描画だけが消えて背景は原図のまま残る。したがって、印刷物の上に鉛筆でメモを書き、その一部を消しゴムで消すのと同じ機能を持つ。
【００６７】
描画イメージはいわゆるビットマップと呼ばれるピクセルの配列で表現されるが、背景となるコンテンツと同一のピクセル配列（800ｘ600）を持つので、各ピクセルが完全に重なるので、表示に於いてはコンテンツイメージの上に描画イメージを重ねたとき、背景のデータ値（ピクセル）が描画ピクセルと置き換わる。
【００６８】
なお、コンテンツ・イメージも描画イメージも全く同じ画像サイズ800ｘ600のピクセルで表現され、かつ表示位置も厳密に重なるので、あたかも背景画像の上にアノテーションを書き込むイメージで上書きでき、プレゼンタおよびリスナとも、本表示技術によって背景の上に上書き画像が書き加えられたように見える。
【００６９】
次に、オンライン・アノテーションボードの処理アルゴリズムについて説明する。
図２０（ａ）は管理サーバ側の処理、図２０（ｂ）はクライアント（ユーザ端末）側の処理である。
（１）コンテンツ・イメージの初期化
プレゼンタがスライド番号を指定するとその番号はサーバに送信され、バーチャル教室の全メンバーに配信され、前もってダウンロードされているコンテンツの指定スライドのイメージがユーザ・ウインドウに表示される。これが背景として利用される。このとき、当該スライドに対応した描画イメージが存在する場合には、それも同時に切り替わるので、ユーザから見ると、アノテーションが書き込まれているスライドが切り替えられたと見える。実際には、表示機能が二つの画像を重ね合わせる処理を行う。
（２）サーバ−クライアント間の描画のオンライン同期
バーチャル教室毎に一つの描画用バッファ・メモリ（仮想アノテーション・ボード）を持つ。クライアントから描画情報を受け取ったサーバは先ずそのバッファに記入するとともに、その教室の全メンバー（リスナー）に配信する。
各メンバーは、最初にその教室に入ったとき、そのバッファの内容がzip形式で圧縮されてそのメンバーのクライアント・コンピュータに送信される。
クライアント側では、受信したデータが解凍され、描画イメージとして記憶される。その後受け取った描画データはその上に書き込まれる。
（３）クライアント側の最終イメージ
クライアント側でイメージが更新されると、コンテンツ・イメージと重ね合わされて表示画面に表示される。
【００７０】
<６．バーチャル教室の管理の概念>
遠隔教育システムでは、２つのオペレーション・モードとして使い分けることができる。それらは、プレゼンテーション／ディスカッション・モード、および同期自動再生モード、である。
【００７１】
（１）プレゼンテーション／ディスカッション・モード
各教室に於いては、同時に一人だけがプレゼンタになれる。プレゼンタは、スライドの切り替えやモードの変更を行うことが出来る。プレゼンタの全ての操作は、同期を取って全メンバーに反映される。また、全メンバーは現プレゼンタに対してプレゼンタ権限の申請が出来る（図１８参照）。
【００７２】
また、この状態で、プレゼンタはコンテンツ・イメージの上に描画要素を書き加えることができ、それらはサーバ上の仮想アノテーション・ボードに書き込まれ、更にオンラインで同期を取って各メンバーに配信される。
【００７３】
プレゼンタ権限はリスナが申請をして、現在のプレゼンタが許諾すれば、その申請者に移る。プレゼンタ権限を受け取ったメンバーは、新しいプレゼンタとなり、全ての権限を引き継ぐ。（図２１参照）
【００７４】
（２）同期自動再生モード
コンテンツに音声／カーソル／ビデオが付加されている場合は、プレゼンタは同期自動再生の開始や停止を全メンバーの視聴画面に対して実行できる。これは、特に、遠隔授業において同期を取って再生を行うのに使える。
【００７５】
（描画の方法）
プレゼンタによって描かれた描画要素は、サーバに送られ、仮想アノテーション・ボードに書き込まれると共に、各リスナに送信され、それぞれのアノテーション・ボードに書き込まれた後、スライド・イメージと合成されて表示される。（図２２参照）。
【００７６】
なお、仮想アノテーション・ボードは単純なピクセルの集合（ビットマップ的なもの）であり、文字や図形としては認識できない。これは、構造的な取り扱いには不向きであるが、人が印刷物の上に鉛筆等で上書きをして、消しゴムで消し、更に上書きをする、という場合には、むしろ適している。特に、式、自由図形、色々な文字の文章、の自由記述には、本技術が適する。
【００７７】
以上、本実施の形態によれば、複数のユーザ間でリアルタイム遠隔授業を行う場合は、ページ単位で静止画（スライド）、動画、カーソル移動情報等のデータを関連付けて保存しておき、ページの切替タイミングを送受信することによってページ切替を行うので、事前にダウンロードした教材コンテンツの再生時の端末間のずれの蓄積を防止することができる。このため、アノテーションボードをスライドに重ねあわせて表示する際にもより正確に表示させることができる。遠隔授業の場合は、予め教材コンテンツをダウンロードして使用するので、ユーザのネットワーク環境の影響を少なくすることができる。また、教材コンテンツを個人学習で使用する場合は、制御テーブルのページ切替条件を「発言権あり」モードに設定することによって、個人学習、リアルタイム遠隔授業の両方で使用することができる。
【００７８】
さらに、キャンバスが白（無地）の場合はオンライン・ホワイトボードとなり、スライドの場合は、上書き（アノテーション）ボードとなり、音声・カーソル添付のスライドの場合は、再生させるかどうかも制御できる。多機能のプレゼンテーション・ボードとして利用できる。
【００７９】
なお、上記の実施形態は、音声や動画、静止画、および音声や動画と連動した静止画上のカーソル移動情報を含むマルチメディアコンテンツをダウンロードして、個人学習でも利用可能な遠隔教育システムとして説明したが、本発明は、教育システムに限定されず、たとえば会議システムなどを含むコミュニケーションツールとしても使用可能であることは明白である。
【図面の簡単な説明】
【００８０】
【図１】本発明の第１の実施の形態による遠隔教育システムの利用形態の概要説明図である。
【図２】本発明の第１の実施の形態による教材コンテンツの編集時と再生時のサーバ端末間の手順の説明図である。
【図３】本発明の第１の実施の形態による教材コンテンツのデータ構造の説明図である。
【図４】図３のデータタイプごとの設定例である。
【図５】図３のカーソル・ビデオコントロールのデータ例である。
【図６】本発明の第１の実施の形態による編集処理の手順を示すフローチャートである。
【図７】本発明の第１の実施の形態による再生処理の手順を示すフローチャートである。
【図８】本発明の第２の実施の形態による遠隔教育システムの機能ブロック図である。
【図９】本発明の第２の実施の形態による遠隔教育システムの動作概要である。
【図１０】図８の制御テーブルの一部を構成するページ切替条件のデータ例である。
【図１１】図８の発言権管理テーブルのデータ構造図である。
【図１２】図８の管理サーバが有する教室管理テーブルのデータ構造図である。
【図１３】図８の管理サーバが有するユーザ管理テーブルのデータ構造図である。
【図１４】本発明の第２の実施の形態による通信信号のデータ構造図である。
【図１５】図１４においてメッセージタイプが描画要素の場合のデータ構造例である。
【図１６】図１４においてメッセージタイプがコマンドの場合のデータ構造例である。
【図１７】本発明の第２の実施の形態によるバーチャル教室の管理手順を示すフローチャートである。
【図１８】本発明の第２の実施の形態によるプレゼンタ権限の割り当て処理の手順を示すフローチャートである。
【図１９】図８の再生手段によるコンテンツ・イメージ（背景スライド）と描画イメージ（アノテーション；注釈画像）との重ねあわせ処理の説明図である。
【図２０】本発明の第２の実施の形態によるオンライン・アノテーションボードの処理手順を示すフローチャートである。
【図２１】本発明の第２の実施の形態によるユーザ端末側の処理の概要を示すフローチャートである。
【図２２】本発明の第２の実施の形態による描画処理における線の太さの制御の説明図である。
【符号の説明】
【００８１】
１ 遠隔教育システム
２ 通信ネットワーク
１０ 管理サーバ
１１，５１ 伝送部
１２，５５ 演算部
１３，５４ 記憶部
２１，７１ 送受信処理手段
２２ 情報登録手段
２３ 情報送信手段
２４ 情報中継手段
３１ 編集プログラム
３２ 閲覧プログラム
３３ 発言権管理テーブル
３４ 制御テーブル
３５ 教材コンテンツ
５０ ユーザ端末
５２ 入力部
５３ 表示部
７２ 情報受信手段
７３ 編集処理手段
７４ 情報送信手段
７５ 発言権要求手段
７６ 発言権判定手段
７７ 開始タイミング送信手段
７８ 開始タイミング受信手段
７９ 注釈書込手段
８０ ページ制御手段
８１ 再生手段
【特許請求の範囲】
【請求項１】
教材コンテンツの動画または音声と同期して静止画上にカーソルを表示する遠隔教育システムであって、
教材コンテンツに付随して、一または二以上のページからなる静止画データの表示順序と、ページごとにそのページで表示する動画データあるいは音声データおよびページ表示開始時からの経過時間とカーソル位置およびカーソル移動情報とを関連付けて保存する制御テーブルと、
ページを切り替えると共にページ切り替えタイミングを通知するページ制御手段と、
ページ表示開始時からの時間を計測するタイマ手段と、
前記タイミングの通知を受けて、前記制御テーブルを参照して、音声の出力または動画の所定位置への表示を行うと共にぺージ表示開始時からの経過時間に合わせてカーソルを表示および移動させる再生手段と、
を備えたことを特徴とする遠隔教育システム。
【請求項２】
前記制御テーブルは、ページごとの切り替え条件を保存し、
前記ページ制御手段は、該切り替え条件が成立したか否かを判定し、切り替え条件が成立した場合は、次のページに切り替えることを特徴とする請求項１記載の遠隔教育システム。
【請求項３】
前記遠隔教育システムは、複数のユーザ端末と通信ネットワークを介して接続する管理サーバであって、
前記ユーザ端末からアクセスがあると、前記各手段を実現する閲覧プログラムを前記ユーザ端末へ送信すると共にユーザの選択する教材コンテンツおよび該教材コンテンツに付随する制御テーブルを送信し、前記ユーザ端末上で該閲覧プログラムを実行することによって、該制御テーブルに基づいて教材コンテンツを再生することを特徴とする請求項１または２に記載の遠隔教育システム。
【請求項４】
前記ユーザ端末は、ページごとに静止画を表示し、該ページに関連付けて動画または音声データを保存すると共に、該ページの静止画上のカーソル位置情報と前記動画または音声データの録画または録音開始タイミングからの時間とを関連付けて保存することによって前記制御テーブルを生成する編集処理手段を備え、
生成された教材コンテンツおよび制御テーブルを前記管理サーバへアップロードすることを特徴とする請求項３記載の遠隔教育システム。
【請求項５】
前記管理サーバは、他のユーザの端末へ注釈等のデータを送信できる権利である発言権を有する一のユーザ端末を登録または変更する手段を備え、
発言権を有するユーザの端末で実行される前記ページ制御手段は、ページ切り替え時に、サーバ経由で他のユーザの端末に対して次に表示すべきページを指定して、ページ切り替えタイミングを通知することを特徴とする請求項３または４に記載の遠隔教育システム。
【請求項６】
発言権を有するユーザの端末は、表示されている静止画への書込みを受け付け、書込み時のポインタの軌跡を記録し、一定時間の変化のないことを検知して、前記ポインタの基準点からの軌跡情報を前記管理サーバ経由で、他のユーザの端末へ送信する手段と、
前記他のユーザの端末は、前記管理サーバから送られてくる軌跡情報を受信すると、静止画の基準点をもとに該軌跡情報を現在表示中の静止画へ合成して表示することを特徴とする請求項３乃至５のいずれか一に記載の遠隔教育システム。
【請求項７】
コンピュータシステムを用いて静止画、および、動画もしくは音声の混在するマルチメディアコンテンツの表示制御を行う方法であって、
一または二以上のページからなる静止画の表示順序と、ページごとの切り替え条件と、ページごとに当該ページで表示すべき静止画データ、当該ページで再生すべき動画もしくは音声データ、および当該ページの表示開始時からの経過時間とカーソル移動情報とを関連付けて保存する制御テーブルを生成する編集処理と、
前記ページごとの切替条件は、通信ネットワークを介して複数で用いる場合は、発言権を有するか発言権を有しないかでそれぞれ異なる条件を設定可能であり、発言権を有する場合は、少なくとも前ページの終了を条件に次のページへ切り変えると共に他のユーザへページ切替のタイミングを通知し、発言権を有しない場合は、当該タイミングの通知を受けてページの切替を行い、個人使用の場合は、前記発言権を有する場合と同様の設定でページの切替を実行するページ切替処理と、
前記タイミングの通知を受けて、前記制御テーブルを参照して、音声データの出力または動画を所定位置に表示すると共にタイマ手段によって計測されたぺージ表示開始時からの経過時間に合わせてカーソルの表示および移動させる再生処理と、
を含むことを特徴とするマルチメディアコンテンツの表示制御方法。
【請求項１】
教材コンテンツの動画または音声と同期して静止画上にカーソルを表示する遠隔教育システムであって、
教材コンテンツに付随して、一または二以上のページからなる静止画データの表示順序と、ページごとにそのページで表示する動画データあるいは音声データおよびページ表示開始時からの経過時間とカーソル位置およびカーソル移動情報とを関連付けて保存する制御テーブルと、
ページを切り替えると共にページ切り替えタイミングを通知するページ制御手段と、
ページ表示開始時からの時間を計測するタイマ手段と、
前記タイミングの通知を受けて、前記制御テーブルを参照して、音声の出力または動画の所定位置への表示を行うと共にぺージ表示開始時からの経過時間に合わせてカーソルを表示および移動させる再生手段と、
を備えたことを特徴とする遠隔教育システム。
【請求項２】
前記制御テーブルは、ページごとの切り替え条件を保存し、
前記ページ制御手段は、該切り替え条件が成立したか否かを判定し、切り替え条件が成立した場合は、次のページに切り替えることを特徴とする請求項１記載の遠隔教育システム。
【請求項３】
前記遠隔教育システムは、複数のユーザ端末と通信ネットワークを介して接続する管理サーバであって、
前記ユーザ端末からアクセスがあると、前記各手段を実現する閲覧プログラムを前記ユーザ端末へ送信すると共にユーザの選択する教材コンテンツおよび該教材コンテンツに付随する制御テーブルを送信し、前記ユーザ端末上で該閲覧プログラムを実行することによって、該制御テーブルに基づいて教材コンテンツを再生することを特徴とする請求項１または２に記載の遠隔教育システム。
【請求項４】
前記ユーザ端末は、ページごとに静止画を表示し、該ページに関連付けて動画または音声データを保存すると共に、該ページの静止画上のカーソル位置情報と前記動画または音声データの録画または録音開始タイミングからの時間とを関連付けて保存することによって前記制御テーブルを生成する編集処理手段を備え、
生成された教材コンテンツおよび制御テーブルを前記管理サーバへアップロードすることを特徴とする請求項３記載の遠隔教育システム。
【請求項５】
前記管理サーバは、他のユーザの端末へ注釈等のデータを送信できる権利である発言権を有する一のユーザ端末を登録または変更する手段を備え、
発言権を有するユーザの端末で実行される前記ページ制御手段は、ページ切り替え時に、サーバ経由で他のユーザの端末に対して次に表示すべきページを指定して、ページ切り替えタイミングを通知することを特徴とする請求項３または４に記載の遠隔教育システム。
【請求項６】
発言権を有するユーザの端末は、表示されている静止画への書込みを受け付け、書込み時のポインタの軌跡を記録し、一定時間の変化のないことを検知して、前記ポインタの基準点からの軌跡情報を前記管理サーバ経由で、他のユーザの端末へ送信する手段と、
前記他のユーザの端末は、前記管理サーバから送られてくる軌跡情報を受信すると、静止画の基準点をもとに該軌跡情報を現在表示中の静止画へ合成して表示することを特徴とする請求項３乃至５のいずれか一に記載の遠隔教育システム。
【請求項７】
コンピュータシステムを用いて静止画、および、動画もしくは音声の混在するマルチメディアコンテンツの表示制御を行う方法であって、
一または二以上のページからなる静止画の表示順序と、ページごとの切り替え条件と、ページごとに当該ページで表示すべき静止画データ、当該ページで再生すべき動画もしくは音声データ、および当該ページの表示開始時からの経過時間とカーソル移動情報とを関連付けて保存する制御テーブルを生成する編集処理と、
前記ページごとの切替条件は、通信ネットワークを介して複数で用いる場合は、発言権を有するか発言権を有しないかでそれぞれ異なる条件を設定可能であり、発言権を有する場合は、少なくとも前ページの終了を条件に次のページへ切り変えると共に他のユーザへページ切替のタイミングを通知し、発言権を有しない場合は、当該タイミングの通知を受けてページの切替を行い、個人使用の場合は、前記発言権を有する場合と同様の設定でページの切替を実行するページ切替処理と、
前記タイミングの通知を受けて、前記制御テーブルを参照して、音声データの出力または動画を所定位置に表示すると共にタイマ手段によって計測されたぺージ表示開始時からの経過時間に合わせてカーソルの表示および移動させる再生処理と、
を含むことを特徴とするマルチメディアコンテンツの表示制御方法。
【図１】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２２】
【図２】
【図３】
【図７】
【図９】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２２】
【図２】
【図３】
【図７】
【図９】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−２９４６２５（Ｐ２００９−２９４６２５Ａ）
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願番号】特願２００８−１５１１２９（Ｐ２００８−１５１１２９）
【出願日】平成２０年６月９日（２００８．６．９）
【出願人】（５０８１７２７２０）
【Ｆターム（参考）】
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願日】平成２０年６月９日（２００８．６．９）
【出願人】（５０８１７２７２０）
【Ｆターム（参考）】
[ Back to top ]