画面共有システム、画面共有方法、サーバ端末制御プログラム、クライアント端末制御プログラムおよび記録媒体
【課題】リアルタイムで同じ画面を共有しあい、電子会議をシームレスに違和感なく利用できるようにする。
【解決手段】サーバ端末１０は、描画入力が可能な入力部１１と、キャプチャ画面の画像データを送信する画像データ送信部１２と、入力部１１からの描画された画面を共有する背景が透明なホワイトボード１４と、デスクトップの作業画面の上層にホワイトボード１４を重ねて表示するディスプレイ１６と、当該サーバ端末１０を制御する制御部１５を備え、クライアント端末２０は、描画入力が可能な入力部２１と、キャプチャ画面の画像データを受信する画像データ受信部２２と、入力部２１からの描画された画面を共有する背景が透明なホワイトボード２４と、受信した画像データを共有画面として表示し、さらにその上層にホワイトボード２４を重ねて表示するディスプレイ２６と、当該クライアント端末２０を制御する制御部２５とを備える。
【解決手段】サーバ端末１０は、描画入力が可能な入力部１１と、キャプチャ画面の画像データを送信する画像データ送信部１２と、入力部１１からの描画された画面を共有する背景が透明なホワイトボード１４と、デスクトップの作業画面の上層にホワイトボード１４を重ねて表示するディスプレイ１６と、当該サーバ端末１０を制御する制御部１５を備え、クライアント端末２０は、描画入力が可能な入力部２１と、キャプチャ画面の画像データを受信する画像データ受信部２２と、入力部２１からの描画された画面を共有する背景が透明なホワイトボード２４と、受信した画像データを共有画面として表示し、さらにその上層にホワイトボード２４を重ねて表示するディスプレイ２６と、当該クライアント端末２０を制御する制御部２５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有システム、画面共有方法、サーバ端末制御プログラム、クライアント端末制御プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
遠隔地にある拠点の端末同士をネットワークで接続して電子会議等を行うのに適したシステムとして、他拠点の端末の画面を手元に表示して操作したり、逆に自拠点の端末の画面を他拠点の端末の画面に表示するという、画面共有システムがある。
【０００３】
従来技術における画面共有システムとしては、例えば、特許文献１に開示された会議支援システムがある。図１は、従来技術の会議支援システムを示す図である。図１において、会議支援システムは、１つのサーバと、２つのクライアントＡ、Ｂとを有する。
【０００４】
サーバＰＣ１００は、デスクトップ画面５０が最下面にあり、このデスクトップ画面５０でアプリケーションを実行し、文書を開くことができる。デスクトップ画面５０の上には、各クライアントのウインドウ５１〜５２と、サーバのウインドウ５３とが背景を透明にして重ね合わせて重畳表示されるウインドウ５４がある。
【０００５】
クライアントＰＣ２００は、サーバＰＣ１００のウインドウ５４との共有画面６０が最下面にあり、その共有画面の上層には、各クライアントが書込を行うローカルのウインドウ６１と、ローカルのウインドウ６１と共有画面６０とが重ね合わせ重畳表示されるウインドウ６２がある。
【０００６】
ここで、背景を透明にして重ね合わせるには、例えばMｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（登録商標）２０００以上のＯＳであれば、ＬａｙｅｒｅｄＷｉｎｄｏｗと呼ばれるウィンドウスタイルを使用することにより実現することができる。
【０００７】
サーバＰＣ１００の画面では、デスクトップ画面５０上で起動しているアプリケーションの画面の上に、ホワイトボードの書き込みが重ね合わされ重畳表示されたウインドウ５４が、画面共有機能によって各クライアントＰＣ２００と共有される。
【０００８】
【特許文献１】特開２００６−３１３５９号公報（第１７頁−１８頁、図２０）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、図１に示すような、従来の画面共有システムでは、ホワイトボードに書き込まれた描画像を消しゴムツール等で消した場合、消したユーザのクライアントＰＣではこのローカル描画はすぐに消えるが、下層の共有画面にはリアルタイムに反映されず、各クライアントのユーザはまだ描画されているものと認識してしまう。
【００１０】
ローカル描画の消した情報が、サーバ側のホワイトボードに反映され、それを共有画面として配信され、それが下層の描画に反映されたときにはじめて消えたとユーザーは認識する。図１において、クライアントＡで描画したペンの内容が、クライアントＢに達するまでの時間は、
Δta-s：クライアントＡからサーバへのペン描画データ転送時間
Δtswb：サーバのホワイトボードに反映される時間
Δtscap：サーバにて、共有画面が作成される時間
Δtspre：サーバにて共有画面をネットワーク送信する準備処理
Δts-b：サーバからクライアントBへ共有画像が送られる転送時間
Δtcdrw：クライアントBにて共有画像を展開し描画する時間
とすると、
ΔT＝Δta-s+Δtswb+Δtscap+Δtspre＋Δts-b+Δtcdrw・・・・式（１）
となり、ネットワークを２度通ったり、データ量の多い画像データとして転送されるためネットワークの帯域に大きく左右される。
【００１１】
従って、下層の描画に反映するまでのレスポンスは、ネットワークの帯域幅が広帯域の場合には、高速に処理可能であるので、違和感を感じない程度で済む可能性はあるが、狭帯域の場合では、消しゴムツールのレスポンスが悪いと認識されてしまう虞がある。
【００１２】
本発明が解決しようとする課題としては、リアルタイムで同じ画面を共有しあうことができ、電子会議をシームレスに違和感なく利用できる画面共有システム、画面共有方法、サーバ端末制御プログラム、クライアント端末制御プログラムおよび記録媒体を提供することが一例として挙げられる。
【課題を解決するための手段】
【００１３】
請求項１に記載の画面共有システムは、ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有システムであって、
前記サーバ端末は、
入力手段により描画入力が可能な入力部と、
デスクトップの作業画面のみを繰り返しキャプチャし、該キャプチャ画面の画像データを他の端末へ送信する画像データ送信部と、
前記入力部からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボードと、
前記デスクトップの作業画面の上層に前記ホワイトボードを重ねて表示するディスプレイと、
当該サーバ端末を制御する制御部と、を備え、
前記クライアント端末は、
入力手段により描画入力が可能な入力部と、
前記サーバ端末から送信されたキャプチャ画面の画像データを受信する画像データ受信部と、
前記入力部からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボードと、
前記画像データ受信部が受信した画像データを共有画面として表示し、さらにその上層に前記ホワイトボードを重ねて表示するディスプレイと、
当該クライアント端末を制御する制御部と、を備えることを特徴とする。
【００１４】
請求項５に記載の画面共有方法は、ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有方法であって、
前記サーバ端末及び前記クライアント端末のうちの所定の端末をペン描画モードに設定するステップと、
前記所定の端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記所定の端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を他の端末に送信するステップと、
前記他の端末は、受信した前記ペンデータ情報をペン描画として、前記他の端末が備える背景を透明化したホワイトボードに表示するステップと、
を含むことによって、全ての端末のホワイトボードの画像を共有化し、
前記サーバ端末のデスクトップの作業画面のみを繰り返しキャプチャするステップと、
該キャプチャ画面を画像データとして前記クライアント端末へ送信するステップと、
前記クライアント端末が前記画像データを受信するステップと、
前記クライアント端末は受信した前記画像データを共有画面に表示するステップと、
を含むことによって、前記サーバ端末のディスプレイに、前記デスクトップの作業画面の上層に前記ホワイトボードを重ねて表示し、前記クライアント端末のディスプレイに、前記デスクトップの作業画面の上層に、前記画像データ受信部が受信した画像データを共有画面として表示し、さらにその上層に前記ホワイトボードを重ねて表示することを特徴とする。
【００１５】
請求項６に記載のサーバ端末制御プログラムは、ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有するシステムにおける前記サーバ端末のコンピュータに、
前記サーバ端末をペン描画モードに設定するステップと、
前記サーバ端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記ペンデータ情報を前記サーバ端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を前記クライアント端末に送信するステップと、
前記サーバ端末のデスクトップの作業画面のみのキャプチャを行うステップと、
キャプチャ画面を画像データとして前記クライアント端末へ送信するステップと、
を実行させることを特徴とする。
【００１６】
請求項７に記載のクライアント端末制御プログラムは、ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有するシステムにおける前記クライアント端末のコンピュータに、
前記クライアント端末をペン描画モードに設定するステップと、
前記クライアント端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記ペンデータ情報を前記クライアント端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を前記サーバ端末および他のクライアント端末に送信するステップと、
前記画像データを受信するステップと、
受信した前記画像データを共有画面として表示するステップと、
を実行させることを特徴とする。
【発明を実施するための最良の形態】
【００１７】
以下、本発明に係る画面共有システムの実施の形態について、図面を参照して詳細に説明する。図２は、本発明に係る実施の形態の一例を示す画面共有システムを示す概略構成図である。
【００１８】
図２に示すように、本実施の形態に係る画面共有システム１は、１つのサーバ端末１０がネットワーク２を介して、少なくとも１つのクライアント端末２０によって構成される。なお、図示しないが、複数のクライアント端末が接続されたシステムであってもよい。
【００１９】
サーバ端末１０は主に、入力手段（電子ペン又はマウス等）により描画入力が可能な入力部１１と、キャプチャ画面の画像データを送信する画像データ送信部１２と、ユーザにより描画された画面を共有するホワイトボード１４及び双方向通信が可能なホワイトボード通信部１４ａと、サーバ端末１０を制御する制御部１５と、画像を表示するディスプレイ１６と、画像データ等を記憶する記憶部１７とを備える。なお、さらに、画像データ受信部１３を備えてもよい。また、入力設定切換部１９を備えてもよい。
【００２０】
クライアント端末２０は主に、入力手段（電子ペン又はマウス等）により描画入力が可能な入力部２１と、キャプチャ画面の画像データを受信する画像データ受信部２２と、ユーザにより描画された画面を共有するホワイトボード２４及び双方向通信が可能なホワイトボード通信部２４ａと、クライアント端末２０を制御する制御部２５と、画像を表示するディスプレイ２６と、画像データ等を記憶する記憶部２７とを備える。なお、さらに、画像データ送信部２３を備えていてもよい。また、入力設定切換部２９を備えてもよい。
【００２１】
さらに、本実施の形態に係る画面共有システムの画面表示について図３を用いて詳細に説明する。図３は、本実施の形態に係る画面共有システムのディスプレイの画面表示に関する説明図である。
【００２２】
図３に示すように、サーバ端末１０のホワイトボード１４と、クライアント端末２０のホワイトボード２４とは両端末同士で共有される。即ち、ネットワーク２を介してホワイトボード通信部１４ａ，２４ａ間で常時双方向通信を行いデータが共有される。
【００２３】
ホワイトボード通信部１４ａ、２４ａ間の通信は、ペンデータ情報（ペン操作の位置、軌跡、線の太さ、線種、色などの情報）のみの通信であるので、一方のホワイトボード１４（又は２４）に対する電子ペン（又はマウス等）による描画結果は、即時ペンデータ情報として他方のホワイトボード２４（又は１４）に送信され、すみやかにその描画結果が反映される。
【００２４】
上記のホワイトボード１４，２４は、背景を透明化したホワイトボード（例えば、Mｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（登録商標）２０００以降であれば、レイヤードウィンドウにてホワイトボードの背景色を透明色に設定することにより実現できる）を配置する。このように、背景を透明化したホワイトボードとは、「背景が透明である」および「レイヤードウィンドウスタイルである」という特徴を有していれば、通常のＰＣ（パーソナルコンピュータ）等に搭載されるホワイトボード機能を用いることにより実現できる。
【００２５】
また、サーバ端末１０は、ホワイトボード１４をキャプチャせずに、デスクトップの作業画面１６ｂ（アプリケーションを起動して作業している画面）のみをキャプチャしてキャプチャ画面１８を取得する。そして、このキャプチャ画面１８の画像データは、クライアント端末２０に送信され、共有画面２８としてデスクトップの作業画面２６ｂの上層に重ねて表示される。共有画面２８は、ホワイトボード１４，２４とは、全く別の層となっているので、ペン描画の内容は共有画面２８には反映されない。
【００２６】
よって、図３に示すように、サーバ端末１０のディスプレイ１６には、デスクトップの作業画面１６ｂの上層に、背景が透明なホワイトボード１４を重ねた画面表示１６ａがなされる。また、クライアント端末２０のディスプレイ２６には、デスクトップの作業画面２６ｂの上層にキャプチャ画面１８を重ね、さらにその上層に背景が透明なホワイトボード２４を重ねた画面表示１６ａがなされる。
【００２７】
また、本実施の形態に係る画面共有方法の一例について図２〜図５を参照して説明する。図４及び図５は、本実施の形態に係る画面共有方法の一例を示すフローチャートである。
図４に示すように、まず、サーバ端末１０において、制御部１５の制御により、ペン描画モードに設定する（ステップＳ１）。
【００２８】
これにより、ユーザによる入力部１１からの入力が行えるようになり、制御部１５は、入力部１１（電子ペン、マウスなど）におけるペン描画の検知を行う（ステップＳ２）。
【００２９】
ペン描画を検知した場合（ステップＳ２：ＹＥＳ）、制御部１５は、この描画されたペンデータ情報（ペン操作の位置、軌跡、線の太さ、線種、色などの情報）を取得する（ステップＳ３）。なお、既に描画された画像を消す消しゴムツールとして入力部１１（電子ペン、マウスなど）を用いた場合は、消去情報としてのペンデータ情報を取得する。
【００３０】
そして、取得したペンデータ情報（描画あるいは消去）は、記憶部１７に記憶され、ホワイトボード１４に画像として表示する（ステップＳ４）。これにより、図３に示すように、サーバ端末１０のディスプレイ１６には、デスクトップの作業画面１６ｂと背景が透明なホワイトボード１４を重ね合わせた画面表示１６ａがなされる。
【００３１】
また、取得したペンデータ情報（描画あるいは消去）は、ホワイトボード１４の通信部１４ａからクライアント端末２０のホワイトボード通信部２４ａに送信される（ステップＳ５）。
【００３２】
受信したペンデータ情報は、記憶部２７に記憶され、制御部２５の制御によりペン描画の画像に変換され、ホワイトボード２４に、サーバ端末１０で描画されたペン描画を表示する（ステップＳ６）。
【００３３】
また、クライアント端末２０からのペン描画も上記ステップＳ１〜Ｓ６のフローと同様の手順によって、サーバ端末１０のホワイトボード１４に送信され表示される。このようにして、ホワイトボード１４とホワイトボード２４の間で描画データを共有することができる。
【００３４】
また、図５に示すように、サーバ端末１０の制御部１５は、所定時間ごとに、サーバ端末１０のデスクトップの作業画面１６ｂのみのキャプチャを行う（ステップＳ１１）。キャプチャ画面１８は、画像データ送信部１２から画像データとして送信される（ステップＳ１２）。なお、画面キャプチャーデータは全て送らずに、前回のキャプチャー画像からの差分（変更領域）だけ送信するようにしてもよい。
クライアント端末２０は、この画像データを画像データ受信部２２で受信する（ステップＳ１３）。受信した画像データは、制御部２５の制御により、共有画面２８に表示される（ステップＳ１４）。
【００３５】
なお、サーバ端末１０のデスクトップの作業画面１６ｂが動画である場合は、上記の所定時間を短く設定することにより、クライアント端末２０の共有画面２８に表示される動画の動きをスムーズにすることができる。
【００３６】
以上、図４のフロー（ステップＳ１〜Ｓ６）と図５のフロー（ステップＳ１１〜Ｓ１４）は、それぞれ独立して実行され、クライアント端末２０のディスプレイ２６には、デスクトップの作業画面２６ｂの上層に共有画面２８を重ね、さらにその上層に背景が透明なホワイトボード２４を重ねた画面表示２６ａがなされる。
【００３７】
また、上述のホワイトボード１４，２４に、以下のように、ペン描画モードとマウスモードの設定を持たせて、これらの設定を切り換える入力設定切換部１９（２９）を備える（図２に点線で示す）ようにすることもできる。
【００３８】
以下、本実施の形態に係る画面共有システムにおいて、ホワイトボードにペン描画モードとマウスモードの設定を持たせた変形例について説明する。
図６はペン描画モードとマウスモードの動作の説明図であり、図７は本実施の形態に係る画面共有システムにおいて、サーバ端末側のホワイトボードをマウスモードとし、クライアント端末側のホワイトボードをペン描画モードとしたときの説明図である。
【００３９】
図６（ａ）に示すように、入力設定切換部１９（２９）によりペン描画モードに設定すると、マウス操作（マウスイベント）を通過させない通常のウィンドウスタイルとなり、ホワイトボード１４（２４）に対してのみマウス操作が可能となり、下層のデスクトップの作業画面１６ｂ（２６ｂ）に対するマウス操作はできなくなる。
なお、Ｗｉｎｄｏｗｓ（登録商標）では、表示するウィンドウについて、視覚スタイルに関する種々のウィンドウスタイルが設定される。図６（ａ）では、本機能のために特に適用するウィンドウスタイルのみを示している。例えば、Mｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（登録商標）２０００以降であれば、ホワイトボードの背景色（ホワイトボード自体の色）をペン描画には使用しない色に設定しておき、当該背景色を指定してWS_EX_LAYEREDを適用することにより、ペン描画以外の部分つまり背景が透明になる。
【００４０】
また、図６（ｂ）に示すように、入力設定切換部１９（２９）によりマウスモードに設定すると、マウス操作を通過させるウィンドウ設定となり、ホワイトボード１４（２４）を通過して、下層のデスクトップの作業画面１６ｂ（２６ｂ）に対してのみマウス操作ができるようになる。
なお、Ｗｉｎｄｏｗｓ（登録商標）では、表示するウィンドウについて、視覚スタイルに関する種々のウィンドウスタイルが設定される。図６（ｂ）では、本機能のために特に適用するウィンドウスタイルのみを示している。例えば、Mｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（登録商標）２０００以降であれば、ウィンドウスタイルWS_EX_LAYEREDとWS_EX_TRANSPARENTを組み合わせることにより背景を透明にしかつマウスイベントを通過させる。
【００４１】
これにより、図７に示すように、サーバ端末１０側をマウスモードに設定し、クライアント端末２０側をペン描画モードに設定することにより、画面提供側(サーバ端末１０側）にて、他拠点のクライアント端末２０に見せるウィンドウを操作している最中に受信側（クライアント端末２０側）のユーザが、サーバ端末１０側の操作を邪魔することなくペン書きにて間違えや要望を指示することができる。即ち、会議の流れ中断せずに議論を続けることが可能である。
【００４２】
また、クライアント端末２０側から指示された内容を確認しながら、サーバ端末１０側のユーザは指示通りの操作が可能となる。例えば、「これをこの辺にこの位に拡大し配置し、他のレイアウトはこのようにする。」などの指示が電子ペンで行われたとすると、その電子ペンの指示内容を残したまま、その下層で、その指示を見ながらウィンドウ操作などが可能となる。
【００４３】
なお、上述の実施の形態において、図２の点線で示すように、サーバ端末１０に画像データ受信部１３を備え、クライアント端末２０に画像データ送信部２３を備えることにより、端末をサーバとするかクライアントとするかを切り替えて設定することができる。例えば、端末にサーバ端末制御プログラムとクライアント端末制御プログラムを持たせて、プログラムを切り替えて使用することにより、この端末をサーバ端末１０あるいはクライアント端末２０として機能させることができる。
【００４４】
また、サーバ端末１０側から一方的にプレゼンテーションを行う場合でも、サーバ端末１０側の作業画面１６ｂでアプリケーション（アニメーションや動画）を動かしながら、そのアプリケーション画面の所望の位置を指し示すように上層のホワイトボード１４にマーキングやペン描きをしたり、マークやペン描きが残っている状態で下層の作業画面１６ｂのアプリケーションを動かしたり、などの効果的なプレゼンテーションを行うこともできる。
また、図３において、クライアント端末２０の共有画面２８においてクライアント端末２０のマウス情報を取得し、サーバ１０側のマウス操作をするというような、リモートコントロール（遠隔操作）のシステムにも適用が可能である。
【００４５】
以上詳述したように、本実施の形態に係る画面共有システムは、ディスプレイ１６を有する１つのサーバ端末１０と、ディスプレイ２６を有する少なくとも１つのクライアント端末２０と、がネットワーク２を介して接続され、各ディスプレイ１６（２６）の画面を共有する画面共有システム１であり、サーバ端末１０は、入力手段により描画入力が可能な入力部１１と、デスクトップの作業画面１６ｂのみを繰り返しキャプチャし、該キャプチャ画面１８の画像データを他の端末へ送信する画像データ送信部１２と、入力部１１からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボード１４と、デスクトップの作業画面１６ｂの上層にホワイトボード１４を重ねて表示するディスプレイ１６と、当該サーバ端末１０を制御する制御部１７と、を備え、クライアント端末２０は、入力手段により描画入力が可能な入力部２１と、サーバ端末１０から送信されたキャプチャ画面１８の画像データを受信する画像データ受信部２２と、入力部２１からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボード２４と、画像データ受信部２２が受信した画像データを共有画面２８として表示し、さらにその上層にホワイトボード２４を重ねて表示するディスプレイ２６と、当該クライアント端末２０を制御する制御部２６と、を備える。
【００４６】
また、本実施の形態に係る画面共有方法は、ディスプレイ１６を有する１つのサーバ端末１０と、ディスプレイ２６を有する少なくとも１つのクライアント端末２０と、がネットワーク２を介して接続され、各ディスプレイ１６（２６）の画面を共有する画面共有方法であり、サーバ端末１０及びクライアント端末２０のうちの所定の端末をペン描画モードに設定するステップＳ１と、所定の端末のペン描画の検知を行うステップＳ２と、ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップＳ３と、所定の端末が備える背景を透明化したホワイトボード１４（２４）に描画するステップＳ４と、ペンデータ情報を他の端末に送信するステップＳ５と、他の端末は、受信したペンデータ情報をペン描画として、他の端末が備える背景を透明化したホワイトボード２４（１４）に表示するステップＳ６と、を含むことによって、全ての端末のホワイトボードの画像を共有化し、サーバ端末１０のデスクトップの作業画面１６ｂのみを繰り返しキャプチャするステップＳ１１と、キャプチャ画面１８を画像データとしてクライアント端末２０へ送信するステップＳ１２と、クライアント端末２０が画像データを受信するステップとＳ１３、クライアント端末２０は受信した画像データを共有画面２８に表示するステップＳ１４と、を含むことによって、サーバ端末のディスプレイ１６に、デスクトップの作業画面１６ｂの上層にホワイトボード１４を重ねて表示し、クライアント端末２０のディスプレイ２６に、デスクトップの作業画面２６ｂの上層に、画像データ受信部２２が受信した画像データを共有画面２８として表示し、さらにその上層にホワイトボード２４を重ねて表示する。
【００４７】
また、本実施の形態に係るサーバ端末制御プログラムは、ディスプレイ１６を有する１つのサーバ端末１０と、ディスプレイ２６を有する少なくとも１つのクライアント端末２０と、がネットワーク２を介して接続され、各ディスプレイの画面を共有するシステムにおけるサーバ端末１０のコンピュータに、サーバ端末１０をペン描画モードに設定するステップＳ１と、サーバ端末１０のペン描画の検知を行うステップＳ２と、ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップＳ３と、ペンデータ情報をサーバ端末１０が備える背景を透明化したホワイトボード１４に描画するステップＳ４と、ペンデータ情報をクライアント端末２０に送信するステップＳ５と、サーバ端末１０のデスクトップの作業画面１６ｂのみのキャプチャを行うステップＳ１１と、キャプチャ画面１８を画像データとしてクライアント端末２０へ送信するステップＳ１２と、を実行させる。
また、本実施の形態に係るクライアント端末制御プログラムは、ディスプレイ１６を有する１つのサーバ端末１０と、ディスプレイ２６を有する少なくとも１つのクライアント端末２０と、がネットワーク２を介して接続され、各ディスプレイの画面を共有するシステムにおけるクライアント端末２０のコンピュータに、クライアント端末２０をペン描画モードに設定するステップＳ１と、クライアント端末２０のペン描画の検知を行うステップＳ２と、ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップＳ３と、ペンデータ情報をクライアント端末２０が備える背景を透明化したホワイトボード２４に描画するステップＳ４と、ペンデータ情報をサーバ端末１０および他のクライアント端末２０に送信するステップＳ５と、画像データを受信するステップＳ１３と、受信した画像データを共有画面２８として表示するステップＳ１４と、を実行させる。
【００４８】
以上、本実施の形態によれば、動画やアニメーションなどの動きがあるものに対しても、ペン描画が可能となる。また、サーバ端末１０側で操作中の場合も、その操作を中断させることなくクライアント端末２０側からペン入力による指示ができる。
また、画面共有システム１を使用して会議を行った場合は、会議の流れを中断せず議論が可能である。さらに、会議本来の目的である議論以外の点で、意識の中断が発生してしまうことを避けることができる。
また、動画やアニメーションなどのコンテンツを利用した時間軸方向もあわせ議論が可能である。つまり、静止画にペン記録をするのではなく、動きのあるものにペン書きができることになることにより、一時的な画面でなく時間軸を捕らえた議論が可能となる。
よって、リアルタイムな指示が可能である。画面共有によりペン情報を閲覧しているのではなくホワイトボード機能をベースとしているため、各拠点の端末に対してレスポンスのよいペン描画が可能である。例えば、「ここ」と発言しながら描画すれば、その音声とペン描画がほとんどズレのないタイミングで他の拠点の端末に届くため、誤認識や受け手のストレスも軽減できる。
また、サーバ端末側にて、デスクトップを操作している最中に、クライアント端末側にて間違え場所や指摘箇所に、マーキングしたり指示することができる。即ち、ペン描画が、サーバー側の入力操作を妨げることがない。
【図面の簡単な説明】
【００４９】
【図１】従来技術の会議支援システムを示す図である。
【図２】本発明に係る実施の形態の一例を示す画面共有システムを示す概略構成図である。
【図３】本実施の形態に係る画面共有システムのディスプレイの画面表示に関する説明図である。
【図４】本実施の形態に係る画面共有方法の一例を示すフローチャートである。
【図５】本実施の形態に係る画面共有方法の一例を示すフローチャートである。
【図６】ペン描画モードとマウスモードの動作の説明図である。
【図７】本実施の形態に係る画面共有システムにおいて、サーバ端末側のホワイトボードをマウスモードとし、クライアント端末側のホワイトボードをペン描画モードとしたときの説明図である。
【符号の説明】
【００５０】
１ 画面共有システム
２ ネットワーク
１０ サーバ端末
２０ クライアント端末
１１，２１ 入力部
１２，２２ 画像データ送信部
１３，２３ 画像データ受信部
１４，２４ ホワイトボード
１４，２４ａ ホワイトボード通信部
１５，２５ 制御部
１６ （サーバ端末の）ディスプレイ
２６ （クライアント端末の）ディスプレイ
１６ａ，２６ａ （ディスプレイの）画面表示
１６ｂ，２６ｂ （デスクトップの）作業画面
１７，２７ 記憶部
１８ キャプチャ画面
２８ 共有画面
【技術分野】
【０００１】
本発明は、ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有システム、画面共有方法、サーバ端末制御プログラム、クライアント端末制御プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
遠隔地にある拠点の端末同士をネットワークで接続して電子会議等を行うのに適したシステムとして、他拠点の端末の画面を手元に表示して操作したり、逆に自拠点の端末の画面を他拠点の端末の画面に表示するという、画面共有システムがある。
【０００３】
従来技術における画面共有システムとしては、例えば、特許文献１に開示された会議支援システムがある。図１は、従来技術の会議支援システムを示す図である。図１において、会議支援システムは、１つのサーバと、２つのクライアントＡ、Ｂとを有する。
【０００４】
サーバＰＣ１００は、デスクトップ画面５０が最下面にあり、このデスクトップ画面５０でアプリケーションを実行し、文書を開くことができる。デスクトップ画面５０の上には、各クライアントのウインドウ５１〜５２と、サーバのウインドウ５３とが背景を透明にして重ね合わせて重畳表示されるウインドウ５４がある。
【０００５】
クライアントＰＣ２００は、サーバＰＣ１００のウインドウ５４との共有画面６０が最下面にあり、その共有画面の上層には、各クライアントが書込を行うローカルのウインドウ６１と、ローカルのウインドウ６１と共有画面６０とが重ね合わせ重畳表示されるウインドウ６２がある。
【０００６】
ここで、背景を透明にして重ね合わせるには、例えばMｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（登録商標）２０００以上のＯＳであれば、ＬａｙｅｒｅｄＷｉｎｄｏｗと呼ばれるウィンドウスタイルを使用することにより実現することができる。
【０００７】
サーバＰＣ１００の画面では、デスクトップ画面５０上で起動しているアプリケーションの画面の上に、ホワイトボードの書き込みが重ね合わされ重畳表示されたウインドウ５４が、画面共有機能によって各クライアントＰＣ２００と共有される。
【０００８】
【特許文献１】特開２００６−３１３５９号公報（第１７頁−１８頁、図２０）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、図１に示すような、従来の画面共有システムでは、ホワイトボードに書き込まれた描画像を消しゴムツール等で消した場合、消したユーザのクライアントＰＣではこのローカル描画はすぐに消えるが、下層の共有画面にはリアルタイムに反映されず、各クライアントのユーザはまだ描画されているものと認識してしまう。
【００１０】
ローカル描画の消した情報が、サーバ側のホワイトボードに反映され、それを共有画面として配信され、それが下層の描画に反映されたときにはじめて消えたとユーザーは認識する。図１において、クライアントＡで描画したペンの内容が、クライアントＢに達するまでの時間は、
Δta-s：クライアントＡからサーバへのペン描画データ転送時間
Δtswb：サーバのホワイトボードに反映される時間
Δtscap：サーバにて、共有画面が作成される時間
Δtspre：サーバにて共有画面をネットワーク送信する準備処理
Δts-b：サーバからクライアントBへ共有画像が送られる転送時間
Δtcdrw：クライアントBにて共有画像を展開し描画する時間
とすると、
ΔT＝Δta-s+Δtswb+Δtscap+Δtspre＋Δts-b+Δtcdrw・・・・式（１）
となり、ネットワークを２度通ったり、データ量の多い画像データとして転送されるためネットワークの帯域に大きく左右される。
【００１１】
従って、下層の描画に反映するまでのレスポンスは、ネットワークの帯域幅が広帯域の場合には、高速に処理可能であるので、違和感を感じない程度で済む可能性はあるが、狭帯域の場合では、消しゴムツールのレスポンスが悪いと認識されてしまう虞がある。
【００１２】
本発明が解決しようとする課題としては、リアルタイムで同じ画面を共有しあうことができ、電子会議をシームレスに違和感なく利用できる画面共有システム、画面共有方法、サーバ端末制御プログラム、クライアント端末制御プログラムおよび記録媒体を提供することが一例として挙げられる。
【課題を解決するための手段】
【００１３】
請求項１に記載の画面共有システムは、ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有システムであって、
前記サーバ端末は、
入力手段により描画入力が可能な入力部と、
デスクトップの作業画面のみを繰り返しキャプチャし、該キャプチャ画面の画像データを他の端末へ送信する画像データ送信部と、
前記入力部からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボードと、
前記デスクトップの作業画面の上層に前記ホワイトボードを重ねて表示するディスプレイと、
当該サーバ端末を制御する制御部と、を備え、
前記クライアント端末は、
入力手段により描画入力が可能な入力部と、
前記サーバ端末から送信されたキャプチャ画面の画像データを受信する画像データ受信部と、
前記入力部からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボードと、
前記画像データ受信部が受信した画像データを共有画面として表示し、さらにその上層に前記ホワイトボードを重ねて表示するディスプレイと、
当該クライアント端末を制御する制御部と、を備えることを特徴とする。
【００１４】
請求項５に記載の画面共有方法は、ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有方法であって、
前記サーバ端末及び前記クライアント端末のうちの所定の端末をペン描画モードに設定するステップと、
前記所定の端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記所定の端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を他の端末に送信するステップと、
前記他の端末は、受信した前記ペンデータ情報をペン描画として、前記他の端末が備える背景を透明化したホワイトボードに表示するステップと、
を含むことによって、全ての端末のホワイトボードの画像を共有化し、
前記サーバ端末のデスクトップの作業画面のみを繰り返しキャプチャするステップと、
該キャプチャ画面を画像データとして前記クライアント端末へ送信するステップと、
前記クライアント端末が前記画像データを受信するステップと、
前記クライアント端末は受信した前記画像データを共有画面に表示するステップと、
を含むことによって、前記サーバ端末のディスプレイに、前記デスクトップの作業画面の上層に前記ホワイトボードを重ねて表示し、前記クライアント端末のディスプレイに、前記デスクトップの作業画面の上層に、前記画像データ受信部が受信した画像データを共有画面として表示し、さらにその上層に前記ホワイトボードを重ねて表示することを特徴とする。
【００１５】
請求項６に記載のサーバ端末制御プログラムは、ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有するシステムにおける前記サーバ端末のコンピュータに、
前記サーバ端末をペン描画モードに設定するステップと、
前記サーバ端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記ペンデータ情報を前記サーバ端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を前記クライアント端末に送信するステップと、
前記サーバ端末のデスクトップの作業画面のみのキャプチャを行うステップと、
キャプチャ画面を画像データとして前記クライアント端末へ送信するステップと、
を実行させることを特徴とする。
【００１６】
請求項７に記載のクライアント端末制御プログラムは、ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有するシステムにおける前記クライアント端末のコンピュータに、
前記クライアント端末をペン描画モードに設定するステップと、
前記クライアント端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記ペンデータ情報を前記クライアント端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を前記サーバ端末および他のクライアント端末に送信するステップと、
前記画像データを受信するステップと、
受信した前記画像データを共有画面として表示するステップと、
を実行させることを特徴とする。
【発明を実施するための最良の形態】
【００１７】
以下、本発明に係る画面共有システムの実施の形態について、図面を参照して詳細に説明する。図２は、本発明に係る実施の形態の一例を示す画面共有システムを示す概略構成図である。
【００１８】
図２に示すように、本実施の形態に係る画面共有システム１は、１つのサーバ端末１０がネットワーク２を介して、少なくとも１つのクライアント端末２０によって構成される。なお、図示しないが、複数のクライアント端末が接続されたシステムであってもよい。
【００１９】
サーバ端末１０は主に、入力手段（電子ペン又はマウス等）により描画入力が可能な入力部１１と、キャプチャ画面の画像データを送信する画像データ送信部１２と、ユーザにより描画された画面を共有するホワイトボード１４及び双方向通信が可能なホワイトボード通信部１４ａと、サーバ端末１０を制御する制御部１５と、画像を表示するディスプレイ１６と、画像データ等を記憶する記憶部１７とを備える。なお、さらに、画像データ受信部１３を備えてもよい。また、入力設定切換部１９を備えてもよい。
【００２０】
クライアント端末２０は主に、入力手段（電子ペン又はマウス等）により描画入力が可能な入力部２１と、キャプチャ画面の画像データを受信する画像データ受信部２２と、ユーザにより描画された画面を共有するホワイトボード２４及び双方向通信が可能なホワイトボード通信部２４ａと、クライアント端末２０を制御する制御部２５と、画像を表示するディスプレイ２６と、画像データ等を記憶する記憶部２７とを備える。なお、さらに、画像データ送信部２３を備えていてもよい。また、入力設定切換部２９を備えてもよい。
【００２１】
さらに、本実施の形態に係る画面共有システムの画面表示について図３を用いて詳細に説明する。図３は、本実施の形態に係る画面共有システムのディスプレイの画面表示に関する説明図である。
【００２２】
図３に示すように、サーバ端末１０のホワイトボード１４と、クライアント端末２０のホワイトボード２４とは両端末同士で共有される。即ち、ネットワーク２を介してホワイトボード通信部１４ａ，２４ａ間で常時双方向通信を行いデータが共有される。
【００２３】
ホワイトボード通信部１４ａ、２４ａ間の通信は、ペンデータ情報（ペン操作の位置、軌跡、線の太さ、線種、色などの情報）のみの通信であるので、一方のホワイトボード１４（又は２４）に対する電子ペン（又はマウス等）による描画結果は、即時ペンデータ情報として他方のホワイトボード２４（又は１４）に送信され、すみやかにその描画結果が反映される。
【００２４】
上記のホワイトボード１４，２４は、背景を透明化したホワイトボード（例えば、Mｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（登録商標）２０００以降であれば、レイヤードウィンドウにてホワイトボードの背景色を透明色に設定することにより実現できる）を配置する。このように、背景を透明化したホワイトボードとは、「背景が透明である」および「レイヤードウィンドウスタイルである」という特徴を有していれば、通常のＰＣ（パーソナルコンピュータ）等に搭載されるホワイトボード機能を用いることにより実現できる。
【００２５】
また、サーバ端末１０は、ホワイトボード１４をキャプチャせずに、デスクトップの作業画面１６ｂ（アプリケーションを起動して作業している画面）のみをキャプチャしてキャプチャ画面１８を取得する。そして、このキャプチャ画面１８の画像データは、クライアント端末２０に送信され、共有画面２８としてデスクトップの作業画面２６ｂの上層に重ねて表示される。共有画面２８は、ホワイトボード１４，２４とは、全く別の層となっているので、ペン描画の内容は共有画面２８には反映されない。
【００２６】
よって、図３に示すように、サーバ端末１０のディスプレイ１６には、デスクトップの作業画面１６ｂの上層に、背景が透明なホワイトボード１４を重ねた画面表示１６ａがなされる。また、クライアント端末２０のディスプレイ２６には、デスクトップの作業画面２６ｂの上層にキャプチャ画面１８を重ね、さらにその上層に背景が透明なホワイトボード２４を重ねた画面表示１６ａがなされる。
【００２７】
また、本実施の形態に係る画面共有方法の一例について図２〜図５を参照して説明する。図４及び図５は、本実施の形態に係る画面共有方法の一例を示すフローチャートである。
図４に示すように、まず、サーバ端末１０において、制御部１５の制御により、ペン描画モードに設定する（ステップＳ１）。
【００２８】
これにより、ユーザによる入力部１１からの入力が行えるようになり、制御部１５は、入力部１１（電子ペン、マウスなど）におけるペン描画の検知を行う（ステップＳ２）。
【００２９】
ペン描画を検知した場合（ステップＳ２：ＹＥＳ）、制御部１５は、この描画されたペンデータ情報（ペン操作の位置、軌跡、線の太さ、線種、色などの情報）を取得する（ステップＳ３）。なお、既に描画された画像を消す消しゴムツールとして入力部１１（電子ペン、マウスなど）を用いた場合は、消去情報としてのペンデータ情報を取得する。
【００３０】
そして、取得したペンデータ情報（描画あるいは消去）は、記憶部１７に記憶され、ホワイトボード１４に画像として表示する（ステップＳ４）。これにより、図３に示すように、サーバ端末１０のディスプレイ１６には、デスクトップの作業画面１６ｂと背景が透明なホワイトボード１４を重ね合わせた画面表示１６ａがなされる。
【００３１】
また、取得したペンデータ情報（描画あるいは消去）は、ホワイトボード１４の通信部１４ａからクライアント端末２０のホワイトボード通信部２４ａに送信される（ステップＳ５）。
【００３２】
受信したペンデータ情報は、記憶部２７に記憶され、制御部２５の制御によりペン描画の画像に変換され、ホワイトボード２４に、サーバ端末１０で描画されたペン描画を表示する（ステップＳ６）。
【００３３】
また、クライアント端末２０からのペン描画も上記ステップＳ１〜Ｓ６のフローと同様の手順によって、サーバ端末１０のホワイトボード１４に送信され表示される。このようにして、ホワイトボード１４とホワイトボード２４の間で描画データを共有することができる。
【００３４】
また、図５に示すように、サーバ端末１０の制御部１５は、所定時間ごとに、サーバ端末１０のデスクトップの作業画面１６ｂのみのキャプチャを行う（ステップＳ１１）。キャプチャ画面１８は、画像データ送信部１２から画像データとして送信される（ステップＳ１２）。なお、画面キャプチャーデータは全て送らずに、前回のキャプチャー画像からの差分（変更領域）だけ送信するようにしてもよい。
クライアント端末２０は、この画像データを画像データ受信部２２で受信する（ステップＳ１３）。受信した画像データは、制御部２５の制御により、共有画面２８に表示される（ステップＳ１４）。
【００３５】
なお、サーバ端末１０のデスクトップの作業画面１６ｂが動画である場合は、上記の所定時間を短く設定することにより、クライアント端末２０の共有画面２８に表示される動画の動きをスムーズにすることができる。
【００３６】
以上、図４のフロー（ステップＳ１〜Ｓ６）と図５のフロー（ステップＳ１１〜Ｓ１４）は、それぞれ独立して実行され、クライアント端末２０のディスプレイ２６には、デスクトップの作業画面２６ｂの上層に共有画面２８を重ね、さらにその上層に背景が透明なホワイトボード２４を重ねた画面表示２６ａがなされる。
【００３７】
また、上述のホワイトボード１４，２４に、以下のように、ペン描画モードとマウスモードの設定を持たせて、これらの設定を切り換える入力設定切換部１９（２９）を備える（図２に点線で示す）ようにすることもできる。
【００３８】
以下、本実施の形態に係る画面共有システムにおいて、ホワイトボードにペン描画モードとマウスモードの設定を持たせた変形例について説明する。
図６はペン描画モードとマウスモードの動作の説明図であり、図７は本実施の形態に係る画面共有システムにおいて、サーバ端末側のホワイトボードをマウスモードとし、クライアント端末側のホワイトボードをペン描画モードとしたときの説明図である。
【００３９】
図６（ａ）に示すように、入力設定切換部１９（２９）によりペン描画モードに設定すると、マウス操作（マウスイベント）を通過させない通常のウィンドウスタイルとなり、ホワイトボード１４（２４）に対してのみマウス操作が可能となり、下層のデスクトップの作業画面１６ｂ（２６ｂ）に対するマウス操作はできなくなる。
なお、Ｗｉｎｄｏｗｓ（登録商標）では、表示するウィンドウについて、視覚スタイルに関する種々のウィンドウスタイルが設定される。図６（ａ）では、本機能のために特に適用するウィンドウスタイルのみを示している。例えば、Mｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（登録商標）２０００以降であれば、ホワイトボードの背景色（ホワイトボード自体の色）をペン描画には使用しない色に設定しておき、当該背景色を指定してWS_EX_LAYEREDを適用することにより、ペン描画以外の部分つまり背景が透明になる。
【００４０】
また、図６（ｂ）に示すように、入力設定切換部１９（２９）によりマウスモードに設定すると、マウス操作を通過させるウィンドウ設定となり、ホワイトボード１４（２４）を通過して、下層のデスクトップの作業画面１６ｂ（２６ｂ）に対してのみマウス操作ができるようになる。
なお、Ｗｉｎｄｏｗｓ（登録商標）では、表示するウィンドウについて、視覚スタイルに関する種々のウィンドウスタイルが設定される。図６（ｂ）では、本機能のために特に適用するウィンドウスタイルのみを示している。例えば、Mｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（登録商標）２０００以降であれば、ウィンドウスタイルWS_EX_LAYEREDとWS_EX_TRANSPARENTを組み合わせることにより背景を透明にしかつマウスイベントを通過させる。
【００４１】
これにより、図７に示すように、サーバ端末１０側をマウスモードに設定し、クライアント端末２０側をペン描画モードに設定することにより、画面提供側(サーバ端末１０側）にて、他拠点のクライアント端末２０に見せるウィンドウを操作している最中に受信側（クライアント端末２０側）のユーザが、サーバ端末１０側の操作を邪魔することなくペン書きにて間違えや要望を指示することができる。即ち、会議の流れ中断せずに議論を続けることが可能である。
【００４２】
また、クライアント端末２０側から指示された内容を確認しながら、サーバ端末１０側のユーザは指示通りの操作が可能となる。例えば、「これをこの辺にこの位に拡大し配置し、他のレイアウトはこのようにする。」などの指示が電子ペンで行われたとすると、その電子ペンの指示内容を残したまま、その下層で、その指示を見ながらウィンドウ操作などが可能となる。
【００４３】
なお、上述の実施の形態において、図２の点線で示すように、サーバ端末１０に画像データ受信部１３を備え、クライアント端末２０に画像データ送信部２３を備えることにより、端末をサーバとするかクライアントとするかを切り替えて設定することができる。例えば、端末にサーバ端末制御プログラムとクライアント端末制御プログラムを持たせて、プログラムを切り替えて使用することにより、この端末をサーバ端末１０あるいはクライアント端末２０として機能させることができる。
【００４４】
また、サーバ端末１０側から一方的にプレゼンテーションを行う場合でも、サーバ端末１０側の作業画面１６ｂでアプリケーション（アニメーションや動画）を動かしながら、そのアプリケーション画面の所望の位置を指し示すように上層のホワイトボード１４にマーキングやペン描きをしたり、マークやペン描きが残っている状態で下層の作業画面１６ｂのアプリケーションを動かしたり、などの効果的なプレゼンテーションを行うこともできる。
また、図３において、クライアント端末２０の共有画面２８においてクライアント端末２０のマウス情報を取得し、サーバ１０側のマウス操作をするというような、リモートコントロール（遠隔操作）のシステムにも適用が可能である。
【００４５】
以上詳述したように、本実施の形態に係る画面共有システムは、ディスプレイ１６を有する１つのサーバ端末１０と、ディスプレイ２６を有する少なくとも１つのクライアント端末２０と、がネットワーク２を介して接続され、各ディスプレイ１６（２６）の画面を共有する画面共有システム１であり、サーバ端末１０は、入力手段により描画入力が可能な入力部１１と、デスクトップの作業画面１６ｂのみを繰り返しキャプチャし、該キャプチャ画面１８の画像データを他の端末へ送信する画像データ送信部１２と、入力部１１からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボード１４と、デスクトップの作業画面１６ｂの上層にホワイトボード１４を重ねて表示するディスプレイ１６と、当該サーバ端末１０を制御する制御部１７と、を備え、クライアント端末２０は、入力手段により描画入力が可能な入力部２１と、サーバ端末１０から送信されたキャプチャ画面１８の画像データを受信する画像データ受信部２２と、入力部２１からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボード２４と、画像データ受信部２２が受信した画像データを共有画面２８として表示し、さらにその上層にホワイトボード２４を重ねて表示するディスプレイ２６と、当該クライアント端末２０を制御する制御部２６と、を備える。
【００４６】
また、本実施の形態に係る画面共有方法は、ディスプレイ１６を有する１つのサーバ端末１０と、ディスプレイ２６を有する少なくとも１つのクライアント端末２０と、がネットワーク２を介して接続され、各ディスプレイ１６（２６）の画面を共有する画面共有方法であり、サーバ端末１０及びクライアント端末２０のうちの所定の端末をペン描画モードに設定するステップＳ１と、所定の端末のペン描画の検知を行うステップＳ２と、ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップＳ３と、所定の端末が備える背景を透明化したホワイトボード１４（２４）に描画するステップＳ４と、ペンデータ情報を他の端末に送信するステップＳ５と、他の端末は、受信したペンデータ情報をペン描画として、他の端末が備える背景を透明化したホワイトボード２４（１４）に表示するステップＳ６と、を含むことによって、全ての端末のホワイトボードの画像を共有化し、サーバ端末１０のデスクトップの作業画面１６ｂのみを繰り返しキャプチャするステップＳ１１と、キャプチャ画面１８を画像データとしてクライアント端末２０へ送信するステップＳ１２と、クライアント端末２０が画像データを受信するステップとＳ１３、クライアント端末２０は受信した画像データを共有画面２８に表示するステップＳ１４と、を含むことによって、サーバ端末のディスプレイ１６に、デスクトップの作業画面１６ｂの上層にホワイトボード１４を重ねて表示し、クライアント端末２０のディスプレイ２６に、デスクトップの作業画面２６ｂの上層に、画像データ受信部２２が受信した画像データを共有画面２８として表示し、さらにその上層にホワイトボード２４を重ねて表示する。
【００４７】
また、本実施の形態に係るサーバ端末制御プログラムは、ディスプレイ１６を有する１つのサーバ端末１０と、ディスプレイ２６を有する少なくとも１つのクライアント端末２０と、がネットワーク２を介して接続され、各ディスプレイの画面を共有するシステムにおけるサーバ端末１０のコンピュータに、サーバ端末１０をペン描画モードに設定するステップＳ１と、サーバ端末１０のペン描画の検知を行うステップＳ２と、ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップＳ３と、ペンデータ情報をサーバ端末１０が備える背景を透明化したホワイトボード１４に描画するステップＳ４と、ペンデータ情報をクライアント端末２０に送信するステップＳ５と、サーバ端末１０のデスクトップの作業画面１６ｂのみのキャプチャを行うステップＳ１１と、キャプチャ画面１８を画像データとしてクライアント端末２０へ送信するステップＳ１２と、を実行させる。
また、本実施の形態に係るクライアント端末制御プログラムは、ディスプレイ１６を有する１つのサーバ端末１０と、ディスプレイ２６を有する少なくとも１つのクライアント端末２０と、がネットワーク２を介して接続され、各ディスプレイの画面を共有するシステムにおけるクライアント端末２０のコンピュータに、クライアント端末２０をペン描画モードに設定するステップＳ１と、クライアント端末２０のペン描画の検知を行うステップＳ２と、ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップＳ３と、ペンデータ情報をクライアント端末２０が備える背景を透明化したホワイトボード２４に描画するステップＳ４と、ペンデータ情報をサーバ端末１０および他のクライアント端末２０に送信するステップＳ５と、画像データを受信するステップＳ１３と、受信した画像データを共有画面２８として表示するステップＳ１４と、を実行させる。
【００４８】
以上、本実施の形態によれば、動画やアニメーションなどの動きがあるものに対しても、ペン描画が可能となる。また、サーバ端末１０側で操作中の場合も、その操作を中断させることなくクライアント端末２０側からペン入力による指示ができる。
また、画面共有システム１を使用して会議を行った場合は、会議の流れを中断せず議論が可能である。さらに、会議本来の目的である議論以外の点で、意識の中断が発生してしまうことを避けることができる。
また、動画やアニメーションなどのコンテンツを利用した時間軸方向もあわせ議論が可能である。つまり、静止画にペン記録をするのではなく、動きのあるものにペン書きができることになることにより、一時的な画面でなく時間軸を捕らえた議論が可能となる。
よって、リアルタイムな指示が可能である。画面共有によりペン情報を閲覧しているのではなくホワイトボード機能をベースとしているため、各拠点の端末に対してレスポンスのよいペン描画が可能である。例えば、「ここ」と発言しながら描画すれば、その音声とペン描画がほとんどズレのないタイミングで他の拠点の端末に届くため、誤認識や受け手のストレスも軽減できる。
また、サーバ端末側にて、デスクトップを操作している最中に、クライアント端末側にて間違え場所や指摘箇所に、マーキングしたり指示することができる。即ち、ペン描画が、サーバー側の入力操作を妨げることがない。
【図面の簡単な説明】
【００４９】
【図１】従来技術の会議支援システムを示す図である。
【図２】本発明に係る実施の形態の一例を示す画面共有システムを示す概略構成図である。
【図３】本実施の形態に係る画面共有システムのディスプレイの画面表示に関する説明図である。
【図４】本実施の形態に係る画面共有方法の一例を示すフローチャートである。
【図５】本実施の形態に係る画面共有方法の一例を示すフローチャートである。
【図６】ペン描画モードとマウスモードの動作の説明図である。
【図７】本実施の形態に係る画面共有システムにおいて、サーバ端末側のホワイトボードをマウスモードとし、クライアント端末側のホワイトボードをペン描画モードとしたときの説明図である。
【符号の説明】
【００５０】
１ 画面共有システム
２ ネットワーク
１０ サーバ端末
２０ クライアント端末
１１，２１ 入力部
１２，２２ 画像データ送信部
１３，２３ 画像データ受信部
１４，２４ ホワイトボード
１４，２４ａ ホワイトボード通信部
１５，２５ 制御部
１６ （サーバ端末の）ディスプレイ
２６ （クライアント端末の）ディスプレイ
１６ａ，２６ａ （ディスプレイの）画面表示
１６ｂ，２６ｂ （デスクトップの）作業画面
１７，２７ 記憶部
１８ キャプチャ画面
２８ 共有画面
【特許請求の範囲】
【請求項１】
ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有システムであって、
前記サーバ端末は、
入力手段により描画入力が可能な入力部と、
デスクトップの作業画面のみを繰り返しキャプチャし、該キャプチャ画面の画像データを他の端末へ送信する画像データ送信部と、
前記入力部からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボードと、
前記デスクトップの作業画面の上層に前記ホワイトボードを重ねて表示するディスプレイと、
当該サーバ端末を制御する制御部と、を備え、
前記クライアント端末は、
入力手段により描画入力が可能な入力部と、
前記サーバ端末から送信されたキャプチャ画面の画像データを受信する画像データ受信部と、
前記入力部からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボードと、
前記画像データ受信部が受信した画像データを共有画面として表示し、さらにその上層に前記ホワイトボードを重ねて表示するディスプレイと、
当該クライアント端末を制御する制御部と、を備えることを特徴とする画面共有システム。
【請求項２】
前記サーバ端末の制御部は、所定時間ごとに、前記サーバ端末のデスクトップの作業画面のみのキャプチャを行うことを特徴とする請求項１に記載の画面共有システム。
【請求項３】
前記入力手段は、電子ペン又はマウスであることを特徴とする請求項１又は２に記載の画面共有システム。
【請求項４】
前記ホワイトボードに対し、
マウス操作を通過させないウィンドウ設定とするペン描画モードと、マウス操作を通過させるウィンドウ設定とするマウスモードと、を切り換える入力設定切換部を備えることを特徴とする請求項３に記載の画面共有システム。
【請求項５】
ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有方法であって、
前記サーバ端末及び前記クライアント端末のうちの所定の端末をペン描画モードに設定するステップと、
前記所定の端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記所定の端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を他の端末に送信するステップと、
前記他の端末は、受信した前記ペンデータ情報をペン描画として、前記他の端末が備える背景を透明化したホワイトボードに表示するステップと、
を含むことによって、全ての端末のホワイトボードの画像を共有化し、
前記サーバ端末のデスクトップの作業画面のみを繰り返しキャプチャするステップと、
該キャプチャ画面を画像データとして前記クライアント端末へ送信するステップと、
前記クライアント端末が前記画像データを受信するステップと、
前記クライアント端末は受信した前記画像データを共有画面に表示するステップと、
を含むことによって、前記サーバ端末のディスプレイに、前記デスクトップの作業画面の上層に前記ホワイトボードを重ねて表示し、前記クライアント端末のディスプレイに、前記デスクトップの作業画面の上層に、前記画像データ受信部が受信した画像データを共有画面として表示し、さらにその上層に前記ホワイトボードを重ねて表示することを特徴とする画面共有方法。
【請求項６】
ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有するシステムにおける前記サーバ端末のコンピュータに、
前記サーバ端末をペン描画モードに設定するステップと、
前記サーバ端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記ペンデータ情報を前記サーバ端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を前記クライアント端末に送信するステップと、
前記サーバ端末のデスクトップの作業画面のみのキャプチャを行うステップと、
キャプチャ画面を画像データとして前記クライアント端末へ送信するステップと、
を実行させることを特徴とするサーバ端末制御プログラム。
【請求項７】
ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有するシステムにおける前記クライアント端末のコンピュータに、
前記クライアント端末をペン描画モードに設定するステップと、
前記クライアント端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記ペンデータ情報を前記クライアント端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を前記サーバ端末および他のクライアント端末に送信するステップと、
前記画像データを受信するステップと、
受信した前記画像データを共有画面として表示するステップと、
を実行させることを特徴とするクライアント端末制御プログラム。
【請求項８】
請求項６及び／又は請求項７のプログラムが記録されたことを特徴とする記録媒体。
【請求項１】
ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有システムであって、
前記サーバ端末は、
入力手段により描画入力が可能な入力部と、
デスクトップの作業画面のみを繰り返しキャプチャし、該キャプチャ画面の画像データを他の端末へ送信する画像データ送信部と、
前記入力部からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボードと、
前記デスクトップの作業画面の上層に前記ホワイトボードを重ねて表示するディスプレイと、
当該サーバ端末を制御する制御部と、を備え、
前記クライアント端末は、
入力手段により描画入力が可能な入力部と、
前記サーバ端末から送信されたキャプチャ画面の画像データを受信する画像データ受信部と、
前記入力部からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボードと、
前記画像データ受信部が受信した画像データを共有画面として表示し、さらにその上層に前記ホワイトボードを重ねて表示するディスプレイと、
当該クライアント端末を制御する制御部と、を備えることを特徴とする画面共有システム。
【請求項２】
前記サーバ端末の制御部は、所定時間ごとに、前記サーバ端末のデスクトップの作業画面のみのキャプチャを行うことを特徴とする請求項１に記載の画面共有システム。
【請求項３】
前記入力手段は、電子ペン又はマウスであることを特徴とする請求項１又は２に記載の画面共有システム。
【請求項４】
前記ホワイトボードに対し、
マウス操作を通過させないウィンドウ設定とするペン描画モードと、マウス操作を通過させるウィンドウ設定とするマウスモードと、を切り換える入力設定切換部を備えることを特徴とする請求項３に記載の画面共有システム。
【請求項５】
ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有方法であって、
前記サーバ端末及び前記クライアント端末のうちの所定の端末をペン描画モードに設定するステップと、
前記所定の端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記所定の端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を他の端末に送信するステップと、
前記他の端末は、受信した前記ペンデータ情報をペン描画として、前記他の端末が備える背景を透明化したホワイトボードに表示するステップと、
を含むことによって、全ての端末のホワイトボードの画像を共有化し、
前記サーバ端末のデスクトップの作業画面のみを繰り返しキャプチャするステップと、
該キャプチャ画面を画像データとして前記クライアント端末へ送信するステップと、
前記クライアント端末が前記画像データを受信するステップと、
前記クライアント端末は受信した前記画像データを共有画面に表示するステップと、
を含むことによって、前記サーバ端末のディスプレイに、前記デスクトップの作業画面の上層に前記ホワイトボードを重ねて表示し、前記クライアント端末のディスプレイに、前記デスクトップの作業画面の上層に、前記画像データ受信部が受信した画像データを共有画面として表示し、さらにその上層に前記ホワイトボードを重ねて表示することを特徴とする画面共有方法。
【請求項６】
ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有するシステムにおける前記サーバ端末のコンピュータに、
前記サーバ端末をペン描画モードに設定するステップと、
前記サーバ端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記ペンデータ情報を前記サーバ端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を前記クライアント端末に送信するステップと、
前記サーバ端末のデスクトップの作業画面のみのキャプチャを行うステップと、
キャプチャ画面を画像データとして前記クライアント端末へ送信するステップと、
を実行させることを特徴とするサーバ端末制御プログラム。
【請求項７】
ディスプレイを有する１つのサーバ端末と、ディスプレイを有する少なくとも１つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有するシステムにおける前記クライアント端末のコンピュータに、
前記クライアント端末をペン描画モードに設定するステップと、
前記クライアント端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記ペンデータ情報を前記クライアント端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を前記サーバ端末および他のクライアント端末に送信するステップと、
前記画像データを受信するステップと、
受信した前記画像データを共有画面として表示するステップと、
を実行させることを特徴とするクライアント端末制御プログラム。
【請求項８】
請求項６及び／又は請求項７のプログラムが記録されたことを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−２３０５７９（Ｐ２００９−２３０５７９Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７６７２３（Ｐ２００８−７６７２３）
【出願日】平成２０年３月２４日（２００８．３．２４）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【出願人】（５０５４４０７８９）パイオニアソリューションズ株式会社 (33)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月２４日（２００８．３．２４）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【出願人】（５０５４４０７８９）パイオニアソリューションズ株式会社 (33)
【Ｆターム（参考）】
[ Back to top ]