画面データ配信システム、サーバ、クライアント端末、画面データ配信方法、及びプログラム
【課題】ウィンドウの切り替え操作の結果の表示時間を短縮する。
【解決手段】サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、クライアント端末に表示させる画面データ配信システムであって、サーバは、サーバが表示させようとしている複数のウィンドウのうち、複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、ウィンドウの全体が表示される前に送出する。
【解決手段】サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、クライアント端末に表示させる画面データ配信システムであって、サーバは、サーバが表示させようとしている複数のウィンドウのうち、複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、ウィンドウの全体が表示される前に送出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面データ配信システム、サーバ、クライアント端末、画面データ配信方法、及びプログラムに関する。
【背景技術】
【０００２】
サーバの表示部の画面のデータをクライアント端末に転送してクライアント端末の表示部に表示するクライアントシステムにおいて、サーバの表示部に表示された全画面のデータではなく、現在表示された画面と１枚前に送った画面との差分のデータのみを送信する方式がある（例えば、特許文献１参照。）。
【０００３】
特許文献１に記載の発明は、「画面データ送信装置」に関するものであり、具体的には「第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量以上の差分があるか否かを検出する差分検出手段と、前記差分検出手段の検出結果が肯定的であるブロックのデータを送信する送信手段と、前記第１の画面フレームが前記差分検出手段による検出にかけられる前に、前記第１の画面フレームに含まれる或るブロックと、前記第２の画面フレームに含まれ、前記或るブロックと対応する位置にあるブロックとの間で前記所定量以上の差分が発生するように、前記第１の画面フレームに含まれる前記或るブロックの少なくとも１つの画素のレベルを変更する画素レベル変更手段と、を備える」ものである。
【０００４】
図９（ａ）〜（ｃ）は、画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための説明図であり、図１０（ａ）〜（ｃ）は、画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための説明図である。
【０００５】
例えば、第ｎフレームが図９（ａ）に示すようなものであり、第（ｎ＋１）フレームで図９（ｂ）に示すように新たなWindow(以下、ウィンドウと表記)７０１が現れた場合、図９（ｃ）に示すようなウィンドウ７０１を含むブロック群７０３の画面データが符号化されて送信される。
【０００６】
また、例えば、自動車７０５が第ｎフレームで図１０（ａ）に示すような位置にあり、第（ｎ＋１）フレームで図１０（ｂ）に示すような位置にある場合には、図１０（ｃ）に示すような、自動車７０５が走り去った後の背景を含むブロック群７０７と新たに自動車７０５を含むこととなったブロック群７０９の画面データが符号化されて送信される。
【０００７】
ここで、「ウィンドウ」とは、例えばパソコンの操作画面内にそれぞれ独立した小さな矩形状の画面（表示領域）を用意して、その画面の中に画像や文書を表示する機能もしくはその矩形状の表示領域をいう。Windows(登録商標)やMac(登録商標)のOS(Operation System)等のパソコン用OSでは一般的に利用される表示方式である。
ウィンドウのデザインや機能はOSやアプリケーションソフトによって異なるが、通常タイトルバーがあって、サイズ調整用のボタンやウィンドウを閉じるボタン等を有する。個々のウィンドウはユーザが自由に移動させたり、サイズを変更させたり、重ねて表示させたりすることができる。
【０００８】
特許文献１に記載の発明によれば、所定の差分以上の差分がない画面ブロックのデータも送信することが可能となるので、所定の差分以上の差分がある画面ブロックが多いために劣化した状態で送信された画面をシンクライアント側に高画質に送信しなおすことが可能になるとしている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−２２４８４７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、特許文献１に記載の発明では、サーバ装置が実行するアプリケーションのウィンドウを操作することで差分が多く発生する場合がいくつか考えられる。すなわち、
(1)前面に表示させるウィンドウを変更する操作、
(2)前面に表示されているウィンドウを閉じる、または最小化する操作、
(3)前面に表示されているウィンドウを移動することで、背面に位置するウィンドウが表示されるようにする操作、
が挙げられる。
図１０に示すように表示部の表示データ１００にウィンドウ１１０、１２０を表示し、全画面をキャプチャして差分データを送るシステムでは、ウィンドウを変更する操作、閉じる操作、最小化操作、移動操作を行うと、変化領域が大きくなって、データ量が大きくなり、操作した結果の表示が遅くなったり、劣化したりする。
【００１１】
そこで、本発明の目的は、ウィンドウの切り替え操作の結果の表示時間を短縮することができる画面データ配信システム、サーバ、クライアント端末、画面データ配信方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、請求項１記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムであって、前記サーバは、前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出することを特徴とする。
【００１３】
請求項２記載の発明は、請求項１記載の発明において、前記サーバは、前記複数のウィンドウを識別するための識別情報を前記クライアント端末に送ることを特徴とする。
【００１４】
請求項３記載の発明は、請求項２記載の発明において、前記サーバは、前記クライアント端末に前記ウィンドウの表示順位を通知する通知手段と、前記ウィンドウのデータを送信するための送信手段とを備え、前記クライアント端末は、前記ネットワークの待機中に前記ウィンドウのデータを受信する受信手段を備え、前記サーバから通知された前記ウィンドウの表示順位及び前記識別情報に基づいて複数のウィンドウを前記表示手段に重畳表示させることを特徴とする。
【００１５】
請求項４記載の発明は、請求項１または２記載の発明において、前記サーバは、前記サーバが表示させようとしている画面をキャプチャする画面キャプチャ部と、前記画面キャプチャ部がキャプチャした表示データ及び前記ウィンドウの画像データを送信データにエンコードするエンコーダ部と、前記送信データを前記クライアント端末に送信する送信部とを備え、前記送信データには、デコードして表示するか画面データバッファに保存するかを示す識別フラグと、エンコードしたウィンドウを識別するための識別子と、エンコードしたウィンドウのデータと、が含まれることを特徴とする。
【００１６】
請求項５記載の発明は、請求項３記載の発明において、前記サーバは、所定の値より差分領域が少ない場合、最前面に表示されていないウィンドウの画像データをキャプチャし、保存する画面データバッファと、前記キャプチャしたウィンドウの画像データは種別フラグとして保存する他のバッファと、を備え、前記キャプチャしたウィンドウを識別する値がさらに他の識別子に指定することを特徴とする。
【００１７】
請求項６記載の発明は、請求項１から５の何れか一項記載の発明において、前記サーバは、他のウィンドウの背面に位置し、非表示となっているウィンドウが露出するように表示を切り替えると、前記クライアント端末に前記画面データバッファ内の最前面のウィンドウのデータを表示するようにコマンドを送信するようにしたことを特徴とする。
【００１８】
請求項７記載の発明は、請求項６記載の発明において、前記クライアント端末は、前記コマンドを受信すると、前記画面データバッファ内を検索し、前記識別子をキーとして前記非表示になっているウィンドウのデータを取得し、表示手段に表示するようにしたことを特徴とする。
【００１９】
請求項８記載の発明は、請求項７記載の発明において、前記サーバは、前記画面バッファから取得した前記ウィンドウのデータを前記非表示になっているウィンドウの領域に適用し、差分領域の検出を行い、前記差分領域についてエンコードし、データを前記クライアント端末に送信するようにしたことを特徴とする。
【００２０】
請求項９記載の発明は、請求項１から８のいずれか一項記載の発明において、前記クライアント端末の表示手段が前記サーバから送られるウィンドウの一部を切り出して部分表示する場合において、現在部分表示しているウィンドウに接する領域のデータを予め送信しておくことを特徴とする。
【００２１】
請求項１０記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムに用いられるサーバであって、前記サーバは、前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出するための送信手段を備えたことを特徴とする。
【００２２】
請求項１１記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信方法であって、前記サーバは、前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出することを特徴とする。
【００２３】
請求項１２記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのコンピュータに、前記サーバが、前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウを重畳して画面に表示させる手順、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出させる手順、を実行させることを特徴とする。
【００２４】
請求項１３記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのクライアント端末のコンピュータに、受信手段が、前記ネットワークの待機中に前記ウィンドウのデータを受信する手順、表示手段が、前記サーバから通知された前記ウィンドウの表示順位に基づいて複数のウィンドウを一部が露出するように重畳表示する手順、を実行させることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、ウィンドウの切り替え操作の結果の表示時間を短縮することができる画面データ配信システム、サーバ、クライアント端末、画面データ配信方法、及びプログラムの提供を実現することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明に係る画面データ配信システムの一実施の形態を示すブロック図である。
【図２】図１に示した画面データ配信システムに用いられる送信データ４００の構成図の一例である。
【図３】（ａ）〜（ｄ）は、図１に示した画面データ配信システムのクライアント端末の表示部に表示される画面の一例である。
【図４】図１に示した画面配信システムの動作を示すシーケンス図の一例である。
【図５】図１に示した画面配信システムの動作を示すシーケンス図の他の一例である。
【図６】（ａ）、（ｂ）は、図１に示した画面データ配信システムのクライアント端末の表示部に表示される画面の他の一例である。
【図７】図１に示した画面配信システムの動作を示すシーケンス図の他の一例である。
【図８】（ａ）〜（ｃ）は、本発明に係る画面データ配信システムの他の実施の形態を示す説明図である。
【図９】（ａ）〜（ｃ）は、画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための説明図である。
【図１０】（ａ）〜（ｃ）は、画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための説明図である。
【発明を実施するための形態】
【００２７】
本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
＜構 成＞
図１は、本発明に係る画面データ配信システムの一実施の形態を示すブロック図である。
図１に示すシステムは、サーバ２００、ネットワーク２６０、及びクライアント端末３００を有する。
サーバ２００は、制御部２１０、画面キャプチャ部２２０、エンコーダ部２３０、送信部２４０、及び画面データバッファ２５０を有する。
【００２８】
通知手段としての制御部２１０は、サーバ２００を統括制御する機能を有するものであり、例えば、マイクロプロセッサが挙げられる。制御部２１０は、画面キャプチャ部２２０にサーバ２００が表示する画面をキャプチャさせ、キャプチャされた表示データをエンコーダ部２３０でエンコードし、送信部２４０からエンコードされた送信データ４００をクライアント端末３００に送信する。
【００２９】
ここで、「デスクトップ」とは、Windows(登録商標)やMac(登録商標)等のOSを起動させたときに表示される基本となる操作画面である。このデスクトップによりファイルの操作やアプリケーションソフトの起動等を行うことができる。
【００３０】
図２は、図１に示した画面データ配信システムに用いられる送信データ４００の構成図の一例である。
図２に示すように送信データ４００にはすぐにデコードして表示するか、画面データバッファ３５０に保存するかを示す識別フラグ４１０（例えば、Ｄ、Ｐ）と、エンコードしたウィンドウとを識別するための識別子４２０（0x00000000,0x00000001,0x0000002等）と、エンコードされた画面データ４３０と、が含まれる。
【００３１】
サーバ２００の制御部２１０は、差分領域が少ない場合に、最前面に表示されていないウィンドウ１２０の表示データ（ウィンドウ１２０の画像データ）をキャプチャし、キャプチャした画像データを画面バッファ２５に保存すると共に、エンコードし、クライアント端末３００に送信する。このときウィンドウ１２０の送信データは、種別フラグとして画面データバッファ３５０に保存するように指定され、ウィンドウ１２０を識別する値が識別子４２０に指定される。
ここで、「キャプチャ」には表示部に表示される表示データを保存する「キャプチャ」と、画面の一部を構成するウィンドウの画像データを保存する「キャプチャ」との２種類ある。
【００３２】
画面キャプチャ部２２０は、画面全体の表示データを取り込むキャプチャ機能を有するものである。さらに、画面キャプチャ部２２０は、ウィンドウの画像データをキャプチャする機能も有する。それぞれの機能は独立してても良い。また、それぞれソフトウェアで実現されても良い。この場合、キャプチャ処理は制御部３１０が行う。
【００３３】
エンコーダ部２３０は、画面キャプチャ部２２０がキャプチャした表示データをエンコードする機能と、ウィンドウの画像データをキャプチャした画像データをエンコードする機能とを備える。なお、エンコーダ部２３０は、ソフトウェアで実現されていても良い。この場合、制御部２１０がエンコード処理を実行する。
【００３４】
送信手段としての送信部２４０は、エンコードされた表示データやウィンドウの画像データをネットワーク２６０に送信する機能を有する。
【００３５】
画面データバッファ２５０は、キャプチャしたウィンドウの画像データを保管する機能を有し、例えば、HDD(Hard Disk Drive)が挙げられる。
【００３６】
クライアント端末３００は、制御部３１０、受信部３２０、デコーダ部３３０、表示部３４０、及び画面データバッファ３５０を有する。
【００３７】
クライアント端末３００は、種別フラグ４１０にすぐに表示されるよう指定された場合、画面データ４３０をデコーダ部３３０でデコードし、表示部３４０で表示を行う。
種別フラグ４１０に画面データバッファ３５０に保存するように指定された場合は、デコーダ部３３０でデコードした画面データを画面データバッファ３５０に保存する。
【００３８】
制御部３１０は、クライアント端末３００を統括制御する機能を有するものであり、例えば、マイクロプロセッサが挙げられる。
【００３９】
受信部３２０は、サーバ２００からネットワーク２６０を介して送信される表示データやウィンドウの画像データデータを受信する機能を有する。
【００４０】
デコーダ部３３０は、受信した表示データやウィンドウの画像データをデコードする機能を有する。なお、デコーダ部３３０はソフトウェアで実現されていても良い。この場合、制御部３１０がデコード処理を実行する。
【００４１】
表示手段としての表示部３４０は、デコーダ部３３０でデコードされた表示データを表示する。例えばウィンドウを一部が露出するように重畳表示する機能を有するものであり、例えば、液晶表示パネル（もしくはプラズマディスプレイ、有機EL(EL)ディスプレイ）が挙げられる。
【００４２】
画面データバッファ３５０は、デコードされたウィンドウの画像データを保存する機能を有し、例えば、HDD(Hard Disk Drive)が挙げられる。
【００４３】
＜動 作＞
次に図１に示した画面データ配信システムの動作について述べる。
図３（ａ）〜図３（ｄ）は、図１に示した画面データ配信システムのクライアント端末の表示部に表示される画面の一例である。
【００４４】
画面データ配信システムは、サーバ２００の画面全体の表示データを、ネットワーク２６０を介してクライアント端末３００に配信する。
画面全体の表示データは、複数のウィンドウで構成されている場合があり、クライアント端末３００の表示部３４０に一部が露出するようにウィンドウが重畳表示されることがある。
【００４５】
すなわち、図３（ａ）のように、クライアント端末の表示部のデスクトップ１００には、ウィンドウ１２０の上に、ウィンドウ１２０の一部が露出するようにウィンドウ１１０が重畳表示されている。ウィンドウ１２０の図３（ｄ）に示す部分は、図３（ｂ）に示すウィンドウ１１０の背面に位置し、非表示となる領域であり、デスクトップ１００には表示されていない。
【００４６】
本画面配信システムは、ウィンドウ１２０の表示状態が変わる。（例えば、ウィンドウ１２０全体が表示される）表示領域が拡大する（ウィンドウ１２０全体が表示される）前に、サーバ２００がクライアント端末３００にウィンドウの表示順位を通知し、ウィンドウの画像データを送信する。
例えば、サーバからクライアント端末に送出されてキャプチャされた表示データ（表示データではない）の更新が少ない場合に送信すればよい。
特許文献１のように更新された領域（矩形）を抽出しているため、更新が少ない場合にはネットワークの帯域があいていて、データを送るのに都合が良い。
本画面配信システムは、ユーザがマウスやキーボード（いずれも図示せず）の操作を行っている間の時間（例えば数秒）を利用して、サーバ２００がクライアント端末３００にウィンドウの表示順位を通知し、ウィンドウのデータを送信し、クライアント端末３００は、ネットワークの待機中にウィンドウのデータを受信し、サーバ２００から通知されたウィンドウの表示順位に基づいて複数のウィンドウを表示部に一部が露出するように重畳表示する。
【００４７】
マウスの操作やキーボードの操作中はネットワークを流れるデータが少なく、一般的な100BASE-TXのネットワークでは100Mビット/秒の余裕がある。従来はネットワークが空いていてもそのまま待機していたが、本願はこのネットワークの空いた状態を利用してウィンドウのデータをサーバからクライアント端末に送信すると共にサーバからクライアント端末に送信の通知を行うものである。
【００４８】
このように、重畳して表示されることで、表示されていない領域を有する画面を事前にクライアント端末に通知しておくことにより、切り替え操作の結果を表示する時間を短縮することができる。
【００４９】
図４は、図１に示した画面配信システムの動作を示すシーケンス図の一例である。
図４に示すシーケンス図は、画面が切り替わらず、かつ変化領域（他のウィンドウの背面に位置し、非表示となっている領域）の面積が閾値以上の場合を示しており、図３（ａ）〜（ｄ）に対応している。
【００５０】
ここで、ネットワーク２６０を用いて画面のデータを送る際、ネットワーク260を100BASE-TXの速度100Mビット/秒のネットワークとし、1秒間に10枚の画像を送るとすると、1枚あたりのデータ量は10Mビットとなる。この値を閾値とし、この閾値と比較してデータ量が小さいときに画像データをサーバからクライアント端末に送る。
【００５１】
まず、サーバ２００の制御部２１０が画面キャプチャ部２２０に表示データのキャプチャを要求すると（ステップＳ１）、画面キャプチャ部２２０は、デスクトップ全体の画面である表示データをキャプチャする（ステップＳ２）。
デスクトップ全体の画面である表示データをキャプチャすると、キャプチャデータを制御部２１０に送る（ステップＳ３）。
制御部２１０は、前回画面と評価領域とを検出し（ステップＳ４）、エンコーダ部２３０にエンコード要求を行う（ステップＳ５）。
エンコーダ部２３０は、エンコードを行ってエンコードデータを制御部２１０に送る（ステップＳ６）。
制御部２１０は、送信部２４０に送信要求を行い（ステップＳ７）、送信部２４０は、送信データ４００を、クライアント端末の受信部３２０に送信する（ステップＳ８）。
【００５２】
受信部３２０は、送信データを制御部３１０に送り（ステップＳ９）、制御部３１０はデコーダ部３３０にデコード要求を行う（ステップＳ１０）。
デコーダ部３３０はデコードしたデータを制御部３１０に送り、制御部３１０は表示部３４０に表示要求を送り（ステップＳ１１）、表示部３４０は図３（ａ）に示すウィンドウをデスクトップ内に表示する。このとき、ウィンドウ１１０の背面に位置し、非表示となって表示されない領域（図３（ｄ））のデータは送信済みであるため、ユーザが操作する場合には表示時間を短縮することができる。
【００５３】
図５は、図１に示した画面配信システムの動作を示すシーケンス図の他の一例である。
図５に示すシーケンス図は、画面が切り替わらず、かつ変化領域（他のウィンドウの背面に位置し、非表示となっている領域）の面積が閾値未満の場合を示しており、図３（ａ）〜（ｄ）に対応している。
サーバ２００の制御部２１０は、画面キャプチャ部２２０にキャプチャ要求を行うと（ステップＳ２１）、画面キャプチャ部２２０は、画面の一部を構成する、指定されたウィンドウ画像をキャプチャし（ステップＳ２２）、キャプチャした画像データを制御部２１０に送る（ステップＳ２３）。
制御部２１０は、エンコーダ部２３０にエンコード要求を行い（ステップＳ２４）、エンコーダ部２３０は制御部２１０にエンコードデータを送る（ステップＳ２５）。
制御部２１０は、送信部２４０に送信要求を行い（ステップＳ２６）、送信部２４０は制御部２１０に応答すると共に、クライアント端末３００の受信部３２０に送信データ４００を送信する（ステップＳ２７）。
【００５４】
受信部３２０は、制御部３１０に送信データを送信すると（ステップＳ２８）、制御部３１０は受信部３２０に応答すると共にデコーダ部３３０にデコード要求を行う（ステップＳ２９）。
デコーダ部３３０は制御部３１０に応答すると、制御部３１０は画面データバッファ３５０にデータの保存要求を行う（ステップＳ３０）。
【００５５】
以上の動作を行うことによりウィンドウの切替操作時の表示時間を短縮することができる。
なお、本実施の形態では、前面に表示されているウィンドウ１１０と背面に表示されているウィンドウ１２０との表示を切り換える場合で説明したが、本発明はこれに限定されるものではなく、ウィンドウ１１０を移動させることによって、ウィンドウ１２０が全体表示される場合や、ウィンドウ１１０が最小化されたり、閉じられたり、ウィンドウ１２０が全体表示されるような状態に変化した場合も同様である。
【００５６】
［第２の実施の形態］
図６（ａ）、（ｂ）は、図１に示した画面データ配信システムのクライアント端末の表示部に表示される画面の他の一例である。
図６（ａ）に示す状態から図６（ｂ）に示す状態にウィンドウを切替えた場合、サーバ２００の制御部２１０は、クライアント端末３００に画面でデータバッファ３５０内のウィンドウ１２０の画像データを表示するようにコマンドを送信する。
クライアント端末３００の制御部３１０は、画面データバッファ３５０内を検索し、識別子４２０としてウィンドウ１２０の画像データを取得し、表示部３４０に表示する。
【００５７】
サーバ２００は、画面データバッファ２５０から取得したウィンドウ１２０の画面データをウィンドウ１２０の領域に適用し、差分領域の検出を行い、差分領域についてエンコードし、表示データをクライアント端末３００に送信する。
【００５８】
図７は、図１に示した画面配信システムの動作を示すシーケンス図の他の一例である。
図７に示すシーケンス図は、画面が切り替わり、かつ変化領域（他のウィンドウの背面に位置し、非表示となっている領域）の面積が閾値以上の場合を示しており、図６（ａ）、（ｂ）に対応している。
サーバ２００の制御部２１０は、送信部２４０に受信データバッファの表示要求を行い（ステップＳ４１）、送信部２４０は、クライアント端末３００の受信部３２０に受信データバッファの表示要求を行い（ステップＳ４２）、受信部３２０は制御部３１０に信号を送ると、制御部３１０は画面データバッファ３５０にウィンドウデータ取得を行い（ステップＳ４３）、画面データバッファ３５０はウィンドウデータを制御部３１０に送り、制御部３１０は表示部３４０に表示要求を行い（ステップＳ４４）、これを受けて表示部３４０はウィンドウを表示する。これと同時に、サーバ２００の制御部２１０は、ウィンドウデータ取得要求を画面データバッファ２５０に行い（ステップＳ４５）、画面データバッファ２５０は制御部に応答する。
【００５９】
サーバ２００の制御部２１０は、基準画面に取得したウィンドウを合成し（ステップＳ４６）、画面キャプチャ部２２０に表示データのキャプチャを要求すると（ステップＳ４７）、画面キャプチャ部２２０はデスクトップをキャプチャし（ステップＳ４８）、制御部２１０に表示データのキャプチャデータを送る（ステップＳ４９）。
制御部２１０は、基準画面と評価領域とを検出し（ステップＳ５０）、エンコーダ部２３０にエンコード要求を行い（ステップＳ５１）、エンコーダ部２３０は制御部２１０にエンコードデータを送る（ステップＳ５２）。
制御部２１０は、送信部２４０に送信要求を行い（ステップＳ５３）、送信部２４０はクライアント端末３００の受信部３２０に送信データ４００を送信する（ステップＳ５４）。
受信部３２０は、送信データを制御部３１０に送り（ステップＳ５５）、制御部３１０は受信部３２０に応答信号を送ると共に、デコーダ部３３０にデコード要求を行う（ステップＳ５６）。
デコーダ部３３０は、デコードしたデータを制御部３１０に送ると、制御部３１０は、表示部３４０に表示要求を行い（ステップＳ５７）、表示部３４０はデコードしたデータに基づくウィンドウを表示する。
【００６０】
以上の動作を行うことによりウィンドウの切替操作時の表示時間を短縮することができる。
【００６１】
［第３の実施の形態］
図８（ａ）〜（ｃ）は、本発明に係る画面データ配信システムの他の実施の形態を示す説明図である。
第３の実施の形態の第１の実施の形態との相違点は、クライアント端末がサーバからのウィンドウのデータの一部を切り出して表示する点である。
これはサーバに比べてクライアント端末の解像度が低い場合、もしくはミニノートパソコンのように画面サイズが小さい（例えば、１０型以下）の場合、サーバからのウィンドウのうち例えば左上１／４程度の大きさしか表示できないような場合である。
【００６２】
図８（ａ）に示すサーバのウィンドウのうち領域Ａ１、Ａ２が最初にクライアント端末の表示部に表示され、ユーザがマウス操作やキーボード操作によりスクロールを行っている間にサーバからクライアント端末に領域Ａ３のデータを送信すると共に、領域Ａ３のデータを送信することを通知する。
これにより、ウィンドウの切り替え操作時の表示時間を短縮することができる。
【００６３】
以上において、差分のデータを送信するシステムでは、ユーザのウィンドウの操作により送信されるデータ量が大きく変動(例えば、ウィンドウの最大化、最小化時に差分のデータ量が大きくなる等)差分のデータ量が少ない場合、ネットワークの帯域に余裕ができる。ネットワークの帯域に余裕がある状態で、次に表示される可能性がある画面のデータを送信することで、クライアント端末の操作性を改善することができる。
【００６４】
＜プログラム＞
以上で説明した本発明にかかる画面データ配信システムは、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。
【００６５】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、クライアント端末に表示させる画面データ配信システムのコンピュータに、サーバが、サーバが表示させようとしている複数のウィンドウのうち、複数のウィンドウを重畳して画面に表示させる手順、非表示となっている領域を有するウィンドウの画像データを、ウィンドウの全体が表示される前に送出させる手順、を実行させるサーバ用プログラムが挙げられる。
【００６６】
また、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、クライアント端末に表示させる画面データ配信システムのクライアント端末のコンピュータに、受信手段が、ネットワークの待機中に前記ウィンドウのデータを受信する手順、表示手段が、サーバから通知されたウィンドウの表示順位に基づいて複数のウィンドウを一部が露出するように重畳表示する手順、を実行させるクライアント端末用プログラムが挙げられる。
【００６７】
これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明にかかる画面データ配信システムを実現することができる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されて
いてもよい。
＜記憶媒体＞
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（CD Recordable）、ＤＶＤ（Digital Versatile Disk）などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤ（Hard Disc Drive）が挙げられる。
【００６８】
なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。
【符号の説明】
【００６９】
２００ サーバ
２１０、３１０ 制御部
２２０ 画面キャプチャ部
２３０ エンコーダ部
２４０ 送信部
２５０、３５０ 画面データバッファ
２６０ ネットワーク
３００ クライアント端末
３２０ 受信部
３３０ デコーダ部
３４０ 表示部
４００ 送信データ
【技術分野】
【０００１】
本発明は、画面データ配信システム、サーバ、クライアント端末、画面データ配信方法、及びプログラムに関する。
【背景技術】
【０００２】
サーバの表示部の画面のデータをクライアント端末に転送してクライアント端末の表示部に表示するクライアントシステムにおいて、サーバの表示部に表示された全画面のデータではなく、現在表示された画面と１枚前に送った画面との差分のデータのみを送信する方式がある（例えば、特許文献１参照。）。
【０００３】
特許文献１に記載の発明は、「画面データ送信装置」に関するものであり、具体的には「第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量以上の差分があるか否かを検出する差分検出手段と、前記差分検出手段の検出結果が肯定的であるブロックのデータを送信する送信手段と、前記第１の画面フレームが前記差分検出手段による検出にかけられる前に、前記第１の画面フレームに含まれる或るブロックと、前記第２の画面フレームに含まれ、前記或るブロックと対応する位置にあるブロックとの間で前記所定量以上の差分が発生するように、前記第１の画面フレームに含まれる前記或るブロックの少なくとも１つの画素のレベルを変更する画素レベル変更手段と、を備える」ものである。
【０００４】
図９（ａ）〜（ｃ）は、画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための説明図であり、図１０（ａ）〜（ｃ）は、画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための説明図である。
【０００５】
例えば、第ｎフレームが図９（ａ）に示すようなものであり、第（ｎ＋１）フレームで図９（ｂ）に示すように新たなWindow(以下、ウィンドウと表記)７０１が現れた場合、図９（ｃ）に示すようなウィンドウ７０１を含むブロック群７０３の画面データが符号化されて送信される。
【０００６】
また、例えば、自動車７０５が第ｎフレームで図１０（ａ）に示すような位置にあり、第（ｎ＋１）フレームで図１０（ｂ）に示すような位置にある場合には、図１０（ｃ）に示すような、自動車７０５が走り去った後の背景を含むブロック群７０７と新たに自動車７０５を含むこととなったブロック群７０９の画面データが符号化されて送信される。
【０００７】
ここで、「ウィンドウ」とは、例えばパソコンの操作画面内にそれぞれ独立した小さな矩形状の画面（表示領域）を用意して、その画面の中に画像や文書を表示する機能もしくはその矩形状の表示領域をいう。Windows(登録商標)やMac(登録商標)のOS(Operation System)等のパソコン用OSでは一般的に利用される表示方式である。
ウィンドウのデザインや機能はOSやアプリケーションソフトによって異なるが、通常タイトルバーがあって、サイズ調整用のボタンやウィンドウを閉じるボタン等を有する。個々のウィンドウはユーザが自由に移動させたり、サイズを変更させたり、重ねて表示させたりすることができる。
【０００８】
特許文献１に記載の発明によれば、所定の差分以上の差分がない画面ブロックのデータも送信することが可能となるので、所定の差分以上の差分がある画面ブロックが多いために劣化した状態で送信された画面をシンクライアント側に高画質に送信しなおすことが可能になるとしている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−２２４８４７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、特許文献１に記載の発明では、サーバ装置が実行するアプリケーションのウィンドウを操作することで差分が多く発生する場合がいくつか考えられる。すなわち、
(1)前面に表示させるウィンドウを変更する操作、
(2)前面に表示されているウィンドウを閉じる、または最小化する操作、
(3)前面に表示されているウィンドウを移動することで、背面に位置するウィンドウが表示されるようにする操作、
が挙げられる。
図１０に示すように表示部の表示データ１００にウィンドウ１１０、１２０を表示し、全画面をキャプチャして差分データを送るシステムでは、ウィンドウを変更する操作、閉じる操作、最小化操作、移動操作を行うと、変化領域が大きくなって、データ量が大きくなり、操作した結果の表示が遅くなったり、劣化したりする。
【００１１】
そこで、本発明の目的は、ウィンドウの切り替え操作の結果の表示時間を短縮することができる画面データ配信システム、サーバ、クライアント端末、画面データ配信方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、請求項１記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムであって、前記サーバは、前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出することを特徴とする。
【００１３】
請求項２記載の発明は、請求項１記載の発明において、前記サーバは、前記複数のウィンドウを識別するための識別情報を前記クライアント端末に送ることを特徴とする。
【００１４】
請求項３記載の発明は、請求項２記載の発明において、前記サーバは、前記クライアント端末に前記ウィンドウの表示順位を通知する通知手段と、前記ウィンドウのデータを送信するための送信手段とを備え、前記クライアント端末は、前記ネットワークの待機中に前記ウィンドウのデータを受信する受信手段を備え、前記サーバから通知された前記ウィンドウの表示順位及び前記識別情報に基づいて複数のウィンドウを前記表示手段に重畳表示させることを特徴とする。
【００１５】
請求項４記載の発明は、請求項１または２記載の発明において、前記サーバは、前記サーバが表示させようとしている画面をキャプチャする画面キャプチャ部と、前記画面キャプチャ部がキャプチャした表示データ及び前記ウィンドウの画像データを送信データにエンコードするエンコーダ部と、前記送信データを前記クライアント端末に送信する送信部とを備え、前記送信データには、デコードして表示するか画面データバッファに保存するかを示す識別フラグと、エンコードしたウィンドウを識別するための識別子と、エンコードしたウィンドウのデータと、が含まれることを特徴とする。
【００１６】
請求項５記載の発明は、請求項３記載の発明において、前記サーバは、所定の値より差分領域が少ない場合、最前面に表示されていないウィンドウの画像データをキャプチャし、保存する画面データバッファと、前記キャプチャしたウィンドウの画像データは種別フラグとして保存する他のバッファと、を備え、前記キャプチャしたウィンドウを識別する値がさらに他の識別子に指定することを特徴とする。
【００１７】
請求項６記載の発明は、請求項１から５の何れか一項記載の発明において、前記サーバは、他のウィンドウの背面に位置し、非表示となっているウィンドウが露出するように表示を切り替えると、前記クライアント端末に前記画面データバッファ内の最前面のウィンドウのデータを表示するようにコマンドを送信するようにしたことを特徴とする。
【００１８】
請求項７記載の発明は、請求項６記載の発明において、前記クライアント端末は、前記コマンドを受信すると、前記画面データバッファ内を検索し、前記識別子をキーとして前記非表示になっているウィンドウのデータを取得し、表示手段に表示するようにしたことを特徴とする。
【００１９】
請求項８記載の発明は、請求項７記載の発明において、前記サーバは、前記画面バッファから取得した前記ウィンドウのデータを前記非表示になっているウィンドウの領域に適用し、差分領域の検出を行い、前記差分領域についてエンコードし、データを前記クライアント端末に送信するようにしたことを特徴とする。
【００２０】
請求項９記載の発明は、請求項１から８のいずれか一項記載の発明において、前記クライアント端末の表示手段が前記サーバから送られるウィンドウの一部を切り出して部分表示する場合において、現在部分表示しているウィンドウに接する領域のデータを予め送信しておくことを特徴とする。
【００２１】
請求項１０記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムに用いられるサーバであって、前記サーバは、前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出するための送信手段を備えたことを特徴とする。
【００２２】
請求項１１記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信方法であって、前記サーバは、前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出することを特徴とする。
【００２３】
請求項１２記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのコンピュータに、前記サーバが、前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウを重畳して画面に表示させる手順、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出させる手順、を実行させることを特徴とする。
【００２４】
請求項１３記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのクライアント端末のコンピュータに、受信手段が、前記ネットワークの待機中に前記ウィンドウのデータを受信する手順、表示手段が、前記サーバから通知された前記ウィンドウの表示順位に基づいて複数のウィンドウを一部が露出するように重畳表示する手順、を実行させることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、ウィンドウの切り替え操作の結果の表示時間を短縮することができる画面データ配信システム、サーバ、クライアント端末、画面データ配信方法、及びプログラムの提供を実現することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明に係る画面データ配信システムの一実施の形態を示すブロック図である。
【図２】図１に示した画面データ配信システムに用いられる送信データ４００の構成図の一例である。
【図３】（ａ）〜（ｄ）は、図１に示した画面データ配信システムのクライアント端末の表示部に表示される画面の一例である。
【図４】図１に示した画面配信システムの動作を示すシーケンス図の一例である。
【図５】図１に示した画面配信システムの動作を示すシーケンス図の他の一例である。
【図６】（ａ）、（ｂ）は、図１に示した画面データ配信システムのクライアント端末の表示部に表示される画面の他の一例である。
【図７】図１に示した画面配信システムの動作を示すシーケンス図の他の一例である。
【図８】（ａ）〜（ｃ）は、本発明に係る画面データ配信システムの他の実施の形態を示す説明図である。
【図９】（ａ）〜（ｃ）は、画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための説明図である。
【図１０】（ａ）〜（ｃ）は、画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための説明図である。
【発明を実施するための形態】
【００２７】
本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
＜構 成＞
図１は、本発明に係る画面データ配信システムの一実施の形態を示すブロック図である。
図１に示すシステムは、サーバ２００、ネットワーク２６０、及びクライアント端末３００を有する。
サーバ２００は、制御部２１０、画面キャプチャ部２２０、エンコーダ部２３０、送信部２４０、及び画面データバッファ２５０を有する。
【００２８】
通知手段としての制御部２１０は、サーバ２００を統括制御する機能を有するものであり、例えば、マイクロプロセッサが挙げられる。制御部２１０は、画面キャプチャ部２２０にサーバ２００が表示する画面をキャプチャさせ、キャプチャされた表示データをエンコーダ部２３０でエンコードし、送信部２４０からエンコードされた送信データ４００をクライアント端末３００に送信する。
【００２９】
ここで、「デスクトップ」とは、Windows(登録商標)やMac(登録商標)等のOSを起動させたときに表示される基本となる操作画面である。このデスクトップによりファイルの操作やアプリケーションソフトの起動等を行うことができる。
【００３０】
図２は、図１に示した画面データ配信システムに用いられる送信データ４００の構成図の一例である。
図２に示すように送信データ４００にはすぐにデコードして表示するか、画面データバッファ３５０に保存するかを示す識別フラグ４１０（例えば、Ｄ、Ｐ）と、エンコードしたウィンドウとを識別するための識別子４２０（0x00000000,0x00000001,0x0000002等）と、エンコードされた画面データ４３０と、が含まれる。
【００３１】
サーバ２００の制御部２１０は、差分領域が少ない場合に、最前面に表示されていないウィンドウ１２０の表示データ（ウィンドウ１２０の画像データ）をキャプチャし、キャプチャした画像データを画面バッファ２５に保存すると共に、エンコードし、クライアント端末３００に送信する。このときウィンドウ１２０の送信データは、種別フラグとして画面データバッファ３５０に保存するように指定され、ウィンドウ１２０を識別する値が識別子４２０に指定される。
ここで、「キャプチャ」には表示部に表示される表示データを保存する「キャプチャ」と、画面の一部を構成するウィンドウの画像データを保存する「キャプチャ」との２種類ある。
【００３２】
画面キャプチャ部２２０は、画面全体の表示データを取り込むキャプチャ機能を有するものである。さらに、画面キャプチャ部２２０は、ウィンドウの画像データをキャプチャする機能も有する。それぞれの機能は独立してても良い。また、それぞれソフトウェアで実現されても良い。この場合、キャプチャ処理は制御部３１０が行う。
【００３３】
エンコーダ部２３０は、画面キャプチャ部２２０がキャプチャした表示データをエンコードする機能と、ウィンドウの画像データをキャプチャした画像データをエンコードする機能とを備える。なお、エンコーダ部２３０は、ソフトウェアで実現されていても良い。この場合、制御部２１０がエンコード処理を実行する。
【００３４】
送信手段としての送信部２４０は、エンコードされた表示データやウィンドウの画像データをネットワーク２６０に送信する機能を有する。
【００３５】
画面データバッファ２５０は、キャプチャしたウィンドウの画像データを保管する機能を有し、例えば、HDD(Hard Disk Drive)が挙げられる。
【００３６】
クライアント端末３００は、制御部３１０、受信部３２０、デコーダ部３３０、表示部３４０、及び画面データバッファ３５０を有する。
【００３７】
クライアント端末３００は、種別フラグ４１０にすぐに表示されるよう指定された場合、画面データ４３０をデコーダ部３３０でデコードし、表示部３４０で表示を行う。
種別フラグ４１０に画面データバッファ３５０に保存するように指定された場合は、デコーダ部３３０でデコードした画面データを画面データバッファ３５０に保存する。
【００３８】
制御部３１０は、クライアント端末３００を統括制御する機能を有するものであり、例えば、マイクロプロセッサが挙げられる。
【００３９】
受信部３２０は、サーバ２００からネットワーク２６０を介して送信される表示データやウィンドウの画像データデータを受信する機能を有する。
【００４０】
デコーダ部３３０は、受信した表示データやウィンドウの画像データをデコードする機能を有する。なお、デコーダ部３３０はソフトウェアで実現されていても良い。この場合、制御部３１０がデコード処理を実行する。
【００４１】
表示手段としての表示部３４０は、デコーダ部３３０でデコードされた表示データを表示する。例えばウィンドウを一部が露出するように重畳表示する機能を有するものであり、例えば、液晶表示パネル（もしくはプラズマディスプレイ、有機EL(EL)ディスプレイ）が挙げられる。
【００４２】
画面データバッファ３５０は、デコードされたウィンドウの画像データを保存する機能を有し、例えば、HDD(Hard Disk Drive)が挙げられる。
【００４３】
＜動 作＞
次に図１に示した画面データ配信システムの動作について述べる。
図３（ａ）〜図３（ｄ）は、図１に示した画面データ配信システムのクライアント端末の表示部に表示される画面の一例である。
【００４４】
画面データ配信システムは、サーバ２００の画面全体の表示データを、ネットワーク２６０を介してクライアント端末３００に配信する。
画面全体の表示データは、複数のウィンドウで構成されている場合があり、クライアント端末３００の表示部３４０に一部が露出するようにウィンドウが重畳表示されることがある。
【００４５】
すなわち、図３（ａ）のように、クライアント端末の表示部のデスクトップ１００には、ウィンドウ１２０の上に、ウィンドウ１２０の一部が露出するようにウィンドウ１１０が重畳表示されている。ウィンドウ１２０の図３（ｄ）に示す部分は、図３（ｂ）に示すウィンドウ１１０の背面に位置し、非表示となる領域であり、デスクトップ１００には表示されていない。
【００４６】
本画面配信システムは、ウィンドウ１２０の表示状態が変わる。（例えば、ウィンドウ１２０全体が表示される）表示領域が拡大する（ウィンドウ１２０全体が表示される）前に、サーバ２００がクライアント端末３００にウィンドウの表示順位を通知し、ウィンドウの画像データを送信する。
例えば、サーバからクライアント端末に送出されてキャプチャされた表示データ（表示データではない）の更新が少ない場合に送信すればよい。
特許文献１のように更新された領域（矩形）を抽出しているため、更新が少ない場合にはネットワークの帯域があいていて、データを送るのに都合が良い。
本画面配信システムは、ユーザがマウスやキーボード（いずれも図示せず）の操作を行っている間の時間（例えば数秒）を利用して、サーバ２００がクライアント端末３００にウィンドウの表示順位を通知し、ウィンドウのデータを送信し、クライアント端末３００は、ネットワークの待機中にウィンドウのデータを受信し、サーバ２００から通知されたウィンドウの表示順位に基づいて複数のウィンドウを表示部に一部が露出するように重畳表示する。
【００４７】
マウスの操作やキーボードの操作中はネットワークを流れるデータが少なく、一般的な100BASE-TXのネットワークでは100Mビット/秒の余裕がある。従来はネットワークが空いていてもそのまま待機していたが、本願はこのネットワークの空いた状態を利用してウィンドウのデータをサーバからクライアント端末に送信すると共にサーバからクライアント端末に送信の通知を行うものである。
【００４８】
このように、重畳して表示されることで、表示されていない領域を有する画面を事前にクライアント端末に通知しておくことにより、切り替え操作の結果を表示する時間を短縮することができる。
【００４９】
図４は、図１に示した画面配信システムの動作を示すシーケンス図の一例である。
図４に示すシーケンス図は、画面が切り替わらず、かつ変化領域（他のウィンドウの背面に位置し、非表示となっている領域）の面積が閾値以上の場合を示しており、図３（ａ）〜（ｄ）に対応している。
【００５０】
ここで、ネットワーク２６０を用いて画面のデータを送る際、ネットワーク260を100BASE-TXの速度100Mビット/秒のネットワークとし、1秒間に10枚の画像を送るとすると、1枚あたりのデータ量は10Mビットとなる。この値を閾値とし、この閾値と比較してデータ量が小さいときに画像データをサーバからクライアント端末に送る。
【００５１】
まず、サーバ２００の制御部２１０が画面キャプチャ部２２０に表示データのキャプチャを要求すると（ステップＳ１）、画面キャプチャ部２２０は、デスクトップ全体の画面である表示データをキャプチャする（ステップＳ２）。
デスクトップ全体の画面である表示データをキャプチャすると、キャプチャデータを制御部２１０に送る（ステップＳ３）。
制御部２１０は、前回画面と評価領域とを検出し（ステップＳ４）、エンコーダ部２３０にエンコード要求を行う（ステップＳ５）。
エンコーダ部２３０は、エンコードを行ってエンコードデータを制御部２１０に送る（ステップＳ６）。
制御部２１０は、送信部２４０に送信要求を行い（ステップＳ７）、送信部２４０は、送信データ４００を、クライアント端末の受信部３２０に送信する（ステップＳ８）。
【００５２】
受信部３２０は、送信データを制御部３１０に送り（ステップＳ９）、制御部３１０はデコーダ部３３０にデコード要求を行う（ステップＳ１０）。
デコーダ部３３０はデコードしたデータを制御部３１０に送り、制御部３１０は表示部３４０に表示要求を送り（ステップＳ１１）、表示部３４０は図３（ａ）に示すウィンドウをデスクトップ内に表示する。このとき、ウィンドウ１１０の背面に位置し、非表示となって表示されない領域（図３（ｄ））のデータは送信済みであるため、ユーザが操作する場合には表示時間を短縮することができる。
【００５３】
図５は、図１に示した画面配信システムの動作を示すシーケンス図の他の一例である。
図５に示すシーケンス図は、画面が切り替わらず、かつ変化領域（他のウィンドウの背面に位置し、非表示となっている領域）の面積が閾値未満の場合を示しており、図３（ａ）〜（ｄ）に対応している。
サーバ２００の制御部２１０は、画面キャプチャ部２２０にキャプチャ要求を行うと（ステップＳ２１）、画面キャプチャ部２２０は、画面の一部を構成する、指定されたウィンドウ画像をキャプチャし（ステップＳ２２）、キャプチャした画像データを制御部２１０に送る（ステップＳ２３）。
制御部２１０は、エンコーダ部２３０にエンコード要求を行い（ステップＳ２４）、エンコーダ部２３０は制御部２１０にエンコードデータを送る（ステップＳ２５）。
制御部２１０は、送信部２４０に送信要求を行い（ステップＳ２６）、送信部２４０は制御部２１０に応答すると共に、クライアント端末３００の受信部３２０に送信データ４００を送信する（ステップＳ２７）。
【００５４】
受信部３２０は、制御部３１０に送信データを送信すると（ステップＳ２８）、制御部３１０は受信部３２０に応答すると共にデコーダ部３３０にデコード要求を行う（ステップＳ２９）。
デコーダ部３３０は制御部３１０に応答すると、制御部３１０は画面データバッファ３５０にデータの保存要求を行う（ステップＳ３０）。
【００５５】
以上の動作を行うことによりウィンドウの切替操作時の表示時間を短縮することができる。
なお、本実施の形態では、前面に表示されているウィンドウ１１０と背面に表示されているウィンドウ１２０との表示を切り換える場合で説明したが、本発明はこれに限定されるものではなく、ウィンドウ１１０を移動させることによって、ウィンドウ１２０が全体表示される場合や、ウィンドウ１１０が最小化されたり、閉じられたり、ウィンドウ１２０が全体表示されるような状態に変化した場合も同様である。
【００５６】
［第２の実施の形態］
図６（ａ）、（ｂ）は、図１に示した画面データ配信システムのクライアント端末の表示部に表示される画面の他の一例である。
図６（ａ）に示す状態から図６（ｂ）に示す状態にウィンドウを切替えた場合、サーバ２００の制御部２１０は、クライアント端末３００に画面でデータバッファ３５０内のウィンドウ１２０の画像データを表示するようにコマンドを送信する。
クライアント端末３００の制御部３１０は、画面データバッファ３５０内を検索し、識別子４２０としてウィンドウ１２０の画像データを取得し、表示部３４０に表示する。
【００５７】
サーバ２００は、画面データバッファ２５０から取得したウィンドウ１２０の画面データをウィンドウ１２０の領域に適用し、差分領域の検出を行い、差分領域についてエンコードし、表示データをクライアント端末３００に送信する。
【００５８】
図７は、図１に示した画面配信システムの動作を示すシーケンス図の他の一例である。
図７に示すシーケンス図は、画面が切り替わり、かつ変化領域（他のウィンドウの背面に位置し、非表示となっている領域）の面積が閾値以上の場合を示しており、図６（ａ）、（ｂ）に対応している。
サーバ２００の制御部２１０は、送信部２４０に受信データバッファの表示要求を行い（ステップＳ４１）、送信部２４０は、クライアント端末３００の受信部３２０に受信データバッファの表示要求を行い（ステップＳ４２）、受信部３２０は制御部３１０に信号を送ると、制御部３１０は画面データバッファ３５０にウィンドウデータ取得を行い（ステップＳ４３）、画面データバッファ３５０はウィンドウデータを制御部３１０に送り、制御部３１０は表示部３４０に表示要求を行い（ステップＳ４４）、これを受けて表示部３４０はウィンドウを表示する。これと同時に、サーバ２００の制御部２１０は、ウィンドウデータ取得要求を画面データバッファ２５０に行い（ステップＳ４５）、画面データバッファ２５０は制御部に応答する。
【００５９】
サーバ２００の制御部２１０は、基準画面に取得したウィンドウを合成し（ステップＳ４６）、画面キャプチャ部２２０に表示データのキャプチャを要求すると（ステップＳ４７）、画面キャプチャ部２２０はデスクトップをキャプチャし（ステップＳ４８）、制御部２１０に表示データのキャプチャデータを送る（ステップＳ４９）。
制御部２１０は、基準画面と評価領域とを検出し（ステップＳ５０）、エンコーダ部２３０にエンコード要求を行い（ステップＳ５１）、エンコーダ部２３０は制御部２１０にエンコードデータを送る（ステップＳ５２）。
制御部２１０は、送信部２４０に送信要求を行い（ステップＳ５３）、送信部２４０はクライアント端末３００の受信部３２０に送信データ４００を送信する（ステップＳ５４）。
受信部３２０は、送信データを制御部３１０に送り（ステップＳ５５）、制御部３１０は受信部３２０に応答信号を送ると共に、デコーダ部３３０にデコード要求を行う（ステップＳ５６）。
デコーダ部３３０は、デコードしたデータを制御部３１０に送ると、制御部３１０は、表示部３４０に表示要求を行い（ステップＳ５７）、表示部３４０はデコードしたデータに基づくウィンドウを表示する。
【００６０】
以上の動作を行うことによりウィンドウの切替操作時の表示時間を短縮することができる。
【００６１】
［第３の実施の形態］
図８（ａ）〜（ｃ）は、本発明に係る画面データ配信システムの他の実施の形態を示す説明図である。
第３の実施の形態の第１の実施の形態との相違点は、クライアント端末がサーバからのウィンドウのデータの一部を切り出して表示する点である。
これはサーバに比べてクライアント端末の解像度が低い場合、もしくはミニノートパソコンのように画面サイズが小さい（例えば、１０型以下）の場合、サーバからのウィンドウのうち例えば左上１／４程度の大きさしか表示できないような場合である。
【００６２】
図８（ａ）に示すサーバのウィンドウのうち領域Ａ１、Ａ２が最初にクライアント端末の表示部に表示され、ユーザがマウス操作やキーボード操作によりスクロールを行っている間にサーバからクライアント端末に領域Ａ３のデータを送信すると共に、領域Ａ３のデータを送信することを通知する。
これにより、ウィンドウの切り替え操作時の表示時間を短縮することができる。
【００６３】
以上において、差分のデータを送信するシステムでは、ユーザのウィンドウの操作により送信されるデータ量が大きく変動(例えば、ウィンドウの最大化、最小化時に差分のデータ量が大きくなる等)差分のデータ量が少ない場合、ネットワークの帯域に余裕ができる。ネットワークの帯域に余裕がある状態で、次に表示される可能性がある画面のデータを送信することで、クライアント端末の操作性を改善することができる。
【００６４】
＜プログラム＞
以上で説明した本発明にかかる画面データ配信システムは、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。
【００６５】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、クライアント端末に表示させる画面データ配信システムのコンピュータに、サーバが、サーバが表示させようとしている複数のウィンドウのうち、複数のウィンドウを重畳して画面に表示させる手順、非表示となっている領域を有するウィンドウの画像データを、ウィンドウの全体が表示される前に送出させる手順、を実行させるサーバ用プログラムが挙げられる。
【００６６】
また、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、クライアント端末に表示させる画面データ配信システムのクライアント端末のコンピュータに、受信手段が、ネットワークの待機中に前記ウィンドウのデータを受信する手順、表示手段が、サーバから通知されたウィンドウの表示順位に基づいて複数のウィンドウを一部が露出するように重畳表示する手順、を実行させるクライアント端末用プログラムが挙げられる。
【００６７】
これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明にかかる画面データ配信システムを実現することができる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されて
いてもよい。
＜記憶媒体＞
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（CD Recordable）、ＤＶＤ（Digital Versatile Disk）などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤ（Hard Disc Drive）が挙げられる。
【００６８】
なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。
【符号の説明】
【００６９】
２００ サーバ
２１０、３１０ 制御部
２２０ 画面キャプチャ部
２３０ エンコーダ部
２４０ 送信部
２５０、３５０ 画面データバッファ
２６０ ネットワーク
３００ クライアント端末
３２０ 受信部
３３０ デコーダ部
３４０ 表示部
４００ 送信データ
【特許請求の範囲】
【請求項１】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムであって、
前記サーバは、
前記サーバが表示せようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出することを特徴とする画面データ配信システム。
【請求項２】
前記サーバは、
前記複数のウィンドウを識別するための識別情報を前記クライアント端末に送ることを特徴とする請求項１記載の画面データ配信システム。
【請求項３】
前記サーバは、
前記クライアント端末に前記ウィンドウの表示順位を通知する通知手段と、前記ウィンドウのデータを送信するための送信手段とを備え、
前記クライアント端末は、前記ネットワークの待機中に前記ウィンドウのデータを受信する受信手段を備え、前記サーバから通知された前記ウィンドウの表示順位及び前記識別情報に基づいて複数のウィンドウを前記表示手段に重畳表示させることを特徴とする請求項２記載の画面データ配信システム。
【請求項４】
前記サーバは、前記サーバが表示させようとしている画面をキャプチャする画面キャプチャ部と、前記画面キャプチャ部がキャプチャした表示データ及び前記ウィンドウの画像データを送信データにエンコードするエンコーダ部と、前記送信データを前記クライアント端末に送信する送信部とを備え、
前記送信データには、デコードして表示するか画面データバッファに保存するかを示す識別フラグと、エンコードしたウィンドウを識別するための識別子と、エンコードしたウィンドウのデータと、が含まれることを特徴とする請求項１または２記載の画面データ配信システム。
【請求項５】
前記サーバは、所定の値より差分領域が少ない場合、最前面に表示されていないウィンドウの画像データをキャプチャし、保存する画面データバッファと、
前記キャプチャしたウィンドウの画像データは種別フラグとして保存する他のバッファと、を備え、
前記キャプチャしたウィンドウを識別する値がさらに他の識別子に指定することを特徴とする請求項３記載の画面データ配信システム。
【請求項６】
前記クライアント端末は、前記種別フラグに表示されるように指定されると、前記ウィンドウのデータを前記表示手段に表示するためデコードするデコーダ部と、
前記種別フラグに前記画面のデータバッファに保存するように指定された場合、前記デコーダ部でデコードしたウィンドウのデータを保存する画面データバッファ部と、を備えたことを特徴とする請求項１から４の何れか一項記載の画面データ配信システム。
【請求項７】
前記サーバは、他のウィンドウの背面に位置し、非表示となっているウィンドウが露出するように表示を切り替えると、前記クライアント端末に前記画面データバッファ内の最前面のウィンドウのデータを表示するようにコマンドを送信するようにしたことを特徴とする請求項１から５の何れか一項記載の画面データ配信システム。
【請求項８】
前記クライアント端末は、前記コマンドを受信すると、前記画面データバッファ内を検索し、前記識別子をキーとして前記非表示になっているウィンドウのデータを取得し、表示手段に表示するようにしたことを特徴とする請求項６記載の画面データ配信システム。
【請求項９】
前記サーバは、前記画面バッファから取得した前記ウィンドウのデータを前記非表示になっているウィンドウの領域に適用し、差分領域の検出を行い、前記差分領域についてエンコードし、データを前記クライアント端末に送信するようにしたことを特徴とする請求項７記載の画面データ配信システム。
【請求項１０】
前記クライアント端末の表示手段が前記サーバから送られるウィンドウの一部を切り出して部分表示する場合において、現在部分表示しているウィンドウに接する領域のデータを予め送信しておくことを特徴とする請求項１から８のいずれか一項記載の画面データ配信システム。
【請求項１１】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムに用いられるサーバであって、
前記サーバは、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出するための送信手段を備えたことを特徴とするサーバ。
【請求項１２】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムに用いられるクライアント端末であって、
前記クライアント端末は、前記ネットワークの待機中に前記ウィンドウのデータを受信する受信手段を備え、前記サーバから通知された前記ウィンドウの表示順位に基づいて一部が露出するように重畳表示することを特徴とするクライアント端末。
【請求項１３】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信方法であって、
前記サーバは、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出することを特徴とする画面データ配信方法。
【請求項１４】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのコンピュータに、
前記サーバが、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウを重畳して画面に表示させる手順、
非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出させる手順、
を実行させることを特徴とするサーバ用プログラム。
【請求項１５】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのクライアント端末のコンピュータに、
受信手段が、前記ネットワークの待機中に前記ウィンドウのデータを受信する手順、
表示手段が、前記サーバから通知された前記ウィンドウの表示順位に基づいて複数のウィンドウを一部が露出するように重畳表示する手順、
を実行させることを特徴とするクライアント端末用プログラム。
【請求項１】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムであって、
前記サーバは、
前記サーバが表示せようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出することを特徴とする画面データ配信システム。
【請求項２】
前記サーバは、
前記複数のウィンドウを識別するための識別情報を前記クライアント端末に送ることを特徴とする請求項１記載の画面データ配信システム。
【請求項３】
前記サーバは、
前記クライアント端末に前記ウィンドウの表示順位を通知する通知手段と、前記ウィンドウのデータを送信するための送信手段とを備え、
前記クライアント端末は、前記ネットワークの待機中に前記ウィンドウのデータを受信する受信手段を備え、前記サーバから通知された前記ウィンドウの表示順位及び前記識別情報に基づいて複数のウィンドウを前記表示手段に重畳表示させることを特徴とする請求項２記載の画面データ配信システム。
【請求項４】
前記サーバは、前記サーバが表示させようとしている画面をキャプチャする画面キャプチャ部と、前記画面キャプチャ部がキャプチャした表示データ及び前記ウィンドウの画像データを送信データにエンコードするエンコーダ部と、前記送信データを前記クライアント端末に送信する送信部とを備え、
前記送信データには、デコードして表示するか画面データバッファに保存するかを示す識別フラグと、エンコードしたウィンドウを識別するための識別子と、エンコードしたウィンドウのデータと、が含まれることを特徴とする請求項１または２記載の画面データ配信システム。
【請求項５】
前記サーバは、所定の値より差分領域が少ない場合、最前面に表示されていないウィンドウの画像データをキャプチャし、保存する画面データバッファと、
前記キャプチャしたウィンドウの画像データは種別フラグとして保存する他のバッファと、を備え、
前記キャプチャしたウィンドウを識別する値がさらに他の識別子に指定することを特徴とする請求項３記載の画面データ配信システム。
【請求項６】
前記クライアント端末は、前記種別フラグに表示されるように指定されると、前記ウィンドウのデータを前記表示手段に表示するためデコードするデコーダ部と、
前記種別フラグに前記画面のデータバッファに保存するように指定された場合、前記デコーダ部でデコードしたウィンドウのデータを保存する画面データバッファ部と、を備えたことを特徴とする請求項１から４の何れか一項記載の画面データ配信システム。
【請求項７】
前記サーバは、他のウィンドウの背面に位置し、非表示となっているウィンドウが露出するように表示を切り替えると、前記クライアント端末に前記画面データバッファ内の最前面のウィンドウのデータを表示するようにコマンドを送信するようにしたことを特徴とする請求項１から５の何れか一項記載の画面データ配信システム。
【請求項８】
前記クライアント端末は、前記コマンドを受信すると、前記画面データバッファ内を検索し、前記識別子をキーとして前記非表示になっているウィンドウのデータを取得し、表示手段に表示するようにしたことを特徴とする請求項６記載の画面データ配信システム。
【請求項９】
前記サーバは、前記画面バッファから取得した前記ウィンドウのデータを前記非表示になっているウィンドウの領域に適用し、差分領域の検出を行い、前記差分領域についてエンコードし、データを前記クライアント端末に送信するようにしたことを特徴とする請求項７記載の画面データ配信システム。
【請求項１０】
前記クライアント端末の表示手段が前記サーバから送られるウィンドウの一部を切り出して部分表示する場合において、現在部分表示しているウィンドウに接する領域のデータを予め送信しておくことを特徴とする請求項１から８のいずれか一項記載の画面データ配信システム。
【請求項１１】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムに用いられるサーバであって、
前記サーバは、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出するための送信手段を備えたことを特徴とするサーバ。
【請求項１２】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムに用いられるクライアント端末であって、
前記クライアント端末は、前記ネットワークの待機中に前記ウィンドウのデータを受信する受信手段を備え、前記サーバから通知された前記ウィンドウの表示順位に基づいて一部が露出するように重畳表示することを特徴とするクライアント端末。
【請求項１３】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信方法であって、
前記サーバは、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出することを特徴とする画面データ配信方法。
【請求項１４】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのコンピュータに、
前記サーバが、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウを重畳して画面に表示させる手順、
非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出させる手順、
を実行させることを特徴とするサーバ用プログラム。
【請求項１５】
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのクライアント端末のコンピュータに、
受信手段が、前記ネットワークの待機中に前記ウィンドウのデータを受信する手順、
表示手段が、前記サーバから通知された前記ウィンドウの表示順位に基づいて複数のウィンドウを一部が露出するように重畳表示する手順、
を実行させることを特徴とするクライアント端末用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２０４０８９（Ｐ２０１１−２０４０８９Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７１８２８（Ｐ２０１０−７１８２８）
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（３０２０６９９３０）ＮＥＣパーソナルプロダクツ株式会社 (738)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（３０２０６９９３０）ＮＥＣパーソナルプロダクツ株式会社 (738)
【Ｆターム（参考）】
[ Back to top ]