説明

画面送信装置、画面受信装置及びそれらを含む画面転送システム並びにそれらの方法

【課題】画面のうち変化に伴う更新が必要な部分のみのデータを送信することにより、効率と画質を向上させる。
【解決手段】メインウィンドウの識別情報を生成する第1生成部、メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する第2生成部、第1、2生成部により生成された情報を送信する送信部を備える画面送信装置と、送信部から送られてきた情報を受信する受信部、受信部が受信した部品情報を基に部品画像データを生成する部品画像データ生成部、受信部が受信した識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成部を備える画面受信装置を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画面送信装置、画面受信装置及びそれらを含む画面転送システム並びにそれらの方法に関し、特に、画面転送型シンクライアントシステムにおける画面送信装置、画面受信装置及びそれらを含む画面転送システム並びにそれらの方法に関する。
【背景技術】
【0002】
従来、画面転送型シンクライアントシステムでは、サーバ(仮想PC)が画面全体について画面の更新部分を検出して、変更部分の描画データをクライアントに送信して、クライアントはそのデータを描画することで、画面を生成している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−146504号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
第1の問題点は、画面転送型シンクライアントシステムでは、画面更新の効率が悪い点である。
【0005】
その理由は、画面転送型シンクライアントシステムでは、サーバ(仮想PC)の変更部分の検出範囲が画面全体であることである。
【0006】
第2の問題点は、ある特定の画面領域の更新頻度が高いときに画面全体の描画処理が遅くなる点である。
【0007】
その理由は、全ての変更部分について、優先度がなく同様に扱われるためである。
【0008】
第3の問題点は、新たなウィンドウが表示される時に、画質が悪くなることである。
【0009】
その理由は、新たなウィンドウを転送するためには、ウィンドウ全体の画面データを送らなければならないからである。
【0010】
本発明は、画面のうち変化に伴う更新が必要な部分のみのデータを送信することにより、効率と画質を向上させることを可能とする画面送信装置、画面受信装置及びそれらを含む画面転送システム並びにそれらの方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の第1の観点によれば、画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成部と、前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成部と、前記メインウィンドウ情報生成部により生成された情報及び前記部品情報生成部により生成された情報を送信する送信部と、を備える画面送信装置と、前記画面送信装置の送信部から送られてきた情報を受信する受信部と、前記受信部が受信した、前記部品情報を基に部品画像データを生成する部品画像データ生成部と、前記受信部が受信した、前記識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成部と、を備える画面受信装置と、を備えることを特徴とする画面転送システムが提供される。
【0012】
本発明の第2の観点によれば、画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成部と、前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成部と、前記メインウィンドウ情報生成部により生成された情報及び前記部品情報生成部により生成された情報を送信する送信部と、を備えることを特徴とする画面送信装置が提供される。
【0013】
本発明の第3の観点によれば、画面送信装置の送信部から送られてきた情報を受信する受信部と、前記受信部が受信した、部品情報を基に部品画像データを生成する部品画像データ生成部と、前記受信部が受信した、メインウィンドウを識別するための識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成部と、を備えることを特徴とする画面受信装置が提供される。
【0014】
本発明の第4の観点によれば、画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成ステップと、前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成ステップと、前記メインウィンドウ情報生成ステップにより生成された情報及び前記部品情報生成部により生成された情報を送信する送信ステップと、前記送信ステップにより送られてきた情報を受信する受信ステップと、前記受信ステップで受信した、前記部品情報を基に部品画像データを生成する部品画像データ生成ステップと、前記受信ステップで受信した、前記識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成ステップと、を有することを特徴とする画面転送方法が提供される。
【0015】
本発明の第5の観点によれば、画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成ステップと、前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成ステップと、前記メインウィンドウ情報生成ステップにより生成された情報及び前記部品情報生成ステップにより生成された情報を送信する送信ステップと、を有することを特徴とする画面送信方法が提供される。
【0016】
本発明の第6の観点によれば、画面送信方法の送信ステップから送られてきた情報を受信する受信ステップと、前記受信ステップが受信した、部品情報を基に部品画像データを生成する部品画像データ生成ステップと、前記受信ステップが受信した、メインウィンドウを識別するための識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成ステップと、を有することを特徴とする画面受信方法が提供される。
【0017】
本発明の第7の観点によれば、コンピュータを画面送信装置として機能させるためのプログラムであって、前記コンピュータを、画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成部と、前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成部と、前記メインウィンドウ情報生成部により生成された情報及び前記部品情報生成部により生成された情報を送信する送信部と、として機能させるためのプログラムが提供される。
【0018】
本発明の第8の観点によれば、コンピュータを画面受信装置として機能させるためのプログラムであって、前記コンピュータを、画面送信装置の送信部から送られてきた情報を受信する受信部と、前記受信部が受信した、部品情報を基に部品画像データを生成する部品画像データ生成部と、前記受信部が受信した、メインウィンドウを識別するための識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成部と、として機能させるためのプログラムが提供される。
【発明の効果】
【0019】
本発明によれば、画面のうち変化に伴う更新が必要な部分のみのデータを送信することにより、効率と画質を向上させることを可能となる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施形態による画面送信装置の構成を示すブロック図である。
【図2】本発明の実施形態による画面受信装置の構成を示すブロック図である。
【図3】本発明の実施形態による画面送信方法を示すフローチャートである。
【図4】本発明の実施形態による画面受信方法を示すフローチャートである。
【発明を実施するための形態】
【0021】
以下、図面を参照して本発明を実施するための形態について詳細に説明する。
【0022】
図1を参照すると、本発明の実施形態による画面送信装置は、メインウィンドウ画像データ・データベース101、メインウィンドウ情報生成部103、部品ウィンドウ情報データベース105、部品ウィンドウ生成部B107、部品ウィンドウ生成部C109、部品情報生成部111及び送信部113を含む。
【0023】
メインウィンドウ画像データベース101は、メインウィンドウの識別情報に対応した正規化されたメインウィンドウの画像データを保持する。ここで、「正規化された」とは、全てのウィンドウの大きさが同じになることを意味してもよいが、単に、拡大や縮小される前であることを意味してもよい。
【0024】
メインウィンドウ情報生成部103は、画面に表示される画像データを入力し、これに含まれるメインウィンドウの識別情報と、そのメインウィンドウの大きさと、画面におけるそのメインウィンドウの位置をメインウィンドウ画像データベース101を参照することにより検出し、それらを出力する。検出のためには、例えば、入力した画像データとメインウィンドウ画像データベース101に保持されている各画像データを移動、拡大縮小した場合のものとの間の距離を測定し、距離が最小の場合のそれらの組合せを求める。
【0025】
部品ウィンドウ情報データベース105は、メインウィンドウ毎に、それに含まれている部品に関して、正規化されたメインウィンドウでの部品ウィンドウの位置と大きさを保持する。ここで、部品とは、エディットボックス、ラジオボタン、チェックボックスなどの画面表示用の部品のことである。また、部品ウィンドウとは部品を含む画面の領域のことである。そして、部品ウィンドウ情報データベース105は、メインウィンドウの識別情報が指定されたならば、その識別情報に対応する正規化されたメインウィンドウでの各部品ウィンドウの位置と大きさを出力する。
【0026】
部品ウィンドウ生成部B107は、画面でのメインウィンドウの大きさと、部品ウィンドウ情報データベース105から出力された上述した各部品ウィンドウの位置と大きさを基に、実際のメインウィンドウでの各部品ウィンドウの位置と大きさを出力する。
【0027】
部品ウィンドウ生成部C109は、画面でのメインウィンドウの位置と、部品ウィンドウ生成部B107から出力された実際のメインウィンドウでの各部品ウィンドウの位置と大きさを基に、画面での各部品ウィンドウの位置と大きさを出力する。
【0028】
部品情報生成部111は、部品ウィンドウ生成部C109から出力された画面での各部品ウィンドウの位置と大きさを基に、画像データから各部品の画像データを抽出し、その画像データと、更新頻度情報と、部品タイプ情報と、サイズ調整有無情報に基づいて、その画像データから部品情報を生成する。ここで、更新頻度情報とは、各部品の画像データをどれ位の頻度で更新するかを示す情報であり、例えば、Nフレームに1回という値で示される。また、部品タイプ情報は、部品ウィンドウ情報データベース105から各部品毎に出力されたものであり、部品が文字型のものであるのか、静止画型のものであるのか、動画型のものであるのかなどを示す。サイズ調整有無情報は、ウィンドウのサイズが調整されたときに、部品のサイズもそれに合わせて調整するか否かを示す情報である。部品情報は、例えば、部品タイプが文字型であれば、文字符号(JISコードなど)であり、部品タイプが静止画型又は動画型であれば、画像データ(ビットマップデータなど)、差分画像データ(差分ビットマップデータなど)、画像符号(JPEGデータなど)、差分画像符号(MPEGデータなど)である。部品情報は、更に、部品タイプ情報と、サイズ調整有無情報を含む。
【0029】
送信部113は、メインウィンドウ情報生成部103からメインウィンドウの識別情報と、その大きさを表す情報と、その位置を表す情報を入力し、部品情報生成部111から部品情報を入力し、入力した情報を画面受信装置に送信する。
【0030】
図2を参照すると、本発明の実施形態による画面受信装置は、受信部121、メインウィンドウ画像データ・データベース123、メインウィンドウ画像データ生成部125、メインウィンドウ画像データ一時保存部127、部品ウィンドウ情報データベース129、部品ウィンドウ生成部131、部品画像データベース133、部品画像データ一時保存部135、部品画像データ生成部137及び画像データ合成部139を含む。
【0031】
受信部121は、画面送信装置の送信部113が送信してきた情報を受信する。
【0032】
メインウィンドウ画像データ・データベース123は、メインウィンドウの識別情報に対応した正規化されたメインウィンドウの画像データを保持する。受信部121からメインウィンドウの識別情報を入力したならば、それに対応するメインウィンドウの画像データを出力する。また、そのメインウィンドウにおける各部品ウィンドウの位置を部品ウィンドウの識別情報と共に出力する。
【0033】
メインウィンドウ画像データ生成部125は、メインウィンドウ画像データベース123から入力した正規化されたメインウィンドウの画像データと、受信部121から入力した画面でのメインウィンドウの大きさに基づいて、大きさが調整された後のメインウィンドウの画像データを生成し、画像データ合成部139に出力する。また、生成した画像データをメインウィンドウ画像データ一時保存部127に書き込み、その後、メインウィンドウ画像データベース123から入力した正規化されたメインウィンドウの画像データも、受信部121から入力した画面でのメインウィンドウの大きさも変化しないならば、メインウィンドウ画像データ一時保存部127に書き込んである画像データを読出して、画像データ合成部139に出力してもよい。
【0034】
また、メインウィンドウ画像データ生成部125は、部品画像データ生成部137から入力する部品画像データに実際のメインウィンドウでの部品画像データの位置のついての位置情報が附随している場合には、メインウィンドウのその位置情報に基づいた位置に部品画像を挿入するが、部品画像データ生成部137から入力する部品画像データに実際のメインウィンドウでの部品画像データの位置のついての位置情報が附随していない場合には、メインウィンドウ画像データベース123から入力する部品ウィンドウの位置に関する情報に基づいた位置に部品画像を挿入する。
【0035】
部品ウィンドウ情報データベース129は、メインウィンドウ毎に、それに含まれている部品に関して、正規化されたメインウィンドウでの部品ウィンドウの位置と大きさを保持する。また、メインウィンドウの識別情報を受信部121から入力したならば、その識別情報で識別される正規化されたメインウィンドウにある各部品の部品ウィンドウの位置と大きさを出力する。
【0036】
部品ウィンドウ生成部131は、部品ウィンドウ情報データベース129から入力した正規化されたメインウィンドウにある各部品の部品ウィンドウの位置と大きさと、受信部121から入力した画面でのメインウィンドウの大きさを基に、実際のメインウィンドウでの各部品の部品ウィンドウの位置と大きさを出力する。
【0037】
部品画像データベース133は、部品画像データ生成部が部品情報を基に画像データを生成するために必要なデータを保持する。例えば、部品画像符号に対応した画像データ、部品差分画像に対応した差分画像データ、部品文字符号に対応した画像データなどを保持する。
【0038】
部品画像データ生成部137は、部品情報を基に、部品画像データベース133にあるデータを参照して、部品画像データを生成し、メインウィンドウ画像データ生成部125に出力する。ここで、サイズ調整有無情報によりサイズ調整なしが指定されているならば、部品ウィンドウ生成部131から入力した大きさを無視するが、サイズ調整有無情報によりサイズ調整ありが指定されているならば、部品ウィンドウ生成部131から入力した大きさに基づいて、部品画像データの大きさを調整する。また、部品ウィンドウ生成部131から入力した位置もメインウィンドウ画像データ生成部125に出力する。但し、上述したように、位置をウインウィンドウ画像データ生成部125に出力しなくても、メインウィンドウ画像データ生成部125は、メインウィンドウ画像データ・データベース123から入力した位置に基づいて、部品の画像データをメインウィンドウに配置する。
【0039】
また、部品画像データ生成部137は、生成した部品画像データを画像データ一時保存部135に書き込み、その後、部品画像データを更新しない時には、画像データ一時保存部135から部品画像データを読出して、それをメインウィンドウ画像データ生成部125に出力する。また、部品画像データを更新する時には、必要に応じて、画像データ一時保存部135から部品画像データを読出して、それを利用して部品画像データを更新して、更新後の部品画像データをメインウィンドウ画像データ生成部125に出力する。
【0040】
画像データ合成部139は、メインウィンドウ画像データ生成部125から部品画像データを含んで、サイズが調整されたメインウィンドウを入力し、受信部121から入力した画面でのメインウィンドウの位置に基づいてメインウィンドウの画面での位置を調整して、位置が調整されたメインウィンドウを含む画面を出力する。
【0041】
次に、本発明の実施形態による画面送信装置の動作について図3を参照して説明する。
【0042】
まず、メインウィンドウ情報生成部103は、メインウィンドウの識別情報、画面でのメインウィンドウの大きさ、画面でのメインウィンドウの位置を検出する(ステップS201)。
【0043】
次に、送信部113は、メインウィンドウの識別情報、画面でのメインウィンドウの大きさを表す情報、画面でのメインウィンドウの位置を表す情報を送信する(ステップS203)。
【0044】
次に、メインウィンドウ内での全ての変化する可能性がある部品についてステップS205SからステップS205Eの間にあるステップを繰り返す。
【0045】
i番目の部品について決められた更新頻度をNiフレームに1回とする。まず、Niフレーム経過したか否かを判断し、そうであれば(ステップS207でYES)、ステップS209に進む。
【0046】
ステップS209では、部品ウィンドウ情報データベース105は、部品ウィンドウ情報Aを出力する。ここで、部品ウィンドウ情報Aとは、正規化されたウィンドウでの部品ウィンドウの位置と大きさを表す情報である。
【0047】
次に、部品ウィンドウ生成部B107は、部品ウィンドウ情報Bを出力する(ステップS211)。ここで、部品ウィンドウ情報Bとは、実際のメインウィンドウでの部品ウィンドウの位置と大きさを表す情報である。
【0048】
次に、部品ウィンドウ生成部C109は、部品ウィンドウ情報Cを出力する(ステップS213)。ここで、部品ウィンドウ情報Cとは、画面での部品ウィンドウの位置と大きさを表す情報である。
【0049】
次に、部品情報生成部111は、部品情報を生成する(ステップS215)。
【0050】
次に、送信部113は、部品情報を送信する(ステップS217)。
【0051】
次に、本発明の実施形態による画面受信装置の動作について図4を参照して説明する。
【0052】
まず、受信部121が、メインウィンドウの識別情報、画面でのメインウィンドウの大きさを表す情報、画面でのメインウィンドウの位置を表す情報を受信したならば(ステップS231でYES)、メインウィンドウ画像データ生成部125は、メインウィンドウの画像データを生成し、(ステップS233)、生成した画像データをメインウィンドウ画像データ一時保存部127に保存し(ステップS235)、画像データ合成部139は、画像データを合成する(ステップS237)。
【0053】
次に、受信部121が部品情報を受信したならば(ステップS239でYES)、部品ウィンドウ情報データベース129から部品ウィンドウ情報Aを取得し(ステップS241)、部品ウィンドウ生成部131は、部品ウィンドウ情報Bを生成し(ステップS243)、部品画像データ生成部137は、部品画像を生成し(ステップS245)、メインウィンドウ画像データ生成部125は、ステップS235で生成した部品画像を含むメインウィンドウ画像データを生成し(ステップS247)、生成した画像データをメインウィンドウ画像データ一時保存部127に保存し(ステップS249)、画像データ合成部139は、画像データを合成し(ステップS251)、ステップS231に戻る。
【0054】
なお、上記の画面送信装置及び画面受信装置は、ハードウェア、ソフトウェア又はこれらの組合わせにより実現することができる。また、上記の画面送信装置及び画面受信装置によりそれぞれ行なわれる画面送信方法及び画面受信方法も、ハードウェア、ソフトウェア又はこれらに組合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0055】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0056】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0057】
(付記1)
画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成部と、
前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成部と、
前記メインウィンドウ情報生成部により生成された情報及び前記部品情報生成部により生成された情報を送信する送信部と、
を備える画面送信装置と、
前記画面送信装置の送信部から送られてきた情報を受信する受信部と、
前記受信部が受信した、前記部品情報を基に部品画像データを生成する部品画像データ生成部と、
前記受信部が受信した、前記識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成部と、
を備える画面受信装置と、
を備えることを特徴とする画面転送システム。
【0058】
(付記2)
付記1に記載の画面転送システムであって、
前記メインウィンドウ情報生成部は、前記メインウィンドウの大きさを示す情報も生成し、
前記送信部は、前記メインウィンドウの大きさを示す情報も送信し、
前記受信部は、前記メインウィンドウの大きさを示す情報も受信し、
前記メインウィンドウ画像データ生成部は、前記メインウィンドウの大きさを示す情報も基にして、大きさが調整された前記メインウィンドウ画像データを生成することを特徴とする画面転送システム。
【0059】
(付記3)
付記2に記載の画面転送システムであって、
前記部品画像データ生成部は、前記メインウィンドウの大きさを示す情報に基づいて、前記部品の大きさを調整することを特徴とする画面転送システム。
【0060】
(付記4)
付記2又は3に記載の画面転送システムであって、
前記メインウィンドウ画像データ生成部は、前記メインウィンドウの大きさと、前記メインウィンドウ画像データベース内の調整前の部品位置に基づいて、前記部品の位置を調整することを特徴とする画面転送システム。
【0061】
(付記5)
付記2乃至4の何れか1に記載の画面転送システムであって、
前記メインウィンドウを識別するための識別情報と前記メインウィンドウにおいて部品を識別するための識別情報を基に、前記部品の画像データを含む部品ウィンドウの位置と大きさを取得し、前記メインウィンドウの大きさと画面における前記メインウィンドウの位置を用いて、前記部品ウィンドウの位置と大きさを調整する部品ウィンドウ生成部を前記画面送信装置が更に備え、調整後の部品ウィンドウを用いて、前記部品情報生成部は前記部品の画像データを取得することを特徴とする画面転送システム。
【0062】
(付記6)
付記1乃至5の何れか1に記載の画面転送システムであって、
前記メインウィンドウ情報生成部は、前記メインウィンドウの画面における位置を示す情報も生成し、
前記送信部は、前記メインウィンドウの画面における位置を示す情報も送信し、
前記受信部は、前記メインウィンドウの画面における位置を示す情報も受信し、
前記画面受信装置は、前記メインウィンドウの画面における位置を示す情報を基に画面における前記メインウィンドウの位置を調整する画像データ合成部を更に備えることを特徴とする画面転送システム。
【0063】
(付記7)
付記1乃至6の何れか1に記載の画面転送システムであって、
前記部品画像データ生成部は、前記部品の種類に応じた符号化方式により前記部品情報を生成し、
前記部品画像データ生成部は、前記部品の種類に応じた復号方式により前記部品データを生成することを特徴とする画面転送システム。
【0064】
(付記8)
付記1乃至7の何れか1に記載の画面転送システムであって、
前記部品画像データ生成部は、指定された頻度で前記部品情報を生成することを特徴とする画面転送システム。
【0065】
(付記9)
付記1乃至8の何れか1に記載の画面転送システムであって、
前記メインウィンドウ情報生成部は、それが生成する情報を画像データから検出することを特徴とする画面転送システム。
【0066】
(付記10)
付記1乃至8の何れか1に記載の画面転送システムであって、
前記メインウィンドウ情報生成部は、それが生成する情報として、前記メインウィンドウを表示するためのプログラムからそれらの情報を取得することを特徴とする画面転送システム。
【0067】
(付記11)
画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成部と、
前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成部と、
前記メインウィンドウ情報生成部により生成された情報及び前記部品情報生成部により生成された情報を送信する送信部と、
を備えることを特徴とする画面送信装置。
【0068】
(付記12)
付記11に記載の画面送信装置であって、
前記メインウィンドウ情報生成部は、前記メインウィンドウの大きさを示す情報も生成し、
前記送信部は、前記メインウィンドウの大きさを示す情報も送信することを特徴とする画面送信装置。
【0069】
(付記13)
付記12に記載の画面送信装置であって、
前記メインウィンドウを識別するための識別情報と前記メインウィンドウにおいて部品を識別するための識別情報を基に、前記部品の画像データを含む部品ウィンドウの位置と大きさを取得し、前記メインウィンドウの大きさと画面における前記メインウィンドウの位置を用いて、前記部品ウィンドウの位置と大きさを調整する部品ウィンドウ生成部を更に備え、調整後の部品ウィンドウを用いて、前記部品情報生成部は前記部品の画像データを取得することを特徴とする画面送信装置。
【0070】
(付記14)
付記11乃至13の何れか1に記載の画面送信装置であって、
前記メインウィンドウ情報生成部は、前記メインウィンドウの画面における位置を示す情報も生成し、
前記送信部は、前記メインウィンドウの画面における位置を示す情報も送信することを特徴とする画面送信装置。
【0071】
(付記15)
付記11乃至14の何れか1に記載の画面送信装置であって、
前記部品画像データ生成部は、前記部品の種類に応じた符号化方式により前記部品情報を生成することを特徴とする画面送信装置。
【0072】
(付記16)
付記11乃至15の何れか1に記載の画面送信装置であって、
前記部品画像データ生成部は、指定された頻度で前記部品情報を生成することを特徴とする画面送信装置。
【0073】
(付記17)
付記11乃至16の何れか1に記載の画面送信装置であって、
前記メインウィンドウ情報生成部は、それが生成する情報を画像データから検出することを特徴とする画面送信装置。
【0074】
(付記18)
付記11乃至16の何れか1に記載の画面送信装置であって、
前記メインウィンドウ情報生成部は、それが生成する情報として、前記メインウィンドウを表示するためのプログラムからそれらの情報を取得することを特徴とする画面送信装置。
【0075】
(付記19)
画面送信装置の送信部から送られてきた情報を受信する受信部と、
前記受信部が受信した、部品情報を基に部品画像データを生成する部品画像データ生成部と、
前記受信部が受信した、メインウィンドウを識別するための識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成部と、
を備えることを特徴とする画面受信装置。
【0076】
(付記20)
付記19に記載の画面受信装置であって、
前記受信部は、前記メインウィンドウの大きさを示す情報も受信し、
前記メインウィンドウ画像データ生成部は、前記メインウィンドウの大きさを示す情報も基にして、大きさが調整された前記メインウィンドウ画像データを生成することを特徴とする画面受信装置。
【0077】
(付記21)
付記20に記載の画面受信装置であって、
前記部品画像データ生成部は、前記メインウィンドウの大きさを示す情報に基づいて、前記部品の大きさを調整することを特徴とする画面受信装置。
【0078】
(付記22)
付記20又は21に記載の画面受信装置であって、
前記メインウィンドウ画像データ生成部は、前記メインウィンドウの大きさと、前記メインウィンドウ画像データベース内の調整前の部品位置に基づいて、前記部品の位置を調整することを特徴とする画面受信装置。
【0079】
(付記23)
付記19乃至22の何れか1に記載の画面受信装置であって、
前記受信部は、前記メインウィンドウの画面における位置を示す情報も受信し、
前記メインウィンドウの画面における位置を示す情報を基に画面における前記メインウィンドウの位置を調整する画像データ合成部を更に備えることを特徴とする画面受信装置。
【0080】
(付記24)
付記19乃至23の何れか1に記載の画面受信装置であって、
前記部品画像データ生成部は、前記部品の種類に応じた復号方式により前記部品データを生成することを特徴とする画面受信装置。
【0081】
(付記25)
画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成ステップと、
前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成ステップと、
前記メインウィンドウ情報生成ステップにより生成された情報及び前記部品情報生成部により生成された情報を送信する送信ステップと、
前記送信ステップにより送られてきた情報を受信する受信ステップと、
前記受信ステップで受信した、前記部品情報を基に部品画像データを生成する部品画像データ生成ステップと、
前記受信ステップで受信した、前記識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成ステップと、
を有することを特徴とする画面転送方法。
【0082】
(付記26)
付記25に記載の画面転送方法であって、
前記メインウィンドウ情報生成ステップでは、前記メインウィンドウの大きさを示す情報も生成し、
前記送信ステップでは、前記メインウィンドウの大きさを示す情報も送信し、
前記受信ステップでは、前記メインウィンドウの大きさを示す情報も受信し、
前記メインウィンドウ画像データ生成ステップでは、前記メインウィンドウの大きさを示す情報も基にして、大きさが調整された前記メインウィンドウ画像データを生成することを特徴とする画面転送方法。
【0083】
(付記27)
付記26に記載の画面転送方法であって、
前記部品画像データ生成ステップでは、前記メインウィンドウの大きさを示す情報に基づいて、前記部品の大きさを調整することを特徴とする画面転送方法。
【0084】
(付記28)
付記26又は27に記載の画面転送方法であって、
前記メインウィンドウ画像データ生成ステップでは、前記メインウィンドウの大きさと、前記メインウィンドウ画像データベース内の調整前の部品位置に基づいて、前記部品の位置を調整することを特徴とする画面転送方法。
【0085】
(付記29)
付記26乃至28の何れか1に記載の画面転送方法であって、
前記メインウィンドウを識別するための識別情報と前記メインウィンドウにおいて部品を識別するための識別情報を基に、前記部品の画像データを含む部品ウィンドウの位置と大きさを取得し、前記メインウィンドウの大きさと画面における前記メインウィンドウの位置を用いて、前記部品ウィンドウの位置と大きさを調整する部品ウィンドウ生成ステップを更に有し、調整後の部品ウィンドウを用いて、前記部品情報生成ステップでは前記部品の画像データを取得することを特徴とする画面転送方法。
【0086】
(付記30)
付記25乃至29の何れか1に記載の画面転送方法であって、
前記メインウィンドウ情報生成ステップでは、前記メインウィンドウの画面における位置を示す情報も生成し、
前記送信ステップでは、前記メインウィンドウの画面における位置を示す情報も送信し、
前記受信ステップでは、前記メインウィンドウの画面における位置を示す情報も受信し、
当該画面受信方法は、前記メインウィンドウの画面における位置を示す情報を基に画面における前記メインウィンドウの位置を調整する画像データ合成ステップを更に有することを特徴とする画面転送方法。
【0087】
(付記31)
付記25乃至30の何れか1に記載の画面転送方法であって、
前記部品画像データ生成ステップでは、前記部品の種類に応じた符号化方式により前記部品情報を生成し、
前記部品画像データ生成ステップでは、前記部品の種類に応じた復号方式により前記部品データを生成することを特徴とする画面転送方法。
【0088】
(付記32)
付記25乃至31の何れか1に記載の画面転送方法であって、
前記部品画像データ生成ステップでは、指定された頻度で前記部品情報を生成することを特徴とする画面転送方法。
【0089】
(付記33)
付記25乃至32の何れか1に記載の画面転送方法であって、
前記メインウィンドウ情報生成ステップでは、それが生成する情報を画像データから検出することを特徴とする画面転送方法。
【0090】
(付記34)
付記25乃至32の何れか1に記載の画面転送方法であって、
前記メインウィンドウ情報生成ステップでは、それが生成する情報として、前記メインウィンドウを表示するためのプログラムからそれらの情報を取得することを特徴とする画面転送方法。
【0091】
(付記35)
画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成ステップと、
前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成ステップと、
前記メインウィンドウ情報生成ステップにより生成された情報及び前記部品情報生成ステップにより生成された情報を送信する送信ステップと、
を有することを特徴とする画面送信方法。
【0092】
(付記36)
付記35に記載の画面送信方法であって、
前記メインウィンドウ情報生成ステップでは、前記メインウィンドウの大きさを示す情報も生成し、
前記送信ステップでは、前記メインウィンドウの大きさを示す情報も送信することを特徴とする画面送信方法。
【0093】
(付記37)
付記36に記載の画面送信方法であって、
前記メインウィンドウを識別するための識別情報と前記メインウィンドウにおいて部品を識別するための識別情報を基に、前記部品の画像データを含む部品ウィンドウの位置と大きさを取得し、前記メインウィンドウの大きさと画面における前記メインウィンドウの位置を用いて、前記部品ウィンドウの位置と大きさを調整する部品ウィンドウ生成ステップを更に有し、調整後の部品ウィンドウを用いて、前記部品情報生成ステップでは前記部品の画像データを取得することを特徴とする画面送信方法。
【0094】
(付記38)
付記35乃至37の何れか1に記載の画面送信方法であって、
前記メインウィンドウ情報生成ステップでは、前記メインウィンドウの画面における位置を示す情報も生成し、
前記送信ステップでは、前記メインウィンドウの画面における位置を示す情報も送信することを特徴とする画面送信方法。
【0095】
(付記39)
付記35乃至38の何れか1に記載の画面送信方法であって、
前記部品画像データ生成ステップでは、前記部品の種類に応じた符号化方式により前記部品情報を生成することを特徴とする画面送信方法。
【0096】
(付記40)
付記35乃至39の何れか1に記載の画面送信方法であって、
前記部品画像データ生成ステップでは、指定された頻度で前記部品情報を生成することを特徴とする画面送信方法。
【0097】
(付記41)
付記35乃至40の何れか1に記載の画面送信方法であって、
前記メインウィンドウ情報生成ステップでは、それが生成する情報を画像データから検出することを特徴とする画面送信方法。
【0098】
(付記42)
付記35乃至40の何れか1に記載の画面送信方法であって、
前記メインウィンドウ情報生成ステップでは、それが生成する情報として、前記メインウィンドウを表示するためのプログラムからそれらの情報を取得することを特徴とする画面送信方法。
【0099】
(付記43)
画面送信方法の送信ステップから送られてきた情報を受信する受信ステップと、
前記受信ステップが受信した、部品情報を基に部品画像データを生成する部品画像データ生成ステップと、
前記受信ステップが受信した、メインウィンドウを識別するための識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成ステップと、
を有することを特徴とする画面受信方法。
【0100】
(付記44)
付記43に記載の画面受信方法であって、
前記受信ステップでは、前記メインウィンドウの大きさを示す情報も受信し、
前記メインウィンドウ画像データ生成ステップでは、前記メインウィンドウの大きさを示す情報も基にして、大きさが調整された前記メインウィンドウ画像データを生成することを特徴とする画面受信方法。
【0101】
(付記45)
付記44に記載の画面受信方法であって、
前記部品画像データ生成ステップでは、前記メインウィンドウの大きさを示す情報に基づいて、前記部品の大きさを調整することを特徴とする画面受信方法。
【0102】
(付記46)
付記44又は45に記載の画面受信方法であって、
前記メインウィンドウ画像データ生成ステップでは、前記メインウィンドウの大きさと、前記メインウィンドウ画像データベース内の調整前の部品位置に基づいて、前記部品の位置を調整することを特徴とする画面受信方法。
【0103】
(付記47)
付記43乃至46の何れか1に記載の画面受信方法であって、
前記受信ステップでは、前記メインウィンドウの画面における位置を示す情報も受信し、
当該画面受信方法は、前記メインウィンドウの画面における位置を示す情報を基に画面における前記メインウィンドウの位置を調整する画像データ合成ステップを更に有することを特徴とする画面受信方法。
【0104】
(付記48)
付記43乃至47の何れか1に記載の画面受信方法であって、
前記部品画像データ生成ステップでは、前記部品の種類に応じた復号方式により前記部品データを生成することを特徴とする画面受信方法。
【0105】
(付記49)
コンピュータを画面送信装置として機能させるためのプログラムであって、
前記コンピュータを、
画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成部と、
前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成部と、
前記メインウィンドウ情報生成部により生成された情報及び前記部品情報生成部により生成された情報を送信する送信部と、
として機能させるためのプログラム。
【0106】
(付記50)
付記49に記載のプログラムであって、
前記メインウィンドウ情報生成部は、前記メインウィンドウの大きさを示す情報も生成し、
前記送信部は、前記メインウィンドウの大きさを示す情報も送信することを特徴とするプログラム。
【0107】
(付記51)
付記50に記載のプログラムであって、
コンピュータを、更に、前記メインウィンドウを識別するための識別情報と前記メインウィンドウにおいて部品を識別するための識別情報を基に、前記部品の画像データを含む部品ウィンドウの位置と大きさを取得し、前記メインウィンドウの大きさと画面における前記メインウィンドウの位置を用いて、前記部品ウィンドウの位置と大きさを調整する部品ウィンドウ生成部として機能させ、
調整後の部品ウィンドウを用いて、前記部品情報生成部は前記部品の画像データを取得することを特徴とするプログラム。
【0108】
(付記52)
付記49乃至51の何れか1に記載のプログラムであって、
前記メインウィンドウ情報生成部は、前記メインウィンドウの画面における位置を示す情報も生成し、
前記送信部は、前記メインウィンドウの画面における位置を示す情報も送信することを特徴とするプログラム。
【0109】
(付記53)
付記49乃至52の何れか1に記載のプログラムであって、
前記部品画像データ生成部は、前記部品の種類に応じた符号化方式により前記部品情報を生成することを特徴とするプログラム。
【0110】
(付記54)
付記49乃至53の何れか1に記載のプログラムであって、
前記部品画像データ生成部は、指定された頻度で前記部品情報を生成することを特徴とするプログラム。
【0111】
(付記55)
付記49乃至54の何れか1に記載のプログラムであって、
前記メインウィンドウ情報生成部は、それが生成する情報を画像データから検出することを特徴とするプログラム。
【0112】
(付記56)
付記49乃至54の何れか1に記載のプログラムであって、
前記メインウィンドウ情報生成部は、それが生成する情報として、前記メインウィンドウを表示するためのプログラムからそれらの情報を取得することを特徴とするプログラム。
【0113】
(付記57)
コンピュータを画面受信装置として機能させるためのプログラムであって、
前記コンピュータを、
画面送信装置の送信部から送られてきた情報を受信する受信部と、
前記受信部が受信した、部品情報を基に部品画像データを生成する部品画像データ生成部と、
前記受信部が受信した、メインウィンドウを識別するための識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成部と、
として機能させるためのプログラム。
【0114】
(付記58)
付記57に記載のプログラムであって、
前記受信部は、前記メインウィンドウの大きさを示す情報も受信し、
前記メインウィンドウ画像データ生成部は、前記メインウィンドウの大きさを示す情報も基にして、大きさが調整された前記メインウィンドウ画像データを生成することを特徴とするプログラム。
【0115】
(付記59)
付記58に記載のプログラムであって、
前記部品画像データ生成部は、前記メインウィンドウの大きさを示す情報に基づいて、前記部品の大きさを調整することを特徴とするプログラム。
【0116】
(付記60)
付記58又は59に記載のプログラムであって、
前記メインウィンドウ画像データ生成部は、前記メインウィンドウの大きさと、前記メインウィンドウ画像データベース内の調整前の部品位置に基づいて、前記部品の位置を調整することを特徴とするプログラム。
【0117】
(付記61)
付記57乃至60の何れか1に記載のプログラムであって、
前記受信部は、前記メインウィンドウの画面における位置を示す情報も受信し、
前記メインウィンドウの画面における位置を示す情報を基に画面における前記メインウィンドウの位置を調整する画像データ合成部を更に備えることを特徴とするプログラム。
【0118】
(付記62)
付記57乃至61の何れか1に記載のプログラムであって、
前記部品画像データ生成部は、前記部品の種類に応じた復号方式により前記部品データを生成することを特徴とするプログラム。
【符号の説明】
【0119】
101 メインウィンドウ画像データベース
103 メインウィンドウ情報生成部
105 部品ウィンドウ情報データベース
107 部品ウィンドウ生成部B
109 部品ウィンドウ生成部C
111 部品情報生成部
113 送信部
121 受信部
123 メインウィンドウ画像データ・データベース
125 メインウィンドウ画像データ生成部
127 メインウィンドウ画像データ一時保存部
129 部品ウィンドウ情報データベース
131 部品ウィンドウ生成部
133 部品画像データ・データベース
135 部品画像データ一時保存部
137 部品画像データ生成部
139 画像データ合成部

【特許請求の範囲】
【請求項1】
画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成部と、
前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成部と、
前記メインウィンドウ情報生成部により生成された情報及び前記部品情報生成部により生成された情報を送信する送信部と、
を備える画面送信装置と、
前記画面送信装置の送信部から送られてきた情報を受信する受信部と、
前記受信部が受信した、前記部品情報を基に部品画像データを生成する部品画像データ生成部と、
前記受信部が受信した、前記識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成部と、
を備える画面受信装置と、
を備えることを特徴とする画面転送システム。
【請求項2】
請求項1に記載の画面転送システムであって、
前記メインウィンドウ情報生成部は、前記メインウィンドウの大きさを示す情報も生成し、
前記送信部は、前記メインウィンドウの大きさを示す情報も送信し、
前記受信部は、前記メインウィンドウの大きさを示す情報も受信し、
前記メインウィンドウ画像データ生成部は、前記メインウィンドウの大きさを示す情報も基にして、大きさが調整された前記メインウィンドウ画像データを生成することを特徴とする画面転送システム。
【請求項3】
請求項2に記載の画面転送システムであって、
前記部品画像データ生成部は、前記メインウィンドウの大きさを示す情報に基づいて、前記部品の大きさを調整することを特徴とする画面転送システム。
【請求項4】
画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成部と、
前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成部と、
前記メインウィンドウ情報生成部により生成された情報及び前記部品情報生成部により生成された情報を送信する送信部と、
を備えることを特徴とする画面送信装置。
【請求項5】
画面送信装置の送信部から送られてきた情報を受信する受信部と、
前記受信部が受信した、部品情報を基に部品画像データを生成する部品画像データ生成部と、
前記受信部が受信した、メインウィンドウを識別するための識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成部と、
を備えることを特徴とする画面受信装置。
【請求項6】
画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成ステップと、
前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成ステップと、
前記メインウィンドウ情報生成ステップにより生成された情報及び前記部品情報生成部により生成された情報を送信する送信ステップと、
前記送信ステップにより送られてきた情報を受信する受信ステップと、
前記受信ステップで受信した、前記部品情報を基に部品画像データを生成する部品画像データ生成ステップと、
前記受信ステップで受信した、前記識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成ステップと、
を有することを特徴とする画面転送方法。
【請求項7】
画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成ステップと、
前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成ステップと、
前記メインウィンドウ情報生成ステップにより生成された情報及び前記部品情報生成ステップにより生成された情報を送信する送信ステップと、
を有することを特徴とする画面送信方法。
【請求項8】
画面送信方法の送信ステップから送られてきた情報を受信する受信ステップと、
前記受信ステップが受信した、部品情報を基に部品画像データを生成する部品画像データ生成ステップと、
前記受信ステップが受信した、メインウィンドウを識別するための識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成ステップと、
を有することを特徴とする画面受信方法。
【請求項9】
コンピュータを画面送信装置として機能させるためのプログラムであって、
前記コンピュータを、
画像データから検出されたメインウィンドウを識別するための識別情報を生成するメインウィンドウ情報生成部と、
前記メインウィンドウに含まれる部品の画像データから該部品の画像データを表示するための部品情報を生成する部品情報生成部と、
前記メインウィンドウ情報生成部により生成された情報及び前記部品情報生成部により生成された情報を送信する送信部と、
として機能させるためのプログラム。
【請求項10】
コンピュータを画面受信装置として機能させるためのプログラムであって、
前記コンピュータを、
画面送信装置の送信部から送られてきた情報を受信する受信部と、
前記受信部が受信した、部品情報を基に部品画像データを生成する部品画像データ生成部と、
前記受信部が受信した、メインウィンドウを識別するための識別情報に対応した、メインウィンドウ画像データ・データベース内のメインウィンドウ画像データと、前記部品画像データを基に、部品画像が含まれたメインウィンドウを画面に表示するためのメインウィンドウ画像データを生成するメインウィンドウ画像データ生成部と、
として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate