画像中継装置、画像中継方法及び画像中継プログラム
【課題】画像中継装置における処理負荷を軽減する。
【解決手段】実施形態によれば、画像中継装置１００は、受信部１０１と、第１の判定部１０３と、送信部１１０とを含む。受信部１０１は、中継元機器１１，１２，１３から圧縮画像情報を受信する。第１の判定部１０３は、圧縮画像情報を展開することを含まない第１のパスによって圧縮画像情報を処理できるか否かを中継先機器２１に関する情報に基づいて判定する。送信部１１０は、第１のパスによって処理された圧縮画像情報、または、圧縮画像情報を展開し、描画し、再圧縮することを含む第２のパスによって処理された圧縮画像情報の再圧縮画像情報を中継先機器２１へと転送する。
【解決手段】実施形態によれば、画像中継装置１００は、受信部１０１と、第１の判定部１０３と、送信部１１０とを含む。受信部１０１は、中継元機器１１，１２，１３から圧縮画像情報を受信する。第１の判定部１０３は、圧縮画像情報を展開することを含まない第１のパスによって圧縮画像情報を処理できるか否かを中継先機器２１に関する情報に基づいて判定する。送信部１１０は、第１のパスによって処理された圧縮画像情報、または、圧縮画像情報を展開し、描画し、再圧縮することを含む第２のパスによって処理された圧縮画像情報の再圧縮画像情報を中継先機器２１へと転送する。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、画像中継に関する。
【背景技術】
【０００２】
従来、複雑な演算処理をサーバ装置が実行し、サーバ装置の表示画面を表す画像情報をクライアント装置に転送する画面転送技術が知られている。係る画面転送技術によれば、クライアント装置は簡易な入出力インターフェイスを備える表示端末によって実現できる。尚、係る画面転送技術において、典型的には、最初に全画面を表す画像情報が転送されるものの、以降は全画面ではなく更新領域を表す画像情報が逐次転送される。即ち、サーバ装置は、表示端末からの操作情報に従って画像情報を描画し、更新領域を検出し、更新領域を表す画像情報を圧縮し、圧縮画像情報を表示端末へと転送する必要がある。
【０００３】
係る画面転送技術は、画像中継システムに応用することもできる。画像中継システムにおいて、画像中継装置は１以上の中継元機器からの画像情報を１以上の中継先機器へと中継する。即ち、画像中継装置は、中継元機器からの圧縮画像情報を受信し、圧縮画像情報を展開し、画像情報を描画し、更新領域を検出し、更新領域を表す画像情報に必要な変更（例えば、クリップ処理など）を加え、加工済み画像情報を再圧縮し、再圧縮画像情報を中継先機器へと転送する。
【０００４】
しかしながら、圧縮画像情報に関して変更を加える必要がないこともある。係る場合には、中継先機器へと転送される再圧縮画像情報が中継元機器から受信する圧縮画像情報と一致するので、画像中継装置における展開、描画及び再圧縮を含む一連の処理は無駄である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｔ． Ｒｉｃｈａｒｄｓｏｎ， Ｑ． Ｓｔａｆｆｏｒｄ−Ｆｒａｓｅｒ， Ｋ． Ｗｏｏｄ ａｎｄ Ａ． Ｈｏｐｐｅｒ， “Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ，” ＩＥＥＥ Ｉｎｔｅｒｎｅｔ Ｃｏｍｐｕｔｉｎｇ， ｖｏｌ． ２ ， ｎｏ． １， ｐｐ． ３３−３８， １９９８
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実施形態は、画像中継装置における処理負荷を軽減することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態によれば、画像中継装置は、受信部と、第１の判定部と、送信部とを含む。受信部は、中継元機器から圧縮画像情報を受信する。第１の判定部は、圧縮画像情報を展開することを含まない第１のパスによって圧縮画像情報を処理できるか否かを中継先機器に関する情報に基づいて判定する。送信部は、第１のパスによって処理された圧縮画像情報、または、圧縮画像情報を展開し、描画し、再圧縮することを含む第２のパスによって処理された圧縮画像情報の再圧縮画像情報を中継先機器へと転送する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像中継装置を例示するブロック図。
【図２】第１の実施形態に係る画像中継装置によって中継される画像情報を例示する図。
【図３】第２の実施形態に係る画像中継装置を例示するブロック図。
【図４】第３の実施形態に係る画像中継装置を例示するブロック図。
【図５】図４のウェブページ生成部によって生成されるウェブページを例示する図。
【図６】第３の実施形態に係る画像中継装置によって中継される画像情報を例示する図。
【図７】第４の実施形態に係る画像中継装置を例示するブロック図。
【図８】第４の実施形態に係る画像中継装置によって中継される画像情報を例示する図。
【図９】第４の実施形態に係る画像中継装置によって中継される画像情報を例示する図。
【図１０】第４の実施形態に係る画像中継装置によって中継される画像情報を例示する図。
【図１１】第４の実施形態に係る画像中継装置の動作を例示するフローチャート。
【図１２】第４の実施形態に係る画像中継装置の動作を例示するフローチャート。
【図１３】第４の実施形態に係る画像中継装置の動作を例示するシーケンス図。
【図１４】第４の実施形態に係る画像中継装置の動作を例示するフローチャート。
【図１５】第５の実施形態に係る画像中継装置を例示するブロック図。
【図１６】第５の実施形態に係る画像中継装置によって中継される画像情報を例示する図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。また、以降の説明において、「画像情報」は画像（例えば、中継元機器における表示画面画像、動画像の１フレーム、静止画像、ウェブ上の画像など）の全領域を表すこともあれば、部分領域を表すこともある。
【００１０】
（第１の実施形態）
第１の実施形態に係る画像中継装置１００が図１に例示される。画像中継装置１００は、基本的には、１以上の中継元機器からの画像情報をネットワーク経由で受信し、当該画像情報を１以上の中継先機器へとネットワーク経由で転送する。
【００１１】
図１の例において、画像情報の受信及び転送には画面転送プロトコル（例えば、ＶＮＣ（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ））が使用される。従って、基本的には、画像中継装置１００は、中継元機器に対してクライアント装置として機能し、中継先機器に対してサーバ装置として機能する。クライアント装置（中継先機器または画像中継装置１００）は、画面更新要求メッセージをサーバ装置（画像中継装置１００または中継元機器）へと送信する。クライアント装置は、画面更新要求メッセージにおいて、希望する圧縮方式などを指定することも可能である。サーバ装置は、画面更新要求メッセージを受信すると、画面更新要求メッセージにおける指定に従った画像情報をクライアント装置へと転送する。サーバ装置は、典型的には、画面転送開始後に全画面を表す画像情報をクライアント装置へ１度転送するが、その後は更新領域を表す画像情報をクライアント装置へと転送し続ける。また、サーバ装置は、画面更新要求メッセージを受信する度に画像情報を転送してもよいし、画面更新要求メッセージを１度受信してその後は自動的に画像情報を転送してもよい。
【００１２】
画像中継装置１００は、図１に示されるように、受信部１０１と、レイアウト情報記憶部１０２と、判定部１０３と、展開部１０４と、描画部１０５と、フレームバッファ１０６と、更新検出部１０７と、画像情報加工部１０８と、圧縮部１０９と、送信部１１０と、変換部１１１とを含む。図１の例によれば、画像中継装置１００は、中継元機器１１の画像情報Ａと、中継元機器１２の画像情報Ｂと、中継元機器１３の画像情報Ｃとを中継先機器２１へと中継する。
【００１３】
受信部１０１は、中継元機器から圧縮画像情報を受信し、判定部１０３へと出力する。図１の例によれば、受信部１０１は、中継元機器１１から画像情報Ａに基づく圧縮画像情報を受信し、中継元機器１２から画像情報Ｂに基づく圧縮画像情報を受信し、中継元機器１３から画像情報Ｃに基づく圧縮画像情報を受信する。
【００１４】
レイアウト情報記憶部１０２は、中継先機器におけるレイアウト情報を記憶する。レイアウト情報は、中継先機器において表示される画像情報の表示位置情報、重ね合わせ情報、クリップ情報、拡大率情報などを含むことができる。レイアウト情報は、例えば、画像中継の開始時に中継先機器から画像中継装置１００に通知されてもよいし、画像中継の開始前にレイアウト情報記憶部１０２に予め記憶されていてもよい。また、レイアウト情報は必ずしも中継先機器によって決定される必要はなく、画像中継装置１００によって決定されてもよい。
【００１５】
表示位置情報は、例えば座標情報を用いて記憶される。座標情報とは、例えば１０２４×７６８ピクセルの画面において画面中の最上端かつ最左端の座標を（０，０）として定義し、最下端かつ最右端の座標を（１０２３，７６７）として定義する座標系によって表すことができる。表示位置情報は、画像情報の表示位置の最上端かつ最左端の座標情報と当該画像情報のサイズ情報との組み合わせであってもよい。例えば、画像中継装置１００が図２に示されるように画像情報Ａ及び画像情報Ｂを中継するならば、画像情報Ａの表示位置情報として（２０，１０）と幅８００ピクセル×高さ６００ピクセルとの組み合わせがレイアウト情報記憶部１０２に記憶され、画像情報Ｂの表示位置情報として（１２０，１１０）、幅８００ピクセル×高さ６００ピクセルとの組み合わせがレイアウト情報記憶部１０２に記憶される。或いは、表示位置情報は、表示位置の最上端かつ最左端の座標情報と最下端かつ最右端の座標情報との組み合わせであってもよい。但し、表示位置情報は、座標情報に限られず画像情報の表示位置が導出可能な任意の形式によって記憶されてよい。
【００１６】
重ね合わせ情報は、複数の画像情報について各画像情報を表示する上下関係を表す。例えば、画像中継装置１００が図２に示されるように画像情報Ａ及び画像情報Ｂを中継するならば、重ね合わせ情報として画像情報Ｂが画像情報Ａの上に表示されることを示す情報がレイアウト情報記憶部１０２に記憶される。
【００１７】
クリップ情報は、例えばある画像情報についてクリップされる（切り抜かれて表示されない）領域を表す情報である。クリップされる領域は、例えば複数の画像情報の重ね合わせによって発生する。例えば、画像中継装置１００が図２に示されるように画像情報Ａ及び画像情報Ｂを中継するならば、画像情報Ａのうち（１００，１００）から幅７００ピクセル×高さ５００ピクセルを表す情報がクリップ情報としてレイアウト情報記憶部１０２に記憶される。或いは、クリップ情報は、表示位置情報及び重ね合わせ情報に基づいて導出可能なので、レイアウト情報記憶部１０２に記憶されなくてもよい。少なくとも１つの画像情報がクリップされる領域を含むならば、画像中継装置１００、中継先機器または中継元機器が画像情報に対してクリップ処理を行う必要がある。
【００１８】
拡大率情報は、中継先機器において表示される画像情報の拡大率を表す。拡大率は、例えば、中継元機器において表示される画像情報を基準に計算される。拡大率は、幅方向及び高さ方向の両方について１つの値が指定されてもよいし、幅方向及び高さ方向の夫々について１つの値が指定されてもよい。また、拡大率は、等倍以上であってもよいし、等倍未満（即ち、縮小を意味する）であってもよい。幅方向及び高さ方向の少なくとも一方が等倍でなければ、画像中継装置１００、中継先機器または中継元機器が画像情報に対して拡大処理または縮小処理を行う必要がある。
【００１９】
判定部１０３は、受信部１０１から圧縮画像情報を入力し、レイアウト情報記憶部１０２からレイアウト情報を読み出す。判定部１０３は、圧縮画像情報を展開することを含まない第１のパスによって当該圧縮画像情報を処理できるか否かをレイアウト情報に基づいて判定する。ここで、第１のパスとは、変換部１１１を経て送信部１１０に至る処理経路を指す。第１のパスにおいて、圧縮画像情報は変更されない。他方、第２のパスとは、展開部１０４、描画部１０５、フレームバッファ１０６、更新検出部１０７、画像情報加工部１０８及び圧縮部１０９を経て送信部１１０に至る処理経路を指す。第２のパスにおいて、圧縮画像情報は変更を加えられ再圧縮画像情報として出力される。判定部１０３は、圧縮画像情報を第１のパスによって処理できると判定する場合には当該圧縮画像情報を変換部１１１へと出力し、そうでない場合には当該圧縮画像情報を展開部１０４へと出力する。
【００２０】
換言すれば、判定部１０３は、圧縮画像情報に変更を加える必要があるか否かをレイアウト情報に基づいて判定する。圧縮画像情報に変更を加える必要がある場合には第１のパスによって圧縮画像情報を処理できないので、第２のパスによって圧縮画像情報を処理すべきである。他方、圧縮画像情報に変更を加える必要がない場合には第１のパスによって圧縮画像情報を処理することによって無駄な処理負荷を回避できる。
【００２１】
例えば、圧縮画像情報に対応する画像情報がクリップされる領域を含む場合には、判定部１０３は圧縮画像情報を第１のパスによって処理できないと判定する。尚、判定部１０３は、前述の表示位置情報及び重ね合わせ情報の組み合わせ、クリップ情報などに基づいて画像情報がクリップされる領域を含むか否かを確認できる。図２の例によれば、判定部１０３は、画像情報Ａに基づく圧縮画像情報は第１のパスによって処理できないと判定し、画像情報Ｂに基づく圧縮画像情報は第１のパスによって処理できると判定する。
【００２２】
また、圧縮画像情報に対応する画像情報が拡大処理または縮小処理される場合には、判定部１０３は圧縮画像情報を第１のパスによって処理できないと判定する。尚、判定部１０３は、前述の拡大率情報に基づいて圧縮画像情報に対応する画像情報が拡大処理または縮小処理されるか否かを確認できる。
【００２３】
但し、係る判定は、中継先機器及び中継元機器がクリップ処理、拡大処理、縮小処理などを行わないことを前提としている。従って、中継先機器または中継元機器がクリップ処理を行う場合には、判定部１０３は、圧縮画像情報に対応する画像情報がクリップされる領域を含むことのみを理由に、圧縮画像情報を第１のパスによって処理できないと判定する必要はない。また、中継先機器または中継元機器が拡大処理または縮小処理を行う場合には、判定部１０３は、圧縮画像情報に対応する画像情報が拡大処理または縮小処理されることのみを理由に、圧縮画像情報を第１のパスによって処理できないと判定する必要はない。尚、前述のように、画像中継装置１００がレイアウト情報を決定する場合には、当該レイアウト情報を中継先機器に通知する必要があるかもしれない。図２の例によれば、画像中継装置１００は、画像情報Ａに基づく圧縮画像情報と共に画像情報Ａの（１００，１００）から幅７００ピクセル×高さ５００ピクセルがクリップされる領域であることを示すクリップ情報を送信してもよい。或いは、画像中継装置１００は、画像情報Ａの上に画像情報Ｂが表示されることを示す重ね合わせ情報を送信してもよい。
【００２４】
展開部１０４は、判定部１０３から圧縮画像情報を入力する。展開部１０４は、圧縮画像情報の圧縮方式に従って当該圧縮画像情報を展開し、画像情報を得る。展開部１０４は、画像情報を描画部１０５へと出力する。
【００２５】
描画部１０５は、展開部１０４から画像情報を入力する。描画部１０５は、画像情報をフレームバッファ１０６に描画する。更に、描画部１０５は、描画した画像情報の中継元機器における画面内位置情報を更新検出部１０７へと出力する。前述のように、画像情報は、画像（例えば、中継元機器の表示画面）の全体を表すこともあれば、更新領域を表すこともある。即ち、図１に例示されるように、フレームバッファ１０６において、画像情報Ｂのうち更新領域の画像情報ｂが描画されたり、画像情報Ｃのうち更新領域の画像情報ｃが描画されたりする。更新領域の位置情報は、任意の形式で表現されてもよいが、例えば更新領域を構成する１以上の矩形領域の位置情報の組み合わせによって表現することができる。例えば、描画部１０５は、（０，０）から幅１０ピクセル×高さ１０ピクセルの矩形領域の位置情報と、（３０，３０）から幅２００ピクセル×高さ５ピクセルの矩形領域の位置情報とを更新検出部１０７へ出力する。
【００２６】
フレームバッファ１０６は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスク、メモリカードなどの任意の記憶媒体によって実現できる。フレームバッファ１０６には、描画部１０５によって画像情報が描画され、必要に応じて読み出される。
【００２７】
更新検出部１０７は、描画された画像情報の中継元機器における画面内位置情報を描画部１０５から入力し、これに基づいて更新領域の位置情報を検出する。更新検出部１０７は、更新領域の位置情報を画像情報加工部１０８へと出力する。具体的には、更新検出部１０７は、入力した位置情報を更新領域の位置情報として扱ってもよいし、差分抽出処理を行って更新領域の位置情報を詳細に検出してもよい。
【００２８】
差分抽出処理は、描画部１０５によってフレームバッファ１０６に描画された画像情報と、中継先機器へ転送済みのバックアップ画像情報とを比較し、変化の生じた領域を更新領域として検出するものである。バックアップ画像情報は、フレームバッファ１０６或いは図示しない記憶部に記憶される。いずれにせよ、差分抽出処理が行われる場合には、最新の更新領域を用いてバックアップ画像情報が更新される。
【００２９】
画像情報加工部１０８は、更新検出部１０７から更新領域の位置情報を入力し、レイアウト情報記憶部１０２からレイアウト情報を読み出す。画像情報加工部１０８は、レイアウト情報及び更新領域の位置情報に基づいて、更新領域のうち中継先機器において表示される画像領域を特定し、特定した画像領域の画像情報をフレームバッファ１０６から読み出す。即ち、画像情報加工部１０８は、更新領域のうち中継先機器において表示されない画像領域をクリップする。
【００３０】
図２の例によれば、画像情報Ａのうち中継先機器２１において表示される画像領域は、（０，０）から幅８００ピクセル×高さ１００ピクセルと、（０，１００）から幅１００ピクセル×高さ５００ピクセルとにより構成される。従って、更新領域が（０，０）から幅４００ピクセル×高さ４００ピクセルであるならば、画像情報加工部１０８は（０，０）から幅４００ピクセル×高さ１００ピクセルの画像領域と（０，１００）から幅１００ピクセル×高さ３００ピクセルの画像領域とを特定し、フレームバッファ１０６から読み出す。
【００３１】
更に、画像情報加工部１０８は、フレームバッファ１０６から読み出した画像情報に必要に応じて拡大処理または縮小処理を行って、加工済み画像情報を得る。画像情報加工部１０８は、加工済み画像情報を圧縮部１０９へと出力する。
【００３２】
圧縮部１０９は、加工済み画像情報を圧縮し、再圧縮画像情報を得る。圧縮部１０９は、再圧縮画像情報を送信部１１０へと出力する。
【００３３】
変換部１１１は、判定部１０３から圧縮画像情報を入力する。変換部１１１は、中継元機器から受信した圧縮画像情報を展開することなく中継先機器へと転送するための変換処理を行うインターフェイスとして機能する。ここで、変換処理は、例えばメッセージ変換処理、座標情報変換処理、ネットワーク情報変換処理、レイアウト情報付加処理などを含むことができる。例えば、変換部１１１は、圧縮画像情報に対応する画像情報の表示位置の座標情報をレイアウト情報に基づいて中継先機器の画面における座標情報に対応付ける座標情報変換処理を行ってもよい。図２の例によれば、画像情報Ｂの（０，０）の座標が中継先機器の画面における（１２０，１１０）の座標へと対応付けられる。変換部１１１は、変換処理済みの圧縮画像情報を送信部１１０へと出力する。従って、第１のパスによれば、第２のパスにおける種々の処理（例えば、展開、描画、画像加工、再圧縮）を省略し、処理負荷を削減できる。
【００３４】
送信部１１０は、圧縮部１０９からの再圧縮画像情報または変換部１１１からの圧縮画像情報を入力する。送信部１１０は、入力した再圧縮画像情報または圧縮画像情報を中継先機器へと転送する。尚、送信部１１０は、中継元機器から圧縮画像情報を受信する毎に再圧縮画像情報または圧縮画像情報を逐次転送してもよいし、図示しないタイマからの定期的な割り込みに従って再圧縮画像情報または圧縮画像情報をまとめて転送してもよい。また、送信部１１０は、再圧縮画像情報の転送タイミングと圧縮画像情報の転送タイミングとを揃えてもよいし、揃えなくてもよい。
【００３５】
以上説明したように、第１の実施形態に係る画像中継装置は、中継先機器に関する情報の一類型であるレイアウト情報に基づいて、中継元機器からの圧縮画像情報に変更（例えば、圧縮画像情報に対応する画像情報へのクリップ処理、拡大処理、縮小処理など）を加える必要があるか否かを判定する。この画像中継装置は、圧縮画像情報に変更を加える必要がある場合には展開、描画及び再圧縮を含む一連の処理を第２のパスによって実施するが、そうでない場合には第１のパスを利用して上記一連の処理を省略する。従って、この画像中継装置によれば、処理負荷を軽減できる。
【００３６】
（第２の実施形態）
第２の実施形態に係る画像中継装置２００は、図３に示されるように、受信部１０１と、判定部２０３と、展開部１０４と、描画部１０５と、フレームバッファ１０６と、更新検出部１０７と、画像情報加工部２０８と、圧縮部１０９と、送信部１１０と、変換部１１１と、表示能力情報記憶部２１２と、画像形式情報記憶部２１３とを含む。
【００３７】
表示能力情報記憶部２１２は、中継先機器の表示能力情報を記憶する。表示能力情報は、中継先機器の第１の圧縮方式情報、第１の画素形式情報などを含むことができる。第１の圧縮方式情報は、中継先機器が展開可能な圧縮方式（例えば、ｚｌｉｂなど）を示す。第１の画素形式情報は、中継先機器が表示可能な画素形式を示す。画素形式は、ｂｐｐ、ｄｅｐｔｈ、カラーマップなどを含む。ｂｐｐは、１画素あたりのビット数を表す。ｄｅｐｔｈは、１画素が表現可能な色数を表す。カラーマップは、色番号と実際の色との対応関係を定義する。表示能力情報は、例えば、画像中継の開始時に中継先機器から画像中継装置２００に通知されてもよいし、画像中継の開始前に表示能力情報記憶部２１２に予め記憶されていてもよい。また、表示能力情報は必ずしも中継先機器によって決定される必要はなく、中継先機器の実際の表示能力に基づいて画像中継装置２００によって決定されてもよい。
【００３８】
画像形式情報２１３は、中継元機器からの圧縮画像情報の画像形式情報を記憶する。画像形式情報は、圧縮画像情報の第２の圧縮方式情報、第２の画素形式情報などを含むことができる。第２の圧縮方式情報は、圧縮画像情報の圧縮方式を示す。第２の画素形式情報は、圧縮画像情報に対応する画像情報の画素形式を示す。画像形式情報は、例えば、画像中継の開始時に中継元機器から画像中継装置２００に通知されてもよいし、画像中継の開始前に画像形式情報記憶部２１３に予め記憶されていてもよいし、画像中継の開始後に受信した圧縮画像情報を解析することにより得られてもよい。また、画像形式情報は必ずしも中継元機器によって決定される必要はなく、画像中継装置２００によって決定されてもよい。
【００３９】
判定部２０３は、受信部１０１から圧縮画像情報を入力し、表示能力情報記憶部２１２から表示能力情報を読み出し、画像形式情報記憶部２１３から画像形式情報を読み出す。判定部２０３は、圧縮画像情報を展開することを含まない第１のパスによって当該圧縮画像情報を処理できるか否かを表示能力情報及び画像形式情報に基づいて判定する。ここで、第１のパスとは、変換部１１１を経て送信部１１０に至る処理経路を指す。第１のパスにおいて、圧縮画像情報は変更されない。他方、第２のパスとは、展開部１０４、描画部１０５、フレームバッファ１０６、更新検出部１０７、画像情報加工部２０８及び圧縮部１０９を経て送信部１１０に至る処理経路を指す。第２のパスにおいて、圧縮画像情報は変更を加えられ再圧縮画像情報として出力される。判定部２０３は、圧縮画像情報を第１のパスによって処理できると判定する場合には当該圧縮画像情報を変換部１１１へと出力し、そうでない場合には当該圧縮画像情報を展開部１０４へと出力する。
【００４０】
換言すれば、判定部２０３は、圧縮画像情報に変更を加える必要があるか否かを表示能力情報及び画像形式情報に基づいて判定する。圧縮画像情報に変更を加える必要がある場合には第１のパスによって圧縮画像情報を処理できないので、第２のパスによって圧縮画像情報を処理すべきである。他方、圧縮画像情報に変更を加える必要がない場合には第１のパスによって圧縮画像情報を処理することによって無駄な処理負荷を回避できる。
【００４１】
判定部２０３は、中継先機器が圧縮画像情報を展開する能力を持たないならば、圧縮画像情報を第１のパスによって処理できないと判定する。例えば、判定部２０３は、画像形式情報に含まれる第２の圧縮方式情報が示す圧縮方式が、表示能力情報に含まれる第１の圧縮方式情報が示す１以上の圧縮方式のいずれとも合致しなければ、中継先機器が圧縮画像情報を展開する能力を持たないことを確認できる。
【００４２】
また、判定部２０３は、中継先機器が圧縮画像情報に対応する画像情報を表示する能力を持たないならば、圧縮画像情報を第１のパスによって処理できないと判定する。例えば、判定部２０３は、画像形式情報に含まれる第２の画素形式情報が示すｂｐｐまたはｄｅｐｔｈが、表示能力情報に含まれる第１の画素形式情報が示すｂｐｐまたはｄｅｐｔｈを上回るならば、中継先機器が圧縮画像情報に対応する画像情報を表示する能力を持たないことを確認できる。また、判定部２０３は、画像形式情報に含まれる第２の画素形式情報が示すカラーマップが、表示能力情報に含まれる第１の画素形式情報が示すカラーマップにおいて定義されていない対応関係を含むならば、中継先機器が圧縮画像情報に対応する画像情報を表示する能力を持たないことを確認できる。
【００４３】
画像情報加工部２０８は、更新検出部１０７から更新領域の位置情報を入力し、表示能力情報記憶部２１２から表示能力情報を読み出し、画像形式情報記憶部２１３から画像形式情報を読み出す。画像情報加工部２０８は、更新領域の画像情報をフレームバッファ１０６から読み出す。画像情報加工部２０８は、更新領域の画像情報の画素形式または圧縮方式を必要に応じて変更する。例えば、画像情報加工部２０８は、更新領域の画像情報の画素形式を表示能力情報に基づいて変更してから、圧縮部１０９へと出力する。或いは、画像情報加工部２０８は、表示能力情報に基づいて更新領域の画像情報の圧縮方式を指定し、更新領域の画像情報を圧縮部１０９へと出力する。
【００４４】
以上説明したように、第２の実施形態に係る画像中継装置は、中継先機器に関する情報の一類型である表示能力情報と、中継元機器に関する情報の一類型である画像形式情報とに基づいて、中継元機器からの圧縮画像情報に変更（例えば、圧縮画像情報に対応する画像情報の画像形式の変更、圧縮画像情報の圧縮方式の変更など）を加える必要があるか否かを判定する。この画像中継装置は、圧縮画像情報に変更を加える必要がある場合には展開、描画及び再圧縮を含む一連の処理を第２のパスによって実施するが、そうでない場合には第１のパスを利用して上記一連の処理を省略する。従って、この画像中継装置によれば、処理負荷を軽減できる。
【００４５】
（第３の実施形態）
第３の実施形態に係る画像中継装置３００は、図４に示されるように、受信部１０１と、判定部３０３と、展開部１０４と、描画部１０５と、フレームバッファ１０６と、更新検出部１０７と、画像情報加工部３０８と、圧縮部１０９と、送信部３１０と、変換部１１１と、メタデータ付加部３１４と、プロトコル情報記憶部３１５と、ウェブページ生成部３１６とを含む。
【００４６】
プロトコル情報記憶部３１５は、プロトコル情報を記憶する。プロトコル情報は、画像中継装置３００から中継先機器へ圧縮画像情報または再圧縮画像情報を転送するための第１のプロトコル（例えば、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＶＮＣなど）を示す。プロトコル情報は、例えば、画像中継の開始時に中継先機器から画像中継装置３００に通知されてもよいし、画像中継の開始前にプロトコル情報記憶部３１５に予め記憶されていてもよい。また、プロトコル情報は、必ずしも中継先機器によって決定される必要はなく、中継先機器がサポートする１または複数のプロトコルの中から画像中継装置３００によって決定されてもよい。尚、簡単化のために、以降の説明において特に断りのない限り、第１のプロトコルはＨＴＴＰであるとする。
【００４７】
メタデータ付加部３１４は、受信部１０１から圧縮画像情報を入力する。メタデータ付加部３１４は、第１のプロトコルがＨＴＴＰである場合に、圧縮画像情報にメタデータを付加する。メタデータは、中継元機器の情報（例えば、ＩＰアドレス）、中継元機器が圧縮画像情報を画像中継装置３００に転送するために使用した第２のプロトコルを示す情報、画像形式情報（例えば、圧縮方式情報、画素形式情報など）、表示位置情報（例えば、座標情報）、データサイズ、エイリアス名などを含む。尚、本実施形態において、種々のプロトコルが想定され、圧縮画像情報はＰＣモニタなどの画面情報に限られず動画像情報、ウェブ上の画像情報（例えば、天気図など）などに基づくものであってよい。メタデータ付加部３１４は、メタデータ付加済みの圧縮画像情報を判定部３０３へと出力する。
【００４８】
判定部３０３は、メタデータ付加部３１４から圧縮画像情報を入力し、プロトコル情報記憶部３１５からプロトコル情報を読み出す。判定部３０３は、圧縮画像情報を展開することを含まない第１のパスによって当該圧縮画像情報を処理できるか否かをプロトコル情報に基づいて判定する。ここで、第１のパスとは、変換部１１１及びウェブページ生成部３１６を経て送信部３１０に至る処理経路を指す。第１のパスにおいて、圧縮画像情報は変更されない。他方、第２のパスとは、展開部１０４、描画部１０５、フレームバッファ１０６、圧縮部１０９、ウェブページ生成部３１６を経て送信部３１０に至る処理経路を指す。第２のパスにおいて、圧縮画像情報は変更を加えられ再圧縮画像情報として出力される。判定部３０３は、圧縮画像情報を第１のパスによって処理できると判定する場合には当該圧縮画像情報を変換部１１１へと出力し、そうでない場合には当該圧縮画像情報を展開部１０４へと出力する。
【００４９】
換言すれば、判定部３０３は、圧縮画像情報に変更を加える必要があるか否かをプロトコル情報に基づいて判定する。圧縮画像情報に変更を加える必要がある場合には第１のパスによって圧縮画像情報を処理できないので、第２のパスによって圧縮画像情報を処理すべきである。他方、圧縮画像情報に変更を加える必要がない場合には第１のパスによって圧縮画像情報を処理することによって無駄な処理負荷を回避できる。
【００５０】
判定部３０３は、第１のプロトコルによって圧縮画像情報を転送できないならば、圧縮画像情報を第１のパスによって処理できないと判定する。例えば、第１のプロトコルと第２のプロトコルとが一致する（例えば、第１のプロトコル及び第２のプロトコルの両方が、画面転送プロトコル、ＭＰＥＧ４などである）ならば、基本的には第１のプロトコルによって圧縮画像情報を転送できる。また、第１のプロトコルと第２のプロトコルが一致しない（例えば、第１のプロトコルが画面転送プロトコルであり、第２のプロトコルがＨＴＴＰである）場合であっても、第１のプロトコルによって圧縮画像情報を転送できることもある。他方、第１のプロトコルと第２のプロトコルとが一致しない場合に、第１のプロトコルによって圧縮画像情報を転送できないこともある。具体的には、圧縮画像情報が第１のプロトコルによって必要とされる情報の一部を欠いている場合、圧縮画像情報が第１のプロトコルによってサポートされる画像形式と相違する場合などには、第１のプロトコルによって圧縮画像情報を転送できない。
【００５１】
例えば、第１のプロトコルが画像全体の画像情報を必要とするＨＴＴＰであり、第２のプロトコルが画像全体の画像情報を必ずしも転送しない画面転送プロトコルである場合に、第１のプロトコルによって圧縮画像情報を転送すると中継先機器において表示に必要な情報が不足する。故に、第２のパスによって、画像全体の画像情報に基づく再圧縮画像情報を得る必要がある。また、第１のプロトコルが静止画像情報を転送する画面転送プロトコルであり、第２のプロトコルが動画像情報を転送するＭＰＥＧ４である場合に、サポートする画像形式が異なるので第１のプロトコルによって圧縮画像情報を転送できない。故に、第２のパスによって、圧縮画像情報の画像形式を変更する必要がある。
【００５２】
例えば、図６に示されるように、画像情報Ａに基づくＪＰＥＧの圧縮画像情報が中継元機器１１から画像中継装置３００へとＨＴＴＰによって転送され、画像情報Ｂに基づくＪＰＥＧの圧縮画像情報が中継元機器１２から画像中継装置３００へと画面転送プロトコルによって転送される。画像中継装置３００は、プロトコル情報に基づいて、画像情報Ａに基づく圧縮画像情報を第１のパスによって処理できると判定し、画像情報Ｂに基づく圧縮画像情報を第１のパスによって処理できないと判定する。そして、画像中継装置３００は、画像情報Ａに基づくＪＰＥＧの圧縮画像情報と、画像情報Ｂに基づくＪＰＥＧの再圧縮画像情報とをＨＴＴＰによって中継先機器２１へと転送する。
【００５３】
画像情報加工部３０８は、第２のプロトコルが例えば画面転送プロトコルである場合に、更新検出部１０７から更新領域の位置情報を入力し、更新領域の画像情報をフレームバッファ１０６から読み出す。他方、画像情報加工部３０８は、第１のプロトコルがＨＴＴＰである場合に、更新領域に関わらず画像全体の画像情報をフレームバッファ１０６から読み出す。画像情報加工部３０８は、フレームバッファ１０６から読み出した画像情報を圧縮部１０９へと出力する。
【００５４】
ウェブページ生成部３１６は、第１のプロトコルがＨＴＴＰである場合に、中継先機器に圧縮画像情報または再圧縮画像情報を転送するためのウェブページを生成する。ウェブページ生成部３１６は、生成したウェブページと、当該ウェブページにアクセスするためのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）とを送信部３１０へと出力する。具体的には、ウェブページ生成部３１６は、例えば図５に示されるウェブページを生成する。図５のウェブページによれば、中継先機器の画面の（２０，１０）においてＰＣ＿Ａ．ｊｐｇというエイリアス名が付加された画像情報が表示され、中継先機器の画面の（４００，２００）においてｗｅａｔｈｅｒ.ｊｐｇというエイリアス名が付加された画像情報が表示される。図５の例によれば、ｗｅａｔｈｅｒ.ｊｐｇは、ＰＣ＿Ａ．ｊｐｇよりも上に表示される。
【００５５】
送信部３１０は、第１のプロトコルがＨＴＴＰである場合に、ウェブページ生成部３１６からウェブページ及びＵＲＬを入力し、当該ＵＲＬを中継先機器へと送信する。そして、送信部３１０は、中継先機器からのリクエスト（例えば、ＨＴＴＰ ＧＥＴリクエスト）に応じて、ウェブページを中継先機器へと転送する。
【００５６】
以上説明したように、第３の実施形態に係る画像中継装置は、中継先機器に関する情報の一類型であるプロトコル情報に基づいて、中継元機器からの圧縮画像情報に変更（例えば、圧縮画像情報が画像の一部に対応する場合に画像の残部を補充する、圧縮画像情報が動画像情報である場合に静止画像情報へと変更するなど）を加える必要があるか否かを判定する。この画像中継装置は、圧縮画像情報に変更を加える必要がある場合には展開、描画及び再圧縮を含む一連の処理を第２のパスによって実施するが、そうでない場合には第１のパスを利用して上記一連の処理を省略する。従って、この画像中継装置によれば、処理負荷を軽減できる。
【００５７】
（第４の実施形態）
第４の実施形態に係る画像中継装置４００は、図７に示されるように、受信部１０１と、レイアウト情報記憶部１０２と、判定部４０３と、展開部１０４と、描画部１０５と、フレームバッファ１０６と、更新検出部１０７と、画像情報加工部１０８と、圧縮部１０９と、送信部１１０と、変換部１１１と、更新要求生成部４１７とを含む。
【００５８】
判定部４０３は、受信部１０１から圧縮画像情報を入力し、レイアウト情報記憶部１０２からレイアウト情報を読み出す。判定部４０３は、圧縮画像情報を第１のパスによって処理できるか否かをレイアウト情報に基づいて判定する。ここで、第１のパスとは、変換部１１１を経て送信部１１０に至る処理経路を指す。第１のパスにおいて、圧縮画像情報は変更されない。他方、第２のパスとは、展開部１０４、描画部１０５、フレームバッファ１０６、更新検出部１０７、画像情報加工部１０８及び圧縮部１０９を経て送信部１１０に至る処理経路を指す。第２のパスにおいて、圧縮画像情報は変更を加えられ再圧縮画像情報として出力される。
【００５９】
判定部４０３は、圧縮画像情報を第１のパスによって処理できると判定する場合には、当該圧縮画像情報を変換部１１１へと出力する。他方、判定部４０３は、圧縮画像情報を第１のパスによって処理できないと判定する場合には、中継元機器に後述される前処理を要求できるか否かを判定する。判定部４０３は、前処理を要求できると判定する場合には、更新要求メッセージの生成を更新要求生成部４１７に指示する。判定部４０３は、前処理を要求できないと判定する場合には、圧縮画像情報を展開部１０４へと出力する。
【００６０】
換言すれば、判定部４０３は、圧縮画像情報に変更を加える必要があるか否かをレイアウト情報に基づいて判定する。圧縮画像情報に変更を加える必要がない場合には第１のパスによって圧縮画像情報を処理することによって無駄な処理負荷を回避できる。また、圧縮画像情報に変更を加える必要がある場合であっても、係る変更は中継元機器における前処理によって代替できるかもしれない。そこで、判定部４０３は、変更を加える必要がない圧縮画像情報を中継元機器に転送させるための前処理を当該中継元機器に要求できるか否かを判定する。係る前処理がなされれば、圧縮画像情報に変更を加える必要がなくなるので、第１のパスによって当該圧縮画像情報を処理できる。他方、前処理がなされなければ、第１のパスによって圧縮画像情報を処理できないので、第２のパスによって当該圧縮画像情報を処理すべきである。
【００６１】
更新要求生成部４１７は、判定部４０３からの指示に従って前処理を要求する更新要求メッセージを生成し、中継元機器へと送信する。
【００６２】
例えば、図８に示されるように、画像情報Ａが中継先機器２１においてクリップされて表示され、画像情報Ｂが中継先機器２１においてクリップされずに表示されるとする。画像情報Ｂに基づく圧縮画像情報は第１のパスによって処理できるが、画像情報Ａに基づく圧縮画像情報は第１のパスによって処理できない。そこで、判定部４０３は、中継元機器１１への更新要求メッセージの生成を更新要求生成部４１７に指示する。更新要求生成部４１７は、中継元機器１１が画像情報Ａを画像情報Ａ１，Ａ２に分割して転送するように、更新要求メッセージを生成し、当該更新要求メッセージを中継元機器１１へと送信する。この結果、例えば、画像情報Ａを分割した画像情報Ａ１，Ａ２に基づく圧縮画像情報が中継元機器１１より転送される。従って、画像中継装置４００は、この圧縮画像情報を第１のパスによって処理できる。尚、画像情報は、図８に例示されるように、クリップされる領域の境界線の一部または全部を延長することによって１または複数の矩形領域に分割されてもよいし、他の形式で分割されてもよい。
【００６３】
また、図９に例示されるように、共通の画像情報Ａを複数の中継先機器２１，２２に転送する場合には、全ての中継先機器２１，２２のレイアウト情報に基づいて更新要求メッセージが生成される。例えば、中継先機器２１のみに画像情報Ａを転送するのであれば画像情報Ａ１，Ａ２の間を分割する必要はないが、中継先機器２２にも画像情報Ａを転送するのであれば画像情報Ａ２をクリップする必要がある。また、中継先機器２２のみに画像情報Ａを転送するのであれば画像情報Ａ３，Ａ４の間を分割する必要はないが、中継先機器２１にも画像情報Ａを転送するのであれば画像情報Ａ４をクリップする必要がある。従って、中継先機器２１，２２に画像情報Ａを転送するために、中継元機器１１が画像情報Ａを画像情報Ａ１，Ａ２，Ａ３，Ａ４に分割して転送するように、更新要求メッセージが生成される。
【００６４】
また、図１０に例示されるように、中継先機器２１がマルチディスプレイを持ち、かつ、画像情報Ａが複数の画面（例えば、４画面）に跨って表示されるならば、中継元機器が画像情報Ａを中継先機器２１の画面境界に沿って画像情報Ａ１，Ａ２，Ａ３，Ａ４に分割して転送するように、更新要求メッセージが生成される。
【００６５】
画像中継装置４００は例えば図１１のフローチャートに従って動作する。
まず、判定部４０３は、中継先機器のレイアウト情報を参照する（ステップＳ５００）。判定部４０３は、レイアウト情報に基づいて、中継先機器のために画像情報がクリップされるか否かを判定する（ステップＳ５０１）。中継先機器のために画像情報がクリップされないならば、当該画像情報に基づく圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５０７）。他方、中継先機器のために画像情報がクリップされるならば、処理はステップＳ５０２に進む。ステップＳ５０２において、判定部４０３は、画像情報の分割を中継元機器に要求できるか否かを判定する。画像情報の分割を中継元機器に要求できるならば処理はステップＳ５０３に進み、そうでなければ（例えば、中継元機器が画像情報を分割できなければ）処理はステップＳ５０５に進む。
【００６６】
ステップＳ５０３において、更新要求生成部４１７は、中継元機器が画像情報を分割するように、更新要求メッセージを生成する。更新要求メッセージは、中継元機器へと送信される。この更新要求メッセージに応じて中継元機器から分割された画像情報に基づく圧縮画像情報が転送され、受信部１０１がこれを受信する（ステップＳ５０４）。分割された画像情報をクリップする必要はないので、当該分割された画像情報に基づく圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５０７）。
【００６７】
ステップＳ５０５において、判定部４０３は、中継先機器が画像情報をクリップ可能であるか否かを判定する。中継先機器が画像情報をクリップ可能であるならば、画像中継装置４００が当該画像情報をクリップする必要はない。従って、画像情報に基づく圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５０７）。他方、中継先機器が画像情報をクリップ可能でないならば、画像中継装置４００が当該画像情報をクリップする必要がある。従って、圧縮画像情報は第２のパスによって処理され（ステップＳ５０６）、再圧縮画像情報が転送される（ステップＳ５０７）。
【００６８】
尚、判定部４０３は、レイアウト情報に限られず、前述の表示能力情報及び画像形式情報を利用してもよい。
例えば、中継先機器がサポートする圧縮方式がｚｌｉｂのみであり、画像情報のデフォルトの圧縮方式がｈｅｘｔｉｌｅであるとする。係る場合に、画像情報に基づく圧縮画像情報は第１のパスによって処理できない。そこで、判定部４０３は、中継元機器への更新要求メッセージの生成を更新要求生成部４１７に指示する。更新要求生成部４１７は、中継元機器が画像情報の圧縮方式にｚｌｉｂを選択するように、更新要求メッセージを生成し、当該更新要求メッセージを中継元機器へと送信する。この結果、例えば、画像情報をｚｌｉｂによって圧縮した圧縮画像情報が中継元機器より転送される。従って、画像中継装置４００は、この圧縮画像情報を第１のパスによって処理できる。
【００６９】
判定部４０３が表示能力情報及び画像形式情報を利用する場合には、画像中継装置４００は例えば図１２のフローチャートに従って動作する。
まず、判定部４０３は、中継先機器の表示能力情報を参照する（ステップＳ５１０）。判定部４０３は、表示能力情報に基づいて、中継先機器が画像情報の画像形式をサポートできるか否かを判定する（ステップＳ５１１）。中継先機器が画像情報の画像形式をサポートできるならば、当該画像情報に基づく圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５１６）。他方、中継先機器が画像情報の画像形式をサポートできないならば、処理はステップＳ５１２に進む。ステップＳ５１２において、判定部４０３は、画像情報の画像形式の変更を中継元機器に要求できるか否かを判定する。画像情報の画像形式の変更を中継元機器に要求できるならば処理はステップＳ５１３に進む。他方、画像情報の画像形式の変更を中継元機器に要求できないならば、画像中継装置４００が当該画像情報の画像形式を変更する必要がある。従って、画像情報に基づく圧縮画像情報は第２のパスによって処理され（ステップＳ５１５）、再圧縮画像情報が転送される（ステップＳ５１６）。
【００７０】
ステップＳ５１３において、更新要求生成部４１７は、中継元機器が画像情報の画像形式を変更するように、更新要求メッセージを生成する。更新要求メッセージは、中継元機器へと送信される。この更新要求メッセージに応じて中継元機器から画像形式が変更された画像情報に基づく圧縮画像情報が転送され、受信部１０１がこれを受信する（ステップＳ５１４）。受信された圧縮画像情報の画像形式は中継先機器がサポートできるので、当該圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５１６）。
【００７１】
尚、判定部４０３は、レイアウト情報、表示能力情報及び画像形式情報に限られず、前述のプロトコル情報を利用してもよい。
例えば、中継先機器の第１のプロトコルがＨＴＴＰであり、中継元機器の第２のプロトコルが画面転送プロトコルであるとする。係る場合に、ＨＴＴＰによれば画像全体に対応する画像情報が必要とされる一方、画面転送プロトコルによって転送される画像情報は画像全体に必ずしも対応しないので、当該画像情報に基づく圧縮画像情報は第１のパスによって処理できない。そこで、判定部４０３は、中継元機器への更新要求メッセージの生成を更新要求生成部４１７に指示する。更新要求生成部４１７は、中継元機器が画像全体に対応する画像情報に基づく圧縮画像情報を転送するように、更新要求メッセージを中継元機器へと送信する。この結果、画像全体に対応する画像情報に基づく圧縮画像情報が中継元機器より転送される。従って、画像中継装置４００は、この圧縮画像情報を第１のパスによって処理できる。
【００７２】
図１３に例示されるように、中継元機器１１の第２のプロトコルが画面転送プロトコルであり、中継先機器２１の第１のプロトコルもまた画面転送プロトコルであるとする。この場合には、画像中継装置４００は、画像情報（画像全体の画像情報Ａ、更新領域の画像情報ａ１，ａ２）に基づく圧縮画像情報を第１のパスによって処理できる。他方、中継元機器１１の第２のプロトコルが画面転送プロトコルであり、中継先機器２２の第１のプロトコルがＨＴＴＰであるとする。この場合には、画像中継装置４００は、中継元機器１１が画像全体に対応する画像情報に基づく圧縮画像情報を転送するように、更新要求メッセージを中継元機器１１へと送信する。画像中継装置４００は、画像全体に対応する画像情報Ａに基づく圧縮画像情報を受信し、これにメタデータ（エイリアス名）を付加し、ウェブページを生成する。また、上記更新要求メッセージの送信前或いは送信後に、画像中継装置４００はＵＲＬを中継先機器２２へと送信する。画像中継装置４００は、中継先機器２２からのＨＴＴＰ ＧＥＴリクエストに応じて圧縮画像情報を含むウェブページを転送する。
【００７３】
判定部４０３がプロトコル情報を利用する場合には、画像中継装置４００は例えば図１４のフローチャートに従って動作する。
まず、判定部４０３は、中継先機器のプロトコル情報を参照する（ステップＳ５２０）。判定部４０３は、画像情報が中継先機器の第１のプロトコルに適合しているか否かを判定する（ステップＳ５２１）。例えば、第１のプロトコルがＨＴＴＰであれば、判定部４０３は画像情報が画像全体に対応するか否かを判定する。画像情報が第１のプロトコルに適合していれば、当該画像情報に基づく圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５２６）。他方、画像情報が第１のプロトコルに適合していなければ、判定部４０３は全画面更新によって画像情報が第１のプロトコルに適合できるか否かを判定する。例えば、第１のプロトコルがＨＴＴＰであれば、全画面更新によって画像情報が第１のプロトコルに適合できる。全画面更新によって画像情報が第１のプロトコルに適合できるならば処理はステップＳ５２３に進む。他方、全画面更新によっても画像情報が第１のプロトコルに適合できないならば、画像中継装置４００は画像情報が第１のプロトコルに適合できるように、当該画像情報に変更を加える必要がある。従って、画像情報に基づく圧縮画像情報は第２のパスによって処理され（ステップＳ５２５），再圧縮画像情報が転送される（ステップＳ５２６）。
【００７４】
ステップＳ５２３において、更新要求生成部４１７は、中継元機器が画像情報を全画面更新するように、更新要求メッセージを生成する。更新要求メッセージは、中継元機器へと送信される。この更新要求メッセージに応じて中継元機器において画像情報が全画面更新され、画像全体に対応する画像情報に基づく圧縮画像情報が転送され、受信部１０１がこれを受信する（ステップＳ５２４）。この圧縮画像情報は第１のプロトコルに適合しているので、当該圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５２６）。
【００７５】
以上説明したように、第４の実施形態に係る画像中継装置は、中継先機器に関する情報に基づいて、変更を加える必要がない（即ち、第１のパスによって処理できる）圧縮画像情報を中継元機器に転送させるため更新要求メッセージを生成し、これを中継元機器に送信する。従って、この画像中継装置によれば、基本的には、圧縮画像情報を第１のパスによって処理できるので、処理負荷を軽減できる。
【００７６】
尚、本実施形態において、画像中継装置４００、中継元機器及び中継先機器の設計などにより、前処理を要求可能であることが常に保証されるならば、第２のパスのための各機能部を除去することができる。
【００７７】
（第５の実施形態）
第５の実施形態に係る画像中継装置６００は、図１５に示されるように、受信部１０１と、レイアウト情報記憶部１０２と、第１の判定部６０３と、展開部１０４と、描画部１０５と、フレームバッファ１０６と、更新検出部１０７と、画像情報加工部１０８と、圧縮部１０９と、送信部１１０と、変換部１１１と、第２の判定部６１８とを含む。
【００７８】
第１の判定部６０３は、前述の判定部１０３，２０３，３０３または４０３と同一または類似の判定処理を行う。但し、第１の判定部６０３は、第１のパスによって圧縮画像情報を処理できないと判定した場合に、当該圧縮画像情報を展開部１０４ではなく第２の判定部６１８へと出力する。
【００７９】
第２の判定部６１８は、レイアウト情報に基づいて画像情報に関してクリップされる領域を特定する。そして、第２の判定部６１８は、画像情報の表示位置情報と上記クリップされる領域とに基づいて当該画像情報に基づく圧縮画像情報を破棄できるか否かを判定する。更に、第２の判定部は、圧縮画像情報を破棄できないと判定する場合に、第１のパスによって処理できるか否かを再判定する。第２の判定部は、第１のパスによって圧縮画像情報を処理できると判定すれば当該圧縮画像情報を変換部１１１へと出力し、そうでなければ当該圧縮画像情報を展開部１０４へと出力する。
【００８０】
例えば、図１６に示されるように、中継先機器において画像情報Ａがクリップされて表示され、更新領域の画像情報ａ１，ａ２，ａ３に基づく圧縮画像情報が中継元機器から転送されるとする。第２の判定部６１８は、圧縮画像情報に対応する画像情報ａ３が中継先機器において全く表示されないならば、当該圧縮画像情報を破棄できると判定し、これを破棄する。また、第２の判定部６１８は、圧縮画像情報に対応する画像情報ａ２が中継先機器においてクリップされて表示されるならば、当該圧縮画像情報を破棄できないと判定すると共に、当該圧縮画像情報を第１のパスによって処理できないと判定する。尚、中継先機器が画像情報ａ２をクリップ可能であるならば、第２の判定部６１８は圧縮画像情報を第１のパスによって処理できると判定してもよい。また、第２の判定部６１８は、圧縮画像情報に対応する画像情報ａ１が中継先機器においてクリップされずに表示されるならば、当該圧縮画像情報を破棄できないと判定すると共に、当該圧縮画像情報を第１のパスによって処理できると判定する。尚、画像情報ａ１に関して、第２の判定部６１８は、画像形式情報、表示能力情報、プロトコル情報などに基づいて、第１のパスによって処理できないと判定してもよい。例えば、画像情報ａ１の圧縮方式が中継先機器によってサポートされない場合、中継先機器の第１のプロトコルがＨＴＴＰである場合などに、第２の判定部６１８は、画像情報ａ１に基づく圧縮画像情報を第１のパスによって処理できないと判定してもよい。
【００８１】
以上説明したように、第５の実施形態に係る画像中継装置は、レイアウト情報に基づいて画像情報について中継先機器においてクリップされる領域を特定し、画像情報の表示位置情報とクリップされる領域との関係に基づいて、当該画像情報に基づく圧縮画像情報を破棄できるか否かを判定する。従って、この画像中継装置によれば、不要な圧縮画像情報が破棄されるので、処理負荷を軽減できる。更に、この画像中継装置は、圧縮画像情報を破棄できないと判定する場合にも、当該圧縮画像情報を第１のパスによって処理できるか否かを再判定する。従って、この画像中継装置によれば、圧縮画像情報が破棄できないが第１のパスによって処理できる場合に、処理負荷を軽減できる。
【００８２】
上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【００８３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８４】
１１，１２，１３・・・中継元機器
２１，２２・・・中継先機器
１００，２００，３００，４００，６００・・・画像中継装置
１０１・・・受信部
１０２・・・レイアウト情報記憶部
１０３，２０３，３０３，４０３・・・判定部
１０４・・・展開部
１０５・・・描画部
１０６・・・フレームバッファ
１０７・・・更新検出部
１０８，２０８，３０８・・・画像情報加工部
１０９・・・圧縮部
１１０，３１０・・・送信部
１１１・・・変換部
２１２・・・表示能力情報記憶部
２１３・・・画像形式情報記憶部
３１４・・・メタデータ付加部
３１５・・・プロトコル記憶部
３１６・・・ウェブページ生成部
４１７・・・更新要求生成部
６０３・・・第１の判定部
６１８・・・第２の判定部
【技術分野】
【０００１】
実施形態は、画像中継に関する。
【背景技術】
【０００２】
従来、複雑な演算処理をサーバ装置が実行し、サーバ装置の表示画面を表す画像情報をクライアント装置に転送する画面転送技術が知られている。係る画面転送技術によれば、クライアント装置は簡易な入出力インターフェイスを備える表示端末によって実現できる。尚、係る画面転送技術において、典型的には、最初に全画面を表す画像情報が転送されるものの、以降は全画面ではなく更新領域を表す画像情報が逐次転送される。即ち、サーバ装置は、表示端末からの操作情報に従って画像情報を描画し、更新領域を検出し、更新領域を表す画像情報を圧縮し、圧縮画像情報を表示端末へと転送する必要がある。
【０００３】
係る画面転送技術は、画像中継システムに応用することもできる。画像中継システムにおいて、画像中継装置は１以上の中継元機器からの画像情報を１以上の中継先機器へと中継する。即ち、画像中継装置は、中継元機器からの圧縮画像情報を受信し、圧縮画像情報を展開し、画像情報を描画し、更新領域を検出し、更新領域を表す画像情報に必要な変更（例えば、クリップ処理など）を加え、加工済み画像情報を再圧縮し、再圧縮画像情報を中継先機器へと転送する。
【０００４】
しかしながら、圧縮画像情報に関して変更を加える必要がないこともある。係る場合には、中継先機器へと転送される再圧縮画像情報が中継元機器から受信する圧縮画像情報と一致するので、画像中継装置における展開、描画及び再圧縮を含む一連の処理は無駄である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｔ． Ｒｉｃｈａｒｄｓｏｎ， Ｑ． Ｓｔａｆｆｏｒｄ−Ｆｒａｓｅｒ， Ｋ． Ｗｏｏｄ ａｎｄ Ａ． Ｈｏｐｐｅｒ， “Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ，” ＩＥＥＥ Ｉｎｔｅｒｎｅｔ Ｃｏｍｐｕｔｉｎｇ， ｖｏｌ． ２ ， ｎｏ． １， ｐｐ． ３３−３８， １９９８
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実施形態は、画像中継装置における処理負荷を軽減することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態によれば、画像中継装置は、受信部と、第１の判定部と、送信部とを含む。受信部は、中継元機器から圧縮画像情報を受信する。第１の判定部は、圧縮画像情報を展開することを含まない第１のパスによって圧縮画像情報を処理できるか否かを中継先機器に関する情報に基づいて判定する。送信部は、第１のパスによって処理された圧縮画像情報、または、圧縮画像情報を展開し、描画し、再圧縮することを含む第２のパスによって処理された圧縮画像情報の再圧縮画像情報を中継先機器へと転送する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像中継装置を例示するブロック図。
【図２】第１の実施形態に係る画像中継装置によって中継される画像情報を例示する図。
【図３】第２の実施形態に係る画像中継装置を例示するブロック図。
【図４】第３の実施形態に係る画像中継装置を例示するブロック図。
【図５】図４のウェブページ生成部によって生成されるウェブページを例示する図。
【図６】第３の実施形態に係る画像中継装置によって中継される画像情報を例示する図。
【図７】第４の実施形態に係る画像中継装置を例示するブロック図。
【図８】第４の実施形態に係る画像中継装置によって中継される画像情報を例示する図。
【図９】第４の実施形態に係る画像中継装置によって中継される画像情報を例示する図。
【図１０】第４の実施形態に係る画像中継装置によって中継される画像情報を例示する図。
【図１１】第４の実施形態に係る画像中継装置の動作を例示するフローチャート。
【図１２】第４の実施形態に係る画像中継装置の動作を例示するフローチャート。
【図１３】第４の実施形態に係る画像中継装置の動作を例示するシーケンス図。
【図１４】第４の実施形態に係る画像中継装置の動作を例示するフローチャート。
【図１５】第５の実施形態に係る画像中継装置を例示するブロック図。
【図１６】第５の実施形態に係る画像中継装置によって中継される画像情報を例示する図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。また、以降の説明において、「画像情報」は画像（例えば、中継元機器における表示画面画像、動画像の１フレーム、静止画像、ウェブ上の画像など）の全領域を表すこともあれば、部分領域を表すこともある。
【００１０】
（第１の実施形態）
第１の実施形態に係る画像中継装置１００が図１に例示される。画像中継装置１００は、基本的には、１以上の中継元機器からの画像情報をネットワーク経由で受信し、当該画像情報を１以上の中継先機器へとネットワーク経由で転送する。
【００１１】
図１の例において、画像情報の受信及び転送には画面転送プロトコル（例えば、ＶＮＣ（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ））が使用される。従って、基本的には、画像中継装置１００は、中継元機器に対してクライアント装置として機能し、中継先機器に対してサーバ装置として機能する。クライアント装置（中継先機器または画像中継装置１００）は、画面更新要求メッセージをサーバ装置（画像中継装置１００または中継元機器）へと送信する。クライアント装置は、画面更新要求メッセージにおいて、希望する圧縮方式などを指定することも可能である。サーバ装置は、画面更新要求メッセージを受信すると、画面更新要求メッセージにおける指定に従った画像情報をクライアント装置へと転送する。サーバ装置は、典型的には、画面転送開始後に全画面を表す画像情報をクライアント装置へ１度転送するが、その後は更新領域を表す画像情報をクライアント装置へと転送し続ける。また、サーバ装置は、画面更新要求メッセージを受信する度に画像情報を転送してもよいし、画面更新要求メッセージを１度受信してその後は自動的に画像情報を転送してもよい。
【００１２】
画像中継装置１００は、図１に示されるように、受信部１０１と、レイアウト情報記憶部１０２と、判定部１０３と、展開部１０４と、描画部１０５と、フレームバッファ１０６と、更新検出部１０７と、画像情報加工部１０８と、圧縮部１０９と、送信部１１０と、変換部１１１とを含む。図１の例によれば、画像中継装置１００は、中継元機器１１の画像情報Ａと、中継元機器１２の画像情報Ｂと、中継元機器１３の画像情報Ｃとを中継先機器２１へと中継する。
【００１３】
受信部１０１は、中継元機器から圧縮画像情報を受信し、判定部１０３へと出力する。図１の例によれば、受信部１０１は、中継元機器１１から画像情報Ａに基づく圧縮画像情報を受信し、中継元機器１２から画像情報Ｂに基づく圧縮画像情報を受信し、中継元機器１３から画像情報Ｃに基づく圧縮画像情報を受信する。
【００１４】
レイアウト情報記憶部１０２は、中継先機器におけるレイアウト情報を記憶する。レイアウト情報は、中継先機器において表示される画像情報の表示位置情報、重ね合わせ情報、クリップ情報、拡大率情報などを含むことができる。レイアウト情報は、例えば、画像中継の開始時に中継先機器から画像中継装置１００に通知されてもよいし、画像中継の開始前にレイアウト情報記憶部１０２に予め記憶されていてもよい。また、レイアウト情報は必ずしも中継先機器によって決定される必要はなく、画像中継装置１００によって決定されてもよい。
【００１５】
表示位置情報は、例えば座標情報を用いて記憶される。座標情報とは、例えば１０２４×７６８ピクセルの画面において画面中の最上端かつ最左端の座標を（０，０）として定義し、最下端かつ最右端の座標を（１０２３，７６７）として定義する座標系によって表すことができる。表示位置情報は、画像情報の表示位置の最上端かつ最左端の座標情報と当該画像情報のサイズ情報との組み合わせであってもよい。例えば、画像中継装置１００が図２に示されるように画像情報Ａ及び画像情報Ｂを中継するならば、画像情報Ａの表示位置情報として（２０，１０）と幅８００ピクセル×高さ６００ピクセルとの組み合わせがレイアウト情報記憶部１０２に記憶され、画像情報Ｂの表示位置情報として（１２０，１１０）、幅８００ピクセル×高さ６００ピクセルとの組み合わせがレイアウト情報記憶部１０２に記憶される。或いは、表示位置情報は、表示位置の最上端かつ最左端の座標情報と最下端かつ最右端の座標情報との組み合わせであってもよい。但し、表示位置情報は、座標情報に限られず画像情報の表示位置が導出可能な任意の形式によって記憶されてよい。
【００１６】
重ね合わせ情報は、複数の画像情報について各画像情報を表示する上下関係を表す。例えば、画像中継装置１００が図２に示されるように画像情報Ａ及び画像情報Ｂを中継するならば、重ね合わせ情報として画像情報Ｂが画像情報Ａの上に表示されることを示す情報がレイアウト情報記憶部１０２に記憶される。
【００１７】
クリップ情報は、例えばある画像情報についてクリップされる（切り抜かれて表示されない）領域を表す情報である。クリップされる領域は、例えば複数の画像情報の重ね合わせによって発生する。例えば、画像中継装置１００が図２に示されるように画像情報Ａ及び画像情報Ｂを中継するならば、画像情報Ａのうち（１００，１００）から幅７００ピクセル×高さ５００ピクセルを表す情報がクリップ情報としてレイアウト情報記憶部１０２に記憶される。或いは、クリップ情報は、表示位置情報及び重ね合わせ情報に基づいて導出可能なので、レイアウト情報記憶部１０２に記憶されなくてもよい。少なくとも１つの画像情報がクリップされる領域を含むならば、画像中継装置１００、中継先機器または中継元機器が画像情報に対してクリップ処理を行う必要がある。
【００１８】
拡大率情報は、中継先機器において表示される画像情報の拡大率を表す。拡大率は、例えば、中継元機器において表示される画像情報を基準に計算される。拡大率は、幅方向及び高さ方向の両方について１つの値が指定されてもよいし、幅方向及び高さ方向の夫々について１つの値が指定されてもよい。また、拡大率は、等倍以上であってもよいし、等倍未満（即ち、縮小を意味する）であってもよい。幅方向及び高さ方向の少なくとも一方が等倍でなければ、画像中継装置１００、中継先機器または中継元機器が画像情報に対して拡大処理または縮小処理を行う必要がある。
【００１９】
判定部１０３は、受信部１０１から圧縮画像情報を入力し、レイアウト情報記憶部１０２からレイアウト情報を読み出す。判定部１０３は、圧縮画像情報を展開することを含まない第１のパスによって当該圧縮画像情報を処理できるか否かをレイアウト情報に基づいて判定する。ここで、第１のパスとは、変換部１１１を経て送信部１１０に至る処理経路を指す。第１のパスにおいて、圧縮画像情報は変更されない。他方、第２のパスとは、展開部１０４、描画部１０５、フレームバッファ１０６、更新検出部１０７、画像情報加工部１０８及び圧縮部１０９を経て送信部１１０に至る処理経路を指す。第２のパスにおいて、圧縮画像情報は変更を加えられ再圧縮画像情報として出力される。判定部１０３は、圧縮画像情報を第１のパスによって処理できると判定する場合には当該圧縮画像情報を変換部１１１へと出力し、そうでない場合には当該圧縮画像情報を展開部１０４へと出力する。
【００２０】
換言すれば、判定部１０３は、圧縮画像情報に変更を加える必要があるか否かをレイアウト情報に基づいて判定する。圧縮画像情報に変更を加える必要がある場合には第１のパスによって圧縮画像情報を処理できないので、第２のパスによって圧縮画像情報を処理すべきである。他方、圧縮画像情報に変更を加える必要がない場合には第１のパスによって圧縮画像情報を処理することによって無駄な処理負荷を回避できる。
【００２１】
例えば、圧縮画像情報に対応する画像情報がクリップされる領域を含む場合には、判定部１０３は圧縮画像情報を第１のパスによって処理できないと判定する。尚、判定部１０３は、前述の表示位置情報及び重ね合わせ情報の組み合わせ、クリップ情報などに基づいて画像情報がクリップされる領域を含むか否かを確認できる。図２の例によれば、判定部１０３は、画像情報Ａに基づく圧縮画像情報は第１のパスによって処理できないと判定し、画像情報Ｂに基づく圧縮画像情報は第１のパスによって処理できると判定する。
【００２２】
また、圧縮画像情報に対応する画像情報が拡大処理または縮小処理される場合には、判定部１０３は圧縮画像情報を第１のパスによって処理できないと判定する。尚、判定部１０３は、前述の拡大率情報に基づいて圧縮画像情報に対応する画像情報が拡大処理または縮小処理されるか否かを確認できる。
【００２３】
但し、係る判定は、中継先機器及び中継元機器がクリップ処理、拡大処理、縮小処理などを行わないことを前提としている。従って、中継先機器または中継元機器がクリップ処理を行う場合には、判定部１０３は、圧縮画像情報に対応する画像情報がクリップされる領域を含むことのみを理由に、圧縮画像情報を第１のパスによって処理できないと判定する必要はない。また、中継先機器または中継元機器が拡大処理または縮小処理を行う場合には、判定部１０３は、圧縮画像情報に対応する画像情報が拡大処理または縮小処理されることのみを理由に、圧縮画像情報を第１のパスによって処理できないと判定する必要はない。尚、前述のように、画像中継装置１００がレイアウト情報を決定する場合には、当該レイアウト情報を中継先機器に通知する必要があるかもしれない。図２の例によれば、画像中継装置１００は、画像情報Ａに基づく圧縮画像情報と共に画像情報Ａの（１００，１００）から幅７００ピクセル×高さ５００ピクセルがクリップされる領域であることを示すクリップ情報を送信してもよい。或いは、画像中継装置１００は、画像情報Ａの上に画像情報Ｂが表示されることを示す重ね合わせ情報を送信してもよい。
【００２４】
展開部１０４は、判定部１０３から圧縮画像情報を入力する。展開部１０４は、圧縮画像情報の圧縮方式に従って当該圧縮画像情報を展開し、画像情報を得る。展開部１０４は、画像情報を描画部１０５へと出力する。
【００２５】
描画部１０５は、展開部１０４から画像情報を入力する。描画部１０５は、画像情報をフレームバッファ１０６に描画する。更に、描画部１０５は、描画した画像情報の中継元機器における画面内位置情報を更新検出部１０７へと出力する。前述のように、画像情報は、画像（例えば、中継元機器の表示画面）の全体を表すこともあれば、更新領域を表すこともある。即ち、図１に例示されるように、フレームバッファ１０６において、画像情報Ｂのうち更新領域の画像情報ｂが描画されたり、画像情報Ｃのうち更新領域の画像情報ｃが描画されたりする。更新領域の位置情報は、任意の形式で表現されてもよいが、例えば更新領域を構成する１以上の矩形領域の位置情報の組み合わせによって表現することができる。例えば、描画部１０５は、（０，０）から幅１０ピクセル×高さ１０ピクセルの矩形領域の位置情報と、（３０，３０）から幅２００ピクセル×高さ５ピクセルの矩形領域の位置情報とを更新検出部１０７へ出力する。
【００２６】
フレームバッファ１０６は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスク、メモリカードなどの任意の記憶媒体によって実現できる。フレームバッファ１０６には、描画部１０５によって画像情報が描画され、必要に応じて読み出される。
【００２７】
更新検出部１０７は、描画された画像情報の中継元機器における画面内位置情報を描画部１０５から入力し、これに基づいて更新領域の位置情報を検出する。更新検出部１０７は、更新領域の位置情報を画像情報加工部１０８へと出力する。具体的には、更新検出部１０７は、入力した位置情報を更新領域の位置情報として扱ってもよいし、差分抽出処理を行って更新領域の位置情報を詳細に検出してもよい。
【００２８】
差分抽出処理は、描画部１０５によってフレームバッファ１０６に描画された画像情報と、中継先機器へ転送済みのバックアップ画像情報とを比較し、変化の生じた領域を更新領域として検出するものである。バックアップ画像情報は、フレームバッファ１０６或いは図示しない記憶部に記憶される。いずれにせよ、差分抽出処理が行われる場合には、最新の更新領域を用いてバックアップ画像情報が更新される。
【００２９】
画像情報加工部１０８は、更新検出部１０７から更新領域の位置情報を入力し、レイアウト情報記憶部１０２からレイアウト情報を読み出す。画像情報加工部１０８は、レイアウト情報及び更新領域の位置情報に基づいて、更新領域のうち中継先機器において表示される画像領域を特定し、特定した画像領域の画像情報をフレームバッファ１０６から読み出す。即ち、画像情報加工部１０８は、更新領域のうち中継先機器において表示されない画像領域をクリップする。
【００３０】
図２の例によれば、画像情報Ａのうち中継先機器２１において表示される画像領域は、（０，０）から幅８００ピクセル×高さ１００ピクセルと、（０，１００）から幅１００ピクセル×高さ５００ピクセルとにより構成される。従って、更新領域が（０，０）から幅４００ピクセル×高さ４００ピクセルであるならば、画像情報加工部１０８は（０，０）から幅４００ピクセル×高さ１００ピクセルの画像領域と（０，１００）から幅１００ピクセル×高さ３００ピクセルの画像領域とを特定し、フレームバッファ１０６から読み出す。
【００３１】
更に、画像情報加工部１０８は、フレームバッファ１０６から読み出した画像情報に必要に応じて拡大処理または縮小処理を行って、加工済み画像情報を得る。画像情報加工部１０８は、加工済み画像情報を圧縮部１０９へと出力する。
【００３２】
圧縮部１０９は、加工済み画像情報を圧縮し、再圧縮画像情報を得る。圧縮部１０９は、再圧縮画像情報を送信部１１０へと出力する。
【００３３】
変換部１１１は、判定部１０３から圧縮画像情報を入力する。変換部１１１は、中継元機器から受信した圧縮画像情報を展開することなく中継先機器へと転送するための変換処理を行うインターフェイスとして機能する。ここで、変換処理は、例えばメッセージ変換処理、座標情報変換処理、ネットワーク情報変換処理、レイアウト情報付加処理などを含むことができる。例えば、変換部１１１は、圧縮画像情報に対応する画像情報の表示位置の座標情報をレイアウト情報に基づいて中継先機器の画面における座標情報に対応付ける座標情報変換処理を行ってもよい。図２の例によれば、画像情報Ｂの（０，０）の座標が中継先機器の画面における（１２０，１１０）の座標へと対応付けられる。変換部１１１は、変換処理済みの圧縮画像情報を送信部１１０へと出力する。従って、第１のパスによれば、第２のパスにおける種々の処理（例えば、展開、描画、画像加工、再圧縮）を省略し、処理負荷を削減できる。
【００３４】
送信部１１０は、圧縮部１０９からの再圧縮画像情報または変換部１１１からの圧縮画像情報を入力する。送信部１１０は、入力した再圧縮画像情報または圧縮画像情報を中継先機器へと転送する。尚、送信部１１０は、中継元機器から圧縮画像情報を受信する毎に再圧縮画像情報または圧縮画像情報を逐次転送してもよいし、図示しないタイマからの定期的な割り込みに従って再圧縮画像情報または圧縮画像情報をまとめて転送してもよい。また、送信部１１０は、再圧縮画像情報の転送タイミングと圧縮画像情報の転送タイミングとを揃えてもよいし、揃えなくてもよい。
【００３５】
以上説明したように、第１の実施形態に係る画像中継装置は、中継先機器に関する情報の一類型であるレイアウト情報に基づいて、中継元機器からの圧縮画像情報に変更（例えば、圧縮画像情報に対応する画像情報へのクリップ処理、拡大処理、縮小処理など）を加える必要があるか否かを判定する。この画像中継装置は、圧縮画像情報に変更を加える必要がある場合には展開、描画及び再圧縮を含む一連の処理を第２のパスによって実施するが、そうでない場合には第１のパスを利用して上記一連の処理を省略する。従って、この画像中継装置によれば、処理負荷を軽減できる。
【００３６】
（第２の実施形態）
第２の実施形態に係る画像中継装置２００は、図３に示されるように、受信部１０１と、判定部２０３と、展開部１０４と、描画部１０５と、フレームバッファ１０６と、更新検出部１０７と、画像情報加工部２０８と、圧縮部１０９と、送信部１１０と、変換部１１１と、表示能力情報記憶部２１２と、画像形式情報記憶部２１３とを含む。
【００３７】
表示能力情報記憶部２１２は、中継先機器の表示能力情報を記憶する。表示能力情報は、中継先機器の第１の圧縮方式情報、第１の画素形式情報などを含むことができる。第１の圧縮方式情報は、中継先機器が展開可能な圧縮方式（例えば、ｚｌｉｂなど）を示す。第１の画素形式情報は、中継先機器が表示可能な画素形式を示す。画素形式は、ｂｐｐ、ｄｅｐｔｈ、カラーマップなどを含む。ｂｐｐは、１画素あたりのビット数を表す。ｄｅｐｔｈは、１画素が表現可能な色数を表す。カラーマップは、色番号と実際の色との対応関係を定義する。表示能力情報は、例えば、画像中継の開始時に中継先機器から画像中継装置２００に通知されてもよいし、画像中継の開始前に表示能力情報記憶部２１２に予め記憶されていてもよい。また、表示能力情報は必ずしも中継先機器によって決定される必要はなく、中継先機器の実際の表示能力に基づいて画像中継装置２００によって決定されてもよい。
【００３８】
画像形式情報２１３は、中継元機器からの圧縮画像情報の画像形式情報を記憶する。画像形式情報は、圧縮画像情報の第２の圧縮方式情報、第２の画素形式情報などを含むことができる。第２の圧縮方式情報は、圧縮画像情報の圧縮方式を示す。第２の画素形式情報は、圧縮画像情報に対応する画像情報の画素形式を示す。画像形式情報は、例えば、画像中継の開始時に中継元機器から画像中継装置２００に通知されてもよいし、画像中継の開始前に画像形式情報記憶部２１３に予め記憶されていてもよいし、画像中継の開始後に受信した圧縮画像情報を解析することにより得られてもよい。また、画像形式情報は必ずしも中継元機器によって決定される必要はなく、画像中継装置２００によって決定されてもよい。
【００３９】
判定部２０３は、受信部１０１から圧縮画像情報を入力し、表示能力情報記憶部２１２から表示能力情報を読み出し、画像形式情報記憶部２１３から画像形式情報を読み出す。判定部２０３は、圧縮画像情報を展開することを含まない第１のパスによって当該圧縮画像情報を処理できるか否かを表示能力情報及び画像形式情報に基づいて判定する。ここで、第１のパスとは、変換部１１１を経て送信部１１０に至る処理経路を指す。第１のパスにおいて、圧縮画像情報は変更されない。他方、第２のパスとは、展開部１０４、描画部１０５、フレームバッファ１０６、更新検出部１０７、画像情報加工部２０８及び圧縮部１０９を経て送信部１１０に至る処理経路を指す。第２のパスにおいて、圧縮画像情報は変更を加えられ再圧縮画像情報として出力される。判定部２０３は、圧縮画像情報を第１のパスによって処理できると判定する場合には当該圧縮画像情報を変換部１１１へと出力し、そうでない場合には当該圧縮画像情報を展開部１０４へと出力する。
【００４０】
換言すれば、判定部２０３は、圧縮画像情報に変更を加える必要があるか否かを表示能力情報及び画像形式情報に基づいて判定する。圧縮画像情報に変更を加える必要がある場合には第１のパスによって圧縮画像情報を処理できないので、第２のパスによって圧縮画像情報を処理すべきである。他方、圧縮画像情報に変更を加える必要がない場合には第１のパスによって圧縮画像情報を処理することによって無駄な処理負荷を回避できる。
【００４１】
判定部２０３は、中継先機器が圧縮画像情報を展開する能力を持たないならば、圧縮画像情報を第１のパスによって処理できないと判定する。例えば、判定部２０３は、画像形式情報に含まれる第２の圧縮方式情報が示す圧縮方式が、表示能力情報に含まれる第１の圧縮方式情報が示す１以上の圧縮方式のいずれとも合致しなければ、中継先機器が圧縮画像情報を展開する能力を持たないことを確認できる。
【００４２】
また、判定部２０３は、中継先機器が圧縮画像情報に対応する画像情報を表示する能力を持たないならば、圧縮画像情報を第１のパスによって処理できないと判定する。例えば、判定部２０３は、画像形式情報に含まれる第２の画素形式情報が示すｂｐｐまたはｄｅｐｔｈが、表示能力情報に含まれる第１の画素形式情報が示すｂｐｐまたはｄｅｐｔｈを上回るならば、中継先機器が圧縮画像情報に対応する画像情報を表示する能力を持たないことを確認できる。また、判定部２０３は、画像形式情報に含まれる第２の画素形式情報が示すカラーマップが、表示能力情報に含まれる第１の画素形式情報が示すカラーマップにおいて定義されていない対応関係を含むならば、中継先機器が圧縮画像情報に対応する画像情報を表示する能力を持たないことを確認できる。
【００４３】
画像情報加工部２０８は、更新検出部１０７から更新領域の位置情報を入力し、表示能力情報記憶部２１２から表示能力情報を読み出し、画像形式情報記憶部２１３から画像形式情報を読み出す。画像情報加工部２０８は、更新領域の画像情報をフレームバッファ１０６から読み出す。画像情報加工部２０８は、更新領域の画像情報の画素形式または圧縮方式を必要に応じて変更する。例えば、画像情報加工部２０８は、更新領域の画像情報の画素形式を表示能力情報に基づいて変更してから、圧縮部１０９へと出力する。或いは、画像情報加工部２０８は、表示能力情報に基づいて更新領域の画像情報の圧縮方式を指定し、更新領域の画像情報を圧縮部１０９へと出力する。
【００４４】
以上説明したように、第２の実施形態に係る画像中継装置は、中継先機器に関する情報の一類型である表示能力情報と、中継元機器に関する情報の一類型である画像形式情報とに基づいて、中継元機器からの圧縮画像情報に変更（例えば、圧縮画像情報に対応する画像情報の画像形式の変更、圧縮画像情報の圧縮方式の変更など）を加える必要があるか否かを判定する。この画像中継装置は、圧縮画像情報に変更を加える必要がある場合には展開、描画及び再圧縮を含む一連の処理を第２のパスによって実施するが、そうでない場合には第１のパスを利用して上記一連の処理を省略する。従って、この画像中継装置によれば、処理負荷を軽減できる。
【００４５】
（第３の実施形態）
第３の実施形態に係る画像中継装置３００は、図４に示されるように、受信部１０１と、判定部３０３と、展開部１０４と、描画部１０５と、フレームバッファ１０６と、更新検出部１０７と、画像情報加工部３０８と、圧縮部１０９と、送信部３１０と、変換部１１１と、メタデータ付加部３１４と、プロトコル情報記憶部３１５と、ウェブページ生成部３１６とを含む。
【００４６】
プロトコル情報記憶部３１５は、プロトコル情報を記憶する。プロトコル情報は、画像中継装置３００から中継先機器へ圧縮画像情報または再圧縮画像情報を転送するための第１のプロトコル（例えば、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＶＮＣなど）を示す。プロトコル情報は、例えば、画像中継の開始時に中継先機器から画像中継装置３００に通知されてもよいし、画像中継の開始前にプロトコル情報記憶部３１５に予め記憶されていてもよい。また、プロトコル情報は、必ずしも中継先機器によって決定される必要はなく、中継先機器がサポートする１または複数のプロトコルの中から画像中継装置３００によって決定されてもよい。尚、簡単化のために、以降の説明において特に断りのない限り、第１のプロトコルはＨＴＴＰであるとする。
【００４７】
メタデータ付加部３１４は、受信部１０１から圧縮画像情報を入力する。メタデータ付加部３１４は、第１のプロトコルがＨＴＴＰである場合に、圧縮画像情報にメタデータを付加する。メタデータは、中継元機器の情報（例えば、ＩＰアドレス）、中継元機器が圧縮画像情報を画像中継装置３００に転送するために使用した第２のプロトコルを示す情報、画像形式情報（例えば、圧縮方式情報、画素形式情報など）、表示位置情報（例えば、座標情報）、データサイズ、エイリアス名などを含む。尚、本実施形態において、種々のプロトコルが想定され、圧縮画像情報はＰＣモニタなどの画面情報に限られず動画像情報、ウェブ上の画像情報（例えば、天気図など）などに基づくものであってよい。メタデータ付加部３１４は、メタデータ付加済みの圧縮画像情報を判定部３０３へと出力する。
【００４８】
判定部３０３は、メタデータ付加部３１４から圧縮画像情報を入力し、プロトコル情報記憶部３１５からプロトコル情報を読み出す。判定部３０３は、圧縮画像情報を展開することを含まない第１のパスによって当該圧縮画像情報を処理できるか否かをプロトコル情報に基づいて判定する。ここで、第１のパスとは、変換部１１１及びウェブページ生成部３１６を経て送信部３１０に至る処理経路を指す。第１のパスにおいて、圧縮画像情報は変更されない。他方、第２のパスとは、展開部１０４、描画部１０５、フレームバッファ１０６、圧縮部１０９、ウェブページ生成部３１６を経て送信部３１０に至る処理経路を指す。第２のパスにおいて、圧縮画像情報は変更を加えられ再圧縮画像情報として出力される。判定部３０３は、圧縮画像情報を第１のパスによって処理できると判定する場合には当該圧縮画像情報を変換部１１１へと出力し、そうでない場合には当該圧縮画像情報を展開部１０４へと出力する。
【００４９】
換言すれば、判定部３０３は、圧縮画像情報に変更を加える必要があるか否かをプロトコル情報に基づいて判定する。圧縮画像情報に変更を加える必要がある場合には第１のパスによって圧縮画像情報を処理できないので、第２のパスによって圧縮画像情報を処理すべきである。他方、圧縮画像情報に変更を加える必要がない場合には第１のパスによって圧縮画像情報を処理することによって無駄な処理負荷を回避できる。
【００５０】
判定部３０３は、第１のプロトコルによって圧縮画像情報を転送できないならば、圧縮画像情報を第１のパスによって処理できないと判定する。例えば、第１のプロトコルと第２のプロトコルとが一致する（例えば、第１のプロトコル及び第２のプロトコルの両方が、画面転送プロトコル、ＭＰＥＧ４などである）ならば、基本的には第１のプロトコルによって圧縮画像情報を転送できる。また、第１のプロトコルと第２のプロトコルが一致しない（例えば、第１のプロトコルが画面転送プロトコルであり、第２のプロトコルがＨＴＴＰである）場合であっても、第１のプロトコルによって圧縮画像情報を転送できることもある。他方、第１のプロトコルと第２のプロトコルとが一致しない場合に、第１のプロトコルによって圧縮画像情報を転送できないこともある。具体的には、圧縮画像情報が第１のプロトコルによって必要とされる情報の一部を欠いている場合、圧縮画像情報が第１のプロトコルによってサポートされる画像形式と相違する場合などには、第１のプロトコルによって圧縮画像情報を転送できない。
【００５１】
例えば、第１のプロトコルが画像全体の画像情報を必要とするＨＴＴＰであり、第２のプロトコルが画像全体の画像情報を必ずしも転送しない画面転送プロトコルである場合に、第１のプロトコルによって圧縮画像情報を転送すると中継先機器において表示に必要な情報が不足する。故に、第２のパスによって、画像全体の画像情報に基づく再圧縮画像情報を得る必要がある。また、第１のプロトコルが静止画像情報を転送する画面転送プロトコルであり、第２のプロトコルが動画像情報を転送するＭＰＥＧ４である場合に、サポートする画像形式が異なるので第１のプロトコルによって圧縮画像情報を転送できない。故に、第２のパスによって、圧縮画像情報の画像形式を変更する必要がある。
【００５２】
例えば、図６に示されるように、画像情報Ａに基づくＪＰＥＧの圧縮画像情報が中継元機器１１から画像中継装置３００へとＨＴＴＰによって転送され、画像情報Ｂに基づくＪＰＥＧの圧縮画像情報が中継元機器１２から画像中継装置３００へと画面転送プロトコルによって転送される。画像中継装置３００は、プロトコル情報に基づいて、画像情報Ａに基づく圧縮画像情報を第１のパスによって処理できると判定し、画像情報Ｂに基づく圧縮画像情報を第１のパスによって処理できないと判定する。そして、画像中継装置３００は、画像情報Ａに基づくＪＰＥＧの圧縮画像情報と、画像情報Ｂに基づくＪＰＥＧの再圧縮画像情報とをＨＴＴＰによって中継先機器２１へと転送する。
【００５３】
画像情報加工部３０８は、第２のプロトコルが例えば画面転送プロトコルである場合に、更新検出部１０７から更新領域の位置情報を入力し、更新領域の画像情報をフレームバッファ１０６から読み出す。他方、画像情報加工部３０８は、第１のプロトコルがＨＴＴＰである場合に、更新領域に関わらず画像全体の画像情報をフレームバッファ１０６から読み出す。画像情報加工部３０８は、フレームバッファ１０６から読み出した画像情報を圧縮部１０９へと出力する。
【００５４】
ウェブページ生成部３１６は、第１のプロトコルがＨＴＴＰである場合に、中継先機器に圧縮画像情報または再圧縮画像情報を転送するためのウェブページを生成する。ウェブページ生成部３１６は、生成したウェブページと、当該ウェブページにアクセスするためのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）とを送信部３１０へと出力する。具体的には、ウェブページ生成部３１６は、例えば図５に示されるウェブページを生成する。図５のウェブページによれば、中継先機器の画面の（２０，１０）においてＰＣ＿Ａ．ｊｐｇというエイリアス名が付加された画像情報が表示され、中継先機器の画面の（４００，２００）においてｗｅａｔｈｅｒ.ｊｐｇというエイリアス名が付加された画像情報が表示される。図５の例によれば、ｗｅａｔｈｅｒ.ｊｐｇは、ＰＣ＿Ａ．ｊｐｇよりも上に表示される。
【００５５】
送信部３１０は、第１のプロトコルがＨＴＴＰである場合に、ウェブページ生成部３１６からウェブページ及びＵＲＬを入力し、当該ＵＲＬを中継先機器へと送信する。そして、送信部３１０は、中継先機器からのリクエスト（例えば、ＨＴＴＰ ＧＥＴリクエスト）に応じて、ウェブページを中継先機器へと転送する。
【００５６】
以上説明したように、第３の実施形態に係る画像中継装置は、中継先機器に関する情報の一類型であるプロトコル情報に基づいて、中継元機器からの圧縮画像情報に変更（例えば、圧縮画像情報が画像の一部に対応する場合に画像の残部を補充する、圧縮画像情報が動画像情報である場合に静止画像情報へと変更するなど）を加える必要があるか否かを判定する。この画像中継装置は、圧縮画像情報に変更を加える必要がある場合には展開、描画及び再圧縮を含む一連の処理を第２のパスによって実施するが、そうでない場合には第１のパスを利用して上記一連の処理を省略する。従って、この画像中継装置によれば、処理負荷を軽減できる。
【００５７】
（第４の実施形態）
第４の実施形態に係る画像中継装置４００は、図７に示されるように、受信部１０１と、レイアウト情報記憶部１０２と、判定部４０３と、展開部１０４と、描画部１０５と、フレームバッファ１０６と、更新検出部１０７と、画像情報加工部１０８と、圧縮部１０９と、送信部１１０と、変換部１１１と、更新要求生成部４１７とを含む。
【００５８】
判定部４０３は、受信部１０１から圧縮画像情報を入力し、レイアウト情報記憶部１０２からレイアウト情報を読み出す。判定部４０３は、圧縮画像情報を第１のパスによって処理できるか否かをレイアウト情報に基づいて判定する。ここで、第１のパスとは、変換部１１１を経て送信部１１０に至る処理経路を指す。第１のパスにおいて、圧縮画像情報は変更されない。他方、第２のパスとは、展開部１０４、描画部１０５、フレームバッファ１０６、更新検出部１０７、画像情報加工部１０８及び圧縮部１０９を経て送信部１１０に至る処理経路を指す。第２のパスにおいて、圧縮画像情報は変更を加えられ再圧縮画像情報として出力される。
【００５９】
判定部４０３は、圧縮画像情報を第１のパスによって処理できると判定する場合には、当該圧縮画像情報を変換部１１１へと出力する。他方、判定部４０３は、圧縮画像情報を第１のパスによって処理できないと判定する場合には、中継元機器に後述される前処理を要求できるか否かを判定する。判定部４０３は、前処理を要求できると判定する場合には、更新要求メッセージの生成を更新要求生成部４１７に指示する。判定部４０３は、前処理を要求できないと判定する場合には、圧縮画像情報を展開部１０４へと出力する。
【００６０】
換言すれば、判定部４０３は、圧縮画像情報に変更を加える必要があるか否かをレイアウト情報に基づいて判定する。圧縮画像情報に変更を加える必要がない場合には第１のパスによって圧縮画像情報を処理することによって無駄な処理負荷を回避できる。また、圧縮画像情報に変更を加える必要がある場合であっても、係る変更は中継元機器における前処理によって代替できるかもしれない。そこで、判定部４０３は、変更を加える必要がない圧縮画像情報を中継元機器に転送させるための前処理を当該中継元機器に要求できるか否かを判定する。係る前処理がなされれば、圧縮画像情報に変更を加える必要がなくなるので、第１のパスによって当該圧縮画像情報を処理できる。他方、前処理がなされなければ、第１のパスによって圧縮画像情報を処理できないので、第２のパスによって当該圧縮画像情報を処理すべきである。
【００６１】
更新要求生成部４１７は、判定部４０３からの指示に従って前処理を要求する更新要求メッセージを生成し、中継元機器へと送信する。
【００６２】
例えば、図８に示されるように、画像情報Ａが中継先機器２１においてクリップされて表示され、画像情報Ｂが中継先機器２１においてクリップされずに表示されるとする。画像情報Ｂに基づく圧縮画像情報は第１のパスによって処理できるが、画像情報Ａに基づく圧縮画像情報は第１のパスによって処理できない。そこで、判定部４０３は、中継元機器１１への更新要求メッセージの生成を更新要求生成部４１７に指示する。更新要求生成部４１７は、中継元機器１１が画像情報Ａを画像情報Ａ１，Ａ２に分割して転送するように、更新要求メッセージを生成し、当該更新要求メッセージを中継元機器１１へと送信する。この結果、例えば、画像情報Ａを分割した画像情報Ａ１，Ａ２に基づく圧縮画像情報が中継元機器１１より転送される。従って、画像中継装置４００は、この圧縮画像情報を第１のパスによって処理できる。尚、画像情報は、図８に例示されるように、クリップされる領域の境界線の一部または全部を延長することによって１または複数の矩形領域に分割されてもよいし、他の形式で分割されてもよい。
【００６３】
また、図９に例示されるように、共通の画像情報Ａを複数の中継先機器２１，２２に転送する場合には、全ての中継先機器２１，２２のレイアウト情報に基づいて更新要求メッセージが生成される。例えば、中継先機器２１のみに画像情報Ａを転送するのであれば画像情報Ａ１，Ａ２の間を分割する必要はないが、中継先機器２２にも画像情報Ａを転送するのであれば画像情報Ａ２をクリップする必要がある。また、中継先機器２２のみに画像情報Ａを転送するのであれば画像情報Ａ３，Ａ４の間を分割する必要はないが、中継先機器２１にも画像情報Ａを転送するのであれば画像情報Ａ４をクリップする必要がある。従って、中継先機器２１，２２に画像情報Ａを転送するために、中継元機器１１が画像情報Ａを画像情報Ａ１，Ａ２，Ａ３，Ａ４に分割して転送するように、更新要求メッセージが生成される。
【００６４】
また、図１０に例示されるように、中継先機器２１がマルチディスプレイを持ち、かつ、画像情報Ａが複数の画面（例えば、４画面）に跨って表示されるならば、中継元機器が画像情報Ａを中継先機器２１の画面境界に沿って画像情報Ａ１，Ａ２，Ａ３，Ａ４に分割して転送するように、更新要求メッセージが生成される。
【００６５】
画像中継装置４００は例えば図１１のフローチャートに従って動作する。
まず、判定部４０３は、中継先機器のレイアウト情報を参照する（ステップＳ５００）。判定部４０３は、レイアウト情報に基づいて、中継先機器のために画像情報がクリップされるか否かを判定する（ステップＳ５０１）。中継先機器のために画像情報がクリップされないならば、当該画像情報に基づく圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５０７）。他方、中継先機器のために画像情報がクリップされるならば、処理はステップＳ５０２に進む。ステップＳ５０２において、判定部４０３は、画像情報の分割を中継元機器に要求できるか否かを判定する。画像情報の分割を中継元機器に要求できるならば処理はステップＳ５０３に進み、そうでなければ（例えば、中継元機器が画像情報を分割できなければ）処理はステップＳ５０５に進む。
【００６６】
ステップＳ５０３において、更新要求生成部４１７は、中継元機器が画像情報を分割するように、更新要求メッセージを生成する。更新要求メッセージは、中継元機器へと送信される。この更新要求メッセージに応じて中継元機器から分割された画像情報に基づく圧縮画像情報が転送され、受信部１０１がこれを受信する（ステップＳ５０４）。分割された画像情報をクリップする必要はないので、当該分割された画像情報に基づく圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５０７）。
【００６７】
ステップＳ５０５において、判定部４０３は、中継先機器が画像情報をクリップ可能であるか否かを判定する。中継先機器が画像情報をクリップ可能であるならば、画像中継装置４００が当該画像情報をクリップする必要はない。従って、画像情報に基づく圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５０７）。他方、中継先機器が画像情報をクリップ可能でないならば、画像中継装置４００が当該画像情報をクリップする必要がある。従って、圧縮画像情報は第２のパスによって処理され（ステップＳ５０６）、再圧縮画像情報が転送される（ステップＳ５０７）。
【００６８】
尚、判定部４０３は、レイアウト情報に限られず、前述の表示能力情報及び画像形式情報を利用してもよい。
例えば、中継先機器がサポートする圧縮方式がｚｌｉｂのみであり、画像情報のデフォルトの圧縮方式がｈｅｘｔｉｌｅであるとする。係る場合に、画像情報に基づく圧縮画像情報は第１のパスによって処理できない。そこで、判定部４０３は、中継元機器への更新要求メッセージの生成を更新要求生成部４１７に指示する。更新要求生成部４１７は、中継元機器が画像情報の圧縮方式にｚｌｉｂを選択するように、更新要求メッセージを生成し、当該更新要求メッセージを中継元機器へと送信する。この結果、例えば、画像情報をｚｌｉｂによって圧縮した圧縮画像情報が中継元機器より転送される。従って、画像中継装置４００は、この圧縮画像情報を第１のパスによって処理できる。
【００６９】
判定部４０３が表示能力情報及び画像形式情報を利用する場合には、画像中継装置４００は例えば図１２のフローチャートに従って動作する。
まず、判定部４０３は、中継先機器の表示能力情報を参照する（ステップＳ５１０）。判定部４０３は、表示能力情報に基づいて、中継先機器が画像情報の画像形式をサポートできるか否かを判定する（ステップＳ５１１）。中継先機器が画像情報の画像形式をサポートできるならば、当該画像情報に基づく圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５１６）。他方、中継先機器が画像情報の画像形式をサポートできないならば、処理はステップＳ５１２に進む。ステップＳ５１２において、判定部４０３は、画像情報の画像形式の変更を中継元機器に要求できるか否かを判定する。画像情報の画像形式の変更を中継元機器に要求できるならば処理はステップＳ５１３に進む。他方、画像情報の画像形式の変更を中継元機器に要求できないならば、画像中継装置４００が当該画像情報の画像形式を変更する必要がある。従って、画像情報に基づく圧縮画像情報は第２のパスによって処理され（ステップＳ５１５）、再圧縮画像情報が転送される（ステップＳ５１６）。
【００７０】
ステップＳ５１３において、更新要求生成部４１７は、中継元機器が画像情報の画像形式を変更するように、更新要求メッセージを生成する。更新要求メッセージは、中継元機器へと送信される。この更新要求メッセージに応じて中継元機器から画像形式が変更された画像情報に基づく圧縮画像情報が転送され、受信部１０１がこれを受信する（ステップＳ５１４）。受信された圧縮画像情報の画像形式は中継先機器がサポートできるので、当該圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５１６）。
【００７１】
尚、判定部４０３は、レイアウト情報、表示能力情報及び画像形式情報に限られず、前述のプロトコル情報を利用してもよい。
例えば、中継先機器の第１のプロトコルがＨＴＴＰであり、中継元機器の第２のプロトコルが画面転送プロトコルであるとする。係る場合に、ＨＴＴＰによれば画像全体に対応する画像情報が必要とされる一方、画面転送プロトコルによって転送される画像情報は画像全体に必ずしも対応しないので、当該画像情報に基づく圧縮画像情報は第１のパスによって処理できない。そこで、判定部４０３は、中継元機器への更新要求メッセージの生成を更新要求生成部４１７に指示する。更新要求生成部４１７は、中継元機器が画像全体に対応する画像情報に基づく圧縮画像情報を転送するように、更新要求メッセージを中継元機器へと送信する。この結果、画像全体に対応する画像情報に基づく圧縮画像情報が中継元機器より転送される。従って、画像中継装置４００は、この圧縮画像情報を第１のパスによって処理できる。
【００７２】
図１３に例示されるように、中継元機器１１の第２のプロトコルが画面転送プロトコルであり、中継先機器２１の第１のプロトコルもまた画面転送プロトコルであるとする。この場合には、画像中継装置４００は、画像情報（画像全体の画像情報Ａ、更新領域の画像情報ａ１，ａ２）に基づく圧縮画像情報を第１のパスによって処理できる。他方、中継元機器１１の第２のプロトコルが画面転送プロトコルであり、中継先機器２２の第１のプロトコルがＨＴＴＰであるとする。この場合には、画像中継装置４００は、中継元機器１１が画像全体に対応する画像情報に基づく圧縮画像情報を転送するように、更新要求メッセージを中継元機器１１へと送信する。画像中継装置４００は、画像全体に対応する画像情報Ａに基づく圧縮画像情報を受信し、これにメタデータ（エイリアス名）を付加し、ウェブページを生成する。また、上記更新要求メッセージの送信前或いは送信後に、画像中継装置４００はＵＲＬを中継先機器２２へと送信する。画像中継装置４００は、中継先機器２２からのＨＴＴＰ ＧＥＴリクエストに応じて圧縮画像情報を含むウェブページを転送する。
【００７３】
判定部４０３がプロトコル情報を利用する場合には、画像中継装置４００は例えば図１４のフローチャートに従って動作する。
まず、判定部４０３は、中継先機器のプロトコル情報を参照する（ステップＳ５２０）。判定部４０３は、画像情報が中継先機器の第１のプロトコルに適合しているか否かを判定する（ステップＳ５２１）。例えば、第１のプロトコルがＨＴＴＰであれば、判定部４０３は画像情報が画像全体に対応するか否かを判定する。画像情報が第１のプロトコルに適合していれば、当該画像情報に基づく圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５２６）。他方、画像情報が第１のプロトコルに適合していなければ、判定部４０３は全画面更新によって画像情報が第１のプロトコルに適合できるか否かを判定する。例えば、第１のプロトコルがＨＴＴＰであれば、全画面更新によって画像情報が第１のプロトコルに適合できる。全画面更新によって画像情報が第１のプロトコルに適合できるならば処理はステップＳ５２３に進む。他方、全画面更新によっても画像情報が第１のプロトコルに適合できないならば、画像中継装置４００は画像情報が第１のプロトコルに適合できるように、当該画像情報に変更を加える必要がある。従って、画像情報に基づく圧縮画像情報は第２のパスによって処理され（ステップＳ５２５），再圧縮画像情報が転送される（ステップＳ５２６）。
【００７４】
ステップＳ５２３において、更新要求生成部４１７は、中継元機器が画像情報を全画面更新するように、更新要求メッセージを生成する。更新要求メッセージは、中継元機器へと送信される。この更新要求メッセージに応じて中継元機器において画像情報が全画面更新され、画像全体に対応する画像情報に基づく圧縮画像情報が転送され、受信部１０１がこれを受信する（ステップＳ５２４）。この圧縮画像情報は第１のプロトコルに適合しているので、当該圧縮画像情報は第１のパスによって処理され、転送される（ステップＳ５２６）。
【００７５】
以上説明したように、第４の実施形態に係る画像中継装置は、中継先機器に関する情報に基づいて、変更を加える必要がない（即ち、第１のパスによって処理できる）圧縮画像情報を中継元機器に転送させるため更新要求メッセージを生成し、これを中継元機器に送信する。従って、この画像中継装置によれば、基本的には、圧縮画像情報を第１のパスによって処理できるので、処理負荷を軽減できる。
【００７６】
尚、本実施形態において、画像中継装置４００、中継元機器及び中継先機器の設計などにより、前処理を要求可能であることが常に保証されるならば、第２のパスのための各機能部を除去することができる。
【００７７】
（第５の実施形態）
第５の実施形態に係る画像中継装置６００は、図１５に示されるように、受信部１０１と、レイアウト情報記憶部１０２と、第１の判定部６０３と、展開部１０４と、描画部１０５と、フレームバッファ１０６と、更新検出部１０７と、画像情報加工部１０８と、圧縮部１０９と、送信部１１０と、変換部１１１と、第２の判定部６１８とを含む。
【００７８】
第１の判定部６０３は、前述の判定部１０３，２０３，３０３または４０３と同一または類似の判定処理を行う。但し、第１の判定部６０３は、第１のパスによって圧縮画像情報を処理できないと判定した場合に、当該圧縮画像情報を展開部１０４ではなく第２の判定部６１８へと出力する。
【００７９】
第２の判定部６１８は、レイアウト情報に基づいて画像情報に関してクリップされる領域を特定する。そして、第２の判定部６１８は、画像情報の表示位置情報と上記クリップされる領域とに基づいて当該画像情報に基づく圧縮画像情報を破棄できるか否かを判定する。更に、第２の判定部は、圧縮画像情報を破棄できないと判定する場合に、第１のパスによって処理できるか否かを再判定する。第２の判定部は、第１のパスによって圧縮画像情報を処理できると判定すれば当該圧縮画像情報を変換部１１１へと出力し、そうでなければ当該圧縮画像情報を展開部１０４へと出力する。
【００８０】
例えば、図１６に示されるように、中継先機器において画像情報Ａがクリップされて表示され、更新領域の画像情報ａ１，ａ２，ａ３に基づく圧縮画像情報が中継元機器から転送されるとする。第２の判定部６１８は、圧縮画像情報に対応する画像情報ａ３が中継先機器において全く表示されないならば、当該圧縮画像情報を破棄できると判定し、これを破棄する。また、第２の判定部６１８は、圧縮画像情報に対応する画像情報ａ２が中継先機器においてクリップされて表示されるならば、当該圧縮画像情報を破棄できないと判定すると共に、当該圧縮画像情報を第１のパスによって処理できないと判定する。尚、中継先機器が画像情報ａ２をクリップ可能であるならば、第２の判定部６１８は圧縮画像情報を第１のパスによって処理できると判定してもよい。また、第２の判定部６１８は、圧縮画像情報に対応する画像情報ａ１が中継先機器においてクリップされずに表示されるならば、当該圧縮画像情報を破棄できないと判定すると共に、当該圧縮画像情報を第１のパスによって処理できると判定する。尚、画像情報ａ１に関して、第２の判定部６１８は、画像形式情報、表示能力情報、プロトコル情報などに基づいて、第１のパスによって処理できないと判定してもよい。例えば、画像情報ａ１の圧縮方式が中継先機器によってサポートされない場合、中継先機器の第１のプロトコルがＨＴＴＰである場合などに、第２の判定部６１８は、画像情報ａ１に基づく圧縮画像情報を第１のパスによって処理できないと判定してもよい。
【００８１】
以上説明したように、第５の実施形態に係る画像中継装置は、レイアウト情報に基づいて画像情報について中継先機器においてクリップされる領域を特定し、画像情報の表示位置情報とクリップされる領域との関係に基づいて、当該画像情報に基づく圧縮画像情報を破棄できるか否かを判定する。従って、この画像中継装置によれば、不要な圧縮画像情報が破棄されるので、処理負荷を軽減できる。更に、この画像中継装置は、圧縮画像情報を破棄できないと判定する場合にも、当該圧縮画像情報を第１のパスによって処理できるか否かを再判定する。従って、この画像中継装置によれば、圧縮画像情報が破棄できないが第１のパスによって処理できる場合に、処理負荷を軽減できる。
【００８２】
上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【００８３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８４】
１１，１２，１３・・・中継元機器
２１，２２・・・中継先機器
１００，２００，３００，４００，６００・・・画像中継装置
１０１・・・受信部
１０２・・・レイアウト情報記憶部
１０３，２０３，３０３，４０３・・・判定部
１０４・・・展開部
１０５・・・描画部
１０６・・・フレームバッファ
１０７・・・更新検出部
１０８，２０８，３０８・・・画像情報加工部
１０９・・・圧縮部
１１０，３１０・・・送信部
１１１・・・変換部
２１２・・・表示能力情報記憶部
２１３・・・画像形式情報記憶部
３１４・・・メタデータ付加部
３１５・・・プロトコル記憶部
３１６・・・ウェブページ生成部
４１７・・・更新要求生成部
６０３・・・第１の判定部
６１８・・・第２の判定部
【特許請求の範囲】
【請求項１】
中継元機器から圧縮画像情報を受信する受信部と、
前記圧縮画像情報を展開することを含まない第１のパスによって前記圧縮画像情報を処理できるか否かを中継先機器に関する情報に基づいて判定する第１の判定部と、
前記第１のパスによって処理された前記圧縮画像情報、または、前記圧縮画像情報を展開し、描画し、再圧縮することを含む第２のパスによって処理された前記圧縮画像情報の再圧縮画像情報を前記中継先機器へと転送する送信部と
を具備する画像中継装置。
【請求項２】
前記中継先機器に関する情報は、前記圧縮画像情報に対応する画像情報の前記中継先機器におけるレイアウトを示す情報を含む、請求項１記載の画像中継装置。
【請求項３】
前記中継先機器に関する情報は、前記中継先機器における表示能力を示す情報を含み、
前記第１の判定部は、前記中継先機器に関する情報と前記圧縮画像情報の画像形式を示す情報とに基づいて、前記圧縮画像情報を前記第１のパスによって処理できるか否かを判定する、請求項１記載の画像中継装置。
【請求項４】
前記中継先機器に関する情報は、中継先機器へと前記圧縮画像情報または前記再圧縮画像情報を転送するために使用されるプロトコルを示す情報を含み、
前記第１の判定部は、前記圧縮画像情報を前記プロトコルによって転送できるならば前記圧縮画像情報を前記第１のパスによって処理できると判定する、
請求項１記載の画像中継装置。
【請求項５】
前記第１の判定部が前記圧縮画像情報を前記第１のパスによって処理できないと判定する場合に、前記第１のパスによって処理できる圧縮画像情報を前記中継元機器に転送させるための更新要求メッセージを生成し、前記中継元機器へ前記更新要求メッセージを送信する更新要求部を更に具備する、請求項１記載の画像中継装置。
【請求項６】
前記圧縮画像情報に対応する画像情報の全体が前記中継先機器においてクリップされる領域に含まれるならば前記圧縮画像情報を破棄できると判定し、前記圧縮画像情報を破棄する第２の判定部を更に具備する、請求項１記載の画像中継装置。
【請求項７】
中継元機器から圧縮画像情報を受信することと、
前記圧縮画像情報を展開することを含まない第１のパスによって前記圧縮画像情報を処理できるか否かを中継先機器に関する情報に基づいて判定することと、
前記第１のパスによって処理された前記圧縮画像情報、または、前記圧縮画像情報を展開し、描画し、再圧縮することを含む第２のパスによって処理された前記圧縮画像情報の再圧縮画像情報を前記中継先機器へと転送することと
を具備する画像中継方法。
【請求項８】
コンピュータに、
中継元機器から圧縮画像情報を受信する受信機能と、
前記圧縮画像情報を展開することを含まない第１のパスによって前記圧縮画像情報を処理できるか否かを中継先機器に関する情報に基づいて判定する判定機能と、
前記第１のパスによって処理された前記圧縮画像情報、または、前記圧縮画像情報を展開し、描画し、再圧縮することを含む第２のパスによって処理された前記圧縮画像情報の再圧縮画像情報を前記中継先機器へと転送する送信機能と
を実現させるための画像中継プログラム。
【請求項１】
中継元機器から圧縮画像情報を受信する受信部と、
前記圧縮画像情報を展開することを含まない第１のパスによって前記圧縮画像情報を処理できるか否かを中継先機器に関する情報に基づいて判定する第１の判定部と、
前記第１のパスによって処理された前記圧縮画像情報、または、前記圧縮画像情報を展開し、描画し、再圧縮することを含む第２のパスによって処理された前記圧縮画像情報の再圧縮画像情報を前記中継先機器へと転送する送信部と
を具備する画像中継装置。
【請求項２】
前記中継先機器に関する情報は、前記圧縮画像情報に対応する画像情報の前記中継先機器におけるレイアウトを示す情報を含む、請求項１記載の画像中継装置。
【請求項３】
前記中継先機器に関する情報は、前記中継先機器における表示能力を示す情報を含み、
前記第１の判定部は、前記中継先機器に関する情報と前記圧縮画像情報の画像形式を示す情報とに基づいて、前記圧縮画像情報を前記第１のパスによって処理できるか否かを判定する、請求項１記載の画像中継装置。
【請求項４】
前記中継先機器に関する情報は、中継先機器へと前記圧縮画像情報または前記再圧縮画像情報を転送するために使用されるプロトコルを示す情報を含み、
前記第１の判定部は、前記圧縮画像情報を前記プロトコルによって転送できるならば前記圧縮画像情報を前記第１のパスによって処理できると判定する、
請求項１記載の画像中継装置。
【請求項５】
前記第１の判定部が前記圧縮画像情報を前記第１のパスによって処理できないと判定する場合に、前記第１のパスによって処理できる圧縮画像情報を前記中継元機器に転送させるための更新要求メッセージを生成し、前記中継元機器へ前記更新要求メッセージを送信する更新要求部を更に具備する、請求項１記載の画像中継装置。
【請求項６】
前記圧縮画像情報に対応する画像情報の全体が前記中継先機器においてクリップされる領域に含まれるならば前記圧縮画像情報を破棄できると判定し、前記圧縮画像情報を破棄する第２の判定部を更に具備する、請求項１記載の画像中継装置。
【請求項７】
中継元機器から圧縮画像情報を受信することと、
前記圧縮画像情報を展開することを含まない第１のパスによって前記圧縮画像情報を処理できるか否かを中継先機器に関する情報に基づいて判定することと、
前記第１のパスによって処理された前記圧縮画像情報、または、前記圧縮画像情報を展開し、描画し、再圧縮することを含む第２のパスによって処理された前記圧縮画像情報の再圧縮画像情報を前記中継先機器へと転送することと
を具備する画像中継方法。
【請求項８】
コンピュータに、
中継元機器から圧縮画像情報を受信する受信機能と、
前記圧縮画像情報を展開することを含まない第１のパスによって前記圧縮画像情報を処理できるか否かを中継先機器に関する情報に基づいて判定する判定機能と、
前記第１のパスによって処理された前記圧縮画像情報、または、前記圧縮画像情報を展開し、描画し、再圧縮することを含む第２のパスによって処理された前記圧縮画像情報の再圧縮画像情報を前記中継先機器へと転送する送信機能と
を実現させるための画像中継プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−７４３９４（Ｐ２０１３−７４３９４Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１０８１３（Ｐ２０１１−２１０８１３）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]