説明

表示装置、画面画像転送方法、及びプログラム

【課題】画面共有を行う技術において、第1の表示装置に表示される表示画面を、少ない遅延で第2の表示装置に表示させる。
【解決手段】表示装置において、キャプチャ手段により取得された第1のキャプチャ画像と、当該第1のキャプチャ画像よりも前に取得され、キャプチャ画像格納手段に格納されている第2のキャプチャ画像とを比較し、差分領域がある場合に、前記第1のキャプチャ画像における差分領域画像を転送するか否かの転送判定を行う画像比較制御手段と、差分領域画像を他の装置に転送する転送手段と、所定の転送回数分の既に転送した差分領域画像を旧差分領域画像として格納する差分領域画像格納手段と、を備え、前記画像比較制御手段は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出しない場合に、当該対象差分領域画像を前記他の装置に転送すると判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ある表示装置に表示される表示画面を他の表示装置に表示させることにより画面共有を行う技術に関連するものである。
【背景技術】
【0002】
従来から、複数の装置間で、表示画面を共有する技術がある。例えば、特許文献1には、モニタされる側の表示装置が、ユーザ操作に応じて表示する画面の情報を採取し、画面情報を他の表示装置に送信し、他の表示装置が画面情報に基づいて表示画面を再現してモニタする技術が記載されている。
【0003】
また、特許文献2には、複数の端末装置間で画面の表示内容を共有し端末から画面への書込み等の操作も共有する技術が記載されている。また、特許文献3には、複数のユーザのそれぞれが有する表示装置の画面に、複数のユーザ間で、共通の画面を表示し、その画面表示を通じて行う共同作業を支援する共同作業支援システムに関する技術が記載されている。その他、本願に関連する先行技術文献として、特許文献4,5がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−55153号公報
【特許文献2】特開2006−323607号公報
【特許文献3】特開平11−65975号公報
【特許文献4】WO2009/004996
【特許文献5】特開2007−226635号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のように、複数の表示装置間で表示画面を共有する技術を用いることにより、例えば、表示装置の操作に不慣れなユーザ(被アシスト側)が使用する表示装置(第1の表示装置)に表示される表示画面を、当該操作をアシストするユーザ(アシスト側)の表示装置(第2の表示装置)に表示させることにより、アシスト側のユーザが、表示画面を見ながら被アシスト側のユーザに対して第1の表示装置の操作方法を遠隔で丁寧に教えるといったことが可能になる。
【0006】
表示画面を共有して操作のアシストを行う技術においては、被アシスト側で表示画面をキャプチャし、キャプチャ画像をアシスト側の表示装置に送信することにより共有を実現するが、適確なアシストを行うためには、被アシスト側の表示装置に表示された表示画面が、アシスト側の表示装置に素早く表示されることが望ましい。このことから、キャプチャ及びキャプチャ画像転送を行うにあたって、表示装置の処理負荷及びネットワーク負荷をできるだけ低く抑えることが求められる。
【0007】
例えば、キャプチャ画像のデータ量が大きい、及び/又は画像転送の頻度が大きい場合、キャプチャ画像の転送に遅延が生じ、アシスト側の表示装置への表示画面の表示が遅れ、適確なアシストを行うのに支障が生じる恐れがある。
【0008】
本発明は上記の点に鑑みてなされたものであり、第1の表示装置に表示される表示画面を第2の表示装置に表示させることにより画面共有を行う技術において、第1の表示装置に表示される表示画面を、少ない遅延で第2の表示装置に表示させるための技術を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明は、表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、前記表示部に表示される画面画像をキャプチャし、キャプチャ画像をキャプチャ画像格納手段に格納するキャプチャ手段と、前記キャプチャ手段により取得された第1のキャプチャ画像と、当該第1のキャプチャ画像よりも前に取得され、前記キャプチャ画像格納手段に格納されている第2のキャプチャ画像とを比較し、前記第1のキャプチャ画像と前記第2のキャプチャ画像との間に差分領域がある場合に、前記第1のキャプチャ画像における当該差分領域の画像である差分領域画像を前記他の装置に転送するか否かの転送判定を行う画像比較制御手段と、前記画像比較制御手段により転送すると判定された差分領域画像を前記他の装置に転送する転送手段と、所定の転送回数分の既に転送した差分領域画像を旧差分領域画像として格納する差分領域画像格納手段と、を備え、前記画像比較制御手段は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、前記転送判定対象の差分領域画像である対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出しない場合に、当該対象差分領域画像を前記他の装置に転送すると判定することを特徴とする表示装置として構成される。
【0010】
前記画像比較制御手段は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、前記転送判定対象の差分領域画像である対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出した場合に、当該対象差分領域画像を前記他の装置に転送しないか、又は、当該対象差分領域画像と同じ旧差分領域画像の識別情報を前記他の装置に転送する制御を行うように構成することができる。
【0011】
また、前記差分領域画像格納手段は、各旧差分領域画像を、当該旧差分領域画像のサイズとともに格納しており、前記画像比較制御手段は、各旧差分領域画像と対象差分領域画像とを比較する際に、最初に各旧差分領域画像のサイズと対象差分領域画像のサイズとを比較し、当該対象差分領域画像のサイズと同じサイズを持つ旧差分領域画像を検出した場合に、当該同じサイズの旧差分領域画像と当該対象差分領域画像との比較を行うようにしてもよい。
【0012】
また、転送の対象となった差分領域画像が、複数の領域の画像に分割されている場合において、前記転送手段は、当該複数の領域の画像を合成し、1つの画像のデータとして前記他の装置に転送する処理を行ってもよい。
【0013】
更に、前記画像比較制御手段は、前記第1のキャプチャ画像の元となった表示情報から、前記対象差分領域画像に対応する画像ファイルを取得し、当該画像ファイルにおいて表示と非表示を繰り返す設定がなされているか否かを確認し、繰り返す設定がなされている場合に、当該対象差分領域画像を転送しない制御を行うこともできる。
【0014】
また、本発明は、上記表示装置が実行する処理に対応する画面画像転送方法として構成することもできるし、表示部を備えるコンピュータを、上記表示装置における各手段として機能させるためのプログラムとして構成することもできる。
【発明の効果】
【0015】
本発明によれば、第1の表示装置に表示される表示画面を第2の表示装置に表示させることにより画面共有を行う技術において、第1の表示装置に表示される表示画面を、少ない遅延で第2の表示装置に表示させるための技術を提供することが可能となる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施の形態に係るシステム構成図である。
【図2】表示装置1の機能構成図である。
【図3】表示装置2の機能構成図である。
【図4】システムの動作概要を説明するための図である。
【図5】基本例を説明するためのフローチャートである。
【図6】変形例1を説明するためのフローチャートである。
【図7】変形例1における処理の概念を説明するための図である。
【図8】変形例2を説明するためのフローチャートである。
【発明を実施するための形態】
【0017】
以下、図面を参照して本発明の実施の形態を説明する。
【0018】
(システム構成)
図1に、本発明の実施の形態に係るシステム構成を示す。図1に示すように、本実施の形態に係るシステムは、表示装置1と表示装置2が、通信ネットワーク3を介して接続された構成を有する。
【0019】
本実施の形態では、表示装置1、2は、それぞれPC等であってもよいし、携帯電話機等の携帯端末でもよい。通信ネットワーク3は、画像データ等を送受信可能なネットワークである。
【0020】
本実施の形態では、表示装置1に表示される画面を表示装置2に表示させることを想定している。つまり、表示装置1に表示される表示画面のキャプチャ画像が表示装置2に送信され、表示装置2が当該キャプチャ画像に基づいて画面表示を行う。
【0021】
図2に、本実施の形態に係る表示装置1の機能構成図を示す。図2に示すように、表示装置1は、通信部11、表示部12、操作部13、表示情報生成部14、表示処理部151、キャプチャ部16、キャプチャ画像格納部17、画像比較転送制御部18、差分領域画像履歴格納部19、転送用画面情報生成転送部20を備えている。
【0022】
通信部11は、通信ネットーク3を介して他の装置とデータ等の通信を行うための機能部である。表示部12は、いわゆるディスプレイであり、画像を表示する機能部である。操作部13は、ユーザが表示装置1に対して情報入力や各種指示を行うためのボタンやキーボード等である。また、操作部13を表示部12と一体化したタッチスクリーンとして構成してもよい。
【0023】
表示情報生成部14は、表示部12に表示するための表示情報を生成する機能部であり、各種アプリケーションや処理プログラムに対応する機能を含む。表示情報生成部14に含まれるアプリケーションとしては、一例として、Webブラウザ、カメラアプリケーション、メールアプリケーション等がある。
【0024】
また、例えば、表示装置1が、携帯電話機である場合、表示情報生成部14は、表示部12に操作画面を表示し、電話番号入力を受け付けて発信処理を行う等の処理を行う電話機能、電話帳の表示や管理を行う電話帳アプリケーション等、一般的な携帯電話機に備えられ、画面表示を行う各種機能を含む。
【0025】
表示情報は、例えば、テキスト情報、画像情報、テキストと画像が混在した情報等(より具体的には、例えば、HTMLファイル、画像ファイル等)であり、更に、表示部12に表示される画面内の画像表示位置情報を含む。
【0026】
表示処理部15は、表示情報生成部14から表示情報を受け取り、表示部12に対して表示する機能部であり、表示情報を一時的に格納する記憶領域や、グラフィック用記憶領域(グラフィックメモリ等)を含み、表示のためのグラフィック処理を行う。
【0027】
キャプチャ部16は、表示処理部15により表示部12に表示される画面画像を表示処理部15から取得(キャプチャ)し、キャプチャ画像格納部17に格納する機能部である。キャプチャ画像格納部17には、少なくとも、転送候補となる最新のキャプチャ画像(以下、これを、新キャプチャ画像と呼ぶ)と、1つ前にキャプチャしたキャプチャ画像(以下、これを旧キャプチャ画像と呼ぶ)が格納される。
【0028】
画像比較転送制御部18は、新キャプチャ画像と旧キャプチャ画像を比較し、新キャプチャ画像と旧キャプチャ画像間で差分のある部分(領域)の新キャプチャ画像における画像(新差分領域画像と呼ぶ)のみを転送するよう制御する機能を備える。
【0029】
更に、画像比較転送制御部18は、過去に転送した差分領域画像(旧差分領域画像と呼ぶ)を、予め定めた転送回数分だけ差分領域画像履歴格納部19に格納するとともに、新差分領域画像と各旧差分領域画像とを比較し、新差分領域画像と同じ旧差分領域画像があった場合には、新差分領域画像を送らないか、もしくは、新差分領域画像と同じ旧差分領域画像の識別情報のみを転送するよう制御を行う機能を備える。新差分領域画像を送らないか、もしくは識別情報のみを送るかは、予め設定により選択可能である。
【0030】
転送用画面情報生成部20は、画像比較転送制御部18により転送すると判定された新差分領域画像と、それを表示装置2側で表示するための画面内位置情報とを含む転送用画面情報を生成し、表示装置2に転送する機能部である。また、転送用画面情報生成部20は、新差分領域画像が複数の領域の画像からなる場合に、これらを1つの画像として合成して転送する機能も備える。
【0031】
画像比較転送制御部18及び転送用画面情報生成部20における動作については、後の動作説明のところでより詳細に説明する。
【0032】
図3に、表示装置2の機能構成図を示す。なお、図3は、表示装置2において、表示装置1から受信した情報を用いて表示を行うことに関する機能をメインに示すものであり、図示はしていないが他の機能も含むものである。例えば、表示装置2が携帯電話機であれば、携帯電話機能や種々のアプリケーション等を含む。
【0033】
図3に示すように、表示装置2は、通信部21、表示部22、表示制御部23を備えている。
【0034】
通信部21は、通信ネットーク3を介して他の装置とデータ等の通信を行うための機能部である。表示部22は、いわゆるディスプレイであり、画像を表示する機能部である。表示制御部23は、表示装置1から受信する転送用画面情報に含まれる画像と、位置情報とを用いて、表示部22に画面表示をする機能等を有する。
【0035】
表示装置1におけるキャプチャ部16、キャプチャ画像格納部17、画像比較転送制御部18、差分領域画像履歴格納部19、転送用画面情報生成転送部20は、CPU、メモリ、通信インターフェース等を備えたコンピュータ(上記以外の機能部である表示情報生成部14や表示処理部16等に相当する機能部を含む)に、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。当該プログラムは、可搬メモリ等の記録媒体に記録して配布することが可能である。また、当該プログラムをネットワーク上のサーバからダウンロードしてインストールすることも可能である。また、上記の「コンピュータ」は、「コンピュータ」の機能を備える携帯電話機等であってもよい。
【0036】
また、表示装置2の表示制御部23も、CPU、メモリ、通信インターフェース等を備えたコンピュータに、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。
【0037】
(システムの動作)
次に、本実施の形態におけるシステムの動作を説明する。まず、図4のシーケンスチャートを参照して、システムの動作概要を説明する。
【0038】
まず、表示装置2が、画面共有要求を表示装置1に送信し(ステップ1)、表示装置1が、画面共有許可を表示装置2に送信することにより、画面共有が開始される。これ以降、表示装置1に表示される画面画像がキャプチャされ(ステップ3)、転送用画面情報が表示装置2に転送され(ステップ4)、表示装置2で画面画像の表示が行われる(ステップ5)ことにより、画面共有が実現される。画面画像のキャプチャ・転送は、一定時間間隔で行うこととしてもよいし、一定時間間隔でのキャプチャ・転送に加えて、表示装置1のユーザにより所定の操作がなされたことを契機にして行うこととしてもよい。
【0039】
図4では、表示装置2から画面共有要求を送信し、表示装置1が画面共有許可を表示装置2に送る例を示したが、表示装置1から画面共有要求を送信し、表示装置2が画面共有許可を表示装置2に送るようにしてもよい。また、画面共有要求と画面共有許可を送受信することにより画面共有処理を開始させることは一例に過ぎず、他の手順により画面共有を開始することとしてもよい。
【0040】
(動作の詳細)
<基本例>
以下、画面共有状態になった後、表示装置1(特にキャプチャ部16、画像比較転送制御部18、転送用画面情報生成転送部20)が実行する処理の基本例を図5のフローチャートを参照して説明する。
【0041】
表示情報生成部14が、表示部12に表示するための表示情報を生成する(ステップ11)。表示情報は、例えば、Webサーバから取得した画像入りのテキスト情報(HTMLファイル+画像ファイル)や、表示のために記憶手段から読み出した写真画像等である。表示情報は、表示処理部15に渡され、表示処理部15が表示部12への表示を行う(ステップ12)。ここまでは、表示装置1における通常の画面表示処理であり、表示部12には、ユーザによる操作や、表示情報生成部14に対応するアプリケーションの処理動作に応じた画面が随時表示されている。
【0042】
続いて、あるキャプチャのタイミングにて、キャプチャ部16が、表示部12に表示されている画面画像を表示処理部15からキャプチャし、キャプチャ画像(新キャプチャ画像)としてキャプチャ画像格納部17に格納する(ステップ13)。なお、キャプチャ画像格納部17には、少なくとも、1つ前のキャプチャ画像(旧キャプチャ画像)が既に格納されている。また、新キャプチャ画像を格納したときに、キャプチャ画像格納部17に既に格納されているキャプチャ画像のうち最も古いものを削除する。
【0043】
キャプチャ部16によりキャプチャが行われると、画像比較転送制御部18は、新キャプチャ画像と旧キャプチャ画像を比較し、新キャプチャ画像と旧キャプチャ画像が同じ画像か否かを判定する(ステップ14)。ここでの比較処理は、対応する位置にある画素同士を比較することにより行う。また、全ての画素を比較するのでなく、部分的に(例えば飛び飛びに)画素を比較し、差分がなければ、新キャプチャ画像と旧キャプチャ画像が同じであると判定してもよい。
【0044】
ステップ14における判定で、新キャプチャ画像と旧キャプチャ画像が同じであると判定された場合は、今回の新キャプチャ画像は送らないものとし、ステップ13の前に戻り、次のキャプチャタイミングを待つ。
【0045】
ステップ14における判定で、新キャプチャ画像と旧キャプチャ画像が同じでないと判定された場合、画像比較転送制御部18は、新キャプチャ画像と旧キャプチャ画像間で画素に差分がある領域の新キャプチャ画像の画像を新差分領域画像として取得し、メモリ等の記憶手段に保持しておく(ステップ15)。
【0046】
前述したように、差分領域画像履歴格納部19には、過去に転送した各差分領域画像(旧差分領域画像)が、そのサイズ(本実施の形態では、差分領域画像の画素数をサイズとする)とともに、予め定めた転送回数分だけ格納されている。
【0047】
ステップ15の後、画像比較転送制御部18は、差分領域画像履歴格納部19に格納されている各旧差分領域画像のサイズと新差分領域画像のサイズとを比較することにより、差分領域画像履歴格納部19に格納されている複数の旧差分領域画像の中に、新差分領域画像と同じサイズのものがあるか否かを判定する(ステップ16)。
【0048】
ステップ16での判定の結果、新差分領域画像と同じサイズの旧差分領域画像がある場合、当該同じサイズの旧差分領域画像と、新差分領域画像との比較を行って、これらが同じかどうか判定する(ステップ17)。ステップ17での判定の結果、同じであると判定された場合、今回の新差分領域画像は転送しないものとし、ステップ13の前に戻り、次のキャプチャタイミングを待つ。
【0049】
ステップ16での判定の結果、新差分領域画像と同じサイズの旧差分領域画像がない場合、もしくは、ステップ17での判定の結果、同じでないと判定された場合、新差分領域画像は、転送すべき画像であると判定され、転送用画面情報生成転送部20に渡される。そして、転送用画面情報生成転送部20は、新差分領域画像と、当該新差分領域画像の画面内での位置情報とを含む転送用画面情報を生成し、それを表示装置2に転送する(ステップ18)。
【0050】
また、画像比較転送制御部18は、転送した新差分領域画像を、そのサイズとともに、最新の旧差分領域画像として差分領域画像履歴格納部19に格納するとともに、最も古い旧差分領域画像を削除する(ステップ19)。
【0051】
転送用画面情報を受信した表示装置2においては、表示制御部23が、転送用画面情報に含まれる位置情報で指定される画面内の位置に、新差分領域画像を、既に表示されている画像の上に表示する。
【0052】
上記のステップ18において、転送用画面情報生成転送部20は、新差分領域画像を圧縮して圧縮画像として転送することとしてもよい。
【0053】
また、差分箇所が複数あり、新差分領域画像が、複数領域の画像に分かれている場合において、転送用画面情報生成転送部20は、それぞれの画像毎に、画像データと、その位置情報とを含む転送用画面情報を生成し、転送する。もしくは、この場合、転送用画面情報生成転送部20は、複数の画像を合成し、1つの連続したビット列となる画像データを生成し、この画像データと、各画像毎の表示位置情報(ビット列の中で1番目ビットからY番目ビットまでに対応する画像の位置情報、Y+1番目ビットからX番目ビットまでに対応する画像の位置情報、.....等)をヘッダとして含む1つの転送用画面情報を生成し、表示装置2に送信するようにしてもよい。この場合、表示装置2は、受信した転送用画面情報のヘッダ内情報を用いて、合成された画像を分割し、適切な表示位置への表示を行う。
【0054】
また、ステップ14での判定で、新キャプチャ画像と旧キャプチャ画像が同じでないと判定された場合に、ステップ15、16の処理を行わずに、ステップ18に進み、新差分領域画像を転送するようにしてもよい。また、新キャプチャ画像と旧キャプチャ画像が同じでないと判定された場合に、新差分領域画像を転送するのでなく、新キャプチャ画像そのものを転送する処理を行ってもよい。
【0055】
また、ステップ19において、画像比較転送制御部18が転送した新差分領域画像を差分領域画像履歴格納部19に格納する場合に、当該新差分領域画像をそのまま格納することに代えて、画像のデータ量を減らして格納してもよい。データ量を減らす手法としては、例えば、新差分領域画像を2値画像に変換して格納する方法等がある。このように、新差分領域画像を2値画像に変換して旧差分領域画像として格納する場合、ステップ17における新差分領域画像と旧差分領域画像との比較では、新差分領域画像を2値画像に変換した2値画像と旧差分領域画像との比較を行うことになる。
【0056】
更に、ステップ17の比較において、新差分領域画像と旧差分領域画像との全ての画素を比較するのでなく、画像の一部分のみを比較し、当該部分が同一であれば、新差分領域画像と旧差分領域画像が同一であると判定してもよい。
【0057】
<変形例1>
図5を参照して説明した上記の処理では、差分領域画像履歴格納部19に、新差分領域画像と同じ旧差分領域画像が格納されている場合には、新差分領域画像を送信しないこととしたが、新差分領域画像の代わりに、新差分領域画像と同じ旧差分領域画像の識別情報を送るようにしてもよい。この場合の処理のフローチャートを図6に示し、基本例と異なる点について説明する。
【0058】
ステップ11〜16は、基本例と同じである。変形例1では、差分領域画像履歴格納部19には、過去に転送した各差分領域画像(旧差分領域画像)が、そのサイズ、及びその識別情報とともに格納されている。
【0059】
ステップ16での判定の結果、新差分領域画像と同じサイズの旧差分領域画像がある場合、当該同じサイズの旧差分領域画像と、新差分領域画像との比較を行って、これらが同じかどうか判定する(ステップ17)。
【0060】
ステップ17での判定の結果、同じであると判定された場合、画像比較転送制御部18は、同じであると判定された旧差分領域画像の識別情報を差分領域画像履歴格納部19から取得し、それを転送用画面情報転送部20に渡す。転送用画面情報転送部20は、当該識別情報と位置情報を転送用画面情報として表示装置に転送する(ステップ171)。その後、ステップ13の前に進み、次のキャプチャタイミングを待つ。
【0061】
ステップ18での処理は基本例と同じである。ステップ19において、本例では、画像比較転送制御部18は、転送した新差分領域画像を、そのサイズ、及び識別情報とともに、最新の旧差分領域画像として差分領域画像履歴格納部19に格納し、最も古い旧差分領域画像を削除する。
【0062】
なお、旧差分領域画像を識別するための識別情報としては、転送した差分領域画像に付される連番を用いることができる。例えば、画像比較転送制御部18は、識別情報として用いる変数を用意し、新差分領域画像を転送する度に、変数の値を1だけ増加させて、その増加した値を、識別情報として、転送した新差分領域画像とともに差分領域画像履歴格納部19に格納する。この変数の値は、予め定めた大きさの数になる度に、0に初期化する。
【0063】
本例では、表示装置1の差分領域画像履歴格納部19に格納されているものと同じ旧差分領域画像と識別情報が表示装置2の記憶手段にも格納されている。上記識別情報と位置情報を受信した表示装置2では、表示制御部23が、受信した識別情報に対応する画像を記憶手段から読み出し、受信した位置情報に基づいて表示部22への表示を行う。
【0064】
変形例1及び基本例での処理概念を図7を参照してより具体的に説明する。この例では、3回の転送分の旧差分領域画像が差分領域画像履歴格納部19に格納されるものとする。また、本例では、表示装置1に、変化しない背景画像上に、背景画像と異なる色の図形が所定時間間隔で表れたり消えたりする画面が表示されているものとする。図7の例では、三角形が表示され、消えた後、円図形が繰り返し表示されていることが示される。
【0065】
この場合、図7に示す現時点の新キャプチャ画像がキャプチャされた時点で、差分領域画像履歴格納部19には、図7の下段に示すように、識別情報の100、101、102で識別される3つの差分領域画像(旧差分領域画像)が格納されている。
【0066】
このような前提において、新キャプチャ画像がキャプチャされると、画像比較転送制御部18は、新キャプチャ画像と、その1つ前の旧キャプチャ画像を比較し、同じでないので、図7に示すように新差分領域画像を取得する。そして、画像比較転送制御部18は、新差分領域画像と、旧差分領域画像100、101、102との比較を行い、新差分領域画像と旧差分領域画像101が同じであると判定されるため、今回の新差分領域画像を送らずに、旧差分領域画像の識別情報101を送るよう制御を行う。
【0067】
なお、上記と同じ状況において、基本例では、新差分領域画像も識別情報もいずれも送信しない。
【0068】
<変形例2>
上記の変形例2及び基本例では、差分領域画像間の比較を行うことにより、図7に示すような画像表示/非表示の繰り返し(例:Webブラウザ画面における広告や、デコメ絵文字等)を検出し、新差分領域画像を送らない、もしくは識別情報を送る制御を行っていた。画像の表示/非表示の繰り返しを検出するための処理としては、上記のように画像間を比較する処理の他、以下に説明する処理も可能である。変形例2における処理を図8のフローチャートに沿って説明する。以下では、基本例と異なる点を主に説明する。
【0069】
なお、変形例2における表示装置2は、図8に示す処理のみを行うこととしてもよいし、基本例や変形例1で示した処理とともに、図8に示す処理を行うこととしてもよい。後者の場合、例えば、画像ファイルにおいて繰り返す設定が検知されなかった場合に、基本例や変形例1と同様に、画像間の比較に基づく判定を行う。図8に示す処理のみを行う場合、差分領域画像履歴格納部19を備えなくてもよい。
【0070】
ステップ11〜ステップ15までの処理内容は基本例と同じである。
【0071】
ステップ15で新差分領域画像を取得した後、画像比較転送制御部18は、表示処理部15に保持されている、現在の処理対象である新キャプチャ画像に対応する表示情報から、新差分領域画像に対応する画像ファイルを取得する(ステップ116)。当該画像ファイルの画像が表示される位置は、表示情報から取得可能なので、新差分領域画像が表示されている位置情報に基づき、当該新差分領域画像に対応する画像ファイルを取得することができる。なお、新差分領域画像に対応する画像ファイルを検出できなかった場合は、ステップ119に進み、新差分領域画像を転送するものとする。
【0072】
そして、画像比較転送制御部18は、当該画像ファイルの形式を調べ、特定の形式であって、画像の表示/非表示を繰り返す設定がされているかどうかを判定する(ステップ117)。本例では、繰り返す設定がされている可能性のある特定の形式の画像ファイルとして、GIFファイルもしくはPNGファイルを想定している。これらのファイルでは、画像ファイル自体に繰り返すかどうかのパラメータが設定されており、ステップ117では、画像比較転送制御部18が当該パラメータを読み取ることにより、繰り返し設定有無の判定を行う。
【0073】
繰り返す設定がされていればステップ118に進み、繰り返す設定がされていなければステップ119に進む。
【0074】
繰り返す設定がされている場合、画像比較転送制御部18は、当該繰り返す設定がされている画像ファイルに対応する新差分領域画像を、所定の回数(例えば1回)だけ既に送信したかどうかを判定する(ステップ118)。既に送信していれば、今回の新差分領域画像は転送しないこととし、ステップ13の前に戻る。
【0075】
ステップ117で繰り返し設定がされていない場合、もしくは、ステップ118で既に送信していない場合、今回の新差分領域画像は、転送すべき画像であると判定され、転送用画面情報生成転送部20に渡される。そして、転送用画面情報生成転送部20は、新差分領域画像と、当該新差分領域画像の画面内での位置情報とを含む転送用画面情報を生成し、それを表示装置2に転送する(ステップ119)。このとき、ステップ117で繰り返し設定ありと判定されていた場合、今回転送した新差分領域画像の識別情報(例えば、対応する画像ファイル名)と、転送したことを示すフラグとをメモリ等の記憶手段に格納しておく。この識別情報とフラグを参照することにより、ステップ117における判定を行うことができる。
【0076】
<画像転送の他の例>
なお、これまでに説明した基本例、及び変形例1、2において新差分領域画像を転送すると決定した場合において、新差分領域画像に対応する画像ファイルがある場合には、新差分領域画像そのものを送ることに代えて、新差分領域画像に対応する画像ファイル(及びそれを表示するための位置情報)を転送することとしてもよい。この場合、前述したとおり、表示処理部15に保持された表示情報から画像ファイルを取得する。表示装置2では、画像ファイルと位置情報を用いて画面表示を行う。
【0077】
また、これまでに説明した基本例、及び変形例1、2において新差分領域画像を転送すると決定した場合において、新差分領域画像に対応する画像ファイルがある場合には、新差分領域画像そのものを送ることに変えて、新差分領域画像に対応する画像ファイルのダウンロード元のアドレス(URL)を、表示のための位置情報とともに表示装置2に転送してもよい。この場合、表示装置2では、受信したURLを用いてネットワーク上のWebサーバから画像ファイルをダウンロードし、位置情報に基づいて表示を行う。
【0078】
(実施の形態の効果)
上記のように、本実施の形態によれば、処理対象のキャプチャ画像と一つ前にキャプチャしたキャプチャ画像とを比較し、差分がある場合に、差分のある部分(領域)のみを転送する(転送の候補とする)こととしたので、転送すべきデータ量及び頻度を削減でき、少ない遅延で転送を行うことができる。
【0079】
更に、過去に転送した差分領域画像の履歴を一定数保存しておき、その履歴と同じ差分領域画像があった場合は転送しないか、もしくは識別情報のみを転送することとしたので、転送すべきデータ量及び頻度を更に削減できる。このような構成は、特に、同じ画像の表示/非表示を繰り返す画像(Webブラウザ画面における広告や、デコメ絵文字等)に対して効果が大きい。
【0080】
また、画面内に複数の差分箇所があった場合は、それぞれの箇所を1つの画像として合成して転送することを可能としたので、それぞれの箇所毎にヘッダを付けて送る場合に比べて、オーバヘッドを削減でき、転送効率を向上させることができる。
【0081】
また、送信すべき画像に対応する元の画像ファイルの形式を調べ、繰り返す設定になっている場合は2回目以降は転送しない構成をとることにより、効率的に繰り返し画像の送信を制限することができる。
【0082】
更に、送信すべき画像に対応する元の画像ファイルを送信する構成をとることで、画像全体の画質を高く保ったまま送信データサイズを最小化することが可能になる。また、元の画像ファイルについては、ファイル自体の代わりに画像ファイルのダウンロード元のWebサーバにおけるURLを表示装置2に送信し、表示装置2が直接Webサーバからダウンロードする構成をとることにより、表示装置2において迅速に画像ファイルの取得及び表示を行うことが可能となる。
【0083】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【0084】
1、2 表示装置
3 通信ネットワーク
11 通信部
12 表示部
13 操作部
14 表示情報生成部
15 表示処理部
16 キャプチャ部
17 キャプチャ画像格納部
18 画像比較転送制御部
19 差分領域画像履歴格納部
20 転送用画面情報生成転送部
21 通信部
22 表示部
23 表示制御部

【特許請求の範囲】
【請求項1】
表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、
前記表示部に表示される画面画像をキャプチャし、キャプチャ画像をキャプチャ画像格納手段に格納するキャプチャ手段と、
前記キャプチャ手段により取得された第1のキャプチャ画像と、当該第1のキャプチャ画像よりも前に取得され、前記キャプチャ画像格納手段に格納されている第2のキャプチャ画像とを比較し、前記第1のキャプチャ画像と前記第2のキャプチャ画像との間に差分領域がある場合に、前記第1のキャプチャ画像における当該差分領域の画像である差分領域画像を前記他の装置に転送するか否かの転送判定を行う画像比較制御手段と、
前記画像比較制御手段により転送すると判定された差分領域画像を前記他の装置に転送する転送手段と、
所定の転送回数分の既に転送した差分領域画像を旧差分領域画像として格納する差分領域画像格納手段と、を備え、
前記画像比較制御手段は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、前記転送判定対象の差分領域画像である対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出しない場合に、当該対象差分領域画像を前記他の装置に転送すると判定する
ことを特徴とする表示装置。
【請求項2】
前記画像比較制御手段は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、前記転送判定対象の差分領域画像である対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出した場合に、当該対象差分領域画像を前記他の装置に転送しないか、又は、当該対象差分領域画像と同じ旧差分領域画像の識別情報を前記他の装置に転送する制御を行う
ことを特徴とする請求項1に記載の表示装置。
【請求項3】
前記差分領域画像格納手段は、各旧差分領域画像を、当該旧差分領域画像のサイズとともに格納しており、
前記画像比較制御手段は、各旧差分領域画像と対象差分領域画像とを比較する際に、最初に各旧差分領域画像のサイズと対象差分領域画像のサイズとを比較し、当該対象差分領域画像のサイズと同じサイズを持つ旧差分領域画像を検出した場合に、当該同じサイズの旧差分領域画像と当該対象差分領域画像との比較を行う
ことを特徴とする請求項1又は2に記載の表示装置。
【請求項4】
転送の対象となった差分領域画像が、複数の領域の画像に分割されている場合において、前記転送手段は、当該複数の領域の画像を合成し、1つの画像のデータとして前記他の装置に転送する
ことを特徴とする請求項1ないし3のうちいずれか1項に記載の表示装置。
【請求項5】
前記画像比較制御手段は、前記第1のキャプチャ画像の元となった表示情報から、前記対象差分領域画像に対応する画像ファイルを取得し、当該画像ファイルにおいて表示と非表示を繰り返す設定がなされているか否かを確認し、繰り返す設定がなされている場合に、当該対象差分領域画像を転送しない制御を行う
ことを特徴とする請求項1ないし4のうちいずれか1項に記載の表示装置。
【請求項6】
表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置が実行する画面画像転送方法であって、
前記表示部に表示される画面画像をキャプチャし、キャプチャ画像をキャプチャ画像格納手段に格納するキャプチャステップと、
前記キャプチャステップにより取得された第1のキャプチャ画像と、当該第1のキャプチャ画像よりも前に取得され、前記キャプチャ画像格納手段に格納されている第2のキャプチャ画像とを比較し、前記第1のキャプチャ画像と前記第2のキャプチャ画像との間に差分領域がある場合に、前記第1のキャプチャ画像における当該差分領域の画像である差分領域画像を前記他の装置に転送するか否かの転送判定を行う画像比較制御ステップと、
前記画像比較制御ステップにより転送すると判定された差分領域画像を前記他の装置に転送する転送ステップと、
所定の転送回数分の既に転送した差分領域画像を旧差分領域画像として格納する差分領域画像格納手段に、転送した差分領域画像を格納する格納ステップと、を備え、
前記画像比較制御ステップにおいて、前記表示装置は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、前記転送判定対象の差分領域画像である対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出しない場合に、当該対象差分領域画像を前記他の装置に転送すると判定する
ことを特徴とする画面画像転送方法。
【請求項7】
表示部を備えるコンピュータを、請求項1ないし5のうちいずれか1項に記載の表示装置における各手段として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate