表示装置、画面画像転送方法、及びプログラム
【課題】第１の表示装置に表示される表示画面を第２の表示装置に表示させることにより画面共有を行う技術において、第１の表示装置に表示される表示画面を、少ない遅延で第２の表示装置に表示させる。
【解決手段】表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置において、前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、前記キャプチャ画像の内容に適した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段と、前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段とを備えて構成する。
【解決手段】表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置において、前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、前記キャプチャ画像の内容に適した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段と、前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段とを備えて構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある表示装置に表示される表示画面を他の表示装置に表示させることにより画面共有を行う技術に関連するものである。
【背景技術】
【０００２】
従来から、複数の装置間で、表示画面を共有する技術がある。例えば、特許文献１には、モニタされる側の表示装置が、ユーザ操作に応じて表示する画面の情報を採取し、画面情報を他の表示装置に送信し、他の表示装置が画面情報に基づいて表示画面を再現してモニタする技術が記載されている。
【０００３】
また、特許文献２には、複数の端末装置間で画面の表示内容を共有し端末から画面への書込み等の操作も共有する技術が記載されている。また、特許文献３には、複数のユーザのそれぞれが有する表示装置の画面に、複数のユーザ間で、共通の画面を表示し、その画面表示を通じて行う共同作業を支援する共同作業支援システムに関する技術が記載されている。その他、本願に関連する先行技術文献として、特許文献４，５がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−５５１５３号公報
【特許文献２】特開２００６−３２３６０７号公報
【特許文献３】特開平１１−６５９７５号公報
【特許文献４】特開２００１−５７６３７号公報
【特許文献５】特開２００５−３２３６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように、複数の表示装置間で表示画面を共有する技術を用いることにより、例えば、表示装置の操作に不慣れなユーザ（被アシスト側）が使用する表示装置（第１の表示装置）に表示される表示画面を、当該操作をアシストするユーザ（アシスト側）の表示装置（第２の表示装置）に表示させることにより、アシスト側のユーザが、表示画面を見ながら被アシスト側のユーザに対して第１の表示装置の操作方法を遠隔で丁寧に教えるといったことが可能になる。
【０００６】
表示画面を共有して操作のアシストを行う技術においては、適確なアシストを行うために、被アシスト側の表示装置に表示された表示画面が、アシスト側の表示装置に素早く表示されることが求められる。
【０００７】
例えば、アシスト側で順次操作指示を行い、被アシスト側にて指示に従って操作を行うことにより被アシスト側の表示装置に順次表示画面が表示される状況で、表示画面情報の転送に時間がかかる場合、アシスト側の表示装置には各操作から相当に遅れて各表示画面が表示されることになる。このような状況では、アシスト側は、どの指示に対応した表示画面かが分からなくなる可能性があるとともに、被アシスト側は、アシスト側からのガイダンスに遅れを感じ、スムーズなアシスト／被アシストを行うにあたって支障をきたす可能性がある。
【０００８】
本発明は上記の点に鑑みてなされたものであり、第１の表示装置に表示される表示画面を第２の表示装置に表示させることにより画面共有を行う技術において、第１の表示装置に表示される表示画面を、少ない遅延で第２の表示装置に表示させるための技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明は、表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、前記キャプチャ画像の内容に適した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段と、前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段とを備えることを特徴とする表示装置として構成される。
【００１０】
前記画像圧縮手段は、例えば、前記画面画像の元になった表示情報の種別に基づいて、前記圧縮方式を決定する。また、前記画像圧縮手段は、前記キャプチャ画像を解析し、非可逆圧縮に適する画像の種別として予め定めた種別の画像が前記画面画像の中で占める割合に応じて前記圧縮方式を決定するように構成してもよい。
【００１１】
また、前記画像圧縮手段は、前記キャプチャ画像の圧縮率がより高くなるように、前記キャプチャ画像に対応した圧縮方式として、非可逆圧縮方式か可逆圧縮方式のうちのいずれかを決定する。
【００１２】
前記表示装置は、前記表示部に表示された画面画像に対してなされた操作の内容を示す操作情報を取得し、当該操作情報を前記他の装置に転送する操作情報取得転送手段を更に備えてもよく、その場合、前記キャプチャ手段は、前記操作がなされた後の画面のキャプチャ画像を取得し、前記画像圧縮手段は、当該キャプチャ画像から、前記操作がなされる前には表示されておらず前記操作後に表示された部分画像を取得し、当該部分画像に対する圧縮方式を決定し、決定された圧縮方式を用いて前記部分画像を圧縮して、圧縮部分画像を生成し、前記転送手段は、前記操作情報取得転送手段により前記操作情報が前記他の装置に転送された後または同時に、前記圧縮部分画像を前記他の装置に転送する。
【００１３】
また、本発明は、上記表示装置が実行する画面画像転送方法、及び、コンピュータを、上記表示装置における各手段として機能させるためのプログラムとして構成することもできる。
【発明の効果】
【００１４】
本発明によれば、第１の表示装置に表示される表示画面を第２の表示装置に表示させることにより画面共有を行う技術において、第１の表示装置に表示される表示画面を、少ない遅延で第２の表示装置に表示させるための技術を提供することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態に係るシステム構成図である。
【図２】表示装置１の機能構成図である。
【図３】圧縮方式管理情報格納部１５５に格納されている管理テーブルの一例を示す図である。
【図４】表示装置２の機能構成図である。
【図５】システムの動作概要を説明するための図である。
【図６】基本処理を説明するためのシーケンス図である。
【図７】操作（スクロール）を行う場合の処理を説明するためのシーケンス図である。
【図８】表示装置１に表示される画面画像の例を示す図である。
【図９】表示装置２に表示される画面画像の例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を説明する。
【００１７】
(システム構成）
図１に、本発明の実施の形態に係るシステム構成を示す。図１に示すように、本実施の形態に係るシステムは、表示装置１と表示装置２が、通信ネットワーク３を介して接続された構成を有する。
【００１８】
本実施の形態では、表示装置１、２は、それぞれPC等であってもよいし、携帯電話機等の携帯端末でもよい。通信ネットワーク３は、画像データ等を送受信可能なネットワークである。
【００１９】
本実施の形態では、表示装置１に表示される画面を表示装置２に表示させることを想定している。つまり、表示装置１に表示される画面情報等が表示装置２に送信され、表示装置２が当該画面情報等に基づいて画面表示を行う。
【００２０】
図２に、本実施の形態に係る表示装置１の機能構成図を示す。図２に示すように、表示装置１は、通信部１１、表示部１２、操作部１３、表示情報生成部１４、転送表示制御部１５を備えている。
【００２１】
通信部１１は、通信ネットーク３を介して他の装置とデータ等の通信を行うための機能部である。表示部１２は、いわゆるディスプレイであり、画像を表示する機能部である。操作部１３は、ユーザが表示装置１に対して情報入力や各種指示を行うためのボタンやキーボード等である。操作部１３は、表示部１２と一体に構成されるタッチスクリーンでもよい。
【００２２】
表示情報生成部１４は、表示部１２に表示するための表示情報を生成する機能部であり、各種アプリケーションや処理プログラムに対応する機能を含む。表示情報生成部１４に含まれるアプリケーションとしては、一例として、Webブラウザ、カメラアプリケーション、メールアプリケーション等がある。
【００２３】
また、例えば、表示装置１が、携帯電話機である場合、表示情報生成部１４は、表示部１２に操作画面を表示し、電話番号入力を受け付けて発信処理を行う等の処理を行う電話機能、電話帳の表示や管理を行う電話帳アプリケーション等、一般的な携帯電話機に備えられ、画面表示を行う各種機能を含む。
【００２４】
表示情報は、例えば、テキスト情報、画像情報、テキストと画像が混在した情報等であり、更に、表示部１２に表示される画面内の表示位置情報を含む。また、本実施の形態では、表示情報は、その種別を示す識別情報を含むものとする。例えば、表示情報を構成するファイルのファイル名（拡張子を除くファイル名）や、その拡張子は識別情報の一種である。
【００２５】
転送表示制御部１５は、表示情報を表示部１２に表示するための処理を行うとともに、画面共有のために、表示装置２へ転送する転送用画面情報等を作成し、当該転送用画面情報等を、通信部１１を介して表示装置２に転送する機能部である。
【００２６】
より詳細には、転送表示制御部１５は、表示処理部１５１、キャプチャ部１５２、キャプチャ画像格納部１５３、転送用画面情報生成転送部１５４、圧縮方式管理情報格納部１５５、操作情報取得転送部１５６を含む。
【００２７】
表示処理部１５１は、表示情報生成部１４から表示情報を受け取り、表示部１２に対して表示する機能部であり、表示情報（例えば、テキスト＋画像）を一時的に格納する記憶領域や、グラフィック用記憶領域（グラフィックメモリ等）を含み、表示のためのグラフィック処理を行う。また、表示処理部１５１は、操作部１３を介して表示情報生成部１４に対してなされるスクロール等の画面表示に関する操作情報を表示情報生成部１４から受け取り、当該操作情報に基づいてスクロール等に対応した画面表示を行う機能も有する。
【００２８】
キャプチャ部１５２は、表示処理部１５１により表示部１２に表示される画面画像を表示処理部１５１から取得（キャプチャ）し、キャプチャ画像格納部１５３に格納する機能部である。
【００２９】
転送用画面情報生成部１５４は、圧縮方式管理情報格納部１５５を参照し、キャプチャ部１５２により取得されたキャプチャ画像に対して、適切な圧縮方式で圧縮処理を施すことにより圧縮画像を生成し、これを転送用画面情報として表示装置２に転送する機能部である。
【００３０】
図３に、圧縮方式管理情報格納部１５５に格納されている管理テーブルの一例を示す。本実施の形態では、一例として、転送用画面情報生成部１５４は、圧縮を行おうとするキャプチャ画像に対応する表示情報の識別情報（種別）を表示処理部１５１から取得し、当該表示情報の識別情報を用いて管理テーブルを参照することにより、キャプチャ画像に施す圧縮処理の圧縮方式を決定している。
【００３１】
例えば、管理テーブルに従って、キャプチャ画像に対応する表示情報がメールや電話帳情報であれば、圧縮方式として可逆圧縮（例えば、GIF、PNG等）を行うと決定し、キャプチャ画像に対応する表示情報がカメラ取得画像（例えば、写真、写真を設定した待ち受け画面、写真一覧画面等）であれば非可逆圧縮（例えば、JPEG等）を行うと決定する。このように圧縮方式を設定するのは、メール画面や電話帳画面のように色数の少ない画面では可逆圧縮の方が圧縮率を高くすることができ、カメラ画像等では非可逆圧縮の方が圧縮率を高くできるためである。画像の種別毎に圧縮率を高める圧縮方式を用いることにより、転送用画面情報のデータ量を減少させることができ、転送用画面情報を表示装置２に転送するのにかかる時間を短縮できる。
【００３２】
また、上記のように、管理テーブルを参照することなく、表示情報を構成しているファイル形式（拡張子で判別可能）を調べ、そのファイル形式と同じ圧縮方式で圧縮を行ってもよい。例えば、圧縮対象のキャプチャ画像の元の画像ファイルがJPEGファイルであった場合、当該キャプチャ画像をJPEG（非可逆圧縮方式）で圧縮する。
【００３３】
なお、圧縮方式の決定方法は、上記の方法に限られるわけでなく、適切な圧縮方式を決定できるのであればどのような方法を用いてもよい。例えば、キャプチャ画像の画像解析を行って、非可逆圧縮に適した画像の面積の割合を算出して圧縮方式を決定してもよい。このような方法を含む他の方法の詳細については、後述する動作説明のところで説明する。また、圧縮方式の区分は、非可逆圧縮と圧縮方式の２区分に限られるわけでなく、例えば、非可逆圧縮の圧縮率を複数種類設定し、各々の圧縮率に対応する非可逆圧縮をそれぞれ異なる圧縮方式として設定してもよい。
【００３４】
操作情報取得転送部１５６は、表示情報生成部１４からスクロール等の画面表示に関わる操作情報を取得し、当該操作情報を表示装置２に転送するとともに、転送用画面情報生成転送部１５４に渡す。
【００３５】
本実施の形態では、操作の例としてスクロールを取り上げ、操作情報はスクロール情報（画面画像を移動する方向（上、下、左、右、等）、及び、移動量（ピクセル数等）を含む）であるものとする。転送用画面情報生成転送部１５４は、操作情報取得転送部１５６からスクロール情報を受け取ると、スクロール前には画面内になかったがスクロールにより画面内に出現した部分の画像を判別し、当該画像のみに対して前述した圧縮を行って、転送する制御を行う。より詳細な処理内容については後に動作説明のところで説明する。
【００３６】
図４に、表示装置２の機能構成図を示す。なお、図４は、表示装置２において、表示装置１から受信した情報を用いて表示を行うことに関する機能をメインに示すものであり、図示はしていないが他の機能も含むものである。例えば、表示装置２が携帯電話機であれば、携帯電話機能や種々のアプリケーション等を含む。
【００３７】
図４に示すように、表示装置２は、通信部２１、表示部２２、表示制御部２３を備えている。
【００３８】
通信部２１は、通信ネットーク３を介して他の装置とデータ等の通信を行うための機能部である。表示部２２は、いわゆるディスプレイであり、画像を表示する機能部である。
【００３９】
表示制御部２３は、表示処理部２３１と操作情報提供部２３２を含む。表示処理部２３１は、表示装置１から受信する転送用画面情報（圧縮画像等）をデコードし、表示部２２に表示する機能を有する。操作情報提供部２３２は、表示装置１から受信する操作情報（スクロール情報）を表示処理部２３１に提供する機能を備える。表示処理部２３１がスクロール情報を受け取った場合、表示している画面画像をスクロール情報に従って移動させるとともに、すぐ後に表示装置１から受信する転送用画面情報（圧縮画像）をデコードして、スクロール移動により画面内で空欄となった部分にデコード画像を挿入して表示する機能も有する。
【００４０】
表示装置１における転送表示制御部１５は、ＣＰＵ、メモリ、通信インターフェース等を備えたコンピュータ（表示情報生成部１４に相当する機能を含む）に、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。当該プログラムは、可搬メモリ等の記録媒体に記録して配布することが可能である。また、当該プログラムをネットワーク上のサーバからダウンロードしてインストールすることも可能である。また、上記の「コンピュータ」は、「コンピュータ」の機能を備える携帯電話機等であってもよい。また、表示装置２の表示制御部２３も、ＣＰＵ、メモリ、通信インターフェース等を備えたコンピュータに、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。
【００４１】
（システムの動作）
次に、本実施の形態におけるシステムの動作を説明する。まず、図５のシーケンスチャートを参照して、システムの動作概要を説明する。
【００４２】
まず、表示装置２が、画面共有要求を表示装置１に送信し（ステップ１）、表示装置１が、画面共有許可を表示装置２に送信することにより、画面共有が開始される。これ以降、表示装置１に表示される画面画像がキャプチャされ、圧縮処理がなされ（ステップ３）、圧縮画像である転送用画面情報が表示装置２に転送され（ステップ４）、表示装置２で画面画像の表示が行われる（ステップ５）ことにより、画面共有が実現される。画面画像のキャプチャ・転送は、一定時間間隔で行うこととしてもよいし、表示装置１において表示する画面画像内容に変更がある度に行うこととしてもよい。また、表示装置１のユーザにより所定の操作がなされたことを契機にして行うこととしてもよい。
【００４３】
図５では、表示装置２から画面共有要求を送信し、表示装置１が画面共有許可を表示装置２に送る例を示したが、表示装置１から画面共有要求を送信し、表示装置２が画面共有許可を表示装置２に送るようにしてもよい。また、画面共有要求と画面共有許可を送受信することにより画面共有処理を開始させることは一例に過ぎず、他の手順により画面共有を開始することとしてもよい。
【００４４】
＜基本処理＞
以下ではまず、ある一の画面の表示情報が生成され、圧縮処理が施されて転送用画面情報が生成され、表示装置２に転送され、表示装置２に表示されるまでの基本処理を、図６を参照して説明する。
【００４５】
なお、キャプチャ画像の転送にあたっては、キャプチャ部１５２でキャプチャされた表示画面全体のキャプチャ画像を圧縮して転送してもよいし、処理対象の表示画面全体キャプチャ画像と1つ前の表示画面全体キャプチャ画像とを比較し、処理対象の表示画面全体キャプチャ画像における、両者間で差分のある部分の画像を圧縮して転送してもよい。以下で説明する圧縮方式の決定方法は、表示画面全体のキャプチャ画像そのものを圧縮・転送する場合でも、差分のある部分のキャプチャ画像を圧縮・転送する場合でも同様に適用できるものである。
【００４６】
表示情報生成部１４が、表示部１２に表示するための表示情報を生成する（ステップ１１）。表示情報は、例えば、Ｗｅｂサーバから取得した画像入りのテキスト情報や、表示のために記憶手段から読み出した写真画像等である。表示情報は、表示処理部１５１に渡され、表示処理部１５１が表示部１２への表示を行う（ステップ１２）。ここまでは、表示装置１における通常の画面表示処理である。
【００４７】
続いて、キャプチャ部１５２が、表示部１２に表示されている画面画像を表示処理部１５１からキャプチャし、キャプチャ画像としてキャプチャ画像格納部１５３に格納する（ステップ１３）。
【００４８】
次に、転送用画面情報生成転送部１５４は、ステップ１３で取得したキャプチャ画像に対する圧縮方式を決定する処理を行う（ステップ１４）。より詳細には、本例では、転送用画面情報生成転送部１５４は、キャプチャ画像に対応する表示情報の識別情報を表示処理部１５１から取得し、圧縮方式管理情報格納部１５５に格納された管理テーブルを参照することにより、当該識別情報（種別）に対応する圧縮方式を決定する。また、前述したように、表示情報である画像ファイルの形式（拡張子で判別）を把握し、当該画像ファイルと同じ圧縮方式を、キャプチャ画像圧縮のための圧縮方式として決定してもよい。
【００４９】
そして、決定された圧縮方式が非可逆圧縮であれば非可逆圧縮方式でキャプチャ画像の圧縮を行い、決定された圧縮方式が可逆圧縮であれば可逆圧縮方式でキャプチャ画像の圧縮を行うことにより圧縮画像を生成し（ステップ１５）、これを転送用画面情報として表示装置２に転送する（ステップ１６）。
【００５０】
転送用画面情報（圧縮画像）を受信した表示装置２では、表示処理部２３１が圧縮画像のデコードを行い（ステップ１７）、デコードした画面画像を表示部１２に表示する（ステップ１８）。
【００５１】
上記の例では、表示情報の識別情報を用いることにより圧縮方式を決定したが、表示情報の識別情報を用いずに圧縮方式の決定を行う構成を採用してもよい。
【００５２】
この場合、例えば、転送用画面情報生成転送部１５４は、圧縮対象のキャプチャ画像を解析することにより、写真画像等の非可逆圧縮に適した画像として予め定めた種別の画像を識別し、当該画像の領域（第１の領域とする）と、それ以外の画像（可逆圧縮に適した画像）の領域（例えば、テキストの領域）（第２の領域とする）に分類し、第１の領域の面積が、キャプチャ画像全体の面積のうちの予め定めた割合以上であれば、圧縮対象のキャプチャ画像全体を非可逆圧縮すると決定し、予め定めた割合未満であればキャプチャ画像全体を可逆圧縮すると決定する。上記の「割合」は、例えば、実験等により、圧縮後のデータ量が最も少なくなる割合として予め決定しておけばよい。
【００５３】
また、非可逆圧縮を行う場合において、圧縮率を固定とせずに、圧縮率を画像の内容に応じて切替えてもよい。例えば、上記第１の領域のキャプチャ画像全体の面積に対する割合に応じて、非可逆圧縮の圧縮率を決定してもよい。この場合、例えば、上記割合が高ければ、すなわち、写真等の画像領域が大きければ、圧縮率を大きくし（強く圧縮する）、上記の割合が低ければ、すなわち、テキスト等の画像領域が大きければ、圧縮率を小さくする（弱く圧縮する）。
【００５４】
このように、圧縮率を切り替える制御は、表示情報の識別情報を用いることにより圧縮方式を決定する前述した方法にも適用できる。この場合、例えば、非可逆圧縮で圧縮を行うと決定したキャプチャ画像について、上記と同様にして、第１の領域のキャプチャ画像全体の面積に対する割合を算出し、当該割合に応じて圧縮率を決定する。
【００５５】
また、以下のような処理を行うように構成してもよい。
【００５６】
この例では、転送用画面情報生成転送部１５４は、キャプチャ画像を解析することにより、写真画像等の非可逆圧縮に適した画像として予め定めた種別の画像を識別し、当該画像の領域（第１の領域とする）と、それ以外の画像（可逆圧縮に適した画像）の領域（例えば、テキストの領域）（第２の領域とする）に分類し、それぞれの領域の画面内での位置情報を、当該位置情報に対応する領域が第１の領域に該当するのかそれとも第２の領域に該当するのかを示す情報とともにメモリ等の記憶手段に保持する。そして、転送用画面情報生成転送部１５４は、記憶手段に保持した情報に基づき、キャプチャ画像を各領域に分割し、各領域の画像を各領域に対応する圧縮方式で圧縮し、各圧縮画像を、それに対応する位置情報とともに表示装置２に転送する。
【００５７】
そして、表示装置２では、各圧縮画像をデコードし、対応する位置情報を用いて、デコードした各画像を画面内の適切な位置に表示することにより、結果として、表示装置１に表示された画面画像と同じ画面画像を表示する。
【００５８】
＜操作情報を用いる場合の処理＞
次に、操作情報（スクロール情報）を用いる場合の処理例を図７の流れに沿って説明する。以下の処理では、上記の基本処理により、表示装置１と表示装置２に同じ画面画像が表示されているものとし、その状態で、表示装置１においてスクロール操作が行われるものとする。
【００５９】
表示装置１において、操作部１３からスクロール操作が行われると（ステップ２１）、表示処理部１５１は、スクロール後の画面画像を表示部１２に表示する（ステップ２２）。このスクロール表示処理は、表示装置１における通常の表示処理である。ここでの処理では、例えば、図８（ａ）に示す画面画像がスクロールされて、図８（ｂ）に示すような画面画像になる。なお、本例において、図８（ａ）に示す画面画像は表示装置２にも表示されている画面画像である。
【００６０】
一方、例えば、連続するスクロール操作が終わったところで、もしくは、一定間隔でキャプチャを行っている場合におけるキャプチャタイミングで、キャプチャ部１５２は、スクロール後の画面画像をキャプチャし、キャプチャ画像としてキャプチャ画像格納部１５３に格納する（ステップ２３）。
【００６１】
転送用画面情報生成転送部１５４は、スクロール操作の情報を表示情報生成部１４から取得しており、取得した情報に基づいて、画像のキャプチャを行った時点でのスクロール方向（画面画像の移動方向）、及び、移動量（ピクセル数等）を決定し、これらの情報をスクロール情報としてメモリ等の記憶手段に保持する（ステップ２４）。ここでの移動量は、１つ前のキャプチャタイミングから、今回のキャプチャタイミングまでの移動量となる。
【００６２】
そして、転送用画面情報生成転送部１５４は、スクロール情報を表示装置２に転送する（ステップ２５）。スクロール情報を受信した表示装置２の操作情報提供部２３２は、スクロール情報を表示処理部２３１に渡し、表示処理部２３１は、スクロール情報に含まれる移動方向及び移動量にて、表示画面画像のスクロールを行い、スクロール後の画面画像を表示部２２に表示する（ステップ２６）。
【００６３】
例えば、図９（ａ）に示す画面画像がスクロールされて、図９（ｂ）のような画面が表示される。この時点では、スクロールにより出現する画面画像は未だ表示装置１から転送されていないので、図９（ｂ）に示すように、スクロールした部分は空白の画像となっている。なお、この部分を空白にせず、予め定めた画像を表示装置２で用意しておき、それを表示することとしてもよい。
図７のステップ２７では、転送用画面情報生成転送部１５４は、キャプチャ画像格納部１５３に格納されているスクロール後のキャプチャ画像から、スクロール前にはなかったスクロールにより出現した画面画像（部分画像と呼ぶ）を、ステップ２４で取得・保持しておいたスクロール情報を用いて取得する（ステップ２７）。
【００６４】
その後、部分画像に対して、圧縮方式を決定し（ステップ２８）、決定した圧縮方式で圧縮を行い（ステップ２９）、圧縮画像を表示装置２に転送する（ステップ３０）。ステップ２８における圧縮方式の決定にあたっては、「基本処理」のところで説明した方法のうちどの方法を用いてもよい。なお、図７に示す処理の順番は一例であり、これに限られるわけではない。例えば、スクロール情報の転送（ステップ２５）と、圧縮画像の転送（ステップ３０）を同時に行うようにしてもよい。
【００６５】
部分画像が圧縮された圧縮画像を受信した表示装置２では、表示処理部２３１が圧縮画像をデコードし（ステップ３１）、スクロール情報を用いて、デコードした画像を、図９（ｂ）に示す空白の部分に表示する（ステップ３２）。結果として、表示装置２において、表示装置１でのスクロール後の画面画像（図８（ｂ））と同じ画面画像が表示される。
【００６６】
このように、スクロールにより出現した部分の画像だけを圧縮して転送できる構成としたことにより、転送する情報の量を減少させることができ、スクロール等の操作を行う場合でも、迅速に画面共有を行うことが可能となる。
【００６７】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００６８】
１、２ 表示装置
３ 通信ネットワーク
１１ 通信部
１２ 表示部
１３ 操作部
１４ 表示情報生成部
１５ 転送表示制御部
１５１ 表示処理部
１５２ キャプチャ部
１５３ キャプチャ画像格納部
１５４ 転送用画面情報生成転送部
１５５ 圧縮方式管理情報格納部
１５６ 操作情報取得転送部
２１ 通信部
２２ 表示部
２３ 表示制御部
２３１ 表示処理部
２３２ 操作情報提供部
【技術分野】
【０００１】
本発明は、ある表示装置に表示される表示画面を他の表示装置に表示させることにより画面共有を行う技術に関連するものである。
【背景技術】
【０００２】
従来から、複数の装置間で、表示画面を共有する技術がある。例えば、特許文献１には、モニタされる側の表示装置が、ユーザ操作に応じて表示する画面の情報を採取し、画面情報を他の表示装置に送信し、他の表示装置が画面情報に基づいて表示画面を再現してモニタする技術が記載されている。
【０００３】
また、特許文献２には、複数の端末装置間で画面の表示内容を共有し端末から画面への書込み等の操作も共有する技術が記載されている。また、特許文献３には、複数のユーザのそれぞれが有する表示装置の画面に、複数のユーザ間で、共通の画面を表示し、その画面表示を通じて行う共同作業を支援する共同作業支援システムに関する技術が記載されている。その他、本願に関連する先行技術文献として、特許文献４，５がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−５５１５３号公報
【特許文献２】特開２００６−３２３６０７号公報
【特許文献３】特開平１１−６５９７５号公報
【特許文献４】特開２００１−５７６３７号公報
【特許文献５】特開２００５−３２３６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように、複数の表示装置間で表示画面を共有する技術を用いることにより、例えば、表示装置の操作に不慣れなユーザ（被アシスト側）が使用する表示装置（第１の表示装置）に表示される表示画面を、当該操作をアシストするユーザ（アシスト側）の表示装置（第２の表示装置）に表示させることにより、アシスト側のユーザが、表示画面を見ながら被アシスト側のユーザに対して第１の表示装置の操作方法を遠隔で丁寧に教えるといったことが可能になる。
【０００６】
表示画面を共有して操作のアシストを行う技術においては、適確なアシストを行うために、被アシスト側の表示装置に表示された表示画面が、アシスト側の表示装置に素早く表示されることが求められる。
【０００７】
例えば、アシスト側で順次操作指示を行い、被アシスト側にて指示に従って操作を行うことにより被アシスト側の表示装置に順次表示画面が表示される状況で、表示画面情報の転送に時間がかかる場合、アシスト側の表示装置には各操作から相当に遅れて各表示画面が表示されることになる。このような状況では、アシスト側は、どの指示に対応した表示画面かが分からなくなる可能性があるとともに、被アシスト側は、アシスト側からのガイダンスに遅れを感じ、スムーズなアシスト／被アシストを行うにあたって支障をきたす可能性がある。
【０００８】
本発明は上記の点に鑑みてなされたものであり、第１の表示装置に表示される表示画面を第２の表示装置に表示させることにより画面共有を行う技術において、第１の表示装置に表示される表示画面を、少ない遅延で第２の表示装置に表示させるための技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明は、表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、前記キャプチャ画像の内容に適した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段と、前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段とを備えることを特徴とする表示装置として構成される。
【００１０】
前記画像圧縮手段は、例えば、前記画面画像の元になった表示情報の種別に基づいて、前記圧縮方式を決定する。また、前記画像圧縮手段は、前記キャプチャ画像を解析し、非可逆圧縮に適する画像の種別として予め定めた種別の画像が前記画面画像の中で占める割合に応じて前記圧縮方式を決定するように構成してもよい。
【００１１】
また、前記画像圧縮手段は、前記キャプチャ画像の圧縮率がより高くなるように、前記キャプチャ画像に対応した圧縮方式として、非可逆圧縮方式か可逆圧縮方式のうちのいずれかを決定する。
【００１２】
前記表示装置は、前記表示部に表示された画面画像に対してなされた操作の内容を示す操作情報を取得し、当該操作情報を前記他の装置に転送する操作情報取得転送手段を更に備えてもよく、その場合、前記キャプチャ手段は、前記操作がなされた後の画面のキャプチャ画像を取得し、前記画像圧縮手段は、当該キャプチャ画像から、前記操作がなされる前には表示されておらず前記操作後に表示された部分画像を取得し、当該部分画像に対する圧縮方式を決定し、決定された圧縮方式を用いて前記部分画像を圧縮して、圧縮部分画像を生成し、前記転送手段は、前記操作情報取得転送手段により前記操作情報が前記他の装置に転送された後または同時に、前記圧縮部分画像を前記他の装置に転送する。
【００１３】
また、本発明は、上記表示装置が実行する画面画像転送方法、及び、コンピュータを、上記表示装置における各手段として機能させるためのプログラムとして構成することもできる。
【発明の効果】
【００１４】
本発明によれば、第１の表示装置に表示される表示画面を第２の表示装置に表示させることにより画面共有を行う技術において、第１の表示装置に表示される表示画面を、少ない遅延で第２の表示装置に表示させるための技術を提供することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態に係るシステム構成図である。
【図２】表示装置１の機能構成図である。
【図３】圧縮方式管理情報格納部１５５に格納されている管理テーブルの一例を示す図である。
【図４】表示装置２の機能構成図である。
【図５】システムの動作概要を説明するための図である。
【図６】基本処理を説明するためのシーケンス図である。
【図７】操作（スクロール）を行う場合の処理を説明するためのシーケンス図である。
【図８】表示装置１に表示される画面画像の例を示す図である。
【図９】表示装置２に表示される画面画像の例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を説明する。
【００１７】
(システム構成）
図１に、本発明の実施の形態に係るシステム構成を示す。図１に示すように、本実施の形態に係るシステムは、表示装置１と表示装置２が、通信ネットワーク３を介して接続された構成を有する。
【００１８】
本実施の形態では、表示装置１、２は、それぞれPC等であってもよいし、携帯電話機等の携帯端末でもよい。通信ネットワーク３は、画像データ等を送受信可能なネットワークである。
【００１９】
本実施の形態では、表示装置１に表示される画面を表示装置２に表示させることを想定している。つまり、表示装置１に表示される画面情報等が表示装置２に送信され、表示装置２が当該画面情報等に基づいて画面表示を行う。
【００２０】
図２に、本実施の形態に係る表示装置１の機能構成図を示す。図２に示すように、表示装置１は、通信部１１、表示部１２、操作部１３、表示情報生成部１４、転送表示制御部１５を備えている。
【００２１】
通信部１１は、通信ネットーク３を介して他の装置とデータ等の通信を行うための機能部である。表示部１２は、いわゆるディスプレイであり、画像を表示する機能部である。操作部１３は、ユーザが表示装置１に対して情報入力や各種指示を行うためのボタンやキーボード等である。操作部１３は、表示部１２と一体に構成されるタッチスクリーンでもよい。
【００２２】
表示情報生成部１４は、表示部１２に表示するための表示情報を生成する機能部であり、各種アプリケーションや処理プログラムに対応する機能を含む。表示情報生成部１４に含まれるアプリケーションとしては、一例として、Webブラウザ、カメラアプリケーション、メールアプリケーション等がある。
【００２３】
また、例えば、表示装置１が、携帯電話機である場合、表示情報生成部１４は、表示部１２に操作画面を表示し、電話番号入力を受け付けて発信処理を行う等の処理を行う電話機能、電話帳の表示や管理を行う電話帳アプリケーション等、一般的な携帯電話機に備えられ、画面表示を行う各種機能を含む。
【００２４】
表示情報は、例えば、テキスト情報、画像情報、テキストと画像が混在した情報等であり、更に、表示部１２に表示される画面内の表示位置情報を含む。また、本実施の形態では、表示情報は、その種別を示す識別情報を含むものとする。例えば、表示情報を構成するファイルのファイル名（拡張子を除くファイル名）や、その拡張子は識別情報の一種である。
【００２５】
転送表示制御部１５は、表示情報を表示部１２に表示するための処理を行うとともに、画面共有のために、表示装置２へ転送する転送用画面情報等を作成し、当該転送用画面情報等を、通信部１１を介して表示装置２に転送する機能部である。
【００２６】
より詳細には、転送表示制御部１５は、表示処理部１５１、キャプチャ部１５２、キャプチャ画像格納部１５３、転送用画面情報生成転送部１５４、圧縮方式管理情報格納部１５５、操作情報取得転送部１５６を含む。
【００２７】
表示処理部１５１は、表示情報生成部１４から表示情報を受け取り、表示部１２に対して表示する機能部であり、表示情報（例えば、テキスト＋画像）を一時的に格納する記憶領域や、グラフィック用記憶領域（グラフィックメモリ等）を含み、表示のためのグラフィック処理を行う。また、表示処理部１５１は、操作部１３を介して表示情報生成部１４に対してなされるスクロール等の画面表示に関する操作情報を表示情報生成部１４から受け取り、当該操作情報に基づいてスクロール等に対応した画面表示を行う機能も有する。
【００２８】
キャプチャ部１５２は、表示処理部１５１により表示部１２に表示される画面画像を表示処理部１５１から取得（キャプチャ）し、キャプチャ画像格納部１５３に格納する機能部である。
【００２９】
転送用画面情報生成部１５４は、圧縮方式管理情報格納部１５５を参照し、キャプチャ部１５２により取得されたキャプチャ画像に対して、適切な圧縮方式で圧縮処理を施すことにより圧縮画像を生成し、これを転送用画面情報として表示装置２に転送する機能部である。
【００３０】
図３に、圧縮方式管理情報格納部１５５に格納されている管理テーブルの一例を示す。本実施の形態では、一例として、転送用画面情報生成部１５４は、圧縮を行おうとするキャプチャ画像に対応する表示情報の識別情報（種別）を表示処理部１５１から取得し、当該表示情報の識別情報を用いて管理テーブルを参照することにより、キャプチャ画像に施す圧縮処理の圧縮方式を決定している。
【００３１】
例えば、管理テーブルに従って、キャプチャ画像に対応する表示情報がメールや電話帳情報であれば、圧縮方式として可逆圧縮（例えば、GIF、PNG等）を行うと決定し、キャプチャ画像に対応する表示情報がカメラ取得画像（例えば、写真、写真を設定した待ち受け画面、写真一覧画面等）であれば非可逆圧縮（例えば、JPEG等）を行うと決定する。このように圧縮方式を設定するのは、メール画面や電話帳画面のように色数の少ない画面では可逆圧縮の方が圧縮率を高くすることができ、カメラ画像等では非可逆圧縮の方が圧縮率を高くできるためである。画像の種別毎に圧縮率を高める圧縮方式を用いることにより、転送用画面情報のデータ量を減少させることができ、転送用画面情報を表示装置２に転送するのにかかる時間を短縮できる。
【００３２】
また、上記のように、管理テーブルを参照することなく、表示情報を構成しているファイル形式（拡張子で判別可能）を調べ、そのファイル形式と同じ圧縮方式で圧縮を行ってもよい。例えば、圧縮対象のキャプチャ画像の元の画像ファイルがJPEGファイルであった場合、当該キャプチャ画像をJPEG（非可逆圧縮方式）で圧縮する。
【００３３】
なお、圧縮方式の決定方法は、上記の方法に限られるわけでなく、適切な圧縮方式を決定できるのであればどのような方法を用いてもよい。例えば、キャプチャ画像の画像解析を行って、非可逆圧縮に適した画像の面積の割合を算出して圧縮方式を決定してもよい。このような方法を含む他の方法の詳細については、後述する動作説明のところで説明する。また、圧縮方式の区分は、非可逆圧縮と圧縮方式の２区分に限られるわけでなく、例えば、非可逆圧縮の圧縮率を複数種類設定し、各々の圧縮率に対応する非可逆圧縮をそれぞれ異なる圧縮方式として設定してもよい。
【００３４】
操作情報取得転送部１５６は、表示情報生成部１４からスクロール等の画面表示に関わる操作情報を取得し、当該操作情報を表示装置２に転送するとともに、転送用画面情報生成転送部１５４に渡す。
【００３５】
本実施の形態では、操作の例としてスクロールを取り上げ、操作情報はスクロール情報（画面画像を移動する方向（上、下、左、右、等）、及び、移動量（ピクセル数等）を含む）であるものとする。転送用画面情報生成転送部１５４は、操作情報取得転送部１５６からスクロール情報を受け取ると、スクロール前には画面内になかったがスクロールにより画面内に出現した部分の画像を判別し、当該画像のみに対して前述した圧縮を行って、転送する制御を行う。より詳細な処理内容については後に動作説明のところで説明する。
【００３６】
図４に、表示装置２の機能構成図を示す。なお、図４は、表示装置２において、表示装置１から受信した情報を用いて表示を行うことに関する機能をメインに示すものであり、図示はしていないが他の機能も含むものである。例えば、表示装置２が携帯電話機であれば、携帯電話機能や種々のアプリケーション等を含む。
【００３７】
図４に示すように、表示装置２は、通信部２１、表示部２２、表示制御部２３を備えている。
【００３８】
通信部２１は、通信ネットーク３を介して他の装置とデータ等の通信を行うための機能部である。表示部２２は、いわゆるディスプレイであり、画像を表示する機能部である。
【００３９】
表示制御部２３は、表示処理部２３１と操作情報提供部２３２を含む。表示処理部２３１は、表示装置１から受信する転送用画面情報（圧縮画像等）をデコードし、表示部２２に表示する機能を有する。操作情報提供部２３２は、表示装置１から受信する操作情報（スクロール情報）を表示処理部２３１に提供する機能を備える。表示処理部２３１がスクロール情報を受け取った場合、表示している画面画像をスクロール情報に従って移動させるとともに、すぐ後に表示装置１から受信する転送用画面情報（圧縮画像）をデコードして、スクロール移動により画面内で空欄となった部分にデコード画像を挿入して表示する機能も有する。
【００４０】
表示装置１における転送表示制御部１５は、ＣＰＵ、メモリ、通信インターフェース等を備えたコンピュータ（表示情報生成部１４に相当する機能を含む）に、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。当該プログラムは、可搬メモリ等の記録媒体に記録して配布することが可能である。また、当該プログラムをネットワーク上のサーバからダウンロードしてインストールすることも可能である。また、上記の「コンピュータ」は、「コンピュータ」の機能を備える携帯電話機等であってもよい。また、表示装置２の表示制御部２３も、ＣＰＵ、メモリ、通信インターフェース等を備えたコンピュータに、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。
【００４１】
（システムの動作）
次に、本実施の形態におけるシステムの動作を説明する。まず、図５のシーケンスチャートを参照して、システムの動作概要を説明する。
【００４２】
まず、表示装置２が、画面共有要求を表示装置１に送信し（ステップ１）、表示装置１が、画面共有許可を表示装置２に送信することにより、画面共有が開始される。これ以降、表示装置１に表示される画面画像がキャプチャされ、圧縮処理がなされ（ステップ３）、圧縮画像である転送用画面情報が表示装置２に転送され（ステップ４）、表示装置２で画面画像の表示が行われる（ステップ５）ことにより、画面共有が実現される。画面画像のキャプチャ・転送は、一定時間間隔で行うこととしてもよいし、表示装置１において表示する画面画像内容に変更がある度に行うこととしてもよい。また、表示装置１のユーザにより所定の操作がなされたことを契機にして行うこととしてもよい。
【００４３】
図５では、表示装置２から画面共有要求を送信し、表示装置１が画面共有許可を表示装置２に送る例を示したが、表示装置１から画面共有要求を送信し、表示装置２が画面共有許可を表示装置２に送るようにしてもよい。また、画面共有要求と画面共有許可を送受信することにより画面共有処理を開始させることは一例に過ぎず、他の手順により画面共有を開始することとしてもよい。
【００４４】
＜基本処理＞
以下ではまず、ある一の画面の表示情報が生成され、圧縮処理が施されて転送用画面情報が生成され、表示装置２に転送され、表示装置２に表示されるまでの基本処理を、図６を参照して説明する。
【００４５】
なお、キャプチャ画像の転送にあたっては、キャプチャ部１５２でキャプチャされた表示画面全体のキャプチャ画像を圧縮して転送してもよいし、処理対象の表示画面全体キャプチャ画像と1つ前の表示画面全体キャプチャ画像とを比較し、処理対象の表示画面全体キャプチャ画像における、両者間で差分のある部分の画像を圧縮して転送してもよい。以下で説明する圧縮方式の決定方法は、表示画面全体のキャプチャ画像そのものを圧縮・転送する場合でも、差分のある部分のキャプチャ画像を圧縮・転送する場合でも同様に適用できるものである。
【００４６】
表示情報生成部１４が、表示部１２に表示するための表示情報を生成する（ステップ１１）。表示情報は、例えば、Ｗｅｂサーバから取得した画像入りのテキスト情報や、表示のために記憶手段から読み出した写真画像等である。表示情報は、表示処理部１５１に渡され、表示処理部１５１が表示部１２への表示を行う（ステップ１２）。ここまでは、表示装置１における通常の画面表示処理である。
【００４７】
続いて、キャプチャ部１５２が、表示部１２に表示されている画面画像を表示処理部１５１からキャプチャし、キャプチャ画像としてキャプチャ画像格納部１５３に格納する（ステップ１３）。
【００４８】
次に、転送用画面情報生成転送部１５４は、ステップ１３で取得したキャプチャ画像に対する圧縮方式を決定する処理を行う（ステップ１４）。より詳細には、本例では、転送用画面情報生成転送部１５４は、キャプチャ画像に対応する表示情報の識別情報を表示処理部１５１から取得し、圧縮方式管理情報格納部１５５に格納された管理テーブルを参照することにより、当該識別情報（種別）に対応する圧縮方式を決定する。また、前述したように、表示情報である画像ファイルの形式（拡張子で判別）を把握し、当該画像ファイルと同じ圧縮方式を、キャプチャ画像圧縮のための圧縮方式として決定してもよい。
【００４９】
そして、決定された圧縮方式が非可逆圧縮であれば非可逆圧縮方式でキャプチャ画像の圧縮を行い、決定された圧縮方式が可逆圧縮であれば可逆圧縮方式でキャプチャ画像の圧縮を行うことにより圧縮画像を生成し（ステップ１５）、これを転送用画面情報として表示装置２に転送する（ステップ１６）。
【００５０】
転送用画面情報（圧縮画像）を受信した表示装置２では、表示処理部２３１が圧縮画像のデコードを行い（ステップ１７）、デコードした画面画像を表示部１２に表示する（ステップ１８）。
【００５１】
上記の例では、表示情報の識別情報を用いることにより圧縮方式を決定したが、表示情報の識別情報を用いずに圧縮方式の決定を行う構成を採用してもよい。
【００５２】
この場合、例えば、転送用画面情報生成転送部１５４は、圧縮対象のキャプチャ画像を解析することにより、写真画像等の非可逆圧縮に適した画像として予め定めた種別の画像を識別し、当該画像の領域（第１の領域とする）と、それ以外の画像（可逆圧縮に適した画像）の領域（例えば、テキストの領域）（第２の領域とする）に分類し、第１の領域の面積が、キャプチャ画像全体の面積のうちの予め定めた割合以上であれば、圧縮対象のキャプチャ画像全体を非可逆圧縮すると決定し、予め定めた割合未満であればキャプチャ画像全体を可逆圧縮すると決定する。上記の「割合」は、例えば、実験等により、圧縮後のデータ量が最も少なくなる割合として予め決定しておけばよい。
【００５３】
また、非可逆圧縮を行う場合において、圧縮率を固定とせずに、圧縮率を画像の内容に応じて切替えてもよい。例えば、上記第１の領域のキャプチャ画像全体の面積に対する割合に応じて、非可逆圧縮の圧縮率を決定してもよい。この場合、例えば、上記割合が高ければ、すなわち、写真等の画像領域が大きければ、圧縮率を大きくし（強く圧縮する）、上記の割合が低ければ、すなわち、テキスト等の画像領域が大きければ、圧縮率を小さくする（弱く圧縮する）。
【００５４】
このように、圧縮率を切り替える制御は、表示情報の識別情報を用いることにより圧縮方式を決定する前述した方法にも適用できる。この場合、例えば、非可逆圧縮で圧縮を行うと決定したキャプチャ画像について、上記と同様にして、第１の領域のキャプチャ画像全体の面積に対する割合を算出し、当該割合に応じて圧縮率を決定する。
【００５５】
また、以下のような処理を行うように構成してもよい。
【００５６】
この例では、転送用画面情報生成転送部１５４は、キャプチャ画像を解析することにより、写真画像等の非可逆圧縮に適した画像として予め定めた種別の画像を識別し、当該画像の領域（第１の領域とする）と、それ以外の画像（可逆圧縮に適した画像）の領域（例えば、テキストの領域）（第２の領域とする）に分類し、それぞれの領域の画面内での位置情報を、当該位置情報に対応する領域が第１の領域に該当するのかそれとも第２の領域に該当するのかを示す情報とともにメモリ等の記憶手段に保持する。そして、転送用画面情報生成転送部１５４は、記憶手段に保持した情報に基づき、キャプチャ画像を各領域に分割し、各領域の画像を各領域に対応する圧縮方式で圧縮し、各圧縮画像を、それに対応する位置情報とともに表示装置２に転送する。
【００５７】
そして、表示装置２では、各圧縮画像をデコードし、対応する位置情報を用いて、デコードした各画像を画面内の適切な位置に表示することにより、結果として、表示装置１に表示された画面画像と同じ画面画像を表示する。
【００５８】
＜操作情報を用いる場合の処理＞
次に、操作情報（スクロール情報）を用いる場合の処理例を図７の流れに沿って説明する。以下の処理では、上記の基本処理により、表示装置１と表示装置２に同じ画面画像が表示されているものとし、その状態で、表示装置１においてスクロール操作が行われるものとする。
【００５９】
表示装置１において、操作部１３からスクロール操作が行われると（ステップ２１）、表示処理部１５１は、スクロール後の画面画像を表示部１２に表示する（ステップ２２）。このスクロール表示処理は、表示装置１における通常の表示処理である。ここでの処理では、例えば、図８（ａ）に示す画面画像がスクロールされて、図８（ｂ）に示すような画面画像になる。なお、本例において、図８（ａ）に示す画面画像は表示装置２にも表示されている画面画像である。
【００６０】
一方、例えば、連続するスクロール操作が終わったところで、もしくは、一定間隔でキャプチャを行っている場合におけるキャプチャタイミングで、キャプチャ部１５２は、スクロール後の画面画像をキャプチャし、キャプチャ画像としてキャプチャ画像格納部１５３に格納する（ステップ２３）。
【００６１】
転送用画面情報生成転送部１５４は、スクロール操作の情報を表示情報生成部１４から取得しており、取得した情報に基づいて、画像のキャプチャを行った時点でのスクロール方向（画面画像の移動方向）、及び、移動量（ピクセル数等）を決定し、これらの情報をスクロール情報としてメモリ等の記憶手段に保持する（ステップ２４）。ここでの移動量は、１つ前のキャプチャタイミングから、今回のキャプチャタイミングまでの移動量となる。
【００６２】
そして、転送用画面情報生成転送部１５４は、スクロール情報を表示装置２に転送する（ステップ２５）。スクロール情報を受信した表示装置２の操作情報提供部２３２は、スクロール情報を表示処理部２３１に渡し、表示処理部２３１は、スクロール情報に含まれる移動方向及び移動量にて、表示画面画像のスクロールを行い、スクロール後の画面画像を表示部２２に表示する（ステップ２６）。
【００６３】
例えば、図９（ａ）に示す画面画像がスクロールされて、図９（ｂ）のような画面が表示される。この時点では、スクロールにより出現する画面画像は未だ表示装置１から転送されていないので、図９（ｂ）に示すように、スクロールした部分は空白の画像となっている。なお、この部分を空白にせず、予め定めた画像を表示装置２で用意しておき、それを表示することとしてもよい。
図７のステップ２７では、転送用画面情報生成転送部１５４は、キャプチャ画像格納部１５３に格納されているスクロール後のキャプチャ画像から、スクロール前にはなかったスクロールにより出現した画面画像（部分画像と呼ぶ）を、ステップ２４で取得・保持しておいたスクロール情報を用いて取得する（ステップ２７）。
【００６４】
その後、部分画像に対して、圧縮方式を決定し（ステップ２８）、決定した圧縮方式で圧縮を行い（ステップ２９）、圧縮画像を表示装置２に転送する（ステップ３０）。ステップ２８における圧縮方式の決定にあたっては、「基本処理」のところで説明した方法のうちどの方法を用いてもよい。なお、図７に示す処理の順番は一例であり、これに限られるわけではない。例えば、スクロール情報の転送（ステップ２５）と、圧縮画像の転送（ステップ３０）を同時に行うようにしてもよい。
【００６５】
部分画像が圧縮された圧縮画像を受信した表示装置２では、表示処理部２３１が圧縮画像をデコードし（ステップ３１）、スクロール情報を用いて、デコードした画像を、図９（ｂ）に示す空白の部分に表示する（ステップ３２）。結果として、表示装置２において、表示装置１でのスクロール後の画面画像（図８（ｂ））と同じ画面画像が表示される。
【００６６】
このように、スクロールにより出現した部分の画像だけを圧縮して転送できる構成としたことにより、転送する情報の量を減少させることができ、スクロール等の操作を行う場合でも、迅速に画面共有を行うことが可能となる。
【００６７】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００６８】
１、２ 表示装置
３ 通信ネットワーク
１１ 通信部
１２ 表示部
１３ 操作部
１４ 表示情報生成部
１５ 転送表示制御部
１５１ 表示処理部
１５２ キャプチャ部
１５３ キャプチャ画像格納部
１５４ 転送用画面情報生成転送部
１５５ 圧縮方式管理情報格納部
１５６ 操作情報取得転送部
２１ 通信部
２２ 表示部
２３ 表示制御部
２３１ 表示処理部
２３２ 操作情報提供部
【特許請求の範囲】
【請求項１】
表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、
前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、
前記キャプチャ画像に対応した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段と、
前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段と
を備えることを特徴とする表示装置。
【請求項２】
前記画像圧縮手段は、前記画面画像の元になった表示情報の種別に基づいて、前記圧縮方式を決定する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記画像圧縮手段は、前記キャプチャ画像を解析し、非可逆圧縮に適する画像の種別として予め定めた種別の画像が前記画面画像の中で占める割合に応じて前記圧縮方式を決定する
ことを特徴とする請求項１に記載の表示装置。
【請求項４】
前記画像圧縮手段は、前記キャプチャ画像の圧縮率がより高くなるように、前記キャプチャ画像に対応した圧縮方式として、非可逆圧縮方式か可逆圧縮方式のうちのいずれかを決定する
ことを特徴とする請求項１ないし３のうちいずれか１項に記載の表示装置。
【請求項５】
前記表示装置は、前記表示部に表示された画面画像に対してなされた操作の内容を示す操作情報を取得し、当該操作情報を前記他の装置に転送する操作情報取得転送手段を更に備え、
前記キャプチャ手段は、前記操作がなされた後の画面のキャプチャ画像を取得し、
前記画像圧縮手段は、当該キャプチャ画像から、前記操作がなされる前には表示されておらず前記操作後に表示された部分画像を取得し、当該部分画像に対する圧縮方式を決定し、決定された圧縮方式を用いて前記部分画像を圧縮して、圧縮部分画像を生成し、
前記転送手段は、前記操作情報取得転送手段により前記操作情報が前記他の装置に転送された後または同時に、前記圧縮部分画像を前記他の装置に転送する
ことを特徴とする請求項１ないし４のうちいずれか１項に記載の表示装置。
【請求項６】
表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置が実行する画面画像転送方法であって、
前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャステップと、
前記キャプチャ画像に対応した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮ステップと、
前記画像圧縮ステップにより生成された圧縮画像を前記他の装置に転送する転送ステップと
を備えることを特徴とする画面画像転送方法。
【請求項７】
表示部を備えるコンピュータを、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置として機能させるためのプログラムであって、前記コンピュータを、
前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段、
前記キャプチャ画像に対応した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段、
前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段、
として機能させるためのプログラム。
【請求項１】
表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、
前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、
前記キャプチャ画像に対応した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段と、
前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段と
を備えることを特徴とする表示装置。
【請求項２】
前記画像圧縮手段は、前記画面画像の元になった表示情報の種別に基づいて、前記圧縮方式を決定する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記画像圧縮手段は、前記キャプチャ画像を解析し、非可逆圧縮に適する画像の種別として予め定めた種別の画像が前記画面画像の中で占める割合に応じて前記圧縮方式を決定する
ことを特徴とする請求項１に記載の表示装置。
【請求項４】
前記画像圧縮手段は、前記キャプチャ画像の圧縮率がより高くなるように、前記キャプチャ画像に対応した圧縮方式として、非可逆圧縮方式か可逆圧縮方式のうちのいずれかを決定する
ことを特徴とする請求項１ないし３のうちいずれか１項に記載の表示装置。
【請求項５】
前記表示装置は、前記表示部に表示された画面画像に対してなされた操作の内容を示す操作情報を取得し、当該操作情報を前記他の装置に転送する操作情報取得転送手段を更に備え、
前記キャプチャ手段は、前記操作がなされた後の画面のキャプチャ画像を取得し、
前記画像圧縮手段は、当該キャプチャ画像から、前記操作がなされる前には表示されておらず前記操作後に表示された部分画像を取得し、当該部分画像に対する圧縮方式を決定し、決定された圧縮方式を用いて前記部分画像を圧縮して、圧縮部分画像を生成し、
前記転送手段は、前記操作情報取得転送手段により前記操作情報が前記他の装置に転送された後または同時に、前記圧縮部分画像を前記他の装置に転送する
ことを特徴とする請求項１ないし４のうちいずれか１項に記載の表示装置。
【請求項６】
表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置が実行する画面画像転送方法であって、
前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャステップと、
前記キャプチャ画像に対応した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮ステップと、
前記画像圧縮ステップにより生成された圧縮画像を前記他の装置に転送する転送ステップと
を備えることを特徴とする画面画像転送方法。
【請求項７】
表示部を備えるコンピュータを、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置として機能させるためのプログラムであって、前記コンピュータを、
前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段、
前記キャプチャ画像に対応した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段、
前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１３３５８６（Ｐ２０１２−１３３５８６Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８５０４８（Ｐ２０１０−２８５０４８）
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]