画像処理プログラム、表示システム、画像処理装置および画像処理方法
【課題】画像情報を効率的に送信すること。
【解決手段】検出手段１ａは、時系列に入力された画像１０，１０ａ，１０ｂ，・・・間の変化に応じて、各画像に含まれる第１の種類の領域１１と第１の種類の領域１１よりも変化量の大きい第２の種類の領域１２とを検出する。送信手段１ｂは、所定の時間幅における第１の種類の領域１１の画像情報の送信回数を所定の時間幅における第２の種類の領域１２の画像情報の送信回数よりも少ない回数として、第１の種類の領域１１の画像情報と第２の種類の領域１２の画像情報とを順次送信する。
【解決手段】検出手段１ａは、時系列に入力された画像１０，１０ａ，１０ｂ，・・・間の変化に応じて、各画像に含まれる第１の種類の領域１１と第１の種類の領域１１よりも変化量の大きい第２の種類の領域１２とを検出する。送信手段１ｂは、所定の時間幅における第１の種類の領域１１の画像情報の送信回数を所定の時間幅における第２の種類の領域１２の画像情報の送信回数よりも少ない回数として、第１の種類の領域１１の画像情報と第２の種類の領域１２の画像情報とを順次送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に画像情報を送信する画像処理プログラム、表示システム、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、コンピュータと表示装置（モニタやプロジェクタ）とをネットワークで接続した表示システムが利用されている。この表示システムでは、コンピュータは画像データを表示装置に送信する。表示装置は、コンピュータから受信した画像データをモニタ画面上やスクリーン上に表示する。
【０００３】
ここで、コンピュータと表示装置とを接続するネットワークとして、無線ＩＰ（Internet Protocol）ネットワークや電話回線網などが考えられる。このような伝送路では、単位時間当たりに送受信可能なデータ伝送量（以下、伝送容量という）には限りがある。このため、伝送容量が圧迫されるとコンピュータ側で生成した画像データが表示装置で再生されるまでに遅延が生じることがある。その場合、例えば、表示装置が表示する画像に遅延やコマ落ちが発生する。
【０００４】
これに対し、コンピュータ側で生成した画像データを符号化することでデータ量を小さくし（圧縮）、圧縮した画像データを表示装置に送ることが考えられる。このようにすると、伝送容量が小さくても通信により生じ得る遅延を低減することができる。
【０００５】
ところが、画像データの圧縮を行うと画質が低下し、表示装置が表示する画像が見づらくなることがあるという問題がある。このため、動画用の画像データ生成に際し、オペレータが入力した領域や人物を表示している領域を取得し、当領域については他の領域よりも圧縮率を下げて画質を相対的に向上することで、当領域を見易くする方法が知られている（例えば、特許文献１，２参照）。また、高画質領域のコマ数を低画質領域よりも多くすることで高画質領域の画質をより向上する方法が知られている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３０９８３５号公報
【特許文献２】特開２００８−００５３４９号公報
【特許文献３】特開平０９−１３０７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、画像には所定時間の間に大きく変化する領域とほとんど変化のない領域とが含まれ得る。この場合、大きく変化する領域と同等の頻度で、ほとんど変化のない領域の画像データを送信することは、ネットワークの伝送容量の利用の観点からは非効率であるという問題がある。
【０００８】
本発明はこのような点に鑑みてなされたものであり、画像情報を効率的に送信する画像処理プログラム、表示システム、画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、画像処理プログラムが提供される。この画像処理プログラムを実行するコンピュータは、検出手段および送信手段として機能する。検出手段は、時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する。送信手段は、所定の時間幅における第１の種類の領域の画像情報の送信回数を所定の時間幅における第２の種類の領域の画像情報の送信回数よりも少ない回数として、第１の種類の領域の画像情報と第２の種類の領域の画像情報とを順次送信する。
【００１０】
また、上記課題を解決するために、表示システムが提供される。この表示システムは、画像処理装置と表示装置とを有する。画像処理装置は、検出手段と送信手段とを備える。検出手段は、時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する。送信手段は、所定の時間幅における第１の種類の領域の画像情報の送信回数を所定の時間幅における第２の種類の領域の画像情報の送信回数よりも少ない回数として、第１の種類の領域の画像情報と第２の種類の領域の画像情報とを順次送信する。表示装置は、受信手段と表示手段とを備える。受信手段は、送信手段が送信した第１の種類の領域の画像情報と第２の種類の領域の画像情報とを順次受信する。表示手段は、受信手段が第１の種類の領域の画像情報と第２の種類の領域の画像情報とを受信した場合、第１の種類の領域の画像情報と第２の種類の画像情報とを表示し、受信手段が第２の種類の領域の画像情報を受信して第１の種類の領域の画像情報を受信しない場合、以前に受信した第１の種類の領域の画像情報と今回受信した第２の種類の領域の画像情報とを表示する。
【００１１】
また、上記課題を解決するために上記画像処理プログラムを実行するコンピュータと同様の機能を有する画像処理装置が提供される。また、上記課題を解決するために上記画像処理プログラムを実行するコンピュータと同様の処理を行う画像処理方法が提供される。
【発明の効果】
【００１２】
上記画像処理プログラム、表示システム、画像処理装置および画像処理方法によれば、画像情報を効率的に送信することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態の表示システムを示す図である。
【図２】表示システムの全体構成を示す図である。
【図３】コンピュータのハードウェア構成を示す図である。
【図４】表示装置のハードウェア構成を示す図である。
【図５】第２の実施の形態の各装置の機能構成を示す図である。
【図６】メッシュ構成の具体例を示す図である。
【図７】データ出力制御テーブルのデータ構造例を示す図である。
【図８】第２の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。
【図９】第２の実施の形態の画像データの送信処理を示すフローチャートである。
【図１０】第２の実施の形態の領域判定処理を示すフローチャートである。
【図１１】第２の実施の形態の送信領域特定処理を示すフローチャートである。
【図１２】第２の実施の形態の符号化処理を示すフローチャートである。
【図１３】第２の実施の形態の画像データの受信処理を示すフローチャートである。
【図１４】第２の実施の形態の環境の設定変更処理を示すフローチャートである。
【図１５】第２の実施の形態の画像データの送信方法の第１の具体例を示す図である。
【図１６】第２の実施の形態の各領域の画像データの送信方法の第２の具体例を示す図である。
【図１７】第３の実施の形態の各装置の機能構成を示す図である。
【図１８】第３の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。
【図１９】第３の実施の形態の領域判定処理を示すフローチャートである。
【図２０】第３の実施の形態の符号化処理を示すフローチャートである。
【図２１】第３の実施の形態の符号化処理を示すフローチャートである。
【図２２】第３の実施の形態の画像の各領域を示す図である。
【図２３】第４の実施の形態の各装置の機能構成を示す図である。
【図２４】第４の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。
【図２５】第４の実施の形態の送信領域特定処理を示すフローチャートである。
【図２６】第４の実施の形態の画像データの送信方法の具体例を示す図である。
【図２７】第５の実施の形態の各装置の機能構成を示す図である。
【図２８】第５の実施の形態の継続フレーム数しきい値設定テーブルのデータ構造例を示す図である。
【図２９】第５の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。
【図３０】第５の実施の形態の送信領域特定処理を示すフローチャートである。
【図３１】第５の実施の形態の二次高品位画像の送信方法の具体例を示す図である。
【発明を実施するための形態】
【００１４】
以下、実施の形態を図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、第１の実施の形態の表示システムを示す図である。この表示システムは、コンピュータ１および表示装置２を有する。コンピュータ１は、検出手段１ａおよび送信手段１ｂを有する。
【００１５】
検出手段１ａは、時系列に入力された画像１０，１０ａ，１０ｂ，・・・の間の変化に応じて、各画像に含まれる第１の種類の領域１１と、第１の種類の領域１１よりも変化量の大きい第２の種類の領域１２とを検出する。変化量は、例えば各画素の画素値の変化の度合いにより検出することができる。例えば、画像１０ａの対象画素の画素値と直前の画像である画像１０における対応する画素の画素値との差が所定値以上である場合に、対象画素を第２の種類の領域１２に含めることが考えられる。なお、変化量は、複数の画素の集合により比較して検出してもよい。
【００１６】
送信手段１ｂは、所定の時間幅における第１の種類の領域１１の画像情報の送信回数を所定の時間幅における第２の種類の領域１２の画像情報の送信回数よりも少ない回数として、第１の種類の領域１１の画像情報と第２の種類の領域１２の画像情報とを表示装置２に順次送信する。
【００１７】
例えば、送信手段１ｂは、所定の時間幅の間で第２の種類の領域１２に関して画像情報１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｅと５回の送信を行い、第１の種類の領域１１に関して画像情報１１ａ，１１ｂと２回の送信を行う。
【００１８】
表示装置２は、送信手段１ｂから受信した第１の種類の領域１１の画像情報と第２の種類の領域１２の画像情報とを表示する。表示装置２は、例えば、モニタやプロジェクタである。
【００１９】
表示装置２は、例えば第１の種類の領域１１の画像情報１１ａと第２の種類の領域の画像情報１２ａとを受信すると、画像情報１１ａ，１２ａを組み合わせた画像を表示する。次に、表示装置２は、画像情報１２ｂを受信すると、表示した画像情報１２ａを画像情報１２ｂで更新する。その後、表示装置２が画像情報１２ｃ，１２ｄと順次受信した場合も同様である。そして、表示装置２は、画像情報１１ｂ，１２ｅを受信すると、表示した画像情報１１ａを画像情報１１ｂで更新し、表示した画像情報１２ｄを画像情報１２ｅで更新する。
【００２０】
コンピュータ１によれば、検出手段１ａにより、時系列に入力された複数の画像１０，１０ａ，１０ｂ，・・・の間の変化に応じて、各画像に含まれる第１の種類の領域１１と、第１の種類の領域１１よりも変化量の大きい第２の種類の領域１２とが検出される。送信手段１ｂにより、所定の時間幅における第１の種類の領域１１の画像情報の送信回数を所定の時間幅における第２の種類の領域１２の画像情報の送信回数よりも少ない回数として、第１の種類の領域１１の画像情報と第２の種類の領域１２の画像情報とが表示装置２に順次送信される。
【００２１】
これにより、画像情報を効率的に送信することが可能となる。具体的には、第２の種類の領域１２に比べて変化量の小さい第１の種類の領域１１の画像情報は、第２の種類の領域１２の画像情報よりも送信回数が少なくなる。このため、第１の種類の領域１１の画像情報を送信するために、伝送容量が不必要に使用されることを抑止することができる。また、その分の伝送容量を用いて、第１の種類の領域１１の画像や第２の種類の領域１２の画像の画質向上を図ることができる。また、その分の伝送容量を他のデータ通信に利用することもできる。
【００２２】
以下の第２〜第５の実施の形態では、第１の実施の形態に係る表示システムの応用例を説明する。
［第２の実施の形態］
図２は、表示システムの全体構成を示す図である。第２の実施の形態に係る表示システムは、コンピュータ１００および表示装置２００を有する。コンピュータ１００と表示装置２００とは、ネットワーク１０を介して接続される。ネットワーク１０は、コンピュータ１００および表示装置２００を無線で接続する無線ＬＡＮ（Local Area Network）である。
【００２３】
コンピュータ１００は、表示装置２００に表示させる画像データをネットワーク１０を介して表示装置２００に送信する。コンピュータ１００が表示装置２００に送信する画像データのデータ形式には、Ｍｏｔｉｏｎ ＪＰＥＧ（Motion Joint Photographic Experts Groups）などによる非可逆圧縮方式が用いられる。非可逆圧縮方式を用いることで、可逆圧縮方式に比べて、データ量を小さくし易いほか、符号化・復号処理に要する処理時間を短縮することができる。このため、非可逆圧縮方式は、画像データをネットワーク１０を介して送信し、複数の画面上で同時に同一の内容を閲覧したい場合に適している。
【００２４】
表示装置２００は、コンピュータ１００から受信する画像データをスクリーン２０に投影する。表示装置２００は、例えば、プロジェクタである。
コンピュータ１００は、表示装置２００に画像データを送信する機能を有している。この機能は、コンピュータ１００が画像処理プログラムを実行することで実現される。そのような画像処理プログラムは、コンピュータ読み取り可能な記録媒体３０に記録して配布することができる。
【００２５】
また、ネットワーク１０に接続されたサーバ装置（図示せず）に記録媒体３０から画像処理プログラムを格納してもよい。この場合、コンピュータ１００は、ネットワーク１０を介してサーバ装置から画像処理プログラムをダウンロードすることができる。
【００２６】
記録媒体３０としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリを使用できる。磁気記録装置には、ＨＤＤ（Hard Disk Drive）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−Ｒ／ＲＷ／ＲＡＭ（Random Access Memory）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【００２７】
また、表示装置２００もコンピュータ１００が送信した画像データを受信してスクリーン２０に投影する機能を有している。表示装置２００は、そのためのプログラムをネットワーク１０を介してサーバ装置からダウンロードすることができる。
【００２８】
なお、コンピュータ１００と表示装置２００とは、ネットワーク１０を介さずに直接接続されてもよい。この場合、コンピュータ１００と表示装置２００とは、ワイヤレスＵＳＢ（Wireless Universal Serial Bus）で接続することが考えられる。
【００２９】
図３は、コンピュータのハードウェア構成を示す図である。コンピュータ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ１０３、表示処理部１０４、ディスプレイ１０５、入力処理部１０６、キーボード１０７、マウス１０８および通信処理部１０９を有する。
【００３０】
ＣＰＵ１０１は、コンピュータ１００全体を制御する。
ＲＡＭ１０２は、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションソフトウェア（以下、アプリケーションという）のプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ１０２は、ＣＰＵ１０１による処理に必要な各種データを記憶する。
【００３１】
ＨＤＤ１０３は、ＯＳのプログラム、アプリケーションのプログラムを記憶する。また、ＨＤＤ１０３は、ＣＰＵ１０１による処理に必要な各種データを記憶する。なお、ＨＤＤ１０３の代わりに例えばＳＳＤ（Solid State Drive）などの他の不揮発性の記憶装置を用いることもできる。
【００３２】
表示処理部１０４は、ディスプレイ１０５と接続される。表示処理部１０４は、ＣＰＵ１０１からの命令にしたがって画像をディスプレイ１０５の画面に表示させる。
入力処理部１０６は、キーボード１０７とマウス１０８と接続される。入力処理部１０６は、キーボード１０７やマウス１０８から送られてくる信号をＣＰＵ１０１に送信する。
【００３３】
通信処理部１０９は、ネットワーク１０と接続され、表示装置２００と画像データの送受信を行う。画像データの内容は、例えば、表示処理部１０４がディスプレイ１０５に表示させている画像が考えられる。このようにすると、例えば、ユーザは、コンピュータ１００を操作しながら、その操作画面を表示装置２００を介してスクリーン２０に表示してプレゼンテーションを行うことができる。
【００３４】
図４は、表示装置のハードウェア構成を示す図である。表示装置２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＮＶＲＡＭ（Non Volatile RAM）２０３、表示処理部２０４、投影部２０５、入力処理部２０６、操作部２０７および通信処理部２０８を有する。
【００３５】
ＣＰＵ２０１は、表示装置２００全体を制御する。
ＲＡＭ２０２は、ＣＰＵ２０１に実行させるＯＳのプログラムやアプリケーションのプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ２０２は、ＣＰＵ２０１による処理に必要な各種データを記憶する。
【００３６】
ＮＶＲＡＭ２０３は、ＯＳのプログラム、アプリケーションのプログラムを記憶する。また、ＮＶＲＡＭ２０３は、ＣＰＵ２０１による処理に必要な各種データを記憶する。
表示処理部２０４は、投影部２０５と接続される。表示処理部２０４は、ＣＰＵ２０１からの命令にしたがって、投影部２０５にスクリーンへの画像の投影を実行させる。
【００３７】
入力処理部２０６は、操作部２０７と接続される。入力処理部２０６は、操作部２０７から送られてくる信号をＣＰＵ２０１に送信する。
通信処理部２０８は、ネットワーク１０と接続され、コンピュータ１００とデータの送受信を行う。
【００３８】
図５は、第２の実施の形態の各装置の機能構成を示す図である。コンピュータ１００は、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ管理情報記憶部１３０、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０、送信領域特定部１６０、符号化部１７０、送信部１８０、受信部１８５、通信帯域監視部１９０、フレームレート設定受付部１９５を有する。これらの機能はＣＰＵ１０１が画像処理プログラムを実行することで実現される。ただし、これらの機能の一部または全部を専用のハードウェアで実現してもよい。
【００３９】
制御情報記憶部１１０は、画像データの符号化に際して、圧縮率（あるいは画質）を特定するためのデータ出力制御情報を記憶する。データ出力制御情報には、コンピュータ１００と表示装置２００との間の伝送路の伝送容量や表示装置２００が画像を再生する際のフレームレート（単位時間当たりの描画画面数）などの情報が含まれる。
【００４０】
メッシュ記憶部１２０は、画像内を所定数の画素による方形領域に分割したメッシュを記憶するためのバッファである。メッシュ記憶部１２０は、時系列に入力された画像データについて生成されたメッシュを一時的に記憶する。
【００４１】
メッシュ管理情報記憶部１３０は、画像内におけるメッシュの位置、動画や静止画の区分などを含むメッシュ管理情報を記憶する。
メッシュ生成部１４０は、画像データを順次受け付ける。メッシュ生成部１４０は、画像データを分割してメッシュを生成し、メッシュ記憶部１２０に格納する。
【００４２】
変化検出部１４５は、メッシュ記憶部１２０に記憶された画像内の同一位置のメッシュと該当位置の直前のメッシュとを比較して、該当のメッシュが直前のメッシュからの変化を検出する。ここで、変化検出部１４５は、メッシュの変化を、両メッシュに含まれる画素の画素値（色や輝度を示すパラメータなど）に差があるか否かにより検出することができる。具体的には、変化検出部１４５は、画素値に差がある画素が存在する場合に変化ありと検出し、何れの画素にも画素値に差がない場合に変化なしと検出する。また、例えば、変化検出部１４５は、画素値に所定値以上の差がある画素が存在する場合に変化ありと検出し、何れの画素にも所定値以上の差がない場合に変化なしと検出することも考えられる。
【００４３】
領域判定部１５０は、変化検出部１４５が変化ありと検出した領域（複数のメッシュの集合）を動画領域と特定する。また、領域判定部１５０は、変化検出部１４５が変化なしと検出した領域を静止画領域と特定する。領域判定部１５０は、このようにして特定した各メッシュの動画および静止画の区分に基づいてメッシュ管理情報を生成し、メッシュ管理情報記憶部１３０に格納する。
【００４４】
送信領域特定部１６０は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理情報に基づいて、表示装置２００に送信する領域（送信領域）を特定する。送信領域特定部１６０は、動画領域について、その全部を送信領域と特定する。
【００４５】
また、送信領域特定部１６０は、静止画領域について、その一部を送信領域と特定する。すなわち、送信領域特定部１６０は、静止画領域を更に分割し、分割した領域を複数のタイミングで送信領域として順次特定する。このようにすることで、静止画領域の単位面積当たりの送信データ量を動画領域の単位面積当たりの送信データ量よりも多く割り当てることができる。すなわち、後段の符号化に伴う圧縮率を制御して、静止画領域の画質を動画領域の画質よりも向上させることができる。
【００４６】
更に、送信領域特定部１６０は、静止画領域を送信領域と特定する頻度を、動画領域を送信領域と特定する頻度よりも小さくする。例えば、送信領域特定部１６０は、静止画領域の画質の画像データを送信した後は、その領域が動画領域となるか、あるいは所定時間が経過するまで、送信領域として特定しないようにする。すなわち、画像データの入力レートに対し、静止画領域については間引きを行うことで、静止画領域の送信レート（あるいは送信回数）を動画領域の送信レートよりも少なくすることができる。
【００４７】
送信領域特定部１６０は、送信領域として特定した動画領域または静止画領域の情報を符号化部１７０に出力する。
符号化部１７０は、送信領域特定部１６０が特定した送信領域のメッシュを順番に符号化してデータ量を削減する（圧縮）。符号化部１７０は、圧縮率決定部１７１、動画領域符号化部１７２および静止画領域符号化部１７３を有する。
【００４８】
圧縮率決定部１７１は、動画領域に含まれるメッシュ（動画メッシュ）群または静止画領域に含まれるメッシュ（静止画メッシュ）群の符号化後データ量を決定する。符号化後データ量が大きいほど圧縮率は低く、画像の劣化も小さいため、画像の品質は高くなる。また、符号化後データ量が小さいほど圧縮率は高く、画像の劣化が大きいため、画像の品質は低くなる。
【００４９】
圧縮率決定部１７１は、動画メッシュの圧縮率よりも静止画メッシュの圧縮率を低く設定し、静止画領域については、動画領域よりも高品位な画像の表示を可能とする。圧縮率決定部１７１による圧縮率の決定処理の詳細は、後述する。
【００５０】
動画領域符号化部１７２は、圧縮率決定部１７１が決定した動画領域の符号化後データ量に近くなるように送信領域内の動画メッシュを符号化する。例えば、Ｍｏｔｉｏｎ ＪＰＥＧ形式で符号化する場合、動画領域符号化部１７２は、動画メッシュにＤＣＴ（Discrete Cosine Transform）変換、量子化処理およびハフマン符号化処理を順次施して符号化を行う。この場合、動画領域符号化部１７２は、例えば動画領域の符号化後データ量を越えない最大のデータ量となるテーブル類（量子化テーブルやハフマン符号テーブル）を用いて符号化する。あるいは、符号化後データ量に最も近くなるテーブル類を用いて符号化する。
【００５１】
動画領域符号化部１７２は、符号化して生成した動画圧縮データを送信部１８０に出力する。
静止画領域符号化部１７３は、圧縮率決定部１７１が決定した静止画領域の符号化後データ量に近くなるように送信領域内の静止画メッシュを符号化する。なお、静止画領域に関しても、動画領域符号化部１７２と同様にしてＭｏｔｉｏｎ ＪＰＥＧ形式の符号化処理を施すことが考えられる。
【００５２】
静止画領域符号化部１７３は、符号化して生成した静止画圧縮データを送信部１８０に出力する。
なお、符号化部１７０は、表示装置２００で画像を再生する際の情報を、各圧縮データに含める。符号化部１７０は、例えばＭｏｔｉｏｎ ＪＰＥＧ形式で符号化を行う場合、量子化に用いた量子化テーブル、ハフマン符号化に用いたハフマン符号テーブルおよび各メッシュの位置（画面上の座標など）を示す情報を各圧縮データに含める。
【００５３】
送信部１８０は、符号化部１７０から取得した動画圧縮データまたは静止画圧縮データを含む圧縮データを表示装置２００に送信する。
受信部１８５は、表示装置２００から表示装置２００が画像再生を行うフレームレートの設定情報を受信する。受信部１８５は、制御情報記憶部１１０に記憶されたデータ出力制御情報に、フレームレートの設定情報の内容を反映する。
【００５４】
通信帯域監視部１９０は、送信部１８０および受信部１８５からコンピュータ１００と表示装置２００との間の伝送路の伝送容量を取得する。通信帯域監視部１９０は、制御情報記憶部１１０に記憶されたデータ出力制御情報に、現通信環境における伝送容量の情報を反映する。
【００５５】
フレームレート設定受付部１９５は、表示装置２００が画像を再生する際のフレームレートの設定変更を受け付ける。フレームレートの設定変更は、例えば、ユーザがディスプレイ１０５に表示された設定変更用のインタフェースにしたがって、キーボード１０７やマウス１０８を操作することで入力される。フレームレート設定受付部１９５は、受け付けたフレームレートの設定変更を表示装置２００に通知すると共に、その変更内容を制御情報記憶部１１０に記憶されたデータ出力制御情報に反映する。
【００５６】
表示装置２００は、受信部２１０、復号部２２０、出力処理部２３０、フレームレート通知部２４０および送信部２５０を有する。
受信部２１０は、送信部１８０が送信した圧縮データを受信する。受信部２１０は、受信した圧縮データを復号部２２０に出力する。
【００５７】
復号部２２０は、受信部２１０から取得した圧縮データに含まれる動画圧縮データまたは静止画圧縮データを復号する。受信部２１０は、動画領域復号部２２１および静止画領域復号部２２２を有する。
【００５８】
動画領域復号部２２１は、動画圧縮データを復号する。例えば、動画圧縮データがＭｏｔｉｏｎ ＪＰＥＧ形式である場合、動画領域復号部２２１は、動画圧縮データに対して、ハフマン復号処理、逆量子化処理および逆ＤＣＴ変換を順次施して動画領域の復号画像データを得る。このとき、動画領域復号部２２１は、符号化時に使用したハフマン符号テーブルや量子化テーブルを動画圧縮データから取得して、復号に利用することができる。動画領域復号部２２１は、動画領域の復号画像データを出力処理部２３０に出力する。
【００５９】
静止画領域復号部２２２は、静止画圧縮データを復号する。例えば、静止画圧縮データがＭｏｔｉｏｎ ＪＰＥＧ形式である場合、動画領域復号部２２１と同様の処理により静止画領域の復号画像データを得る。ただし、動画領域復号部２２１と静止画領域復号部２２２とでは画質が異なるため、復号処理に用いる量子化テーブルやハフマン符号テーブルは異なるものとなる。静止画領域復号部２２２は、静止画領域の復号画像データを出力処理部２３０に出力する。
【００６０】
出力処理部２３０は、復号部２２０から取得した動画領域の復号画像データと静止画領域の復号画像データとを合成して得られる復号画像を投影部２０５に出力し、スクリーン２０に投影させる。出力処理部２３０は、例えば、動画圧縮データや静止画圧縮データに含まれる各メッシュの位置を示す情報により、動画圧縮領域の復号画像データと静止画領域の復号画像データとを適正に合成して復号画像を得ることができる。
【００６１】
フレームレート通知部２４０は、出力処理部２３０が復号画像を出力（再生）する際のフレームレートを取得する。フレームレート通知部２４０は、フレームレートが変更した場合、新しいフレームレートの情報を送信部２５０に出力する。フレームレートの変更は、例えば、ユーザが操作部２０７で所定の操作を行うことで出力処理部２３０に受け付けられる。また、コンピュータ１００からフレームレートの設定変更指示を受信することでも受け付けられる。
【００６２】
送信部２５０は、フレームレート通知部２４０から取得したフレームレートの情報をコンピュータ１００に送信する。
図６は、メッシュ構成の具体例を示す図である。画像データ３００は、静止画領域３１０および動画領域３２０を有する。静止画領域３１０および動画領域３２０は、各領域内を方形領域に分割した複数のメッシュ３３０により構成される。メッシュ３３０は、複数の画素３３１を含み、例えば、１６×１６画素や８×８画素の集合である。
【００６３】
画像データ３００は、左上頂点を原点として、横軸にｘ座標、縦軸にｙ座標が定義される。各メッシュの位置は、（ｘ，ｙ）座標によって特定することができる。
変化検出部１４５は、画像データ３００に含まれる各メッシュについて、直前のメッシュとの変化の有無を検出する。領域判定部１５０は、変化検出部１４５により変化なしとされた領域を静止画領域３１０とする。領域判定部１５０は、変化検出部１４５により変化ありとされた領域を動画領域３２０とする。
【００６４】
図７は、データ出力制御テーブルのデータ構造例を示す図である。データ出力制御テーブル１１１，１１２，１１３は、伝送路の伝送容量の候補値に応じて制御情報記憶部１１０に予め格納される。データ出力制御テーブル１１１は、伝送容量の上限が２０Ｍｂｐｓ（Megabits Per Second）の通信環境における制御情報である。その他にも、例えば、ワイヤレスＵＳＢによる接続を想定して、伝送容量の上限が６０Ｍｂｐｓの通信環境における制御情報を用意しておくことも考えられる。なお、以下の説明では、データ出力制御テーブル１１１に関して説明するが、データ出力制御テーブル１１２，１１３，・・・に関しても同様の構成となる。
【００６５】
データ出力制御テーブル１１１には、フレームレートを示す項目、送信可能データ量を示す項目および現設定フラグを示す項目が設定される。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つの伝送環境に関する情報を示す。
【００６６】
フレームレートを示す項目には、表示装置２００が画像を再生する際のフレームレートを示す値がｆｐｓ（Frame Per Second）単位で設定される。
送信可能データ量を示す項目には、送信が許容される画像データのデータ量がＫＢ／ｆ（Kilo Byte / Frame）単位で設定される。
【００６７】
現設定フラグを示す項目には、現在使用中の伝送路の伝送容量およびフレームレートが何れであるかを示すフラグが設定される。現設定フラグを示す項目には、該当の設定である場合には“１”が設定され、該当の設定でない場合には“０”が設定される。
【００６８】
データ出力制御テーブル１１１には、例えば、フレームレートが“３０”（ｆｐｓ）、送信可能データ量が“２８”（ＫＢ／ｆ）、現設定フラグが“１”という情報が設定される。これは、無線ＬＡＮによる現伝送路の伝送容量が２０Ｍｂｐｓであり、表示装置２００が画像を再生する際のフレームレートが“３０”（ｆｐｓ）の設定となっていることを示している。また、伝送容量のうち、画像データの送信に利用可能なデータ量が“２８”（ＫＢ／ｆ）であることを示している。
【００６９】
現設定フラグは、表示装置２００のフレームレートの設定変更に応じて、受信部１８５およびフレームレート設定受付部１９５により更新される。また、伝送路の環境変更などによる伝送容量の変更に応じて通信帯域監視部１９０により更新される。
【００７０】
圧縮率決定部１７１は、データ出力制御テーブル１１１を参照して、送信可能データ量を取得して圧縮率の算出に用いる。ただし、圧縮率決定部１７１は、通信環境に応じて送信可能データ量に相当する値を算出してもよい。
【００７１】
図８は、第２の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。メッシュ管理テーブル１３１は、メッシュ管理情報記憶部１３０に格納される。メッシュ管理テーブル１３１には、メッシュ座標を示す項目、動画領域フラグを示す項目および高品位画像送信済フラグを示す項目が設けられる。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つのメッシュに関する情報を示す。
【００７２】
メッシュ座標を示す項目には、各メッシュの座標が設定される。
動画領域フラグを示す項目には、該当のメッシュが動画メッシュであるか否かを示すフラグが設定される。動画領域フラグを示す項目には、該当のメッシュが動画メッシュである場合は“１”が設定され、動画メッシュでない、すなわち、静止画メッシュである場合は“０”が設定される。
【００７３】
高品位画像送信済フラグを示す項目には、静止画メッシュについて、動画メッシュよりも圧縮率の小さな（画質の高品位な）画像を送信済みであるか否かを示すフラグが設定される。高品位画像送信済フラグを示す項目には、該当のメッシュについて高品位画像を送信済みである場合は“１”が設定され、未送信である場合は“０”が設定される。なお、高品位画像送信済フラグを示す項目には、該当のメッシュが動画メッシュである場合には、高品位画像の送信対象でないことを示す“−”が設定される。
【００７４】
メッシュ管理テーブル１３１には、例えば、メッシュ座標が（ｘ，ｙ）＝“（１，１）”、動画領域フラグが“０”、高品位画像送信済フラグが“１”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（１，１）”で指定されるメッシュが静止画メッシュであり、高品位画像を送信済みであることを示している。
【００７５】
また、メッシュ管理テーブル１３１には、例えば、メッシュ座標が（ｘ，ｙ）＝“（７１，４５）”であり、動画領域フラグが“１”、高品位画像送信済フラグが“−”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７１，４５）”で指定されるメッシュが動画メッシュであり、高品位画像の送信対象外であることを示している。
【００７６】
次に、以上の構成により実現されるコンピュータ１００および表示装置２００の処理手順に関して説明する。
まず、コンピュータ１００による画像データの送信処理に関して説明する。
【００７７】
図９は、第２の実施の形態の画像データの送信処理を示すフローチャートである。以下、図９に示す処理をフローチャートのステップ番号に沿って説明する。
［ステップＳ１］メッシュ生成部１４０は、１フレーム分の画像データを受け付ける。
【００７８】
［ステップＳ２］メッシュ生成部１４０は、受け付けた画像データに含まれる各画素を方形領域に分割してメッシュを生成し、メッシュ記憶部１２０に格納する。
［ステップＳ３］変化検出部１４５は、メッシュ記憶部１２０に記憶された各メッシュについて、直前に入力された画像データに含まれる同一座標の各メッシュと比較して、画素の画素値に変化があるかを検出する。領域判定部１５０は、変化検出部１４５の検出結果に応じて画像データを静止画領域および動画領域に区分する。
【００７９】
［ステップＳ４］送信領域特定部１６０は、領域判定部１５０により動画領域と区分されたメッシュ全てを送信領域と特定する。送信領域特定部１６０は、領域判定部１５０により静止画領域と区分されたメッシュを送信する場合、静止画領域を更に分割したうちの一部のメッシュを送信領域として特定する。
【００８０】
［ステップＳ５］符号化部１７０は、送信領域特定部１６０が特定した送信領域のメッシュを符号化する。符号化部１７０は、送信領域のうち動画メッシュおよび静止画メッシュをそれぞれの圧縮率で符号化し、動画圧縮データおよび静止画圧縮データを生成する。このとき、符号化部１７０は、動画領域よりも低い圧縮率で静止画メッシュの符号化を行う。
【００８１】
［ステップＳ６］送信部１８０は、符号化部１７０が生成した動画圧縮データおよび静止画圧縮データを表示装置２００に送信する。
［ステップＳ７］メッシュ生成部１４０は、次フレームの画像データを受け付けたか否かを判定する。受け付けた場合、処理をステップＳ２に進める。受け付けていない場合、処理を完了する。
【００８２】
このようにして、メッシュ生成部１４０は、順次受け付ける画像データからメッシュを生成する。変化検出部１４５は、各メッシュの画素値の変化を検出する。領域判定部１５０は、変化検出部１４５による変化の検出結果に応じて画像データに含まれる各メッシュを静止画領域および動画領域に分割する。送信領域特定部１６０は、静止画領域および動画領域から送信領域とするメッシュを特定する。符号化部１７０は、送信領域とされたメッシュのうち、動画領域は動画領域の圧縮率で、静止画領域は静止画領域の圧縮率で符号化する。送信部１８０は、符号化部１７０が生成した動画圧縮データおよび静止画圧縮データを表示装置２００に送信する。
【００８３】
次に、上記ステップＳ３〜Ｓ５の処理を更に詳細に説明する。
図１０は、第２の実施の形態の領域判定処理を示すフローチャートである。以下、図１０に示す処理をフローチャートのステップ番号に沿って説明する。なお、図１０に示す処理は、図９のステップＳ３を詳細に示したものである。
【００８４】
［ステップＳ１１］変化検出部１４５は、メッシュ記憶部１２０に記憶され、最新に入力された画像データに含まれていたメッシュのうちから１つのメッシュを抽出する。メッシュの抽出は、例えば、メッシュ座標の原点を開始点として、ｘ座標の正方向へ走査するようにメッシュを順次抽出することが考えられる。そして、例えば、ｘ座標が最大値に達したら、ｙ座標に１を加えたのち、ｘ座標の最小値から正方向へと抽出していく。
【００８５】
［ステップＳ１２］変化検出部１４５は、最新に入力された画像データの直前に入力された画像データに含まれていたメッシュ（以下、直前メッシュという）のうち、ステップＳ１１で抽出したメッシュと同一座標の直前メッシュを抽出する。変化検出部１４５は、ステップＳ１１で抽出したメッシュに含まれる各画素の画素値と直前メッシュに含まれる対応する各画素の画素値とを比較することで、該当のメッシュの変化の有無を検出する。画素値に差のある画素が存在する場合、処理をステップＳ１３に進める。画素値に差のある画素が存在しない場合、処理をステップＳ１４に進める。
【００８６】
［ステップＳ１３］領域判定部１５０は、該当のメッシュを動画領域とする。領域判定部１５０は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理テーブル１３１の該当メッシュ座標に対応するメッシュの動画領域フラグに“１”を設定する。
【００８７】
［ステップＳ１４］領域判定部１５０は、該当のメッシュを静止画領域とする。領域判定部１５０は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理テーブル１３１の該当メッシュ座標に対応するメッシュの動画領域フラグに“０”を設定する。また、動画領域フラグ“１”から“０”へ新たに変更したメッシュに関して、領域判定部１５０は、高品位画像送信済フラグに“０”を設定する。領域判定部１５０は、動画領域フラグを“０”設定のまま維持するメッシュに関しては、高品位画像送信済フラグの設定を変更しない。
【００８８】
［ステップＳ１５］変化検出部１４５は、入力された画像データに含まれるメッシュに変化検出を行っていないメッシュが存在するか否かを判定する。変化検出を行っていないメッシュが存在する場合、処理をステップＳ１１に進める。変化検出を行っていないメッシュが存在しない場合、処理を完了させる。
【００８９】
このようにして、変化検出部１４５は各メッシュについて同一座標の直前メッシュからの変化を検出する。領域判定部１５０、変化検出部１４５により変化ありと検出されたメッシュの集合を動画領域と特定する。また、領域判定部１５０は、変化検出部１４５により変化なしと検出されたメッシュの集合を静止画領域と特定する。
【００９０】
なお、上記ステップＳ１２において、変化検出部１４５は、変化検出を行うために直前のフレームの画像データを参照する。したがって、最初に受け付けた第１番目のフレームの画像データに関しては、比較対象が存在しないことになる。このため、変化検出部１４５は、第１番目のフレームに関しては、全メッシュに変化ありとする。そして、領域判定部１５０は、第１番目のフレームに関しては全メッシュを動画領域として以降の処理を実行する。
【００９１】
図１１は、第２の実施の形態の送信領域特定処理を示すフローチャートである。以下、図１１に示す処理をフローチャートのステップ番号に沿って説明する。なお、図１１に示す処理は、図９のステップＳ４を詳細に示したものである。
【００９２】
［ステップＳ２１］送信領域特定部１６０は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理テーブル１３１の動画領域フラグを参照して、今回送信対象の画像データに静止画領域が含まれているか否かを判定する。静止画領域が含まれている場合、処理をステップＳ２２に進める。静止画領域が含まれていない場合、処理をステップＳ２５に進める。
【００９３】
［ステップＳ２２］送信領域特定部１６０は、メッシュ管理テーブル１３１の高品位画像送信済フラグを参照して、静止画メッシュのうち、高品位画像を未送信のメッシュが存在するか否かを判定する。高品位画像を未送信のメッシュが存在する場合、処理をステップＳ２３に進める。高品位画像を未送信のメッシュが存在しない場合、処理をステップＳ２５に進める。
【００９４】
［ステップＳ２３］送信領域特定部１６０は、静止画領域の分割数を特定する。ここで、静止画領域の分割数とは、静止画領域の送信回数により決まる。例えば、静止画領域を３つの領域に分割して、異なるタイミングに分けて送信する場合、分割数は３である。分割数が小さいほど、静止画領域の画質は低下する。なお、画質の下限は、分割数が１の時であり、このとき動画領域と同一の画質となる。また、分割数が大きいほど、静止画領域の画質は向上する。分割数は、利用環境に応じて、例えばメッシュ情報記憶部１３０に予め記憶される。送信領域特定部１６０は、特定した分割数に基づいて、送信する静止画領域の送信メッシュ数を算出する。
【００９５】
［ステップＳ２４］送信領域特定部１６０は、メッシュ管理テーブル１３１を参照して、高品位画像を未送信のメッシュのうち、算出した送信メッシュ数分のメッシュを抽出し、抽出した静止画メッシュ群を送信対象の領域とする。送信領域特定部１６０は、メッシュ管理テーブル１３１の高品位画像送信済フラグを更新する。すなわち、今回送信対象として抽出した静止画メッシュに設定された高品位画像送信済フラグ“０”を“１”に変更する。送信領域特定部１６０は、抽出した静止画メッシュ群を符号化部１７０に出力する。
【００９６】
［ステップＳ２５］送信領域特定部１６０は、メッシュ管理テーブル１３１の動画領域フラグを参照して、今回送信対象の画像データに動画領域が含まれているか否かを判定する。動画領域が含まれている場合、処理をステップＳ２６に進める。動画領域が含まれていない場合、処理を完了する。
【００９７】
［ステップＳ２６］送信領域特定部１６０は、メッシュ管理テーブル１３１を参照して、動画メッシュを抽出し、抽出した動画メッシュ群を送信対象の領域とする。送信領域特定部１６０は、抽出した動画メッシュ群を符号化部１７０に出力する。
【００９８】
このようにして、送信領域特定部１６０は、静止画領域の一部を送信対象の領域として特定する。送信領域特定部１６０は、送信対象の領域として選択するメッシュの数を、静止画領域の分割数に応じて算出する。また、送信領域特定部１６０は、動画領域の全部を送信対象の領域として特定する。
【００９９】
なお、上記ステップＳ２１〜Ｓ２４に示した静止画領域に対する処理および上記ステップＳ２５，Ｓ２６に示した動画領域に対する処理は、順序を逆にしてもよい。例えば、送信領域特定部１６０は、動画領域に対する処理（ステップＳ２５，Ｓ２６）を先に実行した後、静止画領域に対する処理（ステップＳ２１〜Ｓ２４）を行うことも考えられる。
【０１００】
図１２は、第２の実施の形態の符号化処理を示すフローチャートである。以下、図１２に示す処理をフローチャートのステップ番号に沿って説明する。なお、図１２に示す処理は、図９のステップＳ５を詳細に示したものである。
【０１０１】
［ステップＳ３１］符号化部１７０は、送信領域特定部１６０が特定した送信対象のメッシュ群（動画メッシュ群および静止画メッシュ群）を取得する。
［ステップＳ３２］圧縮率決定部１７１は、制御情報記憶部１１０に記憶されたデータ出力制御テーブル１１１，１１２，１１３，・・・の現設定フラグを参照して、現在の送信可能データ量Ｄを取得する。例えば、本表示システムの環境では、全帯域２０Ｍｂｐｓ、フレームレート３０ｆｐｓの設定となっている。そのため、圧縮率決定部１７１は、Ｄ＝２８（ＫＢ／ｆ）を取得する。
【０１０２】
［ステップＳ３３］圧縮率決定部１７１は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理テーブル１３１を参照して、静止画領域のメッシュ数Ｘを取得する。
［ステップＳ３４］圧縮率決定部１７１は、メッシュ管理テーブル１３１を参照して、動画領域のメッシュ数Ｙを取得する。
【０１０３】
［ステップＳ３５］圧縮率決定部１７１は、動画メッシュ率Ｚ＝Ｙ／（Ｘ＋Ｙ）を算出する。
［ステップＳ３６］圧縮率決定部１７１は、上記ステップＳ３１で取得したメッシュ群に静止画メッシュ群と動画メッシュ群とが混在しているか否かを判定する。混在している場合、処理をステップＳ３７に進める。混在していない場合、処理をステップＳ３９に進める。
【０１０４】
［ステップＳ３７］圧縮率決定部１７１は、動画メッシュ群に対して割り当て可能なデータ量Ｄ１＝Ｄ×Ｚを算出する。
［ステップＳ３８］圧縮率決定部１７１は、静止画メッシュ群に対して割り当て可能なデータ量Ｄ２＝Ｄ−Ｄ１を算出する。そして、処理をステップＳ４２に進める。
【０１０５】
［ステップＳ３９］圧縮率決定部１７１は、上記ステップＳ３１で取得したメッシュ群は動画メッシュ群のみであるか否かを判定する。動画メッシュ群のみの場合、処理をステップＳ４０に進める。動画メッシュ群のみでない、すなわち、静止画メッシュ群のみである場合、処理をステップＳ４１に進める。
【０１０６】
［ステップＳ４０］圧縮率決定部１７１は、動画領域に対して割り当て可能なデータ量Ｄ１＝Ｄを取得する。そして、処理をステップＳ４２に進める。
［ステップＳ４１］圧縮率決定部１７１は、静止画領域に対して割り当て可能なデータ量Ｄ２＝Ｄを取得する。そして、処理をステップＳ４２に進める。
【０１０７】
［ステップＳ４２］動画領域符号化部１７２は、圧縮率決定部１７１が求めた動画用送信可能データ量Ｄ１に近付くように、上記ステップＳ３１で取得した動画メッシュ群を符号化し、動画圧縮データを得る。また、静止画領域符号化部１７３は、圧縮率決定部１７１が求めた静止画用送信可能データ量Ｄ２に近付くように、上記ステップＳ３１で取得した静止画メッシュ群を符号化し、静止画圧縮データを得る。なお、符号化部１７０は、動画圧縮データや静止画圧縮データに、符号化に用いたテーブル類（Ｍｏｔｉｏｎ ＪＰＥＧであれば、量子化テーブルやハフマン符号化テーブル）および各メッシュの位置（画面上の座標など）を示す情報を含める。
【０１０８】
［ステップＳ４３］符号化部１７０は、生成した動画圧縮データと静止画圧縮データとを送信部１８０に出力する。
このようにして、圧縮率決定部１７１は、画像データの静止画メッシュ数と動画メッシュ数との比によって、静止画領域と動画領域とに割り当てる送信データ量を算出する。ここで、画像データの静止画メッシュ数と動画メッシュ数との比は、静止画領域と動画領域との面積の比に相当するものである。そして、動画領域符号化部１７２および静止画領域符号化部１７３は、圧縮率決定部１７１が割り当てた各データ量に近くなるように動画メッシュ群および静止画メッシュ群の符号化を行う。
【０１０９】
具体的には、圧縮率決定部１７１は、例えば静止画メッシュ数Ｘ＝３００を取得する。また、例えば動画メッシュ数Ｙ＝１００を取得する。このとき、動画メッシュ率Ｚ＝１００／（３００＋１００）＝０．２５となる。したがって、送信可能データＤ＝２８ＫＢ／ｆに対して、動画用送信可能データ量Ｄ１＝２８×０．２５＝７ＫＢ／ｆとなる。また、静止画用送信可能データ量Ｄ２＝Ｄ−Ｄ１＝２１ＫＢ／ｆとなる。
【０１１０】
このため、動画領域符号化部１７２は、動画メッシュ群の符号化後データ量が７ＫＢに近付くように符号化を行う。また、静止画領域符号化部１７３は、静止画メッシュ群の符号化後データ量が２１ＫＢに近付くように符号化を行う。例えば、Ｍｏｔｉｏｎ ＪＰＥＧ形式であれば、動画領域符号化部１７２は、動画メッシュ群の符号化後データ量が７ＫＢを越えない最大のデータ量となるテーブル類（量子化テーブルやハフマン符号テーブル）を用いて符号化する。あるいは、動画領域符号化部１７２は、動画メッシュ群の符号化後データ量が、７ＫＢに最も近くなるテーブル類を用いて符号化する。静止画領域符号化部１７３も同様にして、静止画メッシュ群の符号化を行う。
【０１１１】
なお、圧縮率決定部１７１は、動画メッシュ率Ｚに注目させたい領域に応じた所定の係数を乗算（あるいは加減）して、動画用送信可能データ量Ｄ１と静止画用送信可能データ量Ｄ２との比を変更することも考えられる。例えば、上記具体例において、動画領域の画質を向上させたい場合、動画メッシュ率Ｚに係数２を乗算してＺ＝０．５とし、動画用送信可能データ量Ｄ１＝１４ＫＢ／ｆ、静止画用送信可能データ量Ｄ２＝１４ＫＢ／ｆとすることも考えられる。また、静止画領域の画質を向上させたい場合、動画メッシュ率Ｚに係数０．５を乗算して、Ｚ＝０．２５とし、Ｄ１＝３．５ＫＢ／ｆ、Ｄ２＝２４．５ＫＢ／ｆとすることも考えられる。また、通信帯域の空き状況に応じて、動的に動画メッシュ率Ｚに乗ずる係数を変更することも考えられる。
【０１１２】
次に、表示装置２００における動画圧縮データおよび静止画圧縮データの受信処理を説明する。
図１３は、第２の実施の形態の画像データの受信処理を示すフローチャートである。以下、図１３に示す処理をフローチャートのステップ番号に沿って説明する。
【０１１３】
［ステップＳ５１］受信部２１０は、コンピュータ１００から圧縮データを受信する。受信部２１０は受信した圧縮データを復号部２２０に出力する。
［ステップＳ５２］復号部２２０は、受信部２１０から取得した圧縮データに含まれる動画圧縮データまたは静止画圧縮データを復号する。動画領域復号部２２１は、動画圧縮データに含まれる量子化テーブルや符号テーブルにより、動画圧縮データを復号し、動画領域の復号画像データを得る。静止画領域復号部２２２は、静止画圧縮データに含まれる量子化テーブルや符号テーブルにより、静止画圧縮データを復号し、静止画領域の復号画像データを得る。復号部２２０は、動画領域または静止画領域の復号画像データを出力処理部２３０に出力する。
【０１１４】
［ステップＳ５３］出力処理部２３０は、復号部２２０から取得した動画領域または静止画領域の復号画像データに含まれるメッシュを合成する。出力処理部２３０は、動画圧縮データや静止画圧縮データに含まれる各メッシュの位置を示す情報に基づいて、動画圧縮領域の復号画像データと静止画領域の復号画像データとを適正に合成することができる。なお、出力処理部２３０は、今回更新されなかった静止画メッシュに関しては、前回までに取得している静止画メッシュの画像を引き続き用いて合成を行う。
【０１１５】
［ステップＳ５４］出力処理部２３０は、上記ステップＳ５３の合成により得た復号画像を投影部２０５に出力し、スクリーン２０に投影させる。
このようにして、復号部２２０は、コンピュータ１００から受信した動画圧縮データと静止画圧縮データとを復号する。出力処理部２３０は、復号により得られた動画領域の復号画像データと静止画領域の復号画像データとを合成して、投影部２０５によりスクリーン２０に投影させる。
【０１１６】
次に、本表示システムにおいて、通信環境の設定を変更する場合の処理手順を説明する。
図１４は、第２の実施の形態の環境の設定変更処理を示すフローチャートである。以下、図１４に示す処理をフローチャートのステップ番号に沿って説明する。
【０１１７】
［ステップＳ６１］通信帯域監視部１９０は、送信部１８０および受信部１８５による通信状況を監視し、通信帯域の変化の有無を判定する。通信帯域が変化した場合、処理をステップＳ６２に進める。通信帯域が変化していない場合、処理をステップＳ６３に進める。
【０１１８】
［ステップＳ６２］通信帯域監視部１９０は、制御情報記憶部１１０に記憶されたデータ出力制御テーブルを変更する。その際、現在の設定に対応する現設定フラグを“１”から“０”に変更する。そして、変更後の新たなデータ出力制御テーブルの該当のフレームレートに対応する現設定フラグを“０”から“１”に変更する。
【０１１９】
［ステップＳ６３］フレームレート設定受付部１９５は、ユーザによるフレームレートの設定変更を受け付けたか否かを判定する。フレームレートの設定変更を受け付けた場合、処理をステップＳ６４に進める。フレームレートの設定変更を受け付けていない場合、処理をステップＳ６５に進める。
【０１２０】
［ステップＳ６４］フレームレート設定受付部１９５は、制御情報記憶部１１０に記憶されたデータ出力制御テーブルの現在の設定に対応する現設定フラグを“１”から“０”に変更する。そして、フレームレート設定受付部１９５は、設定変更後の新たなフレームレートに対応する現設定フラグを“０”から“１”に変更する。
【０１２１】
［ステップＳ６５］受信部１８５は、表示装置２００から新たなフレームレートの情報を受信したか否かを判定する。新たなフレームレートの情報を受信した場合、処理をステップＳ６６に進める。新たなフレームレートの情報を受信していない場合、処理を完了する。
【０１２２】
［ステップＳ６６］受信部１８５は、制御情報記憶部１１０に記憶されたデータ出力制御テーブル１１１の現在の設定に対応する現設定フラグを“１”から“０”に変更する。そして、受信部１８５は、設定変更後の新たなフレームレートに対応する現設定フラグを“０”から“１”に変更する。
【０１２３】
このようにして、受信部１８５およびフレームレート設定受付部１９５は、現在の通信環境に応じた設定を制御情報記憶部１１０に記憶されたデータ出力制御テーブル１１１，１１２，１１３，・・・に反映することができる。
【０１２４】
これにより、符号化部１７０は、現在の通信環境に対して最適な圧縮率で符号化を行うことが可能となる。
次に、コンピュータ１００による画像データの送信方法を更に具体的に説明する。以下の説明では、静止画領域の分割数として３が設定されているものとする。
【０１２５】
図１５は、第２の実施の形態の画像データの送信方法の第１の具体例を示す図である。以下、図１５に示す処理をステップ番号に沿って説明する。なお、ステップＳＴ１は、コンピュータ１００が表示装置２００へ送信する最初のフレームの処理タイミングである。ステップＳＴ２は、ステップＳＴ１の次のフレームの処理タイミングである。ステップＳＴ３は、ステップＳＴ２の次のフレームの処理タイミングである。
【０１２６】
［ステップＳＴ１］領域判定部１５０は、画像３００の全体を動画領域とする。送信領域特定部１６０は、画像データ３００の全体を送信領域と特定する。符号化部１７０は、画像データ３００の全体を符号化し、動画圧縮データを生成する。送信部１８０は、符号化部１７０が生成した動画圧縮データを表示装置２００に送信する。この場合、表示装置２００は、動画圧縮データを復号して、画像データ３００の全体に対する復号画像を表示する。
【０１２７】
［ステップＳＴ２］領域判定部１５０は、画像データ３００ａの各メッシュと画像データ３００の対応する各メッシュとの間の変化から静止画領域３１１および動画領域３２１を判定する。送信領域特定部１６０は、静止画領域３１１のうち、静止画領域３１１のメッシュ数を３分割したメッシュ数を含む一部領域３１１ａを送信対象の領域と特定する。また、送信領域特定部１６０は、動画領域３２１を送信対象の領域と特定する。符号化部１７０は、一部領域３１１ａのメッシュを符号化し、静止画圧縮データを生成する。また、符号化部１７０は、動画領域３２１のメッシュを符号化し、動画圧縮データを生成する。送信部１８０は、符号化部１７０が生成した静止画圧縮データと動画圧縮データとを表示装置２００に送信する。
【０１２８】
この場合、表示装置２００は、静止画圧縮データを復号して、一部領域３１１ａの復号画像データを得る。また、表示装置２００は、動画圧縮データを復号して動画領域３２１の復号画像データを得る。表示装置２００は、これらの復号画像データを合成して画像データ３００ａに対する復号画像を表示する。ただし、静止画領域３１１のうち、一部領域３１１ａ以外の領域である一部領域３１１ｂでは、ステップＳＴ１で取得した復号画像を継続して表示する。この場合、一部領域３１１ａの画質は、一部領域３１１ｂおよび動画領域３２１に比べて高品位となる。
【０１２９】
［ステップＳＴ３］領域判定部１５０は、画像データ３００ｂの各メッシュと画像データ３００ａの対応する各メッシュとの間の変化から静止画領域３１２および動画領域３２２を判定する。送信領域特定部１６０は、静止画領域３１２のうち、一部領域３１２ａを送信対象の領域と特定する。また、送信領域特定部１６０は、動画領域３２２を送信対象の領域と特定する。符号化部１７０は、一部領域３１２ａのメッシュを符号化し、静止画圧縮データを生成する。また、符号化部１７０は、動画領域３２２のメッシュを符号化し、動画圧縮データを生成する。送信部１８０は、符号化部１７０が生成した静止画圧縮データと動画圧縮データとを表示装置２００に送信する。
【０１３０】
この場合、表示装置２００は、静止画圧縮データを復号して、一部領域３１２ａの復号画像データを得る。また、表示装置２００は、動画圧縮データを復号して動画領域３２２の復号画像データを得る。表示装置２００は、これらの復号画像データを合成して画像データ３００ｂに対する復号画像を表示する。ただし、静止画領域３１２のうち、ステップＳＴ２で送信済みの一部領域３１２ｂでは、ステップＳＴ２で取得した復号画像を継続して表示する。また、静止画領域３１２のうち、一部領域３１２ａ，３１２ｂ以外の領域である一部領域３１２ｃでは、ステップＳＴ１で取得した復号画像を継続して表示する。この場合、一部領域３１２ａ，３１２ｂの画質は、一部領域３１２ｃおよび動画領域３２２に比べて高品位となる。
【０１３１】
このように、コンピュータ１００は、静止画領域を複数の領域に分割し、異なるタイミングで送信することで、静止画領域部分の画質を向上させることができる。
次に、コンピュータ１００が各タイミングにおいて符号化、送信する各領域のデータを更に詳細に説明する。
【０１３２】
図１６は、第２の実施の形態の各領域の画像データの送信方法の第２の具体例を示す図である。以下、図１６に示す処理をステップ番号に沿って説明する。なお、図１６のステップＳＴ１〜ＳＴ３は、図１５のステップＳＴ１〜ＳＴ３に対応する。また、原画像のうち３つに分割した領域を領域Ｒ１，Ｒ２，Ｒ３と表記する。なお、領域Ｒ１，Ｒ２，Ｒ３は、初回フレームより後には、静止画領域として特定される領域であるとする。また、原画像のうち初回フレーム以降も継続して動画領域として特定される領域を動画領域Ｍと表記する。
【０１３３】
［ステップＳＴ１］コンピュータ１００は、画像データのうち、領域Ｒ１，Ｒ２，Ｒ３および動画領域Ｍのメッシュを符号化して動画圧縮データＲ１１，Ｒ２１，Ｒ３１，Ｍ１１を生成し、表示装置２００に送信する。なお、動画圧縮データＲ１１，Ｒ２１，Ｒ３１，Ｍ１１は、特に分割されていなくてもよい。
【０１３４】
［ステップＳＴ２］コンピュータ１００は、画像データのうち、領域Ｒ１のメッシュを符号化して静止画圧縮データＲ１２を生成し、表示装置２００に送信する。また、コンピュータ１００は、動画領域Ｍのメッシュを符号化して、動画圧縮データＭ１２を生成し、表示装置２００に送信する。ここで、コンピュータ１００は、静止画領域Ｒ１に割り当て可能な送信データ量として、ステップＳＴ１で領域Ｒ２，Ｒ３に利用していた分を利用できるので、領域Ｒ１を動画領域Ｍよりも低い圧縮率で符号化することができる。
【０１３５】
［ステップＳＴ３］コンピュータ１００は、画像データのうち、領域Ｒ２のメッシュを符号化して静止画圧縮データＲ２２を生成し、表示装置２００に送信する。また、コンピュータ１００は、動画領域Ｍのメッシュを符号化して、動画圧縮データＭ１３を生成し、表示装置２００に送信する。コンピュータ１００は、ステップＳＴ２と同様に領域Ｒ２を動画領域Ｍよりも低い圧縮率で符号化することができる。
【０１３６】
［ステップＳＴ４］コンピュータ１００は、画像データのうち、領域Ｒ３のメッシュを符号化して静止画圧縮データＲ３２を生成し、表示装置２００に送信する。また、コンピュータ１００は、動画領域Ｍのメッシュを符号化して、動画圧縮データＭ１４を生成し、表示装置２００に送信する。コンピュータ１００は、ステップＳＴ２と同様に領域Ｒ３を動画領域Ｍよりも低い圧縮率で符号化することができる。
【０１３７】
［ステップＳＴ５］コンピュータ１００は、画像データのうち、動画領域Ｍのメッシュを符号化して動画圧縮データＭ１５を生成し、表示装置２００に送信する。領域Ｒ１，Ｒ２，Ｒ３に関して既に高品位画像を送信済みであるので、コンピュータ１００は、静止画領域の画像データ送信は行わない。
【０１３８】
［ステップＳＴ６］コンピュータ１００は、画像データのうち、動画領域Ｍのメッシュを符号化して動画圧縮データＭ１６を生成し、表示装置２００に送信する。領域Ｒ１，Ｒ２，Ｒ３に関して既に高品位画像を送信済みであるので、コンピュータ１００は、静止画領域の画像データ送信は行わない。
【０１３９】
［ステップＳＴ７］コンピュータ１００は、画像データのうち、動画領域Ｍのメッシュを符号化して動画圧縮データＭ１７を生成し、表示装置２００に送信する。領域Ｒ１，Ｒ２，Ｒ３に関して既に高品位画像を送信済みであるので、コンピュータ１００は、静止画領域の画像データ送信は行わない。以降、同様にして動画領域Ｍの画像データ送信のみが行われる。
【０１４０】
このように、コンピュータ１００は、画像データに含まれるメッシュの時間変化に基づいて、画像データを静止画領域と動画領域とに区分する。そして、コンピュータ１００は、静止画メッシュの送信回数を動画メッシュの送信回数よりも少なくする。
【０１４１】
これにより、ネットワークの伝送容量を効率的に利用して画像データを送信することが可能となる。
なお、上記ステップＳＴ７以降、領域Ｒ１，Ｒ２，Ｒ３のメッシュは、変化を検出するまで更新が行われない。ただし、ステップＳＴ７以降の所定のタイミングで領域Ｒ１，Ｒ２，Ｒ３の画像を適宜更新するようにしてもよい。
【０１４２】
また、静止画領域を複数の領域に分割して、異なるタイミングで送信することで、単位面積当たりに割り当て可能な送信データ量を動画領域よりも多く割り当てることができる。
【０１４３】
これにより、静止画領域の画質を動画領域の画質に比べて高品位とすることができる。その結果、表示装置２００によりスクリーン２０に表示される画像の見易さを向上することができる。
【０１４４】
［第３の実施の形態］
次に、第３の実施の形態について説明する。前述の第２の実施の形態との相違点を中心に説明し、同様の事項については説明を省略する。
【０１４５】
ここで、第２の実施の形態の表示システムでは、静止画領域と動画領域との境界に位置するメッシュは、動画領域と判定されるので、その境界のメッシュの画質は静止画領域よりも低下する。すなわち、境界部分に含まれる静止画の画質が低下することになる。このため、静止画領域と動画領域との境界が際立って、画像が見難くなってしまう。また、例えば、動画像付近に配置されたインタフェース（例えば、動画操作用のインタフェース）を閲覧させたい場合など、注目する箇所が動画領域に隣接していると、その画像が見難くなってしまう。
【０１４６】
これに対し、第３の実施の形態では、第２の実施の形態で説明した静止画領域と動画領域との境界に位置する第３のメッシュ（境界メッシュ）を導入する。これによって、表示装置２００が表示する画像の見易さをより向上する。
【０１４７】
なお、第３の実施の形態の表示システムの全体構成は、図２で説明した第２の実施の形態の表示システムの全体構成と同一であるため、説明を省略する。また、第３の実施の形態の表示システムに含まれるコンピュータおよび表示装置のハードウェア構成は、図３，４で示した第２の実施の形態のコンピュータ１００および表示装置２００のハードウェア構成と同一であるため、説明を省略する。
【０１４８】
図１７は、第３の実施の形態の各装置の機能構成を示す図である。コンピュータ１００ａは、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ管理情報記憶部１３０ａ、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０ａ、送信領域特定部１６０、符号化部１７０ａ、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５を有する。これらの機能はＣＰＵ１０１が画像処理プログラムを実行することで実現される。ただし、これらの機能の一部または全部を専用のハードウェアで実現してもよい。
【０１４９】
なお、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ生成部１４０、変化検出部１４５、送信領域特定部１６０、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５に関しては、図５で同一の符号を付して説明した構成と同一であるため説明を省略する。また、表示装置２００の構成も図５で説明した構成と同一であるため説明を省略する。
【０１５０】
メッシュ管理情報記憶部１３０ａは、画像内におけるメッシュの位置や、動画、静止画および境界領域の区分などを含むメッシュ管理情報を記憶する。なお、境界領域とは、動画メッシュと静止画メッシュとで隣接している２つのメッシュのうち、動画に区分されるメッシュの集合をいう。
【０１５１】
領域判定部１５０ａは、変化検出部１４５の変化の検出結果に基づいて、画像データに含まれる各メッシュを動画領域、静止画領域および境界領域に区分する。具体的には、変化検出部１４５が変化ありと検出した領域を動画領域と特定する。また、変化検出部１４５が変化なしと検出した領域を静止画領域と特定する。更に、領域判定部１５０ａは、動画領域と静止画領域とが接する境界に位置するメッシュのうち、動画領域と区分した方のメッシュを境界メッシュとする。境界メッシュの集合が境界領域である。領域判定部１５０ａは、このようにして特定した各メッシュの動画、静止画および境界メッシュの区分に基づいてメッシュ管理情報を生成し、メッシュ管理情報記憶部１３０ａに格納する。
【０１５２】
符号化部１７０ａは、送信領域特定部１６０が特定した送信領域のメッシュを順番に符号化してデータ量を削減する（圧縮）。符号化部１７０ａは、圧縮率決定部１７１ａ、動画領域符号化部１７２ａおよび静止画領域符号化部１７３を有する。なお、静止画領域符号化部１７３は、図５で説明した静止画領域符号化部１７３と同一である。
【０１５３】
圧縮率決定部１７１ａは、動画メッシュ群、静止画メッシュ群および境界メッシュ群の符号化後データ量を決定する。圧縮率決定部１７１ａは、動画メッシュの圧縮率よりも静止画メッシュの圧縮率を低く設定する。また、圧縮率決定部１７１ａは、境界メッシュの圧縮率が、動画メッシュに対する圧縮率よりも低く、静止画メッシュに対する圧縮率よりも高くなるよう決定する。
【０１５４】
動画領域符号化部１７２ａは、圧縮率決定部１７１ａが決定した動画メッシュ群の符号化後データ量に近くなるように送信領域内の動画メッシュを符号化する。また、動画領域符号化部１７２ａは、圧縮率決定部１７１ａが決定した境界メッシュ群の符号化後データ量に近くなるように送信領域内の境界メッシュを符号化する。
【０１５５】
動画領域符号化部１７２ａは、符号化して生成した動画圧縮データおよび境界圧縮データを送信部１８０に出力する。
なお、符号化部１７０ａは、表示装置２００で画像を再生する際の情報を、各圧縮データに含める。このような情報は、例えばＭｏｔｉｏｎ ＪＰＥＧ形式で符号化を行う場合、量子化に用いた量子化テーブル、ハフマン符号化に用いたハフマン符号テーブルおよび各メッシュの位置（画面上の座標など）を示す情報である。
【０１５６】
図１８は、第３の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。メッシュ管理テーブル１３１ａは、メッシュ管理情報記憶部１３０ａに格納される。メッシュ管理テーブル１３１ａには、メッシュ座標を示す項目、動画領域フラグを示す項目および境界フラグを示す項目および高品位画像送信済フラグを示す項目が設けられる。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つのメッシュに関する情報を示す。
【０１５７】
なお、メッシュ座標を示す項目、動画領域フラグを示す項目および高品位画像送信済フラグを示す項目は、図８で説明したメッシュ管理テーブル１３１の同一名称の各項目と同一である。
【０１５８】
境界フラグを示す項目には、該当のメッシュが境界メッシュであるか否かを示すフラグが設定される。境界フラグを示す項目には、該当のメッシュが境界メッシュである場合は“１”が設定され、境界メッシュでない場合には“０”が設定される。境界メッシュは、動画領域に属するメッシュから特定されるので、静止画領域に属するメッシュに対しては、対象外であることを示す“−”が設定される。すなわち、動画領域フラグが“１”かつ境界フラグが“０”である場合、そのメッシュは動画メッシュである。また、動画領域フラグが“１”かつ境界フラグが“１”である場合、そのメッシュは境界メッシュである。
【０１５９】
メッシュ管理テーブル１３１ａには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７２，４５）”であり、動画領域フラグが“１”、境界フラグが“１”、高品位画像送信済フラグが“−”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７２，４５）”で指定されるメッシュが境界メッシュであり、高品位画像の送信対象外であることを示している。
【０１６０】
また、メッシュ管理テーブル１３１ａには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７３，４５）”であり、動画領域フラグが“１”、境界フラグが“０”、高品位画像送信済フラグが“−”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７３，４５）”で指定されるメッシュが動画メッシュであり、高品位画像の送信対象外であることを示している。
【０１６１】
次に、以上の構成により実現されるコンピュータ１００ａおよび表示装置２００の処理手順に関して説明する。
なお、コンピュータ１００ａの画像データの送信処理の手順に関しては、図９で説明した手順と同様であるため説明を省略する。以下、コンピュータ１００ａの画像データの送信処理に含まれる各処理について詳細に説明する。
【０１６２】
図１９は、第３の実施の形態の領域判定処理を示すフローチャートである。以下、図１９に示す処理をフローチャートのステップ番号に沿って説明する。なお、以下の処理は、図９のステップＳ３の領域判定処理に対応する。
【０１６３】
［ステップＳ７１］変化検出部１４５は、メッシュ記憶部１２０に記憶され、最新に入力された画像データに含まれていたメッシュのうちから１つのメッシュを抽出する。
［ステップＳ７２］変化検出部１４５は、最新に入力された画像データの直前に入力された画像データに含まれていた直前メッシュのうち、ステップＳ７１で抽出したメッシュと同一座標の直前メッシュを抽出する。変化検出部１４５は、ステップＳ７１で抽出したメッシュに含まれる各画素の画素値と直前メッシュに含まれる対応する各画素の画素値とを比較することで、該当のメッシュの変化の有無を検出する。濃度に差のある画素が存在する場合、処理をステップＳ７３に進める。画素値に差のある画素が存在しない場合、処理をステップＳ７４に進める。
【０１６４】
［ステップＳ７３］領域判定部１５０ａは、該当のメッシュを動画領域とする。領域判定部１５０ａは、メッシュ管理情報記憶部１３０ａに記憶されたメッシュ管理テーブル１３１ａの該当メッシュ座標に対応するメッシュの動画領域フラグに“１”を設定する。
【０１６５】
［ステップＳ７４］領域判定部１５０ａは、該当のメッシュを静止画領域とする。領域判定部１５０ａは、メッシュ管理情報記憶部１３０ａに記憶されたメッシュ管理テーブル１３１ａの該当メッシュ座標に対応するメッシュの動画領域フラグに“０”を設定する。また、動画領域フラグ“１”から“０”へ新たに変更したメッシュに関して、領域判定部１５０ａは、高品位画像送信済フラグに“０”を設定する。領域判定部１５０ａは、動画領域フラグを“０”設定のまま維持するメッシュに関しては、高品位画像送信済フラグの設定を変更しない。
【０１６６】
［ステップＳ７５］変化検出部１４５は、入力された画像データに含まれるメッシュに変化検出を行っていないメッシュが存在するか否かを判定する。変化検出を行っていないメッシュが存在する場合、処理をステップＳ７１に進める。変化検出を行っていないメッシュが存在しない場合、処理をステップＳ７６に進める。
【０１６７】
［ステップＳ７６］領域判定部１５０ａは、上記ステップＳ７３で動画領域としたメッシュのうち、上記ステップＳ７４で静止画領域としたメッシュと隣接するメッシュを抽出する。
【０１６８】
［ステップＳ７７］領域判定部１５０ａは、静止画領域のメッシュと隣接する動画領域のメッシュを境界メッシュとする。すなわち、領域判定部１５０ａは、該当のメッシュについて、メッシュ管理情報記憶部１３０ａに記憶されたメッシュ管理テーブル１３１ａの境界フラグに“１”を設定する。また、境界メッシュ以外の動画領域のメッシュについては、境界フラグに“０”を設定する。
【０１６９】
このようにして、領域判定部１５０ａは、静止画領域のメッシュと隣接する動画領域のメッシュを境界メッシュと設定する。
図２０，２１は、第３の実施の形態の符号化処理を示すフローチャートである。以下、図２０，２１に示す処理をフローチャートのステップ番号に沿って説明する。なお、以下の処理は、図９のステップＳ５の符号化処理に対応する。
【０１７０】
［ステップＳ８１］符号化部１７０ａは、送信領域特定部１６０が特定した送信対象のメッシュ群（静止画メッシュ群、静止画メッシュ群および境界メッシュ群）を取得する。
［ステップＳ８２］圧縮率決定部１７１ａは、制御情報記憶部１１０に記憶されたデータ出力制御テーブル１１１，１１２，１１３，・・・の現設定フラグを参照して、現在の送信可能データ量Ｄを取得する。例えば、本表示システムの環境では、全帯域２０Ｍｂｐｓ、フレームレート３０ｆｐｓの設定となっている。
【０１７１】
［ステップＳ８３］圧縮率決定部１７１ａは、メッシュ管理情報記憶部１３０ａに記憶されたメッシュ管理テーブル１３１ａを参照して、静止画領域のメッシュ数Ｘを取得する。
【０１７２】
［ステップＳ８４］圧縮率決定部１７１ａは、メッシュ管理テーブル１３１ａを参照して、動画領域のメッシュ数Ｙを取得する。ここで、動画領域のメッシュ数Ｙには、動画メッシュ数および境界メッシュ数が含まれる。
【０１７３】
［ステップＳ８５］圧縮率決定部１７１ａは、動画領域のメッシュのうち、境界メッシュ数Ｋを取得する。
［ステップＳ８６］圧縮率決定部１７１ａは、境界メッシュの品質向上係数ａを特定する。ここで、品質向上係数ｇ（＞１）は、動画メッシュに比べてどの程度だけ送信データ量を多めに割り当てるかを示す係数である。品質向上係数ｇは、例えば制御情報記憶部１１０に予め設定される。
【０１７４】
［ステップＳ８７］圧縮率決定部１７１ａは、動画メッシュ率Ｚａ＝（Ｙ−Ｋ）／（Ｘ＋Ｙ）を算出する。
［ステップＳ８８］圧縮率決定部１７１ａは、境界メッシュ率Ｚｂ＝ｇＫ／（Ｘ＋Ｙ）を算出する。
【０１７５】
［ステップＳ８９］圧縮率決定部１７１ａは、上記ステップＳ８１で取得したメッシュ群に静止画メッシュ群と動画メッシュ群とが混在しているか否かを判定する。混在している場合、処理をステップＳ９０に進める。混在していない場合、処理をステップＳ９３に進める。
【０１７６】
［ステップＳ９０］圧縮率決定部１７１ａは、動画メッシュ群に対して割り当て可能なデータ量Ｄ１ａ＝Ｄ×Ｚａを算出する。
［ステップＳ９１］圧縮率決定部１７１ａは、境界メッシュ群に対して割り当て可能なデータ量Ｄ１ｂ＝Ｄ×Ｚｂを算出する。
【０１７７】
［ステップＳ９２］圧縮率決定部１７１ａは、静止画メッシュ群に対して割り当て可能なデータ量Ｄ２＝Ｄ−Ｄ１ａ−Ｄ１ｂを算出する。そして、処理をステップＳ９６に進める。
【０１７８】
［ステップＳ９３］圧縮率決定部１７１ａは、上記ステップＳ８１で取得したメッシュ群に動画メッシュ群のみが含まれているか否かを判定する。動画メッシュ群のみの場合、処理をステップＳ９４に進める。動画メッシュ群のみでない、すなわち、静止画メッシュ群のみである場合、処理をステップＳ９５に進める。
【０１７９】
［ステップＳ９４］圧縮率決定部１７１ａは、動画メッシュ群に対して割り当て可能なデータ量Ｄ１＝Ｄを取得する。そして、処理をステップＳ９６に進める。
［ステップＳ９５］圧縮率決定部１７１ａは、静止画メッシュ群に対して割り当て可能なデータ量Ｄ２＝Ｄを取得する。そして、処理をステップＳ９６に進める。
【０１８０】
［ステップＳ９６］動画領域符号化部１７２ａは圧縮率決定部１７１ａが求めた動画用送信可能データ量Ｄ１ａに近付くように、上記ステップＳ８１で取得した動画メッシュ群を符号化し、動画圧縮データを得る。また、動画領域符号化部１７２ａは、圧縮率決定部１７１ａが求めた境界用送信可能データ量Ｄ１ｂに近付くように、上記ステップＳ３１で取得した境界メッシュ群を符号化し、境界圧縮データを得る。また、静止画領域符号化部１７３は、圧縮率決定部１７１ａが求めた静止画用送信可能データ量Ｄ２に近付くように、上記ステップＳ８１で取得した静止画メッシュ群を符号化し、静止画圧縮データを得る。なお、符号化部１７０ａは、動画圧縮データ、境界圧縮データおよび静止画圧縮データに、符号化に用いたテーブル類（Ｍｏｔｉｏｎ ＪＰＥＧであれば、量子化テーブルやハフマン符号化テーブル）および各メッシュの位置（画面上の座標など）を示す情報を含める。
【０１８１】
［ステップＳ９７］符号化部１７０ａは、生成した動画圧縮データ、境界圧縮データおよび静止画圧縮データを送信部１８０に出力する。
このようにして、圧縮率決定部１７１ａは、画像データの静止画メッシュ数、動画メッシュ数および境界メッシュ数の比によって、静止画領域と動画領域とに割り当てる送信データ量を算出する。ここで、境界メッシュには、動画メッシュよりも多くのデータ帯域を割り当てて品質を向上する。このため、境界メッシュ数に品質向上係数ｇ（＞１）を乗じたもので、静止画メッシュ数および動画メッシュ数との比を取って、境界メッシュ群の送信可能データ量を算出する。
【０１８２】
図２２は、第３の実施の形態の画像の各領域を示す図である。画像データ３００は、静止画領域３１０および動画領域３２０を有する。また、動画領域３２０には、境界領域３４０が含まれる。
【０１８３】
境界領域３４０は、上述したように動画領域３２０に含まれるメッシュのうち、静止画領域３１０と隣接するメッシュの集合である。
圧縮率決定部１７１ａは、境界領域３４０に含まれる境界メッシュ群につき単位面積当たりに割り当てる送信データ量が、動画領域３２０に含まれる動画メッシュ群（動画領域３２０に含まれるメッシュ群から境界メッシュ群を除いたメッシュ群）につき単位面積当たりに割り当てる送信データ量よりも多くなるようにする。
【０１８４】
これにより、第２の実施の形態と同様の効果を得ることができる。また、境界領域３４０の画質を、動画領域３２０のうち境界領域３４０以外の領域よりも向上することができる。その結果、静止画領域３１０と動画領域３２０との境界部分での画質の急激な変化が抑えられることになる。このため、表示装置２００は、閲覧者に与える違和感を抑えた、より見易い画像の表示が可能となる。
【０１８５】
また、表示する画像中の注目する箇所が動画領域３２０に隣接した静止画領域３１０内の静止画像である場合にも、その画像の品質の劣化を抑えることができ、より見易い画像の表示が可能となる。
【０１８６】
［第４の実施の形態］
次に、第４の実施の形態について説明する。前述の第２，３の実施の形態との相違点を中心に説明し、同様の事項については説明を省略する。
【０１８７】
ここで、第２，３の実施の形態の表示システムでは、動画領域を移動させる場合、動画領域の背後に存在していた静止画領域を新たに表示することになる。この場合、移動に係る領域に閲覧者の注意が向き易くなる。
【０１８８】
これに対し、第４の実施の形態の表示システムでは、動画領域から静止画領域に切り替わったメッシュについて、優先的に高品位画像の送信を行うようにする。これにより、動画領域の移動に係る領域の見易さを向上する。
【０１８９】
なお、第４の実施の形態の表示システムの全体構成は、図２で示した第２の実施の形態の表示システムの全体構成と同一であるため、説明を省略する。また、第４の実施の形態の表示システムに含まれるコンピュータおよび表示装置のハードウェア構成は、図３，４で示した第２の実施の形態のコンピュータ１００および表示装置２００のハードウェア構成と同一であるため、説明を省略する。
【０１９０】
図２３は、第４の実施の形態の各装置の機能構成を示す図である。コンピュータ１００ｂは、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ管理情報記憶部１３０ｂ、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０ｂ、送信領域特定部１６０ｂ、符号化部１７０、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５を有する。これらの機能はＣＰＵ１０１が画像処理プログラムを実行することで実現される。ただし、これらの機能の一部または全部を専用のハードウェアで実現してもよい。
【０１９１】
なお、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ生成部１４０、変化検出部１４５、符号化部１７０、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５に関しては、図５で同一の符号を付して説明した構成と同一であるため説明を省略する。また、表示装置２００の構成も図５で説明した構成と同一であるため説明を省略する。
【０１９２】
メッシュ管理情報記憶部１３０ｂは、画像内におけるメッシュの位置や、動画、静止画の区分、動画、静止画の各状態がどれだけの時間継続したかを示す継続フレーム数などを含むメッシュ管理情報を記憶する。
【０１９３】
領域判定部１５０ｂは、変化検出部１４５の変化の検出結果に基づいて、画像データに含まれる各メッシュを動画領域および静止画領域に区分する。具体的には、変化検出部１４５が変化ありと検出した領域を動画領域と特定する。また、変化検出部１４５が変化なしと検出した領域を静止画領域と特定する。更に、領域判定部１５０ｂは、該当のメッシュについて、同一区分の領域として継続して特定したフレームの数（継続フレーム数）をカウントする。なお、領域判定部１５０ｂは、該当のメッシュの領域の区分が変更した場合には、カウントをリセットして、再度１からカウントしなおす。領域判定部１５０ｂは、このようにして特定した各メッシュの動画および静止画の区分や継続フレーム数の情報に基づいて、メッシュ管理情報を生成し、メッシュ管理情報記憶部１３０ｂに格納する。
【０１９４】
送信領域特定部１６０ｂは、メッシュ管理情報記憶部１３０ｂに記憶されたメッシュ管理情報に基づいて、表示装置２００に送信する領域（送信領域）を特定する。送信領域特定部１６０ｂは、動画領域について、その全部を送信領域と特定する。
【０１９５】
また、送信領域特定部１６０ｂは、静止画領域について、その一部を送信領域と特定する。すなわち、送信領域特定部１６０ｂは、静止画領域を更に分割し、分割した領域を複数のタイミングで送信領域として順次特定する。このようにすることで、静止画領域の単位面積当たりの送信データ量を動画領域の単位面積当たりの送信データ量よりも多く割り当てることができる。すなわち、後段の符号化に伴う圧縮率を制御して、静止画領域の画質を動画領域の画質よりも向上させることができる。
【０１９６】
更に、送信領域特定部１６０ｂは、メッシュ管理情報に基づいて、送信領域の選択方法を変更する。具体的には、送信領域特定部１６０ｂは、動画領域から静止画領域に切り替わったメッシュに関して優先的に送信領域と特定する。
【０１９７】
図２４は、第４の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。メッシュ管理テーブル１３１ｂは、メッシュ管理情報記憶部１３０ｂに格納される。メッシュ管理テーブル１３１ｂには、メッシュ座標を示す項目、動画領域フラグを示す項目、高品位画像送信済フラグを示す項目および継続フレーム数を示す項目が設けられている。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つのメッシュに関する情報を示す。
【０１９８】
なお、メッシュ座標を示す項目、動画領域フラグを示す項目および高品位画像送信済フラグを示す項目は、図８で説明したメッシュ管理テーブル１３１の同一名称の各項目と同一である。
【０１９９】
継続フレーム数を示す項目には、該当のメッシュが、動画領域または静止画領域として、継続して特定されたフレームの数が設定される。
メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（１，１）”、動画領域フラグが“０”、高品位画像送信済フラグが“１”、継続フレーム数が“１０”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（１，１）”で指定されるメッシュが静止画メッシュであり、高品位画像を送信済みで、静止画メッシュの状態が“１０”フレーム継続していることを示している。
【０２００】
また、メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（５１，３１）”、動画領域フラグが“０”、高品位画像送信済フラグが“０”、継続フレーム数が“１０”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（５１，３１）”で指定されるメッシュが静止画メッシュであり、高品位画像を未送信で、静止画メッシュの状態が“１０”フレーム継続していることを示している。
【０２０１】
また、メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７０，４５）”、動画領域フラグが“０”、高品位画像送信済フラグが“１”、継続フレーム数が“２”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７０，４５）”で指定されるメッシュが静止画メッシュであり、高品位画像を送信済みで、静止画メッシュの状態が“２”フレーム継続していることを示している。
【０２０２】
また、メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７２，４５）”、動画領域フラグが“０”、高品位画像送信済フラグが“０”、継続フレーム数が“１”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７２，４５）”で指定されるメッシュが静止画メッシュであり、高品位画像を未送信で、静止画メッシュの状態が“１”フレーム継続、すなわち、動画メッシュから静止画メッシュに切り替わった直後であることを示している。
【０２０３】
また、メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７３，４５）”、動画領域フラグが“１”、高品位画像送信済フラグが“−”、継続フレーム数が“１０”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７３，４５）”で指定されるメッシュが動画メッシュであり、高品位画像の送信対象外で、動画メッシュの状態が“１”フレーム継続、すなわち、静止画メッシュから動画メッシュに切り替わった直後であることを示している。
【０２０４】
次に、以上の構成により実現されるコンピュータ１００ｂおよび表示装置２００の処理手順に関して説明する。
なお、コンピュータ１００ｂの画像データの送信処理の手順に関しては、図９で説明した手順と同様であるため説明を省略する。以下、コンピュータ１００ｂの画像データの送信処理に含まれる各処理について詳細に説明する。
【０２０５】
図２５は、第４の実施の形態の送信領域特定処理を示すフローチャートである。以下、図２５に示す処理をフローチャートのステップ番号に沿って説明する。
［ステップＳ１０１］送信領域特定部１６０ｂは、メッシュ管理情報記憶部１３０ｂに記憶されたメッシュ管理テーブル１３１ｂの動画領域フラグを参照して、今回送信対象の画像データに静止画領域が含まれているか否かを判定する。静止画領域が含まれている場合、処理をステップＳ１０２に進める。静止画領域が含まれていない場合、処理をステップＳ１０７に進める。
【０２０６】
［ステップＳ１０２］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂの高品位画像送信済フラグを参照して、静止画メッシュのうち、高品位画像を未送信のメッシュが存在するか否かを判定する。高品位画像を未送信のメッシュが存在する場合、処理をステップＳ１０３に進める。高品位画像を未送信のメッシュが存在しない場合、処理をステップＳ１０７に進める。
【０２０７】
［ステップＳ１０３］送信領域特定部１６０ｂは、静止画領域の分割数を特定する。静止画領域の分割数は、利用環境に応じて、例えば、メッシュ管理情報記憶部１３０ｂに予め記憶される。送信領域特定部１６０ｂは、特定した分割数に基づいて、送信する静止画領域の送信メッシュ数を算出する。
【０２０８】
［ステップＳ１０４］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂを参照して、動画領域フラグが“０”かつ継続フレーム数が“１”であるメッシュ、すなわち、動画メッシュから静止画メッシュに切り替わった直後のメッシュが存在するか否かを判定する。存在する場合、処理をステップＳ１０５に進める。存在しない場合、処理をステップＳ１０６に進める。
【０２０９】
［ステップＳ１０５］送信領域特定部１６０ｂは、静止画領域の送信対象メッシュとして、動画メッシュから静止画メッシュに切り替わった直後のメッシュ（継続フレーム数“１”）で高品位画像を未送信のメッシュを抽出する。
【０２１０】
［ステップＳ１０６］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂを参照して、高品位画像を未送信のメッシュのうち、ステップＳ１０３で算出した送信メッシュ数分のメッシュを抽出する。なお、ステップＳ１０５で動画メッシュから静止画メッシュに切り替わった直後のメッシュを抽出済みである場合には、残りの送信メッシュ数分を抽出する。送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂの高品位画像送信済フラグを更新する。すなわち、今回送信対象として抽出した静止画メッシュに設定された高品位画像送信済フラグ“０”を“１”に変更する。送信領域特定部１６０ｂは、抽出した静止画メッシュ群を符号化部１７０に出力する。
【０２１１】
［ステップＳ１０７］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂの動画領域フラグを参照して、今回送信対象の画像データに動画領域が含まれているか否かを判定する。動画領域が含まれている場合、処理をステップＳ１０８に進める。動画領域が含まれていない場合、処理を完了する。
【０２１２】
［ステップＳ１０８］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂを参照して、動画メッシュを抽出し、抽出した動画メッシュ群を送信対象の領域とする。送信領域特定部１６０は、抽出した動画メッシュ群を符号化部１７０に出力する。
【０２１３】
このようにして、送信領域特定部１６０ｂは、動画メッシュから静止画メッシュに切り替わった直後のメッシュを優先的に抽出して、表示装置２００への送信対象とする。
なお、上記ステップＳ１０１〜Ｓ１０６に示した静止画領域に対する処理および上記ステップＳ１０７，Ｓ１０８に示した動画領域に対する処理は、順序を逆にしてもよい。例えば、送信領域特定部１６０ｂは、動画領域に対する処理（ステップＳ１０７，Ｓ１０８）を先に実行した後、静止画領域に対する処理（ステップＳ１０１〜Ｓ１０６）を行うことも考えられる。
【０２１４】
図２６は、第４の実施の形態の画像データの送信方法の具体例を示す図である。以下、図２６に示す処理をステップ番号に沿って説明する。なお、図２６の各ステップでは、画像を構成するメッシュに、その継続フレーム数を図示している。また、ステップＳＴ１１は、コンピュータ１００ｂが表示装置２００への最初のフレームの送信タイミングである。ステップＳＴ１２は、ステップＳＴ１１の次のフレームの送信タイミングである。以降、ステップＳＴ１３，ＳＴ１４に関しても同様である。
【０２１５】
［ステップＳＴ１１］コンピュータ１００ｂは、画像４００の全体を動画領域として符号化し、表示装置２００に送信する。このとき、全メッシュが新たに動画領域として特定されることになるので、全メッシュの継続フレーム数は“１”となる。
【０２１６】
［ステップＳＴ１２］コンピュータ１００ｂは、各メッシュの変化から、静止画領域４１０および動画領域４２０を特定する。そして、静止画領域４１０のうち、一部領域４１１を符号化し、表示装置２００に送信する。また、動画領域４２０の全体を符号化し、表示装置２００に送信する。一部領域４１１は、動画領域４２０よりも高品位の画像となる。なお、静止画領域４１０のうち、一部領域４１１以外の領域に関しては、表示装置２００は、ステップＳＴ１１で受信した画像データを引き続き表示する。
【０２１７】
［ステップＳＴ１３］コンピュータ１００ｂは、上記ステップＳＴ１２の動画領域４２０が動画領域４２１の位置へ変更されたことを検知する。このとき、一部領域４２２は、動画領域として検出される。コンピュータ１００ｂは、静止画領域のうち一部領域４１２を符号化し、表示装置２００に送信する。また、動画領域４２１および一部領域４２２の全体を符号化し、表示装置２００に送信する。一部領域４１２は、動画領域４２１および一部領域４２２よりも高品位の画像となる。なお、一部領域４１１に関しては、表示装置２００は、ステップＳＴ１２で受信した画像データを引き続き表示する。また、静止画領域のうち、一部領域４１１，４１２以外の領域については、表示装置２００は、ステップＳ１１で受信した画像データを引き続き表示する。
【０２１８】
［ステップＳＴ１４］コンピュータ１００ｂは、上記ステップＳＴ１２の動画領域４２１が動画領域４２３の位置へ変更されたことを検知する。このとき、一部領域４２４は、動画領域と特定される。また、一部領域４１５は、一部領域４２２からの変化がないため、静止画領域と特定される。コンピュータ１００ｂは、静止画領域のうち一部領域４１４，４１５を符号化し、表示装置２００に送信する。また、動画領域４２３および一部領域４２４を符号化し、表示装置２００に送信する。一部領域４１４，４１５は、動画領域４２３および一部領域４２４よりも高品位の画像になる。なお、一部領域４１３に関しては、表示装置２００は、ステップＳＴ１２，ＳＴ１３で受信した画像データを引き続き表示する。また、静止画領域のうち、一部領域４１３，４１４，４１５以外の領域については、表示装置２００は、ステップＳＴ１１で受信した画像データを引き続き表示する。
【０２１９】
このように、コンピュータ１００ｂは、動画領域が移動に伴って、動画領域から静止画領域に切り替わった領域（上記の例では、一部領域４１５）のメッシュについて、優先的に送信対象とする。
【０２２０】
これにより、第２の実施の形態と同様の効果を得ることができる。また、動画領域の移動に係る領域は、閲覧者の注意が向き易い。このため、このような領域に対して優先的に画質を高めることで、閲覧者に対して与え得る違和感を軽減し、見易さをより向上することができる。
【０２２１】
［第５の実施の形態］
次に、第５の実施の形態について説明する。前述の第２〜第４の実施の形態との相違点を中心に説明し、同様の事項については説明を省略する。
【０２２２】
ここで、第２〜第４の実施の形態の表示システムでは、その利用状況によっては、使用可能な帯域に余裕ができることも考えられる。このため、第５の実施の形態の表示システムでは、このような余剰の帯域を用いて、表示装置が表示する画像の見易さをより向上する。
【０２２３】
なお、第５の実施の形態の表示システムの全体構成は、図２で示した第２の実施の形態の表示システムの全体構成と同一であるため、説明を省略する。また、第５の実施の形態の表示システムに含まれるコンピュータおよび表示装置のハードウェア構成は、図３，４で示した第２の実施の形態のコンピュータ１００および表示装置２００のハードウェア構成と同一であるため、説明を省略する。
【０２２４】
図２７は、第５の実施の形態の各装置の機能構成を示す図である。コンピュータ１００ｃは、制御情報記憶部１１０ｃ、メッシュ記憶部１２０、メッシュ管理情報記憶部１３０ｃ、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０ｃ、送信領域特定部１６０ｃ、符号化部１７０ｃを有する。これらの機能はＣＰＵ１０１が画像処理プログラムを実行することで実現される。ただし、これらの機能の一部または全部を専用のハードウェアで実現してもよい。なお、図２７ではメッシュ管理情報記憶部１３０ｃと符号化部１７０ｃとの間の関連線は省略してある。
【０２２５】
また、メッシュ記憶部１２０、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０ｃ、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５に関しては、図５で同一の符号を付して説明した構成と同一であるため説明を省略する。更に、表示装置２００の構成も図５で説明した構成と同一であるため説明を省略する。
【０２２６】
制御情報記憶部１１０ｃは、画像データの符号化に際して、圧縮率（あるいは画質）を特定するためのデータ出力制御情報を記憶する。また、制御情報記憶部１１０ｃは、静止画領域の画像データを再送するまでの継続フレーム数しきい値を記憶する。
【０２２７】
メッシュ管理情報記憶部１３０ｃは、画像内におけるメッシュの位置や、動画、静止画の区分、動画、静止画の各状態がどれだけの時間継続したかを示す継続フレーム数などを含むメッシュ管理情報を記憶する。
【０２２８】
領域判定部１５０ｃは、変化検出部１４５の変化の検出結果に基づいて、画像データに含まれる各メッシュを動画領域および静止画領域に区分する。具体的には、変化検出部１４５が変化ありと検出した領域を動画領域と特定する。また、変化検出部１４５が変化なしと検出した領域を静止画領域と特定する。更に、領域判定部１５０ｃは、該当のメッシュについて、同一区分の領域として継続して特定したフレームの数（継続フレーム数）をカウントする。なお、領域判定部１５０ｃは、該当のメッシュの領域の区分が変更した場合には、カウントをリセットして、再度１からカウントしなおす。領域判定部１５０ｃは、このようにして特定した各メッシュの動画および静止画の区分や継続フレーム数の情報に基づいて、メッシュ管理情報を生成し、メッシュ管理情報記憶部１３０ｃに格納する。
【０２２９】
送信領域特定部１６０ｃは、メッシュ管理情報記憶部１３０ｃに記憶されたメッシュ管理情報に基づいて、表示装置２００に送信する領域（送信領域）を特定する。送信領域特定部１６０ｃは、動画領域について、その全部を送信領域と特定する。
【０２３０】
また、送信領域特定部１６０ｃは、静止画領域について、その一部を送信領域と特定する。すなわち、送信領域特定部１６０ｃは、静止画領域を分割し（一次分割）、分割した領域を複数のタイミングで送信領域として順次特定する。このようにすることで、静止画領域の単位面積当たりの送信画像データ量を動画領域の単位面積当たりの送信画像データ量よりも多く割り当てることができる。すなわち、後段の符号化に伴う圧縮率を制御して、静止画領域の画質を動画領域の画質よりも向上させることができる。
【０２３１】
更に、送信領域特定部１６０ｃは、メッシュ管理情報と、制御情報記憶部１１０ｃに記憶された継続フレーム数しきい値と、を参照して、継続フレーム数しきい値を超えて静止画領域の状態が継続している静止画メッシュの再送を行う。このとき、送信領域特定部１６０ｃは、一次分割時の分割数よりも多くの分割数で静止画領域を分割する（二次分割）。このように、一次分割数よりも多く分割して静止画領域を順次再送することで、静止画領域の単位面積当たりの送信画像データ量を一次分割時よりも多く割り当てることができる。これによって、一次分割で送信した静止画領域の画質をより向上することができる。
【０２３２】
符号化部１７０ｃは、送信領域特定部１６０ｃが特定した送信領域のメッシュを順番に符号化してデータ量を削減する。符号化部１７０ｃは、圧縮率決定部１７１ｃ、動画領域符号化部１７２および静止画領域符号化部１７３ｃを有する。ここで、動画領域符号化部１７２は、図５で同一の符号を付して説明した構成と同一であるため説明を省略する。
【０２３３】
圧縮率決定部１７１ｃは、動画メッシュ群または静止画メッシュ群の符号化後データ量を決定する。ここで、圧縮率決定部１７１ｃは、動画メッシュの圧縮率よりも静止画メッシュの圧縮率を低く設定し、静止画領域については、動画領域よりも高品位な画像の表示を可能とする。更に、圧縮率決定部１７１ｃは、静止画領域について、一次分割での送信時よりも二次分割での送信時の方が圧縮率を低く設定する。これによって、二次分割により表示された静止画領域の画質をより向上することができる。
【０２３４】
静止画領域符号化部１７３ｃは、圧縮率決定部１７１ｃが決定した静止画領域の符号化後データ量に近くなるように送信領域内の静止画メッシュ群を符号化する。静止画領域符号化部１７３ｃは、圧縮率決定部１７１ｃから一次分割時の符号化データ量を取得した場合、一次分割時の符号化データ量に近いデータ量となるよう静止画メッシュ群を符号化する。また、静止画領域符号化部１７３ｃは、圧縮率決定部１７１ｃから二次分割時の符号化データ量を取得した場合、二次分割時の符号化データ量に近いデータ量となるよう静止画メッシュ群を符号化する。
【０２３５】
静止画領域符号化部１７３ｃは、符号化して生成した静止画圧縮データを送信部１８０に出力する。
図２８は、第５の実施の形態の継続フレーム数しきい値設定テーブルのデータ構造例を示す図である。継続フレーム数しきい値設定テーブル１１１ｃは、制御情報記憶部１１０ｃに予め格納される。継続フレーム数しきい値設定テーブル１１１ｃには、継続フレーム数しきい値が設定される。
【０２３６】
継続フレーム数しきい値は、静止画領域について二次分割した画像を送信するまでに該当メッシュが静止画メッシュ状態のままで経過すべき継続フレーム数のしきい値を示す。すなわち、送信領域特定部１６０ｃは、継続フレーム数しきい値以上となった静止画メッシュ群を二次分割による送信対象と特定して、符号化部１７０ｃに出力する。これにより、継続フレーム数以上の期間が経過した静止画メッシュの画質を向上する。
【０２３７】
図２９は、第５の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。メッシュ管理テーブル１３１ｃは、メッシュ管理情報記憶部１３０ｃに格納される。メッシュ管理テーブル１３１ｃには、メッシュ座標を示す項目、動画領域フラグを示す項目、一次高品位画像送信済フラグを示す項目、二次高品位画像送信済フラグを示す項目および継続フレーム数を示す項目が設けられている。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つのメッシュに関する情報を示す。
【０２３８】
なお、メッシュ座標を示す項目、動画領域フラグを示す項目は、図８で説明したメッシュ管理テーブル１３１の同一名称の各項目と同一である。
一次高品位画像送信済フラグを示す項目には、静止画メッシュについて、一次分割による一次高品位画像を送信済みであるか否かを示すフラグが設定される。一次高品位画像送信済フラグを示す項目には、該当のメッシュについて一次高品位画像を送信済みである場合は“１”が設定され、未送信である場合は“０”が設定される。なお、一次高品位画像送信済フラグを示す項目には、該当のメッシュが動画メッシュである場合には、一次高品位画像の送信対象でないことを示す“−”が設定される。
【０２３９】
二次高品位画像送信済フラグを示す項目には、静止画メッシュについて、二次分割による二次高品位画像を送信済みであるか否かを示すフラグが設定される。二次高品位画像送信済フラグを示す項目には、該当のメッシュについて二次高品位画像を送信済みである場合は“１”が設定され、未送信である場合は“０”が設定される。なお、二次高品位画像送信済フラグを示す項目には、該当のメッシュが動画メッシュである場合には、二次高品位画像の送信対象でないことを示す“−”が設定される。
【０２４０】
継続フレーム数を示す項目には、該当のメッシュが静止画領域として継続して特定されたフレームの数が設定される。
メッシュ管理テーブル１３１ｃには、例えば、メッシュ座標が（ｘ，ｙ）＝“（１，１）”、動画領域フラグが“０”、一次高品位画像送信済フラグが“１”、二次高品位画像送信済フラグが“１”、継続フレーム数が“３５”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（１，１）”で指定されるメッシュが静止画メッシュであり、静止画メッシュの状態で“３５”フレーム継続していることを示している。また、そのメッシュについて、一次高品位画像、二次高品位画像ともに表示装置２００へ送信済みであることを示している。
【０２４１】
また、メッシュ管理テーブル１３１ｃには、例えば、メッシュ座標が（ｘ，ｙ）＝“（５１，３１）”、動画領域フラグが“０”、一次高品位画像送信済フラグが“１”、二次高品位画像送信済フラグが“０”、継続フレーム数が“２８”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（５１，３１）”で指定されるメッシュが静止画メッシュであり、静止画メッシュの状態で“２８”フレーム継続していることを示している。また、そのメッシュについて、一次高品位画像は表示装置２００へ送信済みであるが、二次高品位画像は表示装置２００へ未送信であることを示している。
【０２４２】
なお、領域判定部１５０ｃは、該当メッシュを静止画領域と新たに判定したタイミングで、一次高品位画像送信済フラグおよび二次高品位画像送信済フラグに“０”を設定する。
【０２４３】
次に、以上の構成により実現されるコンピュータ１００ｃおよび表示装置２００の処理手順に関して説明する。
なお、コンピュータ１００ｃの画像データの送信処理の手順に関しては、図９で説明した手順と同様であるため説明を省略する。以下、コンピュータ１００ｃの画像データの送信処理に含まれる各処理について詳細に説明する。
【０２４４】
図３０は、第５の実施の形態の送信領域特定処理を示すフローチャートである。以下、図３０に示す処理をフローチャートのステップ番号に沿って説明する。
［ステップＳ１１１］送信領域特定部１６０ｃは、メッシュ管理情報記憶部１３０ｃに記憶されたメッシュ管理テーブル１３１ｃの動画領域フラグを参照して、今回送信対象の画像データに静止画領域が含まれているか否かを判定する。静止画領域が含まれている場合、処理をステップＳ１１２に進める。静止画領域が含まれていない場合、処理をステップＳ１１９に進める。
【０２４５】
［ステップＳ１１２］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの一次高品位画像送信済フラグを参照して、静止画メッシュのうち、一次高品位画像を未送信のメッシュが存在するか否かを判定する。一次高品位画像を未送信のメッシュが存在する場合、処理をステップＳ１１３に進める。一次高品位画像を未送信のメッシュが存在しない場合、処理をステップＳ１１５に進める。
【０２４６】
［ステップＳ１１３］送信領域特定部１６０ｃは、静止画領域の一次分割数を特定する。静止画領域の一次分割数は、利用環境に応じて、例えば、メッシュ管理情報記憶部１３０ｃに予め記憶される。送信領域特定部１６０ｃは、特定した一次分割数に基づいて、送信する静止画領域の一次送信メッシュ数を算出する。
【０２４７】
［ステップＳ１１４］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃを参照して、一次高品位画像を未送信のメッシュのうち、ステップＳ１１３で算出した一次送信メッシュ数分のメッシュを抽出する。送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの一次高品位画像送信済フラグを更新する。すなわち、今回送信対象として抽出した静止画メッシュに設定された一次高品位画像送信済フラグ“０”を“１”に変更する。送信領域特定部１６０ｃは、抽出した静止画メッシュ群を符号化部１７０ｃに出力する。なお、送信領域特定部１６０ｃは、出力した静止画メッシュ群が一次分割に対応するものである旨を符号化部１７０ｃに通知する。
【０２４８】
［ステップＳ１１５］送信領域特定部１６０ｃは、制御情報記憶部１１０ｃを参照して、継続フレーム数しきい値を取得する。そして、送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃを参照して継続フレーム数しきい値以上の継続フレーム数となった静止画メッシュが存在するか否かを判定する。存在する場合、処理をステップＳ１１６に進める。存在しない場合、処理をステップＳ１１９に進める。
【０２４９】
［ステップＳ１１６］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの二次高品位画像送信済フラグを参照して、二次高品位画像を未送信のメッシュが存在するか否かを判定する。二次高品位画像を未送信のメッシュが存在する場合、処理をステップＳ１１７に進める。二次高品位画像を未送信のメッシュが存在しない場合、処理をステップＳ１１９に進める。
【０２５０】
［ステップＳ１１７］送信領域特定部１６０ｃは、静止画領域の二次分割数を特定する。静止画領域の二次分割数は、利用環境に応じて、例えば、メッシュ管理情報記憶部１３０ｃに予め記憶される。送信領域特定部１６０ｃは、特定した二次分割数に基づいて、送信する静止画領域の二次送信メッシュ数を算出する。
【０２５１】
［ステップＳ１１８］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃを参照して、二次高品位画像を未送信のメッシュのうち、ステップＳ１１７で算出した二次送信メッシュ数分のメッシュを抽出する。送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの二次高品位画像送信済フラグを更新する。すなわち、今回送信対象として抽出した静止画メッシュに設定された二次高品位画像送信済フラグ“０”を“１”に変更する。送信領域特定部１６０ｃは、抽出した静止画メッシュ群を符号化部１７０ｃに出力する。なお、送信領域特定部１６０ｃは、出力した静止画メッシュ群が二次分割に対応するものである旨を符号化部１７０ｃに通知する。
【０２５２】
［ステップＳ１１９］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの動画領域フラグを参照して、今回送信対象の画像データに動画領域が含まれているか否かを判定する。動画領域が含まれている場合、処理をステップＳ１２０に進める。動画領域が含まれていない場合、処理を完了する。
【０２５３】
［ステップＳ１２０］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃを参照して動画メッシュを抽出し、抽出した動画メッシュ群を送信対象の領域とする。送信領域特定部１６０ｃは、抽出した動画メッシュ群を符号化部１７０ｃに出力する。
【０２５４】
このようにして送信領域特定部１６０ｃは、静止画領域の一部送信対象の領域として特定する。送信領域特定部１６０ｃは、送信対象の領域として選択するメッシュの数を静止画領域の分割数に応じて算出する。また、送信領域特定部１６０ｃは、静止画領域の分割数を一次分割時よりも二次分割時の方が多くなるようにする。
【０２５５】
これにより、後段の符号化処理において、二次分割時の静止画メッシュ群について同一面積の送信データ量を一次分割時の静止画メッシュ群よりも多く割り当てることができる。
【０２５６】
なお、上記ステップＳ１１１〜Ｓ１１８に示した静止画領域に対する処理および上記ステップＳ１１９，Ｓ１２０に示した動画領域に対する処理は、順序を逆にしてもよい。例えば、送信領域特定部１６０ｃは、動画領域に対する処理（ステップＳ１１９，Ｓ１２０）を先に実行した後、静止画領域に対する処理（ステップＳ１１１〜Ｓ１１８）を行うことも考えられる。
【０２５７】
図３１は、第５の実施の形態の二次高品位画像の送信方法の具体例を示す図である。以下、図３１に示す処理をステップ番号に沿って説明する。なお、図３１の各ステップでは、画像を構成するメッシュに、その継続フレーム数を図示している。また、ステップＳＴ２１は、コンピュータ１００ｃが表示装置２００への最初のフレームの送信タイミングである。ステップＳＴ２２は、ステップＳＴ２１の次のフレームの送信タイミングである。以降、ステップＳＴ２３，ＳＴ２４に関しても同様である。
【０２５８】
［ステップＳＴ２１］コンピュータ１００ｃは、画像５００のうち動画領域５２０を符号化し、表示装置２００に送信する。このとき、全メッシュの継続フレーム数は“２９”であるとする。静止画領域５１０に関しては、既に全ての静止画メッシュについて一次高品位画像を送信済みであるので、表示装置２００への画像データの送信は行われない。
【０２５９】
［ステップＳＴ２２］コンピュータ１００ｃは、画像５００のうち、動画領域５２１を符号化し、表示装置２００に送信する。このとき、全メッシュの継続フレーム数は“３０”となる。静止画領域５１１に関しては、既に全ての静止画メッシュについて一時高品位画像を送信済みであるので、表示装置２００への画像データの送信は行われない。
【０２６０】
［ステップＳＴ２３］コンピュータ１００ｃは、画像５００のうち、動画領域５２２を符号化し、表示装置２００に送信する。また、コンピュータ１００ｃは、画像５００のうち、静止画領域を二次分割した際の一単位である一部領域５１２を符号化し、表示装置２００に送信する。このとき、例えば、二次分割数を一次分割数の２倍に設定しておけば、一部領域５１２に対して、一次分割時よりも２倍の送信データ量を割り当てることができる。すなわち、圧縮率を低減して、一部領域５１２の画質を向上できる。なお、全メッシュの継続フレーム数は“３１”となる。
【０２６１】
［ステップＳＴ２４］コンピュータ１００ｃは、画像５００のうち、動画領域５２３を符号化し、表示装置２００に送信する。また、コンピュータ１００ｃは、画像５００のうち、静止画領域を二次分割した際の一単位である一部領域５１４を符号化し、表示装置２００に送信する。一部領域５１３は、ステップＳＴ２３の一部領域５１２に対応する。表示装置２００は、一部領域５１３に関しては、ステップＳＴ２３で受信した画像を継続して表示する。なお、全メッシュの継続フレーム数は“３２”となる。
【０２６２】
このように、コンピュータ１００ｃは、静止画領域について一次分割により画像送信した後、所定のフレーム数が継続した静止画メッシュについては一次分割よりも細かい分割数で二次分割を行って、表示装置２００へ画像データを送信する。
【０２６３】
これにより、第２の実施の形態と同様の効果を実現することができる。また、静止画領域の画質を更に向上して、より見易い画像表示を実現することが可能となる。
第２〜第５の実施の形態で説明したように、コンピュータ１００，１００ａ，１００ｂ，１００ｃは、画像データに含まれるメッシュの時間変化に基づいて、画像データを静止画領域と動画領域とに区分する。そして、コンピュータ１００は、静止画メッシュの送信回数を動画メッシュの送信回数よりも少なくする。
【０２６４】
これにより、ネットワークの伝送容量を効率的に利用して画像データを送信することが可能となる。
また、静止画領域を複数の領域に分割して、異なるタイミングで送信することで、単位面積当たりに割り当て可能な送信データ量を動画領域よりも多く割り当てることができる。
【０２６５】
これにより、静止画領域の画質を動画領域の画質に比べて高品位とすることができる。その結果、表示装置２００によりスクリーン２０に表示される画像の見易さを向上することができる。
【０２６６】
また、第３の実施の形態で説明したように、静止画領域と動画領域との境界である境界領域を導入する。そして、境界メッシュ群について単位面積当たりに割り当てる送信データ量を動画メッシュ群について単位面積当たりに割り当てる送信データ量よりも多くなるようにする。
【０２６７】
これにより、境界メッシュ群の画質を、動画メッシュ群の画質よりも向上することができる。その結果、静止画領域と動画領域との境界部分での画質の急激な変化が抑えられることになる。このため、表示装置２００は、閲覧者に与える違和感を抑えた、より見易い画像の表示が可能となる。
【０２６８】
また、表示する画像中の注目する箇所が動画領域に隣接した静止画領域内の静止画像である場合にも、その画像の品質の劣化を抑えることができ、より見易い画像の表示が可能となる。
【０２６９】
また、第４の実施の形態で説明したように、動画領域が移動に伴って、動画領域から静止画領域に切り替わった領域のメッシュについて、優先的に送信対象とする。
すなわち、閲覧者の注意が向き易い動画領域の移動に係る領域に対して優先的に画質を高める。これにより、閲覧者に対して与え得る違和感を軽減し、見易さをより向上することができる。
【０２７０】
また、第５の実施の形態で説明したように、静止画領域について一次分割により画像送信した後、所定のフレーム数が継続した静止画メッシュについては一次分割よりも細かい分割数で二次分割を行って、表示装置２００へ画像データを送信する。
【０２７１】
これにより、静止画領域の画質を更に向上して、より見易い画像表示を実現することが可能となる。
これらの方法を用いることで、画像データを効率的に送信することが可能となる。具体的には、変化の少ない静止画領域の画像データの送信回数を変化の多い動画領域の画像データの送信回数よりも少なくする。その結果、伝送容量が不必要に使用されることを抑止することができる。また、余剰の伝送容量を用いて、画質をより向上することができる。また、その分の伝送容量を他のデータ通信に利用することもできる。
【０２７２】
以上、本発明の画像処理プログラム、表示システム、画像処理装置および画像処理方法を図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は同様の機能を有する任意の構成のものに置換することができる。また、本発明に他の任意の構成物や行程が付加されてもよい。また、本発明は前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。
【符号の説明】
【０２７３】
１ コンピュータ
１ａ 検出手段
１ｂ 送信手段
２ 表示装置
１０，１０ａ，１０ｂ 画像
１１ 第１の種類の領域
１２ 第２の種類の領域
１１ａ，１１ｂ，１２ａ，１２ｂ 画像情報
【技術分野】
【０００１】
本発明は、表示装置に画像情報を送信する画像処理プログラム、表示システム、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、コンピュータと表示装置（モニタやプロジェクタ）とをネットワークで接続した表示システムが利用されている。この表示システムでは、コンピュータは画像データを表示装置に送信する。表示装置は、コンピュータから受信した画像データをモニタ画面上やスクリーン上に表示する。
【０００３】
ここで、コンピュータと表示装置とを接続するネットワークとして、無線ＩＰ（Internet Protocol）ネットワークや電話回線網などが考えられる。このような伝送路では、単位時間当たりに送受信可能なデータ伝送量（以下、伝送容量という）には限りがある。このため、伝送容量が圧迫されるとコンピュータ側で生成した画像データが表示装置で再生されるまでに遅延が生じることがある。その場合、例えば、表示装置が表示する画像に遅延やコマ落ちが発生する。
【０００４】
これに対し、コンピュータ側で生成した画像データを符号化することでデータ量を小さくし（圧縮）、圧縮した画像データを表示装置に送ることが考えられる。このようにすると、伝送容量が小さくても通信により生じ得る遅延を低減することができる。
【０００５】
ところが、画像データの圧縮を行うと画質が低下し、表示装置が表示する画像が見づらくなることがあるという問題がある。このため、動画用の画像データ生成に際し、オペレータが入力した領域や人物を表示している領域を取得し、当領域については他の領域よりも圧縮率を下げて画質を相対的に向上することで、当領域を見易くする方法が知られている（例えば、特許文献１，２参照）。また、高画質領域のコマ数を低画質領域よりも多くすることで高画質領域の画質をより向上する方法が知られている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３０９８３５号公報
【特許文献２】特開２００８−００５３４９号公報
【特許文献３】特開平０９−１３０７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、画像には所定時間の間に大きく変化する領域とほとんど変化のない領域とが含まれ得る。この場合、大きく変化する領域と同等の頻度で、ほとんど変化のない領域の画像データを送信することは、ネットワークの伝送容量の利用の観点からは非効率であるという問題がある。
【０００８】
本発明はこのような点に鑑みてなされたものであり、画像情報を効率的に送信する画像処理プログラム、表示システム、画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、画像処理プログラムが提供される。この画像処理プログラムを実行するコンピュータは、検出手段および送信手段として機能する。検出手段は、時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する。送信手段は、所定の時間幅における第１の種類の領域の画像情報の送信回数を所定の時間幅における第２の種類の領域の画像情報の送信回数よりも少ない回数として、第１の種類の領域の画像情報と第２の種類の領域の画像情報とを順次送信する。
【００１０】
また、上記課題を解決するために、表示システムが提供される。この表示システムは、画像処理装置と表示装置とを有する。画像処理装置は、検出手段と送信手段とを備える。検出手段は、時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する。送信手段は、所定の時間幅における第１の種類の領域の画像情報の送信回数を所定の時間幅における第２の種類の領域の画像情報の送信回数よりも少ない回数として、第１の種類の領域の画像情報と第２の種類の領域の画像情報とを順次送信する。表示装置は、受信手段と表示手段とを備える。受信手段は、送信手段が送信した第１の種類の領域の画像情報と第２の種類の領域の画像情報とを順次受信する。表示手段は、受信手段が第１の種類の領域の画像情報と第２の種類の領域の画像情報とを受信した場合、第１の種類の領域の画像情報と第２の種類の画像情報とを表示し、受信手段が第２の種類の領域の画像情報を受信して第１の種類の領域の画像情報を受信しない場合、以前に受信した第１の種類の領域の画像情報と今回受信した第２の種類の領域の画像情報とを表示する。
【００１１】
また、上記課題を解決するために上記画像処理プログラムを実行するコンピュータと同様の機能を有する画像処理装置が提供される。また、上記課題を解決するために上記画像処理プログラムを実行するコンピュータと同様の処理を行う画像処理方法が提供される。
【発明の効果】
【００１２】
上記画像処理プログラム、表示システム、画像処理装置および画像処理方法によれば、画像情報を効率的に送信することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態の表示システムを示す図である。
【図２】表示システムの全体構成を示す図である。
【図３】コンピュータのハードウェア構成を示す図である。
【図４】表示装置のハードウェア構成を示す図である。
【図５】第２の実施の形態の各装置の機能構成を示す図である。
【図６】メッシュ構成の具体例を示す図である。
【図７】データ出力制御テーブルのデータ構造例を示す図である。
【図８】第２の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。
【図９】第２の実施の形態の画像データの送信処理を示すフローチャートである。
【図１０】第２の実施の形態の領域判定処理を示すフローチャートである。
【図１１】第２の実施の形態の送信領域特定処理を示すフローチャートである。
【図１２】第２の実施の形態の符号化処理を示すフローチャートである。
【図１３】第２の実施の形態の画像データの受信処理を示すフローチャートである。
【図１４】第２の実施の形態の環境の設定変更処理を示すフローチャートである。
【図１５】第２の実施の形態の画像データの送信方法の第１の具体例を示す図である。
【図１６】第２の実施の形態の各領域の画像データの送信方法の第２の具体例を示す図である。
【図１７】第３の実施の形態の各装置の機能構成を示す図である。
【図１８】第３の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。
【図１９】第３の実施の形態の領域判定処理を示すフローチャートである。
【図２０】第３の実施の形態の符号化処理を示すフローチャートである。
【図２１】第３の実施の形態の符号化処理を示すフローチャートである。
【図２２】第３の実施の形態の画像の各領域を示す図である。
【図２３】第４の実施の形態の各装置の機能構成を示す図である。
【図２４】第４の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。
【図２５】第４の実施の形態の送信領域特定処理を示すフローチャートである。
【図２６】第４の実施の形態の画像データの送信方法の具体例を示す図である。
【図２７】第５の実施の形態の各装置の機能構成を示す図である。
【図２８】第５の実施の形態の継続フレーム数しきい値設定テーブルのデータ構造例を示す図である。
【図２９】第５の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。
【図３０】第５の実施の形態の送信領域特定処理を示すフローチャートである。
【図３１】第５の実施の形態の二次高品位画像の送信方法の具体例を示す図である。
【発明を実施するための形態】
【００１４】
以下、実施の形態を図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、第１の実施の形態の表示システムを示す図である。この表示システムは、コンピュータ１および表示装置２を有する。コンピュータ１は、検出手段１ａおよび送信手段１ｂを有する。
【００１５】
検出手段１ａは、時系列に入力された画像１０，１０ａ，１０ｂ，・・・の間の変化に応じて、各画像に含まれる第１の種類の領域１１と、第１の種類の領域１１よりも変化量の大きい第２の種類の領域１２とを検出する。変化量は、例えば各画素の画素値の変化の度合いにより検出することができる。例えば、画像１０ａの対象画素の画素値と直前の画像である画像１０における対応する画素の画素値との差が所定値以上である場合に、対象画素を第２の種類の領域１２に含めることが考えられる。なお、変化量は、複数の画素の集合により比較して検出してもよい。
【００１６】
送信手段１ｂは、所定の時間幅における第１の種類の領域１１の画像情報の送信回数を所定の時間幅における第２の種類の領域１２の画像情報の送信回数よりも少ない回数として、第１の種類の領域１１の画像情報と第２の種類の領域１２の画像情報とを表示装置２に順次送信する。
【００１７】
例えば、送信手段１ｂは、所定の時間幅の間で第２の種類の領域１２に関して画像情報１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｅと５回の送信を行い、第１の種類の領域１１に関して画像情報１１ａ，１１ｂと２回の送信を行う。
【００１８】
表示装置２は、送信手段１ｂから受信した第１の種類の領域１１の画像情報と第２の種類の領域１２の画像情報とを表示する。表示装置２は、例えば、モニタやプロジェクタである。
【００１９】
表示装置２は、例えば第１の種類の領域１１の画像情報１１ａと第２の種類の領域の画像情報１２ａとを受信すると、画像情報１１ａ，１２ａを組み合わせた画像を表示する。次に、表示装置２は、画像情報１２ｂを受信すると、表示した画像情報１２ａを画像情報１２ｂで更新する。その後、表示装置２が画像情報１２ｃ，１２ｄと順次受信した場合も同様である。そして、表示装置２は、画像情報１１ｂ，１２ｅを受信すると、表示した画像情報１１ａを画像情報１１ｂで更新し、表示した画像情報１２ｄを画像情報１２ｅで更新する。
【００２０】
コンピュータ１によれば、検出手段１ａにより、時系列に入力された複数の画像１０，１０ａ，１０ｂ，・・・の間の変化に応じて、各画像に含まれる第１の種類の領域１１と、第１の種類の領域１１よりも変化量の大きい第２の種類の領域１２とが検出される。送信手段１ｂにより、所定の時間幅における第１の種類の領域１１の画像情報の送信回数を所定の時間幅における第２の種類の領域１２の画像情報の送信回数よりも少ない回数として、第１の種類の領域１１の画像情報と第２の種類の領域１２の画像情報とが表示装置２に順次送信される。
【００２１】
これにより、画像情報を効率的に送信することが可能となる。具体的には、第２の種類の領域１２に比べて変化量の小さい第１の種類の領域１１の画像情報は、第２の種類の領域１２の画像情報よりも送信回数が少なくなる。このため、第１の種類の領域１１の画像情報を送信するために、伝送容量が不必要に使用されることを抑止することができる。また、その分の伝送容量を用いて、第１の種類の領域１１の画像や第２の種類の領域１２の画像の画質向上を図ることができる。また、その分の伝送容量を他のデータ通信に利用することもできる。
【００２２】
以下の第２〜第５の実施の形態では、第１の実施の形態に係る表示システムの応用例を説明する。
［第２の実施の形態］
図２は、表示システムの全体構成を示す図である。第２の実施の形態に係る表示システムは、コンピュータ１００および表示装置２００を有する。コンピュータ１００と表示装置２００とは、ネットワーク１０を介して接続される。ネットワーク１０は、コンピュータ１００および表示装置２００を無線で接続する無線ＬＡＮ（Local Area Network）である。
【００２３】
コンピュータ１００は、表示装置２００に表示させる画像データをネットワーク１０を介して表示装置２００に送信する。コンピュータ１００が表示装置２００に送信する画像データのデータ形式には、Ｍｏｔｉｏｎ ＪＰＥＧ（Motion Joint Photographic Experts Groups）などによる非可逆圧縮方式が用いられる。非可逆圧縮方式を用いることで、可逆圧縮方式に比べて、データ量を小さくし易いほか、符号化・復号処理に要する処理時間を短縮することができる。このため、非可逆圧縮方式は、画像データをネットワーク１０を介して送信し、複数の画面上で同時に同一の内容を閲覧したい場合に適している。
【００２４】
表示装置２００は、コンピュータ１００から受信する画像データをスクリーン２０に投影する。表示装置２００は、例えば、プロジェクタである。
コンピュータ１００は、表示装置２００に画像データを送信する機能を有している。この機能は、コンピュータ１００が画像処理プログラムを実行することで実現される。そのような画像処理プログラムは、コンピュータ読み取り可能な記録媒体３０に記録して配布することができる。
【００２５】
また、ネットワーク１０に接続されたサーバ装置（図示せず）に記録媒体３０から画像処理プログラムを格納してもよい。この場合、コンピュータ１００は、ネットワーク１０を介してサーバ装置から画像処理プログラムをダウンロードすることができる。
【００２６】
記録媒体３０としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリを使用できる。磁気記録装置には、ＨＤＤ（Hard Disk Drive）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−Ｒ／ＲＷ／ＲＡＭ（Random Access Memory）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【００２７】
また、表示装置２００もコンピュータ１００が送信した画像データを受信してスクリーン２０に投影する機能を有している。表示装置２００は、そのためのプログラムをネットワーク１０を介してサーバ装置からダウンロードすることができる。
【００２８】
なお、コンピュータ１００と表示装置２００とは、ネットワーク１０を介さずに直接接続されてもよい。この場合、コンピュータ１００と表示装置２００とは、ワイヤレスＵＳＢ（Wireless Universal Serial Bus）で接続することが考えられる。
【００２９】
図３は、コンピュータのハードウェア構成を示す図である。コンピュータ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ１０３、表示処理部１０４、ディスプレイ１０５、入力処理部１０６、キーボード１０７、マウス１０８および通信処理部１０９を有する。
【００３０】
ＣＰＵ１０１は、コンピュータ１００全体を制御する。
ＲＡＭ１０２は、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションソフトウェア（以下、アプリケーションという）のプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ１０２は、ＣＰＵ１０１による処理に必要な各種データを記憶する。
【００３１】
ＨＤＤ１０３は、ＯＳのプログラム、アプリケーションのプログラムを記憶する。また、ＨＤＤ１０３は、ＣＰＵ１０１による処理に必要な各種データを記憶する。なお、ＨＤＤ１０３の代わりに例えばＳＳＤ（Solid State Drive）などの他の不揮発性の記憶装置を用いることもできる。
【００３２】
表示処理部１０４は、ディスプレイ１０５と接続される。表示処理部１０４は、ＣＰＵ１０１からの命令にしたがって画像をディスプレイ１０５の画面に表示させる。
入力処理部１０６は、キーボード１０７とマウス１０８と接続される。入力処理部１０６は、キーボード１０７やマウス１０８から送られてくる信号をＣＰＵ１０１に送信する。
【００３３】
通信処理部１０９は、ネットワーク１０と接続され、表示装置２００と画像データの送受信を行う。画像データの内容は、例えば、表示処理部１０４がディスプレイ１０５に表示させている画像が考えられる。このようにすると、例えば、ユーザは、コンピュータ１００を操作しながら、その操作画面を表示装置２００を介してスクリーン２０に表示してプレゼンテーションを行うことができる。
【００３４】
図４は、表示装置のハードウェア構成を示す図である。表示装置２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＮＶＲＡＭ（Non Volatile RAM）２０３、表示処理部２０４、投影部２０５、入力処理部２０６、操作部２０７および通信処理部２０８を有する。
【００３５】
ＣＰＵ２０１は、表示装置２００全体を制御する。
ＲＡＭ２０２は、ＣＰＵ２０１に実行させるＯＳのプログラムやアプリケーションのプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ２０２は、ＣＰＵ２０１による処理に必要な各種データを記憶する。
【００３６】
ＮＶＲＡＭ２０３は、ＯＳのプログラム、アプリケーションのプログラムを記憶する。また、ＮＶＲＡＭ２０３は、ＣＰＵ２０１による処理に必要な各種データを記憶する。
表示処理部２０４は、投影部２０５と接続される。表示処理部２０４は、ＣＰＵ２０１からの命令にしたがって、投影部２０５にスクリーンへの画像の投影を実行させる。
【００３７】
入力処理部２０６は、操作部２０７と接続される。入力処理部２０６は、操作部２０７から送られてくる信号をＣＰＵ２０１に送信する。
通信処理部２０８は、ネットワーク１０と接続され、コンピュータ１００とデータの送受信を行う。
【００３８】
図５は、第２の実施の形態の各装置の機能構成を示す図である。コンピュータ１００は、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ管理情報記憶部１３０、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０、送信領域特定部１６０、符号化部１７０、送信部１８０、受信部１８５、通信帯域監視部１９０、フレームレート設定受付部１９５を有する。これらの機能はＣＰＵ１０１が画像処理プログラムを実行することで実現される。ただし、これらの機能の一部または全部を専用のハードウェアで実現してもよい。
【００３９】
制御情報記憶部１１０は、画像データの符号化に際して、圧縮率（あるいは画質）を特定するためのデータ出力制御情報を記憶する。データ出力制御情報には、コンピュータ１００と表示装置２００との間の伝送路の伝送容量や表示装置２００が画像を再生する際のフレームレート（単位時間当たりの描画画面数）などの情報が含まれる。
【００４０】
メッシュ記憶部１２０は、画像内を所定数の画素による方形領域に分割したメッシュを記憶するためのバッファである。メッシュ記憶部１２０は、時系列に入力された画像データについて生成されたメッシュを一時的に記憶する。
【００４１】
メッシュ管理情報記憶部１３０は、画像内におけるメッシュの位置、動画や静止画の区分などを含むメッシュ管理情報を記憶する。
メッシュ生成部１４０は、画像データを順次受け付ける。メッシュ生成部１４０は、画像データを分割してメッシュを生成し、メッシュ記憶部１２０に格納する。
【００４２】
変化検出部１４５は、メッシュ記憶部１２０に記憶された画像内の同一位置のメッシュと該当位置の直前のメッシュとを比較して、該当のメッシュが直前のメッシュからの変化を検出する。ここで、変化検出部１４５は、メッシュの変化を、両メッシュに含まれる画素の画素値（色や輝度を示すパラメータなど）に差があるか否かにより検出することができる。具体的には、変化検出部１４５は、画素値に差がある画素が存在する場合に変化ありと検出し、何れの画素にも画素値に差がない場合に変化なしと検出する。また、例えば、変化検出部１４５は、画素値に所定値以上の差がある画素が存在する場合に変化ありと検出し、何れの画素にも所定値以上の差がない場合に変化なしと検出することも考えられる。
【００４３】
領域判定部１５０は、変化検出部１４５が変化ありと検出した領域（複数のメッシュの集合）を動画領域と特定する。また、領域判定部１５０は、変化検出部１４５が変化なしと検出した領域を静止画領域と特定する。領域判定部１５０は、このようにして特定した各メッシュの動画および静止画の区分に基づいてメッシュ管理情報を生成し、メッシュ管理情報記憶部１３０に格納する。
【００４４】
送信領域特定部１６０は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理情報に基づいて、表示装置２００に送信する領域（送信領域）を特定する。送信領域特定部１６０は、動画領域について、その全部を送信領域と特定する。
【００４５】
また、送信領域特定部１６０は、静止画領域について、その一部を送信領域と特定する。すなわち、送信領域特定部１６０は、静止画領域を更に分割し、分割した領域を複数のタイミングで送信領域として順次特定する。このようにすることで、静止画領域の単位面積当たりの送信データ量を動画領域の単位面積当たりの送信データ量よりも多く割り当てることができる。すなわち、後段の符号化に伴う圧縮率を制御して、静止画領域の画質を動画領域の画質よりも向上させることができる。
【００４６】
更に、送信領域特定部１６０は、静止画領域を送信領域と特定する頻度を、動画領域を送信領域と特定する頻度よりも小さくする。例えば、送信領域特定部１６０は、静止画領域の画質の画像データを送信した後は、その領域が動画領域となるか、あるいは所定時間が経過するまで、送信領域として特定しないようにする。すなわち、画像データの入力レートに対し、静止画領域については間引きを行うことで、静止画領域の送信レート（あるいは送信回数）を動画領域の送信レートよりも少なくすることができる。
【００４７】
送信領域特定部１６０は、送信領域として特定した動画領域または静止画領域の情報を符号化部１７０に出力する。
符号化部１７０は、送信領域特定部１６０が特定した送信領域のメッシュを順番に符号化してデータ量を削減する（圧縮）。符号化部１７０は、圧縮率決定部１７１、動画領域符号化部１７２および静止画領域符号化部１７３を有する。
【００４８】
圧縮率決定部１７１は、動画領域に含まれるメッシュ（動画メッシュ）群または静止画領域に含まれるメッシュ（静止画メッシュ）群の符号化後データ量を決定する。符号化後データ量が大きいほど圧縮率は低く、画像の劣化も小さいため、画像の品質は高くなる。また、符号化後データ量が小さいほど圧縮率は高く、画像の劣化が大きいため、画像の品質は低くなる。
【００４９】
圧縮率決定部１７１は、動画メッシュの圧縮率よりも静止画メッシュの圧縮率を低く設定し、静止画領域については、動画領域よりも高品位な画像の表示を可能とする。圧縮率決定部１７１による圧縮率の決定処理の詳細は、後述する。
【００５０】
動画領域符号化部１７２は、圧縮率決定部１７１が決定した動画領域の符号化後データ量に近くなるように送信領域内の動画メッシュを符号化する。例えば、Ｍｏｔｉｏｎ ＪＰＥＧ形式で符号化する場合、動画領域符号化部１７２は、動画メッシュにＤＣＴ（Discrete Cosine Transform）変換、量子化処理およびハフマン符号化処理を順次施して符号化を行う。この場合、動画領域符号化部１７２は、例えば動画領域の符号化後データ量を越えない最大のデータ量となるテーブル類（量子化テーブルやハフマン符号テーブル）を用いて符号化する。あるいは、符号化後データ量に最も近くなるテーブル類を用いて符号化する。
【００５１】
動画領域符号化部１７２は、符号化して生成した動画圧縮データを送信部１８０に出力する。
静止画領域符号化部１７３は、圧縮率決定部１７１が決定した静止画領域の符号化後データ量に近くなるように送信領域内の静止画メッシュを符号化する。なお、静止画領域に関しても、動画領域符号化部１７２と同様にしてＭｏｔｉｏｎ ＪＰＥＧ形式の符号化処理を施すことが考えられる。
【００５２】
静止画領域符号化部１７３は、符号化して生成した静止画圧縮データを送信部１８０に出力する。
なお、符号化部１７０は、表示装置２００で画像を再生する際の情報を、各圧縮データに含める。符号化部１７０は、例えばＭｏｔｉｏｎ ＪＰＥＧ形式で符号化を行う場合、量子化に用いた量子化テーブル、ハフマン符号化に用いたハフマン符号テーブルおよび各メッシュの位置（画面上の座標など）を示す情報を各圧縮データに含める。
【００５３】
送信部１８０は、符号化部１７０から取得した動画圧縮データまたは静止画圧縮データを含む圧縮データを表示装置２００に送信する。
受信部１８５は、表示装置２００から表示装置２００が画像再生を行うフレームレートの設定情報を受信する。受信部１８５は、制御情報記憶部１１０に記憶されたデータ出力制御情報に、フレームレートの設定情報の内容を反映する。
【００５４】
通信帯域監視部１９０は、送信部１８０および受信部１８５からコンピュータ１００と表示装置２００との間の伝送路の伝送容量を取得する。通信帯域監視部１９０は、制御情報記憶部１１０に記憶されたデータ出力制御情報に、現通信環境における伝送容量の情報を反映する。
【００５５】
フレームレート設定受付部１９５は、表示装置２００が画像を再生する際のフレームレートの設定変更を受け付ける。フレームレートの設定変更は、例えば、ユーザがディスプレイ１０５に表示された設定変更用のインタフェースにしたがって、キーボード１０７やマウス１０８を操作することで入力される。フレームレート設定受付部１９５は、受け付けたフレームレートの設定変更を表示装置２００に通知すると共に、その変更内容を制御情報記憶部１１０に記憶されたデータ出力制御情報に反映する。
【００５６】
表示装置２００は、受信部２１０、復号部２２０、出力処理部２３０、フレームレート通知部２４０および送信部２５０を有する。
受信部２１０は、送信部１８０が送信した圧縮データを受信する。受信部２１０は、受信した圧縮データを復号部２２０に出力する。
【００５７】
復号部２２０は、受信部２１０から取得した圧縮データに含まれる動画圧縮データまたは静止画圧縮データを復号する。受信部２１０は、動画領域復号部２２１および静止画領域復号部２２２を有する。
【００５８】
動画領域復号部２２１は、動画圧縮データを復号する。例えば、動画圧縮データがＭｏｔｉｏｎ ＪＰＥＧ形式である場合、動画領域復号部２２１は、動画圧縮データに対して、ハフマン復号処理、逆量子化処理および逆ＤＣＴ変換を順次施して動画領域の復号画像データを得る。このとき、動画領域復号部２２１は、符号化時に使用したハフマン符号テーブルや量子化テーブルを動画圧縮データから取得して、復号に利用することができる。動画領域復号部２２１は、動画領域の復号画像データを出力処理部２３０に出力する。
【００５９】
静止画領域復号部２２２は、静止画圧縮データを復号する。例えば、静止画圧縮データがＭｏｔｉｏｎ ＪＰＥＧ形式である場合、動画領域復号部２２１と同様の処理により静止画領域の復号画像データを得る。ただし、動画領域復号部２２１と静止画領域復号部２２２とでは画質が異なるため、復号処理に用いる量子化テーブルやハフマン符号テーブルは異なるものとなる。静止画領域復号部２２２は、静止画領域の復号画像データを出力処理部２３０に出力する。
【００６０】
出力処理部２３０は、復号部２２０から取得した動画領域の復号画像データと静止画領域の復号画像データとを合成して得られる復号画像を投影部２０５に出力し、スクリーン２０に投影させる。出力処理部２３０は、例えば、動画圧縮データや静止画圧縮データに含まれる各メッシュの位置を示す情報により、動画圧縮領域の復号画像データと静止画領域の復号画像データとを適正に合成して復号画像を得ることができる。
【００６１】
フレームレート通知部２４０は、出力処理部２３０が復号画像を出力（再生）する際のフレームレートを取得する。フレームレート通知部２４０は、フレームレートが変更した場合、新しいフレームレートの情報を送信部２５０に出力する。フレームレートの変更は、例えば、ユーザが操作部２０７で所定の操作を行うことで出力処理部２３０に受け付けられる。また、コンピュータ１００からフレームレートの設定変更指示を受信することでも受け付けられる。
【００６２】
送信部２５０は、フレームレート通知部２４０から取得したフレームレートの情報をコンピュータ１００に送信する。
図６は、メッシュ構成の具体例を示す図である。画像データ３００は、静止画領域３１０および動画領域３２０を有する。静止画領域３１０および動画領域３２０は、各領域内を方形領域に分割した複数のメッシュ３３０により構成される。メッシュ３３０は、複数の画素３３１を含み、例えば、１６×１６画素や８×８画素の集合である。
【００６３】
画像データ３００は、左上頂点を原点として、横軸にｘ座標、縦軸にｙ座標が定義される。各メッシュの位置は、（ｘ，ｙ）座標によって特定することができる。
変化検出部１４５は、画像データ３００に含まれる各メッシュについて、直前のメッシュとの変化の有無を検出する。領域判定部１５０は、変化検出部１４５により変化なしとされた領域を静止画領域３１０とする。領域判定部１５０は、変化検出部１４５により変化ありとされた領域を動画領域３２０とする。
【００６４】
図７は、データ出力制御テーブルのデータ構造例を示す図である。データ出力制御テーブル１１１，１１２，１１３は、伝送路の伝送容量の候補値に応じて制御情報記憶部１１０に予め格納される。データ出力制御テーブル１１１は、伝送容量の上限が２０Ｍｂｐｓ（Megabits Per Second）の通信環境における制御情報である。その他にも、例えば、ワイヤレスＵＳＢによる接続を想定して、伝送容量の上限が６０Ｍｂｐｓの通信環境における制御情報を用意しておくことも考えられる。なお、以下の説明では、データ出力制御テーブル１１１に関して説明するが、データ出力制御テーブル１１２，１１３，・・・に関しても同様の構成となる。
【００６５】
データ出力制御テーブル１１１には、フレームレートを示す項目、送信可能データ量を示す項目および現設定フラグを示す項目が設定される。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つの伝送環境に関する情報を示す。
【００６６】
フレームレートを示す項目には、表示装置２００が画像を再生する際のフレームレートを示す値がｆｐｓ（Frame Per Second）単位で設定される。
送信可能データ量を示す項目には、送信が許容される画像データのデータ量がＫＢ／ｆ（Kilo Byte / Frame）単位で設定される。
【００６７】
現設定フラグを示す項目には、現在使用中の伝送路の伝送容量およびフレームレートが何れであるかを示すフラグが設定される。現設定フラグを示す項目には、該当の設定である場合には“１”が設定され、該当の設定でない場合には“０”が設定される。
【００６８】
データ出力制御テーブル１１１には、例えば、フレームレートが“３０”（ｆｐｓ）、送信可能データ量が“２８”（ＫＢ／ｆ）、現設定フラグが“１”という情報が設定される。これは、無線ＬＡＮによる現伝送路の伝送容量が２０Ｍｂｐｓであり、表示装置２００が画像を再生する際のフレームレートが“３０”（ｆｐｓ）の設定となっていることを示している。また、伝送容量のうち、画像データの送信に利用可能なデータ量が“２８”（ＫＢ／ｆ）であることを示している。
【００６９】
現設定フラグは、表示装置２００のフレームレートの設定変更に応じて、受信部１８５およびフレームレート設定受付部１９５により更新される。また、伝送路の環境変更などによる伝送容量の変更に応じて通信帯域監視部１９０により更新される。
【００７０】
圧縮率決定部１７１は、データ出力制御テーブル１１１を参照して、送信可能データ量を取得して圧縮率の算出に用いる。ただし、圧縮率決定部１７１は、通信環境に応じて送信可能データ量に相当する値を算出してもよい。
【００７１】
図８は、第２の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。メッシュ管理テーブル１３１は、メッシュ管理情報記憶部１３０に格納される。メッシュ管理テーブル１３１には、メッシュ座標を示す項目、動画領域フラグを示す項目および高品位画像送信済フラグを示す項目が設けられる。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つのメッシュに関する情報を示す。
【００７２】
メッシュ座標を示す項目には、各メッシュの座標が設定される。
動画領域フラグを示す項目には、該当のメッシュが動画メッシュであるか否かを示すフラグが設定される。動画領域フラグを示す項目には、該当のメッシュが動画メッシュである場合は“１”が設定され、動画メッシュでない、すなわち、静止画メッシュである場合は“０”が設定される。
【００７３】
高品位画像送信済フラグを示す項目には、静止画メッシュについて、動画メッシュよりも圧縮率の小さな（画質の高品位な）画像を送信済みであるか否かを示すフラグが設定される。高品位画像送信済フラグを示す項目には、該当のメッシュについて高品位画像を送信済みである場合は“１”が設定され、未送信である場合は“０”が設定される。なお、高品位画像送信済フラグを示す項目には、該当のメッシュが動画メッシュである場合には、高品位画像の送信対象でないことを示す“−”が設定される。
【００７４】
メッシュ管理テーブル１３１には、例えば、メッシュ座標が（ｘ，ｙ）＝“（１，１）”、動画領域フラグが“０”、高品位画像送信済フラグが“１”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（１，１）”で指定されるメッシュが静止画メッシュであり、高品位画像を送信済みであることを示している。
【００７５】
また、メッシュ管理テーブル１３１には、例えば、メッシュ座標が（ｘ，ｙ）＝“（７１，４５）”であり、動画領域フラグが“１”、高品位画像送信済フラグが“−”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７１，４５）”で指定されるメッシュが動画メッシュであり、高品位画像の送信対象外であることを示している。
【００７６】
次に、以上の構成により実現されるコンピュータ１００および表示装置２００の処理手順に関して説明する。
まず、コンピュータ１００による画像データの送信処理に関して説明する。
【００７７】
図９は、第２の実施の形態の画像データの送信処理を示すフローチャートである。以下、図９に示す処理をフローチャートのステップ番号に沿って説明する。
［ステップＳ１］メッシュ生成部１４０は、１フレーム分の画像データを受け付ける。
【００７８】
［ステップＳ２］メッシュ生成部１４０は、受け付けた画像データに含まれる各画素を方形領域に分割してメッシュを生成し、メッシュ記憶部１２０に格納する。
［ステップＳ３］変化検出部１４５は、メッシュ記憶部１２０に記憶された各メッシュについて、直前に入力された画像データに含まれる同一座標の各メッシュと比較して、画素の画素値に変化があるかを検出する。領域判定部１５０は、変化検出部１４５の検出結果に応じて画像データを静止画領域および動画領域に区分する。
【００７９】
［ステップＳ４］送信領域特定部１６０は、領域判定部１５０により動画領域と区分されたメッシュ全てを送信領域と特定する。送信領域特定部１６０は、領域判定部１５０により静止画領域と区分されたメッシュを送信する場合、静止画領域を更に分割したうちの一部のメッシュを送信領域として特定する。
【００８０】
［ステップＳ５］符号化部１７０は、送信領域特定部１６０が特定した送信領域のメッシュを符号化する。符号化部１７０は、送信領域のうち動画メッシュおよび静止画メッシュをそれぞれの圧縮率で符号化し、動画圧縮データおよび静止画圧縮データを生成する。このとき、符号化部１７０は、動画領域よりも低い圧縮率で静止画メッシュの符号化を行う。
【００８１】
［ステップＳ６］送信部１８０は、符号化部１７０が生成した動画圧縮データおよび静止画圧縮データを表示装置２００に送信する。
［ステップＳ７］メッシュ生成部１４０は、次フレームの画像データを受け付けたか否かを判定する。受け付けた場合、処理をステップＳ２に進める。受け付けていない場合、処理を完了する。
【００８２】
このようにして、メッシュ生成部１４０は、順次受け付ける画像データからメッシュを生成する。変化検出部１４５は、各メッシュの画素値の変化を検出する。領域判定部１５０は、変化検出部１４５による変化の検出結果に応じて画像データに含まれる各メッシュを静止画領域および動画領域に分割する。送信領域特定部１６０は、静止画領域および動画領域から送信領域とするメッシュを特定する。符号化部１７０は、送信領域とされたメッシュのうち、動画領域は動画領域の圧縮率で、静止画領域は静止画領域の圧縮率で符号化する。送信部１８０は、符号化部１７０が生成した動画圧縮データおよび静止画圧縮データを表示装置２００に送信する。
【００８３】
次に、上記ステップＳ３〜Ｓ５の処理を更に詳細に説明する。
図１０は、第２の実施の形態の領域判定処理を示すフローチャートである。以下、図１０に示す処理をフローチャートのステップ番号に沿って説明する。なお、図１０に示す処理は、図９のステップＳ３を詳細に示したものである。
【００８４】
［ステップＳ１１］変化検出部１４５は、メッシュ記憶部１２０に記憶され、最新に入力された画像データに含まれていたメッシュのうちから１つのメッシュを抽出する。メッシュの抽出は、例えば、メッシュ座標の原点を開始点として、ｘ座標の正方向へ走査するようにメッシュを順次抽出することが考えられる。そして、例えば、ｘ座標が最大値に達したら、ｙ座標に１を加えたのち、ｘ座標の最小値から正方向へと抽出していく。
【００８５】
［ステップＳ１２］変化検出部１４５は、最新に入力された画像データの直前に入力された画像データに含まれていたメッシュ（以下、直前メッシュという）のうち、ステップＳ１１で抽出したメッシュと同一座標の直前メッシュを抽出する。変化検出部１４５は、ステップＳ１１で抽出したメッシュに含まれる各画素の画素値と直前メッシュに含まれる対応する各画素の画素値とを比較することで、該当のメッシュの変化の有無を検出する。画素値に差のある画素が存在する場合、処理をステップＳ１３に進める。画素値に差のある画素が存在しない場合、処理をステップＳ１４に進める。
【００８６】
［ステップＳ１３］領域判定部１５０は、該当のメッシュを動画領域とする。領域判定部１５０は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理テーブル１３１の該当メッシュ座標に対応するメッシュの動画領域フラグに“１”を設定する。
【００８７】
［ステップＳ１４］領域判定部１５０は、該当のメッシュを静止画領域とする。領域判定部１５０は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理テーブル１３１の該当メッシュ座標に対応するメッシュの動画領域フラグに“０”を設定する。また、動画領域フラグ“１”から“０”へ新たに変更したメッシュに関して、領域判定部１５０は、高品位画像送信済フラグに“０”を設定する。領域判定部１５０は、動画領域フラグを“０”設定のまま維持するメッシュに関しては、高品位画像送信済フラグの設定を変更しない。
【００８８】
［ステップＳ１５］変化検出部１４５は、入力された画像データに含まれるメッシュに変化検出を行っていないメッシュが存在するか否かを判定する。変化検出を行っていないメッシュが存在する場合、処理をステップＳ１１に進める。変化検出を行っていないメッシュが存在しない場合、処理を完了させる。
【００８９】
このようにして、変化検出部１４５は各メッシュについて同一座標の直前メッシュからの変化を検出する。領域判定部１５０、変化検出部１４５により変化ありと検出されたメッシュの集合を動画領域と特定する。また、領域判定部１５０は、変化検出部１４５により変化なしと検出されたメッシュの集合を静止画領域と特定する。
【００９０】
なお、上記ステップＳ１２において、変化検出部１４５は、変化検出を行うために直前のフレームの画像データを参照する。したがって、最初に受け付けた第１番目のフレームの画像データに関しては、比較対象が存在しないことになる。このため、変化検出部１４５は、第１番目のフレームに関しては、全メッシュに変化ありとする。そして、領域判定部１５０は、第１番目のフレームに関しては全メッシュを動画領域として以降の処理を実行する。
【００９１】
図１１は、第２の実施の形態の送信領域特定処理を示すフローチャートである。以下、図１１に示す処理をフローチャートのステップ番号に沿って説明する。なお、図１１に示す処理は、図９のステップＳ４を詳細に示したものである。
【００９２】
［ステップＳ２１］送信領域特定部１６０は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理テーブル１３１の動画領域フラグを参照して、今回送信対象の画像データに静止画領域が含まれているか否かを判定する。静止画領域が含まれている場合、処理をステップＳ２２に進める。静止画領域が含まれていない場合、処理をステップＳ２５に進める。
【００９３】
［ステップＳ２２］送信領域特定部１６０は、メッシュ管理テーブル１３１の高品位画像送信済フラグを参照して、静止画メッシュのうち、高品位画像を未送信のメッシュが存在するか否かを判定する。高品位画像を未送信のメッシュが存在する場合、処理をステップＳ２３に進める。高品位画像を未送信のメッシュが存在しない場合、処理をステップＳ２５に進める。
【００９４】
［ステップＳ２３］送信領域特定部１６０は、静止画領域の分割数を特定する。ここで、静止画領域の分割数とは、静止画領域の送信回数により決まる。例えば、静止画領域を３つの領域に分割して、異なるタイミングに分けて送信する場合、分割数は３である。分割数が小さいほど、静止画領域の画質は低下する。なお、画質の下限は、分割数が１の時であり、このとき動画領域と同一の画質となる。また、分割数が大きいほど、静止画領域の画質は向上する。分割数は、利用環境に応じて、例えばメッシュ情報記憶部１３０に予め記憶される。送信領域特定部１６０は、特定した分割数に基づいて、送信する静止画領域の送信メッシュ数を算出する。
【００９５】
［ステップＳ２４］送信領域特定部１６０は、メッシュ管理テーブル１３１を参照して、高品位画像を未送信のメッシュのうち、算出した送信メッシュ数分のメッシュを抽出し、抽出した静止画メッシュ群を送信対象の領域とする。送信領域特定部１６０は、メッシュ管理テーブル１３１の高品位画像送信済フラグを更新する。すなわち、今回送信対象として抽出した静止画メッシュに設定された高品位画像送信済フラグ“０”を“１”に変更する。送信領域特定部１６０は、抽出した静止画メッシュ群を符号化部１７０に出力する。
【００９６】
［ステップＳ２５］送信領域特定部１６０は、メッシュ管理テーブル１３１の動画領域フラグを参照して、今回送信対象の画像データに動画領域が含まれているか否かを判定する。動画領域が含まれている場合、処理をステップＳ２６に進める。動画領域が含まれていない場合、処理を完了する。
【００９７】
［ステップＳ２６］送信領域特定部１６０は、メッシュ管理テーブル１３１を参照して、動画メッシュを抽出し、抽出した動画メッシュ群を送信対象の領域とする。送信領域特定部１６０は、抽出した動画メッシュ群を符号化部１７０に出力する。
【００９８】
このようにして、送信領域特定部１６０は、静止画領域の一部を送信対象の領域として特定する。送信領域特定部１６０は、送信対象の領域として選択するメッシュの数を、静止画領域の分割数に応じて算出する。また、送信領域特定部１６０は、動画領域の全部を送信対象の領域として特定する。
【００９９】
なお、上記ステップＳ２１〜Ｓ２４に示した静止画領域に対する処理および上記ステップＳ２５，Ｓ２６に示した動画領域に対する処理は、順序を逆にしてもよい。例えば、送信領域特定部１６０は、動画領域に対する処理（ステップＳ２５，Ｓ２６）を先に実行した後、静止画領域に対する処理（ステップＳ２１〜Ｓ２４）を行うことも考えられる。
【０１００】
図１２は、第２の実施の形態の符号化処理を示すフローチャートである。以下、図１２に示す処理をフローチャートのステップ番号に沿って説明する。なお、図１２に示す処理は、図９のステップＳ５を詳細に示したものである。
【０１０１】
［ステップＳ３１］符号化部１７０は、送信領域特定部１６０が特定した送信対象のメッシュ群（動画メッシュ群および静止画メッシュ群）を取得する。
［ステップＳ３２］圧縮率決定部１７１は、制御情報記憶部１１０に記憶されたデータ出力制御テーブル１１１，１１２，１１３，・・・の現設定フラグを参照して、現在の送信可能データ量Ｄを取得する。例えば、本表示システムの環境では、全帯域２０Ｍｂｐｓ、フレームレート３０ｆｐｓの設定となっている。そのため、圧縮率決定部１７１は、Ｄ＝２８（ＫＢ／ｆ）を取得する。
【０１０２】
［ステップＳ３３］圧縮率決定部１７１は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理テーブル１３１を参照して、静止画領域のメッシュ数Ｘを取得する。
［ステップＳ３４］圧縮率決定部１７１は、メッシュ管理テーブル１３１を参照して、動画領域のメッシュ数Ｙを取得する。
【０１０３】
［ステップＳ３５］圧縮率決定部１７１は、動画メッシュ率Ｚ＝Ｙ／（Ｘ＋Ｙ）を算出する。
［ステップＳ３６］圧縮率決定部１７１は、上記ステップＳ３１で取得したメッシュ群に静止画メッシュ群と動画メッシュ群とが混在しているか否かを判定する。混在している場合、処理をステップＳ３７に進める。混在していない場合、処理をステップＳ３９に進める。
【０１０４】
［ステップＳ３７］圧縮率決定部１７１は、動画メッシュ群に対して割り当て可能なデータ量Ｄ１＝Ｄ×Ｚを算出する。
［ステップＳ３８］圧縮率決定部１７１は、静止画メッシュ群に対して割り当て可能なデータ量Ｄ２＝Ｄ−Ｄ１を算出する。そして、処理をステップＳ４２に進める。
【０１０５】
［ステップＳ３９］圧縮率決定部１７１は、上記ステップＳ３１で取得したメッシュ群は動画メッシュ群のみであるか否かを判定する。動画メッシュ群のみの場合、処理をステップＳ４０に進める。動画メッシュ群のみでない、すなわち、静止画メッシュ群のみである場合、処理をステップＳ４１に進める。
【０１０６】
［ステップＳ４０］圧縮率決定部１７１は、動画領域に対して割り当て可能なデータ量Ｄ１＝Ｄを取得する。そして、処理をステップＳ４２に進める。
［ステップＳ４１］圧縮率決定部１７１は、静止画領域に対して割り当て可能なデータ量Ｄ２＝Ｄを取得する。そして、処理をステップＳ４２に進める。
【０１０７】
［ステップＳ４２］動画領域符号化部１７２は、圧縮率決定部１７１が求めた動画用送信可能データ量Ｄ１に近付くように、上記ステップＳ３１で取得した動画メッシュ群を符号化し、動画圧縮データを得る。また、静止画領域符号化部１７３は、圧縮率決定部１７１が求めた静止画用送信可能データ量Ｄ２に近付くように、上記ステップＳ３１で取得した静止画メッシュ群を符号化し、静止画圧縮データを得る。なお、符号化部１７０は、動画圧縮データや静止画圧縮データに、符号化に用いたテーブル類（Ｍｏｔｉｏｎ ＪＰＥＧであれば、量子化テーブルやハフマン符号化テーブル）および各メッシュの位置（画面上の座標など）を示す情報を含める。
【０１０８】
［ステップＳ４３］符号化部１７０は、生成した動画圧縮データと静止画圧縮データとを送信部１８０に出力する。
このようにして、圧縮率決定部１７１は、画像データの静止画メッシュ数と動画メッシュ数との比によって、静止画領域と動画領域とに割り当てる送信データ量を算出する。ここで、画像データの静止画メッシュ数と動画メッシュ数との比は、静止画領域と動画領域との面積の比に相当するものである。そして、動画領域符号化部１７２および静止画領域符号化部１７３は、圧縮率決定部１７１が割り当てた各データ量に近くなるように動画メッシュ群および静止画メッシュ群の符号化を行う。
【０１０９】
具体的には、圧縮率決定部１７１は、例えば静止画メッシュ数Ｘ＝３００を取得する。また、例えば動画メッシュ数Ｙ＝１００を取得する。このとき、動画メッシュ率Ｚ＝１００／（３００＋１００）＝０．２５となる。したがって、送信可能データＤ＝２８ＫＢ／ｆに対して、動画用送信可能データ量Ｄ１＝２８×０．２５＝７ＫＢ／ｆとなる。また、静止画用送信可能データ量Ｄ２＝Ｄ−Ｄ１＝２１ＫＢ／ｆとなる。
【０１１０】
このため、動画領域符号化部１７２は、動画メッシュ群の符号化後データ量が７ＫＢに近付くように符号化を行う。また、静止画領域符号化部１７３は、静止画メッシュ群の符号化後データ量が２１ＫＢに近付くように符号化を行う。例えば、Ｍｏｔｉｏｎ ＪＰＥＧ形式であれば、動画領域符号化部１７２は、動画メッシュ群の符号化後データ量が７ＫＢを越えない最大のデータ量となるテーブル類（量子化テーブルやハフマン符号テーブル）を用いて符号化する。あるいは、動画領域符号化部１７２は、動画メッシュ群の符号化後データ量が、７ＫＢに最も近くなるテーブル類を用いて符号化する。静止画領域符号化部１７３も同様にして、静止画メッシュ群の符号化を行う。
【０１１１】
なお、圧縮率決定部１７１は、動画メッシュ率Ｚに注目させたい領域に応じた所定の係数を乗算（あるいは加減）して、動画用送信可能データ量Ｄ１と静止画用送信可能データ量Ｄ２との比を変更することも考えられる。例えば、上記具体例において、動画領域の画質を向上させたい場合、動画メッシュ率Ｚに係数２を乗算してＺ＝０．５とし、動画用送信可能データ量Ｄ１＝１４ＫＢ／ｆ、静止画用送信可能データ量Ｄ２＝１４ＫＢ／ｆとすることも考えられる。また、静止画領域の画質を向上させたい場合、動画メッシュ率Ｚに係数０．５を乗算して、Ｚ＝０．２５とし、Ｄ１＝３．５ＫＢ／ｆ、Ｄ２＝２４．５ＫＢ／ｆとすることも考えられる。また、通信帯域の空き状況に応じて、動的に動画メッシュ率Ｚに乗ずる係数を変更することも考えられる。
【０１１２】
次に、表示装置２００における動画圧縮データおよび静止画圧縮データの受信処理を説明する。
図１３は、第２の実施の形態の画像データの受信処理を示すフローチャートである。以下、図１３に示す処理をフローチャートのステップ番号に沿って説明する。
【０１１３】
［ステップＳ５１］受信部２１０は、コンピュータ１００から圧縮データを受信する。受信部２１０は受信した圧縮データを復号部２２０に出力する。
［ステップＳ５２］復号部２２０は、受信部２１０から取得した圧縮データに含まれる動画圧縮データまたは静止画圧縮データを復号する。動画領域復号部２２１は、動画圧縮データに含まれる量子化テーブルや符号テーブルにより、動画圧縮データを復号し、動画領域の復号画像データを得る。静止画領域復号部２２２は、静止画圧縮データに含まれる量子化テーブルや符号テーブルにより、静止画圧縮データを復号し、静止画領域の復号画像データを得る。復号部２２０は、動画領域または静止画領域の復号画像データを出力処理部２３０に出力する。
【０１１４】
［ステップＳ５３］出力処理部２３０は、復号部２２０から取得した動画領域または静止画領域の復号画像データに含まれるメッシュを合成する。出力処理部２３０は、動画圧縮データや静止画圧縮データに含まれる各メッシュの位置を示す情報に基づいて、動画圧縮領域の復号画像データと静止画領域の復号画像データとを適正に合成することができる。なお、出力処理部２３０は、今回更新されなかった静止画メッシュに関しては、前回までに取得している静止画メッシュの画像を引き続き用いて合成を行う。
【０１１５】
［ステップＳ５４］出力処理部２３０は、上記ステップＳ５３の合成により得た復号画像を投影部２０５に出力し、スクリーン２０に投影させる。
このようにして、復号部２２０は、コンピュータ１００から受信した動画圧縮データと静止画圧縮データとを復号する。出力処理部２３０は、復号により得られた動画領域の復号画像データと静止画領域の復号画像データとを合成して、投影部２０５によりスクリーン２０に投影させる。
【０１１６】
次に、本表示システムにおいて、通信環境の設定を変更する場合の処理手順を説明する。
図１４は、第２の実施の形態の環境の設定変更処理を示すフローチャートである。以下、図１４に示す処理をフローチャートのステップ番号に沿って説明する。
【０１１７】
［ステップＳ６１］通信帯域監視部１９０は、送信部１８０および受信部１８５による通信状況を監視し、通信帯域の変化の有無を判定する。通信帯域が変化した場合、処理をステップＳ６２に進める。通信帯域が変化していない場合、処理をステップＳ６３に進める。
【０１１８】
［ステップＳ６２］通信帯域監視部１９０は、制御情報記憶部１１０に記憶されたデータ出力制御テーブルを変更する。その際、現在の設定に対応する現設定フラグを“１”から“０”に変更する。そして、変更後の新たなデータ出力制御テーブルの該当のフレームレートに対応する現設定フラグを“０”から“１”に変更する。
【０１１９】
［ステップＳ６３］フレームレート設定受付部１９５は、ユーザによるフレームレートの設定変更を受け付けたか否かを判定する。フレームレートの設定変更を受け付けた場合、処理をステップＳ６４に進める。フレームレートの設定変更を受け付けていない場合、処理をステップＳ６５に進める。
【０１２０】
［ステップＳ６４］フレームレート設定受付部１９５は、制御情報記憶部１１０に記憶されたデータ出力制御テーブルの現在の設定に対応する現設定フラグを“１”から“０”に変更する。そして、フレームレート設定受付部１９５は、設定変更後の新たなフレームレートに対応する現設定フラグを“０”から“１”に変更する。
【０１２１】
［ステップＳ６５］受信部１８５は、表示装置２００から新たなフレームレートの情報を受信したか否かを判定する。新たなフレームレートの情報を受信した場合、処理をステップＳ６６に進める。新たなフレームレートの情報を受信していない場合、処理を完了する。
【０１２２】
［ステップＳ６６］受信部１８５は、制御情報記憶部１１０に記憶されたデータ出力制御テーブル１１１の現在の設定に対応する現設定フラグを“１”から“０”に変更する。そして、受信部１８５は、設定変更後の新たなフレームレートに対応する現設定フラグを“０”から“１”に変更する。
【０１２３】
このようにして、受信部１８５およびフレームレート設定受付部１９５は、現在の通信環境に応じた設定を制御情報記憶部１１０に記憶されたデータ出力制御テーブル１１１，１１２，１１３，・・・に反映することができる。
【０１２４】
これにより、符号化部１７０は、現在の通信環境に対して最適な圧縮率で符号化を行うことが可能となる。
次に、コンピュータ１００による画像データの送信方法を更に具体的に説明する。以下の説明では、静止画領域の分割数として３が設定されているものとする。
【０１２５】
図１５は、第２の実施の形態の画像データの送信方法の第１の具体例を示す図である。以下、図１５に示す処理をステップ番号に沿って説明する。なお、ステップＳＴ１は、コンピュータ１００が表示装置２００へ送信する最初のフレームの処理タイミングである。ステップＳＴ２は、ステップＳＴ１の次のフレームの処理タイミングである。ステップＳＴ３は、ステップＳＴ２の次のフレームの処理タイミングである。
【０１２６】
［ステップＳＴ１］領域判定部１５０は、画像３００の全体を動画領域とする。送信領域特定部１６０は、画像データ３００の全体を送信領域と特定する。符号化部１７０は、画像データ３００の全体を符号化し、動画圧縮データを生成する。送信部１８０は、符号化部１７０が生成した動画圧縮データを表示装置２００に送信する。この場合、表示装置２００は、動画圧縮データを復号して、画像データ３００の全体に対する復号画像を表示する。
【０１２７】
［ステップＳＴ２］領域判定部１５０は、画像データ３００ａの各メッシュと画像データ３００の対応する各メッシュとの間の変化から静止画領域３１１および動画領域３２１を判定する。送信領域特定部１６０は、静止画領域３１１のうち、静止画領域３１１のメッシュ数を３分割したメッシュ数を含む一部領域３１１ａを送信対象の領域と特定する。また、送信領域特定部１６０は、動画領域３２１を送信対象の領域と特定する。符号化部１７０は、一部領域３１１ａのメッシュを符号化し、静止画圧縮データを生成する。また、符号化部１７０は、動画領域３２１のメッシュを符号化し、動画圧縮データを生成する。送信部１８０は、符号化部１７０が生成した静止画圧縮データと動画圧縮データとを表示装置２００に送信する。
【０１２８】
この場合、表示装置２００は、静止画圧縮データを復号して、一部領域３１１ａの復号画像データを得る。また、表示装置２００は、動画圧縮データを復号して動画領域３２１の復号画像データを得る。表示装置２００は、これらの復号画像データを合成して画像データ３００ａに対する復号画像を表示する。ただし、静止画領域３１１のうち、一部領域３１１ａ以外の領域である一部領域３１１ｂでは、ステップＳＴ１で取得した復号画像を継続して表示する。この場合、一部領域３１１ａの画質は、一部領域３１１ｂおよび動画領域３２１に比べて高品位となる。
【０１２９】
［ステップＳＴ３］領域判定部１５０は、画像データ３００ｂの各メッシュと画像データ３００ａの対応する各メッシュとの間の変化から静止画領域３１２および動画領域３２２を判定する。送信領域特定部１６０は、静止画領域３１２のうち、一部領域３１２ａを送信対象の領域と特定する。また、送信領域特定部１６０は、動画領域３２２を送信対象の領域と特定する。符号化部１７０は、一部領域３１２ａのメッシュを符号化し、静止画圧縮データを生成する。また、符号化部１７０は、動画領域３２２のメッシュを符号化し、動画圧縮データを生成する。送信部１８０は、符号化部１７０が生成した静止画圧縮データと動画圧縮データとを表示装置２００に送信する。
【０１３０】
この場合、表示装置２００は、静止画圧縮データを復号して、一部領域３１２ａの復号画像データを得る。また、表示装置２００は、動画圧縮データを復号して動画領域３２２の復号画像データを得る。表示装置２００は、これらの復号画像データを合成して画像データ３００ｂに対する復号画像を表示する。ただし、静止画領域３１２のうち、ステップＳＴ２で送信済みの一部領域３１２ｂでは、ステップＳＴ２で取得した復号画像を継続して表示する。また、静止画領域３１２のうち、一部領域３１２ａ，３１２ｂ以外の領域である一部領域３１２ｃでは、ステップＳＴ１で取得した復号画像を継続して表示する。この場合、一部領域３１２ａ，３１２ｂの画質は、一部領域３１２ｃおよび動画領域３２２に比べて高品位となる。
【０１３１】
このように、コンピュータ１００は、静止画領域を複数の領域に分割し、異なるタイミングで送信することで、静止画領域部分の画質を向上させることができる。
次に、コンピュータ１００が各タイミングにおいて符号化、送信する各領域のデータを更に詳細に説明する。
【０１３２】
図１６は、第２の実施の形態の各領域の画像データの送信方法の第２の具体例を示す図である。以下、図１６に示す処理をステップ番号に沿って説明する。なお、図１６のステップＳＴ１〜ＳＴ３は、図１５のステップＳＴ１〜ＳＴ３に対応する。また、原画像のうち３つに分割した領域を領域Ｒ１，Ｒ２，Ｒ３と表記する。なお、領域Ｒ１，Ｒ２，Ｒ３は、初回フレームより後には、静止画領域として特定される領域であるとする。また、原画像のうち初回フレーム以降も継続して動画領域として特定される領域を動画領域Ｍと表記する。
【０１３３】
［ステップＳＴ１］コンピュータ１００は、画像データのうち、領域Ｒ１，Ｒ２，Ｒ３および動画領域Ｍのメッシュを符号化して動画圧縮データＲ１１，Ｒ２１，Ｒ３１，Ｍ１１を生成し、表示装置２００に送信する。なお、動画圧縮データＲ１１，Ｒ２１，Ｒ３１，Ｍ１１は、特に分割されていなくてもよい。
【０１３４】
［ステップＳＴ２］コンピュータ１００は、画像データのうち、領域Ｒ１のメッシュを符号化して静止画圧縮データＲ１２を生成し、表示装置２００に送信する。また、コンピュータ１００は、動画領域Ｍのメッシュを符号化して、動画圧縮データＭ１２を生成し、表示装置２００に送信する。ここで、コンピュータ１００は、静止画領域Ｒ１に割り当て可能な送信データ量として、ステップＳＴ１で領域Ｒ２，Ｒ３に利用していた分を利用できるので、領域Ｒ１を動画領域Ｍよりも低い圧縮率で符号化することができる。
【０１３５】
［ステップＳＴ３］コンピュータ１００は、画像データのうち、領域Ｒ２のメッシュを符号化して静止画圧縮データＲ２２を生成し、表示装置２００に送信する。また、コンピュータ１００は、動画領域Ｍのメッシュを符号化して、動画圧縮データＭ１３を生成し、表示装置２００に送信する。コンピュータ１００は、ステップＳＴ２と同様に領域Ｒ２を動画領域Ｍよりも低い圧縮率で符号化することができる。
【０１３６】
［ステップＳＴ４］コンピュータ１００は、画像データのうち、領域Ｒ３のメッシュを符号化して静止画圧縮データＲ３２を生成し、表示装置２００に送信する。また、コンピュータ１００は、動画領域Ｍのメッシュを符号化して、動画圧縮データＭ１４を生成し、表示装置２００に送信する。コンピュータ１００は、ステップＳＴ２と同様に領域Ｒ３を動画領域Ｍよりも低い圧縮率で符号化することができる。
【０１３７】
［ステップＳＴ５］コンピュータ１００は、画像データのうち、動画領域Ｍのメッシュを符号化して動画圧縮データＭ１５を生成し、表示装置２００に送信する。領域Ｒ１，Ｒ２，Ｒ３に関して既に高品位画像を送信済みであるので、コンピュータ１００は、静止画領域の画像データ送信は行わない。
【０１３８】
［ステップＳＴ６］コンピュータ１００は、画像データのうち、動画領域Ｍのメッシュを符号化して動画圧縮データＭ１６を生成し、表示装置２００に送信する。領域Ｒ１，Ｒ２，Ｒ３に関して既に高品位画像を送信済みであるので、コンピュータ１００は、静止画領域の画像データ送信は行わない。
【０１３９】
［ステップＳＴ７］コンピュータ１００は、画像データのうち、動画領域Ｍのメッシュを符号化して動画圧縮データＭ１７を生成し、表示装置２００に送信する。領域Ｒ１，Ｒ２，Ｒ３に関して既に高品位画像を送信済みであるので、コンピュータ１００は、静止画領域の画像データ送信は行わない。以降、同様にして動画領域Ｍの画像データ送信のみが行われる。
【０１４０】
このように、コンピュータ１００は、画像データに含まれるメッシュの時間変化に基づいて、画像データを静止画領域と動画領域とに区分する。そして、コンピュータ１００は、静止画メッシュの送信回数を動画メッシュの送信回数よりも少なくする。
【０１４１】
これにより、ネットワークの伝送容量を効率的に利用して画像データを送信することが可能となる。
なお、上記ステップＳＴ７以降、領域Ｒ１，Ｒ２，Ｒ３のメッシュは、変化を検出するまで更新が行われない。ただし、ステップＳＴ７以降の所定のタイミングで領域Ｒ１，Ｒ２，Ｒ３の画像を適宜更新するようにしてもよい。
【０１４２】
また、静止画領域を複数の領域に分割して、異なるタイミングで送信することで、単位面積当たりに割り当て可能な送信データ量を動画領域よりも多く割り当てることができる。
【０１４３】
これにより、静止画領域の画質を動画領域の画質に比べて高品位とすることができる。その結果、表示装置２００によりスクリーン２０に表示される画像の見易さを向上することができる。
【０１４４】
［第３の実施の形態］
次に、第３の実施の形態について説明する。前述の第２の実施の形態との相違点を中心に説明し、同様の事項については説明を省略する。
【０１４５】
ここで、第２の実施の形態の表示システムでは、静止画領域と動画領域との境界に位置するメッシュは、動画領域と判定されるので、その境界のメッシュの画質は静止画領域よりも低下する。すなわち、境界部分に含まれる静止画の画質が低下することになる。このため、静止画領域と動画領域との境界が際立って、画像が見難くなってしまう。また、例えば、動画像付近に配置されたインタフェース（例えば、動画操作用のインタフェース）を閲覧させたい場合など、注目する箇所が動画領域に隣接していると、その画像が見難くなってしまう。
【０１４６】
これに対し、第３の実施の形態では、第２の実施の形態で説明した静止画領域と動画領域との境界に位置する第３のメッシュ（境界メッシュ）を導入する。これによって、表示装置２００が表示する画像の見易さをより向上する。
【０１４７】
なお、第３の実施の形態の表示システムの全体構成は、図２で説明した第２の実施の形態の表示システムの全体構成と同一であるため、説明を省略する。また、第３の実施の形態の表示システムに含まれるコンピュータおよび表示装置のハードウェア構成は、図３，４で示した第２の実施の形態のコンピュータ１００および表示装置２００のハードウェア構成と同一であるため、説明を省略する。
【０１４８】
図１７は、第３の実施の形態の各装置の機能構成を示す図である。コンピュータ１００ａは、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ管理情報記憶部１３０ａ、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０ａ、送信領域特定部１６０、符号化部１７０ａ、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５を有する。これらの機能はＣＰＵ１０１が画像処理プログラムを実行することで実現される。ただし、これらの機能の一部または全部を専用のハードウェアで実現してもよい。
【０１４９】
なお、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ生成部１４０、変化検出部１４５、送信領域特定部１６０、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５に関しては、図５で同一の符号を付して説明した構成と同一であるため説明を省略する。また、表示装置２００の構成も図５で説明した構成と同一であるため説明を省略する。
【０１５０】
メッシュ管理情報記憶部１３０ａは、画像内におけるメッシュの位置や、動画、静止画および境界領域の区分などを含むメッシュ管理情報を記憶する。なお、境界領域とは、動画メッシュと静止画メッシュとで隣接している２つのメッシュのうち、動画に区分されるメッシュの集合をいう。
【０１５１】
領域判定部１５０ａは、変化検出部１４５の変化の検出結果に基づいて、画像データに含まれる各メッシュを動画領域、静止画領域および境界領域に区分する。具体的には、変化検出部１４５が変化ありと検出した領域を動画領域と特定する。また、変化検出部１４５が変化なしと検出した領域を静止画領域と特定する。更に、領域判定部１５０ａは、動画領域と静止画領域とが接する境界に位置するメッシュのうち、動画領域と区分した方のメッシュを境界メッシュとする。境界メッシュの集合が境界領域である。領域判定部１５０ａは、このようにして特定した各メッシュの動画、静止画および境界メッシュの区分に基づいてメッシュ管理情報を生成し、メッシュ管理情報記憶部１３０ａに格納する。
【０１５２】
符号化部１７０ａは、送信領域特定部１６０が特定した送信領域のメッシュを順番に符号化してデータ量を削減する（圧縮）。符号化部１７０ａは、圧縮率決定部１７１ａ、動画領域符号化部１７２ａおよび静止画領域符号化部１７３を有する。なお、静止画領域符号化部１７３は、図５で説明した静止画領域符号化部１７３と同一である。
【０１５３】
圧縮率決定部１７１ａは、動画メッシュ群、静止画メッシュ群および境界メッシュ群の符号化後データ量を決定する。圧縮率決定部１７１ａは、動画メッシュの圧縮率よりも静止画メッシュの圧縮率を低く設定する。また、圧縮率決定部１７１ａは、境界メッシュの圧縮率が、動画メッシュに対する圧縮率よりも低く、静止画メッシュに対する圧縮率よりも高くなるよう決定する。
【０１５４】
動画領域符号化部１７２ａは、圧縮率決定部１７１ａが決定した動画メッシュ群の符号化後データ量に近くなるように送信領域内の動画メッシュを符号化する。また、動画領域符号化部１７２ａは、圧縮率決定部１７１ａが決定した境界メッシュ群の符号化後データ量に近くなるように送信領域内の境界メッシュを符号化する。
【０１５５】
動画領域符号化部１７２ａは、符号化して生成した動画圧縮データおよび境界圧縮データを送信部１８０に出力する。
なお、符号化部１７０ａは、表示装置２００で画像を再生する際の情報を、各圧縮データに含める。このような情報は、例えばＭｏｔｉｏｎ ＪＰＥＧ形式で符号化を行う場合、量子化に用いた量子化テーブル、ハフマン符号化に用いたハフマン符号テーブルおよび各メッシュの位置（画面上の座標など）を示す情報である。
【０１５６】
図１８は、第３の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。メッシュ管理テーブル１３１ａは、メッシュ管理情報記憶部１３０ａに格納される。メッシュ管理テーブル１３１ａには、メッシュ座標を示す項目、動画領域フラグを示す項目および境界フラグを示す項目および高品位画像送信済フラグを示す項目が設けられる。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つのメッシュに関する情報を示す。
【０１５７】
なお、メッシュ座標を示す項目、動画領域フラグを示す項目および高品位画像送信済フラグを示す項目は、図８で説明したメッシュ管理テーブル１３１の同一名称の各項目と同一である。
【０１５８】
境界フラグを示す項目には、該当のメッシュが境界メッシュであるか否かを示すフラグが設定される。境界フラグを示す項目には、該当のメッシュが境界メッシュである場合は“１”が設定され、境界メッシュでない場合には“０”が設定される。境界メッシュは、動画領域に属するメッシュから特定されるので、静止画領域に属するメッシュに対しては、対象外であることを示す“−”が設定される。すなわち、動画領域フラグが“１”かつ境界フラグが“０”である場合、そのメッシュは動画メッシュである。また、動画領域フラグが“１”かつ境界フラグが“１”である場合、そのメッシュは境界メッシュである。
【０１５９】
メッシュ管理テーブル１３１ａには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７２，４５）”であり、動画領域フラグが“１”、境界フラグが“１”、高品位画像送信済フラグが“−”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７２，４５）”で指定されるメッシュが境界メッシュであり、高品位画像の送信対象外であることを示している。
【０１６０】
また、メッシュ管理テーブル１３１ａには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７３，４５）”であり、動画領域フラグが“１”、境界フラグが“０”、高品位画像送信済フラグが“−”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７３，４５）”で指定されるメッシュが動画メッシュであり、高品位画像の送信対象外であることを示している。
【０１６１】
次に、以上の構成により実現されるコンピュータ１００ａおよび表示装置２００の処理手順に関して説明する。
なお、コンピュータ１００ａの画像データの送信処理の手順に関しては、図９で説明した手順と同様であるため説明を省略する。以下、コンピュータ１００ａの画像データの送信処理に含まれる各処理について詳細に説明する。
【０１６２】
図１９は、第３の実施の形態の領域判定処理を示すフローチャートである。以下、図１９に示す処理をフローチャートのステップ番号に沿って説明する。なお、以下の処理は、図９のステップＳ３の領域判定処理に対応する。
【０１６３】
［ステップＳ７１］変化検出部１４５は、メッシュ記憶部１２０に記憶され、最新に入力された画像データに含まれていたメッシュのうちから１つのメッシュを抽出する。
［ステップＳ７２］変化検出部１４５は、最新に入力された画像データの直前に入力された画像データに含まれていた直前メッシュのうち、ステップＳ７１で抽出したメッシュと同一座標の直前メッシュを抽出する。変化検出部１４５は、ステップＳ７１で抽出したメッシュに含まれる各画素の画素値と直前メッシュに含まれる対応する各画素の画素値とを比較することで、該当のメッシュの変化の有無を検出する。濃度に差のある画素が存在する場合、処理をステップＳ７３に進める。画素値に差のある画素が存在しない場合、処理をステップＳ７４に進める。
【０１６４】
［ステップＳ７３］領域判定部１５０ａは、該当のメッシュを動画領域とする。領域判定部１５０ａは、メッシュ管理情報記憶部１３０ａに記憶されたメッシュ管理テーブル１３１ａの該当メッシュ座標に対応するメッシュの動画領域フラグに“１”を設定する。
【０１６５】
［ステップＳ７４］領域判定部１５０ａは、該当のメッシュを静止画領域とする。領域判定部１５０ａは、メッシュ管理情報記憶部１３０ａに記憶されたメッシュ管理テーブル１３１ａの該当メッシュ座標に対応するメッシュの動画領域フラグに“０”を設定する。また、動画領域フラグ“１”から“０”へ新たに変更したメッシュに関して、領域判定部１５０ａは、高品位画像送信済フラグに“０”を設定する。領域判定部１５０ａは、動画領域フラグを“０”設定のまま維持するメッシュに関しては、高品位画像送信済フラグの設定を変更しない。
【０１６６】
［ステップＳ７５］変化検出部１４５は、入力された画像データに含まれるメッシュに変化検出を行っていないメッシュが存在するか否かを判定する。変化検出を行っていないメッシュが存在する場合、処理をステップＳ７１に進める。変化検出を行っていないメッシュが存在しない場合、処理をステップＳ７６に進める。
【０１６７】
［ステップＳ７６］領域判定部１５０ａは、上記ステップＳ７３で動画領域としたメッシュのうち、上記ステップＳ７４で静止画領域としたメッシュと隣接するメッシュを抽出する。
【０１６８】
［ステップＳ７７］領域判定部１５０ａは、静止画領域のメッシュと隣接する動画領域のメッシュを境界メッシュとする。すなわち、領域判定部１５０ａは、該当のメッシュについて、メッシュ管理情報記憶部１３０ａに記憶されたメッシュ管理テーブル１３１ａの境界フラグに“１”を設定する。また、境界メッシュ以外の動画領域のメッシュについては、境界フラグに“０”を設定する。
【０１６９】
このようにして、領域判定部１５０ａは、静止画領域のメッシュと隣接する動画領域のメッシュを境界メッシュと設定する。
図２０，２１は、第３の実施の形態の符号化処理を示すフローチャートである。以下、図２０，２１に示す処理をフローチャートのステップ番号に沿って説明する。なお、以下の処理は、図９のステップＳ５の符号化処理に対応する。
【０１７０】
［ステップＳ８１］符号化部１７０ａは、送信領域特定部１６０が特定した送信対象のメッシュ群（静止画メッシュ群、静止画メッシュ群および境界メッシュ群）を取得する。
［ステップＳ８２］圧縮率決定部１７１ａは、制御情報記憶部１１０に記憶されたデータ出力制御テーブル１１１，１１２，１１３，・・・の現設定フラグを参照して、現在の送信可能データ量Ｄを取得する。例えば、本表示システムの環境では、全帯域２０Ｍｂｐｓ、フレームレート３０ｆｐｓの設定となっている。
【０１７１】
［ステップＳ８３］圧縮率決定部１７１ａは、メッシュ管理情報記憶部１３０ａに記憶されたメッシュ管理テーブル１３１ａを参照して、静止画領域のメッシュ数Ｘを取得する。
【０１７２】
［ステップＳ８４］圧縮率決定部１７１ａは、メッシュ管理テーブル１３１ａを参照して、動画領域のメッシュ数Ｙを取得する。ここで、動画領域のメッシュ数Ｙには、動画メッシュ数および境界メッシュ数が含まれる。
【０１７３】
［ステップＳ８５］圧縮率決定部１７１ａは、動画領域のメッシュのうち、境界メッシュ数Ｋを取得する。
［ステップＳ８６］圧縮率決定部１７１ａは、境界メッシュの品質向上係数ａを特定する。ここで、品質向上係数ｇ（＞１）は、動画メッシュに比べてどの程度だけ送信データ量を多めに割り当てるかを示す係数である。品質向上係数ｇは、例えば制御情報記憶部１１０に予め設定される。
【０１７４】
［ステップＳ８７］圧縮率決定部１７１ａは、動画メッシュ率Ｚａ＝（Ｙ−Ｋ）／（Ｘ＋Ｙ）を算出する。
［ステップＳ８８］圧縮率決定部１７１ａは、境界メッシュ率Ｚｂ＝ｇＫ／（Ｘ＋Ｙ）を算出する。
【０１７５】
［ステップＳ８９］圧縮率決定部１７１ａは、上記ステップＳ８１で取得したメッシュ群に静止画メッシュ群と動画メッシュ群とが混在しているか否かを判定する。混在している場合、処理をステップＳ９０に進める。混在していない場合、処理をステップＳ９３に進める。
【０１７６】
［ステップＳ９０］圧縮率決定部１７１ａは、動画メッシュ群に対して割り当て可能なデータ量Ｄ１ａ＝Ｄ×Ｚａを算出する。
［ステップＳ９１］圧縮率決定部１７１ａは、境界メッシュ群に対して割り当て可能なデータ量Ｄ１ｂ＝Ｄ×Ｚｂを算出する。
【０１７７】
［ステップＳ９２］圧縮率決定部１７１ａは、静止画メッシュ群に対して割り当て可能なデータ量Ｄ２＝Ｄ−Ｄ１ａ−Ｄ１ｂを算出する。そして、処理をステップＳ９６に進める。
【０１７８】
［ステップＳ９３］圧縮率決定部１７１ａは、上記ステップＳ８１で取得したメッシュ群に動画メッシュ群のみが含まれているか否かを判定する。動画メッシュ群のみの場合、処理をステップＳ９４に進める。動画メッシュ群のみでない、すなわち、静止画メッシュ群のみである場合、処理をステップＳ９５に進める。
【０１７９】
［ステップＳ９４］圧縮率決定部１７１ａは、動画メッシュ群に対して割り当て可能なデータ量Ｄ１＝Ｄを取得する。そして、処理をステップＳ９６に進める。
［ステップＳ９５］圧縮率決定部１７１ａは、静止画メッシュ群に対して割り当て可能なデータ量Ｄ２＝Ｄを取得する。そして、処理をステップＳ９６に進める。
【０１８０】
［ステップＳ９６］動画領域符号化部１７２ａは圧縮率決定部１７１ａが求めた動画用送信可能データ量Ｄ１ａに近付くように、上記ステップＳ８１で取得した動画メッシュ群を符号化し、動画圧縮データを得る。また、動画領域符号化部１７２ａは、圧縮率決定部１７１ａが求めた境界用送信可能データ量Ｄ１ｂに近付くように、上記ステップＳ３１で取得した境界メッシュ群を符号化し、境界圧縮データを得る。また、静止画領域符号化部１７３は、圧縮率決定部１７１ａが求めた静止画用送信可能データ量Ｄ２に近付くように、上記ステップＳ８１で取得した静止画メッシュ群を符号化し、静止画圧縮データを得る。なお、符号化部１７０ａは、動画圧縮データ、境界圧縮データおよび静止画圧縮データに、符号化に用いたテーブル類（Ｍｏｔｉｏｎ ＪＰＥＧであれば、量子化テーブルやハフマン符号化テーブル）および各メッシュの位置（画面上の座標など）を示す情報を含める。
【０１８１】
［ステップＳ９７］符号化部１７０ａは、生成した動画圧縮データ、境界圧縮データおよび静止画圧縮データを送信部１８０に出力する。
このようにして、圧縮率決定部１７１ａは、画像データの静止画メッシュ数、動画メッシュ数および境界メッシュ数の比によって、静止画領域と動画領域とに割り当てる送信データ量を算出する。ここで、境界メッシュには、動画メッシュよりも多くのデータ帯域を割り当てて品質を向上する。このため、境界メッシュ数に品質向上係数ｇ（＞１）を乗じたもので、静止画メッシュ数および動画メッシュ数との比を取って、境界メッシュ群の送信可能データ量を算出する。
【０１８２】
図２２は、第３の実施の形態の画像の各領域を示す図である。画像データ３００は、静止画領域３１０および動画領域３２０を有する。また、動画領域３２０には、境界領域３４０が含まれる。
【０１８３】
境界領域３４０は、上述したように動画領域３２０に含まれるメッシュのうち、静止画領域３１０と隣接するメッシュの集合である。
圧縮率決定部１７１ａは、境界領域３４０に含まれる境界メッシュ群につき単位面積当たりに割り当てる送信データ量が、動画領域３２０に含まれる動画メッシュ群（動画領域３２０に含まれるメッシュ群から境界メッシュ群を除いたメッシュ群）につき単位面積当たりに割り当てる送信データ量よりも多くなるようにする。
【０１８４】
これにより、第２の実施の形態と同様の効果を得ることができる。また、境界領域３４０の画質を、動画領域３２０のうち境界領域３４０以外の領域よりも向上することができる。その結果、静止画領域３１０と動画領域３２０との境界部分での画質の急激な変化が抑えられることになる。このため、表示装置２００は、閲覧者に与える違和感を抑えた、より見易い画像の表示が可能となる。
【０１８５】
また、表示する画像中の注目する箇所が動画領域３２０に隣接した静止画領域３１０内の静止画像である場合にも、その画像の品質の劣化を抑えることができ、より見易い画像の表示が可能となる。
【０１８６】
［第４の実施の形態］
次に、第４の実施の形態について説明する。前述の第２，３の実施の形態との相違点を中心に説明し、同様の事項については説明を省略する。
【０１８７】
ここで、第２，３の実施の形態の表示システムでは、動画領域を移動させる場合、動画領域の背後に存在していた静止画領域を新たに表示することになる。この場合、移動に係る領域に閲覧者の注意が向き易くなる。
【０１８８】
これに対し、第４の実施の形態の表示システムでは、動画領域から静止画領域に切り替わったメッシュについて、優先的に高品位画像の送信を行うようにする。これにより、動画領域の移動に係る領域の見易さを向上する。
【０１８９】
なお、第４の実施の形態の表示システムの全体構成は、図２で示した第２の実施の形態の表示システムの全体構成と同一であるため、説明を省略する。また、第４の実施の形態の表示システムに含まれるコンピュータおよび表示装置のハードウェア構成は、図３，４で示した第２の実施の形態のコンピュータ１００および表示装置２００のハードウェア構成と同一であるため、説明を省略する。
【０１９０】
図２３は、第４の実施の形態の各装置の機能構成を示す図である。コンピュータ１００ｂは、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ管理情報記憶部１３０ｂ、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０ｂ、送信領域特定部１６０ｂ、符号化部１７０、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５を有する。これらの機能はＣＰＵ１０１が画像処理プログラムを実行することで実現される。ただし、これらの機能の一部または全部を専用のハードウェアで実現してもよい。
【０１９１】
なお、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ生成部１４０、変化検出部１４５、符号化部１７０、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５に関しては、図５で同一の符号を付して説明した構成と同一であるため説明を省略する。また、表示装置２００の構成も図５で説明した構成と同一であるため説明を省略する。
【０１９２】
メッシュ管理情報記憶部１３０ｂは、画像内におけるメッシュの位置や、動画、静止画の区分、動画、静止画の各状態がどれだけの時間継続したかを示す継続フレーム数などを含むメッシュ管理情報を記憶する。
【０１９３】
領域判定部１５０ｂは、変化検出部１４５の変化の検出結果に基づいて、画像データに含まれる各メッシュを動画領域および静止画領域に区分する。具体的には、変化検出部１４５が変化ありと検出した領域を動画領域と特定する。また、変化検出部１４５が変化なしと検出した領域を静止画領域と特定する。更に、領域判定部１５０ｂは、該当のメッシュについて、同一区分の領域として継続して特定したフレームの数（継続フレーム数）をカウントする。なお、領域判定部１５０ｂは、該当のメッシュの領域の区分が変更した場合には、カウントをリセットして、再度１からカウントしなおす。領域判定部１５０ｂは、このようにして特定した各メッシュの動画および静止画の区分や継続フレーム数の情報に基づいて、メッシュ管理情報を生成し、メッシュ管理情報記憶部１３０ｂに格納する。
【０１９４】
送信領域特定部１６０ｂは、メッシュ管理情報記憶部１３０ｂに記憶されたメッシュ管理情報に基づいて、表示装置２００に送信する領域（送信領域）を特定する。送信領域特定部１６０ｂは、動画領域について、その全部を送信領域と特定する。
【０１９５】
また、送信領域特定部１６０ｂは、静止画領域について、その一部を送信領域と特定する。すなわち、送信領域特定部１６０ｂは、静止画領域を更に分割し、分割した領域を複数のタイミングで送信領域として順次特定する。このようにすることで、静止画領域の単位面積当たりの送信データ量を動画領域の単位面積当たりの送信データ量よりも多く割り当てることができる。すなわち、後段の符号化に伴う圧縮率を制御して、静止画領域の画質を動画領域の画質よりも向上させることができる。
【０１９６】
更に、送信領域特定部１６０ｂは、メッシュ管理情報に基づいて、送信領域の選択方法を変更する。具体的には、送信領域特定部１６０ｂは、動画領域から静止画領域に切り替わったメッシュに関して優先的に送信領域と特定する。
【０１９７】
図２４は、第４の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。メッシュ管理テーブル１３１ｂは、メッシュ管理情報記憶部１３０ｂに格納される。メッシュ管理テーブル１３１ｂには、メッシュ座標を示す項目、動画領域フラグを示す項目、高品位画像送信済フラグを示す項目および継続フレーム数を示す項目が設けられている。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つのメッシュに関する情報を示す。
【０１９８】
なお、メッシュ座標を示す項目、動画領域フラグを示す項目および高品位画像送信済フラグを示す項目は、図８で説明したメッシュ管理テーブル１３１の同一名称の各項目と同一である。
【０１９９】
継続フレーム数を示す項目には、該当のメッシュが、動画領域または静止画領域として、継続して特定されたフレームの数が設定される。
メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（１，１）”、動画領域フラグが“０”、高品位画像送信済フラグが“１”、継続フレーム数が“１０”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（１，１）”で指定されるメッシュが静止画メッシュであり、高品位画像を送信済みで、静止画メッシュの状態が“１０”フレーム継続していることを示している。
【０２００】
また、メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（５１，３１）”、動画領域フラグが“０”、高品位画像送信済フラグが“０”、継続フレーム数が“１０”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（５１，３１）”で指定されるメッシュが静止画メッシュであり、高品位画像を未送信で、静止画メッシュの状態が“１０”フレーム継続していることを示している。
【０２０１】
また、メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７０，４５）”、動画領域フラグが“０”、高品位画像送信済フラグが“１”、継続フレーム数が“２”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７０，４５）”で指定されるメッシュが静止画メッシュであり、高品位画像を送信済みで、静止画メッシュの状態が“２”フレーム継続していることを示している。
【０２０２】
また、メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７２，４５）”、動画領域フラグが“０”、高品位画像送信済フラグが“０”、継続フレーム数が“１”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７２，４５）”で指定されるメッシュが静止画メッシュであり、高品位画像を未送信で、静止画メッシュの状態が“１”フレーム継続、すなわち、動画メッシュから静止画メッシュに切り替わった直後であることを示している。
【０２０３】
また、メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７３，４５）”、動画領域フラグが“１”、高品位画像送信済フラグが“−”、継続フレーム数が“１０”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７３，４５）”で指定されるメッシュが動画メッシュであり、高品位画像の送信対象外で、動画メッシュの状態が“１”フレーム継続、すなわち、静止画メッシュから動画メッシュに切り替わった直後であることを示している。
【０２０４】
次に、以上の構成により実現されるコンピュータ１００ｂおよび表示装置２００の処理手順に関して説明する。
なお、コンピュータ１００ｂの画像データの送信処理の手順に関しては、図９で説明した手順と同様であるため説明を省略する。以下、コンピュータ１００ｂの画像データの送信処理に含まれる各処理について詳細に説明する。
【０２０５】
図２５は、第４の実施の形態の送信領域特定処理を示すフローチャートである。以下、図２５に示す処理をフローチャートのステップ番号に沿って説明する。
［ステップＳ１０１］送信領域特定部１６０ｂは、メッシュ管理情報記憶部１３０ｂに記憶されたメッシュ管理テーブル１３１ｂの動画領域フラグを参照して、今回送信対象の画像データに静止画領域が含まれているか否かを判定する。静止画領域が含まれている場合、処理をステップＳ１０２に進める。静止画領域が含まれていない場合、処理をステップＳ１０７に進める。
【０２０６】
［ステップＳ１０２］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂの高品位画像送信済フラグを参照して、静止画メッシュのうち、高品位画像を未送信のメッシュが存在するか否かを判定する。高品位画像を未送信のメッシュが存在する場合、処理をステップＳ１０３に進める。高品位画像を未送信のメッシュが存在しない場合、処理をステップＳ１０７に進める。
【０２０７】
［ステップＳ１０３］送信領域特定部１６０ｂは、静止画領域の分割数を特定する。静止画領域の分割数は、利用環境に応じて、例えば、メッシュ管理情報記憶部１３０ｂに予め記憶される。送信領域特定部１６０ｂは、特定した分割数に基づいて、送信する静止画領域の送信メッシュ数を算出する。
【０２０８】
［ステップＳ１０４］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂを参照して、動画領域フラグが“０”かつ継続フレーム数が“１”であるメッシュ、すなわち、動画メッシュから静止画メッシュに切り替わった直後のメッシュが存在するか否かを判定する。存在する場合、処理をステップＳ１０５に進める。存在しない場合、処理をステップＳ１０６に進める。
【０２０９】
［ステップＳ１０５］送信領域特定部１６０ｂは、静止画領域の送信対象メッシュとして、動画メッシュから静止画メッシュに切り替わった直後のメッシュ（継続フレーム数“１”）で高品位画像を未送信のメッシュを抽出する。
【０２１０】
［ステップＳ１０６］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂを参照して、高品位画像を未送信のメッシュのうち、ステップＳ１０３で算出した送信メッシュ数分のメッシュを抽出する。なお、ステップＳ１０５で動画メッシュから静止画メッシュに切り替わった直後のメッシュを抽出済みである場合には、残りの送信メッシュ数分を抽出する。送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂの高品位画像送信済フラグを更新する。すなわち、今回送信対象として抽出した静止画メッシュに設定された高品位画像送信済フラグ“０”を“１”に変更する。送信領域特定部１６０ｂは、抽出した静止画メッシュ群を符号化部１７０に出力する。
【０２１１】
［ステップＳ１０７］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂの動画領域フラグを参照して、今回送信対象の画像データに動画領域が含まれているか否かを判定する。動画領域が含まれている場合、処理をステップＳ１０８に進める。動画領域が含まれていない場合、処理を完了する。
【０２１２】
［ステップＳ１０８］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂを参照して、動画メッシュを抽出し、抽出した動画メッシュ群を送信対象の領域とする。送信領域特定部１６０は、抽出した動画メッシュ群を符号化部１７０に出力する。
【０２１３】
このようにして、送信領域特定部１６０ｂは、動画メッシュから静止画メッシュに切り替わった直後のメッシュを優先的に抽出して、表示装置２００への送信対象とする。
なお、上記ステップＳ１０１〜Ｓ１０６に示した静止画領域に対する処理および上記ステップＳ１０７，Ｓ１０８に示した動画領域に対する処理は、順序を逆にしてもよい。例えば、送信領域特定部１６０ｂは、動画領域に対する処理（ステップＳ１０７，Ｓ１０８）を先に実行した後、静止画領域に対する処理（ステップＳ１０１〜Ｓ１０６）を行うことも考えられる。
【０２１４】
図２６は、第４の実施の形態の画像データの送信方法の具体例を示す図である。以下、図２６に示す処理をステップ番号に沿って説明する。なお、図２６の各ステップでは、画像を構成するメッシュに、その継続フレーム数を図示している。また、ステップＳＴ１１は、コンピュータ１００ｂが表示装置２００への最初のフレームの送信タイミングである。ステップＳＴ１２は、ステップＳＴ１１の次のフレームの送信タイミングである。以降、ステップＳＴ１３，ＳＴ１４に関しても同様である。
【０２１５】
［ステップＳＴ１１］コンピュータ１００ｂは、画像４００の全体を動画領域として符号化し、表示装置２００に送信する。このとき、全メッシュが新たに動画領域として特定されることになるので、全メッシュの継続フレーム数は“１”となる。
【０２１６】
［ステップＳＴ１２］コンピュータ１００ｂは、各メッシュの変化から、静止画領域４１０および動画領域４２０を特定する。そして、静止画領域４１０のうち、一部領域４１１を符号化し、表示装置２００に送信する。また、動画領域４２０の全体を符号化し、表示装置２００に送信する。一部領域４１１は、動画領域４２０よりも高品位の画像となる。なお、静止画領域４１０のうち、一部領域４１１以外の領域に関しては、表示装置２００は、ステップＳＴ１１で受信した画像データを引き続き表示する。
【０２１７】
［ステップＳＴ１３］コンピュータ１００ｂは、上記ステップＳＴ１２の動画領域４２０が動画領域４２１の位置へ変更されたことを検知する。このとき、一部領域４２２は、動画領域として検出される。コンピュータ１００ｂは、静止画領域のうち一部領域４１２を符号化し、表示装置２００に送信する。また、動画領域４２１および一部領域４２２の全体を符号化し、表示装置２００に送信する。一部領域４１２は、動画領域４２１および一部領域４２２よりも高品位の画像となる。なお、一部領域４１１に関しては、表示装置２００は、ステップＳＴ１２で受信した画像データを引き続き表示する。また、静止画領域のうち、一部領域４１１，４１２以外の領域については、表示装置２００は、ステップＳ１１で受信した画像データを引き続き表示する。
【０２１８】
［ステップＳＴ１４］コンピュータ１００ｂは、上記ステップＳＴ１２の動画領域４２１が動画領域４２３の位置へ変更されたことを検知する。このとき、一部領域４２４は、動画領域と特定される。また、一部領域４１５は、一部領域４２２からの変化がないため、静止画領域と特定される。コンピュータ１００ｂは、静止画領域のうち一部領域４１４，４１５を符号化し、表示装置２００に送信する。また、動画領域４２３および一部領域４２４を符号化し、表示装置２００に送信する。一部領域４１４，４１５は、動画領域４２３および一部領域４２４よりも高品位の画像になる。なお、一部領域４１３に関しては、表示装置２００は、ステップＳＴ１２，ＳＴ１３で受信した画像データを引き続き表示する。また、静止画領域のうち、一部領域４１３，４１４，４１５以外の領域については、表示装置２００は、ステップＳＴ１１で受信した画像データを引き続き表示する。
【０２１９】
このように、コンピュータ１００ｂは、動画領域が移動に伴って、動画領域から静止画領域に切り替わった領域（上記の例では、一部領域４１５）のメッシュについて、優先的に送信対象とする。
【０２２０】
これにより、第２の実施の形態と同様の効果を得ることができる。また、動画領域の移動に係る領域は、閲覧者の注意が向き易い。このため、このような領域に対して優先的に画質を高めることで、閲覧者に対して与え得る違和感を軽減し、見易さをより向上することができる。
【０２２１】
［第５の実施の形態］
次に、第５の実施の形態について説明する。前述の第２〜第４の実施の形態との相違点を中心に説明し、同様の事項については説明を省略する。
【０２２２】
ここで、第２〜第４の実施の形態の表示システムでは、その利用状況によっては、使用可能な帯域に余裕ができることも考えられる。このため、第５の実施の形態の表示システムでは、このような余剰の帯域を用いて、表示装置が表示する画像の見易さをより向上する。
【０２２３】
なお、第５の実施の形態の表示システムの全体構成は、図２で示した第２の実施の形態の表示システムの全体構成と同一であるため、説明を省略する。また、第５の実施の形態の表示システムに含まれるコンピュータおよび表示装置のハードウェア構成は、図３，４で示した第２の実施の形態のコンピュータ１００および表示装置２００のハードウェア構成と同一であるため、説明を省略する。
【０２２４】
図２７は、第５の実施の形態の各装置の機能構成を示す図である。コンピュータ１００ｃは、制御情報記憶部１１０ｃ、メッシュ記憶部１２０、メッシュ管理情報記憶部１３０ｃ、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０ｃ、送信領域特定部１６０ｃ、符号化部１７０ｃを有する。これらの機能はＣＰＵ１０１が画像処理プログラムを実行することで実現される。ただし、これらの機能の一部または全部を専用のハードウェアで実現してもよい。なお、図２７ではメッシュ管理情報記憶部１３０ｃと符号化部１７０ｃとの間の関連線は省略してある。
【０２２５】
また、メッシュ記憶部１２０、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０ｃ、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５に関しては、図５で同一の符号を付して説明した構成と同一であるため説明を省略する。更に、表示装置２００の構成も図５で説明した構成と同一であるため説明を省略する。
【０２２６】
制御情報記憶部１１０ｃは、画像データの符号化に際して、圧縮率（あるいは画質）を特定するためのデータ出力制御情報を記憶する。また、制御情報記憶部１１０ｃは、静止画領域の画像データを再送するまでの継続フレーム数しきい値を記憶する。
【０２２７】
メッシュ管理情報記憶部１３０ｃは、画像内におけるメッシュの位置や、動画、静止画の区分、動画、静止画の各状態がどれだけの時間継続したかを示す継続フレーム数などを含むメッシュ管理情報を記憶する。
【０２２８】
領域判定部１５０ｃは、変化検出部１４５の変化の検出結果に基づいて、画像データに含まれる各メッシュを動画領域および静止画領域に区分する。具体的には、変化検出部１４５が変化ありと検出した領域を動画領域と特定する。また、変化検出部１４５が変化なしと検出した領域を静止画領域と特定する。更に、領域判定部１５０ｃは、該当のメッシュについて、同一区分の領域として継続して特定したフレームの数（継続フレーム数）をカウントする。なお、領域判定部１５０ｃは、該当のメッシュの領域の区分が変更した場合には、カウントをリセットして、再度１からカウントしなおす。領域判定部１５０ｃは、このようにして特定した各メッシュの動画および静止画の区分や継続フレーム数の情報に基づいて、メッシュ管理情報を生成し、メッシュ管理情報記憶部１３０ｃに格納する。
【０２２９】
送信領域特定部１６０ｃは、メッシュ管理情報記憶部１３０ｃに記憶されたメッシュ管理情報に基づいて、表示装置２００に送信する領域（送信領域）を特定する。送信領域特定部１６０ｃは、動画領域について、その全部を送信領域と特定する。
【０２３０】
また、送信領域特定部１６０ｃは、静止画領域について、その一部を送信領域と特定する。すなわち、送信領域特定部１６０ｃは、静止画領域を分割し（一次分割）、分割した領域を複数のタイミングで送信領域として順次特定する。このようにすることで、静止画領域の単位面積当たりの送信画像データ量を動画領域の単位面積当たりの送信画像データ量よりも多く割り当てることができる。すなわち、後段の符号化に伴う圧縮率を制御して、静止画領域の画質を動画領域の画質よりも向上させることができる。
【０２３１】
更に、送信領域特定部１６０ｃは、メッシュ管理情報と、制御情報記憶部１１０ｃに記憶された継続フレーム数しきい値と、を参照して、継続フレーム数しきい値を超えて静止画領域の状態が継続している静止画メッシュの再送を行う。このとき、送信領域特定部１６０ｃは、一次分割時の分割数よりも多くの分割数で静止画領域を分割する（二次分割）。このように、一次分割数よりも多く分割して静止画領域を順次再送することで、静止画領域の単位面積当たりの送信画像データ量を一次分割時よりも多く割り当てることができる。これによって、一次分割で送信した静止画領域の画質をより向上することができる。
【０２３２】
符号化部１７０ｃは、送信領域特定部１６０ｃが特定した送信領域のメッシュを順番に符号化してデータ量を削減する。符号化部１７０ｃは、圧縮率決定部１７１ｃ、動画領域符号化部１７２および静止画領域符号化部１７３ｃを有する。ここで、動画領域符号化部１７２は、図５で同一の符号を付して説明した構成と同一であるため説明を省略する。
【０２３３】
圧縮率決定部１７１ｃは、動画メッシュ群または静止画メッシュ群の符号化後データ量を決定する。ここで、圧縮率決定部１７１ｃは、動画メッシュの圧縮率よりも静止画メッシュの圧縮率を低く設定し、静止画領域については、動画領域よりも高品位な画像の表示を可能とする。更に、圧縮率決定部１７１ｃは、静止画領域について、一次分割での送信時よりも二次分割での送信時の方が圧縮率を低く設定する。これによって、二次分割により表示された静止画領域の画質をより向上することができる。
【０２３４】
静止画領域符号化部１７３ｃは、圧縮率決定部１７１ｃが決定した静止画領域の符号化後データ量に近くなるように送信領域内の静止画メッシュ群を符号化する。静止画領域符号化部１７３ｃは、圧縮率決定部１７１ｃから一次分割時の符号化データ量を取得した場合、一次分割時の符号化データ量に近いデータ量となるよう静止画メッシュ群を符号化する。また、静止画領域符号化部１７３ｃは、圧縮率決定部１７１ｃから二次分割時の符号化データ量を取得した場合、二次分割時の符号化データ量に近いデータ量となるよう静止画メッシュ群を符号化する。
【０２３５】
静止画領域符号化部１７３ｃは、符号化して生成した静止画圧縮データを送信部１８０に出力する。
図２８は、第５の実施の形態の継続フレーム数しきい値設定テーブルのデータ構造例を示す図である。継続フレーム数しきい値設定テーブル１１１ｃは、制御情報記憶部１１０ｃに予め格納される。継続フレーム数しきい値設定テーブル１１１ｃには、継続フレーム数しきい値が設定される。
【０２３６】
継続フレーム数しきい値は、静止画領域について二次分割した画像を送信するまでに該当メッシュが静止画メッシュ状態のままで経過すべき継続フレーム数のしきい値を示す。すなわち、送信領域特定部１６０ｃは、継続フレーム数しきい値以上となった静止画メッシュ群を二次分割による送信対象と特定して、符号化部１７０ｃに出力する。これにより、継続フレーム数以上の期間が経過した静止画メッシュの画質を向上する。
【０２３７】
図２９は、第５の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。メッシュ管理テーブル１３１ｃは、メッシュ管理情報記憶部１３０ｃに格納される。メッシュ管理テーブル１３１ｃには、メッシュ座標を示す項目、動画領域フラグを示す項目、一次高品位画像送信済フラグを示す項目、二次高品位画像送信済フラグを示す項目および継続フレーム数を示す項目が設けられている。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つのメッシュに関する情報を示す。
【０２３８】
なお、メッシュ座標を示す項目、動画領域フラグを示す項目は、図８で説明したメッシュ管理テーブル１３１の同一名称の各項目と同一である。
一次高品位画像送信済フラグを示す項目には、静止画メッシュについて、一次分割による一次高品位画像を送信済みであるか否かを示すフラグが設定される。一次高品位画像送信済フラグを示す項目には、該当のメッシュについて一次高品位画像を送信済みである場合は“１”が設定され、未送信である場合は“０”が設定される。なお、一次高品位画像送信済フラグを示す項目には、該当のメッシュが動画メッシュである場合には、一次高品位画像の送信対象でないことを示す“−”が設定される。
【０２３９】
二次高品位画像送信済フラグを示す項目には、静止画メッシュについて、二次分割による二次高品位画像を送信済みであるか否かを示すフラグが設定される。二次高品位画像送信済フラグを示す項目には、該当のメッシュについて二次高品位画像を送信済みである場合は“１”が設定され、未送信である場合は“０”が設定される。なお、二次高品位画像送信済フラグを示す項目には、該当のメッシュが動画メッシュである場合には、二次高品位画像の送信対象でないことを示す“−”が設定される。
【０２４０】
継続フレーム数を示す項目には、該当のメッシュが静止画領域として継続して特定されたフレームの数が設定される。
メッシュ管理テーブル１３１ｃには、例えば、メッシュ座標が（ｘ，ｙ）＝“（１，１）”、動画領域フラグが“０”、一次高品位画像送信済フラグが“１”、二次高品位画像送信済フラグが“１”、継続フレーム数が“３５”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（１，１）”で指定されるメッシュが静止画メッシュであり、静止画メッシュの状態で“３５”フレーム継続していることを示している。また、そのメッシュについて、一次高品位画像、二次高品位画像ともに表示装置２００へ送信済みであることを示している。
【０２４１】
また、メッシュ管理テーブル１３１ｃには、例えば、メッシュ座標が（ｘ，ｙ）＝“（５１，３１）”、動画領域フラグが“０”、一次高品位画像送信済フラグが“１”、二次高品位画像送信済フラグが“０”、継続フレーム数が“２８”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（５１，３１）”で指定されるメッシュが静止画メッシュであり、静止画メッシュの状態で“２８”フレーム継続していることを示している。また、そのメッシュについて、一次高品位画像は表示装置２００へ送信済みであるが、二次高品位画像は表示装置２００へ未送信であることを示している。
【０２４２】
なお、領域判定部１５０ｃは、該当メッシュを静止画領域と新たに判定したタイミングで、一次高品位画像送信済フラグおよび二次高品位画像送信済フラグに“０”を設定する。
【０２４３】
次に、以上の構成により実現されるコンピュータ１００ｃおよび表示装置２００の処理手順に関して説明する。
なお、コンピュータ１００ｃの画像データの送信処理の手順に関しては、図９で説明した手順と同様であるため説明を省略する。以下、コンピュータ１００ｃの画像データの送信処理に含まれる各処理について詳細に説明する。
【０２４４】
図３０は、第５の実施の形態の送信領域特定処理を示すフローチャートである。以下、図３０に示す処理をフローチャートのステップ番号に沿って説明する。
［ステップＳ１１１］送信領域特定部１６０ｃは、メッシュ管理情報記憶部１３０ｃに記憶されたメッシュ管理テーブル１３１ｃの動画領域フラグを参照して、今回送信対象の画像データに静止画領域が含まれているか否かを判定する。静止画領域が含まれている場合、処理をステップＳ１１２に進める。静止画領域が含まれていない場合、処理をステップＳ１１９に進める。
【０２４５】
［ステップＳ１１２］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの一次高品位画像送信済フラグを参照して、静止画メッシュのうち、一次高品位画像を未送信のメッシュが存在するか否かを判定する。一次高品位画像を未送信のメッシュが存在する場合、処理をステップＳ１１３に進める。一次高品位画像を未送信のメッシュが存在しない場合、処理をステップＳ１１５に進める。
【０２４６】
［ステップＳ１１３］送信領域特定部１６０ｃは、静止画領域の一次分割数を特定する。静止画領域の一次分割数は、利用環境に応じて、例えば、メッシュ管理情報記憶部１３０ｃに予め記憶される。送信領域特定部１６０ｃは、特定した一次分割数に基づいて、送信する静止画領域の一次送信メッシュ数を算出する。
【０２４７】
［ステップＳ１１４］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃを参照して、一次高品位画像を未送信のメッシュのうち、ステップＳ１１３で算出した一次送信メッシュ数分のメッシュを抽出する。送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの一次高品位画像送信済フラグを更新する。すなわち、今回送信対象として抽出した静止画メッシュに設定された一次高品位画像送信済フラグ“０”を“１”に変更する。送信領域特定部１６０ｃは、抽出した静止画メッシュ群を符号化部１７０ｃに出力する。なお、送信領域特定部１６０ｃは、出力した静止画メッシュ群が一次分割に対応するものである旨を符号化部１７０ｃに通知する。
【０２４８】
［ステップＳ１１５］送信領域特定部１６０ｃは、制御情報記憶部１１０ｃを参照して、継続フレーム数しきい値を取得する。そして、送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃを参照して継続フレーム数しきい値以上の継続フレーム数となった静止画メッシュが存在するか否かを判定する。存在する場合、処理をステップＳ１１６に進める。存在しない場合、処理をステップＳ１１９に進める。
【０２４９】
［ステップＳ１１６］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの二次高品位画像送信済フラグを参照して、二次高品位画像を未送信のメッシュが存在するか否かを判定する。二次高品位画像を未送信のメッシュが存在する場合、処理をステップＳ１１７に進める。二次高品位画像を未送信のメッシュが存在しない場合、処理をステップＳ１１９に進める。
【０２５０】
［ステップＳ１１７］送信領域特定部１６０ｃは、静止画領域の二次分割数を特定する。静止画領域の二次分割数は、利用環境に応じて、例えば、メッシュ管理情報記憶部１３０ｃに予め記憶される。送信領域特定部１６０ｃは、特定した二次分割数に基づいて、送信する静止画領域の二次送信メッシュ数を算出する。
【０２５１】
［ステップＳ１１８］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃを参照して、二次高品位画像を未送信のメッシュのうち、ステップＳ１１７で算出した二次送信メッシュ数分のメッシュを抽出する。送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの二次高品位画像送信済フラグを更新する。すなわち、今回送信対象として抽出した静止画メッシュに設定された二次高品位画像送信済フラグ“０”を“１”に変更する。送信領域特定部１６０ｃは、抽出した静止画メッシュ群を符号化部１７０ｃに出力する。なお、送信領域特定部１６０ｃは、出力した静止画メッシュ群が二次分割に対応するものである旨を符号化部１７０ｃに通知する。
【０２５２】
［ステップＳ１１９］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの動画領域フラグを参照して、今回送信対象の画像データに動画領域が含まれているか否かを判定する。動画領域が含まれている場合、処理をステップＳ１２０に進める。動画領域が含まれていない場合、処理を完了する。
【０２５３】
［ステップＳ１２０］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃを参照して動画メッシュを抽出し、抽出した動画メッシュ群を送信対象の領域とする。送信領域特定部１６０ｃは、抽出した動画メッシュ群を符号化部１７０ｃに出力する。
【０２５４】
このようにして送信領域特定部１６０ｃは、静止画領域の一部送信対象の領域として特定する。送信領域特定部１６０ｃは、送信対象の領域として選択するメッシュの数を静止画領域の分割数に応じて算出する。また、送信領域特定部１６０ｃは、静止画領域の分割数を一次分割時よりも二次分割時の方が多くなるようにする。
【０２５５】
これにより、後段の符号化処理において、二次分割時の静止画メッシュ群について同一面積の送信データ量を一次分割時の静止画メッシュ群よりも多く割り当てることができる。
【０２５６】
なお、上記ステップＳ１１１〜Ｓ１１８に示した静止画領域に対する処理および上記ステップＳ１１９，Ｓ１２０に示した動画領域に対する処理は、順序を逆にしてもよい。例えば、送信領域特定部１６０ｃは、動画領域に対する処理（ステップＳ１１９，Ｓ１２０）を先に実行した後、静止画領域に対する処理（ステップＳ１１１〜Ｓ１１８）を行うことも考えられる。
【０２５７】
図３１は、第５の実施の形態の二次高品位画像の送信方法の具体例を示す図である。以下、図３１に示す処理をステップ番号に沿って説明する。なお、図３１の各ステップでは、画像を構成するメッシュに、その継続フレーム数を図示している。また、ステップＳＴ２１は、コンピュータ１００ｃが表示装置２００への最初のフレームの送信タイミングである。ステップＳＴ２２は、ステップＳＴ２１の次のフレームの送信タイミングである。以降、ステップＳＴ２３，ＳＴ２４に関しても同様である。
【０２５８】
［ステップＳＴ２１］コンピュータ１００ｃは、画像５００のうち動画領域５２０を符号化し、表示装置２００に送信する。このとき、全メッシュの継続フレーム数は“２９”であるとする。静止画領域５１０に関しては、既に全ての静止画メッシュについて一次高品位画像を送信済みであるので、表示装置２００への画像データの送信は行われない。
【０２５９】
［ステップＳＴ２２］コンピュータ１００ｃは、画像５００のうち、動画領域５２１を符号化し、表示装置２００に送信する。このとき、全メッシュの継続フレーム数は“３０”となる。静止画領域５１１に関しては、既に全ての静止画メッシュについて一時高品位画像を送信済みであるので、表示装置２００への画像データの送信は行われない。
【０２６０】
［ステップＳＴ２３］コンピュータ１００ｃは、画像５００のうち、動画領域５２２を符号化し、表示装置２００に送信する。また、コンピュータ１００ｃは、画像５００のうち、静止画領域を二次分割した際の一単位である一部領域５１２を符号化し、表示装置２００に送信する。このとき、例えば、二次分割数を一次分割数の２倍に設定しておけば、一部領域５１２に対して、一次分割時よりも２倍の送信データ量を割り当てることができる。すなわち、圧縮率を低減して、一部領域５１２の画質を向上できる。なお、全メッシュの継続フレーム数は“３１”となる。
【０２６１】
［ステップＳＴ２４］コンピュータ１００ｃは、画像５００のうち、動画領域５２３を符号化し、表示装置２００に送信する。また、コンピュータ１００ｃは、画像５００のうち、静止画領域を二次分割した際の一単位である一部領域５１４を符号化し、表示装置２００に送信する。一部領域５１３は、ステップＳＴ２３の一部領域５１２に対応する。表示装置２００は、一部領域５１３に関しては、ステップＳＴ２３で受信した画像を継続して表示する。なお、全メッシュの継続フレーム数は“３２”となる。
【０２６２】
このように、コンピュータ１００ｃは、静止画領域について一次分割により画像送信した後、所定のフレーム数が継続した静止画メッシュについては一次分割よりも細かい分割数で二次分割を行って、表示装置２００へ画像データを送信する。
【０２６３】
これにより、第２の実施の形態と同様の効果を実現することができる。また、静止画領域の画質を更に向上して、より見易い画像表示を実現することが可能となる。
第２〜第５の実施の形態で説明したように、コンピュータ１００，１００ａ，１００ｂ，１００ｃは、画像データに含まれるメッシュの時間変化に基づいて、画像データを静止画領域と動画領域とに区分する。そして、コンピュータ１００は、静止画メッシュの送信回数を動画メッシュの送信回数よりも少なくする。
【０２６４】
これにより、ネットワークの伝送容量を効率的に利用して画像データを送信することが可能となる。
また、静止画領域を複数の領域に分割して、異なるタイミングで送信することで、単位面積当たりに割り当て可能な送信データ量を動画領域よりも多く割り当てることができる。
【０２６５】
これにより、静止画領域の画質を動画領域の画質に比べて高品位とすることができる。その結果、表示装置２００によりスクリーン２０に表示される画像の見易さを向上することができる。
【０２６６】
また、第３の実施の形態で説明したように、静止画領域と動画領域との境界である境界領域を導入する。そして、境界メッシュ群について単位面積当たりに割り当てる送信データ量を動画メッシュ群について単位面積当たりに割り当てる送信データ量よりも多くなるようにする。
【０２６７】
これにより、境界メッシュ群の画質を、動画メッシュ群の画質よりも向上することができる。その結果、静止画領域と動画領域との境界部分での画質の急激な変化が抑えられることになる。このため、表示装置２００は、閲覧者に与える違和感を抑えた、より見易い画像の表示が可能となる。
【０２６８】
また、表示する画像中の注目する箇所が動画領域に隣接した静止画領域内の静止画像である場合にも、その画像の品質の劣化を抑えることができ、より見易い画像の表示が可能となる。
【０２６９】
また、第４の実施の形態で説明したように、動画領域が移動に伴って、動画領域から静止画領域に切り替わった領域のメッシュについて、優先的に送信対象とする。
すなわち、閲覧者の注意が向き易い動画領域の移動に係る領域に対して優先的に画質を高める。これにより、閲覧者に対して与え得る違和感を軽減し、見易さをより向上することができる。
【０２７０】
また、第５の実施の形態で説明したように、静止画領域について一次分割により画像送信した後、所定のフレーム数が継続した静止画メッシュについては一次分割よりも細かい分割数で二次分割を行って、表示装置２００へ画像データを送信する。
【０２７１】
これにより、静止画領域の画質を更に向上して、より見易い画像表示を実現することが可能となる。
これらの方法を用いることで、画像データを効率的に送信することが可能となる。具体的には、変化の少ない静止画領域の画像データの送信回数を変化の多い動画領域の画像データの送信回数よりも少なくする。その結果、伝送容量が不必要に使用されることを抑止することができる。また、余剰の伝送容量を用いて、画質をより向上することができる。また、その分の伝送容量を他のデータ通信に利用することもできる。
【０２７２】
以上、本発明の画像処理プログラム、表示システム、画像処理装置および画像処理方法を図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は同様の機能を有する任意の構成のものに置換することができる。また、本発明に他の任意の構成物や行程が付加されてもよい。また、本発明は前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。
【符号の説明】
【０２７３】
１ コンピュータ
１ａ 検出手段
１ｂ 送信手段
２ 表示装置
１０，１０ａ，１０ｂ 画像
１１ 第１の種類の領域
１２ 第２の種類の領域
１１ａ，１１ｂ，１２ａ，１２ｂ 画像情報
【特許請求の範囲】
【請求項１】
コンピュータを、
時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と前記第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する検出手段、
所定の時間幅における前記第１の種類の領域の画像情報の送信回数を前記所定の時間幅における前記第２の種類の領域の画像情報の送信回数よりも少ない回数として、前記第１の種類の領域の画像情報と前記第２の種類の領域の画像情報とを順次送信する送信手段、
として機能させることを特徴とする画像処理プログラム。
【請求項２】
前記検出手段は、前記第１の種類の領域として複数の領域を検出し、前記複数の領域のうち所定数の領域ごとに送信対象領域として順次特定し、
前記送信手段は、前記検出手段が特定した前記送信対象領域の画像情報を送信する、
ことを特徴とする請求項１記載の画像処理プログラム。
【請求項３】
前記コンピュータを、更に、前記検出手段が特定した前記送信対象領域の画像情報を第１の圧縮率で符号化し、前記第２の種類の領域の画像情報を前記第１の圧縮率よりも高い第２の圧縮率で符号化する符号化手段として機能させ、
前記送信手段は、前記符号化手段による符号化後の前記送信対象領域の画像情報および前記第２の種類の領域の画像情報を送信する、
ことを特徴とする請求項２記載の画像処理プログラム。
【請求項４】
前記符号化手段は、前記コンピュータが接続されたネットワークの伝送容量、前記第１の種類の領域と前記第２の種類の領域との面積の比および送信対象とする前記送信対象領域の画像情報のデータ量と前記第２の種類の領域の画像情報のデータ量とに基づいて、前記第１の圧縮率と前記第２の圧縮率とを決定することを特徴とする請求項３記載の画像処理プログラム。
【請求項５】
前記検出手段は、前記第２の種類の領域として検出された複数の領域のうち、前記第１の種類の領域と隣接する領域である第３の領域を検出し、
前記符号化手段は、前記第３の領域の画像情報を前記第１の圧縮率よりも高く、前記第２の種類の領域の圧縮率よりも低い圧縮率で符号化し、
前記送信手段は、前記符号化手段による符号化後の前記第３の領域の画像情報を前記第２の種類の領域の画像情報と共に送信する、
ことを特徴とする請求項３または４の何れか１項に記載の画像処理プログラム。
【請求項６】
前記符号化手段は、前記検出手段により前記第２の種類の領域として検出されていた領域が前記第１の種類の領域として検出された場合、前記第１の種類の領域内の当該領域の種類が変化した領域である変化領域以外の領域よりも優先して当該変化領域の画像情報を符号化し、
前記送信手段は、前記符号化手段による符号化後の前記変化領域の画像情報を送信する、
ことを特徴とすることを特徴とする請求項３乃至５の何れか１項に記載の画像処理プログラム。
【請求項７】
前記検出手段は、所定期間以上、前記第１の種類の領域として検出し続けた再送対象領域を特定し、
前記符号化手段は、前記再送対象領域の画像情報を前記第１の圧縮率よりも低い圧縮率で符号化し、
前記送信手段は、前記符号化手段による符号化後の前記再送対象領域の画像情報を送信する、
ことを特徴とする請求項３乃至６の何れか１項に記載の画像処理プログラム。
【請求項８】
前記送信手段は、前記画像の全領域について前記符号化手段により前記第２の圧縮率で符号化された画像情報を送信し、その後、前記検出手段による前記第１の種類の領域および前記第２の種類の領域の検出結果に応じて、前記第１の種類の領域については既に送信した画像情報を置き換えるデータとして、前記符号化手段により前記第１の圧縮率で符号化された画像情報を送信することを特徴とする請求項３乃至７の何れか１項に記載の画像処理プログラム。
【請求項９】
前記送信手段は、前記検出手段により前記第１の種類の領域として検出された複数の領域のうち、送信済みの領域につき前記検出手段が変化を検出するまで送信を行なわないことを特徴とする請求項３乃至８の何れか１項に記載の画像処理プログラム。
【請求項１０】
前記送信手段は、前記第２の種類の領域の画像情報を所定周期で送信し、前記第１の種類の領域の画像情報を前記第２の種類の領域の画像情報の送信タイミングのうちの何れかのタイミングで送信することを特徴とする請求項１乃至９の何れか１項に記載の画像処理プログラム。
【請求項１１】
前記検出手段は、前記時系列に入力される前記複数の画像の入力レートで前記変化の検出を行い、
前記送信手段は、前記入力レートで前記第２の種類の領域の画像情報を送信し、当該入力レートよりも少ない送信レートとなるよう前記第１の種類の領域の画像情報を間引き、前記第１の種類の領域の画像情報を当該送信レートで送信する、
ことを特徴とする請求項１乃至１０の何れか１項に記載の画像処理プログラム。
【請求項１２】
時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と前記第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する検出手段と、
所定の時間幅における前記第１の種類の領域の画像情報の送信回数を前記所定の時間幅における前記第２の種類の領域の画像情報の送信回数よりも少ない回数として、前記第１の種類の領域の画像情報と前記第２の種類の領域の画像情報とを順次送信する送信手段と、
を備える画像処理装置と、
前記送信手段が送信した前記第１の種類の領域の画像情報と前記第２の種類の領域の画像情報とを順次受信する受信手段と、
前記受信手段が前記第１の種類の領域の画像情報と前記第２の種類の領域の画像情報とを受信した場合、当該第１の種類の領域の画像情報と当該第２の種類の画像情報とを表示し、前記受信手段が前記第２の種類の領域の画像情報を受信して前記第１の種類の領域の画像情報を受信しない場合、以前に受信した前記第１の種類の領域の画像情報と今回受信した前記第２の種類の領域の画像情報とを表示する表示手段と、
を備える表示装置と、
を有することを特徴とする表示システム。
【請求項１３】
時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と前記第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する検出手段と、
所定の時間幅における前記第１の種類の領域の画像データの送信回数を前記所定の時間幅における前記第１の種類の領域の画像データの送信回数よりも少ない回数として、前記第１の種類の領域の画像データと前記第２の種類の領域の画像データとを順次送信する送信手段と、
を有することを特徴とする画像処理装置。
【請求項１４】
コンピュータの画像処理方法であって、
検出手段が、時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と前記第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出し、
送信手段が、所定の時間幅における前記第１の種類の領域の画像データの送信回数を前記所定の時間幅における前記第２の種類の領域の画像データの送信回数よりも少ない回数として、前記第１の種類の領域の画像データと前記第２の種類の領域の画像データとを順次送信する、
ことを特徴とする画像処理方法。
【請求項１】
コンピュータを、
時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と前記第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する検出手段、
所定の時間幅における前記第１の種類の領域の画像情報の送信回数を前記所定の時間幅における前記第２の種類の領域の画像情報の送信回数よりも少ない回数として、前記第１の種類の領域の画像情報と前記第２の種類の領域の画像情報とを順次送信する送信手段、
として機能させることを特徴とする画像処理プログラム。
【請求項２】
前記検出手段は、前記第１の種類の領域として複数の領域を検出し、前記複数の領域のうち所定数の領域ごとに送信対象領域として順次特定し、
前記送信手段は、前記検出手段が特定した前記送信対象領域の画像情報を送信する、
ことを特徴とする請求項１記載の画像処理プログラム。
【請求項３】
前記コンピュータを、更に、前記検出手段が特定した前記送信対象領域の画像情報を第１の圧縮率で符号化し、前記第２の種類の領域の画像情報を前記第１の圧縮率よりも高い第２の圧縮率で符号化する符号化手段として機能させ、
前記送信手段は、前記符号化手段による符号化後の前記送信対象領域の画像情報および前記第２の種類の領域の画像情報を送信する、
ことを特徴とする請求項２記載の画像処理プログラム。
【請求項４】
前記符号化手段は、前記コンピュータが接続されたネットワークの伝送容量、前記第１の種類の領域と前記第２の種類の領域との面積の比および送信対象とする前記送信対象領域の画像情報のデータ量と前記第２の種類の領域の画像情報のデータ量とに基づいて、前記第１の圧縮率と前記第２の圧縮率とを決定することを特徴とする請求項３記載の画像処理プログラム。
【請求項５】
前記検出手段は、前記第２の種類の領域として検出された複数の領域のうち、前記第１の種類の領域と隣接する領域である第３の領域を検出し、
前記符号化手段は、前記第３の領域の画像情報を前記第１の圧縮率よりも高く、前記第２の種類の領域の圧縮率よりも低い圧縮率で符号化し、
前記送信手段は、前記符号化手段による符号化後の前記第３の領域の画像情報を前記第２の種類の領域の画像情報と共に送信する、
ことを特徴とする請求項３または４の何れか１項に記載の画像処理プログラム。
【請求項６】
前記符号化手段は、前記検出手段により前記第２の種類の領域として検出されていた領域が前記第１の種類の領域として検出された場合、前記第１の種類の領域内の当該領域の種類が変化した領域である変化領域以外の領域よりも優先して当該変化領域の画像情報を符号化し、
前記送信手段は、前記符号化手段による符号化後の前記変化領域の画像情報を送信する、
ことを特徴とすることを特徴とする請求項３乃至５の何れか１項に記載の画像処理プログラム。
【請求項７】
前記検出手段は、所定期間以上、前記第１の種類の領域として検出し続けた再送対象領域を特定し、
前記符号化手段は、前記再送対象領域の画像情報を前記第１の圧縮率よりも低い圧縮率で符号化し、
前記送信手段は、前記符号化手段による符号化後の前記再送対象領域の画像情報を送信する、
ことを特徴とする請求項３乃至６の何れか１項に記載の画像処理プログラム。
【請求項８】
前記送信手段は、前記画像の全領域について前記符号化手段により前記第２の圧縮率で符号化された画像情報を送信し、その後、前記検出手段による前記第１の種類の領域および前記第２の種類の領域の検出結果に応じて、前記第１の種類の領域については既に送信した画像情報を置き換えるデータとして、前記符号化手段により前記第１の圧縮率で符号化された画像情報を送信することを特徴とする請求項３乃至７の何れか１項に記載の画像処理プログラム。
【請求項９】
前記送信手段は、前記検出手段により前記第１の種類の領域として検出された複数の領域のうち、送信済みの領域につき前記検出手段が変化を検出するまで送信を行なわないことを特徴とする請求項３乃至８の何れか１項に記載の画像処理プログラム。
【請求項１０】
前記送信手段は、前記第２の種類の領域の画像情報を所定周期で送信し、前記第１の種類の領域の画像情報を前記第２の種類の領域の画像情報の送信タイミングのうちの何れかのタイミングで送信することを特徴とする請求項１乃至９の何れか１項に記載の画像処理プログラム。
【請求項１１】
前記検出手段は、前記時系列に入力される前記複数の画像の入力レートで前記変化の検出を行い、
前記送信手段は、前記入力レートで前記第２の種類の領域の画像情報を送信し、当該入力レートよりも少ない送信レートとなるよう前記第１の種類の領域の画像情報を間引き、前記第１の種類の領域の画像情報を当該送信レートで送信する、
ことを特徴とする請求項１乃至１０の何れか１項に記載の画像処理プログラム。
【請求項１２】
時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と前記第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する検出手段と、
所定の時間幅における前記第１の種類の領域の画像情報の送信回数を前記所定の時間幅における前記第２の種類の領域の画像情報の送信回数よりも少ない回数として、前記第１の種類の領域の画像情報と前記第２の種類の領域の画像情報とを順次送信する送信手段と、
を備える画像処理装置と、
前記送信手段が送信した前記第１の種類の領域の画像情報と前記第２の種類の領域の画像情報とを順次受信する受信手段と、
前記受信手段が前記第１の種類の領域の画像情報と前記第２の種類の領域の画像情報とを受信した場合、当該第１の種類の領域の画像情報と当該第２の種類の画像情報とを表示し、前記受信手段が前記第２の種類の領域の画像情報を受信して前記第１の種類の領域の画像情報を受信しない場合、以前に受信した前記第１の種類の領域の画像情報と今回受信した前記第２の種類の領域の画像情報とを表示する表示手段と、
を備える表示装置と、
を有することを特徴とする表示システム。
【請求項１３】
時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と前記第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する検出手段と、
所定の時間幅における前記第１の種類の領域の画像データの送信回数を前記所定の時間幅における前記第１の種類の領域の画像データの送信回数よりも少ない回数として、前記第１の種類の領域の画像データと前記第２の種類の領域の画像データとを順次送信する送信手段と、
を有することを特徴とする画像処理装置。
【請求項１４】
コンピュータの画像処理方法であって、
検出手段が、時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と前記第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出し、
送信手段が、所定の時間幅における前記第１の種類の領域の画像データの送信回数を前記所定の時間幅における前記第２の種類の領域の画像データの送信回数よりも少ない回数として、前記第１の種類の領域の画像データと前記第２の種類の領域の画像データとを順次送信する、
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２０１１−６６５７７（Ｐ２０１１−６６５７７Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１３９９９（Ｐ２００９−２１３９９９）
【出願日】平成２１年９月１６日（２００９．９．１６）
【出願人】（３９９０７６９９８）株式会社富士通ビー・エス・シー (56)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１６日（２００９．９．１６）
【出願人】（３９９０７６９９８）株式会社富士通ビー・エス・シー (56)
【Ｆターム（参考）】
[ Back to top ]