説明

画像投影システム、端末装置及びプログラム

【課題】画像投影装置において投影させるための所定表示領域において表示が終了され、その表示が終了した画像に対応するアプリケーションプログラムに基づく画像を再度生成させる際に、その画像を視認容易に投影させることなく、所定表示領域ではない領域に画像を生成させる。
【解決手段】端末装置は、アプリケーションプログラムに基づいた画像データを生成し、画像データに基づく画像の表示を終了する。画像投影装置は、端末装置の所定表示領域にある画像の画像データを取得し、合成し、合成した画像データに基づいた画像を投影する。端末装置は、アプリケーションプログラムに基づいて生成された画像の表示が所定表示領域で終了され、かつ、そのアプリケーションプログラムに基づく画像が再度生成されたことを条件に、所定表示領域ではない表示領域に画像の表示位置を変更させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像投影システム、端末装置及びプログラムに関するものであり、特に、複数人による共同作業や情報の共有を効率的に行うことのできる画像投影システム、端末装置及びプログラムに関する。
【背景技術】
【0002】
従来より、画像投影装置として、例えば、コンピュータ装置等から画像情報を入力して液晶表示素子に当該画像を表示し、この液晶表示素子に光を照射して投影スクリーン上に拡大投影するプロジェクタなどが広く使用されている。
【0003】
この種のプロジェクタは、複数人が参加して行われる会議等において多く使用されており、かかるプロジェクタを用いることにより、拡大投影された一つの画像を複数の参加者が同時に見ながら議論を進めていくことができる。
【0004】
また、一方で、複数の端末装置をネットワークなどの通信経路で接続することにより、会議等における情報の共有や共同作業を効率的に行うことが多くなされている。例えば、特許文献1には、サーバと複数の端末装置とにより構成される会議支援システムにおいて、サーバが、複数の端末装置から送信された各画像データを合成し、当該合成した画像データを複数の端末装置に送信して、当該画像データに基づく画像を各端末装置の画面に表示させることにより、各参加者が同一の画像を見ながら議論を行うことができる会議支援システムが開示されている。
【0005】
また、このようなシステムにおいては、複数の端末装置の所定表示領域に表示された画像をサーバに送信するものがあり、公開させる場合には所定表示領域に画像を位置させ、公開させない場合には所定表示領域ではない領域に画像を位置させることによって、端末装置側で会議などで各参加者に視認可能とするか否かを設定できるシステムもある。
【特許文献1】特開2006−31359号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、上述したような画像投影システムでは、そのアプリケーションプログラムの終了など、画像の表示が終了する場合には、その表示が終了された位置が記憶され、再度、そのアプリケーションを起動させるなど、画像を生成させるときに、終了時に記憶された位置に表示させることとなるが、終了時においては公開させていた画像であっても、生成時に公開させたくないことがあり、ユーザの意思に拘わらず、各参加者に視認容易になってしまうおそれがあった。もちろん、アプリケーションに基づく画像の表示が所定表示領域で終了した場合において、異なる画像が再度生成されても、同じアプリケーションを再度起動させることによって、再度生成された画像が所定表示領域に表示され、各参加者に視認容易なってしまうおそれもあった。
【0007】
本発明は、上述したような課題に鑑みてなされたものであり、画像投影装置において投影させるための所定表示領域において表示が終了され、その表示が終了した画像に対応するアプリケーションプログラムに基づく画像を再度生成させる際に、その画像を視認容易に投影させることなく、所定表示領域ではない領域に画像を生成させることができる画像投影システム、端末装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
以上のような目的を達成するために、本発明は、以下のようなものを提供する。
【0009】
すなわち、請求項1記載の本発明では、複数の端末装置と、これら複数の端末装置から通信経路を介して画像データを取得し、この画像データに基づいた画像を投影する画像投影装置とを備えた画像投影システムにおいて、前記画像投影装置は、各前記端末装置の所定表示領域にある画像の画像データを、前記通信経路を介して取得する画像取得部と、前記複数の端末装置の所定表示領域にある画像の画像データを合成する画像処理部と、前記画像処理部で合成した画像データに基づいた画像を投影する画像投影部と、を備え、前記端末装置は、所定のアプリケーションプログラムの制御を行うアプリケーションプログラム制御部と、前記アプリケーションプログラム制御部によって制御されたアプリケーションプログラムに基づいた画像データを生成する画像生成部と、前記画像生成部で生成した画像データに基づく画像を表示させる制御を行うとともに、当該表示を終了させる制御を行う表示制御部と、前記画像生成部で生成した画像データに基づく画像の位置が所定表示領域にあるときに、その画像の一部又は全部の画像データを、前記通信経路を介して前記画像投影装置へ送信する所定領域画像送信部と、前記アプリケーションプログラム制御部によって制御されたアプリケーションプログラムに基づいて生成された画像の表示が前記表示制御部によって前記所定表示領域で終了され、かつ、当該アプリケーションプログラムに基づく画像が前記画像生成部によって再度生成されたことを条件に、当該所定表示領域ではない表示領域に画像の表示位置を変更させる画像表示位置変更部と、を備えたことを特徴とするものである。
【0010】
また、請求項2記載の本発明では、請求項1に記載の発明において、前記端末装置は、前記画像生成部で生成した画像データに基づく画像を表示可能な表示部と、前記所定表示領域として、前記表示部の表示領域に隣接した仮想表示領域を設定する仮想表示領域設定部と、を備えたことを特徴とするものである。
【0011】
また、請求項3記載の本発明では、請求項1又は2に記載の発明において、前記端末装置は、前記表示制御部によって表示が終了された画像の位置が所定表示領域であるか否かを判定する画像位置判定部を備えることを特徴とするものである。
【0012】
また、請求項4記載の本発明では、請求項3に記載の発明において、前記端末装置は、前記表示制御部によって表示が終了されたときに、当該画像の位置を記憶する画像位置記憶部を備え、前記端末装置の前記画像位置判定部は、前記表示制御部によって表示が終了されたときに、前記画像位置記憶部によって記憶された画像の位置が所定表示領域であるか否かを判定し、前記端末装置の前記画像表示位置変更部は、前記画像位置判定部によって画像の位置が所定表示領域であると判定された場合には、前記画像位置記憶部に記憶された画像の位置を、前記所定表示領域ではない領域として更新させることを特徴とするものである。
【0013】
また、請求項5記載の本発明では、請求項3に記載の発明において、前記端末装置は、前記表示制御部によって表示が終了されたときに、当該画像の位置を記憶する画像位置記憶部を備え、前記端末装置の前記画像位置判定部は、前記アプリケーションプログラム制御部によって制御されたアプリケーションプログラムに基づいて生成された画像の表示が前記表示制御部によって前記所定表示領域で終了された後に、当該アプリケーションプログラムに基づく画像が前記画像生成部によって再度生成されるときに、前記画像位置記憶部によって記憶された画像の位置が所定表示領域であるか否かを判定し、前記端末装置の前記画像表示位置変更部は、前記画像位置判定部によって前記画像の位置が前記所定表示領域であると判定された場合には、前記画像位置記憶部に記憶された画像の位置を、前記所定表示領域ではない領域として更新させることを特徴とするものである。
【0014】
また、請求項6記載の本発明では、請求項1から3のいずれかに記載の発明において、前記端末装置は、前記所定表示領域における画像の表示面積の増減を検知する画像表示面積検知部と、前記画像表示面積検知部による検知結果に基づいて、前記表示制御部によって前記所定表示領域における画像の表示が終了されたか否かを判定する画像終了判定部と、を備えることを特徴とするものである。
【0015】
また、請求項7記載の本発明では、請求項1から3のいずれかに記載の発明において、前記端末装置は、前記所定表示領域における画像の表示面積の増減を検知する画像表示面積検知部と、前記画像表示面積検知部による検知結果に基づいて、前記画像生成部によって前記所定表示領域において画像が生成されたか否かを判定する画像生成判定部と、を備えることを特徴とするものである。
【0016】
また、請求項8記載の本発明では、請求項1又は2に記載の発明において、前記画像投影装置は、前記表示制御部によって表示が終了された画像の位置が所定表示領域であるか否かを判定する画像位置判定部を備えることを特徴とするものである。
【0017】
また、請求項9記載の本発明では、請求項8に記載の発明において、前記端末装置は、前記表示制御部によって表示が終了されたときに、当該画像の位置を記憶する画像位置記憶部と、前記表示制御部によって表示が終了されたときに、画像の表示が終了された旨の終了情報を、前記画像投影装置に前記通信経路を介して送信する終了情報送信部と、を備え、前記画像投影装置の前記画像位置判定部は、前記通信経路を介して、前記端末装置から前記終了情報を受信したときに、前記画像位置記憶部によって記憶された画像の位置が所定表示領域であるか否かを判定し、前記画像投影装置は、前記画像位置判定部によって画像の位置が所定表示領域であると判定された場合には、画像の位置を移動させる旨の画像情報移動情報を、前記通信経路を介して前記端末装置に送信する画像情報移動情報送信部を備え、前記端末装置の前記画像表示位置変更部は、前記通信経路を介して、前記画像投影装置から前記画像情報移動情報を受信した場合には、前記画像位置記憶部に記憶された画像の位置を、前記所定表示領域ではない領域として更新させることを特徴とするものである。
【0018】
また、請求項10記載の本発明では、請求項8に記載の発明において、前記端末装置は、前記画像生成部によって画像が生成されたときに、画像が生成された旨の生成情報を、前記画像投影装置に前記通信経路を介して送信する生成情報送信部と、を備え、前記画像投影装置の前記画像位置判定部は、前記通信経路を介して、前記端末装置から前記生成情報を受信したときに、前記画像生成部によって生成された画像の位置が所定表示領域であるか否かを判定し、前記画像投影装置は、前記画像位置判定部によって画像の位置が所定表示領域であると判定された場合には、画像の位置を移動させる旨の画像情報移動情報を、前記通信経路を介して前記端末装置に送信する画像情報移動情報送信部を備え、前記端末装置の前記画像表示位置変更部は、前記通信経路を介して、前記画像投影装置から前記画像情報移動情報を受信した場合には、当該所定表示領域ではない表示領域に画像の表示位置を変更させることを特徴とするものである。
【0019】
また、請求項11記載の本発明では、請求項1、2、8のいずれかに記載の発明において、前記画像投影装置は、前記画像投影部によって投影された画像の表示面積の増減を検知する画像投影面積検知部と、前記画像投影面積検知部による検知結果に基づいて、前記表示制御部によって前記所定表示領域における画像の表示が終了されたか否かを判定する画像終了判定部と、を備えることを特徴とするものである。
【0020】
また、請求項12記載の本発明では、請求項1、2、8のいずれかに記載の発明において、前記画像投影装置は、前記画像投影部によって投影された画像の表示面積の増減を検知する画像投影面積検知部と、前記画像投影面積検知部による検知結果に基づいて、前記画像生成部によって前記所定表示領域において画像が生成されたか否かを判定する画像生成判定部と、を備えることを特徴とするものである。
【0021】
また、請求項13記載の本発明では、請求項1、2、8のいずれかに記載の発明において、前記画像投影装置は、前記画像投影部で投影している画像のうちの所定画像を操作するための画像操作命令を取得する画像操作命令取得部と、前記画像操作命令取得部によって取得された前記画像操作命令が、画像の表示を終了させるための画像終了命令であるか否かを判定する画像操作命令判定部と、前記画像操作命令判定部によって画像操作命令が画像終了命令であると判定された場合には、前記通信経路を介して、この画像操作命令による操作対象の画像の画像データを送信した端末装置へ、前記所定表示領域ではない表示領域に画像を移動させ、画像の表示を終了させる画像終了命令を送信する操作命令処理部と、を備え、前記表示制御部は、前記通信経路を介して、前記画像投影装置から前記画像終了命令を受信した場合には、この画像終了命令に応じて、前記所定表示領域ではない表示領域に画像を移動させ、画像の表示を終了させることを特徴とするものである。
【0022】
また、請求項14記載の本発明では、複数の端末装置と、これら複数の端末装置から通信経路を介して画像データを取得し、この画像データに基づいた画像を投影する画像投影装置とを備えた画像投影システムにおける前記端末装置において、所定のアプリケーションプログラムの制御を行うアプリケーションプログラム制御部と、前記アプリケーションプログラム制御部によって制御されたアプリケーションプログラムに基づいた画像データを生成する画像生成部と、前記画像生成部で生成した画像データに基づく画像を表示させる制御を行うとともに、当該表示を終了させる制御を行う表示制御部と、前記画像投影装置において前記複数の端末装置の所定表示領域にある画像を合成した画像を投影するために、前記画像生成部で生成した画像データに基づく画像の位置が所定表示領域にあるときに、その画像の一部又は全部の画像データを、前記通信経路を介して前記画像投影装置へ送信する所定領域画像送信部と、前記アプリケーションプログラム制御部によって制御されたアプリケーションプログラムに基づいて生成された画像の表示が前記表示制御部によって前記所定表示領域で終了され、かつ、当該アプリケーションプログラムに基づく画像が前記画像生成部によって再度生成されたことを条件に、当該所定表示領域ではない表示領域に画像の表示位置を変更させる画像表示位置変更部と、を備えたことを特徴とするものである。
【0023】
また、請求項15記載の本発明では、コンピュータを、アプリケーションプログラムに基づいた画像データを生成する画像生成手段、前記画像生成手段で生成した画像データに基づく画像を表示させる制御を行うとともに、当該表示を終了させる制御を行う表示制御手段、複数の端末装置から通信経路を介して画像データを取得し、この画像データに基づいた画像を投影する画像投影装置において前記複数の端末装置の所定表示領域にある画像を合成した画像を投影するために、前記画像生成手段で生成した画像データに基づく画像の位置が所定表示領域にあるときに、その画像の一部又は全部の画像データを、前記通信経路を介して前記画像投影装置へ送信する所定領域画像送信手段、アプリケーションプログラムに基づいて生成された画像の表示が前記表示制御手段によって前記所定表示領域で終了され、かつ、当該アプリケーションプログラムに基づく画像が前記画像生成手段によって再度生成されたことを条件に、当該所定表示領域ではない表示領域に画像の表示位置を変更させる画像表示位置変更手段、として機能させるためのものである。
【発明の効果】
【0024】
請求項1、3、8、14又は15に記載の発明によれば、アプリケーションプログラムに基づいて生成した画像の位置が所定表示領域にあるときに、その画像の一部又は全部の画像データを、通信経路を介して前記画像投影装置へ送信する。また、アプリケーションプログラムに基づいて生成された画像の表示が所定表示領域で終了され、かつ、そのアプリケーションプログラムに基づく画像が再度生成されたことを条件に、所定表示領域ではない表示領域に画像の表示位置を変更させる。従って、同じアプリケーションプログラムにおいて、所定表示領域で画像の表示が終了され、再度生成されることを条件に、その画像を視認容易に投影させることなく、所定表示領域ではない表示領域に画像を表示させることができる。
【0025】
請求項2に記載の発明によれば、端末装置に、表示部の表示領域とは別個に所定表示領域としての仮想表示領域を設けることにより、複数人による情報の共有や共同作業を円滑に行うことができる。例えば、端末装置の利用者は、所定表示領域と所定表示領域以外の領域とを明確に区別することができるため、意図しない画像が投影表示されることを防止することができる。また、表示部の表示領域の画像は画像投影装置で投影表示されないので、この表示部の表示領域を端末装置の利用者だけの作業スペースとして利用することができる。
【0026】
また、請求項4又は9に記載の発明によれば、画像の表示が終了されたときにその画像の位置を記憶するとともに、画像の表示が終了されたときに画像の位置が所定表示領域であると判定された場合には、画像の位置を所定表示領域ではない領域として更新させる。従って、画像の表示が終了された際に画像の位置が所定表示領域であると判定した場合に、画像の位置を所定表示領域ではない領域に更新させることによって、その画像を視認容易に投影させることなく、所定表示領域ではない領域に画像を表示させることができる。
【0027】
また、請求項5又は10に記載の発明によれば、アプリケーションプログラムに基づいて生成された画像の表示が所定表示領域で終了された後に、そのアプリケーションプログラムに基づく画像が再度生成される場合において、その画像データに基づく画像の位置が所定表示領域であると判定されたときには、画像の位置を所定表示領域ではない領域として更新させる。従って、アプリケーションプログラムに基づく画像を生成させる際に画像の位置が所定表示領域であると判定した場合に、画像の位置を所定表示領域ではない領域として更新させることによって、その画像を視認容易に投影させることなく、所定表示領域ではない領域に画像を表示させることができる。
【0028】
また、請求項6又は11に記載の発明によれば、所定表示領域における画像の表示面積の増減を検知し、その検知結果に基づいて、所定表示領域における画像の表示が終了されたか否かを判定する。従って、所定表示領域における画像の表示が終了されたことを画像の表示面積の増減によっても認識可能となる。
【0029】
また、請求項7又は12に記載の発明によれば、所定表示領域における画像の表示面積の増減を検知し、その検知結果に基づいて、所定表示領域において画像が生成されたか否かを判定する。従って、所定表示領域において画像が生成されたことを画像の表示面積の増減によっても認識可能となる。
【0030】
また、請求項13に記載の発明によれば、取得された前記画像操作命令が、画像の表示を終了させるための画像終了命令であると判定された場合には、所定表示領域ではない表示領域に画像を移動させ、画像の表示を終了させる画像終了命令を端末装置へ送信し、画像投影装置から画像終了命令を受信した場合には、この画像終了命令に応じて、所定表示領域ではない表示領域に画像を移動させ、画像の表示を終了する。従って、他の端末装置から画像の表示を終了させる旨の命令があったなど、端末装置自体が画像の表示の終了を認識していない場合であっても、画像投影装置がその終了を認識することができれば、その旨を端末装置に送信し、端末装置において所定表示領域とは異なる表示領域に画像を移動させるとともに、画像の表示を終了させることができ、次に画像が生成された場合であっても、その画像を視認容易に投影させることなく、所定表示領域ではない領域に画像を表示させることができる。
【発明を実施するための最良の形態】
【0031】
[1.画像投影システムの概要]
以下に、本発明の実施の形態における画像投影システムについて、図面を参照しながら説明する。図1は本実施形態における画像投影システムの全体的なシステム構成を示す図であり、図2は本実施形態における画像投影システムに用いられる画像投影装置の概略構成図であり、図3は本実施形態における画像投影システムに用いられる端末装置の概略構成図である。
【0032】
本実施形態にかかる画像投影システムSは、図1に示すように、画像投影装置1と、この画像投影装置1と通信経路3を介して接続された複数の端末装置(ここでは端末装置2a,2b,2c)とにより構成されるものであり、複数の端末装置2a,2b,2cで実行されるアプリケーションプログラム(以下、単に「アプリケーション」と呼ぶこともある。)によって生成される画像のうち、各端末装置2a,2b,2cの所定表示領域にある画像の画像データを一つの画像データとして合成するとともに、合成した画像データに基づく画像をスクリーン等の大画面上に投影するシステムである。また、この画像投影システムSは、任意の端末装置又はリモコン装置(図示せず)から画像投影装置1を介して他の端末装置へ、画像投影装置で投影している画像のうちの所定画像を操作するための画像操作命令を送信することにより、この画像操作命令に基づき、大画面上に投影されている画像のうち、自分の端末装置で実行されているアプリケーションによって生成される画像だけでなく、他の端末装置で実行されているアプリケーションによって生成される画像も編集可能としている。つまり、このような画像投影システムSは、複数の端末装置と、これら複数の端末装置から通信経路を介して画像データを取得し、この画像データに基づいた画像を投影する画像投影装置とを備えている。
【0033】
なお、本実施形態においては、画像投影装置1に2台の端末装置が接続されている場合について説明するが、画像投影装置1に接続される端末装置の数はこれに限ったものではない。また、以下において、端末装置2a,2bの任意の一つを表す場合には端末装置2と表現することがある。
【0034】
本実施形態にかかる画像投影システムSにおいて、画像投影装置1は、図2に示すように、画像取得部10と、画像処理部11と、画像投影部12と、操作命令処理部13と、記憶部14と、端末接続管理部15と、を備えている。また、端末装置2は、図3に示すように、記憶部20と、画像生成部21と、所定領域画像送信部22と、編集部23と、表示部24と、仮想表示領域設定部25と、操作部26と、操作命令送信部27と、指示部28と、表示制御部29と、画像位置判定部30と、画像表示位置変更部31と、アプリケーション制御部32と、を備えている。
【0035】
本実施形態にかかる画像投影システムSの全体的な動作は、主に、画像投影装置1と端末装置2との接続を行うための接続動作、各端末装置2から取得した複数の画像データを合成し、この合成した画像データを投影するための投影動作、端末装置2からの要求に応じて任意のデータファイルを編集するための編集動作の順に行われる。以下に、本実施形態にかかる画像投影システムSの全体的な動作の流れの一例を、図4〜図8を参照して概略的に説明する。
【0036】
先ず、接続動作について、図4を用いて説明する。図4は、本実施形態の画像投影システムSにおける接続動作の一例を示すシーケンス図である。なお、この動作は、端末装置2a及び端末装置2bにおいてそれぞれ行われるものであり、代表して端末装置2aについて説明する。
【0037】
図4に示すように、先ず、端末装置2aの使用者によって、操作部26を用いて端末装置2に対して起動操作が行われると、端末装置2aは、操作命令送信部27より画像投影装置1に対して接続要求信号を送信する(ステップS01)。次に、画像投影装置1は、接続要求信号を受信すると、複数の端末装置2から取得する画像データの解像度を統一させるため、画像取得部10より端末装置2に対して画像投影装置1で設定されている解像度の情報を送信する(ステップS02)。
【0038】
次に、端末装置2は、受信した解像度の情報に基づき、所定表示領域として仮想表示領域を作成する(ステップS03)。この仮想表示領域は、図1に示すように、端末装置2a,2bでは、それぞれの表示部24の一般表示領域40a,40bに隣接した仮想的な仮想表示領域45a,45bであり、仮想表示領域設定部25により設定されるものである。以下、一般表示領域40a,40bの任意の一つを現す場合には一般表示領域40と表現し、仮想表示領域45a,45bの任意の一つを表す場合には仮想表示領域45と表現することがある。
【0039】
なお、本実施形態では、上記のように仮想表示領域45を所定表示領域として設定しているが、この所定表示領域は、例えば、端末装置2に設けられた表示部24の表示領域の一部に設けてもよい。
【0040】
ステップS03において仮想表示領域45を作成すると、端末装置2は、操作命令送信部27より画像投影装置1に対して起動作業が完了したことを通知する(ステップS04)。そして、当該通知を受信した画像投影装置1が、操作命令処理部13より端末装置2に対して接続が完了したことを通知することにより(ステップS05)、画像投影装置1と端末装置2との接続処理を完了する。
【0041】
次に、アプリケーションの起動動作について、図5及び図6を用いて説明する。図5及び図6は、本実施形態の画像投影システムSにおけるアプリケーションの起動動作の一例を示すシーケンス図である。なお、この動作は、端末装置2a及び端末装置2bにおいてそれぞれ行われるものであり、代表して端末装置2aについて説明する。
【0042】
図5に示すように、先ず、使用者Aにより端末装置2aの有するアプリケーションプログラムの実行操作が行われると、端末装置2aは、操作対象となったアプリケーションプログラムを実行し、このアプリケーションのデータファイルに応じた画像データを生成する(ステップS11)。なお、アプリケーションプログラムの実行操作は、使用者Aが操作部26を用いて行うものである。
【0043】
ここで、データファイルとは、端末装置2の有する表計算ソフトウエア、図形作成ソフトウエア等の各種アプリケーションにより実行されるアプリケーションの保存データファイルであり、各端末装置2の有する記憶部20に記憶されている。
【0044】
また、このアプリケーションプログラムは、端末装置2において、アプリケーション制御部32、画像生成部21及び編集部23として機能するものである。このアプリケーション制御部32は、端末装置2の使用者が操作部26を用いて起動操作を行うと、アプリケーションプログラムを起動させ、端末装置2の使用者が操作部26を用いて終了操作を行うと、アプリケーションプログラムを終了させる。つまり、このようなアプリケーション制御部32は、アプリケーションの制御を行うこととなる。また、アプリケーションプログラムは、端末装置2の使用者が操作部26を用いてデータファイルの実行操作を行うと、画像生成部21として、記憶部20に記憶されたデータファイルに基づく画像(例えば、図1において、端末装置2により生成された画像36a、端末装置2bにより生成された画像36b)のデータを生成する。さらに、端末装置2の使用者が操作部26や指示部28を用いて、画像生成部21により生成した画像データに対して所定の操作を行う等により、アプリケーションプログラムは、編集部23として、当該操作に基づいてデータファイルの編集を行う。
【0045】
このように、端末装置2aは、画像生成部21によりデータファイルに基づく画像データが生成されると、次に、生成した画像データに基づく画像を表示部24により表示する(ステップS12)。
【0046】
そして、端末装置2aは、新規に起動されたアプリケーションの起動を検出し(ステップS13)、表示制御部29がアプリケーションのウィンドウ情報を取得する(ステップS14)。次に端末装置2は、画像位置判定部30が、ウィンドウが表示されている位置を判定するウィンドウ位置判定を行い(ステップS15)、ウィンドウが仮想表示領域45にない場合、即ち、一般表示領域40に表示されている場合には、その後に特別な処理を実行せず、処理を完了する。
【0047】
一方、図6に示すように、ステップS15において、端末装置2aは、ウィンドウが仮想表示領域45にある場合には、画像表示位置変更部31が、ウィンドウを一般表示領域40に移動させるための移動コマンドを生成し(ステップS16)、その移動コマンドに基づいて、ウィンドウ画像の表示領域を一般表示領域40に移動させ、処理を完了する。
【0048】
このように、端末装置2aは、アプリケーションが起動操作され、そのアプリケーションに対応して生成された画像データの表示位置が仮想表示領域45である場合には、そのウィンドウを仮想表示領域45から一般表示領域40に移動させることとなる。
【0049】
次に、投影動作について、図7を用いて説明する。図7は本実施形態の画像投影システムSにおける投影動作の一例を示すシーケンス図である。
【0050】
図7に示すように、使用者Aの操作により、端末装置2aで実行されているアプリケーションによって生成される画像を仮想表示領域45aに位置させると、端末装置2aは、仮想表示領域45aにある画像を検出し(ステップS31)、当該検出結果に基づき画像属性情報を更新する(ステップS32)。この画像属性情報とは、仮想表示領域45にある画像に関する情報であり、仮想表示領域45にある各画像を識別するための識別情報(ウィンドウID)の他、当該画像の位置やサイズ、新規に起動した画像であるか否か等の情報(ウィンドウ情報とも称する)である。
【0051】
なお、使用者による、表示部24の一般表示領域40に表示された画像を仮想表示領域45に位置させる操作としては、後述する操作部26を用いて当該画像を仮想表示領域45に移動させる他、一般表示領域40に表示される画像の所定位置(例えば、キャプションバー)に所定のボタンを設け、使用者が操作部26を用いてこのボタンを押下することにより、当該画像が仮想表示領域45に移動するようにしてもよい。
【0052】
画像属性情報が更新されると、端末装置2aは、画像投影装置1に対して更新された画像属性情報を送信する(ステップS33)。ここで、ステップS31〜ステップS33までの処理は、所定領域画像送信部22により行われるものである。
【0053】
次に、画像投影装置1は、各端末装置2から画像属性情報を受信すると、端末接続管理部15により共有ウィンドウ管理テーブルの情報を更新する(ステップS34)。共有ウィンドウ管理テーブルとは、複数の端末装置2から取得した複数の画像データに関する画像属性情報を管理するためのテーブルであり、画像投影装置1に設けられた記憶部14の所定の領域に記憶される。
【0054】
次に、画像投影装置1は、共有ウィンドウ管理テーブルの情報に基づいて端末装置2a等に対して画像データ要求情報を送信する(ステップS35)。この画像データ要求情報とは、仮想表示領域45にある画像の画像データのうち、画像投影装置1の画像投影部12によって投影される画像の画像データを端末装置2aに要求するものである。すなわち、仮想表示領域45bにある画像が画像投影装置1の画像処理部11によって他の画像と重畳合成された際に、他の画像に隠れない部分(画像として視認できる部分)の画像の画像データのみを送信するよう指示するものである。画像投影装置1は、この画像データ要求情報を画像取得部10より送信する。なお、このような画像データ要求情報は、接続されている他の端末装置(例えば、端末装置2bなど)においても同じように送信される。
【0055】
そして、各端末装置2aは、この画像データ要求情報に基づいて、仮想表示領域45aにある画像の一部又は全部の画像データを、通信経路3を介して画像投影装置1に送信する(ステップS36)。かかる画像データの送信は、所定領域画像送信部22により行われるものである。
【0056】
最後に、画像データを受信した画像投影装置1は、各端末装置2a等から取得した画像データを共有ウィンドウ管理テーブルの情報に基づいて合成し、さらに、この合成した画像データに基づいた画像(以下、「合成画像」と称することもある)を画像投影部12により投影する(ステップS37)。ここで、各端末装置2a等から取得した画像データの合成は、画像処理部11により行われるものである。
【0057】
すなわち、例えば、図1に示すように、端末装置2aの仮想表示領域45aに画像36aが位置しており、端末装置2bの仮想表示領域45bに画像36bが位置している場合、画像投影装置1は、画像取得部10により、端末装置2aから取得した画像36aの画像データと端末装置2bから取得した画像36bの画像データとを取得し、さらに、画像処理部11によりこれらの画像データを合成し、合成した画像データに基づく合成画像を画像投影部12により投影する。なお、画像は、仮想表示領域45a及びこの仮想表示領域45a以外の一般表示領域40aの両方の領域に亘って位置している場合には、画像投影装置1は、画像のうち、仮想表示領域45aに位置している部分の画像の画像データのみを取得する。
【0058】
このように、画像投影装置の画像処理部により合成した画像データに基づく画像を、画像投影装置の画像投影部12によりスクリーン等の大画面上に投影することにより、各端末装置に合成した画像の画像データを送信する必要がないため、通信経路にかかる負荷を軽減することができ、その結果、多くの端末装置が画像投影装置と接続した場合であっても、上記複数人による情報の共有を円滑に行うことができる。
【0059】
また、本実施形態にかかる端末装置2では、仮想表示領域45にある画像の画像データの全てを送信するのではなく、画像投影装置1の画像処理部11によって、他の端末装置2の画像データと合成されたときに、当該他の画像データによって隠れる部分の画像データは送信しないようにしている。
【0060】
このように、端末装置2の所定領域画像送信部22は、仮想表示領域45にある画像の画像データのうち、画像投影装置1の画像処理部11により複数の画像データと合成された際に、画像投影部12によって投影されない部分の画像の画像データを画像投影装置1に送信しないため、画像投影装置1に余分な画像データが送信されず、送信される画像データのデータサイズを小さくすることができ、その結果、通信経路3にかかる負担を軽減させることができる。
【0061】
また、上記のように、本実施形態における画像投影システムSでは、端末装置2の所定領域画像送信部22は、画像データに関連する情報である画像属性情報を、通信経路3を介して画像投影装置1へ送信し、画像投影装置1の画像取得部10は、通信経路3を介して画像属性情報を取得し、画像投影装置1の画像処理部11は、画像属性情報に基づいて、複数の端末装置2の仮想表示領域45にある画像の画像データを合成することとしている。かかる構成とすることにより、画像投影装置1は、画像属性情報に基づいて画像データの合成を行うことが可能となるため、例えば、画像属性情報を画像の位置及びサイズの情報とすることにより、その情報に基づいて各画像データに配置して投影表示することができる。
【0062】
なお、本実施形態において、端末装置2の制御部は、画像生成部21によって編集後のデータファイルに基づいて仮想表示領域45にある画像データが生成される毎に、仮想表示領域45にある画像の画像データを画像投影装置1へ送信することとしている。
【0063】
すなわち、ステップS32において画像属性情報の更新がなされる毎に、更新された画像属性情報を画像投影装置1に送信することで、端末装置2の使用者が所定の操作を行ってから、ステップS36において画像データを画像投影装置1に送信するまでの処理をスムーズに行うことできる。換言すれば、画像投影装置1で投影されている画像をリアルタイムで更新することができるため、複数人による情報の共有や共同作業を円滑に行うことが可能となる。
【0064】
また、本実施形態では、端末装置2に、表示部24の一般表示領域40とは別個に所定表示領域としての仮想表示領域45を設けることにより、複数人による情報の共有や共同作業を円滑に行うことができる。例えば、端末装置2の利用者は、所定表示領域と所定表示領域以外の領域とを明確に区別することができるため、意図しない画像が投影表示されることを防止することができる。また、表示部24の一般表示領域40の画像は画像投影装置1で投影表示されないので、この表示部24の一般表示領域40を端末装置2の利用者だけの作業スペースとして利用することができる。
【0065】
ところで、本実施形態にかかる画像投影システムSでは、端末装置2からの要求に応じて任意のデータファイルを編集することを可能としている。すなわち、本実施形態において、画像投影装置1は、画像投影部12で投影している画像のうちの任意の画像を操作するための画像操作命令を他の端末装置などから取得したとき、操作命令処理部13により、この画像操作命令による操作対象の画像の画像データを送信した端末装置2へ、この画像送信情報を送信し、端末装置2は、画像操作命令を受信したとき、編集部23によりこの画像操作命令に応じてデータファイルを編集することとしている。
【0066】
以下、この編集動作について、図8を用いてさらに詳細に説明する。図8は、本実施形態の画像投影システムSにおける編集動作の一例を示すシーケンス図である。
【0067】
図8に示すように、端末装置2aの使用者Aにより、画像投影装置1で投影されている画像のうち、端末装置2bの仮想表示領域45bにある画像に対して所定の操作入力(例えば、画像の移動)が行われると、端末装置2aは、当該操作に基づく操作入力を取得する(ステップS41)。ここで、画像投影装置1で投影されている、端末装置2の仮想表示領域45にある画像の操作は、使用者が操作部26や指示部28を用いて行うものである。
【0068】
次に、端末装置2aは、使用者Aによる当該操作が端末装置2aで実行されるのを防ぐため、当該操作入力を破棄し(ステップS42)、操作入力を、通信経路3を介して画像投影装置1に送信する(ステップS43)。ここで、操作入力の破棄、及び操作入力の送信は、端末装置2の操作命令送信部27により行われるものである。
【0069】
次に、画像投影装置1は、端末装置2aから操作入力を受信すると、操作命令処理部13により、この操作入力を、送信すべき端末装置2毎に当該操作入力を振り分ける処理を行う(ステップS44)。ここでは、この操作入力は、端末装置2bに送信されるように振り分けられる。
【0070】
また、画像投影装置1は、受信した操作入力、及び画像取得部10で取得したウィンドウ情報(画像属性情報)に基づいて、各端末装置2の仮想表示領域45にある各画像に割り当てられている階層レベルを更新する(ステップS45)。すなわち、画像投影装置1は、操作入力及びウィンドウ情報により、どの画像が操作されたのかを判定し、共有ウィンドウ管理テーブルに管理されている当該画像の階層レベルを最上層に設定するとともに、他の画像の階層レベルを順次繰り下げる処理を行う。ここで、この階層レベルの更新は、画像処理部11により行われるものである。
【0071】
このように、本実施形態においては、画像投影装置1の画像処理部11は、各端末装置2の仮想表示領域45にある画像の画像データ毎に異なる階層レベルを割り当て、画像データの合成を、階層レベル順に画像データを重畳合成することによって行うこととしている。
【0072】
すなわち、図1に示すように、画像投影装置1の画像処理部11は、各端末装置2の仮想表示領域45にある画像36a、36bにそれぞれ階層レベルを割り当て、下層から順に重畳合成し、当該合成した画像データに基づいた画像(合成画像)を投影する。
【0073】
かかる構成とすることにより、画像投影装置1の画像処理部11は、各端末装置2の仮想表示領域45にある画像の画像データを階層レベル順に重畳合成するので、画像投影装置1を高解像度化又は高画角化しなくても、その投影表示された画像が見にくくならず、その結果、複数人による情報の共有や共同作業を円滑に行うことが可能となる。
【0074】
そして、画像投影装置1は操作命令処理部13により、ステップS43で端末装置2aから受信した画像操作命令を、通信経路3を介して端末装置2bに送信し(ステップS46)、当該画像操作命令を受信した端末装置2bは、この画像操作命令に基づく操作入力を再生して(ステップS47)、この再生した操作入力に応じて、アプリケーションは編集部23として実行中のデータファイルの編集を行う。
【0075】
このように、本実施形態にかかる画像投影システムSでは、画像投影装置1は、画像投影部12で投影している画像のうちの所定画像を操作するための画像操作命令を取得したとき、この画像操作命令による操作対象の画像の画像データを送信した端末装置2へ、この画像操作命令を通信経路3を介して送信し、端末装置2は、画像投影装置1から画像操作命令を、通信経路3を介して受信したとき、この画像操作命令に応じてデータファイルを編集することとしたため、自分の端末装置2が有する画像のみならず、他の端末装置2から送信された画像の編集を行うことができ、複数人による共同作業を円滑に行うことができる。
【0076】
なお、本実施形態にかかる画像投影システムSにおいて、端末装置2は、画像投影装置1で投影されている画像を指示するための指示部28を備え、操作命令送信部27は、指示部28が所定操作されたときに、その操作に応じた画像指示命令を画像投影装置1へ送信し、画像投影装置1の画像処理部11は、端末装置2から画像指示命令を受信したとき、この画像指示命令に基づいた位置にポインタ画像を、複数の端末装置2の仮想表示領域45にある画像の画像データと共に合成することとしている。
【0077】
すなわち、例えば、図1に示すように、画像投影装置1で投影されている画像として、各端末装置2から取得した画像データに基づく合成画像の他、画像指示命令に基づくポインタ画像P1,P2を投影する。
【0078】
かかる構成とすることにより、端末装置2の使用者が、画像投影装置1によって投影されている領域のうちどこを指示しているのかを把握させることができる。
【0079】
[2.画像投影システムの具体的構成]
(画像投影装置1の構成について)
次に、画像投影装置1の構成について説明する。図9は本実施形態における画像投影装置1の構成図であり、図11は本実施形態における画像投影装置1に記憶される共有ウィンドウ管理テーブルの一例を示す図であり、図12は本実施形態における画像投影装置1に記憶される端末接続管理テーブルの一例であり、図13は本実施形態における画像投影装置1に記憶されるポインタ情報管理テーブルの一例である。
【0080】
画像投影装置1は、図9に示すように、各種操作を行うための操作パネル101と、設定情報やデータファイルなどを保持するための不揮発性メモリである記憶部102と、端末装置2と通信するためのインターフェイス104と、外部から映像信号を入力する映像信号入力回路105と、映像信号入力回路105を介して入力される映像信号やインターフェイス104を介して取得した画像データに所定の処理を施す画像処理回路106と、この画像処理回路106から出力される画像信号に基づいた画像を投影する画像投影部12と、画像投影装置1全体を制御する制御部108とを備えており、これらはハウジングに内蔵される。特に、この画像投影部12は、端末装置2の仮想表示領域45にある画像の画像データを合成した画像データに基づいた画像を投影する。
【0081】
操作パネル101は、画像投影装置1において使用者が操作パネル101を操作することによって、その操作内容に応じた制御を制御部108が実行する。
【0082】
記憶部102は、ハードディスク装置やフラッシュメモリ(flash memory)などから構成され、画像投影装置1におけるプロジェクタアプリケーション格納部103が記憶されている。このプロジェクタアプリケーション格納部103には、画像投影装置1に設定されている解像度の情報、ポインタ画像の画像データ、各端末装置2の仮想表示領域45にある画像の画像データを記憶する他、当該画像の位置情報、サイズ情報等を管理する共有ウィンドウ管理テーブル、画像投影装置1に接続している端末装置2の接続状況を管理する接続情報管理テーブル、ポインタの位置情報等を記憶するポインタ情報管理テーブル等が記憶される。
【0083】
インターフェイス104は、外部装置との通信を行うことができるUSBインターフェイスであり、端末装置2から画像データや画像操作命令等を取得したり、外部のコンピュータ装置と通信したりするときに制御部108によって用いられる。なお、インターフェイス104としてUSBインターフェイスに代えて、無線或いは有線のLANインターフェイスなどを用いるようにしてもよい。
【0084】
映像信号入力回路105は、コンポジット映像信号(例えばNTSC映像信号)やコンポーネント映像信号(例えばRGB信号)などの映像信号を入力する。
【0085】
画像処理回路106は、制御部108による制御に基づいて、映像信号入力回路105に入力された映像信号或いはインターフェイス104を介して取得した画像データに対して、複数の画像データの合成等の加工を行う。このように加工されて生成された画像信号は、画像投影部12に入力される。
【0086】
画像投影部12は、光源駆動回路120と、光源121と、照明光学系122と、透過型液晶パネル123(以下、「LCD123」とする。)と、結像光学系124と、LCD駆動回路125と、ピント調整回路126とを備えている。
【0087】
光源121は、ランプなどから構成され、制御部108によって制御された光源駆動回路120から出力される信号に基づいて、点灯駆動されて発光する。光源121で発光された光は、照明光学系122によって、照明光としてLCD123に照射される。
【0088】
LCD123は、LCD駆動回路125によって駆動され、その表示面に映像を表示する。このように表示された映像は、照明光学系122からの照明光によって、光としてLCD123から出射される。続いて、この出射光は、結像光学系124及びハウジングの投影用開口部(図示せず)を通って、スクリーン(投射面)に投影される。このように、LCD123に表示される画像がスクリーンに投影される構成となっている。なお、ピント調整回路126によって、スクリーンに投影する画像のピントを調整することができる。
【0089】
制御部108は、CPU(Central Processing Unit),ROM(Read Only Memory),RAM(Random Access Memory)などを内蔵しており、CPUがROMに予め格納されたプログラムを読み出して実行することによって、画像投影装置1を、端末装置2の仮想表示領域45(所定表示領域)にある画像の画像データを、通信経路を介して取得する取得する画像取得部10、端末装置2の仮想表示領域45にある画像の画像データを合成する画像処理部11、画像投影部12で投影している画像のうちの任意の画像を操作するための画像操作命令を取得したとき、この画像操作命令による操作対象の画像の画像データを送信した端末装置2へ、この画像操作命令を送信する操作命令処理部13、端末装置2との接続を管理する端末接続管理部15等として機能させる。
【0090】
制御部108は画像取得部10として、インターフェイス104を介して端末装置2から、当該端末装置2の仮想表示領域45にある画像の画像データ或いは画像操作命令を取得する。なお、画像操作命令は、図示しないリモコン装置から取得することもできる。
【0091】
また、制御部108は、画像処理回路106と共に画像処理部11として機能することにより、複数の端末装置2の仮想表示領域45にある画像の画像データを合成する。つまり、画像処理部11は、このような合成処理を行う画像合成部(図示せず)を有する。この画像処理部11による画像データの合成は、記憶部102に記憶された共有ウィンドウ管理テーブル、及び接続情報管理テーブルに基づいて実行される。また、画像処理部11は、画像処理回路106と共に画像処理部11として機能することにより、合成された画像データに基づく投影用の画像を描画する。つまり、画像処理部11は、このような描画処理を行う画像描画部(図示せず)を有する。
【0092】
また、制御部108は、端末接続管理部15として、共有されているウィンドウの管理を行う。つまり、端末接続管理部15は、このような管理を行う共有ウィンドウ管理部(図示せず)を有する。
【0093】
ここで、共有ウィンドウ管理テーブルについて図11を参照して説明する。
【0094】
図11に示すように、共有ウィンドウテーブルには、各端末装置2の仮想表示領域45にある画像を送信した端末装置2(オーナーPC)の名称、当該画像を表示すべき位置及びサイズに関する情報、画像データのファイル名に関する情報、画像処理部11により複数の画像データを合成する際に、各画像データを重ね合わせる順番(階層レベル)に関する情報、及び共有が許可されているウィンドウか否かが、当該画像を識別するための情報(ウィンドウID)と関連付けて記憶されている。
【0095】
各端末装置2の仮想表示領域45にある画像の位置及びサイズに関する情報は、画像投影装置1で投影される投影領域60に規定されている座標により表される。すなわち、本実施形態における画像投影装置1は、投影領域60の縦方向をX方向、横方向をY方向とし、その左上部の頂点を原点として規定している。そして、画像の位置情報は、仮想表示領域45にある各画像の左上部の頂点の座標の情報であり、画像のサイズ情報は、当該画像の幅(W)及び高さ(H)を座標の数値で表した情報であって、この位置情報とサイズ情報とにより、仮想表示領域45にある画像を画像投影装置1で投影される投影領域60のどの位置にどのサイズで投影するかを決定することができる
また、画像データを送信した端末装置2(オーナーPC)の名称は、図12に示す端末接続管理テーブルと関連付けられている。この端末接続管理テーブルには、図12に示すように、画像投影装置1に接続している端末装置2の名称が、接続状況(画像投影装置1と接続中か非接続中かの別)及び各端末装置2に割り振られたIPアドレスと関連付けられて記憶されている。
【0096】
また、制御部108は、画像処理部11として、端末装置2の操作命令送信部27により送信された画像指示命令に基づいた位置にポインタ画像を、複数の端末装置2の仮想表示領域45にある画像の画像データと共に合成する。ここで、このポインタ画像の合成は、ポインタ情報管理テーブルの情報に基づき実行されるものである。
【0097】
ポインタ情報管理テーブルは、図13に示すように、画像投影装置1で投影される投影領域60におけるポインタ画像の位置情報、及び、画像投影装置1に接続されている端末装置2に割り当てられるポインタ画像の画像ファイル名が、端末装置2の名称と関連付けられて記憶されている。また、画像投影装置1に未接続である端末装置には、位置情報、ポインタ画像として位置情報として“null”が設定され、画像投影装置1に接続されているが、ポインタ自体が仮想表示領域45にない端末装置には、位置情報として“none”が設定されることとなる。
【0098】
ここで、本実施形態では、各端末装置2の仮想表示領域45にある画像の画像データ毎に異なる階層レベルを割り当て、画像データの合成を、階層レベル順に画像データを重畳合成することによって行うこととしている。すなわち、制御部108は、各端末装置2の仮想表示領域45にある画像の画像データを合成する際、共有ウィンドウ管理テーブルに記憶されている階層レベルの情報を参照し、この階層レベルが高い順に画像を重ね合わせて出来たような画像の画像データを生成する。
【0099】
また、制御部108は、操作命令処理部13として、端末装置2からの画像操作命令を取得する。つまり、操作命令処理部13は、投影している画像のうちの所定画像を操作するための画像操作命令を取得する画像操作命令取得部(図示せず)を有する。
【0100】
また、制御部108は、操作命令処理部13として、画像操作命令がアプリケーションの終了を示す命令など、画像操作命令の種類を判定する。つまり、操作命令処理部13は、取得された画像操作命令が、画像の表示を終了させるための画像終了命令であるか否かを判定する画像操作命令判定部(図示せず)を有する。
【0101】
また、制御部108は、操作命令処理部13として、端末装置2からの画像操作命令に基づいて、その画像操作命令の対象となる端末装置2を決定し、画像操作命令の送信先を振り分ける。つまり、操作命令処理部13は、このような振分を行う操作入力振分部(図示せず)を有する。
【0102】
また、制御部108は、インターフェイス104と共に操作命令処理部13として機能することにより、画像投影部12で投影している画像のうちの任意の画像を操作するための画像操作命令を取得したとき、この画像操作命令による操作対象の画像の画像データを送信した端末装置2へ、この画像操作命令を送信する。つまり、操作命令処理部13は、
画像操作命令が、画像の表示を終了させるための画像終了命令であると判定された場合には、通信経路を介して、この画像操作命令による操作対象の画像の画像データを送信した端末装置へ、画像の表示を終了させる画像終了命令を送信する操作命令処理部(図示せず)を有する。
【0103】
ここで、本実施形態においては、画像操作命令を端末装置2へ送信する際、この画像操作命令による操作対象の画像の画像データ、及び当該画像操作命令を送信すべき端末装置2を、画像取得部10で取得した画像属性情報に基づいて判断することとしている。
【0104】
かかる構成とすることにより、操作対象の画像の画像データを判断するための情報をその操作毎に各端末装置2に対して別途要求する必要がなく、通信経路3にかかる負担を軽減させることができる。
【0105】
(端末装置2の構成について)
次に、端末装置2の構成について説明する。図10は、本実施形態における端末装置2の構成図である。
【0106】
本実施形態における端末装置2は、一般のパーソナルコンピュータ或いは専用端末を適用することができ、図10に示すように、表示部であるLCD200と、LCD200を駆動するためのグラフィックスコントローラ201と、各種データ等を記憶するハードディスク装置202と、通信経路3を介して画像投影装置1との間で通信を行うためのインターフェイス203と、USBデバイスとデータの入出力を行うためのUSBバスコントローラ204、これに接続する接続ポートとしてのUSBコネクタ205と、使用者の操作により所定の情報を入力可能なキーボード206及びマウス207(指示部、操作部に相当)と、端末装置2全体を制御する制御部208とを備えて構成され、これらの各種要素は第1のバス209、第2のバス210を介して相互に接続される。なお、図中の符号211は、第1のバス209と第2のバス210との間のデータの授受を行うためのバスコントローラである。
【0107】
ハードディスク装置202は、記憶部20として機能するものであり、このハードディスク装置202には、端末装置2のオペレーティングシステム(OS)プログラム、文書作成ソフトウエア、プレゼンテーションソフトウエア、表計算ソフトウエア、図形作成ソフトウエア等の各種アプリケーションプログラムの他、このアプリケーションプログラムにより作製されるデータファイルが格納されている。また、上記アプリケーションプログラムとは別に、本実施形態における画像投影システムS用の処理プログラムとしての画像共有プログラムが格納されている。また、この記憶部20は、生成されたアプリケーションが終了する場合に、そのアプリケーションが終了した際におけるウィンドウ(画像)の表示位置を記憶する画像位置記憶部を有する。
【0108】
なお、この画像共有プログラムは、例えば、通信経路3に接続されたサーバ(図示せず)から、インターフェイス203を介して、制御部208のハードディスク装置202にダウンロードされるようにしてもよく、又CD−ROM等の記録媒体に記録されてから記録媒体ドライブ(図示せず)を介して、制御部208のハードディスク装置202に読み込まれるようにしてもよい。
【0109】
インターフェイス203は、外部装置との通信を行うことができるUSBインターフェイスであり、端末装置2から画像データや画像操作命令等を取得したり、外部のコンピュータ装置と通信したりするときに制御部208によって用いられる。なお、インターフェイス203としてUSBインターフェイスに代えて、無線或いは有線のLANインターフェイスなどを用いるようにしてもよい。
【0110】
制御部208は、CPU(Central Processing Unit),ROM(Read Only Memory),RAM(Random Access Memory)などを内蔵しており、CPUがハードディスク装置202に格納された画像共有プログラムを読み出して実行することによって、端末装置2を、所定領域画像送信部22、仮想表示領域設定部25、操作命令送信部27、画像位置判定部30、画像表示位置変更部31として機能させる。
【0111】
また、制御部208は、CPUがハードディスク装置202に記憶した各種アプリケーションプログラムを読み出して実行することによって、画像生成部21、 編集部23、表示制御部29として機能させる。
【0112】
制御部208のCPUは、ハードディスク装置202に記憶した各種アプリケーションプログラムを実行して画像生成部21として機能し、アプリケーション、データファイルに基づいた画像データを生成する。生成された画像データは、表示部としてのLCD200及びグラフィックスコントローラ201によって、当該画像データに基づく画像としてLCD200に表示される。
【0113】
制御部208は、インターフェイス203と共に所定領域画像送信部22として機能することによって、画像生成部21で生成した画像データに基づく画像の位置が仮想表示領域45にあるときに、その画像の一部又は全部の画像データを通信経路3を介して画像投影装置1へ送信する。ここで、本実施形態における所定表示領域は、表示部の一般表示領域40に隣接するように設定された仮想表示領域45であり、この仮想表示領域45は、制御部208のCPUがハードディスク装置202に記憶された画像共有プログラムを実行して仮想表示領域設定部25として機能することで設定される。
【0114】
ここで、本実施形態にかかる画像投影システムSでは、画像生成部21によって編集後のデータファイルに基づいて仮想表示領域45にある画像データが生成される毎に、仮想表示領域45にある画像の画像データを画像投影装置1へ送信することとしている。
【0115】
かかる構成とすることにより、画像投影装置1で投影されている画像をリアルタイムで更新することができるため、複数人による情報の共有や共同作業を円滑に行うことが可能となる。
【0116】
なお、この画像データを送信する場合は、仮想表示領域45にある画像をキャプチャして得られるBMP(Bit Map)データをJPEG(Joint Photographic Experts Group)データに変換する。このように、画像投影装置1に送信する画像データを圧縮することにより、通信経路3への負荷を軽減させることができる。
【0117】
また、制御部208は、編集部23として機能することにより、画像投影装置1から画像操作命令を、通信経路3を介して受信したとき、画像操作命令を取得し、この画像操作命令から操作入力を再生し、この操作入力に応じてデータファイルを編集し、その画像操作命令を破棄する。この画像操作命令の受信は、インターフェイス203により行われる。このような編集部23は、画像操作命令を取得する操作入力取得部、画像操作命令を再生する操作入力再生部、画像操作命令を破棄する操作入力破棄部を有する。
【0118】
また、制御部208は、インターフェイス203と共に操作命令送信部27として機能することにより、ポインタが仮想表示領域45に位置している場合に、キーボード206又はマウス207により所定の操作/指示が行われると、その操作/指示に応じた画像操作命令を画像投影装置1へ送信する。この際、上記操作/指示が自分の端末装置2で実行されることを防ぐために、制御部208は、操作入力情報、或いは指示情報を破棄した後に当該画像操作命令を画像投影装置1に送信する。特に、操作命令送信部27は、画像生成部21によって画像が生成されたときに、画像が生成された旨の生成情報を、通信経路3を介して画像投影装置1に送信する生成情報送信部(図示せず)、表示が終了されたときに、画像の表示が終了された旨の終了情報を、通信経路3を介して画像投影装置1に送信する終了情報送信部(図示せず)を有する。なお、ここで「操作」とは、自装置又は他の端末装置のアプリケーションで実行中のデータファイルを編集するための命令であり、「指示」とは、画像投影装置1が投影している画像を指し示すポインタ画像を表示又はその移動のための命令である。
【0119】
このようにキーボード206やマウス207を操作部として用いることにより、画像投影装置1で投影されている他の端末装置2の仮想表示領域45にある画像を操作、編集することができ、また、マウス207を指示部として用いることにより、さらに、端末装置2の使用者が、画像投影装置1によって投影されている領域のうちどこを指示しているのかを把握させることができる。さらに、当該画像の操作、指示は、操作対象の画像の画像データを送信した端末装置へ画像操作命令を送信することによって行われるため、通信経路3に大きな負荷をかけることなく画像の操作を行うことができる。
【0120】
また、制御部208は、グラフィックスコントローラ201とともに、表示制御部29として機能することにより、生成した画像データに基づく画像を表示させる制御を行うとともに、その表示を終了させる制御を行う。
【0121】
また、制御部208は、画像位置判定部30として機能することにより、アプリケーションに基づいて生成された画像の表示が所定表示領域で終了された後に、そのアプリケーションに基づく画像が再度生成されるときに、記憶された画像の位置が仮想表示領域45であるか否かを判定することによって、表示が終了された画像の位置が仮想表示領域45であるか否かを判定することとなる。
【0122】
また、制御部208は、画像表示位置変更部31として機能することにより、アプリケーションに基づいて生成された画像の表示が所定表示領域で終了され、かつ、そのアプリケーションに基づく画像が再度生成されたことを条件に、記憶された画像の位置を仮想表示領域45ではない一般表示領域40として更新させることによって、仮想表示領域45ではない一般表示領域40に画像の表示位置を変更させることとなる。
【0123】
(画像投影装置の具体的動作について)
次に、画像投影装置1の具体的動作の一例について、図14〜図21を参照して説明する。図14は、本実施形態における画像投影装置1のメイン処理フローチャートである。
【0124】
(画像投影装置メイン処理)
図14に示すように、画像投影装置1の電源スイッチ(図示せず)が押下されたとき、画像投影装置1の制御部108は、初期化処理を行う(ステップS500)。そして、制御部108は、接続処理を行う(ステップS501)。この接続処理は、画像投影装置1が端末装置2と通信経路3を介して接続するための処理である。
【0125】
次に、制御部108は、端末装置2からウィンドウ情報(画像属性情報)を受信したか否かを判定する(ステップS502)。この処理において、端末装置2からウィンドウ情報を受信したと判定すると(ステップS502:Yes)、制御部108は、ウィンドウ情報更新処理を行う(ステップS503)。このウィンドウ情報更新処理は、端末装置2から送信される情報に応じて共有ウィンドウ管理テーブルの更新等を行うものである。ステップS503のウィンドウ情報報更新処理を終了すると、ステップS504に処理を移す。一方、端末装置2からウィンドウ情報を受信していないと判定すると(ステップS502:No)、ステップS503を実行することなく、ステップS504に処理を移す。
【0126】
そして、ステップS504において、制御部108は、表示領域算出処理を行う。この表示領域算出処理は、画像投影装置1で投影される各画像の、投影領域60における表示領域を算出するものである。
【0127】
ステップS504の処理を終了すると、制御部108は、画像投影処理を行う(ステップS505)。この画像投影処理は、複数の端末装置2から取得した画像データ、及びポインタ画像の合成を行い、その合成された画像を投影させるものである。つまり、この制御部108は、複数の端末装置2の仮想表示領域にある画像の画像データを、通信経路3を介して取得し、それらの画像データを合成し、合成した画像データに基づいた画像を投影することとなる。
【0128】
次に、制御部108は、操作入力通知を受信したか否かを判定する(ステップS506)。この処理において、端末装置2から操作入力通知(画像操作命令)を受信したと判定すると(ステップS506:Yes)、制御部108は、操作命令振分処理を行う(ステップS507)。この操作命令振分処理は、端末装置2から受信した操作入力による操作対象の画像の画像データを送信した端末装置2へ、この操作入力を送信するものである。
【0129】
一方、ステップS507の処理を終了したとき、或いはステップS506において、端末装置2から操作入力通知を受信していないとき(ステップS506:No)、制御部108は、電源がOFFされたか否かを判定し(ステップS508)、電源がOFFされていないとき(ステップS508:No)、処理をステップS501に移行する。一方、電源がOFFされたと判定すると(ステップS508:Yes)、制御部108は、メイン処理を終了する。つまり、このような制御部108は、投影している画像のうちの所定画像を操作するための画像操作命令を取得し、取得された画像操作命令が、画像の表示を終了させるための画像終了命令であるか否かを判定するなど、各種の画像操作命令の種類を判定する。
【0130】
(端末装置の具体的動作について)
次に、端末装置2の具体的動作の一例について、図15〜図21を参照して説明する。図15は、本実施形態における端末装置2のメイン処理フローチャートである。
【0131】
(端末装置メイン処理)
図15に示すように、端末装置2の電源スイッチ(図示せず)が押下されたとき、端末装置2の制御部208は、接続処理を行う(ステップS200)。この接続処理は、画像投影装置1と通信経路3を介して接続するための処理である。この処理は、図16におけるステップS210〜ステップS214までの処理であり、後述する。
【0132】
ステップS200における接続処理が終了すると、制御部208は、ウィンドウ情報が更新されたか否かを判定する(ステップS201)。制御部208は、ウィンドウ情報が更新されたと判定すると(ステップS201:Yes)、更新されたウィンドウ情報に関する制御を行うウィンドウ情報更新処理を実行し(ステップS202)、処理をステップS203に移行させる。この処理は、図17におけるステップS220〜ステップS225までの処理であり、後述する。一方、制御部208は、ウィンドウ情報が更新されていないと判定すると(ステップS201:No)、ステップS202を実行することなく、ステップS203に処理を移行させる。
【0133】
ステップS203において、制御部208は、ウィンドウを共有領域に操作入力したか否かを判定する。制御部208は、ウィンドウを共有領域に操作入力したと判定すると(ステップS203:Yes)、操作入力転送処理を実行し(ステップS204)、処理をステップS205に移行させる。この処理は、図20におけるステップS230〜ステップS233までの処理であり、後述する。一方、制御部208は、ウィンドウを共有領域に操作入力していないと判定すると(ステップS203:No)、ステップS204を実行することなく、ステップS205に処理を移行させる。
【0134】
ステップS205において、制御部208は、共有ウィンドウ画像が更新されたか否かを判定する。制御部208は、共有ウィンドウ画像が更新されたと判定すると(ステップS205:Yes)、画像データ送信処理を実行し(ステップS206)、処理をステップS207に移行させる。この処理は、図21におけるステップS240、ステップS241までの処理であり、後述する。一方、制御部208は、共有ウィンドウ画像が更新されていないと判定すると(ステップS205:No)、ステップS206を実行することなく、ステップS207に処理を移行させる。
【0135】
ステップS207において、制御部208は、データを受信したか否かを判定する。制御部208は、データを受信したと判定すると(ステップS207:Yes)、操作入力再生処理を実行し(ステップS208)、処理をステップS209に移行させる。この処理は、図19におけるステップS270〜ステップS278までの処理であり、後述する。一方、制御部208は、データを受信していないと判定すると(ステップS207:No)、ステップS208を実行することなく、ステップS209に処理を移行させる。
【0136】
ステップS209において、制御部208は、接続解除操作があったか否かを判定し、接続解除操作がなかったと判定すると(ステップS209:No)、処理をステップS201に移行する。一方、接続解除操作があったと判定すると(ステップS209:Yes)、制御部208は、メイン処理を終了する。
【0137】
(接続処理)
次に、ステップS1000における接続処理について、図16を用いて具体的に説明する。図16は、本実施形態における端末装置2の接続処理フローチャートである。
【0138】
図16に示すように、接続処理を開始すると、制御部208は、画像投影装置1に対して接続要求信号を送信する(ステップS210)。
【0139】
次に、制御部208は、画像投影装置1から解像度の情報を受信したか否かを判定する(ステップS211)。この処理において、画像投影装置1から解像度の情報を受信したと判定すると(ステップS211:Yes)、制御部208は、LCD200による表示領域に隣接した仮想表示領域45(共有領域)を作成する(ステップS212)。この際、作成される仮想表示領域45の解像度は、ステップS211で画像投影装置1から受信した解像度の情報に基づき設定される。一方、画像投影装置1から解像度の情報を受信していないと判定すると(ステップS211:No)、制御部208は、再度、ステップS211に処理を移す。
【0140】
ステップS212の処理が終了すると、制御部208は、起動準備が完了したことを画像投影装置1に通知する(ステップS213)。そして、制御部208は、画像投影装置1から接続完了通知を受信したか否かを判定し(ステップS214)、画像投影装置1から接続完了通知を通知したと判定すると(ステップS214:Yes)、制御部208は、接続処理を終了する。一方、画像投影装置1から接続完了通知を通知していないと判定すると(ステップS214:No)、制御部208は、再度、ステップS214に処理を移す。
【0141】
(ウィンドウ情報更新処理)
次に、ステップS202におけるウィンドウ情報更新処理について、図17を用いて具体的に説明する。図17は、本実施形態における端末装置2のウィンドウ情報更新処理フローチャートである。
【0142】
図17に示すように、ウィンドウ情報更新処理を開始すると、制御部208は、アプリケーションを新規に起動させたか否かを判定する(ステップS220)。この判定は、使用者がマウス207を用いて、LCD200の表示領域にある画像に対して所定の操作がなされたか否かにより、又は、ウィンドウを新規に生成した旨の操作入力情報を画像投影装置1から受信したか否かにより行われる。この処理において、アプリケーションを新規に起動させたと判定すると(ステップS220:Yes),制御部208は、そのアプリケーションのウィンドウIDを取得し(ステップS221)、新規起動フラグをオンとし(ステップS222)、処理をステップS223に移行する。一方、ステップS220において、制御部208は、アプリケーションを新規に起動させていないと判定すると(ステップS220:No)、制御部208は、ステップS221、ステップS222を実行することなく、ステップS223に移行する。
【0143】
ステップS223において、制御部208は、新規に起動されたウィンドウがメイン領域内であるか否かを判定する。つまり、制御部208は、アプリケーションに基づいて生成された画像の表示が終了された後に、そのアプリケーションに基づく画像が再度生成されるときに、記憶された画像の位置が仮想表示領域45であるか否かを判定し、以前に表示が終了された画像の位置が仮想表示領域45であるか否かを判定することとなる。この処理において、制御部208は、ウィンドウがメイン領域内であると判定すると(ステップS223:Yes)、新規起動フラグをオフとし(ステップS224)、ウィンドウ情報更新処理を終了する。一方、制御部208は、ウィンドウがメイン領域内ではない、即ち、共有領域内であると判定すると(ステップS223:No)、共有領域に位置するウィンドウに関する制御を行う共有ウィンドウ情報更新処理を実行し(ステップS225)、ウィンドウ情報更新処理を終了する。このステップS225の処理は、図18におけるステップS250〜ステップS264までの処理である、後述する。
【0144】
(共有ウィンドウ情報更新処理)
次に、ステップS225における共有ウィンドウ情報送信処理について、図18を用いて具体的に説明する。図18は、本実施形態における端末装置2の共有ウィンドウ情報送信処理フローチャートである。
【0145】
図18に示すように、共有ウィンドウ情報送信処理を開始すると、制御部208は、ウィンドウ共有化したか否かを判定する(ステップS250)。この処理において、制御部208は、ウィンドウ共有化したと判定すると(ステップS250:Yes)、ステップS251に処理を移す。一方、制御部208は、ウィンドウ共有化していないと判定すると(ステップS250:No)、ステップS261に処理を移す。
【0146】
ステップS261において、制御部208は、ウィンドウを共有除外したか否かを判定する。この処理において、制御部208は、ウィンドウを共有除外したと判定すると(ステップS261:Yes)、共有ウィンドウ削除フラグをセットし(ステップS262)、ステップS256に処理を移す。一方、制御部208は、ウィンドウを共有除外していないと判定すると(ステップS261:No)、共有ウィンドウ情報が更新されたか否かを判定する。(ステップS263)。この処理において、制御部208は、共有ウィンドウ情報が更新されたと判定すると(ステップS263:Yes)、共有ウィンドウの更新フラグをセットし(ステップS264)、ステップS256に処理を移す。一方、制御部208は、共有ウィンドウ情報が更新されていないと判定すると(ステップS263:No)、共有ウィンドウ情報更新処理を終了する。
【0147】
ステップS251において、制御部208は、新規起動フラグがあるか否かを判定する。この処理において、制御部208は、新規起動フラグがあると判定すると(ステップS251:Yes)、移動指示を操作入力情報として生成し(ステップS252)、操作入力再生処理を実行する(ステップS253)。つまり、制御部208は、画像の位置が仮想表示領域45であると判定された場合には、記憶された画像の位置を、仮想表示領域45ではない一般表示領域40として更新させることによって、アプリケーションに基づいて生成された画像の表示が所定表示領域で終了され、かつ、そのアプリケーションに基づく画像が再度生成されたことを条件に、一般表示領域40に画像の表示位置を変更させることとなる。この処理は、図19におけるステップS270〜ステップS278までの処理であり、後述する。そして、制御部208は、新規起動フラグをオフとし(ステップS254)、共有ウィンドウ情報更新処理を終了する。なお、本実施形態においては、同じファイルを同じアプリケーションで終了、起動させることによって、仮想表示領域45で画像の表示を終了し、再度生成したことを条件に、一般表示領域40に画像の表示位置を変更させたが、これに限らず、例えば、異なるファイルであっても、同じアプリケーションで終了、起動させることによって、仮想表示領域45で画像の表示を終了し、再度生成できればよい。
【0148】
一方、制御部208は、新規起動フラグがないと判定すると(ステップS251:No)、共有ウィンドウの追加フラグをセットし(ステップS255)、ステップS256に処理を移す。
【0149】
ステップS256において、制御部208は、共有ウィンドウのサイズと位置を取得し、ウィンドウ情報転送データを作成し(ステップS257)、ウィンドウ情報を画像投影装置1に通知する(ステップS258)。この処理が終了した場合には、共有ウィンドウ情報更新処理を終了する。
【0150】
(操作入力再生処理)
次に、ステップS208及びステップS253における操作入力再生処理について、図19を用いて具体的に説明する。図19は、本実施形態における端末装置2の操作入力再生処理フローチャートである。
【0151】
図19に示すように、操作入力再生処理を開始すると、制御部208は、操作入力情報があるか否かを判定する(ステップS270)。この処理において、画像投影装置1など他の装置からの情報の受信や、端末装置2自身における操作に応じた情報に基づいて、操作入力情報があると判定すると(ステップS270:Yes)、制御部208は、操作入力情報を再生することにより(ステップS271)、操作の対象となるデータファイルに応じたアプリケーションプログラムに対して、当該画像操作命令に基づく編集操作を実行させる。また、制御部208は、操作入力がアプリケーションの起動である場合には、アプリケーション、データファイルに基づいた画像データを生成し、生成した画像データに基づく画像を表示させる制御を行うこととなる。また、制御部208は、操作入力がアプリケーションの終了である場合には、画像データに基づく画像の表示を終了させる制御を行うとともに、その画像の位置を記憶することとなる。
【0152】
次に、制御部208は、終了操作入力の受信を検出したか否かを判定する(ステップS272)。この処理において、終了操作入力の受信を検出したと判定すると(ステップS272:Yes)、制御部208は、対象となるウィンドウIDを取得し(ステップS273)、共有ウィンドウの終了フラグをセットする(ステップS274)。そして、制御部208は、ウィンドウの終了を示すウィンドウ情報転送データを作成し(ステップS275)、そのウィンドウ情報転送データによって、ウィンドウ情報を画像投影装置1に通知し(ステップS276)、操作入力再生処理を終了する。
【0153】
一方、ステップS272において、制御部208は、終了操作入力の受信を検出していないと判定すると(ステップS272:No)、ステップS273〜ステップS276を実行することなく、操作入力再生処理を終了する。
【0154】
また、ステップS270において、制御部208は、操作入力情報がないと判定すると(ステップS270:No)、レジストリ変更情報を取得したか否かを判定する(ステップS277)。この処理において、制御部208は、レジストリ変更情報を取得したと判定すると(ステップS277:Yes)、OSが保有している設定情報を編集し(ステップS278)、操作入力再生処理を終了する。一方、ステップS277において、制御部208は、レジストリ変更情報を取得していないと判定すると(ステップS277:No)、ステップS278を実行することなく、操作入力再生処理を終了する。
【0155】
(操作入力転送処理)
次に、ステップS204における操作入力転送処理について図20を用いて具体的に説明する。図20は、本実施形態における端末装置2の操作入力転送処理フローチャートである。
【0156】
図20に示すように、操作入力転送処理を開始すると、制御部208は、操作入力に基づく操作入力情報を取得とともに(ステップS230)、当該操作入力に基づく操作が自分の端末装置2で実行されることを防ぐために、操作入力情報を破棄する(ステップS231)。
【0157】
次に、制御部208は、画像投影装置1の投影領域60に表示されているポインタの位置情報を取得し、このポインタの位置情報を共有領域の座標系に変換し(ステップS232)、この変換されたポインタの位置情報と操作入力情報とを含む操作入力転送データを生成し、画像投影装置1に対して通信経路3を介して通知する(ステップS233)。制御部208は、操作入力転送処理を終了する。特に、制御部208は、画像が生成されたときに、画像が生成された旨の生成情報を、通信経路3を介して画像投影装置1に送信するとともに、表示が終了されたときに、画像の表示が終了された旨の終了情報を、通信経路3を介して画像投影装置1に送信する。
【0158】
(画像データ送信処理)
次に、ステップS206における画像データ送信処理について、図21を用いて具体的に説明する。図21は、本実施形態における画像データ送信処理フローチャートである。
【0159】
図21に示すように、画像データ送信処理を開始すると、制御部208は、画像データ送信要求に基づき、仮想表示領域45にある画像の一部又は全部の画像データをキャプチャし、当該キャプチャした画像データをBMP(Bit MaP)形式からJPEG(Joint Photographic Experts Group)形式に変換することにより当該画像データを圧縮して(ステップS240)、この圧縮した画像データを画像投影装置1に対して通信経路3を介して送信する(ステップS241)。ステップS241の処理を終了したときには、制御部208は、画像データ送信処理を終了する。このように、制御部208は、生成した画像データに基づく画像の位置が仮想表示領域45にあるときに、その画像の一部又は全部の画像データを、通信経路3を介して画像投影装置1へ送信することとなる。
【0160】
上述したような構成とすることによって、同じアプリケーションにおいて、所定表示領域で画像の表示が終了され、再度生成されることを条件に、その画像を視認容易に投影させることなく、所定表示領域ではない表示領域に画像を表示させることができる。また、アプリケーションに基づく画像を生成させる際に画像の位置が所定表示領域であると判定した場合に、画像の位置を所定表示領域ではない領域として更新させることによって、その画像を視認容易に投影させることなく、所定表示領域ではない領域に画像を表示させることができる。
【0161】
以上、本発明の実施の形態のうちのいくつかを図面に基づいて詳細に説明したが、これらは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0162】
(第二の実施形態)
例えば、上述実施形態においては、アプリケーションの開始時において、そのアプリケーションに対応するウィンドウを表示させる位置が仮想表示領域45である場合に、その表示位置を、仮想表示領域45ではない一般表示領域40に変更させたが、これに限らず、例えば、アプリケーションの終了時において、そのアプリケーションに対応するウィンドウを表示させていた位置が仮想表示領域45である場合に、その表示位置を、仮想表示領域45ではない一般表示領域40に変更させてもよい。
【0163】
このような実施形態について図22及び図23を用いて以下に説明する。なお、理解を容易とするために、同じような構成については説明を省略する。
【0164】
上述した編集動作について図22を用いてさらに詳細に説明する。図22は、本実施形態の画像投影システムSにおける編集動作の一例を示すシーケンス図である。
【0165】
図22に示すように、端末装置2aの使用者Aにより、画像投影装置1で投影されている画像のうち、端末装置2bの仮想表示領域45bにある画像に対して所定の操作入力(例えば、画像の移動)が行われると、端末装置2aは、当該操作に基づく操作入力(画像操作命令)を取得する(ステップS51)。この場合における操作入力は、端末装置2bの仮想表示領域45bにあるアプリケーションを終了させる終了操作入力である。
【0166】
次に、端末装置2aは、使用者Aによる当該操作が端末装置2aで実行されるのを防ぐため、当該画像操作入力を破棄し(ステップS52)、終了操作入力を、通信経路3を介して画像投影装置1に送信する(ステップS53)。ここで、画像操作入力の破棄、及び操作入力の送信は、端末装置2の操作命令送信部27により行われるものである。
【0167】
次に、画像投影装置1は、端末装置2aから操作入力を受信すると、操作命令処理部13により、この操作入力を、送信すべき端末装置2毎に当該操作入力を振り分ける処理を行う(ステップS54)。ここでは、この操作入力は、端末装置2bに送信されるように振り分けられる。
【0168】
また、画像投影装置1は、受信した操作入力、及び画像取得部10で取得したウィンドウ情報(画像属性情報)に基づいて、各端末装置2の仮想表示領域45にある各画像に割り当てられている階層レベルを更新する(ステップS55)。すなわち、画像投影装置1は、操作入力及びウィンドウ情報により、どの画像が操作されたのかを判定し、共有ウィンドウ管理テーブルに管理されている当該画像の階層レベルを最上層に設定するとともに、他の画像の階層レベルを順次繰り下げる処理を行う。ここで、この階層レベルの更新は、画像処理部11により行われるものである。そして、画像投影装置1の画像処理部11は、各端末装置2の仮想表示領域45にある画像36a、36bにそれぞれ階層レベルを割り当て、下層から順に重畳合成し、当該合成した画像データに基づいた画像(合成画像)を投影する。
【0169】
そして、画像投影装置1は操作命令処理部13により、ステップS53で端末装置2aから受信した終了操作入力を、通信経路3を介して端末装置2bに送信する(ステップS56)。
【0170】
そして、終了操作入力を受信した端末装置2bは、この終了操作入力に基づいてアプリケーション終了トリガを検出し(ステップS57)、その終了操作入力に対応するウィンドウ情報を読み出し、そのウィンドウ情報に対応するウィンドウが仮想表示領域45にあるか否かを判定する(ステップS58)。そして、端末装置2bは、ウィンドウが仮想表示領域45にあると判定された場合には、画像表示位置変更部31が、ウィンドウを一般表示領域40に移動させるための移動コマンドを生成し(ステップS59)、その移動コマンドに基づいて、ウィンドウ画像の表示領域を一般表示領域40に移動させる(ステップS60)。そして、端末装置2bは、終了操作入力されたウィンドウの画像データの消去を行い(ステップS61)、処理を完了する。
【0171】
このように、端末装置2は、アプリケーションが起動操作され、そのアプリケーションに対応して生成された画像データの表示位置が仮想表示領域45である場合には、そのウィンドウを仮想表示領域45から一般表示領域40に移動させることとなる。
【0172】
(操作入力再生処理)
上述した実施形態におけるステップS208及びステップS253において呼び出される本実施形態における操作入力再生処理について、図23を用いて具体的に説明し、図19と同じような処理については発明の理解を容易とするためにその説明を省略する。図23は、本実施形態における端末装置2の操作入力再生処理フローチャートである。
【0173】
図23に示すように、ステップS271において、制御部208は、操作入力を再生を行う。この場合において、制御部208は、画像投影装置1からウィンドウの表示を終了させる旨の操作入力を受信した場合には、その操作入力に対応するウィンドウの表示を終了させることとなる。
【0174】
また、ステップS273が終了した場合には、制御部208は、ウィンドウIDを取得したウィンドウが共有領域(仮想表示領域45)のウィンドウであるか否かを判定する(ステップS280)。つまり、制御部208は、表示が終了されたときに、記憶された画像の位置が所定表示領域であるか否かを判定することとなる。この処理において、制御部208は、共有領域のウィンドウであると判定した場合には(ステップS280:Yes)、ウィンドウの表示を終了後、OSが保有している設定情報を編集し(ステップS281)、仮想表示領域45に位置していたウィンドウを一般表示領域40に移動させ、ステップS282に処理を移す。つまり、制御部208は、画像の位置が仮想表示領域45であると判定された場合には、記憶された画像の位置を、仮想表示領域45ではない一般表示領域40として更新させることとなる。従って、画像の表示が終了された際に画像の位置が所定表示領域であると判定した場合に、画像の位置を所定表示領域ではない領域に更新させることによって、その画像を視認容易に投影させることなく、所定表示領域ではない領域に画像を表示させることができる。尚、本実施形態においては、各端末装置2が、装置自身が起動させているウィンドウ情報をテーブルデータとして保有しているため、図11の共有ウィンドウ管理テーブルにおけるオーナーPCが対応していなくても問題ない。
【0175】
一方、制御部208は、共有領域のウィンドウではないと判定した場合には(ステップS280:No)、ステップS281を実行することなく、ステップS282に処理を移す。そして、ステップS282において、制御部208は、共有ウィンドウ管理テーブルから対象となるウィンドウのウィンドウ情報を削除し、この処理が終了した場合には、操作入力再生処理を終了する。
【0176】
なお、上述した実施形態においては、他の端末装置2aにおける終了操作入力に基づいて、自己の端末装置2bのウィンドウを終了させる際に、そのウィンドウが仮想表示領域45にあるか否かを判定し、仮想表示領域45にあると判定されたときに、ウィンドウを一般表示領域40に移動させるように設定情報を編集したが、これに限らず、例えば、自己の端末装置2aにおける終了操作入力に基づいて、自己の端末装置2aのウィンドウを終了させる際に、そのウィンドウが仮想表示領域45にあるか否かを判定し、仮想表示領域45にあると判定されたときに、ウィンドウを一般表示領域40に移動させるように設定情報を編集してもよい。
【0177】
(第三の実施形態)
また、例えば、上述実施形態においては、ウィンドウが仮想表示領域45にあるか否かを端末装置2において判定する構成であったが、これに限らず、例えば、画像投影装置1において判定する構成であってもよい。
【0178】
このような実施形態について図24及び図25を用いて以下に説明する。なお、理解を容易とするために、同じような構成については説明を省略する。
【0179】
アプリケーションの起動動作について、図24を用いて説明する。図24は、本実施形態の画像投影システムSにおけるアプリケーションの起動動作の一例を示すシーケンス図である。
【0180】
図24に示すように、先ず、使用者Aにより端末装置2の有するアプリケーションプログラムの実行操作が行われると、端末装置2は、操作対象となったアプリケーションプログラムを実行し、このアプリケーションのデータファイルに応じた画像データを生成する(ステップS71)。なお、アプリケーションプログラムの実行操作は、使用者Aが操作部26を用いて行うものである。このように、端末装置2aは、画像生成部21によりデータファイルに基づく画像データが生成されると、次に、生成した画像データに基づく画像を表示部24により表示する(ステップS72)。
【0181】
そして、端末装置2は、新規に起動されたアプリケーションの起動を検出し(ステップS73)、表示制御部29がアプリケーションのウィンドウ情報を取得する(ステップS74)。次に端末装置2は、ウィンドウが表示されている位置を判定するウィンドウ位置判定を行い(ステップS75)、ウィンドウが仮想表示領域45に表示されている場合には、画像投影装置1に対して更新された画像属性情報(ウィンドウ情報)を送信する(ステップS76)。
【0182】
次に、画像投影装置1は、各端末装置2からウィンドウ情報を受信すると、端末接続管理部15により共有ウィンドウ管理テーブルの情報を更新する(ステップS77)。共有ウィンドウ管理テーブルとは、複数の端末装置2から取得した複数の画像データに関する画像属性情報を管理するためのテーブルであり、画像投影装置1に設けられた記憶部14の所定の領域に記憶される。
【0183】
次に、画像投影装置1は、共有許可のウィンドウであるか否かを起動トリガ(ウィンドウ情報)から判定し(ステップS78)、共有許可のウィンドウであると判定した場合には、ウィンドウを一般表示領域40に移動させるための移動コマンドを生成し(ステップS79)、その移動コマンドを端末装置2aに送信する(ステップS80)。そして、画像投影装置1は、その移動コマンドに基づいて、端末接続管理部15により共有ウィンドウ管理テーブルの情報を更新し(ステップS81)、処理を完了する。
【0184】
一方、端末装置2aは、移動コマンドを受信した場合には、その移動コマンドに基づいて、ウィンドウ画像の表示領域を一般表示領域40に移動させ、処理を完了する。
【0185】
このように、端末装置2は、アプリケーションが起動操作され、そのアプリケーションに対応して生成された画像データの表示位置が仮想表示領域45である場合には、そのウィンドウを仮想表示領域45から一般表示領域40に移動させることとなる。
【0186】
(ウィンドウ情報更新処理)
次に、ステップS503におけるウィンドウ情報更新処理について、図25を用いて具体的に説明する。図25は、本実施形態における画像投影装置1のウィンドウ情報更新処理フローチャートである。
【0187】
図25に示すように、ウィンドウ情報更新処理を開始すると、制御部108は、端末装置2からのウィンドウ情報に基づいて、ウィンドウ情報を追加するか否かを判定する(ステップS510)。この処理において、制御部108は、ウィンドウ情報を追加すると判定すると(ステップS510:Yes)、ウィンドウ情報に基づいて、共有を許可するウィンドウであるか否かを判定するウィンドウ共有許可判定処理を実行し(ステップS511)、共有許可であると判定した場合には(ステップS512:Yes)、ステップS513に処理を移す。一方、制御部108は、共有許可ではないと判定した場合には(ステップS512:No)、ステップS516に処理を移す。なお、本実施形態においては、ウィンドウが仮想表示領域45にあり、かつ、共有許可の設定が行われている場合に、共有許可されることとなる。つまり、制御部108は、通信経路3を介して、端末装置2から生成情報を受信したときに、生成された画像の位置が所定表示領域であるか否かを判定することによって、表示が終了された画像の位置が仮想表示領域45であるか否かを判定することとなる。また、このような制御部108は、画像位置判定部として機能する。
【0188】
ステップS513において、制御部108は、受信したウィンドウ情報に基づいて、そのウィンドウ情報におけるオーナーPC、ウィンドウのサイズ、位置を共有ウィンドウ管理テーブルに追加するとともに、そのウィンドウ情報に対応するウィンドウ画像の保存領域を追加する(ステップS514)。そして、制御部108は、追加するウィンドウ情報の階層を最上位階層に更新するとともに、他のウィンドウ情報の順番を1だけ繰り下げて、その順序を保持し(ステップS515)、ウィンドウ情報更新処理を終了する。
【0189】
ステップS516において、制御部108は、受信したウィンドウ情報を仮想表示領域45から一般表示領域40に移動させるための移動コマンドを生成する。そして、制御部108は、ウィンドウIDのオーナーPCに移動コマンドを送信し(ステップS517)、ウィンドウ情報更新処理を終了する。つまり、制御部108は、画像の位置が仮想表示領域45であると判定された場合には、画像の位置を移動させる旨の画像情報移動情報を、通信経路3を介して端末装置2に送信することとなる。また、このような制御部108は、画像情報移動情報送信部として機能する。
【0190】
これによって、端末装置2は、画像投影装置1からの移動コマンドを受信した場合には、その移動コマンドに基づいて、仮想表示領域45におけるウィンドウを一般表示領域40に移動させることとなる。このように、画像投影装置1において、端末装置2における仮想表示領域45に表示されるウィンドウを一般表示領域40に移動させることとなる。つまり、端末装置2における制御部208は、通信経路3を介して、画像投影装置1から画像情報移動情報を受信した場合には、仮想表示領域45ではない一般表示領域40に画像の表示位置を変更させることとなる。
【0191】
また、制御部108は、ウィンドウ情報を追加しないと判定すると(ステップS510:No)、端末装置2からのウィンドウ情報に基づいて、ウィンドウ情報を更新するか否かを判定する(ステップS520)。この処理において、制御部108は、ウィンドウ情報を更新すると判定すると(ステップS520:Yes)、ウィンドウ情報に基づいて、共有ウィンドウ管理テーブルにおけるウィンドウのサイズ、位置の更新を行い(ステップS521)、ウィンドウ情報更新処理を終了する。
【0192】
一方、制御部108は、ウィンドウ情報を更新しないと判定すると(ステップS520:No)、端末装置2からのウィンドウ情報に基づいて、ウィンドウ情報を削除するか否かを判定する(ステップS522)。この処理において、制御部108は、ウィンドウ情報を削除すると判定すると(ステップS522:Yes)、ウィンドウ情報に基づいて、共有ウィンドウ管理テーブルにおけるウィンドウ情報を削除し(ステップS523)、ウィンドウ情報更新処理を終了する。一方、制御部108は、ウィンドウ情報を削除しないと判定すると(ステップS522:No)、ステップS522を実行することなく、ウィンドウ情報更新処理を終了する。
【0193】
(第四の実施形態)
また、例えば、上述実施形態において、画像投影装置1では、端末装置2から受信したウィンドウ情報に基づいて、共有を許可するウィンドウであるか否かを判定したが、これに限らず、例えば、そのウィンドウ情報に対応して表示される画像の変化量(移動量)や面積増加率によって、共有を許可するか否かを判定してもよい。
【0194】
このような実施形態について図26及び図27を用いて以下に説明する。なお、理解を容易とするために、同じような構成については説明を省略する。
【0195】
アプリケーションの起動動作について、図26を用いて説明する。図26は、本実施形態の画像投影システムSにおけるアプリケーションの起動動作の一例を示すシーケンス図である。
【0196】
図26に示すように、先ず、使用者Aにより端末装置2の有するアプリケーションプログラムの実行操作が行われると、端末装置2は、操作対象となったアプリケーションプログラムを実行し、このアプリケーションのデータファイルに応じた画像データを生成する(ステップS91)。なお、アプリケーションプログラムの実行操作は、使用者Aが操作部26を用いて行うものである。このように、端末装置2aは、画像生成部21によりデータファイルに基づく画像データが生成されると、次に、生成した画像データに基づく画像を表示部24により表示する(ステップS92)。
【0197】
そして、端末装置2は、共有された共有ウィンドウを検出し(ステップS93)、表示制御部29がアプリケーションのウィンドウ情報を取得する(ステップS94)。次に端末装置2は、画像投影装置1に対して更新された画像属性情報(ウィンドウ情報)を送信する(ステップS95)。
【0198】
次に、画像投影装置1は、各端末装置2からウィンドウ情報を受信すると、端末接続管理部15により共有ウィンドウ管理テーブルの情報を更新する(ステップS96)。共有ウィンドウ管理テーブルとは、複数の端末装置2から取得した複数の画像データに関する画像属性情報を管理するためのテーブルであり、画像投影装置1に設けられた記憶部14の所定の領域に記憶される。
【0199】
次に、画像投影装置1は、その受信したウィンドウ情報に基づいて、そのウィンドウ情報におけるウィンドウ画像の面積増加量から、共有許可のウィンドウであるか否かを判定し(ステップS97)、共有許可のウィンドウであると判定した場合には、ウィンドウを一般表示領域40に移動させるための移動コマンドを生成し(ステップS98)、その移動コマンドを端末装置2aに送信する(ステップS99)。そして、画像投影装置1は、その移動コマンドに基づいて、端末接続管理部15により共有ウィンドウ管理テーブルの情報を更新し(ステップS100)、処理を完了する。
【0200】
一方、端末装置2aは、移動コマンドを受信した場合には、その移動コマンドに基づいて、ウィンドウ画像の表示領域を一般表示領域40に移動させ、処理を完了する。
【0201】
このように、画像投影装置1は、ウィンドウ画像の増加面積率によって、ウィンドウ画像の移動量を判定し、そのウィンドウ画像の移動量によって、ウィンドウを仮想表示領域45から一般表示領域40に移動させるか否かを決定することとなる。
【0202】
(共有ウィンドウ情報更新処理)
次に、ステップS511における共有ウィンドウ情報更新処理について、図27を用いて具体的に説明する。図27は、本実施形態における画像投影装置1の共有ウィンドウ情報更新処理フローチャートである。
【0203】
図27に示すように、共有ウィンドウ情報更新処理を開始すると、制御部108は、ウィンドウ情報を取得し(ステップS550)、そのウィンドウ情報に基づいて、ウィンドウの表示位置、領域を算出する(ステップS551)。そして、制御部108は、所定時間内、所定時間経過したか否かを判定し(ステップS552)、所定時間経過していないと判定した場合には(ステップS552:No)、再度、ステップS550及びステップS551を実行する一方、所定時間経過したと判定した場合には(ステップS552:Yes)、ステップS553に処理を移す。そして、ステップS553において、制御部108は、所定時間内におけるウィンドウの表示位置の変化や面積増加率を算出する。つまり、制御部108は、投影された画像の表示面積の増減を検知することとなる。また、制御部108は、画像投影面積検知部として機能する。
【0204】
次に、制御部108は、その算出したウィンドウの表示位置の変化や面積増加率が所定条件を満たすか否かを判定する(ステップS554)。つまり、制御部108は、投影された画像の表示面積の増減の検知結果に基づいて、仮想表示領域45において画像が生成されたか否かを判定することとなる。また、制御部108は、画像生成判定部として機能する。この処理において、制御部108は、ウィンドウの表示位置の変化や面積増加率が所定条件を満たすと判定した場合には(ステップS554:Yes)、共有許可フラグをセットし(ステップS555)、共有ウィンドウ情報更新処理を終了し、共有を許可するウィンドウであると認識可能となる。一方、制御部108は、ウィンドウの表示位置の変化や面積増加率が所定条件を満たさないと判定した場合には(ステップS554:No)、ステップS555を実行することなく、共有ウィンドウ情報更新処理を終了し、共有を許可するウィンドウではないと認識可能となる。具体的な一例としては、制御部108は、ウィンドウの表示位置の変化や面積増加量に基づいて、所定時間経過した場合であってもウィンドウがあまり変化していないことを条件に、共有を許可する。
【0205】
このような処理を実行することによって、ウィンドウの表示位置の変化や面積増加量に基づいて、共有を許可するウィンドウであるか否かを判定することが可能となり、仮想表示領域45において画像が生成されたことを画像の表示面積の増減によっても認識可能となる。
【0206】
また、上述した実施形態においては、制御部108は、投影された画像の表示面積の増減の検知結果に基づいて、仮想表示領域45において画像が生成されたか否かを判定したが、これに限らず、例えば、投影された画像の表示面積の増減の検知結果に基づいて、仮想表示領域45における画像の表示が終了されたか否かを判定してもよい。また、このような制御部108は、画像終了判定部として機能する。これによって、端末装置2における制御部208は、通信経路3を介して、画像投影装置1から画像情報移動情報を受信した場合には、記憶された画像の位置を、仮想表示領域45ではない一般表示領域40として更新させることとなる。従って、所定表示領域における画像の表示が終了されたことを画像の表示面積の増減によっても認識可能となる。
【0207】
また、上述した実施形態においては、画像投影装置1において、投影された画像の表示面積の増減を検知し、その画像の表示面積の増減の検知結果に基づいて、仮想表示領域45において画像が生成されたか否か、仮想表示領域45における画像の表示が終了されたか否かを判定したが、これに限らず、例えば、端末装置2において、仮想表示領域45における画像の表示面積の増減を検知し、その画像の表示面積の増減の検知結果に基づいて、仮想表示領域45において画像が生成されたか否か、仮想表示領域45における画像の表示が終了されたか否かを判定してもよい。このような制御部208は、画像投影面積検知部、画像生成判定部、画像終了判定部として機能する。
【0208】
(第五の実施形態)
また、例えば、上述実施形態においては、アプリケーションの開始時において、画像投影装置1でウィンドウを表示させる位置が仮想表示領域45であるか否かを判定したが、これに限らず、例えば、アプリケーションの終了時において、画像投影装置1でウィンドウを表示させる位置が仮想表示領域45であるか否かを判定してもよい。
【0209】
このような実施形態について図28〜図30を用いて以下に説明する。なお、理解を容易とするために、同じような構成については説明を省略する。
【0210】
上述した編集動作について図28を用いてさらに詳細に説明する。図28は、本実施形態の画像投影システムSにおける編集動作の一例を示すシーケンス図である。
【0211】
図28に示すように、端末装置2aの使用者Aにより、画像投影装置1で投影されている画像のうち、端末装置2bの仮想表示領域45bにある画像に対して所定の操作入力(例えば、画像の表示終了ボタンのクリック)が行われると、端末装置2aは、当該操作に基づく操作入力(画像操作命令)を取得する(ステップS111)。この場合における操作入力は、端末装置2bの仮想表示領域45bにあるアプリケーションを終了させる終了操作入力である。
【0212】
次に、端末装置2aは、使用者Aによる当該操作が端末装置2aで実行されるのを防ぐため、当該画像操作入力を破棄し(ステップS112)、終了操作入力を、通信経路3を介して画像投影装置1に送信する(ステップS113)。ここで、画像操作入力の破棄、及び操作入力の送信は、端末装置2の操作命令送信部27により行われるものである。
【0213】
次に、画像投影装置1は、端末装置2aから操作入力を受信すると、操作命令処理部13により、この操作入力を、送信すべき端末装置2毎に当該操作入力を振り分ける処理を行う(ステップS114)。ここでは、この操作入力は、端末装置2bに送信されるように振り分けられる。
【0214】
また、画像投影装置1は、受信した操作入力、及び画像取得部10で取得したウィンドウ情報(画像属性情報)に基づいて、各端末装置2の仮想表示領域45にある各画像に割り当てられている階層レベルを更新する(ステップS115)。
【0215】
そして、画像投影装置1は、終了操作入力に基づいて、アプリケーションの終了操作の検出を行い(ステップS116)、移動コマンドを生成し(ステップS117)、その移動コマンドに基づいて、ウィンドウ画像の表示領域を一般表示領域40に移動させる(ステップS118)。そして、画像投影装置1は操作命令処理部13により、ステップS53で端末装置2aから受信した終了操作入力を、通信経路3を介して端末装置2bに送信する(ステップS120)。
【0216】
そして、移動コマンドを受信した端末装置2bは、仮想表示領域45に表示されており、移動コマンドで指定されているウィンドウを仮想表示領域45から一般表示領域40に移動させる(ステップS119)。そして、終了操作入力を受信した端末装置2bは、終了操作入力されたウィンドウの画像データの消去を行い(ステップS121)、処理を完了する。
【0217】
(操作入力振分処理)
次に、ステップS511における操作入力振分処理について、図29を用いて具体的に説明する。図29は、本実施形態における画像投影装置1の操作入力振分処理フローチャートである。
【0218】
図29に示すように、操作入力振分処理を開始すると、制御部108は、操作入力された操作位置をポインタ情報管理テーブルから取得し(ステップS530)、操作入力の位置に配置されているウィンドウのウィンドウIDを取得する(ステップS531)。そして、制御部108は、操作入力の下のウィンドウに対応するウィンドウ情報の階層を最上位階層に更新するとともに、他のウィンドウ情報の順番を1だけ繰り下げて、その順序を保持する(ステップS532)。そして、制御部108は、ウィンドウに対応するアプリケーションを終了させるか否かを判定するウィンドウ終了判定処理を実行する(ステップS533)。この処理は、図30におけるステップS560〜ステップS568までの処理であり、後述する。
【0219】
そして、制御部108は、ウィンドウに対応するアプリケーションを終了させるか否かを判定する(ステップS534)。つまり、制御部108は、通信経路3を介して、端末装置2から終了情報を受信したときに、記憶された画像の位置が仮想表示領域45であるか否かを判定し、また、このような制御部108は、画像位置判定部として機能する。この処理において、制御部108は、ウィンドウに対応するアプリケーションを終了させると判定すると(ステップS534:Yes)、移動指示を操作入力情報(移動コマンド)として生成し(ステップS535)、そのウィンドウIDのオーナーPCに移動指示を送信し(ステップS536)、ステップS357に処理を移す。なお、この操作入力情報は、ウィンドウの位置を一般表示領域40となるような移動コマンドである。つまり、制御部108は、画像の位置が仮想表示領域45であると判定された場合には、画像の位置を移動させる旨の画像情報移動情報を、通信経路3を介して端末装置2に送信することとなる。また、このような制御部108は、画像情報移動情報送信部として機能する。これによって、オーナーPCとしての端末装置2は、ウィンドウが仮想表示領域45にあった場合に一般表示領域40に移動させることとなる。つまり、端末装置2における制御部208は、通信経路3を介して、画像投影装置1から画像情報移動情報を受信した場合には、仮想表示領域45ではない一般表示領域40に画像の表示位置を変更させることとなる。一方、この処理において、制御部108は、ウィンドウに対応するアプリケーションを終了させないと判定すると(ステップS534:No)、ステップS535及びステップS536を実行することなく、ステップS537に処理を移す。ステップS537において、制御部108は、ウィンドウIDのオーナーPCに操作入力を送信する。これによって、オーナーPCとしての端末装置2は、ウィンドウに対して操作入力に対応する処理を再生(実行)させ、操作入力振分処理を終了する。つまり、制御部108は、画像の位置が仮想表示領域45であると判定された場合において、画像操作命令が画像終了命令であると判定されたときには、通信経路を介して、この画像操作命令による操作対象の画像の画像データを送信した端末装置へ、仮想表示領域45ではない表示領域に画像を移動させ、画像の表示を終了させる画像終了命令を送信することとなる。また、このような制御部108は、操作命令処理部として機能する。
【0220】
(ウィンドウ終了判定処理)
次に、ステップS533及びステップS253におけるウィンドウ終了判定処理について、図30を用いて具体的に説明する。図30は、本実施形態における画像投影装置1のウィンドウ終了判定処理である。
【0221】
図30に示すように、制御部108は、マウス操作入力であるか否かを判定する(ステップS560)。この処理において、制御部108は、マウス操作入力であると判定すると(ステップS560:Yes)、ウィンドウIDに対応したデータを取得する(ステップS561)。そして、制御部108は、閉じるボタンの位置情報を算出し(ステップS562)、マウス位置が閉じるボタン上であるか否かを判定し(ステップS563)、マウス位置が閉じるボタン上であると判定すると(ステップS563:Yes)、終了操作を示すデータをセットし(ステップS564)、ウィンドウ終了判定処理を終了する。一方、制御部108は、マウス位置が閉じるボタン上ではないと判定すると(ステップS563:No)、ステップS564を実行することなく、ウィンドウ終了判定処理を終了する。これによって、ウィンドウに対応するアプリケーションの終了操作がマウス操作によって検出することができる。
【0222】
一方、制御部108は、マウス操作入力ではないと判定すると(ステップS560:No)、制御部108は、キー操作入力であるか否かを判定する(ステップS565)。この処理において、制御部108は、キー操作入力であると判定すると(ステップS565:Yes)、そのキー操作入力と終了コマンドとなる入力パターンとを比較し(ステップS566)、入力パターンが一致するか否かを判定し(ステップS567)、入力パターンが一致すると判定すると(ステップS567:Yes)、終了操作を示すデータをセットし(ステップS568)、ウィンドウ終了判定処理を終了する。一方、制御部108は、入力パターンが一致しないと判定すると(ステップS567:No)、ステップS568を実行することなく、ウィンドウ終了判定処理を終了する。これによって、ウィンドウに対応するアプリケーションの終了操作がキー操作によって検出することができる。また、制御部108は、キー操作入力ではないと判定すると(ステップS565:No)、ウィンドウ終了判定処理を終了する。
【0223】
また、端末装置2における制御部208は、通信経路を介して、画像投影装置1から画像終了命令を受信した場合には、この画像終了命令に応じて、仮想表示領域45ではない一般表示領域40に画像を移動させ、画像の表示を終了させることとなる。
【0224】
従って、他の端末装置から画像の表示を終了させる旨の命令があったなど、端末装置自体が画像の表示の終了を認識していない場合であっても、画像投影装置がその終了を認識することができれば、その旨を端末装置に送信し、端末装置において所定表示領域とは異なる表示領域に画像を移動させるとともに、画像の表示を終了させることができ、次に画像が生成された場合であっても、その画像を視認容易に投影させることなく、所定表示領域ではない領域に画像を表示させることができる。
【0225】
(第六の実施形態)
また、例えば、上述実施形態においては、アプリケーションの終了時において、画像投影装置1で、ウィンドウを表示させる位置が仮想表示領域45であるか否かを判定し、その結果、仮想表示領域45であった場合には、ウィンドウを移動させる移動コマンド、アプリケーションを終了させるための操作入力の順で端末装置2に送信したが、これに限らず、例えば、アプリケーションを終了させるための操作入力を端末装置2に送信し、ウィンドウを表示させた位置が仮想表示領域45であるか否かを判定し、その結果、仮想表示領域45であった場合には、ウィンドウを移動させる移動コマンドを端末装置2に送信してもよい。
【0226】
このような実施形態について図31及び図32を用いて以下に説明する。なお、理解を容易とするために、同じような構成については説明を省略する。
【0227】
上述した編集動作について図31を用いてさらに詳細に説明する。図31は、本実施形態の画像投影システムSにおける編集動作の一例を示すシーケンス図である。
【0228】
図31に示すように、端末装置2aの使用者Aにより、画像投影装置1で投影されている画像のうち、端末装置2bの仮想表示領域45bにある画像に対して所定の操作入力(例えば、画像の表示終了ボタンのクリック)が行われると、端末装置2aは、当該操作に基づく操作入力(画像操作命令)を取得する(ステップS131)。この場合における操作入力は、端末装置2bの仮想表示領域45bにあるアプリケーションを終了させる終了操作入力である。
【0229】
次に、端末装置2aは、使用者Aによる当該操作が端末装置2aで実行されるのを防ぐため、当該画像操作入力を破棄し(ステップS132)、終了操作入力を、通信経路3を介して画像投影装置1に送信する(ステップS133)。ここで、画像操作入力の破棄、及び操作入力の送信は、端末装置2の操作命令送信部27により行われるものである。
【0230】
次に、画像投影装置1は、端末装置2aから操作入力を受信すると、操作命令処理部13により、この操作入力を、送信すべき端末装置2毎に当該操作入力を振り分ける処理を行う(ステップS134)。ここでは、この操作入力は、端末装置2bに送信されるように振り分けられる。
【0231】
また、画像投影装置1は、受信した操作入力、及び画像取得部10で取得したウィンドウ情報(画像属性情報)に基づいて、各端末装置2の仮想表示領域45にある各画像に割り当てられている階層レベルを更新する(ステップS135)。そして、画像投影装置1は、終了操作入力が行われたウィンドウのオーナーPCとしての端末装置2bに対して、終了操作入力を送信する(ステップS136)。
【0232】
終了操作入力を受信した端末装置2bは、終了操作入力されたウィンドウの画像データの消去を行い(ステップS137)、端末装置2bは、ウィンドウが削除された旨のウィンドウ情報を画像投影装置1に通知する(ステップS138)。
【0233】
また、画像投影装置1は、端末装置2bからウィンドウが削除された旨のウィンドウ情報を受信した場合には、その削除されるウィンドウの表示位置を判定し(ステップS139)、そのウィンドウが仮想表示領域45に表示されていたと判定した場合には、ウィンドウ情報の更新を行い(ステップS140)、そのウィンドウを一般表示領域40に移動させる旨の移動コマンドを端末装置2bに送信する(ステップS141)。
【0234】
このような移動コマンドを受信した端末装置2bは、移動コマンドに基づいて、ウィンドウの表示位置を、仮想表示領域45から一般表示領域40に変更させるようにレジストリを編集する(ステップS142)。これによって、次に、このウィンドウに対応するアプリケーションが開始された場合に、仮想表示領域45ではなく、一般表示領域40にウィンドウが表示されることとなる。
【0235】
(ウィンドウ情報更新処理)
次に、ステップS503におけるウィンドウ情報更新処理について、図32を用いて具体的に説明する。図32は、本実施形態における画像投影装置1のウィンドウ情報更新処理フローチャートである。
【0236】
図32に示すように、ステップS510においてウィンドウ情報が追加された場合には、ステップS513からステップS515を実行し、ウィンドウ情報更新処理を終了する。
【0237】
ステップS522において、制御部108は、ウィンドウ情報を削除すると判定すると(ステップS522:Yes)、終了フラグありか否かを判定する(ステップS524)。この処理において、制御部108は、終了フラグありと判定した場合には(ステップS524:Yes)、ウィンドウの表示位置を一般表示領域40とするように、レジストリの変更内容を作成し(ステップS525)、ウィンドウIDのオーナーPCとしての端末装置2にそのレジストリの変更内容を含む変更データ(移動コマンド)を送信し(ステップS526)、ステップS523に処理を移す。
制御部108は、終了フラグなしと判定した場合には(ステップS524:No)、ステップS525及びステップS526を実行することなく、ステップS523に処理を移す。
【0238】
これによって、アプリケーションが終了する際に、画像投影装置1は、アプリケーションに対応するウィンドウが仮想表示領域45に位置するか否かを判定し、端末装置2に仮想表示領域45から一般表示領域40に変更させることとなる。
【0239】
また、上述した実施形態においては、図1に示すように画像投影装置1と端末装置2とを接続したが、図33に示すように、画像投影装置1と端末装置2とが、ハブ302やサーバ304等で接続されていてもよい。また、例えば、イントラネット306にパソコン等の端末装置308などの端末装置が接続されていてもよい。イントラネット306にパソコン等の端末装置308などの端末装置が接続されていてもよい。また、イントラネット306にアクセスポイント310が接続されており、そのアクセスポイン310を介して端末装置2と接続してもよい。また、例えば、イントラネット306にスイッチングハブ312が接続され、それにルータ314、サー304、ファイアウォール316、インターネット318と接続され、パソコン等の端末装置2と接続してもよい。
【図面の簡単な説明】
【0240】
【図1】本実施形態における画像投影システムの全体的なシステム構成を示す図である。
【図2】本実施形態における画像投影システムに用いられる画像投影装置の概略構成図である。
【図3】本実施形態における画像投影システムに用いられる端末装置の概略構成図である。
【図4】本実施形態の画像投影システムにおける動作の一例を示すシーケンス図である
【図5】本実施形態の画像投影システムにおける動作の一例を示すシーケンス図である。
【図6】本実施形態の画像投影システムにおける動作の一例を示すシーケンス図である。
【図7】本実施形態の画像投影システムにおける動作の一例を示すシーケンス図である
【図8】本実施形態の画像投影システムにおける動作の一例を示すシーケンス図である
【図9】本実施形態における画像投影装置の構成図である。
【図10】本実施形態における端末装置の構成図である。
【図11】本実施形態における画像投影装置に記憶される共有ウィンドウ管理テーブルの一例を示す図である。
【図12】本実施形態における画像投影装置に記憶される端末接続管理テーブルの一例である。
【図13】本実施形態における画像投影装置に記憶されるポインタ情報管理テーブルの一例である。
【図14】本実施形態における画像投影装置のメイン処理フローチャートである。
【図15】本実施形態における端末装置のメイン処理フローチャートである。
【図16】本実施形態における端末装置の接続処理フローチャートである。
【図17】本実施形態における端末装置のウィンドウ情報更新処理フローチャートである。
【図18】本実施形態における端末装置の共有ウィンドウ情報更新処理フローチャートである。
【図19】本実施形態における端末装置の操作入力再生処理フローチャートである。
【図20】本実施形態における端末装置の操作入力転送処理フローチャートである。
【図21】本実施形態における端末装置の画像データ送信処理フローチャートである。
【図22】本実施形態の画像投影システムにおける動作の一例を示すシーケンス図である
【図23】本実施形態における端末装置の操作入力再生処理フローチャートである。
【図24】本実施形態の画像投影システムにおける動作の一例を示すシーケンス図である
【図25】本実施形態における画像投影装置のウィンドウ情報更新処理フローチャートである。
【図26】本実施形態の画像投影システムにおける動作の一例を示すシーケンス図である
【図27】本実施形態における画像投影装置のウィンドウ共有許可判定開始処理フローチャートである。
【図28】本実施形態の画像投影システムにおける動作の一例を示すシーケンス図である
【図29】本実施形態における画像投影装置の操作入力振分処理フローチャートである。
【図30】本実施形態における画像投影装置のウィンドウ終了判定処理フローチャートである。
【図31】本実施形態の画像投影システムにおける動作の一例を示すシーケンス図である
【図32】本実施形態における画像投影装置のウィンドウ情報更新処理フローチャートである。
【図33】本実施形態における画像投影システムの全体的なシステム構成を示す図である。
【符号の説明】
【0241】
S 画像投影システム
1 画像投影装置
2 端末装置
3 通信経路

【特許請求の範囲】
【請求項1】
複数の端末装置と、これら複数の端末装置から通信経路を介して画像データを取得し、この画像データに基づいた画像を投影する画像投影装置とを備えた画像投影システムにおいて、
前記画像投影装置は、
各前記端末装置の所定表示領域にある画像の画像データを、前記通信経路を介して取得する画像取得部と、
前記複数の端末装置の所定表示領域にある画像の画像データを合成する画像処理部と、
前記画像処理部で合成した画像データに基づいた画像を投影する画像投影部と、を備え、
前記端末装置は、
所定のアプリケーションプログラムの制御を行うアプリケーションプログラム制御部と、
前記アプリケーションプログラム制御部によって制御されたアプリケーションプログラムに基づいた画像データを生成する画像生成部と、
前記画像生成部で生成した画像データに基づく画像を表示させる制御を行うとともに、当該表示を終了させる制御を行う表示制御部と、
前記画像生成部で生成した画像データに基づく画像の位置が所定表示領域にあるときに、その画像の一部又は全部の画像データを、前記通信経路を介して前記画像投影装置へ送信する所定領域画像送信部と、
前記アプリケーションプログラム制御部によって制御されたアプリケーションプログラムに基づいて生成された画像の表示が前記表示制御部によって前記所定表示領域で終了され、かつ、当該アプリケーションプログラムに基づく画像が前記画像生成部によって再度生成されたことを条件に、当該所定表示領域ではない表示領域に画像の表示位置を変更させる画像表示位置変更部と、を備えたことを特徴とする画像投影システム。
【請求項2】
前記端末装置は、
前記画像生成部で生成した画像データに基づく画像を表示可能な表示部と、
前記所定表示領域として、前記表示部の表示領域に隣接した仮想表示領域を設定する仮想表示領域設定部と、を備えたことを特徴とする請求項1に記載の画像投影システム。
【請求項3】
前記端末装置は、前記表示制御部によって表示が終了された画像の位置が所定表示領域であるか否かを判定する画像位置判定部を備えることを特徴とする請求項1又は2に記載の画像投影システム。
【請求項4】
前記端末装置は、前記表示制御部によって表示が終了されたときに、当該画像の位置を記憶する画像位置記憶部を備え、
前記端末装置の前記画像位置判定部は、前記表示制御部によって表示が終了されたときに、前記画像位置記憶部によって記憶された画像の位置が所定表示領域であるか否かを判定し、
前記端末装置の前記画像表示位置変更部は、前記画像位置判定部によって画像の位置が所定表示領域であると判定された場合には、前記画像位置記憶部に記憶された画像の位置を、前記所定表示領域ではない領域として更新させることを特徴とする請求項3に記載の画像投影システム。
【請求項5】
前記端末装置は、前記表示制御部によって表示が終了されたときに、当該画像の位置を記憶する画像位置記憶部を備え、
前記端末装置の前記画像位置判定部は、前記アプリケーションプログラム制御部によって制御されたアプリケーションプログラムに基づいて生成された画像の表示が前記表示制御部によって前記所定表示領域で終了された後に、当該アプリケーションプログラムに基づく画像が前記画像生成部によって再度生成されるときに、前記画像位置記憶部によって記憶された画像の位置が所定表示領域であるか否かを判定し、
前記端末装置の前記画像表示位置変更部は、前記画像位置判定部によって前記画像の位置が前記所定表示領域であると判定された場合には、前記画像位置記憶部に記憶された画像の位置を、前記所定表示領域ではない領域として更新させることを特徴とする請求項3に記載の画像投影システム。
【請求項6】
前記端末装置は、
前記所定表示領域における画像の表示面積の増減を検知する画像表示面積検知部と、
前記画像表示面積検知部による検知結果に基づいて、前記表示制御部によって前記所定表示領域における画像の表示が終了されたか否かを判定する画像終了判定部と、を備えることを特徴とする請求項1から3のいずれかに記載の画像投影システム。
【請求項7】
前記端末装置は、
前記所定表示領域における画像の表示面積の増減を検知する画像表示面積検知部と、
前記画像表示面積検知部による検知結果に基づいて、前記画像生成部によって前記所定表示領域において画像が生成されたか否かを判定する画像生成判定部と、を備えることを特徴とする請求項1から3のいずれかに記載の画像投影システム。
【請求項8】
前記画像投影装置は、前記表示制御部によって表示が終了された画像の位置が所定表示領域であるか否かを判定する画像位置判定部を備えることを特徴とする請求項1又は2に記載の画像投影システム。
【請求項9】
前記端末装置は、
前記表示制御部によって表示が終了されたときに、当該画像の位置を記憶する画像位置記憶部と、
前記表示制御部によって表示が終了されたときに、画像の表示が終了された旨の終了情報を、前記画像投影装置に前記通信経路を介して送信する終了情報送信部と、を備え、
前記画像投影装置の前記画像位置判定部は、前記通信経路を介して、前記端末装置から前記終了情報を受信したときに、前記画像位置記憶部によって記憶された画像の位置が所定表示領域であるか否かを判定し、
前記画像投影装置は、前記画像位置判定部によって画像の位置が所定表示領域であると判定された場合には、画像の位置を移動させる旨の画像情報移動情報を、前記通信経路を介して前記端末装置に送信する画像情報移動情報送信部を備え、
前記端末装置の前記画像表示位置変更部は、前記通信経路を介して、前記画像投影装置から前記画像情報移動情報を受信した場合には、前記画像位置記憶部に記憶された画像の位置を、前記所定表示領域ではない領域として更新させることを特徴とする請求項8に記載の画像投影システム。
【請求項10】
前記端末装置は、
前記画像生成部によって画像が生成されたときに、画像が生成された旨の生成情報を、前記画像投影装置に前記通信経路を介して送信する生成情報送信部と、を備え、
前記画像投影装置の前記画像位置判定部は、前記通信経路を介して、前記端末装置から前記生成情報を受信したときに、前記画像生成部によって生成された画像の位置が所定表示領域であるか否かを判定し、
前記画像投影装置は、前記画像位置判定部によって画像の位置が所定表示領域であると判定された場合には、画像の位置を移動させる旨の画像情報移動情報を、前記通信経路を介して前記端末装置に送信する画像情報移動情報送信部を備え、
前記端末装置の前記画像表示位置変更部は、前記通信経路を介して、前記画像投影装置から前記画像情報移動情報を受信した場合には、当該所定表示領域ではない表示領域に画像の表示位置を変更させることを特徴とする請求項8に記載の画像投影システム。
【請求項11】
前記画像投影装置は、
前記画像投影部によって投影された画像の表示面積の増減を検知する画像投影面積検知部と、
前記画像投影面積検知部による検知結果に基づいて、前記表示制御部によって前記所定表示領域における画像の表示が終了されたか否かを判定する画像終了判定部と、を備えることを特徴とする請求項1、2、8のいずれかに記載の画像投影システム。
【請求項12】
前記画像投影装置は、
前記画像投影部によって投影された画像の表示面積の増減を検知する画像投影面積検知部と、
前記画像投影面積検知部による検知結果に基づいて、前記画像生成部によって前記所定表示領域において画像が生成されたか否かを判定する画像生成判定部と、を備えることを特徴とする請求項1、2、8のいずれかに記載の画像投影システム。
【請求項13】
前記画像投影装置は、
前記画像投影部で投影している画像のうちの所定画像を操作するための画像操作命令を取得する画像操作命令取得部と、
前記画像操作命令取得部によって取得された前記画像操作命令が、画像の表示を終了させるための画像終了命令であるか否かを判定する画像操作命令判定部と、
前記画像操作命令判定部によって画像操作命令が画像終了命令であると判定された場合には、前記通信経路を介して、この画像操作命令による操作対象の画像の画像データを送信した端末装置へ、前記所定表示領域ではない表示領域に画像を移動させ、画像の表示を終了させる画像終了命令を送信する操作命令処理部と、を備え、
前記表示制御部は、前記通信経路を介して、前記画像投影装置から前記画像終了命令を受信した場合には、この画像終了命令に応じて、前記所定表示領域ではない表示領域に画像を移動させ、画像の表示を終了させることを特徴とする請求項1、2、8のいずれかに記載の画像投影システム。
【請求項14】
複数の端末装置と、これら複数の端末装置から通信経路を介して画像データを取得し、この画像データに基づいた画像を投影する画像投影装置とを備えた画像投影システムにおける前記端末装置において、
所定のアプリケーションプログラムの制御を行うアプリケーションプログラム制御部と、
前記アプリケーションプログラム制御部によって制御されたアプリケーションプログラムに基づいた画像データを生成する画像生成部と、
前記画像生成部で生成した画像データに基づく画像を表示させる制御を行うとともに、当該表示を終了させる制御を行う表示制御部と、
前記画像投影装置において前記複数の端末装置の所定表示領域にある画像を合成した画像を投影するために、前記画像生成部で生成した画像データに基づく画像の位置が所定表示領域にあるときに、その画像の一部又は全部の画像データを、前記通信経路を介して前記画像投影装置へ送信する所定領域画像送信部と、
前記アプリケーションプログラム制御部によって制御されたアプリケーションプログラムに基づいて生成された画像の表示が前記表示制御部によって前記所定表示領域で終了され、かつ、当該アプリケーションプログラムに基づく画像が前記画像生成部によって再度生成されたことを条件に、当該所定表示領域ではない表示領域に画像の表示位置を変更させる画像表示位置変更部と、を備えたことを特徴とする端末装置。
【請求項15】
コンピュータを、
アプリケーションプログラムに基づいた画像データを生成する画像生成手段、
前記画像生成手段で生成した画像データに基づく画像を表示させる制御を行うとともに、当該表示を終了させる制御を行う表示制御手段、
複数の端末装置から通信経路を介して画像データを取得し、この画像データに基づいた画像を投影する画像投影装置において前記複数の端末装置の所定表示領域にある画像を合成した画像を投影するために、前記画像生成手段で生成した画像データに基づく画像の位置が所定表示領域にあるときに、その画像の一部又は全部の画像データを、前記通信経路を介して前記画像投影装置へ送信する所定領域画像送信手段、
アプリケーションプログラムに基づいて生成された画像の表示が前記表示制御手段によって前記所定表示領域で終了され、かつ、当該アプリケーションプログラムに基づく画像が前記画像生成手段によって再度生成されたことを条件に、当該所定表示領域ではない表示領域に画像の表示位置を変更させる画像表示位置変更手段、として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate


【公開番号】特開2009−150935(P2009−150935A)
【公開日】平成21年7月9日(2009.7.9)
【国際特許分類】
【出願番号】特願2007−326397(P2007−326397)
【出願日】平成19年12月18日(2007.12.18)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】