遠隔支援装置、遠隔支援システム及び遠隔支援方法
【課題】複数の拠点におけるユーザ間の適切なコミュニケーションを可能とした遠隔支援装置、遠隔支援システム及び遠隔支援方法を提供する。
【解決手段】拠点Ａにおけるサーバシステム１１０は、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報を受信し、当該画像情報に対応する画像をホワイトボード１６０に投影し、クライアントシステム１４０は、ビデオカメラ１１８によってホワイトボード１６０を撮影した画像に対応する画像情報を、拠点Ｂにおいて表示されるべき画像に対応する画像情報として当該拠点Ｂのサーバシステム２１０へ送信する。また、クライアントシステム１４０は、アノテーション画像の情報を拠点Ｂのサーバシステム２１０へ送信し、当該サーバシステム２１０からのホワイトボード２６０の撮影画像の情報を受信し、当該撮影画像を表示する。
【解決手段】拠点Ａにおけるサーバシステム１１０は、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報を受信し、当該画像情報に対応する画像をホワイトボード１６０に投影し、クライアントシステム１４０は、ビデオカメラ１１８によってホワイトボード１６０を撮影した画像に対応する画像情報を、拠点Ｂにおいて表示されるべき画像に対応する画像情報として当該拠点Ｂのサーバシステム２１０へ送信する。また、クライアントシステム１４０は、アノテーション画像の情報を拠点Ｂのサーバシステム２１０へ送信し、当該サーバシステム２１０からのホワイトボード２６０の撮影画像の情報を受信し、当該撮影画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、他の装置と協同して、所定の投影領域に表示される画像に関する処理を行う遠隔支援装置、当該遠隔支援装置によって構成される遠隔支援システム、及び、当該遠隔支援装置における遠隔支援方法に関する。
【背景技術】
【０００２】
プレゼンテーションにおいては、パーソナルコンピュータ（ＰＣ）のプレゼンテーション用ソフトウェアを用いて作成された資料（スライド）画像を、プロジェクタによってスクリーンに投影する手法が用いられることが多い。
【０００３】
このような画像処理において、特許文献１及び特許文献２では、遠隔地からの画像をプロジェクタでホワイトボードに投影し、更に、その画像が投影されたスクリーンをカメラで撮影し、撮影により得られた画像情報を遠隔地へ送信する技術が開示されている。また、特許文献３では、電子ホワイトボードが配置された各拠点において、ユーザによってペン等を用いて描画された描画データをそのまま自拠点の電子ホワイトボードに描画するとともに、通信制御部によって受信、変換された、他拠点の電子ホワイトボードにおいて描画された描画データを自拠点の電子ホワイトボードに描画する技術が開示されている。
【特許文献１】特開２００５−３３７５６号公報
【特許文献２】米国特許出願公開第２００４／００７０６７４号明細書
【特許文献３】特開２０００−１８８６５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１において開示された技術では、画像の投影領域としての実物体であるホワイトボードは、１つの拠点のみに存在しており、他拠点におけるユーザに対する作業エリアは、電子的な媒体に限定されてしまうため、ユーザ間のコミュニケーションがしにくいという問題があった。また、特許文献２に開示された技術では、作業エリアとして共有された描画画面がただ１つ存在するだけであり、各拠点において予め用いていた実物体の作業エリアを利用して協同作業を行うことはできず、同様にユーザ間のコミュニケーションがしにくいという問題があった。
【０００５】
本発明は、上記問題点に鑑みてなされたもので、複数の拠点におけるユーザ間の適切なコミュニケーションを可能とした遠隔支援装置、遠隔支援システム及び遠隔支援方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の遠隔支援装置は、他の装置と協同して、所定の投影領域に投影される画像に関する処理を行うものであって、前記他の装置からの第１のアノテーション画像の情報を受信する第１の受信手段と、前記投影領域に、前記第１の受信手段により受信された第１のアノテーション画像の情報に対応する画像を投影する投影手段と、前記投影領域を撮影する撮影手段と、前記撮影手段の撮影により得られる撮影画像に対応する画像情報を、前記他の装置において表示されるべき画像に対応する画像情報として、前記他の装置へ送信する第１の送信手段と、前記他の装置が設置された拠点における投影領域に投影されるべき第２のアノテーション画像の情報を前記他の装置へ送信する第２の送信手段と、前記他の装置からの該他の装置が設置された拠点における投影領域の撮影により得られる撮影画像の情報を受信する第２の受信手段と、前記第２の受信手段により受信された撮影画像の情報に対応する画像を表示手段とを有することを特徴とする。
【０００７】
この構成によれば、自拠点では、ホワイトボード等の投影領域には、他の装置からの第１のアノテーション画像の情報に対応する画像が投影され、表示手段には他の装置からの他拠点の投影領域の撮影画像が表示される。一方、他拠点では、ホワイトボード等の投影領域には、遠隔支援装置が送信した、第２のアノテーション画像の情報に対応する画像が投影され、表示手段には遠隔支援装置からの自拠点の投影領域の撮影画像が表示される。このため、各拠点の投影領域を作業エリアとして利用することによって拠点間で協同作業を行うことができ、ユーザ間のコミュニケーションがしやすくなる。
【０００８】
また、本発明の遠隔支援装置は、前記他の装置の撮像手段で撮像され、かつ、前記表示手段に表示された画像の少なくとも一部の領域を選択する選択手段を有し、前記投影手段は、前記選択手段により選択された領域の画像を前記所定の投影領域に投影するようにしてもよい。
【０００９】
この構成によれば、他の装置において撮像した画像を選択して投影領域に投影させることが可能となる。すなわち、他の装置において撮像した撮像画像の一部をアノテーション画像として自らの投影領域に投影することができ、その結果、一層円滑なコミュニケーションが可能となる。
【００１０】
また、本発明の遠隔支援装置は、前記撮影手段の撮影により得られる撮影画像に含まれる第１のアノテーション画像に対して、描画した前記第１のアノテーション画像を重ねた合成画像を生成する生成手段を有し、前記第１の送信手段は、前記生成手段により生成された前記合成画像に関する画像情報を前記他の装置へ送信するようにしてもよい。
【００１１】
この構成によれば、撮影手段により撮影された投影領域の画像に含まれる第１のアノテーション画像は、投影された第１のアノテーション画像は明度が高いことから、たとえば、色飛びと呼ばれる現象等により、撮像画像中において第１のアノテーション画像の内容を識別しずらくなることがある。このため、撮像画像に含まれる第１のアノテーション画像に、コンピュータで描画した電子データからなる第１のアノテーション画像を重ね合わせた合成画像を生成し、これを他の装置へ送信することにより、他の装置において撮像画像に含まれる第１のアノテーション画像の内容を確実に識別できる。特に、上記したように、撮像した撮像画像を選択して投影領域に投影させる際に、その撮像画像に含まれる第１のアノテーション画像をコンピュータで描画した電子データで置き換えることにより、再び投影される第１のアノテーション画像の内容を容易に識別可能となる。尚、撮像画像中に含まれる第１のアノテーション画像は、例えば、第１のアノテーション画像を描画した際の各種情報（時刻、ユーザ名等）から特定することができる。
【００１２】
また、本発明の遠隔支援装置は、前記第１の受信手段が、前記他の装置からの第１のアノテーション画像の情報とともに、該第１のアノテーション画像の情報に対応する画像の投影に関する第１の描画指示を受信し、前記投影手段が、前記第１の受信手段により受信された第１の描画指示に応じて、前記投影領域に前記第１の受信手段により受信された第１のアノテーション画像の情報に対応する画像を投影するようにしてもよい。
【００１３】
この構成によれば、他拠点におけるユーザの要求等に応じた適切な画像投影が可能となる。
【００１４】
また、本発明の遠隔支援装置は、前記第２の送信手段が、前記第２のアノテーション画像の情報とともに、該第２のアノテーション画像の情報に対応する画像の投影に関する第２の描画指示を送信するようにしてもよい。
【００１５】
この構成によれば、他拠点における投影領域において、自拠点のユーザの要求等に応じた適切な画像投影が可能となる。
【００１６】
また、本発明の遠隔支援装置は、ユーザの操作指示に応じて、前記第２の描画指示を生成する生成手段を有し、前記第１の送信手段が、前記生成手段により生成された第２の描画指示を送信するようにしてもよい。
【００１７】
また、本発明の遠隔支援装置は、サーバ及びクライアントからなり、前記サーバは、前記他の装置におけるクライアントと通信可能に接続され、前記クライアントは、前記他の装置におけるサーバと通信可能に接続されるようにしてもよい。
【００１８】
本発明の遠隔支援システムは、上述したいずれかの遠隔支援装置を複数組み合わせて構成されることを特徴とする。
【００１９】
本発明の遠隔支援方法は、他の装置と協同して、所定の投影領域に投影される画像に関する処理を行う遠隔支援装置における方法であって、前記他の装置からの第１のアノテーション画像の情報を受信する第１の受信ステップと、前記投影領域に、前記第１の受信ステップにより受信された第１のアノテーション画像の情報に対応する画像を投影する投影ステップと、前記投影領域を撮影する撮影ステップと、前記撮影手段の撮影により得られる撮影画像に対応する画像情報を、前記他の装置において表示されるべき画像に対応する画像情報として、前記他の装置へ送信する第１の送信ステップと、前記他の装置が設置された拠点における投影領域に投影されるべき第２のアノテーション画像の情報を前記他の装置へ送信する第２の送信ステップと、前記他の装置からの該他の装置が設置された拠点における投影領域の撮影により得られる撮影画像の情報を受信する第２の受信ステップと、前記第２の受信ステップにより受信された撮影画像の情報に対応する画像を表示ステップとを有することを特徴とする。
【００２０】
また、本発明の遠隔支援方法は、前記他の装置の撮像手段で撮像され、かつ、前記表示手段に表示された画像の一部の領域を選択する選択ステップを有し、前記投影ステップが、前記選択ステップにより選択された領域の画像を前記所定の投影領域に投影するようにしてもよい。
【００２１】
また、本発明の遠隔支援方法は、前記撮影手段の撮影により得られる撮影画像に含まれる第１のアノテーション画像に描画した前記第１のアノテーション画像を重ねた合成画像を生成するステップと、生成された前記合成画像に関する画像情報を前記他の装置へ送信するステップとを有するようにしてもよい。
【００２２】
また、本発明の遠隔支援方法は、前記第１の受信ステップが、前記他の装置からの第１のアノテーション画像の情報とともに、該第１のアノテーション画像の情報に対応する画像の投影に関する第１の描画指示を受信し、前記投影ステップが、前記第１の受信ステップにより受信された第１の描画指示に応じて、前記投影領域に前記第１の受信ステップにより受信された第１のアノテーション画像の情報に対応する画像を投影するようにしてもよい。
【００２３】
また、本発明の遠隔支援方法は、前記第２の送信ステップが、前記第２のアノテーション画像の情報とともに、該第２のアノテーション画像の情報に対応する画像の投影に関する第２の描画指示を送信するようにしてもよい。
【発明の効果】
【００２４】
本発明によれば、各拠点の投影領域を作業エリアとして利用することによって拠点間で協同作業を行うことができ、複数の拠点におけるユーザ間の適切なコミュニケーションが可能となる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態の遠隔支援システムについて、図面を用いて説明する。図１は、遠隔支援システムを構成する遠隔支援装置の基本構成を示す図である。図１において、拠点Ａには、遠隔支援装置としてのサーバシステム１１０及びホワイトボード１６０が設置され、拠点Ｂには、遠隔支援装置としてのクライアントシステム２００が設置されている。
【００２６】
拠点Ａのサーバシステム１１０は、描画サーバ１１２、ビデオサーバ１１４、プロジェクタ１１６、ビデオカメラ１１８及びハーフミラー１２０を有する。一方、拠点Ｂのクライアントシステム２４０は、モニタ２４２を有する。拠点Ａのサーバシステム１１０内の描画サーバ１１２及びビデオサーバ１１４と、拠点Ｂのクライアントシステム２４０とは、インターネット４００によって通信可能に接続されている。
【００２７】
本実施形態では、拠点Ａに、サーバシステム１１０とともに拠点Ｂのクライアントシステム２４０と同様のクライアントシステムを設けて遠隔支援装置を構成するとともに、拠点Ｂに、クライアントシステム２４０とともに、拠点Ａのサーバシステム１１０と同様のサーバシステムを設けて遠隔支援装置を構成し、更に拠点Ｂにホワイトボードを設けて、遠隔支援システムが構成される。
【００２８】
図２は、遠隔支援システムの構成を示す図である。図２に示す遠隔支援システムにおいて、拠点Ａには、遠隔支援装置としてのサーバシステム１１０及びクライアントシステム１４０と、ホワイトボード１６０とが設置される。これらのうち、クライアントシステム１４０は、モニタ１４２を有する。一方、拠点Ｂには、遠隔支援装置としてのサーバシステム２１０及びクライアントシステム２４０と、ホワイトボード２６０とが設置される。これらのうち、サーバシステム２１０は、描画サーバ２１２、ビデオサーバ２１４、プロジェクタ２１６、ビデオカメラ２１８及びハーフミラー２２０によって構成されている。また、拠点Ａのクライアントシステム１４０と、拠点Ｂのサーバシステム２１０内の描画サーバ２１２及びビデオサーバ２１４とは、インターネット４００によって通信可能に接続されている。
【００２９】
拠点Ａのサーバシステム１１０は、拠点Ｂのクライアントシステム２４０の要求に応じて、拠点Ａにおける画像投影のための処理を行う。同様に、拠点Ｂのサーバシステム２１０は、拠点Ａのクライアントシステム１４０の要求に応じて、拠点Ｂにおける画像投影のための処理を行う。以下、具体的に説明する。
【００３０】
拠点Ｂのクライアントシステム２４０は、拠点Ｂのユーザの操作指示に応じて、注釈等のアノテーション画像を投影させる指示である描画コマンドと、当該アノテーション画像の情報を生成し、インターネット４００を介して、拠点Ａのサーバシステム１１０内の描画サーバ１１２に対して送信する。
【００３１】
描画サーバ１１２は、受信した描画コマンドに応じて、当該描画コマンドとともに受信したアノテーション画像の情報をプロジェクタ１１６へ出力する。また、描画サーバ１１２は、予め保持している画像情報が存在する場合には、その画像情報をプロジェクタ１１６へ出力する。プロジェクタ１１６は、入力した画像情報に対応する画像を、ハーフミラー１２０を介してホワイトボード１６０へ投影する。
【００３２】
ホワイトボード１６０には、プロジェクタ１１６によって画像が投影され、拠点Ａのユーザによって文字等が書き込まれる。ビデオカメラ１１８は、ハーフミラー１２０を介して、投影画像が投影されるとともに文字等が書き込まれたホワイトボード１６０を撮影する。このビデオカメラ１１８は、プロジェクタ１１６と画角及び光軸が一致するように、パン、チルト、ズーム等の各種設定がなされている。撮影により得られた画像情報は、ビデオサーバ１１４へ出力される。ビデオサーバ１１４は、入力した画像情報を、インターネット４００を介して、拠点Ｂのクライアントシステム２４０に対して送信する。
【００３３】
拠点Ｂのクライアントシステム２４０は、受信した画像情報をモニタ２４２に表示する。これにより、拠点Ｂのユーザは、拠点Ａのホワイトボード１６０の画像を認識することができる。
【００３４】
上述と同様の処理が、拠点Ａのクライアントシステム１４０と拠点Ｂのサーバシステム２１０との間でも行われる。すなわち、拠点Ａのクライアントシステム１４０は、拠点Ａのユーザの操作指示に応じて、アノテーション画像を投影させる指示である描画コマンドと、当該アノテーション画像の情報を生成し、インターネット４００を介して、拠点Ｂのサーバシステム２１０内の描画サーバ２１２に対して送信する。
【００３５】
描画サーバ２１２は、受信した描画コマンドに応じて、当該描画コマンドとともに受信したアノテーション画像の情報をプロジェクタ２１６へ出力する。また、描画サーバ２１２は、予め保持している画像情報が存在する場合には、その画像情報をプロジェクタ２１６へ出力する。プロジェクタ２１６は、入力した画像情報に対応する画像を、ハーフミラー２２０を介してホワイトボード２６０へ投影する。
【００３６】
ホワイトボード２６０には、プロジェクタ２１６によって画像が投影され、拠点Ｂのユーザによって文字等が書き込まれる。ビデオカメラ２１８は、ハーフミラー２２０を介して、投影画像が表示されるとともに文字等が書き込まれたホワイトボード２６０を撮影する。ビデオサーバ２１４は、ビデオカメラ２１８の撮影により得られた画像情報を、インターネット４００を介して、拠点Ａのクライアントシステム１４０に対して送信する。
【００３７】
拠点Ａのクライアントシステム１４０は、受信した画像情報をモニタ１４２に表示する。これにより、拠点Ａのユーザは、拠点Ｂのホワイトボード２６０の画像を認識することができる。
【００３８】
以下、拠点Ａのサーバシステム１１０と拠点Ｂのクライアントシステム２４０の動作を、フローチャートを参照しつつ、説明する。
【００３９】
図３は、拠点Ａのサーバシステム１１０の動作を示すフローチャートである。拠点Ａのサーバシステム１１０内の描画サーバ１１２は、予め保持している画像情報をプロジェクタ１１６へ出力する。プロジェクタ１１６は、入力した画像情報に対応する画像（初期画像）を、ハーフミラー１２０を介してホワイトボード１６０へ投影する（Ｓ１０１）。
【００４０】
次に、ビデオカメラ１１８は、ホワイトボード１６０の撮影を開始する（Ｓ１０２）。撮影により得られた画像情報（撮影画像の情報）は、ビデオサーバ１１４へ出力され、当該ビデオサーバ１１８は、入力した画像情報の拠点Ｂのクライアントシステム２４０への送信を開始する（Ｓ１０３）。その後も、ビデオカメラ１１８は、ホワイトボード１６０の撮影を継続し、ビデオサーバ１１８は、随時、入力した画像情報を拠点Ｂのクライアントシステム２４０へ送信する。
【００４１】
次に、描画サーバ１１２は、拠点Ｂのクライアントシステム２４０からの描画コマンドを受信したか否かを判定する（Ｓ１０４）。描画コマンドを受信した場合、描画サーバ１１２は、当該描画コマンドの指示に応じて、当該描画コマンドに付加されているアノテーション画像の情報をプロジェクタ１１６へ出力する。プロジェクタ１１６は、入力したアノテーション画像の情報に対応する画像を、ハーフミラー１２０を介してホワイトボード１６０へ投影する（Ｓ１０５）。これにより、ホワイトボード１６０には、初期画像とともに、拠点Ｂのクライアントシステム２４０からの描画コマンドに付加されているアノテーション画像の情報に対応する注釈等の画像が投影される。なお、ビデオカメラ１１８による撮影画像における、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像の部分が色飛び等の不都合を引き起こす場合があることを考慮して、ビデオサーバ１１４は、ビデオカメラ１１８による撮影画像における、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像の位置に、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像を重ねた合成画像に対応する画像情報を生成し、その生成した画像情報を拠点Ｂのクライアントシステム２４０へ送信するようにしてもよい。
【００４２】
Ｓ１０５における画像投影の後、あるいは、Ｓ１０４において描画コマンドを受信していないと判定された後、サーバシステム１１０は、拠点Ａのユーザによって終了指示がなされたか否かを判定する（Ｓ１０６）。終了指示がなされた場合には、一連の動作が終了する。一方、終了指示がなされていない場合には、描画サーバ１１２による描画コマンドを受信したか否かの判定（Ｓ１０４）以降の動作が繰り返される。
【００４３】
図４は、拠点Ｂのクライアントシステム２４０の動作を示すフローチャートである。クライアントシステム２４０は、拠点Ｂのユーザの操作指示に応じて、注釈等のアノテーション画像を拠点Ａのホワイトボード１６０あるいは拠点Ｂのホワイトボード２６０に投影させる指示である描画コマンドを生成する（Ｓ２０１）。
【００４４】
次に、クライアントシステム２４０は、画像描画処理を行い、拠点Ａのホワイトボード１６０あるいは拠点Ｂのホワイトボード２６０に投影させるアノテーション画像の情報を生成する（Ｓ２０２）。更に、クライアントシステム２４０は、描画コマンドの送信先が自拠点のサーバシステムであるサーバシステム２１０であるか否かを判定する（Ｓ２０３）。例えば、拠点Ｂのユーザは、描画コマンドの生成の操作指示において、送信先を指定する操作指示を行い、クライアントシステム２４０は、この操作指示により送信先を判別する。
【００４５】
描画コマンドの送信先が自拠点のサーバシステムであるサーバシステム２１０でない場合、クライアントシステム２４０は、描画コマンドにＳ２０２で生成されたアノテーション画像の情報を付加して、拠点Ａのサーバシステム１１０内の描画サーバ１１２へ送信する（Ｓ２０４）。これにより、拠点Ａのサーバシステム１１０では、図３のＳ１０５の動作が行われる。
【００４６】
一方、描画コマンドの送信先が自拠点のサーバシステムであるサーバシステム２１０の場合、クライアントシステム２４０は、描画コマンドにＳ２０２で生成されたアノテーション画像の情報を付加してサーバシステム２１０へ送信する（Ｓ２０５）。この場合、サーバシステム２１０内の描画サーバ２１２は、受信した描画コマンドに付加されているアノテーション画像の情報をプロジェクタ２１６へ出力し、当該プロジェクタ２１６は、アノテーション画像の情報に対応する画像をホワイトボード２６０へ投影する。
【００４７】
Ｓ２０４あるいはＳ２０５における描画コマンドの送信後、クライアントシステム２４０は、拠点Ｂのユーザによって終了指示がなされたか否かを判定する（Ｓ２０６）。終了指示がなされた場合には、一連の動作が終了する。一方、終了指示がなされていない場合には、描画コマンドの生成（Ｓ２０１）以降の動作が繰り返される。
【００４８】
なお、拠点Ｂのサーバシステム２１０においても図３と同様の動作が行われ、拠点Ａのクライアントシステム１４０においても図４と同様の動作が行われる。
【００４９】
このように遠隔支援システムでは、拠点Ａにおけるホワイトボード１６０に、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像が表示され、同様に、拠点Ｂにおけるホワイトボード２６０に、拠点Ａのクライアントシステム１４０からのアノテーション画像の情報に対応する画像が表示される。また、拠点Ａのモニタ１４２には、拠点Ｂのホワイトボード２６０の撮影画像が表示され、拠点Ｂのモニタ２４２には、拠点Ａのホワイトボード１６０の撮影画像が表示される。このため、各拠点の投影領域であるホワイトボードを作業エリアとして利用することによって拠点間で協同作業を行うことができ、ユーザ間のコミュニケーションがしやすくなる。
【００５０】
なお、本発明は上記実施形態に限定されるものではなく、様々な変形実施が可能である。図５は、拠点Ａの遠隔支援装置の他の構成を示す図である。図５において、拠点Ａには、遠隔支援装置としてのサーバシステム１１０、自拠点モニタ用クライアントシステム１７０及び他拠点用クライアントシステム１８０と、ホワイトボード１６０とが設置されている。なお、拠点Ｂにおいても同様の構成とすることができる。
【００５１】
他拠点用クライアントシステム１８０は、モニタ１８２を有する。この他拠点用クライアントシステム１８０は、拠点Ｂのサーバシステム２１０内のビデオサーバ２１４から送信される、ホワイトボード２６０の撮影により得られた画像情報を受信して、当該画像情報に対応する画像をモニタ１８２に表示する。
【００５２】
拠点Ａのユーザは、モニタ１８２に表示された画像の一部の領域を、ホワイトボード１６０に表示すべき画像として設定する操作指示を行うことができる。この操作指示がなされた場合、他拠点用クライアントシステム１８０は、設定された画像領域をコピーエリア１８３として選択し、当該コピーエリア１８３に対応する画像情報を、自拠点モニタ用クライアントシステム１７０へ送信する。
【００５３】
自拠点モニタ用クライアントシステム１７０は、コピーエリア１８３に対応する画像情報を受信すると、当該画像情報に対応する画像と、予め保持している画像情報に対応する画像とを合成した合成画像の画像情報を生成する。更に、自拠点モニタ用クライアントシステム１７０は、合成画像をモニタ１７２に表示するとともに、コピーエリア１８３に対応する画像情報をサーバシステム１１０へ送信する。
【００５４】
サーバシステム１１０内の描画サーバ１１２は、受信したコピーエリア１８３に対応する画像情報をプロジェクタ１１６へ出力し、プロジェクタ１１６は、当該画像情報に対応する合成画像をホワイトボード１６０へ投影する。
【００５５】
このように、拠点Ａにおいては、当該拠点Ａのユーザの操作指示に応じて、拠点Ｂにおけるホワイトボード２６０の撮影により得られた画像情報に対応する画像の一部が選択されて、その画像が拠点Ａのホワイトボード１６０に投影される。
【００５６】
なお、上述した実施形態では、２つの拠点Ａ及びＢに遠隔支援装置が設置される場合における遠隔支援システムについて説明したが、３つ以上の拠点に遠隔支援装置が設置される遠隔支援システムにおいても、本発明を適用することができる。図６は、拠点Ａ、Ｂ、Ｃの３箇所に遠隔支援装置が設置される場合の例であり、拠点Ａには、遠隔支援装置としてのサーバシステム１１０、クライアントシステム１４０−１及び１４０−２が設置され、拠点Ｂには、遠隔支援装置としてのサーバシステム２１０、クライアントシステム２４０−１及び２４０−２が設置され、拠点Ｃには、遠隔支援装置としてのサーバシステム３１０、クライアントシステム３４０−１及び３４０−２が設置される。
【００５７】
この画像システムにおいて、拠点Ａのサーバシステム１１０は、インターネット４００を介して拠点Ｂのクライアントシステム２４０−１及び拠点Ｃのクライアントシステム３４０−２と通信可能に接続され、これらクライアントシステム２４０−１及び３４０−２の要求に応じて、拠点Ａにおける画像投影のための処理を行う。同様に、拠点Ｂのサーバシステム２１０は、インターネット４００を介して拠点Ａのクライアントシステム１４０−１及び拠点Ｃのクライアントシステム３４０−１と通信可能に接続され、これらクライアントシステム１４０−１及び３４０−１の要求に応じて、拠点Ｂにおける画像投影のための処理を行う。また、拠点Ｃのサーバシステム３１０は、インターネット４００を介して拠点Ａのクライアントシステム１４０−２及び拠点Ｂのクライアントシステム２４０−２と通信可能に接続され、これらクライアントシステム１４０−２及び２４０−２の要求に応じて、拠点Ｃにおける画像投影のための処理を行う。
【産業上の利用可能性】
【００５８】
以上、説明したように、本発明に係る遠隔支援装置、遠隔支援システム及び遠隔支援方法は、複数の拠点におけるユーザ間の適切なコミュニケーションを可能とし、遠隔支援装置等として有用である。
【図面の簡単な説明】
【００５９】
【図１】遠隔支援システムを構成する遠隔支援装置の基本構成を示す図である。
【図２】遠隔支援システムの構成を示す図である。
【図３】サーバシステムの動作を示すフローチャートである。
【図４】クライアントシステムの動作を示すフローチャートである。
【図５】遠隔支援装置の他の構成を示す図である。
【図６】遠隔支援システムの他の構成を示す図である。
【符号の説明】
【００６０】
１１０、２１０ サーバシステム
１１２、２１２ 描画サーバ
１１４、２１４ ビデオサーバ
１１６、２１６ プロジェクタ
１１８、２１８ ビデオカメラ
１２０、２２０ ハーフミラー
１４０、２４０ クライアントシステム
１４２、２４２ モニタ
１６０、２６０ ホワイトボード
４００ インターネット
【技術分野】
【０００１】
本発明は、他の装置と協同して、所定の投影領域に表示される画像に関する処理を行う遠隔支援装置、当該遠隔支援装置によって構成される遠隔支援システム、及び、当該遠隔支援装置における遠隔支援方法に関する。
【背景技術】
【０００２】
プレゼンテーションにおいては、パーソナルコンピュータ（ＰＣ）のプレゼンテーション用ソフトウェアを用いて作成された資料（スライド）画像を、プロジェクタによってスクリーンに投影する手法が用いられることが多い。
【０００３】
このような画像処理において、特許文献１及び特許文献２では、遠隔地からの画像をプロジェクタでホワイトボードに投影し、更に、その画像が投影されたスクリーンをカメラで撮影し、撮影により得られた画像情報を遠隔地へ送信する技術が開示されている。また、特許文献３では、電子ホワイトボードが配置された各拠点において、ユーザによってペン等を用いて描画された描画データをそのまま自拠点の電子ホワイトボードに描画するとともに、通信制御部によって受信、変換された、他拠点の電子ホワイトボードにおいて描画された描画データを自拠点の電子ホワイトボードに描画する技術が開示されている。
【特許文献１】特開２００５−３３７５６号公報
【特許文献２】米国特許出願公開第２００４／００７０６７４号明細書
【特許文献３】特開２０００−１８８６５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１において開示された技術では、画像の投影領域としての実物体であるホワイトボードは、１つの拠点のみに存在しており、他拠点におけるユーザに対する作業エリアは、電子的な媒体に限定されてしまうため、ユーザ間のコミュニケーションがしにくいという問題があった。また、特許文献２に開示された技術では、作業エリアとして共有された描画画面がただ１つ存在するだけであり、各拠点において予め用いていた実物体の作業エリアを利用して協同作業を行うことはできず、同様にユーザ間のコミュニケーションがしにくいという問題があった。
【０００５】
本発明は、上記問題点に鑑みてなされたもので、複数の拠点におけるユーザ間の適切なコミュニケーションを可能とした遠隔支援装置、遠隔支援システム及び遠隔支援方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の遠隔支援装置は、他の装置と協同して、所定の投影領域に投影される画像に関する処理を行うものであって、前記他の装置からの第１のアノテーション画像の情報を受信する第１の受信手段と、前記投影領域に、前記第１の受信手段により受信された第１のアノテーション画像の情報に対応する画像を投影する投影手段と、前記投影領域を撮影する撮影手段と、前記撮影手段の撮影により得られる撮影画像に対応する画像情報を、前記他の装置において表示されるべき画像に対応する画像情報として、前記他の装置へ送信する第１の送信手段と、前記他の装置が設置された拠点における投影領域に投影されるべき第２のアノテーション画像の情報を前記他の装置へ送信する第２の送信手段と、前記他の装置からの該他の装置が設置された拠点における投影領域の撮影により得られる撮影画像の情報を受信する第２の受信手段と、前記第２の受信手段により受信された撮影画像の情報に対応する画像を表示手段とを有することを特徴とする。
【０００７】
この構成によれば、自拠点では、ホワイトボード等の投影領域には、他の装置からの第１のアノテーション画像の情報に対応する画像が投影され、表示手段には他の装置からの他拠点の投影領域の撮影画像が表示される。一方、他拠点では、ホワイトボード等の投影領域には、遠隔支援装置が送信した、第２のアノテーション画像の情報に対応する画像が投影され、表示手段には遠隔支援装置からの自拠点の投影領域の撮影画像が表示される。このため、各拠点の投影領域を作業エリアとして利用することによって拠点間で協同作業を行うことができ、ユーザ間のコミュニケーションがしやすくなる。
【０００８】
また、本発明の遠隔支援装置は、前記他の装置の撮像手段で撮像され、かつ、前記表示手段に表示された画像の少なくとも一部の領域を選択する選択手段を有し、前記投影手段は、前記選択手段により選択された領域の画像を前記所定の投影領域に投影するようにしてもよい。
【０００９】
この構成によれば、他の装置において撮像した画像を選択して投影領域に投影させることが可能となる。すなわち、他の装置において撮像した撮像画像の一部をアノテーション画像として自らの投影領域に投影することができ、その結果、一層円滑なコミュニケーションが可能となる。
【００１０】
また、本発明の遠隔支援装置は、前記撮影手段の撮影により得られる撮影画像に含まれる第１のアノテーション画像に対して、描画した前記第１のアノテーション画像を重ねた合成画像を生成する生成手段を有し、前記第１の送信手段は、前記生成手段により生成された前記合成画像に関する画像情報を前記他の装置へ送信するようにしてもよい。
【００１１】
この構成によれば、撮影手段により撮影された投影領域の画像に含まれる第１のアノテーション画像は、投影された第１のアノテーション画像は明度が高いことから、たとえば、色飛びと呼ばれる現象等により、撮像画像中において第１のアノテーション画像の内容を識別しずらくなることがある。このため、撮像画像に含まれる第１のアノテーション画像に、コンピュータで描画した電子データからなる第１のアノテーション画像を重ね合わせた合成画像を生成し、これを他の装置へ送信することにより、他の装置において撮像画像に含まれる第１のアノテーション画像の内容を確実に識別できる。特に、上記したように、撮像した撮像画像を選択して投影領域に投影させる際に、その撮像画像に含まれる第１のアノテーション画像をコンピュータで描画した電子データで置き換えることにより、再び投影される第１のアノテーション画像の内容を容易に識別可能となる。尚、撮像画像中に含まれる第１のアノテーション画像は、例えば、第１のアノテーション画像を描画した際の各種情報（時刻、ユーザ名等）から特定することができる。
【００１２】
また、本発明の遠隔支援装置は、前記第１の受信手段が、前記他の装置からの第１のアノテーション画像の情報とともに、該第１のアノテーション画像の情報に対応する画像の投影に関する第１の描画指示を受信し、前記投影手段が、前記第１の受信手段により受信された第１の描画指示に応じて、前記投影領域に前記第１の受信手段により受信された第１のアノテーション画像の情報に対応する画像を投影するようにしてもよい。
【００１３】
この構成によれば、他拠点におけるユーザの要求等に応じた適切な画像投影が可能となる。
【００１４】
また、本発明の遠隔支援装置は、前記第２の送信手段が、前記第２のアノテーション画像の情報とともに、該第２のアノテーション画像の情報に対応する画像の投影に関する第２の描画指示を送信するようにしてもよい。
【００１５】
この構成によれば、他拠点における投影領域において、自拠点のユーザの要求等に応じた適切な画像投影が可能となる。
【００１６】
また、本発明の遠隔支援装置は、ユーザの操作指示に応じて、前記第２の描画指示を生成する生成手段を有し、前記第１の送信手段が、前記生成手段により生成された第２の描画指示を送信するようにしてもよい。
【００１７】
また、本発明の遠隔支援装置は、サーバ及びクライアントからなり、前記サーバは、前記他の装置におけるクライアントと通信可能に接続され、前記クライアントは、前記他の装置におけるサーバと通信可能に接続されるようにしてもよい。
【００１８】
本発明の遠隔支援システムは、上述したいずれかの遠隔支援装置を複数組み合わせて構成されることを特徴とする。
【００１９】
本発明の遠隔支援方法は、他の装置と協同して、所定の投影領域に投影される画像に関する処理を行う遠隔支援装置における方法であって、前記他の装置からの第１のアノテーション画像の情報を受信する第１の受信ステップと、前記投影領域に、前記第１の受信ステップにより受信された第１のアノテーション画像の情報に対応する画像を投影する投影ステップと、前記投影領域を撮影する撮影ステップと、前記撮影手段の撮影により得られる撮影画像に対応する画像情報を、前記他の装置において表示されるべき画像に対応する画像情報として、前記他の装置へ送信する第１の送信ステップと、前記他の装置が設置された拠点における投影領域に投影されるべき第２のアノテーション画像の情報を前記他の装置へ送信する第２の送信ステップと、前記他の装置からの該他の装置が設置された拠点における投影領域の撮影により得られる撮影画像の情報を受信する第２の受信ステップと、前記第２の受信ステップにより受信された撮影画像の情報に対応する画像を表示ステップとを有することを特徴とする。
【００２０】
また、本発明の遠隔支援方法は、前記他の装置の撮像手段で撮像され、かつ、前記表示手段に表示された画像の一部の領域を選択する選択ステップを有し、前記投影ステップが、前記選択ステップにより選択された領域の画像を前記所定の投影領域に投影するようにしてもよい。
【００２１】
また、本発明の遠隔支援方法は、前記撮影手段の撮影により得られる撮影画像に含まれる第１のアノテーション画像に描画した前記第１のアノテーション画像を重ねた合成画像を生成するステップと、生成された前記合成画像に関する画像情報を前記他の装置へ送信するステップとを有するようにしてもよい。
【００２２】
また、本発明の遠隔支援方法は、前記第１の受信ステップが、前記他の装置からの第１のアノテーション画像の情報とともに、該第１のアノテーション画像の情報に対応する画像の投影に関する第１の描画指示を受信し、前記投影ステップが、前記第１の受信ステップにより受信された第１の描画指示に応じて、前記投影領域に前記第１の受信ステップにより受信された第１のアノテーション画像の情報に対応する画像を投影するようにしてもよい。
【００２３】
また、本発明の遠隔支援方法は、前記第２の送信ステップが、前記第２のアノテーション画像の情報とともに、該第２のアノテーション画像の情報に対応する画像の投影に関する第２の描画指示を送信するようにしてもよい。
【発明の効果】
【００２４】
本発明によれば、各拠点の投影領域を作業エリアとして利用することによって拠点間で協同作業を行うことができ、複数の拠点におけるユーザ間の適切なコミュニケーションが可能となる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態の遠隔支援システムについて、図面を用いて説明する。図１は、遠隔支援システムを構成する遠隔支援装置の基本構成を示す図である。図１において、拠点Ａには、遠隔支援装置としてのサーバシステム１１０及びホワイトボード１６０が設置され、拠点Ｂには、遠隔支援装置としてのクライアントシステム２００が設置されている。
【００２６】
拠点Ａのサーバシステム１１０は、描画サーバ１１２、ビデオサーバ１１４、プロジェクタ１１６、ビデオカメラ１１８及びハーフミラー１２０を有する。一方、拠点Ｂのクライアントシステム２４０は、モニタ２４２を有する。拠点Ａのサーバシステム１１０内の描画サーバ１１２及びビデオサーバ１１４と、拠点Ｂのクライアントシステム２４０とは、インターネット４００によって通信可能に接続されている。
【００２７】
本実施形態では、拠点Ａに、サーバシステム１１０とともに拠点Ｂのクライアントシステム２４０と同様のクライアントシステムを設けて遠隔支援装置を構成するとともに、拠点Ｂに、クライアントシステム２４０とともに、拠点Ａのサーバシステム１１０と同様のサーバシステムを設けて遠隔支援装置を構成し、更に拠点Ｂにホワイトボードを設けて、遠隔支援システムが構成される。
【００２８】
図２は、遠隔支援システムの構成を示す図である。図２に示す遠隔支援システムにおいて、拠点Ａには、遠隔支援装置としてのサーバシステム１１０及びクライアントシステム１４０と、ホワイトボード１６０とが設置される。これらのうち、クライアントシステム１４０は、モニタ１４２を有する。一方、拠点Ｂには、遠隔支援装置としてのサーバシステム２１０及びクライアントシステム２４０と、ホワイトボード２６０とが設置される。これらのうち、サーバシステム２１０は、描画サーバ２１２、ビデオサーバ２１４、プロジェクタ２１６、ビデオカメラ２１８及びハーフミラー２２０によって構成されている。また、拠点Ａのクライアントシステム１４０と、拠点Ｂのサーバシステム２１０内の描画サーバ２１２及びビデオサーバ２１４とは、インターネット４００によって通信可能に接続されている。
【００２９】
拠点Ａのサーバシステム１１０は、拠点Ｂのクライアントシステム２４０の要求に応じて、拠点Ａにおける画像投影のための処理を行う。同様に、拠点Ｂのサーバシステム２１０は、拠点Ａのクライアントシステム１４０の要求に応じて、拠点Ｂにおける画像投影のための処理を行う。以下、具体的に説明する。
【００３０】
拠点Ｂのクライアントシステム２４０は、拠点Ｂのユーザの操作指示に応じて、注釈等のアノテーション画像を投影させる指示である描画コマンドと、当該アノテーション画像の情報を生成し、インターネット４００を介して、拠点Ａのサーバシステム１１０内の描画サーバ１１２に対して送信する。
【００３１】
描画サーバ１１２は、受信した描画コマンドに応じて、当該描画コマンドとともに受信したアノテーション画像の情報をプロジェクタ１１６へ出力する。また、描画サーバ１１２は、予め保持している画像情報が存在する場合には、その画像情報をプロジェクタ１１６へ出力する。プロジェクタ１１６は、入力した画像情報に対応する画像を、ハーフミラー１２０を介してホワイトボード１６０へ投影する。
【００３２】
ホワイトボード１６０には、プロジェクタ１１６によって画像が投影され、拠点Ａのユーザによって文字等が書き込まれる。ビデオカメラ１１８は、ハーフミラー１２０を介して、投影画像が投影されるとともに文字等が書き込まれたホワイトボード１６０を撮影する。このビデオカメラ１１８は、プロジェクタ１１６と画角及び光軸が一致するように、パン、チルト、ズーム等の各種設定がなされている。撮影により得られた画像情報は、ビデオサーバ１１４へ出力される。ビデオサーバ１１４は、入力した画像情報を、インターネット４００を介して、拠点Ｂのクライアントシステム２４０に対して送信する。
【００３３】
拠点Ｂのクライアントシステム２４０は、受信した画像情報をモニタ２４２に表示する。これにより、拠点Ｂのユーザは、拠点Ａのホワイトボード１６０の画像を認識することができる。
【００３４】
上述と同様の処理が、拠点Ａのクライアントシステム１４０と拠点Ｂのサーバシステム２１０との間でも行われる。すなわち、拠点Ａのクライアントシステム１４０は、拠点Ａのユーザの操作指示に応じて、アノテーション画像を投影させる指示である描画コマンドと、当該アノテーション画像の情報を生成し、インターネット４００を介して、拠点Ｂのサーバシステム２１０内の描画サーバ２１２に対して送信する。
【００３５】
描画サーバ２１２は、受信した描画コマンドに応じて、当該描画コマンドとともに受信したアノテーション画像の情報をプロジェクタ２１６へ出力する。また、描画サーバ２１２は、予め保持している画像情報が存在する場合には、その画像情報をプロジェクタ２１６へ出力する。プロジェクタ２１６は、入力した画像情報に対応する画像を、ハーフミラー２２０を介してホワイトボード２６０へ投影する。
【００３６】
ホワイトボード２６０には、プロジェクタ２１６によって画像が投影され、拠点Ｂのユーザによって文字等が書き込まれる。ビデオカメラ２１８は、ハーフミラー２２０を介して、投影画像が表示されるとともに文字等が書き込まれたホワイトボード２６０を撮影する。ビデオサーバ２１４は、ビデオカメラ２１８の撮影により得られた画像情報を、インターネット４００を介して、拠点Ａのクライアントシステム１４０に対して送信する。
【００３７】
拠点Ａのクライアントシステム１４０は、受信した画像情報をモニタ１４２に表示する。これにより、拠点Ａのユーザは、拠点Ｂのホワイトボード２６０の画像を認識することができる。
【００３８】
以下、拠点Ａのサーバシステム１１０と拠点Ｂのクライアントシステム２４０の動作を、フローチャートを参照しつつ、説明する。
【００３９】
図３は、拠点Ａのサーバシステム１１０の動作を示すフローチャートである。拠点Ａのサーバシステム１１０内の描画サーバ１１２は、予め保持している画像情報をプロジェクタ１１６へ出力する。プロジェクタ１１６は、入力した画像情報に対応する画像（初期画像）を、ハーフミラー１２０を介してホワイトボード１６０へ投影する（Ｓ１０１）。
【００４０】
次に、ビデオカメラ１１８は、ホワイトボード１６０の撮影を開始する（Ｓ１０２）。撮影により得られた画像情報（撮影画像の情報）は、ビデオサーバ１１４へ出力され、当該ビデオサーバ１１８は、入力した画像情報の拠点Ｂのクライアントシステム２４０への送信を開始する（Ｓ１０３）。その後も、ビデオカメラ１１８は、ホワイトボード１６０の撮影を継続し、ビデオサーバ１１８は、随時、入力した画像情報を拠点Ｂのクライアントシステム２４０へ送信する。
【００４１】
次に、描画サーバ１１２は、拠点Ｂのクライアントシステム２４０からの描画コマンドを受信したか否かを判定する（Ｓ１０４）。描画コマンドを受信した場合、描画サーバ１１２は、当該描画コマンドの指示に応じて、当該描画コマンドに付加されているアノテーション画像の情報をプロジェクタ１１６へ出力する。プロジェクタ１１６は、入力したアノテーション画像の情報に対応する画像を、ハーフミラー１２０を介してホワイトボード１６０へ投影する（Ｓ１０５）。これにより、ホワイトボード１６０には、初期画像とともに、拠点Ｂのクライアントシステム２４０からの描画コマンドに付加されているアノテーション画像の情報に対応する注釈等の画像が投影される。なお、ビデオカメラ１１８による撮影画像における、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像の部分が色飛び等の不都合を引き起こす場合があることを考慮して、ビデオサーバ１１４は、ビデオカメラ１１８による撮影画像における、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像の位置に、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像を重ねた合成画像に対応する画像情報を生成し、その生成した画像情報を拠点Ｂのクライアントシステム２４０へ送信するようにしてもよい。
【００４２】
Ｓ１０５における画像投影の後、あるいは、Ｓ１０４において描画コマンドを受信していないと判定された後、サーバシステム１１０は、拠点Ａのユーザによって終了指示がなされたか否かを判定する（Ｓ１０６）。終了指示がなされた場合には、一連の動作が終了する。一方、終了指示がなされていない場合には、描画サーバ１１２による描画コマンドを受信したか否かの判定（Ｓ１０４）以降の動作が繰り返される。
【００４３】
図４は、拠点Ｂのクライアントシステム２４０の動作を示すフローチャートである。クライアントシステム２４０は、拠点Ｂのユーザの操作指示に応じて、注釈等のアノテーション画像を拠点Ａのホワイトボード１６０あるいは拠点Ｂのホワイトボード２６０に投影させる指示である描画コマンドを生成する（Ｓ２０１）。
【００４４】
次に、クライアントシステム２４０は、画像描画処理を行い、拠点Ａのホワイトボード１６０あるいは拠点Ｂのホワイトボード２６０に投影させるアノテーション画像の情報を生成する（Ｓ２０２）。更に、クライアントシステム２４０は、描画コマンドの送信先が自拠点のサーバシステムであるサーバシステム２１０であるか否かを判定する（Ｓ２０３）。例えば、拠点Ｂのユーザは、描画コマンドの生成の操作指示において、送信先を指定する操作指示を行い、クライアントシステム２４０は、この操作指示により送信先を判別する。
【００４５】
描画コマンドの送信先が自拠点のサーバシステムであるサーバシステム２１０でない場合、クライアントシステム２４０は、描画コマンドにＳ２０２で生成されたアノテーション画像の情報を付加して、拠点Ａのサーバシステム１１０内の描画サーバ１１２へ送信する（Ｓ２０４）。これにより、拠点Ａのサーバシステム１１０では、図３のＳ１０５の動作が行われる。
【００４６】
一方、描画コマンドの送信先が自拠点のサーバシステムであるサーバシステム２１０の場合、クライアントシステム２４０は、描画コマンドにＳ２０２で生成されたアノテーション画像の情報を付加してサーバシステム２１０へ送信する（Ｓ２０５）。この場合、サーバシステム２１０内の描画サーバ２１２は、受信した描画コマンドに付加されているアノテーション画像の情報をプロジェクタ２１６へ出力し、当該プロジェクタ２１６は、アノテーション画像の情報に対応する画像をホワイトボード２６０へ投影する。
【００４７】
Ｓ２０４あるいはＳ２０５における描画コマンドの送信後、クライアントシステム２４０は、拠点Ｂのユーザによって終了指示がなされたか否かを判定する（Ｓ２０６）。終了指示がなされた場合には、一連の動作が終了する。一方、終了指示がなされていない場合には、描画コマンドの生成（Ｓ２０１）以降の動作が繰り返される。
【００４８】
なお、拠点Ｂのサーバシステム２１０においても図３と同様の動作が行われ、拠点Ａのクライアントシステム１４０においても図４と同様の動作が行われる。
【００４９】
このように遠隔支援システムでは、拠点Ａにおけるホワイトボード１６０に、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像が表示され、同様に、拠点Ｂにおけるホワイトボード２６０に、拠点Ａのクライアントシステム１４０からのアノテーション画像の情報に対応する画像が表示される。また、拠点Ａのモニタ１４２には、拠点Ｂのホワイトボード２６０の撮影画像が表示され、拠点Ｂのモニタ２４２には、拠点Ａのホワイトボード１６０の撮影画像が表示される。このため、各拠点の投影領域であるホワイトボードを作業エリアとして利用することによって拠点間で協同作業を行うことができ、ユーザ間のコミュニケーションがしやすくなる。
【００５０】
なお、本発明は上記実施形態に限定されるものではなく、様々な変形実施が可能である。図５は、拠点Ａの遠隔支援装置の他の構成を示す図である。図５において、拠点Ａには、遠隔支援装置としてのサーバシステム１１０、自拠点モニタ用クライアントシステム１７０及び他拠点用クライアントシステム１８０と、ホワイトボード１６０とが設置されている。なお、拠点Ｂにおいても同様の構成とすることができる。
【００５１】
他拠点用クライアントシステム１８０は、モニタ１８２を有する。この他拠点用クライアントシステム１８０は、拠点Ｂのサーバシステム２１０内のビデオサーバ２１４から送信される、ホワイトボード２６０の撮影により得られた画像情報を受信して、当該画像情報に対応する画像をモニタ１８２に表示する。
【００５２】
拠点Ａのユーザは、モニタ１８２に表示された画像の一部の領域を、ホワイトボード１６０に表示すべき画像として設定する操作指示を行うことができる。この操作指示がなされた場合、他拠点用クライアントシステム１８０は、設定された画像領域をコピーエリア１８３として選択し、当該コピーエリア１８３に対応する画像情報を、自拠点モニタ用クライアントシステム１７０へ送信する。
【００５３】
自拠点モニタ用クライアントシステム１７０は、コピーエリア１８３に対応する画像情報を受信すると、当該画像情報に対応する画像と、予め保持している画像情報に対応する画像とを合成した合成画像の画像情報を生成する。更に、自拠点モニタ用クライアントシステム１７０は、合成画像をモニタ１７２に表示するとともに、コピーエリア１８３に対応する画像情報をサーバシステム１１０へ送信する。
【００５４】
サーバシステム１１０内の描画サーバ１１２は、受信したコピーエリア１８３に対応する画像情報をプロジェクタ１１６へ出力し、プロジェクタ１１６は、当該画像情報に対応する合成画像をホワイトボード１６０へ投影する。
【００５５】
このように、拠点Ａにおいては、当該拠点Ａのユーザの操作指示に応じて、拠点Ｂにおけるホワイトボード２６０の撮影により得られた画像情報に対応する画像の一部が選択されて、その画像が拠点Ａのホワイトボード１６０に投影される。
【００５６】
なお、上述した実施形態では、２つの拠点Ａ及びＢに遠隔支援装置が設置される場合における遠隔支援システムについて説明したが、３つ以上の拠点に遠隔支援装置が設置される遠隔支援システムにおいても、本発明を適用することができる。図６は、拠点Ａ、Ｂ、Ｃの３箇所に遠隔支援装置が設置される場合の例であり、拠点Ａには、遠隔支援装置としてのサーバシステム１１０、クライアントシステム１４０−１及び１４０−２が設置され、拠点Ｂには、遠隔支援装置としてのサーバシステム２１０、クライアントシステム２４０−１及び２４０−２が設置され、拠点Ｃには、遠隔支援装置としてのサーバシステム３１０、クライアントシステム３４０−１及び３４０−２が設置される。
【００５７】
この画像システムにおいて、拠点Ａのサーバシステム１１０は、インターネット４００を介して拠点Ｂのクライアントシステム２４０−１及び拠点Ｃのクライアントシステム３４０−２と通信可能に接続され、これらクライアントシステム２４０−１及び３４０−２の要求に応じて、拠点Ａにおける画像投影のための処理を行う。同様に、拠点Ｂのサーバシステム２１０は、インターネット４００を介して拠点Ａのクライアントシステム１４０−１及び拠点Ｃのクライアントシステム３４０−１と通信可能に接続され、これらクライアントシステム１４０−１及び３４０−１の要求に応じて、拠点Ｂにおける画像投影のための処理を行う。また、拠点Ｃのサーバシステム３１０は、インターネット４００を介して拠点Ａのクライアントシステム１４０−２及び拠点Ｂのクライアントシステム２４０−２と通信可能に接続され、これらクライアントシステム１４０−２及び２４０−２の要求に応じて、拠点Ｃにおける画像投影のための処理を行う。
【産業上の利用可能性】
【００５８】
以上、説明したように、本発明に係る遠隔支援装置、遠隔支援システム及び遠隔支援方法は、複数の拠点におけるユーザ間の適切なコミュニケーションを可能とし、遠隔支援装置等として有用である。
【図面の簡単な説明】
【００５９】
【図１】遠隔支援システムを構成する遠隔支援装置の基本構成を示す図である。
【図２】遠隔支援システムの構成を示す図である。
【図３】サーバシステムの動作を示すフローチャートである。
【図４】クライアントシステムの動作を示すフローチャートである。
【図５】遠隔支援装置の他の構成を示す図である。
【図６】遠隔支援システムの他の構成を示す図である。
【符号の説明】
【００６０】
１１０、２１０ サーバシステム
１１２、２１２ 描画サーバ
１１４、２１４ ビデオサーバ
１１６、２１６ プロジェクタ
１１８、２１８ ビデオカメラ
１２０、２２０ ハーフミラー
１４０、２４０ クライアントシステム
１４２、２４２ モニタ
１６０、２６０ ホワイトボード
４００ インターネット
【特許請求の範囲】
【請求項１】
他の装置と協同して、所定の投影領域に投影される画像に関する処理を行う遠隔支援装置であって、
前記他の装置からの第１のアノテーション画像の情報を受信する第１の受信手段と、
前記投影領域に、前記第１の受信手段により受信された第１のアノテーション画像の情報に対応する画像を投影する投影手段と、
前記投影領域を撮影する撮影手段と、
前記撮影手段の撮影により得られる撮影画像に対応する画像情報を、前記他の装置において表示されるべき画像に対応する画像情報として、前記他の装置へ送信する第１の送信手段と、
前記他の装置が設置された拠点における投影領域に投影されるべき第２のアノテーション画像の情報を前記他の装置へ送信する第２の送信手段と、
前記他の装置からの該他の装置が設置された拠点における投影領域の撮影により得られる撮影画像の情報を受信する第２の受信手段と、
前記第２の受信手段により受信された撮影画像の情報に対応する画像を表示する表示手段とを有することを特徴とする遠隔支援装置。
【請求項２】
前記他の装置の撮像手段で撮像され、かつ、前記表示手段に表示された画像の少なくとも一部の領域を選択する選択手段を有し、
前記投影手段は、前記選択手段により選択された領域の画像を前記所定の投影領域に投影することを特徴とする請求項１に記載の遠隔支援装置。
【請求項３】
前記撮影手段の撮影により得られる撮影画像に含まれる第１のアノテーション画像に対して、描画した前記第１のアノテーション画像を重ねた合成画像を生成する生成手段を有し、
前記第１の送信手段は、前記生成手段により生成された前記合成画像に関する画像情報を前記他の装置へ送信することを特徴とする請求項１又は２に記載の遠隔支援装置。
【請求項４】
前記第１の受信手段は、前記他の装置からの第１のアノテーション画像の情報とともに、該第１のアノテーション画像の情報に対応する画像の投影に関する第１の描画指示を受信し、
前記投影手段は、前記第１の受信手段により受信された第１の描画指示に応じて、前記投影領域に前記第１の受信手段により受信された第１のアノテーション画像の情報に対応する画像を投影することを特徴とする請求項１乃至３のいずれかに記載の遠隔支援装置。
【請求項５】
前記第２の送信手段は、前記第２のアノテーション画像の情報とともに、該第２のアノテーション画像の情報に対応する画像の投影に関する第２の描画指示を送信することを特徴とする請求項１乃至４のいずれかに記載の遠隔支援装置。
【請求項６】
ユーザの操作指示に応じて、前記第２の描画指示を生成する生成手段を有し、
前記第１の送信手段は、前記生成手段により生成された第２の描画指示を送信することを特徴とする請求項５に記載の遠隔支援装置。
【請求項７】
前記遠隔支援装置は、サーバ及びクライアントからなり、
前記サーバは、前記他の装置におけるクライアントと通信可能に接続され、
前記クライアントは、前記他の装置におけるサーバと通信可能に接続されることを特徴とする請求項１乃至６のいずれかに記載の遠隔支援装置。
【請求項８】
請求項１乃至７のいずれかに記載の遠隔支援装置を複数組み合わせて構成されて画像に基づくコミュニケーションを実行することを特徴とする遠隔支援システム。
【請求項９】
他の装置と協同して、所定の投影領域に投影される画像に関する処理を行う遠隔支援装置における遠隔支援方法であって、
前記他の装置からの第１のアノテーション画像の情報を受信する第１の受信ステップと、
前記投影領域に、前記第１の受信ステップにより受信された第１のアノテーション画像の情報に対応する画像を投影する投影ステップと、
前記投影領域を撮影する撮影ステップと、
前記撮影手段の撮影により得られる撮影画像に対応する画像情報を、前記他の装置において表示されるべき画像に対応する画像情報として、前記他の装置へ送信する第１の送信ステップと、
前記他の装置が設置された拠点における投影領域に投影されるべき第２のアノテーション画像の情報を前記他の装置へ送信する第２の送信ステップと、
前記他の装置からの該他の装置が設置された拠点における投影領域の撮影により得られる撮影画像の情報を受信する第２の受信ステップと、
前記第２の受信ステップにより受信された撮影画像の情報に対応する画像を表示ステップとを有することを特徴とする遠隔支援方法。
【請求項１０】
前記他の装置の撮像手段で撮像され、かつ、前記表示手段に表示された画像の一部の領域を選択する選択ステップを有し、
前記投影ステップは、前記選択ステップにより選択された領域の画像を前記所定の投影領域に投影することを特徴とする請求項９に記載の遠隔支援方法。
【請求項１１】
前記撮影手段の撮影により得られる撮影画像に含まれる第１のアノテーション画像に対して、描画した前記第１のアノテーション画像を重ねた合成画像を生成するステップと、
生成された前記合成画像に関する画像情報を前記他の装置へ送信するステップとを有することを特徴とする請求項９又は１０に記載の遠隔支援方法。
【請求項１２】
前記第１の受信ステップは、前記他の装置からの第１のアノテーション画像の情報とともに、該第１のアノテーション画像の情報に対応する画像の投影に関する第１の描画指示を受信し、
前記投影ステップは、前記第１の受信ステップにより受信された第１の描画指示に応じて、前記投影領域に前記第１の受信ステップにより受信された第１のアノテーション画像の情報に対応する画像を投影することを特徴とする請求項９乃至１１のいずれかに記載の遠隔支援方法。
【請求項１３】
前記第２の送信ステップは、前記第２のアノテーション画像の情報とともに、該第２のアノテーション画像の情報に対応する画像の投影に関する第２の描画指示を送信することを特徴とする請求項９乃至１２のいずれかに記載の遠隔支援方法。
【請求項１】
他の装置と協同して、所定の投影領域に投影される画像に関する処理を行う遠隔支援装置であって、
前記他の装置からの第１のアノテーション画像の情報を受信する第１の受信手段と、
前記投影領域に、前記第１の受信手段により受信された第１のアノテーション画像の情報に対応する画像を投影する投影手段と、
前記投影領域を撮影する撮影手段と、
前記撮影手段の撮影により得られる撮影画像に対応する画像情報を、前記他の装置において表示されるべき画像に対応する画像情報として、前記他の装置へ送信する第１の送信手段と、
前記他の装置が設置された拠点における投影領域に投影されるべき第２のアノテーション画像の情報を前記他の装置へ送信する第２の送信手段と、
前記他の装置からの該他の装置が設置された拠点における投影領域の撮影により得られる撮影画像の情報を受信する第２の受信手段と、
前記第２の受信手段により受信された撮影画像の情報に対応する画像を表示する表示手段とを有することを特徴とする遠隔支援装置。
【請求項２】
前記他の装置の撮像手段で撮像され、かつ、前記表示手段に表示された画像の少なくとも一部の領域を選択する選択手段を有し、
前記投影手段は、前記選択手段により選択された領域の画像を前記所定の投影領域に投影することを特徴とする請求項１に記載の遠隔支援装置。
【請求項３】
前記撮影手段の撮影により得られる撮影画像に含まれる第１のアノテーション画像に対して、描画した前記第１のアノテーション画像を重ねた合成画像を生成する生成手段を有し、
前記第１の送信手段は、前記生成手段により生成された前記合成画像に関する画像情報を前記他の装置へ送信することを特徴とする請求項１又は２に記載の遠隔支援装置。
【請求項４】
前記第１の受信手段は、前記他の装置からの第１のアノテーション画像の情報とともに、該第１のアノテーション画像の情報に対応する画像の投影に関する第１の描画指示を受信し、
前記投影手段は、前記第１の受信手段により受信された第１の描画指示に応じて、前記投影領域に前記第１の受信手段により受信された第１のアノテーション画像の情報に対応する画像を投影することを特徴とする請求項１乃至３のいずれかに記載の遠隔支援装置。
【請求項５】
前記第２の送信手段は、前記第２のアノテーション画像の情報とともに、該第２のアノテーション画像の情報に対応する画像の投影に関する第２の描画指示を送信することを特徴とする請求項１乃至４のいずれかに記載の遠隔支援装置。
【請求項６】
ユーザの操作指示に応じて、前記第２の描画指示を生成する生成手段を有し、
前記第１の送信手段は、前記生成手段により生成された第２の描画指示を送信することを特徴とする請求項５に記載の遠隔支援装置。
【請求項７】
前記遠隔支援装置は、サーバ及びクライアントからなり、
前記サーバは、前記他の装置におけるクライアントと通信可能に接続され、
前記クライアントは、前記他の装置におけるサーバと通信可能に接続されることを特徴とする請求項１乃至６のいずれかに記載の遠隔支援装置。
【請求項８】
請求項１乃至７のいずれかに記載の遠隔支援装置を複数組み合わせて構成されて画像に基づくコミュニケーションを実行することを特徴とする遠隔支援システム。
【請求項９】
他の装置と協同して、所定の投影領域に投影される画像に関する処理を行う遠隔支援装置における遠隔支援方法であって、
前記他の装置からの第１のアノテーション画像の情報を受信する第１の受信ステップと、
前記投影領域に、前記第１の受信ステップにより受信された第１のアノテーション画像の情報に対応する画像を投影する投影ステップと、
前記投影領域を撮影する撮影ステップと、
前記撮影手段の撮影により得られる撮影画像に対応する画像情報を、前記他の装置において表示されるべき画像に対応する画像情報として、前記他の装置へ送信する第１の送信ステップと、
前記他の装置が設置された拠点における投影領域に投影されるべき第２のアノテーション画像の情報を前記他の装置へ送信する第２の送信ステップと、
前記他の装置からの該他の装置が設置された拠点における投影領域の撮影により得られる撮影画像の情報を受信する第２の受信ステップと、
前記第２の受信ステップにより受信された撮影画像の情報に対応する画像を表示ステップとを有することを特徴とする遠隔支援方法。
【請求項１０】
前記他の装置の撮像手段で撮像され、かつ、前記表示手段に表示された画像の一部の領域を選択する選択ステップを有し、
前記投影ステップは、前記選択ステップにより選択された領域の画像を前記所定の投影領域に投影することを特徴とする請求項９に記載の遠隔支援方法。
【請求項１１】
前記撮影手段の撮影により得られる撮影画像に含まれる第１のアノテーション画像に対して、描画した前記第１のアノテーション画像を重ねた合成画像を生成するステップと、
生成された前記合成画像に関する画像情報を前記他の装置へ送信するステップとを有することを特徴とする請求項９又は１０に記載の遠隔支援方法。
【請求項１２】
前記第１の受信ステップは、前記他の装置からの第１のアノテーション画像の情報とともに、該第１のアノテーション画像の情報に対応する画像の投影に関する第１の描画指示を受信し、
前記投影ステップは、前記第１の受信ステップにより受信された第１の描画指示に応じて、前記投影領域に前記第１の受信ステップにより受信された第１のアノテーション画像の情報に対応する画像を投影することを特徴とする請求項９乃至１１のいずれかに記載の遠隔支援方法。
【請求項１３】
前記第２の送信ステップは、前記第２のアノテーション画像の情報とともに、該第２のアノテーション画像の情報に対応する画像の投影に関する第２の描画指示を送信することを特徴とする請求項９乃至１２のいずれかに記載の遠隔支援方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−５３５８（Ｐ２００８−５３５８Ａ）
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願番号】特願２００６−１７４６３０（Ｐ２００６−１７４６３０）
【出願日】平成１８年６月２３日（２００６．６．２３）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願日】平成１８年６月２３日（２００６．６．２３）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]