多拠点描画画像共有装置、多拠点描画画像共有システム、方法、プログラムおよび記録媒体
【課題】遠隔の拠点間で描かれる複数の画像を多拠点で連携させて表示すること。
【解決手段】遠隔拠点間で描かれる複数の画像を多拠点で連携させて表示する多拠点描画画像共有システム１００は、第１の拠点に設置され、第１の拠点で描かれた第１画像に他拠点で描かれた画像を合成して生成された表示画像をサイズを共有させて重畳表示することにより、重畳画像を生成する可視化装置１１２と、重畳画像を撮影する撮影装置１１４と、共有領域の画像から、設定された条件を満足する共有領域の画像を抽出し、現在表示している表示画像との画像差を計算して自拠点画像を生成する情報処理装置１１６と、他拠点のＰＣ１２６，１４６から送付された自拠点画像をそれぞれ受領して送付先とするべき拠点の自拠点画像を含まない表示画像を生成し、自拠点画像の冗長性を排除しながらＰＣ１１６に送付するサーバ装置１３０とを含んでいる。
【解決手段】遠隔拠点間で描かれる複数の画像を多拠点で連携させて表示する多拠点描画画像共有システム１００は、第１の拠点に設置され、第１の拠点で描かれた第１画像に他拠点で描かれた画像を合成して生成された表示画像をサイズを共有させて重畳表示することにより、重畳画像を生成する可視化装置１１２と、重畳画像を撮影する撮影装置１１４と、共有領域の画像から、設定された条件を満足する共有領域の画像を抽出し、現在表示している表示画像との画像差を計算して自拠点画像を生成する情報処理装置１１６と、他拠点のＰＣ１２６，１４６から送付された自拠点画像をそれぞれ受領して送付先とするべき拠点の自拠点画像を含まない表示画像を生成し、自拠点画像の冗長性を排除しながらＰＣ１１６に送付するサーバ装置１３０とを含んでいる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多拠点で描画対象物であるホワイトボード等に描かれた描画画像を共有する多拠点描画画像共有装置、多拠点描画画像共有システム、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
近年、企業活動のグローバル化や多拠点での連携業務の増加などの理由により、電話会議や、テレビ電話による会議などの利用が普及しつつある。電話会議では、主として音声のみでの会議となるので、記録性や理解の点で充分ではない場合がある。また、情報のリアルタイム性および完全性という点でテレビ会議も普及しているが、そのために利用するハードウェアが専用的なものとなり、コストも高くなりがちなこと、および多数の拠点の画像をどのように各拠点のディスプレイ画面上に配置するかなどの問題も発生する。また、多拠点を同時に連携するような場合、テレビ会議システムを構築するためのコスト負担の問題も発生する。
【０００３】
特開２００５−２０３８８６号公報（特許文献１）には、離れた会議室で会議が行われた場合、それぞれの会議室のホワイトボードに書き込まれた会議内容を相手のホワイトボードに表示させる目的で、遠隔地のそれぞれに設置され、照射画像を投影する２つのプロジェクタと、２つのプロジェクタに、投影すべき元画像を送信するサーバ装置とを備え、２つのプロジェクタのそれぞれが、照射画像を投影したスクリーンに書き込まれた書込画像を撮像する撮像手段と、撮像手段によって撮像された書込画像をサーバ装置に送信する送信手段とを有し、サーバ装置は、２つのプロジェクタの一方から受信した書込画像を元画像に合成する合成手段と、合成手段により合成された画像を２つのプロジェクタの他方へ送信する転送手段とを有する構成が開示されている。
【０００４】
しかしながら、特許文献１において、複数の遠隔地、つまり多拠点で用いた場合、受信する拠点数に対応させた数の画像を送る必要があるため、各拠点での処理負荷が増大するという問題が発生する。またこの場合、多拠点で画像を共有するために、多拠点に対応した特別な装置が各拠点で必要になる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以上のように、多拠点で描画対象物であるホワイトボードに描かれた描画画像を共有するためには、多拠点に対応した特別な装置が必要であり、また、各拠点での処理負荷が増大するという課題があった。
【０００６】
本発明は上記問題点に鑑みてなされたものであり、本発明は、各拠点での処理負荷を増加させずに、多拠点で描かれた描画画像を共有させることができる描画画像の共有を容易にする、多拠点描画画像共有装置、多拠点描画画像共有システム、方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、多拠点で描画対象物に描かれた画像を各描画対象物に共有させる多拠点描画画像共有装置であって、各拠点で描かれた画像を格納する画像格納手段と、画像格納手段に格納されている画像を、送信先で描かれた画像を含まないように重畳して合成する画像合成手段と、画像合成手段により合成された画像を各拠点に送信する画像送信手段を含む、多拠点描画画像共有装置を提供する。画像合成手段は、第１の拠点で描かれた画像および第１の拠点以外の拠点で描かれた画像の位置を重畳させて、合成画像を生成することができる。また、画像合成手段は、第１の拠点で描かれた画像および第１の拠点以外の拠点で描かれた画像の同一の位置のピクセル輝度値を最小値に置換して、合成画像を生成することができる。
【０００８】
また、本発明の多拠点描画画像共有装置は、各拠点で描かれた最新の画像を格納する最新画像バッファを有しており、画像合成手段は、最新画像バッファに格納されている第１の拠点で描かれた画像を特定して、最新画像バッファに格納されている第１の拠点以外の画像を合成することができる。さらに、画像合成手段は、全拠点から受信した画像を全て統合して統合画像を生成し、統合画像と最新画像バッファに格納されている画像との差分画像を生成することで、合成画像を生成することができる。
【０００９】
さらに、本発明の多拠点描画画像共有装置は、拠点の数と画質から画像合成手段の合成方法を判断する画像合成方法判断手段を含むことができる。
【００１０】
さらに本発明では、画像送信手段は、送信すべき全拠点の合成画像が生成された段階で合成画像を各拠点に送信することができる。また、画像送信手段は、送信すべき合成画像が生成されると、順次合成画像を各拠点に送信することができる。さらに、画像送信手段は、画像合成が開始して所定の時間が経過した段階で合成画像を各拠点に送信することができる。さらに、画像合成手段は、画像合成が開始して所定の時間が経過した段階で全拠点の合成画像が生成されていない場合、最新画像バッファに格納された以前の最新画像を使用して、生成されていない合成画像を作成し、画像送信手段が当該合成画像を送信することができる。
【００１１】
本発明によれば、遠隔会議における画像情報の共有を容易にする、多拠点描画画像共有システム、方法、プログラムおよび記録媒体を提供することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の多拠点描画画像共有システム１００の第１の実施形態を示す図。
【図２】本実施形態の多拠点描画画像共有装置２００の機能ブロックを示す図。
【図３】本実施形態の多拠点描画画像共有装置２００が実行する処理のフローチャートを示す図。
【図４】本実施形態で使用する第１合成方法による画像処理の概略図。
【図５】本実施形態の第２合成方法による画像処理の概略図。
【図６】本実施形態の多拠点描画画像共有装置２００が、各拠点から送付された自拠点画像を蓄積する処理のフローチャート。
【図７】本実施形態の第１合成方法を使用する場合の多拠点描画画像共有装置２００のフローチャート。
【図８】本実施形態の第２合成方法を使用する場合の多拠点描画画像共有装置２００の処理フローを示す図。
【発明を実施するための形態】
【００１３】
以下、本発明を実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。図１は、本発明の多拠点画像共有システム１００（以下、単に装置１００として参照する。）の第１の実施形態を示す。システム１００は、図１に示した実施形態では、拠点１、拠点２および拠点３の間で描画対象物であるホワイトボード１１０，１２０に書かれた画像を相互に共有させている。なお、拠点数には限定はない。
【００１４】
拠点１には、ホワイトボード１１０と、ホワイトボード１１０に拠点２から送付された画像を投影することでホワイトボード１１０に表示する可視化装置１１２と、ホワイトボード１１０の画像を全体としてキャプチャするための撮影装置１１４が設置されている。図１中、拠点１のホワイトボード１１０に記載された画像のうち、「Ａ」は、拠点１で書かれたものであり、表示されている画像「Ｂ」および「Ｃ」は、それぞれ拠点２および拠点３で書かれたものであって、拠点１では、可視化装置１１２による表示画像として与えられている。本実施例では、可視化装置１１２として、ホワイトボードに投影することによって画像データを可視化するプロジェクタを使用するものとして説明するが、可視化装置１１２は、ホワイトボードにディスプレイ機能を付与し、ホワイトボードに直接、他拠点の画像を合成して生成される表示画像を表示させるように実装することもできる。
【００１５】
さらに拠点１には、パーソナルコンピュータ１１６（以下、ＰＣ１１６として参照する。）といった情報処理装置が設置されていて、可視化装置１１２による投影および撮影装置またはデジタルビデオカメラ等の撮影装置１１４による他拠点と共有したい画像のキャプチャおよび拠点２、拠点３への拠点１で書かれた画像の送付などの制御を行っている。
【００１６】
ＰＣ１１６は、本実施形態では、サーバ装置１３０に対するクライアントとして機能しており、キャプチャされたホワイトボード１１０の画像から拠点１で書かれた画像である拠点１の画像を取得し、ネットワーク１１８を介して接続されたサーバ装置１３０に送付する。また、ＰＣ１１６は、拠点１以外の他拠点の画像で構成された表示画像をサーバ装置１３０から受け取って可視化装置１１２によって投影させている。
【００１７】
撮影装置１１４は、デジタルカメラ、ビデオカメラなどとすることができ、ホワイトボード１１０の画像を、例えばJPEG、MOVINGJPEG、H.264などのフォーマットで動画像として取得し、ＰＣ１１６へと連続的に画像ファイルを送信する。ホワイトボード１１０，１２０，１４０には、遠隔した拠点間で共有されるべき画像の相対サイズを共有させるため、予めホワイトボード１１０，１２０，１４０の４隅などにマークが付されている。マークは、可視化装置１１２，１２２，１４２の投影の際に、位置合わせするために利用され、手動または自動的に遠隔の拠点間でのホワイトボード１１０，１２０，１４０のサイズの相違などに対応している。
【００１８】
拠点２および拠点３は、拠点１で説明したと同様のハードウェア配置を有している。拠点２に設置された可視化装置１２２は、拠点１および拠点３の画像をホワイトボード１２０に投影し、撮影装置１２４は、ホワイトボード１２０の画像をキャプチャして、ＰＣ１２６に送付する。ＰＣ１２６は、拠点２で書かれている画像「Ｂ」を含む拠点２の画像を取得し、拠点１および拠点３での投影のために、拠点２画像を、ネットワーク１２８を介してサーバ装置１３０に送付している。
【００１９】
拠点３に設置された可視化装置１４２は、拠点１および拠点２の画像をホワイトボード１４０に投影し、撮影装置１４４は、ホワイトボード１４０の画像をキャプチャして、ＰＣ１４６に送付する。ＰＣ１４６は、拠点３で書かれている画像「Ｃ」を含む拠点２画像を取得し、拠点１および拠点２での投影のために、拠点３画像を、ネットワーク１４８を介してサーバ装置１３０に送付している。
【００２０】
拠点１では、自拠点の画像「Ａ」が描かれたホワイトボード１１０に対して、サーバ装置１３０に送付された拠点２および拠点３の画像「Ｂ」および「Ｃ」が表示画像としてプロジェクタ１１２から投影されることで、画像「Ａ」、「Ｂ」および「Ｃ」がホワイトボード１１０上に重畳画像として表示されている。
【００２１】
また、拠点２では、自拠点の画像「Ｂ」が描かれたホワイトボード１２０に対して、拠点１で描かれた画像「Ａ」および拠点３で描かれた画像「Ｃ」が表示画像としてプロジェクタ１２２から投影され、画像「Ａ」、「Ｂ」、「Ｃ」が重畳画像として表示されている。さらに、拠点３では、自拠点の画像「Ｃ」が描かれたホワイトボード１４０に対して、拠点１および拠点２でそれぞれ描かれた画像「Ａ」、「Ｂ」がプロジェクタ１４２により表示画像として投影されて重畳される。この結果、図１では、拠点１、拠点２および拠点３でそれぞれ同一の画像が共有されていることが示されている。
【００２２】
図１に示した実施形態では、サーバ装置１３０は、現在接続しているＰＣ１１６，１２６，１４６を識別して多拠点画像共有を行うためのクライアントリストを管理しており、サーバ装置１３０は、クライアントリストに登録されたＰＣ１１６，１２６，１４６またはさらに多くのＰＣに対して画像を共有させるため、画像処理を使用して各拠点に表示するための表示画像を生成する画像処理を行う。なお、以下の実施形態では、他拠点からサーバ装置１３０を介して送付され、可視化装置により投影することで表示される画像を、表示画像として参照する。また、撮影装置１１４などが撮影する画像を共有領域の画像として参照する。さらに、共有領域の画像と表示画像との間の差分画像を、自拠点画像として参照する。また、各拠点では自拠点の画像を抽出する処理を行ってからサーバ装置１３０に送付を行っている。この自拠点画像抽出処理の方法は、特許文献１等に記載される技術等で実現可能である。
【００２３】
サーバ装置１３０は、PENTIUM（登録商標）、XEON（登録商標）、CELERON（登録商標）、CORE 2 DUO（登録商標）、PENTIUM（登録商標）互換チップなど、CISCアーキテクチャのマイクロプロセッサ、または、POWERPC（登録商標）などのRISCアーキテクチャのマイクロプロセッサを、シングルコアまたはマルチコアの形態で実装することができる。また、サーバ装置１３０は、WINDOWS（登録商標）200X、UNIX（登録商標）、LINUX（登録商標）などのオペレーティングシステムにより制御されていて、C、C++、JAVA（登録商標）、Perl、Rubyなどのプログラミング言語を使用して実装される、CGI、サーブレット、APACHE、IIS(Internet Information Server)などのサーバ・プログラムとして表示画像を生成する。
【００２４】
ＰＣ１１６，１２６，１４６は、パーソナルコンピュータまたはワークステーションなどを使用して実装でき、また、そのマイクロプロセッサ（MPU）は、これまで知られたいかなるシングルコア・プロセッサまたはマルチコア・プロセッサを含んでいてもよい。また、ＰＣ１１６，１２６，１４６は、WINDOWS（登録商標）、UNIX（登録商標）、LINUX（登録商標）、MAC OSなど、これまで知られたいかなるオペレーティングシステムにより制御されてもよい。また、ＰＣ１１６，１２６，１４６は、サーバ装置１３０にアクセスするため、Internet Explorer（登録商標）、Mozilla（登録商標）、Opera（登録商標）、FireFox（登録商標）などのブラウザ・ソフトウェアを実装することができるし、レガシー構成のクライアント−サーバシステムとして実装することもできる。図１に示した実施形態では、クライアント−サーバシステムとして実装されており、サーバ装置１３０は、生成した拠点毎の表示画像を、自己が管理するクライアントリストを参照して順次ユニキャストすることによって、画像共有を可能としている。
【００２５】
図２は、本実施形態の多拠点描画画像共有装置２００の機能ブロックを示す。なお、図２の多拠点描画画像共有装置２００は、便宜上、サーバ装置１３０のハードウェア資源を利用するソフトウェアの実行により、サーバ装置１３０を多拠点描画画像共有装置として機能させるものとして説明する。サーバ装置１３０は、ネットワークを介してＰＣ１１６，１２６，１４６などのクライアントと相互通信を行って、表示画像のクライアントへの送付およびクライアントから自拠点画像を受領する。
【００２６】
多拠点描画画像共有装置２００は、ネットワーク接続を行うためのネットワークインタフェース２１０と、画像キュー２１２と、画像合成部２１６と、を含んで構成されている。ネットワークインタフェース２１０は、インターネットやＬＡＮなどのネットワーク１１８，１２８，１４８を介してクライアント１１６，１２６，１４６との間で画像を送受信する手段である。画像キュー２１２は、クライアントリスト２２２に登録されたクライアントの数に対応する画像RAMなどのメモリ領域を確保し、ネットワークから送付された各クライアントの自拠点画像を、各クライアントに割り当てられたメモリ領域に登録する画像格納手段である。なお、本実施形態でクライアントリスト２２２は、クライアントのＩＰアドレス、ハンドルネームなどを使用して作成することができ、画像共有要求を送付してきたＰＣのＩＰヘッダなどの情報を使用して順次生成することができる。
【００２７】
画像キュー２１２に一旦格納された各画像は、画像合成部２１６による各クライアントに送付するべき表示画像を生成する処理のため、最新画像バッファ２１８に移動される。画像合成部２１６は、各拠点の自拠点画像を最新画像バッファ２１８から読み出し、これらの画像を統合して、クライアントが表示画像として使用する合成画像を生成し、クライアントに対応付けて確保した表示画像バッファ２２０に格納する。
【００２８】
合成画像は、本質的には、各拠点から送付された自拠点画像を、レジストレーション合わせした後、レイヤ合成する処理によって作成することができる。画像合成部２１６は、レジストレーション合わせをする場合、例えば、重畳すべき画像の左上座標（０，０）を基準にして合成することができる。また、その他の基準点、例えば、左下座標、右上座標、右下座標等を基準点とすることができる。また、画像合成部２１６は、各自拠点画像を受け取って画像を合成する場合、同一の画像上の位置における各自拠点画像のピクセル輝度値を比較し、最小値となるピクセル輝度値を、当該位置における合成画像のピクセル輝度値として採用することができる。
【００２９】
各拠点に送付するべき表示画像は、上述して作成した合成画像から、表示画像を送付するべきクライアントの自拠点画像を除いてレイヤ合成するか、または全自拠点画像を予め合成しておき、送付するべきクライアントの自拠点画像との差分画像として生成することができる。画像処理については、より詳細に後述する。ここで、レジストレーション合わせは、上下左右方向の画像の位置合わせを指し、レイヤ合成は、同一位置の画素値同士の演算により合成画像を作成する方法を指す。
【００３０】
制御部２１４は、画像キュー２１２、画像合成部２１６、最新画像バッファ２１８、表示画像バッファ２２０の間のデータ処理および表示画像の送付を管理する機能手段であり、サーバ装置１３０の他の機能と同様に、サーバ装置１３０が含む中央処理装置（ＣＰＵ）がプログラムを実行することによって画像RAMなど協働してサーバ装置１３０の機能手段として提供されている。
【００３１】
図３は、本実施形態の多拠点描画画像共有装置２００が実行する処理のフローチャートを示す。図３に示した処理は、多拠点描画画像共有装置機能が呼び出された後、サービスまたはデーモンとして機能し、サービスまたはデーモンが終了するまで、連続して処理が反復される。処理は、ステップＳ３００から開始し、ステップＳ３０１でクライアントリスト２２２に登録されているクライアントの数、すなわち拠点数が３以下か否かを判断し、拠点数が３以下の場合（ｙｅｓ）、処理をステップＳ３０４に分岐させ、第１合成方法を使用して表示画像を生成し、ステップＳ３０５で、クライアントに生成した表示画像を送付し、処理を終了させる。
【００３２】
また、ステップＳ３０１で拠点数が４以上の場合（ｎｏ）、処理をステップＳ３０２に渡し、画質優先モードか否かを判断する。画質優先モードの場合（ｙｅｓ）、処理をステップＳ３０４に渡し、第１合成方法で表示画像を生成し、表示画像を送付した後、ステップＳ３０５で処理を終了する。一方、ステップＳ３０２で、画質優先モードではない場合（ｎｏ）、処理をステップＳ３０３に渡し、第２合成方法で表示画像を生成する。なお、第１合成方法は、複数の自拠点画像を、逐次追加して合成する方法であり、第２合成方法は、処理開始時点までに蓄積した各自拠点画像から一括して合成画像を生成し、クライアント側で必要としない自拠点画像を減算して表示画像を生成する方法である。
【００３３】
図４は、本実施形態で使用する第１合成方法による画像処理の概略図である。便宜上、拠点は、拠点１、拠点２、拠点３の３拠点で画像を共有するものとして説明する。各クライアントから送付された自拠点画像は、一旦最新画像バッファ２１８に登録される。画像キュー２１２に拠点１からの自拠点画像「Ａ」４０１が送付されると、最新画像バッファ２１８は、データ構造４１０となる、第１合成方法では、自拠点画像「Ａ」４０１を送付した以外の拠点２、拠点３の画像を合成し、表示画像バッファ２２０に登録するので、表示画像バッファ２２０には、データ構造４２０として登録されることになる。この段階で、他の拠点から自拠点画像が送付されていない場合、データ構造４２０を構成する画像４２１，４２２，４２３がそれぞれ表示画像として拠点１、拠点２、拠点３に送付される。
【００３４】
また、合成タイミングで、拠点２の自拠点画像「Ｂ」４１１、および拠点３の自拠点画像「Ｃ」４２１が送付されている場合、自拠点画像を送付したクライアントに対応する画像を特定して合成時不要な自拠点画像を除去しながら、利用可能な自拠点画像を逐次合成し、データ構造４４０およびデータ構造４６０として表示画像を表示画像バッファ２２０に登録してゆく。ここで、画像の特定は、受信した画像の送信元を参照することで行うことができる。この結果、第１合成方法では、拠点数をｎとして、計算量Ｏ＝（ｎ２−ｎ）、メモリ消費量＝（２ｎ）となる。第１合成方法では、メモリ消費量が、拠点数の２乗にほぼ比例して増加するが、画像差分を計算せずに済む分、高画質化を期待することができる。なお、多拠点描画画像共有装置２００の処理において、クライアントリスト２２２に登録されたクライアントからの画像が送付された後に処理を行う場合、必ずしも最新画像バッファを構成する必要はない。
【００３５】
図５は、本実施形態の第２合成方法による画像処理の概略図である、図５と同様、便宜上、拠点は、拠点１、拠点２、拠点３の３拠点で画像を共有するものとして説明する。図５で説明する第２合成方法は、拠点１、拠点２、拠点３からそれぞれ送付された自拠点画像「Ａ」５０１、「Ｂ」５１１、「Ｃ」５２１が存在する数だけ、最新画像バッファ２１８に取り込み、データ構造５１０，５３０，５５０を生成する。
【００３６】
そして、最新画像バッファ２１８に新たな画像が登録されると、当該画像を統合し、それぞれ統合画像５２０，５４０，５６０として、最終的には全拠点の自拠点画像を総て合成した画像を生成する。その後、全拠点の自拠点画像を統合した画像である統合画像５６０から、最新画像バッファ２１８に登録された送付するべき拠点の自拠点画像を減算し、データ構成５７０に示す差分画像を生成して、表示画像バッファ２２０内の各宛先に対応する各拠点に割り当てられたメモリ領域に登録し、各拠点に配付する。
【００３７】
当該差分画像を生成する場合、画像合成部２１６は、同一の画像上の位置における統合画像５６０および最新画像バッファに格納された画像の輝度値の差分を算出し、輝度値の取り得る最大値から当該差分を減算した値を、当該位置における差分画像の輝度値とすることができる。例えば、輝度の最大値が２５５である実施形態の場合、画像上の或る位置における統合画像の輝度値をａ、最新画像バッファに格納された画像の輝度値ｂとすると、当該位置における差分画像の輝度値は２５５−（ａ−ｂ）となる。
【００３８】
第２合成方法は、計算量Ｏ＝（２ｎ）、メモリ消費量＝（ｎ＋２）と第１合成方法よりもハードウェア資源消費という点では効率的であるが、差分画像を生成するため、色バランスなどの画質が低下する場合もあるため、拠点数が多く、また画質を優先しないことで充分な場合などに好ましく利用することができる。
【００３９】
以下、図６〜図８に本実施形態の表示画像生成処理を詳細に説明する。図６は、本実施形態の多拠点描画画像共有装置２００が、各拠点から送付された自拠点画像を蓄積する処理のフローチャートである。図６の処理は、ステップＳ６００から開始し、各クライアントからの自拠点画像を受領したか否かを判断し。受領しない場合（ｎｏ）自拠点画像の受信を待機する。一方、自拠点画像を受領した場合（ｙｅｓ）、ステップＳ６０１に制御を渡し、画像を画像キュー２１２に保存して、以後の処理を可能とする。なお、自拠点画像の蓄積は、クライアントリスト２２２に登録されたクライアント全部からの送付を受けるまで反復して行うこともできるし、受領した段階で逐次的に画像キュー２１２に送付することもできる。
【００４０】
図７は、本実施形態の第１合成方法を使用する場合の多拠点描画画像共有装置２００が実行する処理のフローチャートを示す。図７の処理は、ステップＳ７００で画像キュー２１２に画像があるかどうかを判断し、画像が存在する場合（ｙｅｓ）、ステップＳ７０１で画像キュー２１２から画像を１つ抽出し、ステップＳ７０２で、最新画像バッファに抽出した画像を追加して更新する。一方、キューに画像がない場合（ｎｏ）、処理をステップＳ７０３に分岐させ、画像合成タイミングが到来したか否かを判断する。
【００４１】
ステップＳ７０３では、画像合成タイミングとなったか否かを判断し、画像合成タイミングが到来していない場合（ｎｏ）処理をステップＳ７００に戻し、キューの画像があるか否かの判断を反復させる。ステップＳ７０３で画像合成タイミングが到来した場合（ｙｅｓ）、ステップＳ７０４でまだ合成していない、すなわち前回の画像合成タイミングまでに合成されていない自拠点画像を最新画像バッファ２１８から読み出して合成画像を作成する。この際、合成画像は、減算処理などを加えずとも送付するべきクライアントの自拠点画像が除かされた表示画像として生成される。
【００４２】
ステップＳ７０５では、生成した合成画像＝表示画像を各クライアントに宛てて表示画像バッファ２２０からネットワークを介して送付しステップＳ７０６で、表示画像バッファ２２０内の画像をフラッシュして処理をステップＳ７００に戻し、処理するべき画像が無くなるまで、ステップＳ７００〜Ｓ７０６の処理を反復する。また、ステップＳ７００で画像キュー２１２に処理するべき画像が無くなると、処理をＳ７０３に分岐させ、画像合成タイミングの到来を待機する。
【００４３】
本実施形態では、制御部２１４は、表示画像バッファ２２０に全拠点の表示画像が格納されたときに、表示画像バッファ２２０に表示画像を各クライアントに送付させることができる。他の実施形態では、制御部２１４は、表示画像バッファ２２０に対して、表示画像バッファ２２０に格納された拠点の表示画像から順次クライアントに送付させることができる。
【００４４】
さらに、他の実施形態では、制御部２１４は、画像合成処理が開始して所定の時間が経過した後に、表示画像バッファ２２０に表示画像を各クライアントに送付させることができる。この場合、制御部２１４は、表示画像バッファ２２０に全拠点の表示画像が格納されていないとき、画像合成部２１６に対して、以前に最新画像バッファ２１８に格納された最新画像を使用して、表示画像バッファ２２０に格納されていない表示画像を生成させることができる。
【００４５】
図８は、本実施形態の第２合成方法を使用する場合の多拠点描画画像共有装置２００の処理フローを示す。図８の処理は、ステップＳ８００で画像キュー２１２に画像があるかどうかを判断し、画像が存在する場合（ｙｅｓ）、ステップＳ８０１で画像キュー２１２から画像を１つ抽出し、ステップＳ８０２で、最新画像バッファに抽出した画像を追加して更新する。また、ステップＳ８００でキューに画像がない場合（ｎｏ）処理をステップＳ８０３に分岐させる。
【００４６】
ステップＳ８０３では、画像合成タイミングとなったか否かを判断し、画像合成タイミングが到来していない場合（ｎｏ）処理をステップＳ８００に戻し、キューに画像があるか否かの判断を反復する。ステップＳ８０３で画像合成タイミングが到来した場合（ｙｅｓ）、ステップＳ８０４でまだ合成していない、すなわち前回の画像合成タイミングまでに合成されていない自拠点画像を最新画像バッファ２１８から読み出して合成画像を作成する。この際、合成画像は、その時点で連携している全拠点からの自拠点画像を合成した画像として生成される。
【００４７】
ステップＳ８０５では、生成した合成画像から、最新画像バッファ２１８に登録された自拠点画像を減算してクライアントの数分の表示画像を生成し、表示画像バッファ２２０に格納し、ステップＳ８０６で、表示画像を各クライアントに宛ててネットワークを介して送付しステップＳ８０７で、表示画像バッファ２２０内の画像をフラッシュして処理をステップＳ８００に戻し、処理するべき画像が無くなるまで、ステップＳ８００〜Ｓ８０７の処理を反復する。また、ステップＳ８００で画像キュー２１２に処理するべき画像が無くなると、図７と同様に、処理をステップＳ８０３に分岐させ、画像合成タイミングを待機させる。ここで、画像合成タイミングは、所望のフレームレートとなるように一定間隔で発生させるようにしてもよい。例えば、１０フレーム／秒となるように、０．１秒間隔で発生させるようにしてもよい。
【００４８】
本実施形態では、制御部２１４は、表示画像バッファ２２０に全拠点の表示画像が格納されたときに、表示画像バッファ２２０に表示画像を各クライアントに送付させることができる。他の実施形態では、制御部２１４は、表示画像バッファ２２０に対して、表示画像バッファ２２０に格納された拠点の表示画像から順次クライアントに送付させることができる。
【００４９】
さらに、他の実施形態では、制御部２１４は、画像合成処理が開始して所定の時間が経過した後に、表示画像バッファ２２０に表示画像を各クライアントに送付させることができる。この場合、制御部２１４は、表示画像バッファ２２０に全拠点の表示画像が格納されていないとき、画像合成部２１６に対して、以前に最新画像バッファ２１８に格納された最新画像を使用して、表示画像バッファ２２０に格納されていない表示画像を生成させることができる。
【００５０】
以上のように、本発明によれば、多拠点でそれぞれ独立して描かれた画像を統合して、最小の時間差および画像の連続性を与えながら各拠点で共有することが可能となる。
【００５１】
本実施形態の上記機能は、C++、Java（登録商標）、JavaScript（登録商標）、Perl、Rubyなどのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、プログラムは、ハードディスク装置、CD-ROM、MO、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他装置が実行可能な形式でネットワークを介して伝送することができる。
【００５２】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００５３】
１００ 多拠点描画画像共有システム
１１０ ホワイトボード
１１２ 可視化装置
１１４ 撮影装置
１１６ パーソナルコンピュータ
１１８ ネットワーク
１２０ ホワイトボード
１２２ 可視化装置
１２４ 撮影装置
１２６ パーソナルコンピュータ
１２８ ネットワーク
１３０ サーバ装置
１４０ ホワイトボード
１４２ 可視化装置
１４４ 撮影装置
１４６ パーソナルコンピュータ
１４８ ネットワーク
２００ 多拠点描画画像共有装置
２１０ ネットワークインタフェース
２１２ 画像キュー
２１４ 制御部
２１６ 画像合成部
２１８ 最新画像バッファ
２２０ 表示画像バッファ
２２２ クライアントリスト
【先行技術文献】
【特許文献】
【００５４】
【特許文献１】特開２００５−２０３８８６号公報
【技術分野】
【０００１】
本発明は、多拠点で描画対象物であるホワイトボード等に描かれた描画画像を共有する多拠点描画画像共有装置、多拠点描画画像共有システム、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
近年、企業活動のグローバル化や多拠点での連携業務の増加などの理由により、電話会議や、テレビ電話による会議などの利用が普及しつつある。電話会議では、主として音声のみでの会議となるので、記録性や理解の点で充分ではない場合がある。また、情報のリアルタイム性および完全性という点でテレビ会議も普及しているが、そのために利用するハードウェアが専用的なものとなり、コストも高くなりがちなこと、および多数の拠点の画像をどのように各拠点のディスプレイ画面上に配置するかなどの問題も発生する。また、多拠点を同時に連携するような場合、テレビ会議システムを構築するためのコスト負担の問題も発生する。
【０００３】
特開２００５−２０３８８６号公報（特許文献１）には、離れた会議室で会議が行われた場合、それぞれの会議室のホワイトボードに書き込まれた会議内容を相手のホワイトボードに表示させる目的で、遠隔地のそれぞれに設置され、照射画像を投影する２つのプロジェクタと、２つのプロジェクタに、投影すべき元画像を送信するサーバ装置とを備え、２つのプロジェクタのそれぞれが、照射画像を投影したスクリーンに書き込まれた書込画像を撮像する撮像手段と、撮像手段によって撮像された書込画像をサーバ装置に送信する送信手段とを有し、サーバ装置は、２つのプロジェクタの一方から受信した書込画像を元画像に合成する合成手段と、合成手段により合成された画像を２つのプロジェクタの他方へ送信する転送手段とを有する構成が開示されている。
【０００４】
しかしながら、特許文献１において、複数の遠隔地、つまり多拠点で用いた場合、受信する拠点数に対応させた数の画像を送る必要があるため、各拠点での処理負荷が増大するという問題が発生する。またこの場合、多拠点で画像を共有するために、多拠点に対応した特別な装置が各拠点で必要になる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以上のように、多拠点で描画対象物であるホワイトボードに描かれた描画画像を共有するためには、多拠点に対応した特別な装置が必要であり、また、各拠点での処理負荷が増大するという課題があった。
【０００６】
本発明は上記問題点に鑑みてなされたものであり、本発明は、各拠点での処理負荷を増加させずに、多拠点で描かれた描画画像を共有させることができる描画画像の共有を容易にする、多拠点描画画像共有装置、多拠点描画画像共有システム、方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、多拠点で描画対象物に描かれた画像を各描画対象物に共有させる多拠点描画画像共有装置であって、各拠点で描かれた画像を格納する画像格納手段と、画像格納手段に格納されている画像を、送信先で描かれた画像を含まないように重畳して合成する画像合成手段と、画像合成手段により合成された画像を各拠点に送信する画像送信手段を含む、多拠点描画画像共有装置を提供する。画像合成手段は、第１の拠点で描かれた画像および第１の拠点以外の拠点で描かれた画像の位置を重畳させて、合成画像を生成することができる。また、画像合成手段は、第１の拠点で描かれた画像および第１の拠点以外の拠点で描かれた画像の同一の位置のピクセル輝度値を最小値に置換して、合成画像を生成することができる。
【０００８】
また、本発明の多拠点描画画像共有装置は、各拠点で描かれた最新の画像を格納する最新画像バッファを有しており、画像合成手段は、最新画像バッファに格納されている第１の拠点で描かれた画像を特定して、最新画像バッファに格納されている第１の拠点以外の画像を合成することができる。さらに、画像合成手段は、全拠点から受信した画像を全て統合して統合画像を生成し、統合画像と最新画像バッファに格納されている画像との差分画像を生成することで、合成画像を生成することができる。
【０００９】
さらに、本発明の多拠点描画画像共有装置は、拠点の数と画質から画像合成手段の合成方法を判断する画像合成方法判断手段を含むことができる。
【００１０】
さらに本発明では、画像送信手段は、送信すべき全拠点の合成画像が生成された段階で合成画像を各拠点に送信することができる。また、画像送信手段は、送信すべき合成画像が生成されると、順次合成画像を各拠点に送信することができる。さらに、画像送信手段は、画像合成が開始して所定の時間が経過した段階で合成画像を各拠点に送信することができる。さらに、画像合成手段は、画像合成が開始して所定の時間が経過した段階で全拠点の合成画像が生成されていない場合、最新画像バッファに格納された以前の最新画像を使用して、生成されていない合成画像を作成し、画像送信手段が当該合成画像を送信することができる。
【００１１】
本発明によれば、遠隔会議における画像情報の共有を容易にする、多拠点描画画像共有システム、方法、プログラムおよび記録媒体を提供することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の多拠点描画画像共有システム１００の第１の実施形態を示す図。
【図２】本実施形態の多拠点描画画像共有装置２００の機能ブロックを示す図。
【図３】本実施形態の多拠点描画画像共有装置２００が実行する処理のフローチャートを示す図。
【図４】本実施形態で使用する第１合成方法による画像処理の概略図。
【図５】本実施形態の第２合成方法による画像処理の概略図。
【図６】本実施形態の多拠点描画画像共有装置２００が、各拠点から送付された自拠点画像を蓄積する処理のフローチャート。
【図７】本実施形態の第１合成方法を使用する場合の多拠点描画画像共有装置２００のフローチャート。
【図８】本実施形態の第２合成方法を使用する場合の多拠点描画画像共有装置２００の処理フローを示す図。
【発明を実施するための形態】
【００１３】
以下、本発明を実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。図１は、本発明の多拠点画像共有システム１００（以下、単に装置１００として参照する。）の第１の実施形態を示す。システム１００は、図１に示した実施形態では、拠点１、拠点２および拠点３の間で描画対象物であるホワイトボード１１０，１２０に書かれた画像を相互に共有させている。なお、拠点数には限定はない。
【００１４】
拠点１には、ホワイトボード１１０と、ホワイトボード１１０に拠点２から送付された画像を投影することでホワイトボード１１０に表示する可視化装置１１２と、ホワイトボード１１０の画像を全体としてキャプチャするための撮影装置１１４が設置されている。図１中、拠点１のホワイトボード１１０に記載された画像のうち、「Ａ」は、拠点１で書かれたものであり、表示されている画像「Ｂ」および「Ｃ」は、それぞれ拠点２および拠点３で書かれたものであって、拠点１では、可視化装置１１２による表示画像として与えられている。本実施例では、可視化装置１１２として、ホワイトボードに投影することによって画像データを可視化するプロジェクタを使用するものとして説明するが、可視化装置１１２は、ホワイトボードにディスプレイ機能を付与し、ホワイトボードに直接、他拠点の画像を合成して生成される表示画像を表示させるように実装することもできる。
【００１５】
さらに拠点１には、パーソナルコンピュータ１１６（以下、ＰＣ１１６として参照する。）といった情報処理装置が設置されていて、可視化装置１１２による投影および撮影装置またはデジタルビデオカメラ等の撮影装置１１４による他拠点と共有したい画像のキャプチャおよび拠点２、拠点３への拠点１で書かれた画像の送付などの制御を行っている。
【００１６】
ＰＣ１１６は、本実施形態では、サーバ装置１３０に対するクライアントとして機能しており、キャプチャされたホワイトボード１１０の画像から拠点１で書かれた画像である拠点１の画像を取得し、ネットワーク１１８を介して接続されたサーバ装置１３０に送付する。また、ＰＣ１１６は、拠点１以外の他拠点の画像で構成された表示画像をサーバ装置１３０から受け取って可視化装置１１２によって投影させている。
【００１７】
撮影装置１１４は、デジタルカメラ、ビデオカメラなどとすることができ、ホワイトボード１１０の画像を、例えばJPEG、MOVINGJPEG、H.264などのフォーマットで動画像として取得し、ＰＣ１１６へと連続的に画像ファイルを送信する。ホワイトボード１１０，１２０，１４０には、遠隔した拠点間で共有されるべき画像の相対サイズを共有させるため、予めホワイトボード１１０，１２０，１４０の４隅などにマークが付されている。マークは、可視化装置１１２，１２２，１４２の投影の際に、位置合わせするために利用され、手動または自動的に遠隔の拠点間でのホワイトボード１１０，１２０，１４０のサイズの相違などに対応している。
【００１８】
拠点２および拠点３は、拠点１で説明したと同様のハードウェア配置を有している。拠点２に設置された可視化装置１２２は、拠点１および拠点３の画像をホワイトボード１２０に投影し、撮影装置１２４は、ホワイトボード１２０の画像をキャプチャして、ＰＣ１２６に送付する。ＰＣ１２６は、拠点２で書かれている画像「Ｂ」を含む拠点２の画像を取得し、拠点１および拠点３での投影のために、拠点２画像を、ネットワーク１２８を介してサーバ装置１３０に送付している。
【００１９】
拠点３に設置された可視化装置１４２は、拠点１および拠点２の画像をホワイトボード１４０に投影し、撮影装置１４４は、ホワイトボード１４０の画像をキャプチャして、ＰＣ１４６に送付する。ＰＣ１４６は、拠点３で書かれている画像「Ｃ」を含む拠点２画像を取得し、拠点１および拠点２での投影のために、拠点３画像を、ネットワーク１４８を介してサーバ装置１３０に送付している。
【００２０】
拠点１では、自拠点の画像「Ａ」が描かれたホワイトボード１１０に対して、サーバ装置１３０に送付された拠点２および拠点３の画像「Ｂ」および「Ｃ」が表示画像としてプロジェクタ１１２から投影されることで、画像「Ａ」、「Ｂ」および「Ｃ」がホワイトボード１１０上に重畳画像として表示されている。
【００２１】
また、拠点２では、自拠点の画像「Ｂ」が描かれたホワイトボード１２０に対して、拠点１で描かれた画像「Ａ」および拠点３で描かれた画像「Ｃ」が表示画像としてプロジェクタ１２２から投影され、画像「Ａ」、「Ｂ」、「Ｃ」が重畳画像として表示されている。さらに、拠点３では、自拠点の画像「Ｃ」が描かれたホワイトボード１４０に対して、拠点１および拠点２でそれぞれ描かれた画像「Ａ」、「Ｂ」がプロジェクタ１４２により表示画像として投影されて重畳される。この結果、図１では、拠点１、拠点２および拠点３でそれぞれ同一の画像が共有されていることが示されている。
【００２２】
図１に示した実施形態では、サーバ装置１３０は、現在接続しているＰＣ１１６，１２６，１４６を識別して多拠点画像共有を行うためのクライアントリストを管理しており、サーバ装置１３０は、クライアントリストに登録されたＰＣ１１６，１２６，１４６またはさらに多くのＰＣに対して画像を共有させるため、画像処理を使用して各拠点に表示するための表示画像を生成する画像処理を行う。なお、以下の実施形態では、他拠点からサーバ装置１３０を介して送付され、可視化装置により投影することで表示される画像を、表示画像として参照する。また、撮影装置１１４などが撮影する画像を共有領域の画像として参照する。さらに、共有領域の画像と表示画像との間の差分画像を、自拠点画像として参照する。また、各拠点では自拠点の画像を抽出する処理を行ってからサーバ装置１３０に送付を行っている。この自拠点画像抽出処理の方法は、特許文献１等に記載される技術等で実現可能である。
【００２３】
サーバ装置１３０は、PENTIUM（登録商標）、XEON（登録商標）、CELERON（登録商標）、CORE 2 DUO（登録商標）、PENTIUM（登録商標）互換チップなど、CISCアーキテクチャのマイクロプロセッサ、または、POWERPC（登録商標）などのRISCアーキテクチャのマイクロプロセッサを、シングルコアまたはマルチコアの形態で実装することができる。また、サーバ装置１３０は、WINDOWS（登録商標）200X、UNIX（登録商標）、LINUX（登録商標）などのオペレーティングシステムにより制御されていて、C、C++、JAVA（登録商標）、Perl、Rubyなどのプログラミング言語を使用して実装される、CGI、サーブレット、APACHE、IIS(Internet Information Server)などのサーバ・プログラムとして表示画像を生成する。
【００２４】
ＰＣ１１６，１２６，１４６は、パーソナルコンピュータまたはワークステーションなどを使用して実装でき、また、そのマイクロプロセッサ（MPU）は、これまで知られたいかなるシングルコア・プロセッサまたはマルチコア・プロセッサを含んでいてもよい。また、ＰＣ１１６，１２６，１４６は、WINDOWS（登録商標）、UNIX（登録商標）、LINUX（登録商標）、MAC OSなど、これまで知られたいかなるオペレーティングシステムにより制御されてもよい。また、ＰＣ１１６，１２６，１４６は、サーバ装置１３０にアクセスするため、Internet Explorer（登録商標）、Mozilla（登録商標）、Opera（登録商標）、FireFox（登録商標）などのブラウザ・ソフトウェアを実装することができるし、レガシー構成のクライアント−サーバシステムとして実装することもできる。図１に示した実施形態では、クライアント−サーバシステムとして実装されており、サーバ装置１３０は、生成した拠点毎の表示画像を、自己が管理するクライアントリストを参照して順次ユニキャストすることによって、画像共有を可能としている。
【００２５】
図２は、本実施形態の多拠点描画画像共有装置２００の機能ブロックを示す。なお、図２の多拠点描画画像共有装置２００は、便宜上、サーバ装置１３０のハードウェア資源を利用するソフトウェアの実行により、サーバ装置１３０を多拠点描画画像共有装置として機能させるものとして説明する。サーバ装置１３０は、ネットワークを介してＰＣ１１６，１２６，１４６などのクライアントと相互通信を行って、表示画像のクライアントへの送付およびクライアントから自拠点画像を受領する。
【００２６】
多拠点描画画像共有装置２００は、ネットワーク接続を行うためのネットワークインタフェース２１０と、画像キュー２１２と、画像合成部２１６と、を含んで構成されている。ネットワークインタフェース２１０は、インターネットやＬＡＮなどのネットワーク１１８，１２８，１４８を介してクライアント１１６，１２６，１４６との間で画像を送受信する手段である。画像キュー２１２は、クライアントリスト２２２に登録されたクライアントの数に対応する画像RAMなどのメモリ領域を確保し、ネットワークから送付された各クライアントの自拠点画像を、各クライアントに割り当てられたメモリ領域に登録する画像格納手段である。なお、本実施形態でクライアントリスト２２２は、クライアントのＩＰアドレス、ハンドルネームなどを使用して作成することができ、画像共有要求を送付してきたＰＣのＩＰヘッダなどの情報を使用して順次生成することができる。
【００２７】
画像キュー２１２に一旦格納された各画像は、画像合成部２１６による各クライアントに送付するべき表示画像を生成する処理のため、最新画像バッファ２１８に移動される。画像合成部２１６は、各拠点の自拠点画像を最新画像バッファ２１８から読み出し、これらの画像を統合して、クライアントが表示画像として使用する合成画像を生成し、クライアントに対応付けて確保した表示画像バッファ２２０に格納する。
【００２８】
合成画像は、本質的には、各拠点から送付された自拠点画像を、レジストレーション合わせした後、レイヤ合成する処理によって作成することができる。画像合成部２１６は、レジストレーション合わせをする場合、例えば、重畳すべき画像の左上座標（０，０）を基準にして合成することができる。また、その他の基準点、例えば、左下座標、右上座標、右下座標等を基準点とすることができる。また、画像合成部２１６は、各自拠点画像を受け取って画像を合成する場合、同一の画像上の位置における各自拠点画像のピクセル輝度値を比較し、最小値となるピクセル輝度値を、当該位置における合成画像のピクセル輝度値として採用することができる。
【００２９】
各拠点に送付するべき表示画像は、上述して作成した合成画像から、表示画像を送付するべきクライアントの自拠点画像を除いてレイヤ合成するか、または全自拠点画像を予め合成しておき、送付するべきクライアントの自拠点画像との差分画像として生成することができる。画像処理については、より詳細に後述する。ここで、レジストレーション合わせは、上下左右方向の画像の位置合わせを指し、レイヤ合成は、同一位置の画素値同士の演算により合成画像を作成する方法を指す。
【００３０】
制御部２１４は、画像キュー２１２、画像合成部２１６、最新画像バッファ２１８、表示画像バッファ２２０の間のデータ処理および表示画像の送付を管理する機能手段であり、サーバ装置１３０の他の機能と同様に、サーバ装置１３０が含む中央処理装置（ＣＰＵ）がプログラムを実行することによって画像RAMなど協働してサーバ装置１３０の機能手段として提供されている。
【００３１】
図３は、本実施形態の多拠点描画画像共有装置２００が実行する処理のフローチャートを示す。図３に示した処理は、多拠点描画画像共有装置機能が呼び出された後、サービスまたはデーモンとして機能し、サービスまたはデーモンが終了するまで、連続して処理が反復される。処理は、ステップＳ３００から開始し、ステップＳ３０１でクライアントリスト２２２に登録されているクライアントの数、すなわち拠点数が３以下か否かを判断し、拠点数が３以下の場合（ｙｅｓ）、処理をステップＳ３０４に分岐させ、第１合成方法を使用して表示画像を生成し、ステップＳ３０５で、クライアントに生成した表示画像を送付し、処理を終了させる。
【００３２】
また、ステップＳ３０１で拠点数が４以上の場合（ｎｏ）、処理をステップＳ３０２に渡し、画質優先モードか否かを判断する。画質優先モードの場合（ｙｅｓ）、処理をステップＳ３０４に渡し、第１合成方法で表示画像を生成し、表示画像を送付した後、ステップＳ３０５で処理を終了する。一方、ステップＳ３０２で、画質優先モードではない場合（ｎｏ）、処理をステップＳ３０３に渡し、第２合成方法で表示画像を生成する。なお、第１合成方法は、複数の自拠点画像を、逐次追加して合成する方法であり、第２合成方法は、処理開始時点までに蓄積した各自拠点画像から一括して合成画像を生成し、クライアント側で必要としない自拠点画像を減算して表示画像を生成する方法である。
【００３３】
図４は、本実施形態で使用する第１合成方法による画像処理の概略図である。便宜上、拠点は、拠点１、拠点２、拠点３の３拠点で画像を共有するものとして説明する。各クライアントから送付された自拠点画像は、一旦最新画像バッファ２１８に登録される。画像キュー２１２に拠点１からの自拠点画像「Ａ」４０１が送付されると、最新画像バッファ２１８は、データ構造４１０となる、第１合成方法では、自拠点画像「Ａ」４０１を送付した以外の拠点２、拠点３の画像を合成し、表示画像バッファ２２０に登録するので、表示画像バッファ２２０には、データ構造４２０として登録されることになる。この段階で、他の拠点から自拠点画像が送付されていない場合、データ構造４２０を構成する画像４２１，４２２，４２３がそれぞれ表示画像として拠点１、拠点２、拠点３に送付される。
【００３４】
また、合成タイミングで、拠点２の自拠点画像「Ｂ」４１１、および拠点３の自拠点画像「Ｃ」４２１が送付されている場合、自拠点画像を送付したクライアントに対応する画像を特定して合成時不要な自拠点画像を除去しながら、利用可能な自拠点画像を逐次合成し、データ構造４４０およびデータ構造４６０として表示画像を表示画像バッファ２２０に登録してゆく。ここで、画像の特定は、受信した画像の送信元を参照することで行うことができる。この結果、第１合成方法では、拠点数をｎとして、計算量Ｏ＝（ｎ２−ｎ）、メモリ消費量＝（２ｎ）となる。第１合成方法では、メモリ消費量が、拠点数の２乗にほぼ比例して増加するが、画像差分を計算せずに済む分、高画質化を期待することができる。なお、多拠点描画画像共有装置２００の処理において、クライアントリスト２２２に登録されたクライアントからの画像が送付された後に処理を行う場合、必ずしも最新画像バッファを構成する必要はない。
【００３５】
図５は、本実施形態の第２合成方法による画像処理の概略図である、図５と同様、便宜上、拠点は、拠点１、拠点２、拠点３の３拠点で画像を共有するものとして説明する。図５で説明する第２合成方法は、拠点１、拠点２、拠点３からそれぞれ送付された自拠点画像「Ａ」５０１、「Ｂ」５１１、「Ｃ」５２１が存在する数だけ、最新画像バッファ２１８に取り込み、データ構造５１０，５３０，５５０を生成する。
【００３６】
そして、最新画像バッファ２１８に新たな画像が登録されると、当該画像を統合し、それぞれ統合画像５２０，５４０，５６０として、最終的には全拠点の自拠点画像を総て合成した画像を生成する。その後、全拠点の自拠点画像を統合した画像である統合画像５６０から、最新画像バッファ２１８に登録された送付するべき拠点の自拠点画像を減算し、データ構成５７０に示す差分画像を生成して、表示画像バッファ２２０内の各宛先に対応する各拠点に割り当てられたメモリ領域に登録し、各拠点に配付する。
【００３７】
当該差分画像を生成する場合、画像合成部２１６は、同一の画像上の位置における統合画像５６０および最新画像バッファに格納された画像の輝度値の差分を算出し、輝度値の取り得る最大値から当該差分を減算した値を、当該位置における差分画像の輝度値とすることができる。例えば、輝度の最大値が２５５である実施形態の場合、画像上の或る位置における統合画像の輝度値をａ、最新画像バッファに格納された画像の輝度値ｂとすると、当該位置における差分画像の輝度値は２５５−（ａ−ｂ）となる。
【００３８】
第２合成方法は、計算量Ｏ＝（２ｎ）、メモリ消費量＝（ｎ＋２）と第１合成方法よりもハードウェア資源消費という点では効率的であるが、差分画像を生成するため、色バランスなどの画質が低下する場合もあるため、拠点数が多く、また画質を優先しないことで充分な場合などに好ましく利用することができる。
【００３９】
以下、図６〜図８に本実施形態の表示画像生成処理を詳細に説明する。図６は、本実施形態の多拠点描画画像共有装置２００が、各拠点から送付された自拠点画像を蓄積する処理のフローチャートである。図６の処理は、ステップＳ６００から開始し、各クライアントからの自拠点画像を受領したか否かを判断し。受領しない場合（ｎｏ）自拠点画像の受信を待機する。一方、自拠点画像を受領した場合（ｙｅｓ）、ステップＳ６０１に制御を渡し、画像を画像キュー２１２に保存して、以後の処理を可能とする。なお、自拠点画像の蓄積は、クライアントリスト２２２に登録されたクライアント全部からの送付を受けるまで反復して行うこともできるし、受領した段階で逐次的に画像キュー２１２に送付することもできる。
【００４０】
図７は、本実施形態の第１合成方法を使用する場合の多拠点描画画像共有装置２００が実行する処理のフローチャートを示す。図７の処理は、ステップＳ７００で画像キュー２１２に画像があるかどうかを判断し、画像が存在する場合（ｙｅｓ）、ステップＳ７０１で画像キュー２１２から画像を１つ抽出し、ステップＳ７０２で、最新画像バッファに抽出した画像を追加して更新する。一方、キューに画像がない場合（ｎｏ）、処理をステップＳ７０３に分岐させ、画像合成タイミングが到来したか否かを判断する。
【００４１】
ステップＳ７０３では、画像合成タイミングとなったか否かを判断し、画像合成タイミングが到来していない場合（ｎｏ）処理をステップＳ７００に戻し、キューの画像があるか否かの判断を反復させる。ステップＳ７０３で画像合成タイミングが到来した場合（ｙｅｓ）、ステップＳ７０４でまだ合成していない、すなわち前回の画像合成タイミングまでに合成されていない自拠点画像を最新画像バッファ２１８から読み出して合成画像を作成する。この際、合成画像は、減算処理などを加えずとも送付するべきクライアントの自拠点画像が除かされた表示画像として生成される。
【００４２】
ステップＳ７０５では、生成した合成画像＝表示画像を各クライアントに宛てて表示画像バッファ２２０からネットワークを介して送付しステップＳ７０６で、表示画像バッファ２２０内の画像をフラッシュして処理をステップＳ７００に戻し、処理するべき画像が無くなるまで、ステップＳ７００〜Ｓ７０６の処理を反復する。また、ステップＳ７００で画像キュー２１２に処理するべき画像が無くなると、処理をＳ７０３に分岐させ、画像合成タイミングの到来を待機する。
【００４３】
本実施形態では、制御部２１４は、表示画像バッファ２２０に全拠点の表示画像が格納されたときに、表示画像バッファ２２０に表示画像を各クライアントに送付させることができる。他の実施形態では、制御部２１４は、表示画像バッファ２２０に対して、表示画像バッファ２２０に格納された拠点の表示画像から順次クライアントに送付させることができる。
【００４４】
さらに、他の実施形態では、制御部２１４は、画像合成処理が開始して所定の時間が経過した後に、表示画像バッファ２２０に表示画像を各クライアントに送付させることができる。この場合、制御部２１４は、表示画像バッファ２２０に全拠点の表示画像が格納されていないとき、画像合成部２１６に対して、以前に最新画像バッファ２１８に格納された最新画像を使用して、表示画像バッファ２２０に格納されていない表示画像を生成させることができる。
【００４５】
図８は、本実施形態の第２合成方法を使用する場合の多拠点描画画像共有装置２００の処理フローを示す。図８の処理は、ステップＳ８００で画像キュー２１２に画像があるかどうかを判断し、画像が存在する場合（ｙｅｓ）、ステップＳ８０１で画像キュー２１２から画像を１つ抽出し、ステップＳ８０２で、最新画像バッファに抽出した画像を追加して更新する。また、ステップＳ８００でキューに画像がない場合（ｎｏ）処理をステップＳ８０３に分岐させる。
【００４６】
ステップＳ８０３では、画像合成タイミングとなったか否かを判断し、画像合成タイミングが到来していない場合（ｎｏ）処理をステップＳ８００に戻し、キューに画像があるか否かの判断を反復する。ステップＳ８０３で画像合成タイミングが到来した場合（ｙｅｓ）、ステップＳ８０４でまだ合成していない、すなわち前回の画像合成タイミングまでに合成されていない自拠点画像を最新画像バッファ２１８から読み出して合成画像を作成する。この際、合成画像は、その時点で連携している全拠点からの自拠点画像を合成した画像として生成される。
【００４７】
ステップＳ８０５では、生成した合成画像から、最新画像バッファ２１８に登録された自拠点画像を減算してクライアントの数分の表示画像を生成し、表示画像バッファ２２０に格納し、ステップＳ８０６で、表示画像を各クライアントに宛ててネットワークを介して送付しステップＳ８０７で、表示画像バッファ２２０内の画像をフラッシュして処理をステップＳ８００に戻し、処理するべき画像が無くなるまで、ステップＳ８００〜Ｓ８０７の処理を反復する。また、ステップＳ８００で画像キュー２１２に処理するべき画像が無くなると、図７と同様に、処理をステップＳ８０３に分岐させ、画像合成タイミングを待機させる。ここで、画像合成タイミングは、所望のフレームレートとなるように一定間隔で発生させるようにしてもよい。例えば、１０フレーム／秒となるように、０．１秒間隔で発生させるようにしてもよい。
【００４８】
本実施形態では、制御部２１４は、表示画像バッファ２２０に全拠点の表示画像が格納されたときに、表示画像バッファ２２０に表示画像を各クライアントに送付させることができる。他の実施形態では、制御部２１４は、表示画像バッファ２２０に対して、表示画像バッファ２２０に格納された拠点の表示画像から順次クライアントに送付させることができる。
【００４９】
さらに、他の実施形態では、制御部２１４は、画像合成処理が開始して所定の時間が経過した後に、表示画像バッファ２２０に表示画像を各クライアントに送付させることができる。この場合、制御部２１４は、表示画像バッファ２２０に全拠点の表示画像が格納されていないとき、画像合成部２１６に対して、以前に最新画像バッファ２１８に格納された最新画像を使用して、表示画像バッファ２２０に格納されていない表示画像を生成させることができる。
【００５０】
以上のように、本発明によれば、多拠点でそれぞれ独立して描かれた画像を統合して、最小の時間差および画像の連続性を与えながら各拠点で共有することが可能となる。
【００５１】
本実施形態の上記機能は、C++、Java（登録商標）、JavaScript（登録商標）、Perl、Rubyなどのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、プログラムは、ハードディスク装置、CD-ROM、MO、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他装置が実行可能な形式でネットワークを介して伝送することができる。
【００５２】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００５３】
１００ 多拠点描画画像共有システム
１１０ ホワイトボード
１１２ 可視化装置
１１４ 撮影装置
１１６ パーソナルコンピュータ
１１８ ネットワーク
１２０ ホワイトボード
１２２ 可視化装置
１２４ 撮影装置
１２６ パーソナルコンピュータ
１２８ ネットワーク
１３０ サーバ装置
１４０ ホワイトボード
１４２ 可視化装置
１４４ 撮影装置
１４６ パーソナルコンピュータ
１４８ ネットワーク
２００ 多拠点描画画像共有装置
２１０ ネットワークインタフェース
２１２ 画像キュー
２１４ 制御部
２１６ 画像合成部
２１８ 最新画像バッファ
２２０ 表示画像バッファ
２２２ クライアントリスト
【先行技術文献】
【特許文献】
【００５４】
【特許文献１】特開２００５−２０３８８６号公報
【特許請求の範囲】
【請求項１】
多拠点で描画対象物に描かれた画像を各描画対象物に共有させる多拠点描画画像共有装置であって、
各拠点で描かれた画像を格納する画像格納手段と、
前記画像格納手段に格納されている画像を、送信先で描かれた画像を含まないように重畳して合成する画像合成手段と
前記画像合成手段により合成された画像を各拠点に送信する画像送信手段
と
を含む、多拠点描画画像共有装置。
【請求項２】
前記画像合成手段は、第１の拠点で描かれた画像および前記第１の拠点以外の拠点で描かれた画像の位置を重畳させて、合成画像を生成することを特徴とする請求項１に記載の多拠点描画画像共有装置。
【請求項３】
前記画像合成手段は、第１の拠点で描かれた画像および前記第１の拠点以外の拠点で描かれた画像の同一の位置のピクセル輝度値を最小値に置換して、合成画像を生成することを特徴とする請求項２に記載の多拠点描画画像共有装置。
【請求項４】
前記多拠点描画画像共有装置は、各拠点で描かれた最新の画像を格納する最新画像バッファを有することを特徴とする請求項１乃至３のいずれか１項に記載の多拠点描画画像共有装置。
【請求項５】
前記画像合成手段は、前記最新画像バッファに格納されている第１の拠点で描かれた画像を特定して、前記最新画像バッファに格納されている前記第１の拠点以外の画像を合成することを特徴とする請求項１乃至４のいずれか１項に記載の多拠点描画画像共有装置。
【請求項６】
前記画像合成手段は、全拠点から受信した画像を全て統合して統合画像を生成し、当該統合画像と最新画像バッファに格納されている画像との差分画像を生成することで、合成画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の多拠点描画画像共有装置。
【請求項７】
前記多拠点描画画像共有装置は、拠点の数と画質から画像合成手段の合成方法を判断する画像合成方法判断手段を含むことを特徴とする請求項１乃至６のいずれか１項に記載の多拠点描画画像共有装置。
【請求項８】
前記画像送信手段は、送信すべき全拠点の合成画像が生成された段階で合成画像を各拠点に送信する、請求項１乃至７のいずれか１項に記載の多拠点描画画像共有装置。
【請求項９】
前記画像送信手段は、送信すべき合成画像が生成されると、順次合成画像を各拠点に送信する、請求項１乃至７のいずれか１項に記載の多拠点描画画像共有装置。
【請求項１０】
前記画像送信手段は、画像合成が開始して所定の時間が経過した段階で合成画像を各拠点に送信する、請求項１乃至７のいずれか１項に記載の多拠点描画画像共有装置。
【請求項１１】
前記画像合成手段は、画像合成が開始して所定の時間が経過した段階で全拠点の合成画像が生成されていない場合、前記最新画像バッファに格納された以前の最新画像を使用して、前記生成されていない合成画像を作成し、
前記画像送信手段は、前記合成画像を送信する、請求項１０に記載の多拠点描画画像共有装置。
【請求項１２】
多拠点で描画対象物に描かれた画像を各描画対象物に共有させる多拠点描画画像共有装置と、前記描画対象物に描かれた画像から自拠点で書かれた内容のみを抽出し前記多拠点描画画像共有装置に送付するクライアントとを含む多拠点描画画像共有システムであって、前記多拠点描画画像共有装置は、
各拠点で描かれた画像を格納する画像格納手段と、
前記画像格納手段に格納されている画像を、送信先で描かれた画像を含まないように重畳して合成する画像合成手段と
前記画像合成手段により合成された画像を各拠点に送信する画像送信手段
と
を含む、多拠点描画画像共有システム。
【請求項１３】
前記画像合成手段は、第１の拠点で描かれた画像および前記第１の拠点以外の拠点で描かれた画像の位置を重畳させて、合成画像を生成することを特徴とする請求項１２に記載の多拠点描画画像共有システム。
【請求項１４】
２以上の遠隔の拠点間で描かれる描画画像を共有する多拠点描画画像共有装置が実行する方法であって、前記方法は、前記多拠点描画画像共有装置が、
各拠点で描かれた画像を格納するステップと、
前記格納された画像を、送信先で描かれた画像を含まないように重畳して合成するステップと、
前記合成された画像を各拠点に送信するステップと
を含む、方法。
【請求項１５】
前記合成するステップは、第１の拠点で描かれた画像および前記第１の拠点以外の拠点で描かれた画像の位置を重畳させて、合成画像を生成するステップを含む、請求項１４に記載の方法。
【請求項１６】
前記合成するステップは、第１の拠点で描かれた画像および前記第１の拠点以外の拠点で描かれた画像の同一の位置のピクセル輝度値を最小値に置換して、合成画像を生成するステップを含む、請求項１５に記載の方法。
【請求項１７】
前記多拠点描画画像共有装置は、各拠点で描かれた最新の画像を格納する最新画像バッファを有しており、
前記合成するステップは、前記最新画像バッファに格納されている第１の拠点で描かれた画像を特定して、前記最新画像バッファに格納されている前記第１の拠点以外の画像を合成するステップを含む、請求項１４乃至１６のいずれか１項に記載の方法。
【請求項１８】
前記多拠点描画画像共有装置は、各拠点で描かれた最新の画像を格納する最新画像バッファを有しており、
前記合成するステップは、全拠点から受信した画像を全て統合して統合画像を生成し、当該統合画像と最新画像バッファに格納されている画像との差分画像を生成することで、合成画像を生成するステップを含む、請求項１４乃至１６のいずれか１項に記載の方法。
【請求項１９】
２以上の遠隔の拠点間で描かれる描画画像を共有する多拠点描画画像共有装置に対して、請求項１４〜１８のいずれか１項に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項２０】
請求項１９に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【請求項１】
多拠点で描画対象物に描かれた画像を各描画対象物に共有させる多拠点描画画像共有装置であって、
各拠点で描かれた画像を格納する画像格納手段と、
前記画像格納手段に格納されている画像を、送信先で描かれた画像を含まないように重畳して合成する画像合成手段と
前記画像合成手段により合成された画像を各拠点に送信する画像送信手段
と
を含む、多拠点描画画像共有装置。
【請求項２】
前記画像合成手段は、第１の拠点で描かれた画像および前記第１の拠点以外の拠点で描かれた画像の位置を重畳させて、合成画像を生成することを特徴とする請求項１に記載の多拠点描画画像共有装置。
【請求項３】
前記画像合成手段は、第１の拠点で描かれた画像および前記第１の拠点以外の拠点で描かれた画像の同一の位置のピクセル輝度値を最小値に置換して、合成画像を生成することを特徴とする請求項２に記載の多拠点描画画像共有装置。
【請求項４】
前記多拠点描画画像共有装置は、各拠点で描かれた最新の画像を格納する最新画像バッファを有することを特徴とする請求項１乃至３のいずれか１項に記載の多拠点描画画像共有装置。
【請求項５】
前記画像合成手段は、前記最新画像バッファに格納されている第１の拠点で描かれた画像を特定して、前記最新画像バッファに格納されている前記第１の拠点以外の画像を合成することを特徴とする請求項１乃至４のいずれか１項に記載の多拠点描画画像共有装置。
【請求項６】
前記画像合成手段は、全拠点から受信した画像を全て統合して統合画像を生成し、当該統合画像と最新画像バッファに格納されている画像との差分画像を生成することで、合成画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の多拠点描画画像共有装置。
【請求項７】
前記多拠点描画画像共有装置は、拠点の数と画質から画像合成手段の合成方法を判断する画像合成方法判断手段を含むことを特徴とする請求項１乃至６のいずれか１項に記載の多拠点描画画像共有装置。
【請求項８】
前記画像送信手段は、送信すべき全拠点の合成画像が生成された段階で合成画像を各拠点に送信する、請求項１乃至７のいずれか１項に記載の多拠点描画画像共有装置。
【請求項９】
前記画像送信手段は、送信すべき合成画像が生成されると、順次合成画像を各拠点に送信する、請求項１乃至７のいずれか１項に記載の多拠点描画画像共有装置。
【請求項１０】
前記画像送信手段は、画像合成が開始して所定の時間が経過した段階で合成画像を各拠点に送信する、請求項１乃至７のいずれか１項に記載の多拠点描画画像共有装置。
【請求項１１】
前記画像合成手段は、画像合成が開始して所定の時間が経過した段階で全拠点の合成画像が生成されていない場合、前記最新画像バッファに格納された以前の最新画像を使用して、前記生成されていない合成画像を作成し、
前記画像送信手段は、前記合成画像を送信する、請求項１０に記載の多拠点描画画像共有装置。
【請求項１２】
多拠点で描画対象物に描かれた画像を各描画対象物に共有させる多拠点描画画像共有装置と、前記描画対象物に描かれた画像から自拠点で書かれた内容のみを抽出し前記多拠点描画画像共有装置に送付するクライアントとを含む多拠点描画画像共有システムであって、前記多拠点描画画像共有装置は、
各拠点で描かれた画像を格納する画像格納手段と、
前記画像格納手段に格納されている画像を、送信先で描かれた画像を含まないように重畳して合成する画像合成手段と
前記画像合成手段により合成された画像を各拠点に送信する画像送信手段
と
を含む、多拠点描画画像共有システム。
【請求項１３】
前記画像合成手段は、第１の拠点で描かれた画像および前記第１の拠点以外の拠点で描かれた画像の位置を重畳させて、合成画像を生成することを特徴とする請求項１２に記載の多拠点描画画像共有システム。
【請求項１４】
２以上の遠隔の拠点間で描かれる描画画像を共有する多拠点描画画像共有装置が実行する方法であって、前記方法は、前記多拠点描画画像共有装置が、
各拠点で描かれた画像を格納するステップと、
前記格納された画像を、送信先で描かれた画像を含まないように重畳して合成するステップと、
前記合成された画像を各拠点に送信するステップと
を含む、方法。
【請求項１５】
前記合成するステップは、第１の拠点で描かれた画像および前記第１の拠点以外の拠点で描かれた画像の位置を重畳させて、合成画像を生成するステップを含む、請求項１４に記載の方法。
【請求項１６】
前記合成するステップは、第１の拠点で描かれた画像および前記第１の拠点以外の拠点で描かれた画像の同一の位置のピクセル輝度値を最小値に置換して、合成画像を生成するステップを含む、請求項１５に記載の方法。
【請求項１７】
前記多拠点描画画像共有装置は、各拠点で描かれた最新の画像を格納する最新画像バッファを有しており、
前記合成するステップは、前記最新画像バッファに格納されている第１の拠点で描かれた画像を特定して、前記最新画像バッファに格納されている前記第１の拠点以外の画像を合成するステップを含む、請求項１４乃至１６のいずれか１項に記載の方法。
【請求項１８】
前記多拠点描画画像共有装置は、各拠点で描かれた最新の画像を格納する最新画像バッファを有しており、
前記合成するステップは、全拠点から受信した画像を全て統合して統合画像を生成し、当該統合画像と最新画像バッファに格納されている画像との差分画像を生成することで、合成画像を生成するステップを含む、請求項１４乃至１６のいずれか１項に記載の方法。
【請求項１９】
２以上の遠隔の拠点間で描かれる描画画像を共有する多拠点描画画像共有装置に対して、請求項１４〜１８のいずれか１項に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項２０】
請求項１９に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−５１０７（Ｐ２０１２−５１０７Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１１−４７６６９（Ｐ２０１１−４７６６９）
【出願日】平成２３年３月４日（２０１１．３．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２３年３月４日（２０１１．３．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]