描画画像共有装置、データ処理方法、プログラムおよび記録媒体
【課題】描画対象物に表示される画像の視認性を向上させると共に、任意の画像に重畳して描画された画像を他拠点と共有可能とする描画画像共有装置、データ処理方法、プログラムおよび記録媒体を提供すること。
【解決手段】本発明の描画画像共有装置は、描画対象物に表示すべき背景画像および他拠点の描画画像を受信し、背景画像を他拠点の描画画像共有装置に送信する。そして、これらの画像を合成して描画対象物に表示させた後、描画対象物に表示された画像を取得して、当該取得した画像と合成された画像との差分画像を生成し、当該差分画像を他拠点の描画画像共有装置に送信する。
【解決手段】本発明の描画画像共有装置は、描画対象物に表示すべき背景画像および他拠点の描画画像を受信し、背景画像を他拠点の描画画像共有装置に送信する。そして、これらの画像を合成して描画対象物に表示させた後、描画対象物に表示された画像を取得して、当該取得した画像と合成された画像との差分画像を生成し、当該差分画像を他拠点の描画画像共有装置に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、描画画像の共有化に関し、より詳細には、他拠点と描画画像を共有する描画画像共有装置、データ処理方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
近年、遠隔会議等に利用するために、各拠点に設けられたホワイトボードや黒板等の描画対象物に描かれた画像をカメラ等で撮影し、他の拠点に設けられた描画対象物にプロジェクタ等を使用して当該画像を投影することにより、複数の描画対象物で描画を供給する技術が存在する。
【０００３】
例えば、特開２００５−２０３８８６号公報（特許文献１）は、各遠隔地に投影画像を投影するプロジェクタと、投影すべき元画像をプロジェクタに送信するサーバとを備え、各プロジェクタが、投影画像を投影したスクリーンに書き込まれた書込画像を撮影する撮影手段と、撮影手段によって撮影された書込画像をサーバに送信する送信手段とを備え、サーバが、一方のプロジェクタから受信した書込画像を元画像に合成する合成手段と、合成手段により合成された画像を他方のプロジェクタに送信する転送手段とを備え、遠隔会議を支援するシステムを開示する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に示すシステムは、書込画像を撮影するために、一定の時間間隔でプロジェクタによる投影を中断する必要があり、スクリーンに表示される画像の視認性を悪化させるという問題があった。
【０００５】
また、このような描画画像共有システムにおいて、何も描かれていない描画対象物にユーザが書き加えた描画画像を共有することは可能である。しかし、ＰＣ画面等の任意の画像を背景としてユーザが書き込みを行い、その画像を他拠点のユーザと共有化する技術が必要とされていた。
【０００６】
本発明は上記の課題を解決するものであり、描画対象物に表示される画像の視認性を向上させると共に、任意の画像に重畳して描画した描画画像を他拠点と共有可能な描画画像共有装置、データ処理方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の描画画像共有装置は、描画対象物に表示すべき背景画像および他拠点の描画画像を受信し、背景画像を他拠点の描画画像共有装置に送信する。そして、これらの画像を合成して描画対象物に表示させた後、描画対象物に表示された画像を取得して、当該取得した画像と合成された画像との差分画像を生成し、当該差分画像を他拠点の描画画像共有装置に送信する。これにより、任意の画像に重畳して描画した描画画像を他拠点と共有可能にするとともに、描画画像の重畳によるエコー現象を回避して、表示画像の視認性を一層向上させることができる。
【０００８】
本発明によれば、描画対象物に表示される表示画像の視認性を向上させ、任意の画像に重畳して描画された画像を共有可能とするデータ処理方法、プログラムおよび記録媒体を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の描画画像共有システムを示した図。
【図２】本実施形態の描画画像共有装置の機能構成を示す図。
【図３】本実施形態の背景画像供給モードで動作する描画画像共有装置が実行する処理を示すフローチャート。
【図４】本実施形態の背景画像供給モードで動作する描画画像共有装置が、図３に示す処理に伴って実行される処理を示すフローチャート。
【図５】本実施形態の背景画像受領モードで動作する描画画像共有装置が実行する処理の一実施形態を示すフローチャート。
【図６】本実施形態の背景画像受領モードで動作する描画画像共有装置が実行する処理の他の実施形態を示すフローチャート。
【図７】本実施形態の差分画像生成部が実行する差分画像生成処理を示すフローチャート。
【図８】本実施形態の差分画像生成部が実行する平均比率値算出処理を示すフローチャート。
【図９】他の実施形態の差分画像生成部が実行する平均差分値算出処理を示すフローチャート。
【図１０】本実施形態の差分画像生成部が実行する差分算出処理を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。
【００１１】
図１は、本実施形態の描画画像共有システム１００を示す。描画画像共有システム１００は、２つの拠点１１０ａ，１１０ｂを含んで構成される。これらの拠点１１０ａ，１１０ｂは、インターネットやＬＡＮ、ＷＡＮ等のネットワーク１２０を介して相互接続されている。本実施形態では、説明を明確にするために２つの拠点について説明するが、他の実施形態の描画画像共有システムでは、複数の拠点を含んで構成するようにしてもよい。また、他の実施形態では、専用線を用いて他拠点との相互接続を実現してもよい。
【００１２】
拠点１１０ａは、描画対象物１１２ａと、表示装置１１４ａと、撮影装置１１６ａと、描画画像共有装置１１８ａと、背景画像供給装置１２２とを含む。なお、拠点１１０ｂは、背景画像供給装置１２２を除き、拠点１１０ａと同様の構成を有しているため、以下説明を省略する。
【００１３】
描画対象物１１２ａは、表示装置１１４ａが表示する画像が表示され、拠点１１０ａのユーザが文字や図等を描画可能なホワイトボードや黒板、紙等の物品である。本実施形態の描画対象物１１２ａは、拠点１１０ａのユーザが描画した描画画像である描画文字１１３０が描かれており、また、拠点１１０ｂのユーザが描画した描画画像である描画文字１１３２が表示されている。
【００１４】
表示装置１１４ａは、描画対象物１１２ａに表示すべき背景画像や拠点１１０ｂから受信した拠点１１０ｂの描画画像を表示する装置であり、本実施形態では、表示装置としてプロジェクタを採用することができる。図１では、拠点１１０ａの描画対象物１１２ａに拠点１１０ｂの描画文字１１３２が表示されている。背景画像とは、描画文字１１３０や描画文字１１３２等の書き込みを行うときに描画対象物に背景として表示されるＰＣ画面等の任意の画像をいう。
【００１５】
本実施形態では、描画対象物１１２ａおよび表示装置１１４ａを利用して画像を表示する構成を採用しているが、他の実施形態では、これらの代わりに、液晶ディスプレイ装置やプラズマディスプレイ装置等を表示装置として採用することができる。この場合、透過性を有するフィルムやボード等を表示装置に取り付け、当該フィルム等にユーザが文字等を描くようにしてもよい。
【００１６】
撮影装置１１６ａは、描画対象物１１２ａに描かれた描画画像や表示画像、背景画像を撮影する装置であり、本実施形態では、デジタルカメラ、Ｗｅｂカメラなどを撮影装置として使用することができる。また、動画撮影が可能なデジタルビデオカメラを撮影装置として使用し、撮影された動画画像を表示画像としてもよい。本実施形態では、撮影装置１１６ａは、描画画像共有装置１１８ａが背景画像供給装置１２２から背景画像を受領したときや、拠点１１０ｂから描画画像を受領したときに、描画画像共有装置１１８ａの指示により描画対象物１１２ａの撮影を行う。
【００１７】
描画画像共有装置１１８ａは、自拠点である拠点１１０ａの描画対象物１１２ａの撮影画像から抽出した描画画像や背景画像を他拠点である拠点１１０ｂに送信し、また、拠点１１０ｂから受信した描画画像を描画対象物１１２ａに表示させることにより、複数拠点において描画画像の共有を可能にする装置である。また、描画画像共有装置１１８ａは、拠点１１０ｂから受信した背景画像および描画画像を合成して描画対象物１１２ａに表示させることができる。本実施形態では、描画画像共有装置１１８ａは、ノート型やデスクトップ型等のパーソナルコンピュータを採用することができる。
【００１８】
本実施形態の描画画像共有システム１００では、描画画像共有装置は、背景画像を供給するモードである背景画像供給モードと、供給された背景画像を使用するモードである背景画像受領モードとの２つのモードで動作可能である。背景画像供給モードの描画画像共有装置は、背景画像供給装置１２２が供給した背景画像を、自拠点の表示画像として表示させるとともに、他拠点の描画画像共有装置に提供する。一方、背景画像受領モードの描画画像共有装置は、他拠点の描画画像共有装置から受領した背景画像および描画画像を合成して表示させる。本実施形態では、描画画像共有装置１１８ａは、背景画像供給装置１２２から背景画像および／または背景画像を表示すべき旨の要求を受領したことをトリガとして背景画像供給モードで動作する。一方、描画画像共有装置１１８ｂは、他拠点の画像供給装置から背景画像および／または背景画像を表示すべき旨の要求を受領したことをトリガとして背景画像受領モードで動作する。
【００１９】
描画画像共有装置１１８ａは、ＰＥＮＴＩＵＭ（登録商標）プロセッサまたは互換プロセッサを搭載し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＭＡＣ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本実施形態のプログラムを実行する。また、描画画像共有装置１１８ａは、プログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置（ＨＤＤ）などを含んでおり、本実施形態の各機能手段をプログラムの実行により、当該情報処理装置上に実現する。さらに、描画画像共有装置１１８ａは、表示装置１１４ａや撮影装置１１６ａ等の周辺装置またはネットワーク１２０に接続可能なインタフェースを備えており、当該インタフェースを介して周辺装置や拠点１１０ｂの描画画像共有装置１１８ｂと描画画像および背景画像の送受信等のデータ通信を行う。
【００２０】
背景画像供給装置１２２は、描画対象物１１２ａに表示すべき背景画像を描画画像共有装置１１８ａに供給する装置である。背景画像供給装置１２２は、当該背景画像供給装置１２２に内蔵され、または接続されたＨＤＤ等の記憶装置に格納された背景画像を、背景画像を表示すべき旨の要求とともに描画画像共有装置１１８ａに供給する。図１に示す実施形態では、背景画像供給装置１２２は、描画画像共有装置１１８ａにＬＡＮ接続されており、当該ＬＡＮを介して背景画像を提供することができる。本実施形態では、描画画像共有装置１１８ａとして、ノート型やデスクトップ型等のパーソナルコンピュータを採用することができる。他の実施形態では、描画画像共有装置１１８ａとして、ＬＡＮやＷＡＮ、インターネット等のネットワークにより描画画像共有装置１１８ａに接続されたデータサーバを採用することができる。さらに、他の実施形態では、背景画像供給装置が有する背景画像ではなく、描画画像共有装置１１８ａのＨＤＤに格納された背景画像を使用することができる。
【００２１】
本実施形態の各機能手段は、上述したプログラミング言語などで記述された装置実行可能なプログラムにより実現でき、本発明のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他の装置が可読な形式でネットワークを介して伝送することができる。
【００２２】
本実施形態の描画画像共有システムは、表示装置および撮影装置を用いて実現するが、これに限定されるものではない。
【００２３】
図２は、本実施形態の描画画像共有装置１１８ａの機能構成２００を示す。描画画像共有装置１１８ａは、受信部２１０と、判別部２１２と、画像検出部２１４と、背景画像バッファ２１６と、描画画像バッファ２２０と、記憶装置２３６とを含む。
【００２４】
受信部２１０は、背景画像供給装置１２２や他拠点の描画画像共有装置１１８ｂから種々の要求や画像データを受信する機能手段である。具体的には、受信部２１０は、背景画像供給装置１２２または背景画像供給モードの描画画像共有装置から背景画像を受信する。また、受信部２１０は、他拠点の描画画像共有装置から描画画像を受信する。受信部２１０は、これらの要求を受信すると、判別部２１２にその旨の通知する。本実施形態では、受信部２１０が背景画像供給装置１２２の提供する背景画像を受信するが、他の実施形態では、受信部２１０が描画画像共有装置１１８ａのＨＤＤ等の記憶装置に格納された背景画像を取得してもよい。
【００２５】
また、受信部２１０は、他拠点の描画画像共有装置との通信を確立する際に、他拠点の描画画像共有装置のプロファイル情報を受信する。受信部２１０は、プロファイル情報を受信すると、記憶装置２３６に保存する。記憶装置２３６には、自拠点の描画画像共有装置のプロファイル情報が予め保存されている。プロファイル情報には、描画画像共有装置が有する機能や処理能力、性能に関する情報が含まれる。具体的には、描画画像共有装置が描画画像と背景画像との合成が可能か否かを示す情報や、この合成処理に係る処理時間等が含まれる。
【００２６】
判別部２１２は、背景画像供給装置１２２または他拠点の描画画像供給装置から受信する種々の要求に応じた処理を実行する。これらの要求には、表示画像として背景画像を表示すべき要求や描画画像を表示すべき要求、背景画像および描画画像の合成画像を表示すべき要求、背景画像を再送信すべき旨の要求等と共に、その送信元を識別する情報が含まれる。
【００２７】
判別部２１２は、背景画像供給装置から背景画像の表示要求を受信した場合、描画画像共有装置は１１８ａ背景画像供給モードで動作し、当該表示要求と共に受信した背景画像の画像検出や他拠点への背景画像の送信を、後述する画像検出部２１４や画像加工部２１８などの機能手段に実行させる。判別部２１２は、背景画像供給装置１２２から背景画像を受信した場合、背景画像を識別する識別情報（以下、背景画像識別情報として参照する。）を背景画像に付加して、背景画像バッファ２１６に保存する。
【００２８】
また、判別部２１２は、他拠点の描画画像共有装置から背景画像の表示要求を受信した場合、描画画像共有装置１１８ａは背景画像受領モードで動作し、当該要求と共に受信した背景画像を背景画像バッファ２１６に格納し、画像加工部２１８に当該背景画像と他拠点の描画画像とを合成させて、画像供給部２２２が表示装置１１４ａに表示させることができる。
【００２９】
判別部２１２は、背景画像供給モードおよび背景画像受領モードの双方において、描画画像の表示要求を受信した場合、当該描画画像を一時的に保存するＲＡＭ等の記憶手段である描画画像バッファ２２０に格納する。本実施形態の描画画像バッファ２２０には、最新の描画画像のみが格納される。
【００３０】
また、判別部２１２は、他拠点の描画画像共有装置から背景画像および描画画像の合成画像を受信した場合、後述する画像供給部２２２に当該合成画像を表示装置１１４ａに表示させることができる。
【００３１】
さらに、判別部２１２は、他拠点の描画供給装置から背景画像の再送要求を受信した場合、背景画像バッファ２１６に格納されている背景画像を後述の送信部２３４に送信させることができる。
【００３２】
画像検出部２１４は、受信部２１０が受信した背景画像が、背景画像バッファ２１６に格納されている背景画像と同一であるか否かを検出する機能手段である。背景画像バッファ２１６は、背景画像を格納するデータバッファであり、背景画像を一時的に保存可能なＲＡＭ等の記憶手段により実装することができる。背景画像バッファ２１６には、現在表示画像として表示されている背景画像を、その背景画像識別情報と共に格納することができる。本実施形態では、背景画像供給モードで動作する描画画像共有装置の背景画像バッファ２１６には、最新の背景画像のみが格納される。一方、背景画像受信モードで動作する描画画像共有装置の背景画像バッファ２１６には、他拠点から受信した背景画像が総て格納される。
【００３３】
画像検出部２１４は、描画画像共有装置１１８ａが背景画像供給モードで動作する場合、判別部２１２を介して、背景画像供給装置１２２から背景画像を表示すべき要求を受領すると、背景画像供給装置１２２から受領した表示すべき背景画像と、背景画像バッファ２１６に格納された現在表示中の背景画像とを比較して、これらの画像が同一であるか否か検出する。本実施形態の画像検出部２１４は、テンプレートマッチングや特徴点抽出等を使用して、これらの画像の同一性を判断することができる。画像検出部２１４は、これらの画像が相違する場合、背景画像供給装置１２２から受信した背景画像を背景画像バッファ２１６に格納し、後述する送信部２３４に対し、当該背景画像を他拠点に送信すべき旨の要求を送付する。
【００３４】
また、画像検出部２１４は、描画画像共有装置１１８ａが背景画像受領モードで動作する場合、判別部２１２を介して、他拠点の描画画像共有装置から背景画像を表示すべき要求を受領すると、受信した背景画像を背景画像バッファ２１６に格納する。
【００３５】
また、描画画像共有装置１１８ａは、画像加工部２１８と、画像供給部２２２と、表示画像バッファ２２４とを含む。
【００３６】
画像加工部２１８は、背景画像供給装置１２２が供給した背景画像および他拠点から受信した描画画像に加工処理を施して表示画像を生成する機能手段である。画像加工部２１８は、描画画像バッファ２２０に格納された描画画像を取得し、背景画像バッファ２１６に格納された背景画像を取得し、当該描画画像および背景画像を合成して、表示画像を生成する。本実施形態では、画像合成方法として、マスク処理を用いた背景入れ替えやオブジェクト合成方法を採用することができる。また、合成すべき２つの画像のピクセル値を一定の割合で合成するαブレンディングや、合成すべき２つの画像の対応するピクセルの輝度の最小値を合成画像のピクセル値とする合成法を採用することができる。さらに、描画画像に対して太め処理を施し、その画像の輝度値が一定値以下の領域については描画画像のピクセル値を使用し、それ以外の領域については背景画像のピクセル値を使用する画像を合成画像とすることができる。
【００３７】
また、画像加工部２１８は、上記加工処理において、表示すべき背景画像に画像補正処理を施すことができる。本実施形態では、画像補正処理として、背景画像のサイズの拡大または縮小、背景画像の明度の変更を行うことができる。
【００３８】
さらに、画像加工部２１８は、描画画像共有システム１００の他拠点と共有すべき領域である描画対象物に表示された共有領域の大きさ（以下、共有領域サイズとして参照する。）に適合するように表示画像に拡大縮小処理を施すことができる。画像加工部２１８は、後述する画像取得部２２６がＲＡＭ等の記憶装置に格納した共有領域サイズを読み出し、表示画像と共有領域の大きさが異なると判断した場合には、表示画像および共有領域の大きさの比率を算出し、その比率を用いて当該表示画像を拡大または縮小させる。
【００３９】
画像加工部２１８は、画像加工処理が終了すると、表示画像を一時的に保存可能なＲＡＭ等の記憶手段により実装可能なデータバッファである表示画像バッファ２２４に表示画像を格納し、画像供給部２２２に表示画像の表示要求を送信する。
【００４０】
他の実施形態では、画像加工部２１８は、描画画像共有装置が背景画像受領モードで動作する場合、受信した他拠点の描画画像に関連する背景画像が背景画像バッファ２１６に格納されているか否か判断することができる。この実施形態では、画像検出部２１４は、他拠点から受信した背景画像を、その背景画像識別情報とともに背景画像バッファ２１６に格納し、画像加工部２１８は、描画画像と共に送信される当該描画画像に関連する背景画像識別情報と使用して、受信した描画画像に関連する背景画像が背景画像バッファ２１６に格納されているか判断することができる。画像加工部２１８は、該当する背景画像が背景画像バッファ２１６に格納されていないと判断した場合には、他拠点の描画画像共有装置に対する背景画像要求を送信部２３４に送信する。一方、背景画像供給モードで動作する描画画像共有装置は、背景画像要求を受領すると、背景画像バッファ２１６に格納されている背景画像を取得して再送信する。これにより、背景画像の背景画像バッファへの書込エラーやネットワークエラー等によって背景画像バッファに適切な背景画像が格納されていない場合にも、他の拠点と背景画像の整合性を図ることができる。
【００４１】
画像供給部２２２は、他拠点から受信した描画画像を描画対象物に表示させる機能手段である。本実施形態の画像供給部２２２は、表示画像を表示装置１１４ａに供給して描画対象物１１２ａに表示させる。また、画像供給部２２２は、表示装置１１４ａに表示画像を表示させた後、描画画像共有装置１１８ａの処理を一定時間待機させる待機処理を実行する。画像供給部２２２は、画像加工部２１８から表示画像の表示要求を受領すると、表示画像バッファ２２４に格納された表示画像を取得し、表示装置１１４ａに送信して当該表示画像を表示させる。そして、画像供給部２２２は、待機処理を実行し、画像取得部２２６に表示画像を撮影する要求を送信する。
【００４２】
本実施形態では、待機処理による待機時間を、０〜１０００ｍｓとすることができる。これにより、表示装置によって描画対象物に表示された表示画像が安定する時間を確保し、描画対象物を撮影して得られる撮影画像の質を向上させることができる。
【００４３】
また、画像供給部２２２は、図１に示すような共有領域を規定するマーカ１１２０，１１２２，１１２４，１１２６を有する画像データであるマーカ画像を表示装置１１４ａに表示させることができる。マーカ画像は、描画画像共有装置１１８ａが備えるＨＤＤ等の不揮発性メモリに予め格納することができ、画像供給部２２２は、当該不揮発性メモリからマーカ画像を読み出して表示装置１１４ａに表示させる。本実施形態では、画像供給部２２２は、描画画像共有装置１１８ａの起動時にマーカ画像を描画対象物１１２ａに表示させるが、他の実施形態では、ユーザ指示により、または定期的にマーカ画像を表示させることもできる。
【００４４】
本実施形態のマーカ画像は、マーカを構成する色として青色を採用するが、他の実施形態では、他の色をマーカの色として採用することができる。また、本実施形態では、マーカの形状を矩形としているが、他の実施形態では、三角形や四分円等の他の形状を採用することができる。さらに、本実施形態では、マーカを共有領域の各角点に配置することにより共有領域を規定するが、他の実施形態では、共有領域のその他の境界領域、例えば、共有領域の境界線上における各角の中点等にマーカを配置することもできる。
【００４５】
さらに、描画画像共有装置１１８ａは、画像取得部２２６と、撮影画像バッファ２２８と、差分画像生成部２３０と、差分画像バッファ２３２と、送信部２３４とを含む。
【００４６】
画像取得部２２６は、描画画像共有システムの他拠点と共有すべき、描画対象物に表示された共有領域の画像を取得する機能手段である。本実施形態の画像取得部２２６は、描画対象物１１２ａに表示された描画画像および表示画像を撮影装置１１６ａに撮影させ、その撮影画像を取得する機能手段である。また、画像取得部２２６は、撮影装置１１６ａから取得した撮影画像に対し、透視投影変換を実施して台形補正や縦横比の補正、回転補正等の画像補正を行うことができる。
【００４７】
また、画像取得部２２６は、上述したマーカ画像を使用して共有領域を特定し、共有領域サイズを算出することができる。画像取得部２２６は、後述する画像供給部２２２からマーカ画像を表示した旨の通知を受領すると、撮影装置１１６ａに描画対象物１１２ａを撮影させ、撮影装置１１６ａから撮影画像を取得して透視投影変換を行う。画像取得部２２６は、撮影画像に含まれる各マーカの座標値を検出して共有領域の角点の座標値として取得し、共有領域を特定する。そして、画像取得部２２６は、共有領域の角点の座標値から共有領域サイズを算出し、共有領域の角点の座標値および共有領域サイズをＲＡＭやＨＤＤ等の記憶装置に格納する。
【００４８】
他の実施形態では、画像取得部２２６は、マーカ画像を用いずに共有領域を特定して共有領域サイズを算出するようにしてもよい。この場合、画像供給部２２２が、初期時に表示画像バッファ２２４に格納されている白紙画像を表示装置に表示させ、画像取得部２２６は、撮影装置から取得した撮影画像に含まれる表示装置の照射領域とそれ以外の領域との輝度差を用いて、共有領域の角点の座標値を算出することができる。そして、画像取得部２２６は、当該共有領域の角点の座標値から共有領域サイズを算出することができる。
【００４９】
画像取得部２２６は、画像加工部２１８から表示画像の表示要求を受領すると、撮影装置１１６ａに描画対象物１１２ａを撮影させ、撮影装置１１６ａから撮影画像を取得する。画像取得部２２６は、撮影画像に透視投影変換を施した後、記憶装置に格納された共有領域の角点の座標値または共有領域サイズを使用して、撮影画像から共有領域を切り出し、撮影画像を一時的に記憶可能なＲＡＭ等の記憶手段により実装可能なデータバッファである撮影画像バッファ２２８に格納する。そして、画像取得部２２６は、差分画像生成部２３０に対して、差分画像の生成要求を送付する。
【００５０】
本実施形態では、画像取得部２２６が撮影画像の透視投影変換を行うが、他の実施形態では、画像取得部２２６の指示により、透視投影変換回路によって撮影画像に透視投影変換を施してもよい。
【００５１】
差分画像生成部２３０は、表示画像と撮影画像との差分である差分画像を生成する差分画像生成処理を実行する機能手段である。差分画像生成部２３０は、画像取得部２２６から差分画像の生成要求を受領すると、表示画像バッファ２２４に格納されている表示画像を取得し、当該表示画像と、撮影画像バッファ２２８に格納されている撮影画像とを使用して差分画像生成処理を実行する。差分画像生成部２３０は、差分画像生成処理において、テンプレートマッチング、または特徴点抽出および対応付けを用いて、表示画像および撮影画像の位置合わせをすることができる。
【００５２】
本実施形態の差分画像生成処理では、差分画像生成部２３０は、モルフォロジー演算（Morphological Operations）のＥｒｏｓｉｏｎまたは平滑化フィルタ等を用いて表示画像バッファ２２４から取得した表示画像に含まれる描画画像を膨張させる膨張処理を施す。これにより、撮影画像および表示画像の描画画像の位置ずれによる影響を排除できる。
【００５３】
また、差分画像生成部２３０は、膨張処理を施した表示画像と撮影画像とをＲＧＢの各色成分（赤、緑、青）に分離して、色成分毎に表示画像および撮影画像の各ピクセルの平均比率値を算出する。平均比率値とは、対象ピクセルの周囲領域の輝度値の平均値に対する対象ピクセルの輝度値の比率である平均比率に、背景色の輝度値を掛け合わせることにより算出される対象ピクセルの中間値としての輝度値である。
【００５４】
本実施形態の平均比率値算出処理は、
（１）対象ピクセル（ｘ,ｙ）の周囲ｍ×ｎ（ｍ，ｎは、任意の整数とする。）の大きさの矩形を特定し、
（２）或る色成分の撮影画像の積分画像を利用して、ｍ×ｎ領域内の輝度値の平均値ＡＶＥを算出し、
（３）撮影画像の背景色の輝度値（例えば、描画対象物がホワイトボードであれば、２００）と、平均比率（すなわち、ＡＶＥに対する対象ピクセルの輝度値の比率）とを掛け合わせることにより行うことができる。なお、ＡＶＥの値が１よりも大きい場合には、対象ピクセルの平均比率値は背景色の輝度値と同一する。また、背景色の輝度値は、ユーザが予め任意の値を指定することできる。なお、背景色の輝度値は、撮影画像に含まれる背景画像の輝度値を考慮して設定することができる。
【００５５】
他の実施形態では、差分画像生成部２３０は、対象ピクセルの平均差分値を用いて差分画像を生成することができる。平均差分値とは、対象ピクセルの輝度値から対象ピクセルの周囲領域の輝度値の平均値を減算することにより算出される対象ピクセルの中間値としての輝度値である。
【００５６】
平均差分値算出処理は、
（１）対象ピクセル（ｘ,ｙ）の周囲ｍ×ｎ（ｍ，ｎは、任意の整数とする。）の大きさの矩形を特定し、
（２）或る色成分の撮影画像の積分画像を利用して、ｍ×ｎ領域内の輝度値の平均値ＡＶＥを算出し、
（３）対象ピクセルの輝度値からＡＶＥを減算することにより行うことができる。
【００５７】
差分画像生成部２３０は、撮影画像の対象ピクセルの平均比率値と、当該対象ピクセルに対応する表示画像の輝度値とを使用して、これらの対象ピクセルの差分値を算出することができる。また、差分画像生成部２３０は、撮影画像の対象ピクセルの平均差分値と、当該対象ピクセルに対応する表示画像の対象ピクセルの平均差分値とを使用して、これらの対象ピクセルの差分値を算出することができる。差分画像生成部２３０は、ＲＧＢの各色成分について、撮影画像および表示画像に含まれる総てのピクセルに対して上記差分値を算出し、当該差分値を各色成分の値とするピクセルを合成して、ＲＧＢ色で構成される差分画像を生成する。
【００５８】
さらに、差分画像生成部２３０は、この差分画像に対して黄色成分をカットするフィルタ処理を施すことができる。差分画像生成部２３０は、対象ピクセルの背景色の輝度値と赤色または緑色の輝度値との差分値と、当該背景色の輝度値と青色との差分値とを比較し、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも大きい場合には、赤色または緑色の輝度値の差分値のうち大きい方の値を定数倍したものを、青色の輝度値とすることができる。一方、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも小さい場合には、青色の輝度値は、そのままとすることができる。
【００５９】
例えば、背景色の輝度値が２００、赤色の輝度値が１９０、緑色の輝度値が１８０、青色の輝度値が１４０である場合、各色の背景色の輝度値との差分値は、それぞれ１０（赤色の輝度値の差分値）、２０（緑色の輝度値の差分値）、６０（青色の輝度値の差分値）となる。この場合、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも大きくなり、赤色または緑色の輝度値のうち背景色との差分が大きい緑色の差分値（２０）の定数倍（例えば、２倍）である差分値（４０）を青色の輝度値の差分値とすることができる。すなわち、青色の輝度値を１６０とすることができる。なお、本実施形態で使用する定数は、任意の数値とすることができるが、数値が大きいと効果的に黄色成分を除去ができないため、１〜２の数値を採用するのが好適である。これにより、表示装置１１４ａの光源に含まれる黄色成分を除去して視認性を向上させることができる。
【００６０】
差分画像生成部２３０は、上述した差分画像生成処理を実行すると、差分画像を一時的に記憶可能なＲＡＭ等の記憶手段により実装可能なデータバッファである差分画像バッファ２３２に、生成した差分画像を格納し、送信部２３４に対して差分画像の送信要求を送付する。
【００６１】
送信部２３４は、差分画像生成部２３０が生成した差分画像である自拠点の描画画像、背景画像供給装置１２２が提供する背景画像およびこれらの合成画像を、ネットワーク１２０を介して他拠点の描画画像共有装置に送信する機能手段である。送信部２３４は、これらの画像データを他拠点の描画画像共有装置に送信する際、送信対象である画像データの表示要求、例えば、背景画像の表示要求、描画画像の表示要求またはこれらの合成画像の表示要求と共に送信する。
【００６２】
本実施形態の描画画像共有システムでは、送信部２３４は、他拠点の描画画像共有装置に対して、自拠点の撮影画像から他拠点の描画画像を取り除いた差分画像を送信することができるため、描画画像の重畳によるエコー現象を回避することができ、表示画像の視認性を一層向上させることができる。
【００６３】
また、送信部２３４は、差分画像生成部２３０が生成した差分画像である自拠点の描画画像のみを送信する場合、当該描画画像に関連する背景画像バッファ２１６に格納されている背景画像の背景画像識別情報をメタデータとして当該差分画像に付加することができる。本実施形態では、背景画像識別情報として、例えば、背景画像を固有に識別可能な数字や文字、記号、またはこれらの結合で構成されるＩＤやタイムスタンプ、任意の名称等を使用することができる。
【００６４】
さらに、送信部２３４は、背景画像バッファ２１６に背景画像が存在しない場合、背景画像供給モードで動作する他拠点の描画画像共有装置に対して背景画像の要求を送信することができる。さらに、送信部２３４は、他拠点の描画画像共有装置との通信の確立時に、記憶装置２３６に格納されている自拠点の描画画像共有装置のプロファイル情報を送信する。
【００６５】
図３は、本実施形態の描画画像共有装置が、背景画像供給モードで動作するときに実行する処理を示すフローチャートである。以下、図３を参照して、背景画像供給モードの描画画像共有装置１１８ａが実行する処理について説明する。
【００６６】
図３の処理は、ステップＳ３００で描画画像共有装置１１８ａの受信部２１０が、背景画像供給装置１２２または他拠点の描画画像供給装置から一定の要求を受信することにより開始する。ステップＳ３０１では、判別部２１２が当該要求の種別を判断する。
【００６７】
ステップＳ３０１の判定で、当該要求種別が背景画像の表示要求であると判断した場合、処理をステップＳ３０２に分岐させる。ステップＳ３０２では、画像検出部２１４が、背景画像バッファ２１６に既に背景画像が格納されているか否かを判断する。ステップＳ３０２の判定で背景画像が存在しないと判断した場合には（ｎｏ）、処理をステップＳ３０４に分岐させる。一方、ステップＳ３０２の判定で背景画像が存在すると判断した場合には（ｙｅｓ）、処理をステップＳ３０３に分岐させる。
【００６８】
ステップＳ３０３では、画像検出部２１４は、受信した背景画像と、背景画像バッファ２１６に格納されている背景画像とが一致するか否かを判断する。背景画像が一致すると判断した場合には（ｙｅｓ）、処理をステップＳ３０８に分岐させる。一方、ステップＳ３０３の判定で背景画像が相違すると判断した場合には（ｎｏ）、処理をステップＳ３０４に分岐させる。
【００６９】
ステップＳ３０４では、画像検出部２１４が、受信した背景画像を背景画像バッファ２１６に格納する。ステップＳ３０５では、画像検出部２１４は、背景画像を送信すべきか否か示すフラグ（以下、「背景画像送信フラグ」とする。）を、背景画像を送信すべき旨（ＯＮ）を示す値にする。本実施形態では、背景画像送信フラグは、図３の処理の開始時に初期値（ＯＦＦ）に初期化される。
【００７０】
また、ステップＳ３０１の判定で、要求種別が他拠点の描画画像の表示要求である判断した場合、処理をステップＳ３０６に分岐させる。ステップＳ３０６では、判別部２１２は、当該描画画像を描画画像バッファ２２０に保存する。
【００７１】
さらに、ステップＳ３０１の判定で、要求種別が他拠点からの背景画像の再送要求である判断した場合、処理をステップＳ３０７に分岐させる。ステップＳ３０７では、判別部２１２は、背景画像送信フラグを背景画像の送信をすべき旨（ＯＮ）を示す値にする。
【００７２】
ステップＳ３０８では、画像加工部２１８が、背景画像バッファ２１６に格納された背景画像および描画画像バッファ２２０に格納された描画画像に対して加工処理を施して表示画像を生成する。ステップＳ３０９では、画像供給部２２２が、表示画像を表示装置１１４ａに送信して表示させ、ステップＳ３１０で待機処理を実行する。
【００７３】
ステップＳ３１１では、画像取得部２２６が、描画対象物１１２ａを撮影装置１１６ａに撮影させて撮影画像を取得し、ステップＳ３１２で撮影画像に画像補正を施して共有領域を切り出し、撮影画像バッファ２２８に格納する。ステップＳ３１３では、差分画像生成部２３０が、図７を参照してより詳細に説明する差分画像生成処理を実行する。ステップＳ３１４では、送信部２３４が、図４を参照して説明する画像送信処理を実行して、背景画像、差分画像またはこれらの合成画像を他拠点の描画画像共有装置に送信し、ステップＳ３１５で処理を終了させる。
【００７４】
図４は、図３に示すステップＳ３１２で送信部２３４が実行する画像送信処理を示すフローチャートである。図４の処理は、ステップＳ４００から開始し、ステップＳ４０１では、送信部２３４は、記憶装置２３６に保存されている他拠点のプロファイル情報を参照し、画像データを送信すべき他拠点の描画画像共有装置が画像データの合成機能を有するか否か判断する。
【００７５】
他拠点の描画画像共有装置が合成機能を有すると判断した場合（ｙｅｓ）、処理をステップＳ４０２に分岐させる。一方、当該描画画像共有装置が合成機能を有していないと判断した場合（ｎｏ）、処理をステップＳ４０３に分岐させる。
【００７６】
ステップＳ４０２では、送信部２３４は、画像データを送信すべき他拠点の描画画像共有装置の処理能力が自拠点の描画画像共有装置１１８ａの処理能力よりも低いか否か判断する。本実施形態では、描画画像共有装置が背景画像と描画画像の合成処理に要する処理時間を比較することにより、処理能力を比較することができる。
【００７７】
他拠点の描画画像共有装置の処理能力が自拠点の描画画像共有装置の処理能力よりも低いと判断した場合には（ｙｅｓ）、処理をステップＳ４０３に分岐させる。一方、他拠点の描画画像共有装置の処理能力が自拠点の描画画像共有装置の処理能力以上であると判断した場合には（ｎｏ）、処理をステップＳ４０４に分岐させる。
【００７８】
ステップＳ４０３では、送信部２３４は、背景画像バッファ２１６から背景画像を取得すると共に差分画像バッファ２３２から差分画像を取得する。そして、これらの画像を合成し、当該画像の表示要求と共に他拠点の描画画像共有装置に送信し、ステップＳ４１０で処理が終了する。
【００７９】
ステップＳ４０４では、送信部２３４は、背景画像送信フラグが背景画像を送信すべき値（ＯＮ）であるか否か判断する。背景画像送信フラグがＯＮである場合には（ｙｅｓ）、処理をステップＳ４０５に分岐させる。ステップＳ４０５では、送信部２３４は、差分画像バッファ２３２から差分画像を取得し、背景画像バッファ２１６に格納されている背景画像の背景画像識別情報をメタデータとして当該差分画像に付加する。ステップＳ４０６では、送信部２３４は、自拠点の描画画像である当該差分画像と背景画像とを合成せずに、これらの画像の表示要求と共に他拠点の描画画像共有装置に送信する。ステップＳ４０７では、送信部２３４は、背景画像送信フラグを初期化し、ステップＳ４１０で処理が終了する。
【００８０】
ステップＳ４０４の判定で背景画像送信フラグがＯＮでないと判断した場合には（ｎｏ）、処理をステップＳ４０８に分岐させる。ステップＳ４０８では、送信部２３４は、差分画像バッファ２３２から差分画像を取得し、背景画像バッファ２１６に格納されている背景画像の背景画像識別情報をメタデータとして当該差分画像に付加する。ステップＳ４０９では、送信部２３４は、当該差分画像を自拠点の描画画像として、当該描画画像の表示要求と共に他拠点の描画画像共有装置に送信し、ステップＳ４１０で処理が終了する。
【００８１】
図５は、背景画像受領モードで動作する本実施形態の描画画像共有装置が実行する処理の一実施形態を示すフローチャートである。以下、図５を参照して、画像合成機能を有する描画画像共有装置１１８ｂが実行する処理について説明する。
【００８２】
図５の処理は、描画画像共有装置１１８ｂが他拠点の描画画像共有装置１１８ａから種々の要求を受信することによりステップＳ５００から開始する。ステップＳ５０１では、描画画像共有装置１１８ｂの判別部２１２が、受信した要求種別を判断する。
【００８３】
ステップＳ５０１の判定で、要求種別が背景画像および描画画像の表示要求であると判断した場合、処理をステップＳ５０２に分岐させる。ステップＳ５０２では、判別部２１２は、当該表示要求と共に受信した背景画像を背景画像バッファ２１６に格納する。ステップＳ５０３では、画像加工部２１８が、当該表示要求と共に受信した描画画像および背景画像バッファ２１６に格納された背景画像に加工処理を施して表示画像を生成する。ステップＳ５０４では、画像供給部２２２が当該表示画像を表示装置１１４ｂに送信して描画対象物１１２ｂに表示させる
【００８４】
また、ステップＳ５０１の判定で、要求種別が描画画像の表示要求であると判断した場合、処理をステップＳ５０５に分岐させる。ステップＳ５０５では、判別部２１２は、背景画像バッファ２１６に背景画像が存在するか否か判断する。背景画像が存在するかと判断した場合には（ｙｅｓ）、処理をステップＳ５０６に分岐させる。
【００８５】
ステップＳ５０６では、画像加工部２１８が、当該表示要求と共に受信した描画画像、および背景画像バッファ２１６に格納された当該描画画像に関連する背景画像に加工処理を施して表示画像を生成する。本実施形態では、画像加工部２１８は、受信した描画画像のメタデータとして付加されている背景画像識別情報と、背景画像バッファ２１６に格納されている背景画像の背景画像識別情報とを照合し、合致する背景画像識別情報が示す背景画像を、描画画像に関連する加工処理を施すべき背景画像として特定することができる。そして、ステップＳ５０４では、画像供給部２２２が、ステップＳ５０６で生成した表示画像を表示装置１１４ｂに送信して描画対象物１１２ｂに表示させる。
【００８６】
一方、ステップＳ５０５で背景画像バッファ２１６に背景画像が存在しないと判断した場合には（ｎｏ）、処理をステップＳ５０７に分岐させる。ステップＳ５０７では、送信部２３４が、描画画像の表示要求を送信した他拠点の描画画像共有装置に対して、背景画像の再送要求を送信し、ステップＳ５１４で処理が終了する。
【００８７】
本実施形態では、背景画像の送信エラーや背景画像の保存エラーなどの不具合によって、背景画像バッファ２１６に背景画像が保存されていない場合でも、背景画像を提供する拠点の描画画像共有装置から、再度、背景画像を取得することができる。
【００８８】
さらに、ステップＳ５０１の判定で、要求種別が描画画像と背景画像との合成画像の表示要求であると判断した場合、処理をステップＳ５０８に分岐させる。ステップＳ５０８では、画像供給部２２２が、当該表示要求と共に受信した合成画像を表示画像として表示装置１１４ｂに送信して描画対象物１１２ｂに表示させる。
【００８９】
ステップＳ５０９では、画像供給部２２２は待機処理を実行する。ステップＳ５１０では、画像取得部２２６が、描画対象物１１２ａを撮影装置１１６ａに撮影させて撮影画像を取得し、ステップＳ５１１で撮影画像に画像補正を施して共有領域を切り出し、撮影画像バッファ２２８に格納する。ステップＳ５１２では、差分画像生成部２３０が、図７を参照してより詳細に説明する差分画像生成処理を実行する。ステップＳ５１３では、送信部２３４が、描画画像の表示要求と共に、ステップＳ５１２で生成した差分画像を自拠点の描画画像として他拠点の描画画像共有装置に送信し、ステップＳ５１４で処理を終了させる。
【００９０】
図６は、本実施形態の背景画像受領モードで動作する描画画像共有装置が実行する処理の他の実施形態を示すフローチャートである。以下、図６を参照して、画像合成機能を実装していない描画画像共有装置１１８ｂが実行する処理について説明する。
【００９１】
図６の処理は、描画画像共有装置１１８ｂの受信部２１０が他拠点の描画画像共有装置から、背景画像と描画画像との合成画像である画像データの表示要求を受信することによりステップＳ６００から開始する。ステップＳ６０１では、画像供給部２２２が、受信した画像データを表示装置１１４ｂに送信して描画対象物１１２ｂに表示させ、ステップＳ６０２で待機処理を実行する。そして、図５に示すステップＳ５１０〜ステップＳ５１３と同様の処理であるステップＳ６０３〜ステップＳ６０６の処理を実行し、ステップＳ６０７で処理が終了する。
【００９２】
図７は、差分画像生成部２３０が実行する差分画像生成処理を示すフローチャートである。図７の処理は、ステップＳ７００で、差分画像生成部２３０が、画像取得部２２６から差分画像の生成要求を受領したことにより開始する。ステップＳ７０１では、差分画像生成部２３０が、表示画像バッファ２２４に格納された表示画像を取得して膨張処理を施す。ステップＳ７０２では、差分画像生成部２３０が、撮影画像バッファ２２８に格納された撮影画像を取得し、当該撮影画像と膨張処理を施した表示画像とをＲＧＢの各色成分に分離する。ステップＳ７０３では、差分画像生成部２３０が、ＲＧＢの各色成分に分離された撮影画像の積分画像を生成する。
【００９３】
ステップＳ７０４では、差分画像生成部２３０が、撮影画像の対象ピクセルに対して、図８または図９を参照してより詳細に説明する平均比率値算出処理または平均差分値算出処理を実行する。ステップＳ７０５では、差分画像生成部２３０が、対象ピクセルに対して、図１０を参照してより詳細に説明する差分算出処理を実行し、差分画像の各色成分の輝度値を算出する。差分画像生成部２３０は、総てのピクセルについてステップＳ７０４〜Ｓ７０５の処理を実行し、総ての色成分（Ｒ，Ｇ，Ｂ）についてステップＳ７０３〜Ｓ７０５の処理を実行する。
【００９４】
ステップＳ７０６では、差分画像生成部２３０が、総てのピクセルについて、ステップＳ７０５で算出した輝度値をＲＧＢ色の各色成分の値とするピクセルを合成し、ＲＧＢ色で構成される差分画像を生成する。ステップＳ７０７では、差分画像生成部２３０が、黄色成分を除去するフィルタ処理を当該差分画像に施して差分画像バッファ２３２に保存し、ステップＳ７０８で処理が終了する。
【００９５】
図８は、本実施形態の差分画像生成部２３０が実行する平均比率値算出処理を示すフローチャートである。図８は、ステップＳ８００で開始し、ステップＳ８０１で、差分画像生成部２３０が、対象ピクセルを中心としてｍ×ｎのサイズの矩形領域を特定する。ステップＳ８０２では、差分画像生成部２３０が、積分画像を用いてステップＳ８０１で特定した矩形領域内の輝度値の平均値を算出する。ステップＳ８０３では、背景色の輝度値、対象ピクセルの輝度値、および矩形領域内の輝度値の平均値を使用して、対象ピクセルの平均比率値を算出し、ステップＳ８０４で処理が終了する。
【００９６】
図９は、他の実施形態の差分画像生成部２３０が実行する平均差分値算出処理を示すフローチャートである。図９は、ステップＳ９００で開始し、ステップＳ９０１で、差分画像生成部２３０が、対象ピクセルを中心としてｍ×ｎのサイズの矩形領域を特定する。ステップＳ９０２では、差分画像生成部２３０が、積分画像を用いてステップＳ９０１で特定した矩形領域内の輝度値の平均値を算出する。ステップＳ９０３では、対象ピクセルの輝度値から矩形領域内の輝度値の平均値を減算して、対象ピクセルの平均差分値を算出し、ステップＳ９０４で処理が終了する。
【００９７】
図１０は、本実施形態の差分画像生成部２３０が実行する差分算出処理を示すフローチャートである。図１０はステップＳ１０００で開始し、ステップＳ１００１で、差分画像生成部２３０が、撮影画像の対象ピクセルと表示画像の対象ピクセルとの差分値を算出する。ステップＳ１００２では、差分画像生成部２３０が、ステップＳ１００１で算出した差分値が、描画閾値よりも大きいか否か判断し、差分値が描画閾値よりも大きいと判断した場合には、処理をステップＳ１００３に分岐させる。描画閾値は任意の値とすることができるが、本実施形態では、描画閾値を−５とすることが好適である。
【００９８】
ステップＳ１００３では、差分画像生成部２３０が差分値を０とする。これにより、差分画像における対象ピクセルの輝度値を補正することができ、撮影画像が表示画像よりも明るい場合には、描画対象物を撮影したときの反射光や照明器具等による影響を排除することができる。また、差分値が小さい場合にはノイズによる影響であると判断できるため、差分画像上のノイズをカットすることもできる。
【００９９】
一方、ステップＳ１００２の判定で、差分画像生成部２３０が、差分値が描画閾値以下であると判断した場合には、処理をステップＳ１００４に分岐させる。ステップＳ１００４では、差分画像生成部２３０が、差分値を定数倍して色の強度を高める補正処理を実行する。本実施形態では、当該定数を１〜２とすることができる。これにより、撮影によって低下した撮影画像の色強度の影響を排除することができ、差分画像の視認性を向上させることができる。
【０１００】
ステップＳ１００５では、差分画像生成部２３０が、差分値に背景色の輝度値を加算し、ステップＳ１００６で処理を終了させる。
【０１０１】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【０１０２】
１００…描画画像共有システム、１１０ａ，１１０ｂ…拠点、１１２ａ，１１２ｂ…描画対象物、１１２０，１１２２，１１２４，１１２６…マーカ、１１３０，１１３２…描画文字、１１４ａ，１１４ｂ…表示装置、１１６ａ，１１６ｂ…撮影装置、１１８ａ，１１８ｂ…描画画像共有装置、１２０…ネットワーク、１２２…背景画像供給装置
【先行技術文献】
【特許文献】
【０１０３】
【特許文献１】特開２００５−２０３８８６号公報
【技術分野】
【０００１】
本発明は、描画画像の共有化に関し、より詳細には、他拠点と描画画像を共有する描画画像共有装置、データ処理方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
近年、遠隔会議等に利用するために、各拠点に設けられたホワイトボードや黒板等の描画対象物に描かれた画像をカメラ等で撮影し、他の拠点に設けられた描画対象物にプロジェクタ等を使用して当該画像を投影することにより、複数の描画対象物で描画を供給する技術が存在する。
【０００３】
例えば、特開２００５−２０３８８６号公報（特許文献１）は、各遠隔地に投影画像を投影するプロジェクタと、投影すべき元画像をプロジェクタに送信するサーバとを備え、各プロジェクタが、投影画像を投影したスクリーンに書き込まれた書込画像を撮影する撮影手段と、撮影手段によって撮影された書込画像をサーバに送信する送信手段とを備え、サーバが、一方のプロジェクタから受信した書込画像を元画像に合成する合成手段と、合成手段により合成された画像を他方のプロジェクタに送信する転送手段とを備え、遠隔会議を支援するシステムを開示する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に示すシステムは、書込画像を撮影するために、一定の時間間隔でプロジェクタによる投影を中断する必要があり、スクリーンに表示される画像の視認性を悪化させるという問題があった。
【０００５】
また、このような描画画像共有システムにおいて、何も描かれていない描画対象物にユーザが書き加えた描画画像を共有することは可能である。しかし、ＰＣ画面等の任意の画像を背景としてユーザが書き込みを行い、その画像を他拠点のユーザと共有化する技術が必要とされていた。
【０００６】
本発明は上記の課題を解決するものであり、描画対象物に表示される画像の視認性を向上させると共に、任意の画像に重畳して描画した描画画像を他拠点と共有可能な描画画像共有装置、データ処理方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の描画画像共有装置は、描画対象物に表示すべき背景画像および他拠点の描画画像を受信し、背景画像を他拠点の描画画像共有装置に送信する。そして、これらの画像を合成して描画対象物に表示させた後、描画対象物に表示された画像を取得して、当該取得した画像と合成された画像との差分画像を生成し、当該差分画像を他拠点の描画画像共有装置に送信する。これにより、任意の画像に重畳して描画した描画画像を他拠点と共有可能にするとともに、描画画像の重畳によるエコー現象を回避して、表示画像の視認性を一層向上させることができる。
【０００８】
本発明によれば、描画対象物に表示される表示画像の視認性を向上させ、任意の画像に重畳して描画された画像を共有可能とするデータ処理方法、プログラムおよび記録媒体を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の描画画像共有システムを示した図。
【図２】本実施形態の描画画像共有装置の機能構成を示す図。
【図３】本実施形態の背景画像供給モードで動作する描画画像共有装置が実行する処理を示すフローチャート。
【図４】本実施形態の背景画像供給モードで動作する描画画像共有装置が、図３に示す処理に伴って実行される処理を示すフローチャート。
【図５】本実施形態の背景画像受領モードで動作する描画画像共有装置が実行する処理の一実施形態を示すフローチャート。
【図６】本実施形態の背景画像受領モードで動作する描画画像共有装置が実行する処理の他の実施形態を示すフローチャート。
【図７】本実施形態の差分画像生成部が実行する差分画像生成処理を示すフローチャート。
【図８】本実施形態の差分画像生成部が実行する平均比率値算出処理を示すフローチャート。
【図９】他の実施形態の差分画像生成部が実行する平均差分値算出処理を示すフローチャート。
【図１０】本実施形態の差分画像生成部が実行する差分算出処理を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。
【００１１】
図１は、本実施形態の描画画像共有システム１００を示す。描画画像共有システム１００は、２つの拠点１１０ａ，１１０ｂを含んで構成される。これらの拠点１１０ａ，１１０ｂは、インターネットやＬＡＮ、ＷＡＮ等のネットワーク１２０を介して相互接続されている。本実施形態では、説明を明確にするために２つの拠点について説明するが、他の実施形態の描画画像共有システムでは、複数の拠点を含んで構成するようにしてもよい。また、他の実施形態では、専用線を用いて他拠点との相互接続を実現してもよい。
【００１２】
拠点１１０ａは、描画対象物１１２ａと、表示装置１１４ａと、撮影装置１１６ａと、描画画像共有装置１１８ａと、背景画像供給装置１２２とを含む。なお、拠点１１０ｂは、背景画像供給装置１２２を除き、拠点１１０ａと同様の構成を有しているため、以下説明を省略する。
【００１３】
描画対象物１１２ａは、表示装置１１４ａが表示する画像が表示され、拠点１１０ａのユーザが文字や図等を描画可能なホワイトボードや黒板、紙等の物品である。本実施形態の描画対象物１１２ａは、拠点１１０ａのユーザが描画した描画画像である描画文字１１３０が描かれており、また、拠点１１０ｂのユーザが描画した描画画像である描画文字１１３２が表示されている。
【００１４】
表示装置１１４ａは、描画対象物１１２ａに表示すべき背景画像や拠点１１０ｂから受信した拠点１１０ｂの描画画像を表示する装置であり、本実施形態では、表示装置としてプロジェクタを採用することができる。図１では、拠点１１０ａの描画対象物１１２ａに拠点１１０ｂの描画文字１１３２が表示されている。背景画像とは、描画文字１１３０や描画文字１１３２等の書き込みを行うときに描画対象物に背景として表示されるＰＣ画面等の任意の画像をいう。
【００１５】
本実施形態では、描画対象物１１２ａおよび表示装置１１４ａを利用して画像を表示する構成を採用しているが、他の実施形態では、これらの代わりに、液晶ディスプレイ装置やプラズマディスプレイ装置等を表示装置として採用することができる。この場合、透過性を有するフィルムやボード等を表示装置に取り付け、当該フィルム等にユーザが文字等を描くようにしてもよい。
【００１６】
撮影装置１１６ａは、描画対象物１１２ａに描かれた描画画像や表示画像、背景画像を撮影する装置であり、本実施形態では、デジタルカメラ、Ｗｅｂカメラなどを撮影装置として使用することができる。また、動画撮影が可能なデジタルビデオカメラを撮影装置として使用し、撮影された動画画像を表示画像としてもよい。本実施形態では、撮影装置１１６ａは、描画画像共有装置１１８ａが背景画像供給装置１２２から背景画像を受領したときや、拠点１１０ｂから描画画像を受領したときに、描画画像共有装置１１８ａの指示により描画対象物１１２ａの撮影を行う。
【００１７】
描画画像共有装置１１８ａは、自拠点である拠点１１０ａの描画対象物１１２ａの撮影画像から抽出した描画画像や背景画像を他拠点である拠点１１０ｂに送信し、また、拠点１１０ｂから受信した描画画像を描画対象物１１２ａに表示させることにより、複数拠点において描画画像の共有を可能にする装置である。また、描画画像共有装置１１８ａは、拠点１１０ｂから受信した背景画像および描画画像を合成して描画対象物１１２ａに表示させることができる。本実施形態では、描画画像共有装置１１８ａは、ノート型やデスクトップ型等のパーソナルコンピュータを採用することができる。
【００１８】
本実施形態の描画画像共有システム１００では、描画画像共有装置は、背景画像を供給するモードである背景画像供給モードと、供給された背景画像を使用するモードである背景画像受領モードとの２つのモードで動作可能である。背景画像供給モードの描画画像共有装置は、背景画像供給装置１２２が供給した背景画像を、自拠点の表示画像として表示させるとともに、他拠点の描画画像共有装置に提供する。一方、背景画像受領モードの描画画像共有装置は、他拠点の描画画像共有装置から受領した背景画像および描画画像を合成して表示させる。本実施形態では、描画画像共有装置１１８ａは、背景画像供給装置１２２から背景画像および／または背景画像を表示すべき旨の要求を受領したことをトリガとして背景画像供給モードで動作する。一方、描画画像共有装置１１８ｂは、他拠点の画像供給装置から背景画像および／または背景画像を表示すべき旨の要求を受領したことをトリガとして背景画像受領モードで動作する。
【００１９】
描画画像共有装置１１８ａは、ＰＥＮＴＩＵＭ（登録商標）プロセッサまたは互換プロセッサを搭載し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＭＡＣ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本実施形態のプログラムを実行する。また、描画画像共有装置１１８ａは、プログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置（ＨＤＤ）などを含んでおり、本実施形態の各機能手段をプログラムの実行により、当該情報処理装置上に実現する。さらに、描画画像共有装置１１８ａは、表示装置１１４ａや撮影装置１１６ａ等の周辺装置またはネットワーク１２０に接続可能なインタフェースを備えており、当該インタフェースを介して周辺装置や拠点１１０ｂの描画画像共有装置１１８ｂと描画画像および背景画像の送受信等のデータ通信を行う。
【００２０】
背景画像供給装置１２２は、描画対象物１１２ａに表示すべき背景画像を描画画像共有装置１１８ａに供給する装置である。背景画像供給装置１２２は、当該背景画像供給装置１２２に内蔵され、または接続されたＨＤＤ等の記憶装置に格納された背景画像を、背景画像を表示すべき旨の要求とともに描画画像共有装置１１８ａに供給する。図１に示す実施形態では、背景画像供給装置１２２は、描画画像共有装置１１８ａにＬＡＮ接続されており、当該ＬＡＮを介して背景画像を提供することができる。本実施形態では、描画画像共有装置１１８ａとして、ノート型やデスクトップ型等のパーソナルコンピュータを採用することができる。他の実施形態では、描画画像共有装置１１８ａとして、ＬＡＮやＷＡＮ、インターネット等のネットワークにより描画画像共有装置１１８ａに接続されたデータサーバを採用することができる。さらに、他の実施形態では、背景画像供給装置が有する背景画像ではなく、描画画像共有装置１１８ａのＨＤＤに格納された背景画像を使用することができる。
【００２１】
本実施形態の各機能手段は、上述したプログラミング言語などで記述された装置実行可能なプログラムにより実現でき、本発明のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他の装置が可読な形式でネットワークを介して伝送することができる。
【００２２】
本実施形態の描画画像共有システムは、表示装置および撮影装置を用いて実現するが、これに限定されるものではない。
【００２３】
図２は、本実施形態の描画画像共有装置１１８ａの機能構成２００を示す。描画画像共有装置１１８ａは、受信部２１０と、判別部２１２と、画像検出部２１４と、背景画像バッファ２１６と、描画画像バッファ２２０と、記憶装置２３６とを含む。
【００２４】
受信部２１０は、背景画像供給装置１２２や他拠点の描画画像共有装置１１８ｂから種々の要求や画像データを受信する機能手段である。具体的には、受信部２１０は、背景画像供給装置１２２または背景画像供給モードの描画画像共有装置から背景画像を受信する。また、受信部２１０は、他拠点の描画画像共有装置から描画画像を受信する。受信部２１０は、これらの要求を受信すると、判別部２１２にその旨の通知する。本実施形態では、受信部２１０が背景画像供給装置１２２の提供する背景画像を受信するが、他の実施形態では、受信部２１０が描画画像共有装置１１８ａのＨＤＤ等の記憶装置に格納された背景画像を取得してもよい。
【００２５】
また、受信部２１０は、他拠点の描画画像共有装置との通信を確立する際に、他拠点の描画画像共有装置のプロファイル情報を受信する。受信部２１０は、プロファイル情報を受信すると、記憶装置２３６に保存する。記憶装置２３６には、自拠点の描画画像共有装置のプロファイル情報が予め保存されている。プロファイル情報には、描画画像共有装置が有する機能や処理能力、性能に関する情報が含まれる。具体的には、描画画像共有装置が描画画像と背景画像との合成が可能か否かを示す情報や、この合成処理に係る処理時間等が含まれる。
【００２６】
判別部２１２は、背景画像供給装置１２２または他拠点の描画画像供給装置から受信する種々の要求に応じた処理を実行する。これらの要求には、表示画像として背景画像を表示すべき要求や描画画像を表示すべき要求、背景画像および描画画像の合成画像を表示すべき要求、背景画像を再送信すべき旨の要求等と共に、その送信元を識別する情報が含まれる。
【００２７】
判別部２１２は、背景画像供給装置から背景画像の表示要求を受信した場合、描画画像共有装置は１１８ａ背景画像供給モードで動作し、当該表示要求と共に受信した背景画像の画像検出や他拠点への背景画像の送信を、後述する画像検出部２１４や画像加工部２１８などの機能手段に実行させる。判別部２１２は、背景画像供給装置１２２から背景画像を受信した場合、背景画像を識別する識別情報（以下、背景画像識別情報として参照する。）を背景画像に付加して、背景画像バッファ２１６に保存する。
【００２８】
また、判別部２１２は、他拠点の描画画像共有装置から背景画像の表示要求を受信した場合、描画画像共有装置１１８ａは背景画像受領モードで動作し、当該要求と共に受信した背景画像を背景画像バッファ２１６に格納し、画像加工部２１８に当該背景画像と他拠点の描画画像とを合成させて、画像供給部２２２が表示装置１１４ａに表示させることができる。
【００２９】
判別部２１２は、背景画像供給モードおよび背景画像受領モードの双方において、描画画像の表示要求を受信した場合、当該描画画像を一時的に保存するＲＡＭ等の記憶手段である描画画像バッファ２２０に格納する。本実施形態の描画画像バッファ２２０には、最新の描画画像のみが格納される。
【００３０】
また、判別部２１２は、他拠点の描画画像共有装置から背景画像および描画画像の合成画像を受信した場合、後述する画像供給部２２２に当該合成画像を表示装置１１４ａに表示させることができる。
【００３１】
さらに、判別部２１２は、他拠点の描画供給装置から背景画像の再送要求を受信した場合、背景画像バッファ２１６に格納されている背景画像を後述の送信部２３４に送信させることができる。
【００３２】
画像検出部２１４は、受信部２１０が受信した背景画像が、背景画像バッファ２１６に格納されている背景画像と同一であるか否かを検出する機能手段である。背景画像バッファ２１６は、背景画像を格納するデータバッファであり、背景画像を一時的に保存可能なＲＡＭ等の記憶手段により実装することができる。背景画像バッファ２１６には、現在表示画像として表示されている背景画像を、その背景画像識別情報と共に格納することができる。本実施形態では、背景画像供給モードで動作する描画画像共有装置の背景画像バッファ２１６には、最新の背景画像のみが格納される。一方、背景画像受信モードで動作する描画画像共有装置の背景画像バッファ２１６には、他拠点から受信した背景画像が総て格納される。
【００３３】
画像検出部２１４は、描画画像共有装置１１８ａが背景画像供給モードで動作する場合、判別部２１２を介して、背景画像供給装置１２２から背景画像を表示すべき要求を受領すると、背景画像供給装置１２２から受領した表示すべき背景画像と、背景画像バッファ２１６に格納された現在表示中の背景画像とを比較して、これらの画像が同一であるか否か検出する。本実施形態の画像検出部２１４は、テンプレートマッチングや特徴点抽出等を使用して、これらの画像の同一性を判断することができる。画像検出部２１４は、これらの画像が相違する場合、背景画像供給装置１２２から受信した背景画像を背景画像バッファ２１６に格納し、後述する送信部２３４に対し、当該背景画像を他拠点に送信すべき旨の要求を送付する。
【００３４】
また、画像検出部２１４は、描画画像共有装置１１８ａが背景画像受領モードで動作する場合、判別部２１２を介して、他拠点の描画画像共有装置から背景画像を表示すべき要求を受領すると、受信した背景画像を背景画像バッファ２１６に格納する。
【００３５】
また、描画画像共有装置１１８ａは、画像加工部２１８と、画像供給部２２２と、表示画像バッファ２２４とを含む。
【００３６】
画像加工部２１８は、背景画像供給装置１２２が供給した背景画像および他拠点から受信した描画画像に加工処理を施して表示画像を生成する機能手段である。画像加工部２１８は、描画画像バッファ２２０に格納された描画画像を取得し、背景画像バッファ２１６に格納された背景画像を取得し、当該描画画像および背景画像を合成して、表示画像を生成する。本実施形態では、画像合成方法として、マスク処理を用いた背景入れ替えやオブジェクト合成方法を採用することができる。また、合成すべき２つの画像のピクセル値を一定の割合で合成するαブレンディングや、合成すべき２つの画像の対応するピクセルの輝度の最小値を合成画像のピクセル値とする合成法を採用することができる。さらに、描画画像に対して太め処理を施し、その画像の輝度値が一定値以下の領域については描画画像のピクセル値を使用し、それ以外の領域については背景画像のピクセル値を使用する画像を合成画像とすることができる。
【００３７】
また、画像加工部２１８は、上記加工処理において、表示すべき背景画像に画像補正処理を施すことができる。本実施形態では、画像補正処理として、背景画像のサイズの拡大または縮小、背景画像の明度の変更を行うことができる。
【００３８】
さらに、画像加工部２１８は、描画画像共有システム１００の他拠点と共有すべき領域である描画対象物に表示された共有領域の大きさ（以下、共有領域サイズとして参照する。）に適合するように表示画像に拡大縮小処理を施すことができる。画像加工部２１８は、後述する画像取得部２２６がＲＡＭ等の記憶装置に格納した共有領域サイズを読み出し、表示画像と共有領域の大きさが異なると判断した場合には、表示画像および共有領域の大きさの比率を算出し、その比率を用いて当該表示画像を拡大または縮小させる。
【００３９】
画像加工部２１８は、画像加工処理が終了すると、表示画像を一時的に保存可能なＲＡＭ等の記憶手段により実装可能なデータバッファである表示画像バッファ２２４に表示画像を格納し、画像供給部２２２に表示画像の表示要求を送信する。
【００４０】
他の実施形態では、画像加工部２１８は、描画画像共有装置が背景画像受領モードで動作する場合、受信した他拠点の描画画像に関連する背景画像が背景画像バッファ２１６に格納されているか否か判断することができる。この実施形態では、画像検出部２１４は、他拠点から受信した背景画像を、その背景画像識別情報とともに背景画像バッファ２１６に格納し、画像加工部２１８は、描画画像と共に送信される当該描画画像に関連する背景画像識別情報と使用して、受信した描画画像に関連する背景画像が背景画像バッファ２１６に格納されているか判断することができる。画像加工部２１８は、該当する背景画像が背景画像バッファ２１６に格納されていないと判断した場合には、他拠点の描画画像共有装置に対する背景画像要求を送信部２３４に送信する。一方、背景画像供給モードで動作する描画画像共有装置は、背景画像要求を受領すると、背景画像バッファ２１６に格納されている背景画像を取得して再送信する。これにより、背景画像の背景画像バッファへの書込エラーやネットワークエラー等によって背景画像バッファに適切な背景画像が格納されていない場合にも、他の拠点と背景画像の整合性を図ることができる。
【００４１】
画像供給部２２２は、他拠点から受信した描画画像を描画対象物に表示させる機能手段である。本実施形態の画像供給部２２２は、表示画像を表示装置１１４ａに供給して描画対象物１１２ａに表示させる。また、画像供給部２２２は、表示装置１１４ａに表示画像を表示させた後、描画画像共有装置１１８ａの処理を一定時間待機させる待機処理を実行する。画像供給部２２２は、画像加工部２１８から表示画像の表示要求を受領すると、表示画像バッファ２２４に格納された表示画像を取得し、表示装置１１４ａに送信して当該表示画像を表示させる。そして、画像供給部２２２は、待機処理を実行し、画像取得部２２６に表示画像を撮影する要求を送信する。
【００４２】
本実施形態では、待機処理による待機時間を、０〜１０００ｍｓとすることができる。これにより、表示装置によって描画対象物に表示された表示画像が安定する時間を確保し、描画対象物を撮影して得られる撮影画像の質を向上させることができる。
【００４３】
また、画像供給部２２２は、図１に示すような共有領域を規定するマーカ１１２０，１１２２，１１２４，１１２６を有する画像データであるマーカ画像を表示装置１１４ａに表示させることができる。マーカ画像は、描画画像共有装置１１８ａが備えるＨＤＤ等の不揮発性メモリに予め格納することができ、画像供給部２２２は、当該不揮発性メモリからマーカ画像を読み出して表示装置１１４ａに表示させる。本実施形態では、画像供給部２２２は、描画画像共有装置１１８ａの起動時にマーカ画像を描画対象物１１２ａに表示させるが、他の実施形態では、ユーザ指示により、または定期的にマーカ画像を表示させることもできる。
【００４４】
本実施形態のマーカ画像は、マーカを構成する色として青色を採用するが、他の実施形態では、他の色をマーカの色として採用することができる。また、本実施形態では、マーカの形状を矩形としているが、他の実施形態では、三角形や四分円等の他の形状を採用することができる。さらに、本実施形態では、マーカを共有領域の各角点に配置することにより共有領域を規定するが、他の実施形態では、共有領域のその他の境界領域、例えば、共有領域の境界線上における各角の中点等にマーカを配置することもできる。
【００４５】
さらに、描画画像共有装置１１８ａは、画像取得部２２６と、撮影画像バッファ２２８と、差分画像生成部２３０と、差分画像バッファ２３２と、送信部２３４とを含む。
【００４６】
画像取得部２２６は、描画画像共有システムの他拠点と共有すべき、描画対象物に表示された共有領域の画像を取得する機能手段である。本実施形態の画像取得部２２６は、描画対象物１１２ａに表示された描画画像および表示画像を撮影装置１１６ａに撮影させ、その撮影画像を取得する機能手段である。また、画像取得部２２６は、撮影装置１１６ａから取得した撮影画像に対し、透視投影変換を実施して台形補正や縦横比の補正、回転補正等の画像補正を行うことができる。
【００４７】
また、画像取得部２２６は、上述したマーカ画像を使用して共有領域を特定し、共有領域サイズを算出することができる。画像取得部２２６は、後述する画像供給部２２２からマーカ画像を表示した旨の通知を受領すると、撮影装置１１６ａに描画対象物１１２ａを撮影させ、撮影装置１１６ａから撮影画像を取得して透視投影変換を行う。画像取得部２２６は、撮影画像に含まれる各マーカの座標値を検出して共有領域の角点の座標値として取得し、共有領域を特定する。そして、画像取得部２２６は、共有領域の角点の座標値から共有領域サイズを算出し、共有領域の角点の座標値および共有領域サイズをＲＡＭやＨＤＤ等の記憶装置に格納する。
【００４８】
他の実施形態では、画像取得部２２６は、マーカ画像を用いずに共有領域を特定して共有領域サイズを算出するようにしてもよい。この場合、画像供給部２２２が、初期時に表示画像バッファ２２４に格納されている白紙画像を表示装置に表示させ、画像取得部２２６は、撮影装置から取得した撮影画像に含まれる表示装置の照射領域とそれ以外の領域との輝度差を用いて、共有領域の角点の座標値を算出することができる。そして、画像取得部２２６は、当該共有領域の角点の座標値から共有領域サイズを算出することができる。
【００４９】
画像取得部２２６は、画像加工部２１８から表示画像の表示要求を受領すると、撮影装置１１６ａに描画対象物１１２ａを撮影させ、撮影装置１１６ａから撮影画像を取得する。画像取得部２２６は、撮影画像に透視投影変換を施した後、記憶装置に格納された共有領域の角点の座標値または共有領域サイズを使用して、撮影画像から共有領域を切り出し、撮影画像を一時的に記憶可能なＲＡＭ等の記憶手段により実装可能なデータバッファである撮影画像バッファ２２８に格納する。そして、画像取得部２２６は、差分画像生成部２３０に対して、差分画像の生成要求を送付する。
【００５０】
本実施形態では、画像取得部２２６が撮影画像の透視投影変換を行うが、他の実施形態では、画像取得部２２６の指示により、透視投影変換回路によって撮影画像に透視投影変換を施してもよい。
【００５１】
差分画像生成部２３０は、表示画像と撮影画像との差分である差分画像を生成する差分画像生成処理を実行する機能手段である。差分画像生成部２３０は、画像取得部２２６から差分画像の生成要求を受領すると、表示画像バッファ２２４に格納されている表示画像を取得し、当該表示画像と、撮影画像バッファ２２８に格納されている撮影画像とを使用して差分画像生成処理を実行する。差分画像生成部２３０は、差分画像生成処理において、テンプレートマッチング、または特徴点抽出および対応付けを用いて、表示画像および撮影画像の位置合わせをすることができる。
【００５２】
本実施形態の差分画像生成処理では、差分画像生成部２３０は、モルフォロジー演算（Morphological Operations）のＥｒｏｓｉｏｎまたは平滑化フィルタ等を用いて表示画像バッファ２２４から取得した表示画像に含まれる描画画像を膨張させる膨張処理を施す。これにより、撮影画像および表示画像の描画画像の位置ずれによる影響を排除できる。
【００５３】
また、差分画像生成部２３０は、膨張処理を施した表示画像と撮影画像とをＲＧＢの各色成分（赤、緑、青）に分離して、色成分毎に表示画像および撮影画像の各ピクセルの平均比率値を算出する。平均比率値とは、対象ピクセルの周囲領域の輝度値の平均値に対する対象ピクセルの輝度値の比率である平均比率に、背景色の輝度値を掛け合わせることにより算出される対象ピクセルの中間値としての輝度値である。
【００５４】
本実施形態の平均比率値算出処理は、
（１）対象ピクセル（ｘ,ｙ）の周囲ｍ×ｎ（ｍ，ｎは、任意の整数とする。）の大きさの矩形を特定し、
（２）或る色成分の撮影画像の積分画像を利用して、ｍ×ｎ領域内の輝度値の平均値ＡＶＥを算出し、
（３）撮影画像の背景色の輝度値（例えば、描画対象物がホワイトボードであれば、２００）と、平均比率（すなわち、ＡＶＥに対する対象ピクセルの輝度値の比率）とを掛け合わせることにより行うことができる。なお、ＡＶＥの値が１よりも大きい場合には、対象ピクセルの平均比率値は背景色の輝度値と同一する。また、背景色の輝度値は、ユーザが予め任意の値を指定することできる。なお、背景色の輝度値は、撮影画像に含まれる背景画像の輝度値を考慮して設定することができる。
【００５５】
他の実施形態では、差分画像生成部２３０は、対象ピクセルの平均差分値を用いて差分画像を生成することができる。平均差分値とは、対象ピクセルの輝度値から対象ピクセルの周囲領域の輝度値の平均値を減算することにより算出される対象ピクセルの中間値としての輝度値である。
【００５６】
平均差分値算出処理は、
（１）対象ピクセル（ｘ,ｙ）の周囲ｍ×ｎ（ｍ，ｎは、任意の整数とする。）の大きさの矩形を特定し、
（２）或る色成分の撮影画像の積分画像を利用して、ｍ×ｎ領域内の輝度値の平均値ＡＶＥを算出し、
（３）対象ピクセルの輝度値からＡＶＥを減算することにより行うことができる。
【００５７】
差分画像生成部２３０は、撮影画像の対象ピクセルの平均比率値と、当該対象ピクセルに対応する表示画像の輝度値とを使用して、これらの対象ピクセルの差分値を算出することができる。また、差分画像生成部２３０は、撮影画像の対象ピクセルの平均差分値と、当該対象ピクセルに対応する表示画像の対象ピクセルの平均差分値とを使用して、これらの対象ピクセルの差分値を算出することができる。差分画像生成部２３０は、ＲＧＢの各色成分について、撮影画像および表示画像に含まれる総てのピクセルに対して上記差分値を算出し、当該差分値を各色成分の値とするピクセルを合成して、ＲＧＢ色で構成される差分画像を生成する。
【００５８】
さらに、差分画像生成部２３０は、この差分画像に対して黄色成分をカットするフィルタ処理を施すことができる。差分画像生成部２３０は、対象ピクセルの背景色の輝度値と赤色または緑色の輝度値との差分値と、当該背景色の輝度値と青色との差分値とを比較し、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも大きい場合には、赤色または緑色の輝度値の差分値のうち大きい方の値を定数倍したものを、青色の輝度値とすることができる。一方、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも小さい場合には、青色の輝度値は、そのままとすることができる。
【００５９】
例えば、背景色の輝度値が２００、赤色の輝度値が１９０、緑色の輝度値が１８０、青色の輝度値が１４０である場合、各色の背景色の輝度値との差分値は、それぞれ１０（赤色の輝度値の差分値）、２０（緑色の輝度値の差分値）、６０（青色の輝度値の差分値）となる。この場合、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも大きくなり、赤色または緑色の輝度値のうち背景色との差分が大きい緑色の差分値（２０）の定数倍（例えば、２倍）である差分値（４０）を青色の輝度値の差分値とすることができる。すなわち、青色の輝度値を１６０とすることができる。なお、本実施形態で使用する定数は、任意の数値とすることができるが、数値が大きいと効果的に黄色成分を除去ができないため、１〜２の数値を採用するのが好適である。これにより、表示装置１１４ａの光源に含まれる黄色成分を除去して視認性を向上させることができる。
【００６０】
差分画像生成部２３０は、上述した差分画像生成処理を実行すると、差分画像を一時的に記憶可能なＲＡＭ等の記憶手段により実装可能なデータバッファである差分画像バッファ２３２に、生成した差分画像を格納し、送信部２３４に対して差分画像の送信要求を送付する。
【００６１】
送信部２３４は、差分画像生成部２３０が生成した差分画像である自拠点の描画画像、背景画像供給装置１２２が提供する背景画像およびこれらの合成画像を、ネットワーク１２０を介して他拠点の描画画像共有装置に送信する機能手段である。送信部２３４は、これらの画像データを他拠点の描画画像共有装置に送信する際、送信対象である画像データの表示要求、例えば、背景画像の表示要求、描画画像の表示要求またはこれらの合成画像の表示要求と共に送信する。
【００６２】
本実施形態の描画画像共有システムでは、送信部２３４は、他拠点の描画画像共有装置に対して、自拠点の撮影画像から他拠点の描画画像を取り除いた差分画像を送信することができるため、描画画像の重畳によるエコー現象を回避することができ、表示画像の視認性を一層向上させることができる。
【００６３】
また、送信部２３４は、差分画像生成部２３０が生成した差分画像である自拠点の描画画像のみを送信する場合、当該描画画像に関連する背景画像バッファ２１６に格納されている背景画像の背景画像識別情報をメタデータとして当該差分画像に付加することができる。本実施形態では、背景画像識別情報として、例えば、背景画像を固有に識別可能な数字や文字、記号、またはこれらの結合で構成されるＩＤやタイムスタンプ、任意の名称等を使用することができる。
【００６４】
さらに、送信部２３４は、背景画像バッファ２１６に背景画像が存在しない場合、背景画像供給モードで動作する他拠点の描画画像共有装置に対して背景画像の要求を送信することができる。さらに、送信部２３４は、他拠点の描画画像共有装置との通信の確立時に、記憶装置２３６に格納されている自拠点の描画画像共有装置のプロファイル情報を送信する。
【００６５】
図３は、本実施形態の描画画像共有装置が、背景画像供給モードで動作するときに実行する処理を示すフローチャートである。以下、図３を参照して、背景画像供給モードの描画画像共有装置１１８ａが実行する処理について説明する。
【００６６】
図３の処理は、ステップＳ３００で描画画像共有装置１１８ａの受信部２１０が、背景画像供給装置１２２または他拠点の描画画像供給装置から一定の要求を受信することにより開始する。ステップＳ３０１では、判別部２１２が当該要求の種別を判断する。
【００６７】
ステップＳ３０１の判定で、当該要求種別が背景画像の表示要求であると判断した場合、処理をステップＳ３０２に分岐させる。ステップＳ３０２では、画像検出部２１４が、背景画像バッファ２１６に既に背景画像が格納されているか否かを判断する。ステップＳ３０２の判定で背景画像が存在しないと判断した場合には（ｎｏ）、処理をステップＳ３０４に分岐させる。一方、ステップＳ３０２の判定で背景画像が存在すると判断した場合には（ｙｅｓ）、処理をステップＳ３０３に分岐させる。
【００６８】
ステップＳ３０３では、画像検出部２１４は、受信した背景画像と、背景画像バッファ２１６に格納されている背景画像とが一致するか否かを判断する。背景画像が一致すると判断した場合には（ｙｅｓ）、処理をステップＳ３０８に分岐させる。一方、ステップＳ３０３の判定で背景画像が相違すると判断した場合には（ｎｏ）、処理をステップＳ３０４に分岐させる。
【００６９】
ステップＳ３０４では、画像検出部２１４が、受信した背景画像を背景画像バッファ２１６に格納する。ステップＳ３０５では、画像検出部２１４は、背景画像を送信すべきか否か示すフラグ（以下、「背景画像送信フラグ」とする。）を、背景画像を送信すべき旨（ＯＮ）を示す値にする。本実施形態では、背景画像送信フラグは、図３の処理の開始時に初期値（ＯＦＦ）に初期化される。
【００７０】
また、ステップＳ３０１の判定で、要求種別が他拠点の描画画像の表示要求である判断した場合、処理をステップＳ３０６に分岐させる。ステップＳ３０６では、判別部２１２は、当該描画画像を描画画像バッファ２２０に保存する。
【００７１】
さらに、ステップＳ３０１の判定で、要求種別が他拠点からの背景画像の再送要求である判断した場合、処理をステップＳ３０７に分岐させる。ステップＳ３０７では、判別部２１２は、背景画像送信フラグを背景画像の送信をすべき旨（ＯＮ）を示す値にする。
【００７２】
ステップＳ３０８では、画像加工部２１８が、背景画像バッファ２１６に格納された背景画像および描画画像バッファ２２０に格納された描画画像に対して加工処理を施して表示画像を生成する。ステップＳ３０９では、画像供給部２２２が、表示画像を表示装置１１４ａに送信して表示させ、ステップＳ３１０で待機処理を実行する。
【００７３】
ステップＳ３１１では、画像取得部２２６が、描画対象物１１２ａを撮影装置１１６ａに撮影させて撮影画像を取得し、ステップＳ３１２で撮影画像に画像補正を施して共有領域を切り出し、撮影画像バッファ２２８に格納する。ステップＳ３１３では、差分画像生成部２３０が、図７を参照してより詳細に説明する差分画像生成処理を実行する。ステップＳ３１４では、送信部２３４が、図４を参照して説明する画像送信処理を実行して、背景画像、差分画像またはこれらの合成画像を他拠点の描画画像共有装置に送信し、ステップＳ３１５で処理を終了させる。
【００７４】
図４は、図３に示すステップＳ３１２で送信部２３４が実行する画像送信処理を示すフローチャートである。図４の処理は、ステップＳ４００から開始し、ステップＳ４０１では、送信部２３４は、記憶装置２３６に保存されている他拠点のプロファイル情報を参照し、画像データを送信すべき他拠点の描画画像共有装置が画像データの合成機能を有するか否か判断する。
【００７５】
他拠点の描画画像共有装置が合成機能を有すると判断した場合（ｙｅｓ）、処理をステップＳ４０２に分岐させる。一方、当該描画画像共有装置が合成機能を有していないと判断した場合（ｎｏ）、処理をステップＳ４０３に分岐させる。
【００７６】
ステップＳ４０２では、送信部２３４は、画像データを送信すべき他拠点の描画画像共有装置の処理能力が自拠点の描画画像共有装置１１８ａの処理能力よりも低いか否か判断する。本実施形態では、描画画像共有装置が背景画像と描画画像の合成処理に要する処理時間を比較することにより、処理能力を比較することができる。
【００７７】
他拠点の描画画像共有装置の処理能力が自拠点の描画画像共有装置の処理能力よりも低いと判断した場合には（ｙｅｓ）、処理をステップＳ４０３に分岐させる。一方、他拠点の描画画像共有装置の処理能力が自拠点の描画画像共有装置の処理能力以上であると判断した場合には（ｎｏ）、処理をステップＳ４０４に分岐させる。
【００７８】
ステップＳ４０３では、送信部２３４は、背景画像バッファ２１６から背景画像を取得すると共に差分画像バッファ２３２から差分画像を取得する。そして、これらの画像を合成し、当該画像の表示要求と共に他拠点の描画画像共有装置に送信し、ステップＳ４１０で処理が終了する。
【００７９】
ステップＳ４０４では、送信部２３４は、背景画像送信フラグが背景画像を送信すべき値（ＯＮ）であるか否か判断する。背景画像送信フラグがＯＮである場合には（ｙｅｓ）、処理をステップＳ４０５に分岐させる。ステップＳ４０５では、送信部２３４は、差分画像バッファ２３２から差分画像を取得し、背景画像バッファ２１６に格納されている背景画像の背景画像識別情報をメタデータとして当該差分画像に付加する。ステップＳ４０６では、送信部２３４は、自拠点の描画画像である当該差分画像と背景画像とを合成せずに、これらの画像の表示要求と共に他拠点の描画画像共有装置に送信する。ステップＳ４０７では、送信部２３４は、背景画像送信フラグを初期化し、ステップＳ４１０で処理が終了する。
【００８０】
ステップＳ４０４の判定で背景画像送信フラグがＯＮでないと判断した場合には（ｎｏ）、処理をステップＳ４０８に分岐させる。ステップＳ４０８では、送信部２３４は、差分画像バッファ２３２から差分画像を取得し、背景画像バッファ２１６に格納されている背景画像の背景画像識別情報をメタデータとして当該差分画像に付加する。ステップＳ４０９では、送信部２３４は、当該差分画像を自拠点の描画画像として、当該描画画像の表示要求と共に他拠点の描画画像共有装置に送信し、ステップＳ４１０で処理が終了する。
【００８１】
図５は、背景画像受領モードで動作する本実施形態の描画画像共有装置が実行する処理の一実施形態を示すフローチャートである。以下、図５を参照して、画像合成機能を有する描画画像共有装置１１８ｂが実行する処理について説明する。
【００８２】
図５の処理は、描画画像共有装置１１８ｂが他拠点の描画画像共有装置１１８ａから種々の要求を受信することによりステップＳ５００から開始する。ステップＳ５０１では、描画画像共有装置１１８ｂの判別部２１２が、受信した要求種別を判断する。
【００８３】
ステップＳ５０１の判定で、要求種別が背景画像および描画画像の表示要求であると判断した場合、処理をステップＳ５０２に分岐させる。ステップＳ５０２では、判別部２１２は、当該表示要求と共に受信した背景画像を背景画像バッファ２１６に格納する。ステップＳ５０３では、画像加工部２１８が、当該表示要求と共に受信した描画画像および背景画像バッファ２１６に格納された背景画像に加工処理を施して表示画像を生成する。ステップＳ５０４では、画像供給部２２２が当該表示画像を表示装置１１４ｂに送信して描画対象物１１２ｂに表示させる
【００８４】
また、ステップＳ５０１の判定で、要求種別が描画画像の表示要求であると判断した場合、処理をステップＳ５０５に分岐させる。ステップＳ５０５では、判別部２１２は、背景画像バッファ２１６に背景画像が存在するか否か判断する。背景画像が存在するかと判断した場合には（ｙｅｓ）、処理をステップＳ５０６に分岐させる。
【００８５】
ステップＳ５０６では、画像加工部２１８が、当該表示要求と共に受信した描画画像、および背景画像バッファ２１６に格納された当該描画画像に関連する背景画像に加工処理を施して表示画像を生成する。本実施形態では、画像加工部２１８は、受信した描画画像のメタデータとして付加されている背景画像識別情報と、背景画像バッファ２１６に格納されている背景画像の背景画像識別情報とを照合し、合致する背景画像識別情報が示す背景画像を、描画画像に関連する加工処理を施すべき背景画像として特定することができる。そして、ステップＳ５０４では、画像供給部２２２が、ステップＳ５０６で生成した表示画像を表示装置１１４ｂに送信して描画対象物１１２ｂに表示させる。
【００８６】
一方、ステップＳ５０５で背景画像バッファ２１６に背景画像が存在しないと判断した場合には（ｎｏ）、処理をステップＳ５０７に分岐させる。ステップＳ５０７では、送信部２３４が、描画画像の表示要求を送信した他拠点の描画画像共有装置に対して、背景画像の再送要求を送信し、ステップＳ５１４で処理が終了する。
【００８７】
本実施形態では、背景画像の送信エラーや背景画像の保存エラーなどの不具合によって、背景画像バッファ２１６に背景画像が保存されていない場合でも、背景画像を提供する拠点の描画画像共有装置から、再度、背景画像を取得することができる。
【００８８】
さらに、ステップＳ５０１の判定で、要求種別が描画画像と背景画像との合成画像の表示要求であると判断した場合、処理をステップＳ５０８に分岐させる。ステップＳ５０８では、画像供給部２２２が、当該表示要求と共に受信した合成画像を表示画像として表示装置１１４ｂに送信して描画対象物１１２ｂに表示させる。
【００８９】
ステップＳ５０９では、画像供給部２２２は待機処理を実行する。ステップＳ５１０では、画像取得部２２６が、描画対象物１１２ａを撮影装置１１６ａに撮影させて撮影画像を取得し、ステップＳ５１１で撮影画像に画像補正を施して共有領域を切り出し、撮影画像バッファ２２８に格納する。ステップＳ５１２では、差分画像生成部２３０が、図７を参照してより詳細に説明する差分画像生成処理を実行する。ステップＳ５１３では、送信部２３４が、描画画像の表示要求と共に、ステップＳ５１２で生成した差分画像を自拠点の描画画像として他拠点の描画画像共有装置に送信し、ステップＳ５１４で処理を終了させる。
【００９０】
図６は、本実施形態の背景画像受領モードで動作する描画画像共有装置が実行する処理の他の実施形態を示すフローチャートである。以下、図６を参照して、画像合成機能を実装していない描画画像共有装置１１８ｂが実行する処理について説明する。
【００９１】
図６の処理は、描画画像共有装置１１８ｂの受信部２１０が他拠点の描画画像共有装置から、背景画像と描画画像との合成画像である画像データの表示要求を受信することによりステップＳ６００から開始する。ステップＳ６０１では、画像供給部２２２が、受信した画像データを表示装置１１４ｂに送信して描画対象物１１２ｂに表示させ、ステップＳ６０２で待機処理を実行する。そして、図５に示すステップＳ５１０〜ステップＳ５１３と同様の処理であるステップＳ６０３〜ステップＳ６０６の処理を実行し、ステップＳ６０７で処理が終了する。
【００９２】
図７は、差分画像生成部２３０が実行する差分画像生成処理を示すフローチャートである。図７の処理は、ステップＳ７００で、差分画像生成部２３０が、画像取得部２２６から差分画像の生成要求を受領したことにより開始する。ステップＳ７０１では、差分画像生成部２３０が、表示画像バッファ２２４に格納された表示画像を取得して膨張処理を施す。ステップＳ７０２では、差分画像生成部２３０が、撮影画像バッファ２２８に格納された撮影画像を取得し、当該撮影画像と膨張処理を施した表示画像とをＲＧＢの各色成分に分離する。ステップＳ７０３では、差分画像生成部２３０が、ＲＧＢの各色成分に分離された撮影画像の積分画像を生成する。
【００９３】
ステップＳ７０４では、差分画像生成部２３０が、撮影画像の対象ピクセルに対して、図８または図９を参照してより詳細に説明する平均比率値算出処理または平均差分値算出処理を実行する。ステップＳ７０５では、差分画像生成部２３０が、対象ピクセルに対して、図１０を参照してより詳細に説明する差分算出処理を実行し、差分画像の各色成分の輝度値を算出する。差分画像生成部２３０は、総てのピクセルについてステップＳ７０４〜Ｓ７０５の処理を実行し、総ての色成分（Ｒ，Ｇ，Ｂ）についてステップＳ７０３〜Ｓ７０５の処理を実行する。
【００９４】
ステップＳ７０６では、差分画像生成部２３０が、総てのピクセルについて、ステップＳ７０５で算出した輝度値をＲＧＢ色の各色成分の値とするピクセルを合成し、ＲＧＢ色で構成される差分画像を生成する。ステップＳ７０７では、差分画像生成部２３０が、黄色成分を除去するフィルタ処理を当該差分画像に施して差分画像バッファ２３２に保存し、ステップＳ７０８で処理が終了する。
【００９５】
図８は、本実施形態の差分画像生成部２３０が実行する平均比率値算出処理を示すフローチャートである。図８は、ステップＳ８００で開始し、ステップＳ８０１で、差分画像生成部２３０が、対象ピクセルを中心としてｍ×ｎのサイズの矩形領域を特定する。ステップＳ８０２では、差分画像生成部２３０が、積分画像を用いてステップＳ８０１で特定した矩形領域内の輝度値の平均値を算出する。ステップＳ８０３では、背景色の輝度値、対象ピクセルの輝度値、および矩形領域内の輝度値の平均値を使用して、対象ピクセルの平均比率値を算出し、ステップＳ８０４で処理が終了する。
【００９６】
図９は、他の実施形態の差分画像生成部２３０が実行する平均差分値算出処理を示すフローチャートである。図９は、ステップＳ９００で開始し、ステップＳ９０１で、差分画像生成部２３０が、対象ピクセルを中心としてｍ×ｎのサイズの矩形領域を特定する。ステップＳ９０２では、差分画像生成部２３０が、積分画像を用いてステップＳ９０１で特定した矩形領域内の輝度値の平均値を算出する。ステップＳ９０３では、対象ピクセルの輝度値から矩形領域内の輝度値の平均値を減算して、対象ピクセルの平均差分値を算出し、ステップＳ９０４で処理が終了する。
【００９７】
図１０は、本実施形態の差分画像生成部２３０が実行する差分算出処理を示すフローチャートである。図１０はステップＳ１０００で開始し、ステップＳ１００１で、差分画像生成部２３０が、撮影画像の対象ピクセルと表示画像の対象ピクセルとの差分値を算出する。ステップＳ１００２では、差分画像生成部２３０が、ステップＳ１００１で算出した差分値が、描画閾値よりも大きいか否か判断し、差分値が描画閾値よりも大きいと判断した場合には、処理をステップＳ１００３に分岐させる。描画閾値は任意の値とすることができるが、本実施形態では、描画閾値を−５とすることが好適である。
【００９８】
ステップＳ１００３では、差分画像生成部２３０が差分値を０とする。これにより、差分画像における対象ピクセルの輝度値を補正することができ、撮影画像が表示画像よりも明るい場合には、描画対象物を撮影したときの反射光や照明器具等による影響を排除することができる。また、差分値が小さい場合にはノイズによる影響であると判断できるため、差分画像上のノイズをカットすることもできる。
【００９９】
一方、ステップＳ１００２の判定で、差分画像生成部２３０が、差分値が描画閾値以下であると判断した場合には、処理をステップＳ１００４に分岐させる。ステップＳ１００４では、差分画像生成部２３０が、差分値を定数倍して色の強度を高める補正処理を実行する。本実施形態では、当該定数を１〜２とすることができる。これにより、撮影によって低下した撮影画像の色強度の影響を排除することができ、差分画像の視認性を向上させることができる。
【０１００】
ステップＳ１００５では、差分画像生成部２３０が、差分値に背景色の輝度値を加算し、ステップＳ１００６で処理を終了させる。
【０１０１】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【０１０２】
１００…描画画像共有システム、１１０ａ，１１０ｂ…拠点、１１２ａ，１１２ｂ…描画対象物、１１２０，１１２２，１１２４，１１２６…マーカ、１１３０，１１３２…描画文字、１１４ａ，１１４ｂ…表示装置、１１６ａ，１１６ｂ…撮影装置、１１８ａ，１１８ｂ…描画画像共有装置、１２０…ネットワーク、１２２…背景画像供給装置
【先行技術文献】
【特許文献】
【０１０３】
【特許文献１】特開２００５−２０３８８６号公報
【特許請求の範囲】
【請求項１】
描画画像を共有する描画画像共有装置であって、
前記描画画像共有装置は、
描画対象物に表示すべき背景画像と他拠点から受信した描画画像とを合成する画像加工処理手段と、
前記画像加工処理手段が合成した画像と、自拠点の描画対象物の画像との差分である他拠点と共有すべき差分画像を生成する差分画像生成手段と
前記差分画像を他拠点に送信する送信手段と
を含む描画画像共有装置。
【請求項２】
前記描画画像共有装置は、
描画対象物に表示すべき背景画像および他拠点の描画画像を受信する受信手段と、
前記画像加工処理手段が合成した画像を前記描画対象物に表示させる画像供給手段と、
前記自拠点の描画対象物の画像を取得する画像取得手段とをさらに含み、
前記送信手段は、前記差分画像および背景画像を、前記他拠点の描画画像共有装置に送信する、請求項１に記載の描画画像共有装置。
【請求項３】
前記描画画像共有装置は、
描画対象物に表示すべき背景画像および他拠点の描画画像を受信する受信手段と、
前記画像加工処理手段が合成した画像を前記描画対象物に表示させる画像供給手段と、
前記自拠点の描画対象物の画像を取得する画像取得手段とをさらに含み、
前記画像加工処理手段は、前記差分画像および背景画像を合成し、
前記送信手段は、前記差分画像および背景画像を合成した画像を、前記他拠点の描画画像共有装置に送信する、請求項１または２に記載の描画画像共有装置。
【請求項４】
前記送信手段は、前記他拠点の描画画像共有装置のプロファイル情報を参照し、
前記他拠点の描画画像共有装置が画像を合成する機能を備えている場合に、前記差分画像および背景画像を送信し、
前記他拠点の描画画像共有装置が画像を合成する機能を備えていない場合に、前記差分画像および背景画像を合成した画像を送信する、請求項３に記載の描画画像共有装置。
【請求項５】
前記送信手段は、前記自拠点の描画画像共有装置および他拠点の描画画像共有装置のプロファイル情報を参照し、
前記他拠点の描画画像共有装置の処理能力が前記自拠点の描画画像共有装置の処理能力よりも低い場合に、前記差分画像および背景画像を合成した画像を送信し、
前記他拠点の描画画像共有装置の処理能力が前記自拠点の描画画像共有装置の処理能力以上である場合に、前記差分画像および背景画像を送信する、請求項３または４に記載の描画画像共有装置。
【請求項６】
前記受信手段は、前記背景画像を背景画像記憶手段に格納し、前記他拠点から受信した描画画像を描画画像記憶手段に格納する、請求項２〜５のいずれか１項に記載の描画画像共有装置。
【請求項７】
前記画像供給手段は、前記画像加工処理手段が合成した画像を表示装置に供給して前記描画対象物に表示させ、
前記画像取得手段は、前記描画対象物の画像を撮影装置に撮影させて、他拠点と共有すべき共有領域の画像を取得する、請求項２〜６のいずれか１項に記載の描画画像共有装置。
【請求項８】
前記描画画像共有装置は、
前記受信手段が受信した第１の背景画像と、前記受信手段が前回受信した第２の背景画像とが一致するか検出する画像検出手段をさらに含み、
前記送信手段は、前記第１の背景画像と前記第２の背景画像とが相違する場合に、前記第１の背景画像を送信する、請求項２、４〜７のいずれか１項に記載の描画画像共有装置。
【請求項９】
前記画像加工処理手段は、他拠点から受信した描画画像に関連する背景画像の識別情報を使用して前記描画画像に関連する背景画像を判断し、前記描画画像と前記描画画像に関連する背景画像とを合成する、請求項２、４〜８のいずれか１項に記載の描画画像共有装置。
【請求項１０】
前記背景画像の識別情報は、前記背景画像のＩＤである、請求項９に記載の描画画像共有装置。
【請求項１１】
前記画像加工処理手段は、前記背景画像に拡大処理または縮小処理を施す、請求項１〜１０のいずれか１項に記載の描画画像共有装置。
【請求項１２】
前記画像加工処理手段は、前記背景画像の明度を変更する処理を施す、請求項１〜１１のいずれか１項に記載の描画画像共有装置。
【請求項１３】
前記画像供給手段は、表示装置に対して、前記共有領域を規定するマーカ画像を描画対象物に表示させ、
前記画像取得手段は、表示装置が表示した前記描画対象物を撮影させて撮影画像を取得し、前記撮影画像に含まれるマーカ画像のマーカの座標値から前記共有領域を特定する、請求項７〜１２のいずれか１項に記載の描画画像共有装置。
【請求項１４】
前記画像供給手段は、表示装置に対して、白紙画像を描画対象物に表示させ、
前記画像取得手段は、前記描画対象物を撮影させて撮影画像を取得し、前記撮影画像に含まれる白紙画像の領域と前記白紙画像以外の領域との輝度差を使用して、前記共有領域を特定する、請求項７〜１３のいずれか１項に記載の描画画像共有装置。
【請求項１５】
前記画像取得手段は、撮影画像に透視投影変換を施す、請求項７〜１４のいずれか１項に記載の描画画像共有装置。
【請求項１６】
前記差分画像生成手段は、表示画像に膨張処理を施して差分画像を生成する、請求項７〜１５のいずれか１項に記載の描画画像共有装置。
【請求項１７】
前記差分画像生成手段は、前記差分画像に対して黄色成分をカットするフィルタ処理を施す、請求項７〜１６のいずれか１項に記載の描画画像共有装置。
【請求項１８】
前記差分画像生成手段は、前記差分画像に対して色強度を高める補正処理を施す、請求項７〜１７のいずれか１項に記載の描画画像共有装置。
【請求項１９】
描画画像共有装置が実行するデータ処理方法であって、前記データ処理方法は、前記描画画像共有装置が、
描画対象物に表示すべき背景画像と他拠点から受信した描画画像とを合成するステップと、
前記合成した画像と、自拠点の描画対象物の画像との差分である他拠点と共有すべき差分画像を生成するステップと
前記差分画像を他拠点に送信するステップと
を実行するデータ処理方法。
【請求項２０】
前記データ処理方法は、前記描画画像共有装置が、
描画対象物に表示すべき背景画像および他拠点の描画画像を受信するステップと、
前記合成した画像を前記描画対象物に表示させるステップと、
前記自拠点の描画対象物の画像を取得するステップとをさらに含み、
前記送信するステップは、前記差分画像および前記背景画像を、前記他拠点の描画画像共有装置に送信するステップを含む、請求項１９に記載のデータ処理方法。
【請求項２１】
前記データ処理方法は、前記描画画像共有装置が、
描画対象物に表示すべき背景画像および他拠点の描画画像を受信するステップと、
前記合成した画像を前記描画対象物に表示させるステップと、
前記自拠点の描画対象物の画像を取得するステップと、
前記差分画像および背景画像を合成するステップと、
前記差分画像および背景画像を合成した画像を、前記他拠点の描画画像共有装置に送信するステップをさらに含む、請求項１９または２０に記載のデータ処理方法。
【請求項２２】
前記送信するステップは、
前記他拠点の描画画像共有装置のプロファイル情報を参照するステップと、
前記他拠点の描画画像共有装置が画像を合成する機能を備えている場合に、前記差分画像および背景画像を送信し、前記他拠点の描画画像共有装置が画像を合成する機能を備えていない場合に、前記差分画像および背景画像を合成した画像を送信するステップと
を含む、請求項２１に記載のデータ処理方法。
【請求項２３】
前記送信するステップは、
前記自拠点の描画画像共有装置および他拠点の描画画像共有装置のプロファイル情報を参照するステップと、
前記他拠点の描画画像共有装置の処理能力が前記自拠点の描画画像共有装置の処理能力よりも低い場合に、前記差分画像および背景画像を合成した画像を送信し、前記他拠点の描画画像共有装置の処理能力が前記自拠点の描画画像共有装置の処理能力以上である場合に、前記差分画像および背景画像をそれぞれ送信するステップと
を含む、請求項２１または２２に記載のデータ処理方法。
【請求項２４】
描画画像共有装置に対して、請求項１９〜２３のいずれか１項に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項２５】
請求項２４に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【請求項１】
描画画像を共有する描画画像共有装置であって、
前記描画画像共有装置は、
描画対象物に表示すべき背景画像と他拠点から受信した描画画像とを合成する画像加工処理手段と、
前記画像加工処理手段が合成した画像と、自拠点の描画対象物の画像との差分である他拠点と共有すべき差分画像を生成する差分画像生成手段と
前記差分画像を他拠点に送信する送信手段と
を含む描画画像共有装置。
【請求項２】
前記描画画像共有装置は、
描画対象物に表示すべき背景画像および他拠点の描画画像を受信する受信手段と、
前記画像加工処理手段が合成した画像を前記描画対象物に表示させる画像供給手段と、
前記自拠点の描画対象物の画像を取得する画像取得手段とをさらに含み、
前記送信手段は、前記差分画像および背景画像を、前記他拠点の描画画像共有装置に送信する、請求項１に記載の描画画像共有装置。
【請求項３】
前記描画画像共有装置は、
描画対象物に表示すべき背景画像および他拠点の描画画像を受信する受信手段と、
前記画像加工処理手段が合成した画像を前記描画対象物に表示させる画像供給手段と、
前記自拠点の描画対象物の画像を取得する画像取得手段とをさらに含み、
前記画像加工処理手段は、前記差分画像および背景画像を合成し、
前記送信手段は、前記差分画像および背景画像を合成した画像を、前記他拠点の描画画像共有装置に送信する、請求項１または２に記載の描画画像共有装置。
【請求項４】
前記送信手段は、前記他拠点の描画画像共有装置のプロファイル情報を参照し、
前記他拠点の描画画像共有装置が画像を合成する機能を備えている場合に、前記差分画像および背景画像を送信し、
前記他拠点の描画画像共有装置が画像を合成する機能を備えていない場合に、前記差分画像および背景画像を合成した画像を送信する、請求項３に記載の描画画像共有装置。
【請求項５】
前記送信手段は、前記自拠点の描画画像共有装置および他拠点の描画画像共有装置のプロファイル情報を参照し、
前記他拠点の描画画像共有装置の処理能力が前記自拠点の描画画像共有装置の処理能力よりも低い場合に、前記差分画像および背景画像を合成した画像を送信し、
前記他拠点の描画画像共有装置の処理能力が前記自拠点の描画画像共有装置の処理能力以上である場合に、前記差分画像および背景画像を送信する、請求項３または４に記載の描画画像共有装置。
【請求項６】
前記受信手段は、前記背景画像を背景画像記憶手段に格納し、前記他拠点から受信した描画画像を描画画像記憶手段に格納する、請求項２〜５のいずれか１項に記載の描画画像共有装置。
【請求項７】
前記画像供給手段は、前記画像加工処理手段が合成した画像を表示装置に供給して前記描画対象物に表示させ、
前記画像取得手段は、前記描画対象物の画像を撮影装置に撮影させて、他拠点と共有すべき共有領域の画像を取得する、請求項２〜６のいずれか１項に記載の描画画像共有装置。
【請求項８】
前記描画画像共有装置は、
前記受信手段が受信した第１の背景画像と、前記受信手段が前回受信した第２の背景画像とが一致するか検出する画像検出手段をさらに含み、
前記送信手段は、前記第１の背景画像と前記第２の背景画像とが相違する場合に、前記第１の背景画像を送信する、請求項２、４〜７のいずれか１項に記載の描画画像共有装置。
【請求項９】
前記画像加工処理手段は、他拠点から受信した描画画像に関連する背景画像の識別情報を使用して前記描画画像に関連する背景画像を判断し、前記描画画像と前記描画画像に関連する背景画像とを合成する、請求項２、４〜８のいずれか１項に記載の描画画像共有装置。
【請求項１０】
前記背景画像の識別情報は、前記背景画像のＩＤである、請求項９に記載の描画画像共有装置。
【請求項１１】
前記画像加工処理手段は、前記背景画像に拡大処理または縮小処理を施す、請求項１〜１０のいずれか１項に記載の描画画像共有装置。
【請求項１２】
前記画像加工処理手段は、前記背景画像の明度を変更する処理を施す、請求項１〜１１のいずれか１項に記載の描画画像共有装置。
【請求項１３】
前記画像供給手段は、表示装置に対して、前記共有領域を規定するマーカ画像を描画対象物に表示させ、
前記画像取得手段は、表示装置が表示した前記描画対象物を撮影させて撮影画像を取得し、前記撮影画像に含まれるマーカ画像のマーカの座標値から前記共有領域を特定する、請求項７〜１２のいずれか１項に記載の描画画像共有装置。
【請求項１４】
前記画像供給手段は、表示装置に対して、白紙画像を描画対象物に表示させ、
前記画像取得手段は、前記描画対象物を撮影させて撮影画像を取得し、前記撮影画像に含まれる白紙画像の領域と前記白紙画像以外の領域との輝度差を使用して、前記共有領域を特定する、請求項７〜１３のいずれか１項に記載の描画画像共有装置。
【請求項１５】
前記画像取得手段は、撮影画像に透視投影変換を施す、請求項７〜１４のいずれか１項に記載の描画画像共有装置。
【請求項１６】
前記差分画像生成手段は、表示画像に膨張処理を施して差分画像を生成する、請求項７〜１５のいずれか１項に記載の描画画像共有装置。
【請求項１７】
前記差分画像生成手段は、前記差分画像に対して黄色成分をカットするフィルタ処理を施す、請求項７〜１６のいずれか１項に記載の描画画像共有装置。
【請求項１８】
前記差分画像生成手段は、前記差分画像に対して色強度を高める補正処理を施す、請求項７〜１７のいずれか１項に記載の描画画像共有装置。
【請求項１９】
描画画像共有装置が実行するデータ処理方法であって、前記データ処理方法は、前記描画画像共有装置が、
描画対象物に表示すべき背景画像と他拠点から受信した描画画像とを合成するステップと、
前記合成した画像と、自拠点の描画対象物の画像との差分である他拠点と共有すべき差分画像を生成するステップと
前記差分画像を他拠点に送信するステップと
を実行するデータ処理方法。
【請求項２０】
前記データ処理方法は、前記描画画像共有装置が、
描画対象物に表示すべき背景画像および他拠点の描画画像を受信するステップと、
前記合成した画像を前記描画対象物に表示させるステップと、
前記自拠点の描画対象物の画像を取得するステップとをさらに含み、
前記送信するステップは、前記差分画像および前記背景画像を、前記他拠点の描画画像共有装置に送信するステップを含む、請求項１９に記載のデータ処理方法。
【請求項２１】
前記データ処理方法は、前記描画画像共有装置が、
描画対象物に表示すべき背景画像および他拠点の描画画像を受信するステップと、
前記合成した画像を前記描画対象物に表示させるステップと、
前記自拠点の描画対象物の画像を取得するステップと、
前記差分画像および背景画像を合成するステップと、
前記差分画像および背景画像を合成した画像を、前記他拠点の描画画像共有装置に送信するステップをさらに含む、請求項１９または２０に記載のデータ処理方法。
【請求項２２】
前記送信するステップは、
前記他拠点の描画画像共有装置のプロファイル情報を参照するステップと、
前記他拠点の描画画像共有装置が画像を合成する機能を備えている場合に、前記差分画像および背景画像を送信し、前記他拠点の描画画像共有装置が画像を合成する機能を備えていない場合に、前記差分画像および背景画像を合成した画像を送信するステップと
を含む、請求項２１に記載のデータ処理方法。
【請求項２３】
前記送信するステップは、
前記自拠点の描画画像共有装置および他拠点の描画画像共有装置のプロファイル情報を参照するステップと、
前記他拠点の描画画像共有装置の処理能力が前記自拠点の描画画像共有装置の処理能力よりも低い場合に、前記差分画像および背景画像を合成した画像を送信し、前記他拠点の描画画像共有装置の処理能力が前記自拠点の描画画像共有装置の処理能力以上である場合に、前記差分画像および背景画像をそれぞれ送信するステップと
を含む、請求項２１または２２に記載のデータ処理方法。
【請求項２４】
描画画像共有装置に対して、請求項１９〜２３のいずれか１項に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項２５】
請求項２４に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２１７３５０（Ｐ２０１１−２１７３５０Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−２８７０９３（Ｐ２０１０−２８７０９３）
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]