説明

描画画像共有装置

【課題】描画対象物上に表示されている画像の視認性を悪化させずに、複数の描画対象物に描かれた画像を各描画対象物に共有させることができる描画画像共有装置を提供すること。
【解決手段】他の描画画像共有装置5から送信された画像を受信する画像受信部20と、画像受信部20によって受信された画像を描画対象物に投影させるよう投影装置3に供給する結像画像供給部21と、描画対象物間で画像を共有させる共有領域が撮影された画像を撮影装置4から取得する撮影画像取得部22と、投影装置3に投影させている画像と撮影装置4により撮影された画像との共有領域における差分を表す差分画像を生成する差分画像生成部23と、差分画像を他の描画画像共有装置5に送信する画像送信部24と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、描画画像共有装置に関し、特に、複数の描画対象物に描かれた画像を各描画対象物に共有させる描画画像共有装置に関する。
【背景技術】
【0002】
近年、遠隔会議等に利用するために、各拠点に設けられたホワイトボードや黒板等の描画対象物に描かれた画像をカメラ等の撮影装置で撮影し、他の拠点に設けられた描画対象物に描かれた画像をプロジェクタ等の投影装置で描画対象物に投影することにより、複数の描画対象物に描かれた画像を各描画対象物に共有させるものがある。すなわち、投影装置等の結像装置と撮影装置とを用いて、複数の描画対象物に描かれた画像を合成した同一内容の画像を各描画対象物に表示させるものがある。
【0003】
例えば、遠隔地のそれぞれに、投影画像を投影するプロジェクタと、投影すべき元画像をプロジェクタに送信するサーバとを備え、各プロジェクタが、投影画像を投影したスクリーンに書き込まれた書込画像を撮影する撮影手段と、撮影手段によって撮影された書込画像をサーバに送信する送信手段とを有し、サーバが、一方のプロジェクタから受信した書込画像を元画像に合成する合成手段と、合成手段により合成された画像を他方のプロジェクタに送信する転送手段とを有することにより、遠隔会議を支援するものがある(例えば、特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、このような従来の技術は、書込画像を撮影するために、一定の時間間隔でプロジェクタによる投影を一時中断する必要があるため、描画対象物としてのスクリーン上に表示されている画像の視認性が悪化してしまうといった課題があった。
【0005】
本発明は、このような従来の課題を解決するためになされたもので、描画対象物上に表示されている画像の視認性を悪化させずに、複数の描画対象物に描かれた画像を各描画対象物に共有させることができる描画画像共有装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の描画画像共有装置は、複数の描画対象物に描かれた画像を各描画対象物に共有させる描画画像共有装置において、他の描画画像共有装置から送信された画像を受信する画像受信部と、前記画像受信部によって受信された画像を前記描画対象物に表示する画像表示部と、前記描画対象物間で画像を共有させる共有領域の画像を取得する共有領域画像取得部と、前記画像表示部により表示させている画像と前記共有領域画像取得部により取得された画像との前記共有領域の差分を表す差分画像を生成する差分画像生成部と、前記差分画像を前記他の描画画像共有装置に送信する画像送信部と、を備えた構成を有している。
【0007】
この構成により、本発明の描画画像共有装置は、他の描画画像共有装置から送信された画像と、取得した画像との差分を表す差分画像を他の描画画像共有装置に送信することにより、描画対象物に対する表示を中断させずに、描画対象物に描かれた画像を他の描画画像共有装置に送信することができるため、描画対象物上に表示されている画像の視認性を悪化させずに、複数の描画対象物に描かれた画像を各描画対象物に共有させることができる。
【0008】
なお、前記画像表示部は、前記他の描画画像共有装置から受信した描画画像を前記描画対象物に結像させるよう結像装置に供給する結像画像供給部によって構成してもよい。
【0009】
また、前記共有領域画像取得部は、前記描画対象物間で画像を共有させる共有領域の画像を撮影装置に撮影させて、前記画像を取得する撮影画像取得部によって構成してもよい。
【0010】
また、本発明の描画画像共有装置は、結像装置と撮影装置とを用いて複数の描画対象物に描かれた画像を各描画対象物に共有させる描画画像共有装置において、他の描画画像共有装置から送信された画像を受信する画像受信部と、前記画像受信部によって受信された画像を前記描画対象物に結像させるよう前記結像装置に供給する結像画像供給部と、前記描画対象物間で画像を共有させる共有領域が撮影された画像を前記撮影装置から取得する撮影画像取得部と、前記結像装置に結像させている画像と前記撮影装置により撮影された画像との前記共有領域における差分を表す差分画像を生成する差分画像生成部と、前記差分画像を前記他の描画画像共有装置に送信する画像送信部と、を備えた構成を有している。
【0011】
この構成により、本発明の描画画像共有装置は、結像装置に結像させる他の描画画像共有装置から送信された画像と、撮影装置により撮影された画像との差分を表す差分画像を他の描画画像共有装置に送信することにより、結像装置による結像を中断させずに、描画対象物に描かれた画像を他の描画画像共有装置に送信することができるため、描画対象物上に表示されている画像の視認性を悪化させずに、複数の描画対象物に描かれた画像を各描画対象物に共有させることができる。
【0012】
なお、前記結像画像供給部は、前記共有領域を特定するためのマーカ画像を前記結像装置に供給する画像に重畳し、前記撮影画像取得部は、前記撮影装置から取得した画像に含まれる前記マーカ画像の位置に基づいて、前記共有領域を切り出すようにしてもよい。
【0013】
この構成により、本発明の描画画像共有装置は、結像装置に結像させる領域に応じて、共有領域を一意に定めるため、他の描画画像共有装置と送受信する画像表示領域を共有領域に正確に合わせることができる。
【0014】
また、本発明の描画画像共有装置は、前記描画対象物に表示されるべきではない不要な画像を前記描画対象物に表示されている画像から除去するための画像除去部を備えるようにしてもよい。例えば、前記画像除去部は、前記描画対象物の背景色で塗りつぶされた画像を前記画像送信部に送信させることにより、前記不要な画像を前記描画対象物に表示されている画像から除去するようにしてもよい。
【0015】
この構成により、本発明の描画画像共有装置は、描画対象物の背景色で塗りつぶされた画像を他の描画画像共有装置に送信することにより、描画対象物に表示されるべき画像のみを差分画像として他の描画画像共有装置に送信させるため、不要な画像が除去された画像を描画対象物に結像させることができる。
【0016】
また、前記画像除去部は、一定の時間間隔で前記不要な画像を前記描画対象物に表示されている画像から除去するようにしてもよく、前記撮影装置により撮影された画像、前記結像装置に結像させている画像、および、前記差分画像生成部によって生成された差分画像の少なくとも1つの時系列の変化に応じて、前記不要な画像を前記描画対象物に表示されている画像から除去するようにしてもよい。
【0017】
また、前記差分画像生成部は、前記結像装置に結像させている画像に太め処理を施し、太め処理を施した画像と前記撮影装置により撮影された画像とに基づいて、前記差分画像を生成するようにしてもよい。
【0018】
この構成により、本発明の描画画像共有装置は、差分画像を生成するときの台形歪みや位置ずれ等の影響を抑制することができる。
【0019】
また、前記差分画像生成部は、生成した差分画像から、黄緑色および黄色の少なくとも一方の色成分を除去するフィルタを有するようにしてもよい。
【0020】
この構成により、本発明の描画画像共有装置は、結像装置としてプロジェクタを適用した場合に、プロジェクタの光源に含まれる黄緑色や黄色の輝線を差分画像から除去することができる。
【0021】
また、本発明の描画画像共有システムは、複数の描画対象物に描かれた画像を各描画対象物に表示させる描画画像共有システムにおいて、描画画像共有装置を各描画対象物に対して設け、前記描画画像共有装置は、他の描画画像共有装置から送信された画像を受信する画像受信部と、前記画像受信部によって受信された画像を前記描画対象物に表示する画像表示部と、前記描画対象物間で画像を共有させる共有領域の画像を取得する共有領域画像取得部と、前記画像表示部により表示させている画像と前記共有領域画像取得部により取得された画像との前記共有領域の差分を表す差分画像を生成する差分画像生成部と、前記差分画像を前記他の描画画像共有装置に送信する画像送信部と、を有する。
【0022】
この構成により、本発明の描画画像共有システムは、描画画像共有装置に、他の描画画像共有装置から送信された画像と、取得された画像との差分を表す差分画像を他の描画画像共有装置に送信させることにより、描画対象物に対する表示を中断させずに、描画対象物に描かれた画像を他の描画画像共有装置に送信させることができるため、描画対象物上に表示されている画像の視認性を悪化させずに、複数の描画対象物に描かれた画像を各描画対象物に共有させることができる。
【0023】
また、本発明の描画画像共有方法は、複数の描画対象物に描かれた画像を各描画対象物に表示させる描画画像共有方法において、描画画像共有装置を各描画対象物に対して設け、他の描画画像共有装置から送信された画像を受信する画像受信ステップと、前記画像受信ステップで受信された画像を前記描画対象物に表示する画像表示ステップと、前記描画対象物間で画像を共有させる共有領域の画像を取得する共有領域画像取得ステップと、前記画像表示ステップで表示させている画像と前記共有領域画像取得ステップで取得された画像との前記共有領域の差分を表す差分画像を生成する差分画像生成ステップと、前記差分画像を前記他の描画画像共有装置に送信する画像送信ステップと、を前記描画画像共有装置に実行させる。
【0024】
したがって、本発明の描画画像共有方法は、描画画像共有装置に、他の描画画像共有装置から送信された画像と、取得された画像との差分を表す差分画像を他の描画画像共有装置に送信させることにより、描画対象物に対する表示を中断させずに、描画対象物に描かれた画像を他の描画画像共有装置に送信させることができるため、描画対象物上に表示されている画像の視認性を悪化させずに、複数の描画対象物に描かれた画像を各描画対象物に共有させることができる。
【発明の効果】
【0025】
本発明は、描画対象物上に表示されている画像の視認性を悪化させずに、複数の描画対象物に描かれた画像を各描画対象物に共有させることができる描画画像共有装置を提供することができる。
【図面の簡単な説明】
【0026】
【図1】本発明の一実施の形態としての描画画像共有システムのブロック図である。
【図2】本発明の一実施の形態としての描画画像共有装置のハードウェア構成図である。
【図3】本発明の一実施の形態としての描画画像共有装置の機能ブロック図である。
【図4】本発明の一実施の形態としての描画画像共有装置によって決定される共有領域を説明するための概念図である。
【図5】本発明の一実施の形態としての描画画像共有装置の共有画像受信動作を説明するためのフローチャートである。
【図6】本発明の一実施の形態としての描画画像共有装置の撮影画像受信動作を説明するためのフローチャートである。
【図7】本発明の一実施の形態としての描画画像共有システムの動作例を説明するための概念図である。
【図8】図6に示した撮影画像受信動作における差分画像生成処理の一例を詳細に説明するためのフローチャートである。
【図9】図8に示した差分画像生成処理のなかで実行される平均差分算出処理の一例を説明するためのフローチャートである。
【図10】図8に示した差分画像生成処理のなかで実行される差分画像算出処理の一例を説明するためのフローチャートである。
【図11】本発明の一実施の形態としての描画画像共有システムの他の態様を表すブロック図である。
【発明を実施するための形態】
【0027】
以下、本発明の実施の形態について、図面を参照して説明する。
【0028】
図1に示すように、本発明の一実施の形態としての描画画像共有システム1は、複数の会議室等の拠点にそれぞれ設けられた描画対象物としてのホワイトボード2a、2b(以下、総称して「ホワイトボード2」ともいう。)に対して、それぞれ設けられた投影装置3a、3b(以下、総称して「投影装置3」ともいう。)と、撮影装置4a、4b(以下、総称して「撮影装置4」ともいう。)と、描画画像共有装置5a、5b(以下、総称して「描画画像共有装置5」ともいう。)とを備えている。
【0029】
ここで、本実施の形態においては、描画対象物としてホワイトボードを適用した例について説明するが、本発明においては、描画対象物として黒板および紙等を適用してもよい。
【0030】
投影装置3は、例えば、一般的なプロジェクタによって構成され、描画画像共有装置5から送信された画像を投影するようになっている。ここで、投影装置3は、ホワイトボード2の描画領域に投影範囲が含まれるよう設置される。
【0031】
なお、本実施の形態においては、投影装置3が本発明における結像装置を構成するものとして説明するが、本発明における結像装置としては、液晶ディスプレイ装置等の表示装置を適用してもよい。本発明における結像装置として表示装置を適用する場合には、描画対象物として、表示装置の表示面上に設けられた描画可能な透過性を有するボードを適用する。
【0032】
また、図1において、ホワイトボード2の描画領域と、投影装置3の投影範囲とが一致しているように示されているが、ホワイトボード2の描画領域の一部を投影装置3の投影範囲としてもよい。
【0033】
撮影装置4は、例えば、一般的なビデオカメラによって構成され、0.5秒間に1回、または、1秒間に15回等の予め設定された時間間隔で撮影したホワイトボード2に表示された画像を描画画像共有装置5に送信するようになっている。ここで、撮影装置4は、投影装置3の投影領域を撮影できるよう設置される。
【0034】
描画画像共有装置5は、図2に示すように、CPU(Central Processing Unit)10と、RAM(Random Access Memory)11と、ROM(Read Only Memory)12と、ハードディスク装置13と、キーボードやポインティングデバイス等よりなる入力装置14と、液晶ディスプレイ等よりなる表示装置15と、投影装置3および撮影装置4等の周辺機器との間で通信するためのデバイス通信モジュール16と、ネットワークを介して接続された他の描画画像共有装置5のような外部機器との間で通信を行うためのネットワーク通信モジュール17と、を備えた一般的なコンピュータ装置によって構成されている。
【0035】
なお、本実施の形態において、描画画像共有装置5間は、インターネット等のネットワーク6(図1参照)を介して接続されているものとして説明するが、専用線等を介して接続されていてもよい。また、前述したように、表示装置15が本発明における結像装置を構成するようにしてもよい。
【0036】
ROM12およびハードディスク装置13には、当該コンピュータ装置を描画画像共有装置5として機能させるためのプログラムが記憶されている。すなわち、CPU10がRAM11を作業領域としてROM12およびハードディスク装置13に記憶されたプログラムを実行することにより、当該コンピュータ装置は、描画画像共有装置5として機能する。
【0037】
描画画像共有装置5は、図3に示すように、他の描画画像共有装置5から送信された画像を受信する画像受信部20と、画像受信部20によって受信された受信画像をホワイトボード2に投影させるよう投影装置3に供給する結像画像供給部21と、ホワイトボード2間で画像を共有させる共有領域が撮影された画像を撮影装置4から取得する撮影画像取得部22と、投影装置3に投影させている画像と撮影装置4により撮影された画像との共有領域における差分を表す差分画像を生成する差分画像生成部23と、差分画像を他の描画画像共有装置5に送信する画像送信部24と、ホワイトボード2に表示されるべきではない不要な画像をホワイトボード2に表示されている画像から除去するための画像除去部25とを備えている。
【0038】
ここで、画像受信部20および画像送信部24は、CPU10とネットワーク通信モジュール17によって構成され、結像画像供給部21および撮影画像取得部22は、CPU10とデバイス通信モジュール16とによって構成され、差分画像生成部23および画像除去部25は、CPU10によって構成される。
【0039】
結像画像供給部21は、本発明における画像表示部を構成し、図4に示すように、共有領域30を特定するためのマーカ画像31a乃至31dを投影装置3に供給する画像に重畳するようになっている。なお、図4において、マーカ画像31a乃至31dは、共有領域30の4つの角にそれぞれ配置された矩形で示されているが、マーカ画像は、共有領域30を特定できればよく、その形状、個数および位置が図4に示したものと異なっていてもよい。
【0040】
撮影画像取得部22は、本発明における共有領域画像取得部を構成し、撮影装置4から取得した画像に含まれるマーカ画像31a乃至31dの位置に基づいて、撮影装置4から取得した画像に台形補正等の画像補正を施した上で、共有領域30を切り出すようになっている。
【0041】
図3において、結像画像供給部21は、画像受信部20に受信された受信画像の領域と、投影装置3に供給する画像の共有領域30とが一致するように、受信画像を拡大または縮小し、投影装置3に供給するようになっている。
【0042】
差分画像生成部23は、結像画像供給部21から投影装置3に供給された画像と、撮影装置4により撮影された画像との共有領域30における差分を表す差分画像を生成するようになっている。
【0043】
ここで、差分画像生成部23は、投影装置3に供給された画像と、撮影装置4により撮影された画像とを、ピクセル単位に比較することにより、差分画像を生成するようになっている。
【0044】
具体的には、差分画像生成部23は、対応するピクセル間の輝度の差の絶対値または色空間上での距離尺度が予め定められた閾値より大きいピクセルよりなる差分画像を生成するようになっている。
【0045】
なお、差分画像生成部23は、投影装置3に供給された画像と、撮影装置4により撮影された画像とを、矩形(例えば、8ピクセル×8ピクセル)単位に比較することにより、差分画像を生成するようにしてもよい。
【0046】
この場合には、差分画像生成部23は、対応する矩形の輝度の差の絶対値または色空間上での距離尺度に対する平均値が予め定められた閾値より大きい矩形よりなる差分画像を生成するように構成される。
【0047】
また、差分画像生成部23は、投影装置3に供給された画像と、撮影装置4により撮影された画像とにそれぞれフィルタ処理を施した上で、差分画像を生成するようにしてもよい。
【0048】
例えば、差分画像生成部23は、撮影装置4により撮影された画像に対して、画像の各ピクセルを周囲のピクセルで平均化した移動平均画像と元画像との差分を抽出する鮮鋭化フィルタ処理を施し、投影装置3に供給された画像に対して、平滑化フィルタ処理を施した上に、鮮鋭化フィルタ処理を施し、フィルタ処理をそれぞれ施した画像から差分画像を生成するようにしてもよい。
【0049】
ここで、差分画像生成部23は、例えば、モルフォロジー演算のErosionの基本演算を用いて、太め処理を投影装置3に供給された画像に施すことにより平滑化フィルタ処理を実行する。これにより、差分画像生成部23は、撮影画像取得部22によって補正し切れなかった台形歪みや位置ずれ等の影響を抑制することができる。
【0050】
また、差分画像生成部23は、生成した差分画像にフィルタ処理を施すようにしてもよい。例えば、差分画像生成部23は、生成した差分画像から、黄緑色および黄色の少なくとも一方の色成分を除去するフィルタを有するようにしてもよい。これにより、差分画像生成部23は、投影装置3を構成するプロジェクタの光源に含まれる黄緑色や黄色の輝線を差分画像から除去することができる。
【0051】
画像送信部24は、差分画像生成部23によって生成された差分画像を他の描画画像共有装置5に送信するようになっている。ここで、差分画像生成部23によって生成された差分画像が空であった場合(すなわち、両画像間に差分がなかった場合)、または、前回に送信した差分画像と同一であった場合には、画像送信部24は、差分画像の送信を行わなくともよい。
【0052】
この場合には、画像送信部24は、差分画像を他の描画画像共有装置5に送信するときに、RAM11等の記憶媒体に当該差分画像を記憶するように構成し、当該差分画像と、送信しようとしている差分画像とを比較するように構成される。
【0053】
差分画像生成部23によって差分画像が生成されるとき、各ホワイトボード2に対する描画タイミングやネットワーク6による伝送遅延等の影響によって、何れのホワイトボード2にも描かれていないにもかかわらず、ホワイトボード2に描かれているかのように表示されている画像等、ホワイトボード2に表示されるべきではない不要な画像(所謂「ゴミ」)が、投影装置3によってホワイトボード2に投影されてしまうことがある。
【0054】
画像除去部25は、このようなホワイトボード2に表示されるべきではない不要な画像をホワイトボード2に表示されている画像から除去する画像リセット処理を行うようになっている。
【0055】
具体的には、画像除去部25は、ホワイトボード2の背景色である白色で塗りつぶされた画像を画像送信部24に送信させることにより、画像リセット処理を行うようになっている。
【0056】
この画像リセット処理により、ホワイトボード2に表示されるべき画像のみが差分画像として他の描画画像共有装置5から送信されるため、不要な画像が除去された画像がホワイトボード2に投影される。さらに、このホワイトボード2の共有領域が撮影された画像に基づいて差分画像生成部23によって差分画像が生成され、他の描画画像共有装置5に送信されるため、他の描画画像共有装置5にも、不要な画像が除去された画像が投影される。
【0057】
ここで、画像除去部25は、入力装置14を介した要求に応じて画像リセット処理を実行するようにしてもよく、一定の時間間隔(例えば、10秒間隔)で画像リセット処理を実行するようにしてもよい。
【0058】
また、画像除去部25は、撮影画像取得部22によって取得された画像を解析することにより、ホワイトボード2に描画している人物の画像等のように共有領域の障害物を表す画像が共有領域を表す画像から外れたときに、画像リセット処理を実行するようにしてもよい。
【0059】
また、画像除去部25は、差分画像生成部23によって生成された差分画像を解析することにより、ホワイトボード2に描画している人物の画像等のように共有領域の障害物を表す画像が共有領域を表す画像から外れたときに、画像リセット処理を実行するようにしてもよい。
【0060】
また、画像除去部25は、結像画像供給部21によって投影装置3に供給する画像を解析することにより、他のホワイトボード2に描画している人物の画像等のように他のホワイトボード2の共有領域の障害物を表す画像がこの共有領域を表す画像から外れたときに、画像リセット処理を実行するようにしてもよい。
【0061】
このように構成された描画画像共有装置5について、図5乃至図7を用いてその動作を説明する。
【0062】
図5は、描画画像共有装置5の共有画像受信動作を説明するためのフローチャートである。なお、以下に説明する共有画像受信動作は、他の描画画像共有装置5から送信された画像が画像受信部20によって受信されたときにスタートする。
【0063】
まず、画像受信部20によって受信された受信画像は、その領域が投影装置3に供給する画像の共有領域と一致するように、結像画像供給部21によって拡大または縮小される(ステップS1)。
【0064】
次に、受信画像は、結像画像供給部21によってマーカ画像が重畳され(ステップS2)、投影装置3に供給される(ステップS3)。このように投影装置3に供給された画像は、ホワイトボード2に投影される。
【0065】
図6は、描画画像共有装置5の撮影画像受信動作を説明するためのフローチャートである。なお、以下に説明する撮影画像受信動作は、撮影装置4によって撮影が行われたときにスタートする。
【0066】
まず、撮影装置4によって撮影された画像は、撮影画像取得部22によって取得される(ステップS11)。撮影画像取得部22によって取得された画像は、当該画像に含まれるマーカ画像の位置に基づいて台形補正等の画像補正が施された上で共有領域が切り出される(ステップS12)。
【0067】
次に、結像画像供給部21から投影装置3に供給された画像と、撮影装置4により撮影された画像との共有領域における差分を表す差分画像が差分画像生成部23によって生成される(ステップS13)。
【0068】
ここで、差分画像生成部23によって生成された差分画像が空であるか否かが画像送信部24によって判断される(ステップS14)。ここで、当該差分画像が空であると判断された場合には、撮影画像受信動作は、終了する。
【0069】
一方、当該差分画像が空でないと判断された場合には、差分画像生成部23によって生成された差分画像が前回に送信した差分画像と同一であるか否かが画像送信部24によって判断される(ステップS15)。
【0070】
ここで、差分画像生成部23によって生成された差分画像が前回に送信した差分画像と同一であると判断された場合には、撮影画像受信動作は、終了する。一方、差分画像生成部23によって生成された差分画像が前回に送信した差分画像と同一でないと判断された場合には、当該差分画像が、差分画像生成部23によって他の描画画像共有装置5に送信される(ステップS16)。
【0071】
図7は、描画画像共有システム1の動作例を説明するための概念図である。図7においては、描画画像共有装置5a、5bが設けられた各拠点の間でやり取りされる差分画像と、投影装置3a、3b上によってそれぞれ投影される投影画像と、撮影装置4a、4bによってそれぞれ撮影された撮影画像との例が時系列で並べられて示されている。
【0072】
まず、描画画像共有装置5aと描画画像共有装置5bとのセションが確立すると、描画画像共有装置5aと描画画像共有装置5bとの何れか一方の撮影画像が差分画像として他方に送信される。
【0073】
ここでは、最初に、投影装置3aによってホワイトボード2aに空白の投影画像50が投影され、撮影装置4aによって撮影された撮影画像51が撮影され、描画画像共有装置5aから撮影画像51が差分画像52として描画画像共有装置5bに送信されるものとする。
【0074】
したがって、投影装置3bによってホワイトボード2bに空白の投影画像53が投影され、撮影装置4bによって撮影画像54が撮影される。なお、投影画像53と撮影画像54との差分画像が空であるため、描画画像共有装置5bによる差分画像の送信は行われない。
【0075】
次に、ホワイトボード2aの共有領域に描き込みが行われ、撮影装置4aによって撮影画像55が撮影されると、投影画像50と撮影画像55との差分画像56が描画画像共有装置5aから描画画像共有装置5bに送信される。
【0076】
これにより、投影装置3bによってホワイトボード2bに投影画像57が投影され、撮影装置4bによって撮影画像58が撮影される。なお、投影画像57と撮影画像58との差分画像が空であるため、描画画像共有装置5bによる差分画像の送信は行われない。
【0077】
さらに、ホワイトボード2aの共有領域上から障害物がなくなり、撮影装置4aによって撮影画像59が撮影されると、投影画像50と撮影画像59との差分画像60が描画画像共有装置5aから描画画像共有装置5bに送信される。
【0078】
これにより、投影装置3bによってホワイトボード2bに投影画像61が投影され、撮影装置4bによって撮影画像62が撮影される。なお、投影画像61と撮影画像62との差分画像が空であるため、描画画像共有装置5bによる差分画像の送信は行われない。
【0079】
次に、ホワイトボード2bの共有領域に描き込みが行われ、撮影装置4bによって撮影画像63が撮影されると、投影画像61と撮影画像63との差分画像64が描画画像共有装置5bから描画画像共有装置5aに送信される。
【0080】
これにより、投影装置3aによってホワイトボード2aに投影画像65が投影され、撮影装置4aによって撮影画像66が撮影される。なお、投影画像65と撮影画像66との差分画像と、前回に送信した差分画像60とが同一であるため、描画画像共有装置5aによる差分画像の送信は行われない。
【0081】
さらに、ホワイトボード2bの共有領域上から障害物がなくなり、撮影装置4bによって撮影画像67が撮影されると、投影画像61と撮影画像67との差分画像68が描画画像共有装置5bから描画画像共有装置5aに送信される。
【0082】
これにより、投影装置3aによってホワイトボード2aに投影画像69が投影され、撮影装置4aによって撮影画像70が撮影される。なお、投影画像69と撮影画像70との差分画像と、前回に送信した差分画像60とが同一であるため、描画画像共有装置5aによる差分画像の送信は行われない。
【0083】
ここで、図6に示した描画画像共有装置5の撮影画像受信動作において、差分画像生成部23が、撮影装置4により撮影された画像(以下、単に「撮影画像」という。)と、投影装置3に供給された画像(以下、単に「投影画像」という。)と、これら画像に基づいて生成した差分画像とにフィルタ処理を施す場合を例に、差分画像生成処理(ステップS13)について図8乃至図10を用いて詳細に説明する。
【0084】
まず、投影画像に対して、太め処理を適用した平滑化フィルタ処理が差分画像生成部23によって施される(ステップS30)。次いで、平滑化された投影画像と撮影画像とが差分画像生成部23によってR(赤)、G(緑)、B(青)成分にそれぞれ分離される(ステップS31)。
【0085】
次に、R、G、Bの各成分に対して、以下に説明するステップS32乃至ステップS35が実行される。ここで、R、G、Bの各成分は、0から255までの値をとり、この値が高くなるに連れて、輝度が高くなるものとする。すなわち、R、G、Bの各成分が0のとき、当該ピクセルの色は、黒となり、R、G、Bの各成分が255のとき、当該ピクセルの色は、白となる。
【0086】
ここで、投影画像と、撮影画像との該当成分の積分画像が差分画像生成部23によってそれぞれ生成される(ステップS32)。
【0087】
次に、撮影画像の各ピクセルおよび投影画像の各ピクセルに対して、以下に説明するステップS33乃至ステップS35が実行される。
【0088】
まず、撮影画像の対象ピクセルに対して、該当成分を周囲のピクセルの該当成分で平均化した平均差分を算出する平均差分算出処理が差分画像生成部23によって実行される(ステップS33)。
【0089】
平均差分算出処理では、図9に示すように、まず、対象ピクセルを中心としたm×nのサイズの矩形(m、nは、予め定められた定数。撮影画像のサイズが1024ピクセル×768ピクセルの場合、例えば、m=n=31ピクセル。)が差分画像生成部23によって算出される(ステップS40)。
【0090】
次に、ステップS32(図8参照)で算出された積分画像を用いて、ステップS40で算出された矩形内の輝度の平均値が差分画像生成部23によって算出される(ステップS41)。
【0091】
具体的には、当該積分画像の該当矩形の左上の輝度をLT、右上の輝度をRT、左下の輝度をLB、右下の輝度をRBとし、該当矩形内のピクセル数をPNとすると、該当矩形内の輝度の平均値AVGは、以下に示す式によって算出される。
【0092】
AVG=(RB−RT−LB+LT)/PN
【0093】
このように算出された平均値AVGで対象ピクセルの輝度が差分画像生成部23によって減じられ、対象ピクセルの平均差分が算出され(ステップS42)、平均差分算出処理は終了する。
【0094】
図8において、撮影画像の対象ピクセルに対する平均差分算出処理が終了すると、投影画像の対象ピクセルに対して、図9を参照して説明した平均差分算出処理が差分画像生成部23によって実行される(ステップS34)。
【0095】
次に、撮影画像の対象ピクセルの平均差分と、投影画像の対象ピクセルの平均差分とに基づいて、対象ピクセル間の差分値を算出する差分算出処理が差分画像生成部23によって実行される(ステップS35)。
【0096】
差分算出処理では、図10に示すように、まず、撮影画像の対象ピクセルの平均差分が予め定められた閾値THより大きいか否かが差分画像生成部23によって判断される(ステップS50)。なお、本例において、閾値THは、−5とする。
【0097】
ここで、当該平均差分が閾値THより大きいと判断された場合には、差分値が背景色の同成分に設定され(ステップS51)、差分算出処理は終了する。一方、当該平均差分が閾値THより大きくないと判断された場合には、投影画像の対象ピクセルの平均差分が濃くなるように差分画像生成部23によって定数倍(例えば、1.5倍)される(ステップS52)。
【0098】
次いで、撮影画像の対象ピクセルの平均差分から、定数倍された投影画像の対象ピクセルの平均差分が差分画像生成部23によって減算される(ステップS53)。次に、この減算結果として得られた差分値が、閾値THより大きいか否かが差分画像生成部23によって判断される(ステップS54)。
【0099】
ここで、差分値が閾値THより大きいと判断された場合には、撮影画像の対象ピクセルが背景より明るい外来光等のノイズと判断できるため、差分画像生成部23によって差分値が背景色の同成分に設定され(ステップS51)、差分算出処理は終了する。
【0100】
一方、差分値が閾値THより大きくないと判断された場合には、差分値が濃くなるように差分画像生成部23によって定数倍(例えば、1.5倍)され(ステップS55)、差分値に背景色の同成分が差分画像生成部23によって加算される(ステップS56)。なお、本実施の形態において、背景色の各成分は、200とする。
【0101】
ここで、差分値が0未満か否かが差分画像生成部23によって判断され、差分値が0未満であると判断された場合には、差分値が0に設定され(ステップS58)、差分算出処理は終了する。一方、差分値が0未満でないと判断された場合には、差分算出処理は終了する。
【0102】
図8において、撮影画像および投影画像の各ピクセルの各R、G、B成分に対する上述した各処理が終了すると、各R、G、B成分の差分値を有する各ピクセルからなる差分画像が差分画像生成部23によって合成される(ステップS36)。
【0103】
最後に、この差分画像に対して黄色成分を除去するフィルタ処理が差分画像生成部23によって差分画像に施される(ステップS37)。例えば、差分画像の各画素のR、G、B成分の各輝度をIr、Ig、Ibとし、min(Ir,Ig)>Ibが成立する場合には、Ib=min(Ir,Ig)とすることにより当該画素から黄色成分が除去される。
【0104】
なお、本例においては、ステップS37において、差分画像生成部23が、差分画像に対して黄色成分を除去するフィルタ処理を施した例について説明したが、差分画像に対して黄緑色成分を除去するフィルタ処理を施してもよく、差分画像に対して黄色成分と黄緑色成分とを除去するフィルタ処理を施してもよい。
【0105】
以上に説明したように、本発明の一実施の形態としての描画画像共有システム1は、描画画像共有装置5に、投影装置3に投影させる他の描画画像共有装置5から送信された画像と、撮影装置4により撮影された画像との差分を表す差分画像を他の描画画像共有装置5に送信させることにより、投影装置3による投影を中断させずに、ホワイトボード2に描かれた画像を他の描画画像共有装置5に送信させることができるため、ホワイトボード2上に表示されている画像の視認性を悪化させずに、複数のホワイトボード2に描かれた画像を各ホワイトボード2に共有させることができる。
【0106】
描画画像共有システム1は、投影装置3を一般的なプロジェクタによって構成し、撮影装置4を一般的なビデオカメラによって構成し、描画画像共有装置5を一般的なコンピュータ装置によって構成することができるため、ハードウェアにかかるコストを低減することができる。
【0107】
なお、本実施の形態において、2つの描画画像共有装置5によって、各ホワイトボード2に描かれた画像を各ホワイトボード2に共有させる例について説明したが、本発明においては、3つ以上の描画画像共有装置5によって、各ホワイトボード2に描かれた画像を各ホワイトボード2に共有させるようにしてもよい。
【0108】
この場合には、結像画像供給部21は、他の何れかの描画画像共有装置5から受信画像を受信したときに、この受信画像を上述したように拡大または縮小した後に、送信元の描画画像共有装置5に対応させてRAM11等の記憶媒体に記憶し、この記憶媒体に各描画画像共有装置5に対応させて記憶された受信画像を合成し、合成した画像を投影装置3に供給するように構成される。
【0109】
また、図11に示すように、本発明において、ハードディスク装置13等の記憶媒体に画像7を示すような画像データを記憶させておき、結像画像供給部21は、この画像7上に投影装置3に供給する画像を重畳させて、投影装置3に供給するようにしてもよい。これにより、ホワイトボード2に描かれた画像を各ホワイトボード2に共有させるだけでなく、電子データが表す画像も各ホワイトボード2に共有させることが可能となる。
【符号の説明】
【0110】
1 描画画像共有システム
2、2a、2b ホワイトボード
3、3a、3b 投影装置
4、4a、4b 撮影装置
5、5a、5b 描画画像共有装置
6 ネットワーク
10 CPU
11 RAM
12 ROM
13 ハードディスク装置
14 入力装置
15 表示装置
16 デバイス通信モジュール
17 ネットワーク通信モジュール
20 画像受信部
21 結像画像供給部
22 撮影画像取得部
23 差分画像生成部
24 画像送信部
25 画像除去部
【先行技術文献】
【特許文献】
【0111】
【特許文献1】特開2005−203886号公報

【特許請求の範囲】
【請求項1】
複数の描画対象物に描かれた画像を各描画対象物に共有させる描画画像共有装置において、
他の描画画像共有装置から送信された画像を受信する画像受信部と、
前記画像受信部によって受信された画像を前記描画対象物に表示する画像表示部と、
前記描画対象物間で画像を共有させる共有領域の画像を取得する共有領域画像取得部と、
前記画像表示部により表示させている画像と前記共有領域画像取得部により取得された画像との前記共有領域の差分を表す差分画像を生成する差分画像生成部と、
前記差分画像を前記他の描画画像共有装置に送信する画像送信部と、を備えたことを特徴とする描画画像共有装置。
【請求項2】
前記画像表示部は、前記他の描画画像共有装置から受信した描画画像を前記描画対象物に結像させるよう結像装置に供給する結像画像供給部によって構成されることを特徴とする請求項1に記載の描画画像供給装置。
【請求項3】
前記共有領域画像取得部は、前記描画対象物間で画像を共有させる共有領域の画像を撮影装置に撮影させて、前記画像を取得する撮影画像取得部によって構成されることを特徴とする請求項1に記載の描画画像供給装置。
【請求項4】
結像装置と撮影装置とを用いて複数の描画対象物に描かれた画像を各描画対象物に共有させる描画画像共有装置において、
他の描画画像共有装置から送信された画像を受信する画像受信部と、
前記画像受信部によって受信された画像を前記描画対象物に結像させるよう前記結像装置に供給する結像画像供給部と、
前記描画対象物間で画像を共有させる共有領域が撮影された画像を前記撮影装置から取得する撮影画像取得部と、
前記結像装置に結像させている画像と前記撮影装置により撮影された画像との前記共有領域における差分を表す差分画像を生成する差分画像生成部と、
前記差分画像を前記他の描画画像共有装置に送信する画像送信部と、を備えたことを特徴とする描画画像共有装置。
【請求項5】
前記結像画像供給部は、前記共有領域を特定するためのマーカ画像を前記結像装置に供給する画像に重畳し、
前記撮影画像取得部は、前記撮影装置から取得した画像に含まれる前記マーカ画像の位置に基づいて、前記共有領域を切り出すことを特徴とする請求項4に記載の描画画像共有装置。
【請求項6】
前記描画対象物に表示されるべきではない不要な画像を前記描画対象物に表示されている画像から除去するための画像除去部を備えたことを特徴とする請求項4または請求項5に記載の描画画像共有装置。
【請求項7】
前記画像除去部は、前記描画対象物の背景色で塗りつぶされた画像を前記画像送信部に送信させることにより、前記不要な画像を前記描画対象物に表示されている画像から除去することを特徴とする請求項6に記載の描画画像共有装置。
【請求項8】
前記画像除去部は、一定の時間間隔で前記不要な画像を前記描画対象物に表示されている画像から除去することを特徴とする請求項6または請求項7に記載の描画画像共有装置。
【請求項9】
前記画像除去部は、前記撮影装置により撮影された画像、前記結像装置に結像させている画像、および、前記差分画像生成部によって生成された差分画像の少なくとも1つの時系列の変化に応じて、前記不要な画像を前記描画対象物に表示されている画像から除去することを特徴とする請求項6または請求項7に記載の描画画像共有装置。
【請求項10】
前記差分画像生成部は、前記結像装置に結像させている画像に太め処理を施し、太め処理を施した画像と前記撮影装置により撮影された画像とに基づいて、前記差分画像を生成することを特徴とする請求項2乃至請求項9の何れかに記載の描画画像共有装置。
【請求項11】
前記差分画像生成部は、生成した差分画像から、黄緑色および黄色の少なくとも一方の色成分を除去するフィルタを有することを特徴とする請求項2乃至請求項10の何れかに記載の描画画像共有装置。
【請求項12】
複数の描画対象物に描かれた画像を各描画対象物に表示させる描画画像共有システムにおいて、
描画画像共有装置を各描画対象物に対して設け、
前記描画画像共有装置は、
他の描画画像共有装置から送信された画像を受信する画像受信部と、
前記画像受信部によって受信された画像を前記描画対象物に表示する画像表示部と、
前記描画対象物間で画像を共有させる共有領域の画像を取得する共有領域画像取得部と、
前記画像表示部により表示させている画像と前記共有領域画像取得部により取得された画像との前記共有領域の差分を表す差分画像を生成する差分画像生成部と、
前記差分画像を前記他の描画画像共有装置に送信する画像送信部と、を備えたことを特徴とする描画画像共有システム。
【請求項13】
複数の描画対象物に描かれた画像を各描画対象物に表示させる描画画像共有方法において、
描画画像共有装置を各描画対象物に対して設け、
他の描画画像共有装置から送信された画像を受信する画像受信ステップと、
前記画像受信ステップで受信された画像を前記描画対象物に表示する画像表示ステップと、
前記描画対象物間で画像を共有させる共有領域の画像を取得する共有領域画像取得ステップと、
前記画像表示ステップで表示させている画像と前記共有領域画像取得ステップで取得された画像との前記共有領域の差分を表す差分画像を生成する差分画像生成ステップと、
前記差分画像を前記他の描画画像共有装置に送信する画像送信ステップと、を前記描画画像共有装置に実行させることを特徴とする描画画像共有方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2011−151764(P2011−151764A)
【公開日】平成23年8月4日(2011.8.4)
【国際特許分類】
【出願番号】特願2010−103401(P2010−103401)
【出願日】平成22年4月28日(2010.4.28)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】