説明

テレビ対話システム、端末および方法

【課題】 本発明は、テレビ対話システムに関するもので、第1地点、第2地点の対話が円滑に進むようにすることを目的とする。
【解決手段】 第1地点100のプロジェクタ1と第2地点200のプロジェクタ1を用いた資料共有モード動作時には、第1地点100のプロジェクタ1は、投射部5により第1のパーソナルコンピュータ101からの映像を投射面3に投射させるとともに、撮影部7により投射面3の投射映像を撮影し、この撮影映像は、プロジェクタ1の制御部26、または第1のパーソナルコンピュータ101によって、第1のパーソナルコンピュータ101からプロジェクタ1に供給した供給映像と比較し、比較により生じた差異映像を、重畳した状態で、第2地点200のプロジェクタ1に供給する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、テレビ対話システム、端末および方法に関するものである。
【背景技術】
【0002】
テレビ対話システムはテレビ会議などに活用されている。例えば、テレビ対話システムは、第1地点に配置される第1のプロジェクタと、この第1のプロジェクタに接続される第1のパーソナルコンピュータと、この第1のパーソナルコンピュータとの間で通信可能状態に接続されるとともに、第2地点に配置される第2のプロジェクタとを備えている。
【0003】
また、第1のプロジェクタと第2のプロジェクタを用いた資料共有モード動作時には、第1のプロジェクタは、その第1の投射部により第1のパーソナルコンピュータからの映像を第1の投射面に投射させるとともに、第1の撮影部により第1の投射面の投射映像を撮影し、第1のプロジェクタ中に照射されるポインタ画像を検出するようにしている(例えば特許文献1参照)。
【0004】
この従来のシステムにおいて、資料共有モード動作をさせている状態で、第1地点の第1のプロジェクタから第1の投射面に投射させる投射画像に向けてレーザポインタなどでポインタ画像を照射しながら説明を進めている状態では、第1の撮影部により第1の投射面の投射映像を撮影し、第1のプロジェクタ中に照射されるポインタ画像の位置を検出するようにしている。
【0005】
そして、このポインタ画像の位置を、第2地点の第2のプロジェクタに供給することにより、第2のプロジェクタから第2の投射面に投射させる投射画像に、ポインタ画像を重畳するようにしている。
【0006】
このため、第1地点の第1の投射面中に指し示したポインタ位置を、第2地点のメンバーも理解することができ、会議の進行が円滑に行えるようになる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2009−181019号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、従来のシステムにおいては、第1地点においてレーザポインタでポインタ画像を表示させ時にだけ、第2地点のメンバーに対して第1の投射面に投射させる投射画像への指示箇所が理解されるだけで、必ずしも会議の進行が円滑に進むとは限らない状況が発生する。
【0009】
例えば、投射画像への指示を指で行ったり、あるいは他の造形物を重ねたりすることで、指示箇所を表現したり、指示内容を伝えたりする方が、意思を正しく伝えることが出来る場合であっても、ポインタ画像表示を行わなければならず、このときには必ずしも会議の進行、つまり対話が円滑に進むとは限らない状況が発生する。
【0010】
そこで、本発明は、対話が円滑に進むようにすることのできるテレビ対話システムを提供することを目的とするものである。
【課題を解決するための手段】
【0011】
そして、この目的を達成するために、本発明のテレビ対話端末は、他拠点から映像を受信する受信部と、会議モードと資料共有モードとを切り替えるモード選択部と、資料共有モード時に使用する資料データを入力する資料データ入力部と、会議モード時に参加者を撮影する撮影部と、会議モード時に受信部を介して他拠点から受け取った映像を投影面に投影し、資料共有モードでは資料データ入力部から入力された資料データを投影面に投影する投影部と、会議モード時に通信部を介して前記撮影部が撮影した映像を他拠点に送付し、資料共有モード時に前記資料データを他拠点に送付する送信部と、を有するテレビ対話端末において、前記撮影部は、資料共有モード時に前記投影部の投影する投影面を撮影し、資料共有モード時に前記撮影部が撮影した投影部の投影面から重畳を検知する重畳検知部を有し、前記送信部は、前記重畳検知部の検知結果を他拠点に送付することを特徴とする。
【発明の効果】
【0012】
本発明によれば、例えば、投影面へ投影された資料データへの指示を指で行ったり、あるいは他の造形物を重ねたりすることで、指示箇所を表現したり、指示内容を伝えたりする方が、意思を正しく伝えることが出来るときに、その指示内容を他拠点と共有することができ、この結果として対話が円滑に進むようになる。
【図面の簡単な説明】
【0013】
【図1】本発明の第1の実施形態のテレビ対話システムを示す図
【図2】第1の実施形態のテレビ対話システムの動作を示す図
【図3】第1の実施形態のテレビ対話システムの動作フローチャート図
【図4】第1の実施形態のテレビ対話システムの動作シーケンス図
【図5】第1の実施形態のテレビ対話システムの動作を示す図
【図6】第1の実施形態のテレビ対話システムの動作を示す図
【図7】第1の実施形態のプロジェクタの下方からの斜視図
【図8】第1の実施形態のプロジェクタの正面図
【図9】第1の実施形態のプロジェクタの断面図
【図10】第1の実施形態のプロジェクタの下面図
【図11】第1の実施形態のプロジェクタの下ケースの下方からの斜視図
【図12】第1の実施形態のプロジェクタの下ケースの上方からの斜視図
【図13】第1の実施形態のプロジェクタの下ケースの平面図
【図14】第1の実施形態のプロジェクタの下ケースの断面図
【図15】第1の実施形態のプロジェクタの下ケースの正面図
【図16】第1の実施形態のプロジェクタの下ケースと上ケースを切断した斜視図
【図17】第1の実施形態のプロジェクタの下ケースの上方からの斜視図
【図18】第1の実施形態のプロジェクタの制御ブロック図
【図19】本発明の第2の実施形態のテレビ会議端末の構成を示すブロック図
【図20】第2の実施形態のテレビ会議端末の動作を示すフローチャート図
【図21】第2の実施形態のテレビ会議端末のデータの流れを示すシーケンス図
【図22】第2の実施形態のテレビ会議端末における画像合成の例を示す図
【図23】第2の実施形態の重畳検知部の動作を示すフローチャート図
【発明を実施するための形態】
【0014】
以下、本発明の実施形態にかかるテレビ対話システムを、添付図面を用いて説明する。
【0015】
(第1の実施形態)
図1は、第1地点100と、第2地点200間でテレビ会議を行っている状況を示している。具体的には、第1地点100には、プロジェクタ1と、このプロジェクタ1に接続された第1のパーソナルコンピュータ101と、投射面3が配置されている。また、第2地点200には、プロジェクタ1と投射面3が配置されている。
【0016】
そして、第1地点100の第1のパーソナルコンピュータ101は、第2地点200のプロジェクタ1に光ケーブル300を介して接続された状態となっている。また、第1地点100のプロジェクタ1と、第2地点200のプロジェクタ1も光ケーブル300を介して接続された状態となっている。
【0017】
テレビ会議には、図5に示す会議モードと、図6に示す資料共有モードがある。
【0018】
図5に示す会議モードとは、第1地点100に参集しているメンバーの顔が、第1地点100のプロジェクタ1の撮影口(図9の4)を介して撮影部(図9の7)によって撮影され、その顔が、第2地点200のプロジェクタ1の投射部(図9の5)から投射口(図10の2)を介して第2地点200の投射面3に投射される。
【0019】
逆に、第2地点200に参集しているメンバーの顔が、第2地点200のプロジェクタ1の撮影口(図9の4)を介して撮影部(図9の7)によって撮影され、その顔が、第1地点100のプロジェクタ1の投射部(図9の5)から投射口(図10の2)を介して第1地点100の投射面3に投射される。
【0020】
つまり、会議モードとは、第1地点100に参集しているメンバーと、第2地点200に参集しているメンバーが、お互いの顔を見ながら会議を進行するものである。
【0021】
次に、図6に示す資料共有モードとは、本実施形態では、図1のごとく第1地点100の第1のパーソナルコンピュータ101に保持された情報が、第1地点100、第2地点200の両方のプロジェクタ1の投射部(図9の5)から、それぞれの投射面3に投射される状態を指す。
【0022】
つまり、資料共有モードとは、第1のパーソナルコンピュータ101に保持された情報を、第1地点100に参集しているメンバーと、第2地点200に参集しているメンバーで共有した状態で、会議を進行するものである。
【0023】
次に、プロジェクタ1の構造については、図7〜図18を用いて説明する。
【0024】
プロジェクタ1は、図7〜図9からも理解されるように、投射部5を収納した下ケース6と、この下ケース6上において水平方向に回動自在に配置されるとともに、撮影部7を収納した上ケース8によって構成されている。
【0025】
下ケース6は、上面が開口した円筒形となっており、また、上ケース8は下面が開口した円筒形となっている。また、下ケース6の外周面は、下方よりも上方が拡径した円筒形となっており、このような形状の下ケース6の外周面に、図10のごとく投射口2を設け、この投射口2に対して図9のごとく投射部5が連結されている。
【0026】
さらに、図7〜図9のごとく、上ケース8の外周面は、下方よりも上方が縮径した円筒形となっており、このような形状の上ケース8の外周面に、撮影口4を設け、この撮影口4に対して撮影部7が連結されている。
【0027】
また、下ケース6の外周面で、投射口2の近傍には、図10、図11のごとく冷却風放出口9を設けており、さらに下ケース6の下面には、冷却取込口10と、スピーカ放音口11とを設けている。
【0028】
つまり、図10に示す投射部5の送風機12を駆動すると、冷却取込口10から冷却風が下ケース6の投射部5内に取り込まれ、この投射部5を冷却したことで温風となった風は、冷却風放出口9から下ケース6外に放出される。
【0029】
このとき、下ケース6外に放出される温風は、投射口2の近傍の冷却風放出口9から放出されるようにしているので、会議の参加者に不快感を与えることが少ない。すなわち、投射口2の近傍にテレビ会議の参加者が陣取ることはないので、その参加者に向けて温風が吹き付けられることがないのである。
【0030】
また、投射部5においては、図13からも理解されるように、その上方に、冷却風放出口9へと温風を導く送風路13を形成している。なお、図13は、送風路13の説明のために、図12に示す投射部5の上面カバー14を除いた状態を示したものである。
【0031】
次に、下ケース6上において水平方向に回動自在に配置されるとともに、撮影部7を収納した上ケース8について説明する。
【0032】
下ケース6の中心部分には、図9、図12、図13に示すように回転軸15が立設され、この回転軸15はこの立設状態で水平方向に回転自在となっている。また、この回転軸15の上部には、図12〜図14、図17に示すように、架台16が一体化されている。
【0033】
この架台16は、水平方向に配置された中央の固定部17が回転軸15の上部に一体化され、その両側の上方への立上面18に、図12、図13、図15、図17のごとく撮影部7が角度調整つまみ19で角度調整自在な状態で取り付けられている。
【0034】
また、上ケース8は、図16のごとく、その上面下から下方に延長された固定片20を架台16の固定部17に固定することで、架台16に一体化されている。つまり、下ケース6の下面上に回転自在に配置された回転軸15に架台16を固定し、また、この架台16に撮影部7と上ケース8を一体化させることで、上ケース8を水平方向に回転させれば、撮影部7も一体となって回転することになるのである。
【0035】
つまり、図1で示したテレビ会議中において、相手方の映像を投射口2から図1、図7に示す投射面3に投射した状態(つまり下ケース6は動かさない状態)で、こちら側の発言者が変わるときには、上ケース8を水平方向に回転させるだけで、その発言者に撮影口4、撮影部7を向けることが出来、極めて操作性の良いものとなる。
【0036】
また、このときのこちら側の発言者の声は、上ケース8の上面に設けた集音口21から図9に示すマイクロホン22に集音されるようになっているので、上ケース8が発言者によって順次回転しても、発言者の声を効果的に集音することが出来る。
【0037】
また、相手方の発言者の声は、図10に示す、下ケース6の下面下に設けたスピーカ放音口11から放出されるが、上述のごとく、上ケース8の上面に集音口21を設けているので、ハウリングの発生を抑制することが出来る。
【0038】
この点について、さらに説明すると、下ケース6の外周面は、上述のごとく、下方よりも上方が拡径した円筒形となっており、また上ケース8の外周面は、下方よりも上方が縮径した円筒形となっている。つまり異なる傾斜面としているので、その点からも下ケース6の下面下に設けたスピーカ放音口11から放出される音が、上ケース8の上面に設けた集音口21に回り込みにくく、これによって、ハウリングの発生を抑制する効果の高いものとなる。
【0039】
また、下ケース6の外周面に設けた冷却風放出口9からの送風音も、下ケース6の外周面と、上ケース8の外周面に上述した傾斜を設けることで、送風音が上ケース8の上面に設けた集音口21に回り込みにくく、これによって、音声のクリア度を阻害することも少なくなる。
【0040】
なお、本実施形態においては、下ケース6の下面で、投射口2の近傍とその後方に投射調整用の上下脚23を設けているので、その長さを調整することで、投射調整が行えるようになっている。また、下ケース6の外周面には、電源供給端子24を設けている。
【0041】
図18は、制御ブロック図を示しており、投射部5、撮影部7、送風機12、マイクロホン22、スピーカ放音口11の内側に配置したスピーカ25はいずれも制御部26に接続されている。
【0042】
また、制御部26には第1のパーソナルコンピュータ101、または光ケーブル300の少なくとも一方が接続されるI/F部27、電源供給端子24に繋がる電源部28が接続されている。
【0043】
さらに、制御部26に接続されたモード選択部29は、第1地点100に参集しているメンバーと、第2地点200に参集しているメンバーとの間で、会議モードで会議をするか、または資料共有モードで会議をするかを選択するものである。
【0044】
以上の構成において、図1のごとく、会議モードで、第1地点100に参集しているメンバーと、第2地点200に参集しているメンバーが、お互いの顔を見ながら会議を行う場合には、図18に示したモード選択部29で、会議モードを選択する(図3のS1)。
【0045】
また、第1地点100、第2地点200ともに、それぞれのプロジェクタ1の撮影口4を、参加者にむける(図3のS2)。
【0046】
すると、第1地点100に参集しているメンバーの顔が、第1地点100のプロジェクタ1の撮影口4を介して撮影部7によって撮影され、その顔が、第2地点200のプロジェクタ1の投射部5から投射口2を介して第2地点200の投射面3に投射される。
逆に、第2地点200に参集しているメンバーの顔が、第2地点200のプロジェクタ1の撮影口4を介して撮影部7によって撮影され、その顔が、第1地点100のプロジェクタ1の投射部5から投射口2を介して第1地点100の投射面3に投射される(図3のS3、S4)。
【0047】
つまり、第1地点100と、第2地点200のそれぞれのプロジェクタ1のモード選択部29で、会議モードを選択すると、第1地点100に参集しているメンバーと、第2地点200に参集しているメンバーが、それぞれに配置された投射面3に投射された相手方参加メンバーの顔を見ながら会議を進行することができるものである。
【0048】
また、この会議モードにおいて、こちら側の発言者が変わるときには、相手方の映像を投射口2から図1、図7に示す投射面3に投射した状態(つまり下ケース6は動かさない状態)で、上ケース8を水平方向に回転させるだけで、その発言者に撮影口4、撮影部7を向けることが出来、極めて操作性の良いものとなる。
【0049】
また、この時の、こちら側の発言者の声は、上ケース8の上面に設けた集音口21から図9に示すマイクロホン22に集音されるようになっているので、上ケース8が発言者によって順次回転しても、発言者の声を効果的に集音することが出来る。
【0050】
また、相手方の発言者の声は、図10に示す、下ケース6の下面下に設けたスピーカ放音口11から放出されるが、上述のごとく、上ケース8の上面に集音口21を設けているので、ハウリングの発生を抑制することが出来る。
【0051】
次に、図6に示す資料共有モードで会議を行う時には、第1地点100と、第2地点200のそれぞれのプロジェクタ1のモード選択部29で、資料共有モードを選択する(図3のS1)。
【0052】
すると、本実施形態では、図1のごとく第1地点100の第1のパーソナルコンピュータ101に保持された情報が、第1地点100、第2地点200の両方のプロジェクタ1の投射部5から、それぞれの投射面3に投射される。
【0053】
その結果、第1のパーソナルコンピュータ101に保持された情報を、第1地点100に参集しているメンバーと、第2地点200に参集しているメンバーで共有した状態で、会議を進行することができる。
【0054】
この資料共有モードでは、上述のごとく、第1のパーソナルコンピュータ101に保持された情報を、第1地点100に参集しているメンバーと、第2地点200に参集しているメンバーで共有した状態で、会議を進行することができるので、図1のごとく、例えば、第1地点100の参加メンバーが、グラフのここが問題と発言することがある。
【0055】
その声は第2地点200の参加メンバーにも届いているが、第1地点100に参集しているメンバーがグラフのどの部分を指しているのかが理解できず、会議の進行がスムーズなものとはならない。
【0056】
そこで、本実施形態では、プロジェクタ1のモード選択部29で、資料共有モードを選択したときには、第1地点100のプロジェクタ1の撮影口4を、この第1地点100の投射面3に向ける(図3のS5)。
【0057】
つまり、第1地点100においては、そのプロジェクタ1の投射部5から投射口2を介して投射面3に、第1のパーソナルコンピュータ101に保持された情報が投射されているので、この投射面3の状態を、第1地点100のプロジェクタ1の撮影口4を介して撮影部7で撮影するのである(図3のS6)。
【0058】
すなわち、本実施形態においては、資料共有モード動作時には、第1地点100のプロジェクタ1の投射部5により第1のパーソナルコンピュータ101からの映像(図2のa)を投射面3に投射させるとともに、撮影部7により投射面3の投射映像を撮影する。
【0059】
そして、この第1地点100の撮影部7による撮影映像は、この第1地点100のプロジェクタ1の制御部26、または第1のパーソナルコンピュータ101によって、第1のパーソナルコンピュータ101から第1地点100のプロジェクタ1に供給した供給映像と比較し、この比較により生じた差異映像を検出する(図2のdと、図3のS7)。
【0060】
次に、この第1地点100のプロジェクタ1の制御部26、または第1のパーソナルコンピュータ101は、第1のパーソナルコンピュータ101から第1地点100のプロジェクタ1への供給映像に重畳した状態(図2のeと、図3のS8)で、第2地点200のプロジェクタ1に供給する(図3のS9)。
【0061】
このため、第1地点100におけるメンバーが、グラフのどこを指したのかが正しく理解でき、第1地点100、第2地点200の対話が円滑に進むようになるのである。
【0062】
また、第2地点200のプロジェクタ1に供給されるデータは基本的には、第1のパーソナルコンピュータ101に保持された情報であるので、第2地点200においてもクリアに表示されることとなるので、この点からも第1地点100、第2地点200の対話が円滑に進むようになるのである。
【0063】
また、差異映像を送信するようにすれば、第1地点100におけるメンバーが、意思を正しく伝えるために、例えば、投射画像への指示を指で行ったり、あるいは他の造形物を重ねたりすることもでき、この点からも、第1地点100、第2地点200の対話が円滑に進むようになるのである。
【0064】
なお、図2における図2のbは、第1地点100の投射面3の映像を撮影部7により撮影した状態を示し、この状態では歪んだ映像となって、第1のパーソナルコンピュータ101に保持された情報との比較が難しくなるので、図2のcのごとく、図2のbの映像を修正し、その状態で比較を行うようにしたものである。
【0065】
また、図4は、どのタイミングで比較を行うかを示したものである。つまり、プロジェクタ1内には図4のごとくメモリ30を設けており、このメモリ30は制御部26に接続している。
【0066】
資料共有モード動作時には、第1のパーソナルコンピュータ101からの映像をメモリ30に記憶させるとともに、このメモリ30に記憶させた映像を投射部5により投射させる構成としている。そして、投射部5からの投射映像を撮影部7で撮影し、この撮影映像をメモリ30に記憶させる。
【0067】
メモリ30にはこのようにして二つの映像が記憶されているので、制御部26における両者の比較は極めて行いやすいものとなる。
【0068】
なお、メモリ30に二番目に記憶された情報と、その時に第1のパーソナルコンピュータ101から出力されている映像を比較すると、タイムラグによる差異が発生する場合があるので、このようにメモリ30を利用する方が好ましい。
【0069】
また、上記実施形態においては、第2地点200にはパーソナルコンピュータを設けていないが、第2地点200にもパーソナルコンピュータを設け、そこのプロジェクタ1と接続しても良く、そうすれば両方向から資料を提供するようにすることも出来る。
【0070】
また、撮影部7による撮影映像と、第1のパーソナルコンピュータ101に保持された情報との比較は、プロジェクタ1の制御部26で行っても、それに接続したパーソナルコンピュータで行っても良い。
【0071】
(第2の実施形態)
本発明の第2の実施形態について図を用いて説明する。図19は本発明の第2の実施形態におけるテレビ会議端末1900の構成を示すブロック図である。
【0072】
テレビ会議端末1900は、他拠点のテレビ会議端末1960とネットワーク1950を介して接続されている。テレビ会議端末1900は、他拠点のテレビ会議端末1960とデータの送受信を行う受信部1901と送信部1902、投影を行う投影部1903、会議モードか資料共有モードかを選択するモード選択部1905、カメラなどの撮影部1906、資料共有モードの際に共有される資料の電子データを保持する電子データ保持部1907、投影されている資料の上に重畳された内容を検知する重畳検知部1908と、資料の電子データと検知された重畳内容とを合成する合成部1909を有する。
【0073】
受信部1901は、通信機能を持ち、他拠点のテレビ会議端末1960から他拠点での会議の模様の映像をネットワーク1950を経由して受け取り、受け取ったデータを投影映像選択部1904に送信する。
【0074】
モード選択部1905は、ユーザからの指示にもとづいて会議モードと資料共有モードの2つのモードの切り替えを行い、切り替えたモードに関する情報を投影映像選択部1904と撮影部1906と送信部1902に送信する。会議モードでは、各拠点での会議参加者の撮影映像を他拠点に送信し、自拠点で他拠点から送られた映像が投影される。資料共有モードでは自拠点で保持する資料が他拠点と共有され、自拠点と他拠点とで資料が投影される。モードの切り替え方法としては、本体に設けられたスイッチで選択する方法や、撮影部1906の向きを検知して自動で設定する(カメラが参加者に向けた場合は会議モード、投影画面に向けた場合は資料共有モードにする)方法などが考えられる。
【0075】
電子データ保持部1907は、資料共有モード時に使用する資料の電子データを保持する。なお、電子データ保持部1907は、必ずしもテレビ会議端末1900の本体内部に設置される必要はなく、インターフェース(例えばディスプレイケーブルや無線LANなど)のみテレビ会議端末1900に設けておき外部端末(ノートパソコンや記録媒体など)を接続してデータを取得可能にしてもよい。
【0076】
投影映像選択部1904は、モードに応じて投影する内容を選択する。投影映像選択部1904はモード選択部1905から送信されたモードが会議モードの場合は、受信部1901から受け取った他拠点での会議の様子を表す映像を投影部1903に送信し、資料共有モードの場合は、電子データ保持部が保持する資料の電子データを投影部1903に送信する。
【0077】
投影部1903は、例えばプロジェクタやディスプレイなどであり、映像を投影する機能を持つ。投影部1903は投影映像選択部1904から送信された映像を投影する。
【0078】
撮影部1906は、例えばカメラなどであり、撮影機能を持つ。撮影部1906は投影部1903の投影した映像と会議の参加者の両方を撮影範囲に持つ。撮影部1906は会議モードの場合は会議の参加者を撮影し撮影映像を送信部1902に送信し、資料共有モードの場合は投影部1903の投影した投影面を含むように撮影し、投影映像を重畳検知部1908に送信する。撮影部1906は会議の参加者と投影部1903の投影した映像の両方を撮影範囲に持つためにパンチルト機能を持っていてもよいし、広角撮影機能をもっていてもよい。パンチルト機能を持っている場合には、モードが会議モードの場合には会議の参加者を撮影し、資料共有モードの場合には投影部1903の投影した映像を撮影するようにカメラの向きを変更する。カメラの向きはあらかじめユーザが設定しておけばよいし、手動で動かしてもよい。
【0079】
重畳検知部1908は、資料共有モードの際に、投影部1903から投影された投影面上に会議の参加者の身体の一部(例えば手の先端など)、物体(例えば指し棒など)や光線(レーザポインタの光線など)を重畳させているかどうかを検知する。ここでいう重畳とは、会議において会議の参加者が投影された映像上の箇所を指し示すためにの指示体(手の先、指し棒、レーザポインタの光線など)を撮影部1906と投影面との間に配置している(指示体を投影された映像に重ねるようにしている状態である)ことを表す(例えば、図1の第1地点100での投影面3には人の手が重畳している)。重畳検知部1908は、電子データ保持部1907が保持する資料の電子データと撮影部が撮影した資料が投影されている映像とに基づいて重畳を検知し、検知した重畳に関する情報を合成部1909に送信する。重畳に関する情報としては、重畳している領域の重畳座標情報と、撮影部1906が撮影した映像のうち重畳している領域の映像である重畳映像である。
【0080】
合成部1909は、重畳検知部1908から受け取った重畳映像を電子データ保持部1907が保持する資料の電子データと合成する。合成にあたっては、例えば図2のeに示すように、資料の電子データの映像上の重畳座標情報に対応する位置に重畳映像を合成する。なお、資料の電子データの映像上の重畳座標情報に対応する位置に重畳映像ではなく、ポインタやアイコンなどの絵を重畳してもよい。合成した映像データは送信部1902に送信する。なお、合成部1909は自拠点の端末1900に設けられる必要はなく、自拠点の端末1900では重畳に関する情報と資料の電子データの両方を送信し、他拠点側で合成などの処理を行ってもよい。自拠点の端末1900からは他拠点の端末1960に資料の電子データと重畳座標情報だけを送り、他拠点の端末1960で用意されたポインタやアイコンを重畳座標情報にもとづいて資料の電子データと合成してもよい。
【0081】
送信部1902は、モード選択部1905から送信されたモードが、会議モードの場合には撮影部1906から送信された映像を、資料共有モードの場合は合成部1909から送信された映像を他拠点のテレビ会議端末1960に送信する。
【0082】
なお、自拠点と他拠点が1つずつの場合について説明したが、3拠点以上が接続したテレビ会議においてもPeer to Peer接続型の場合は自拠点の端末から2つ以上の他拠点に対して同じ動作を行えばよく、MCU(他拠点接続装置)を介する場合には、他拠点の端末をMCUと読みかえればよい。
【0083】
図20は、本発明の第2の実施形態におけるテレビ会議端末1900の動作を表すフローチャート図である。以下、フローチャート図に沿ってテレビ会議端末1900の動作について説明する。
【0084】
はじめに、モード選択部1905で会議モードが選択されている場合について説明する(S2001のYes)。会議モードの場合は、受信部1901が受け取った他拠点からの映像を投影部1903が投影する(S2002)。続いて、撮影部1906のカメラを参加者の方向に向け(S2003)、撮影部1906が参加者を撮影し(S2004)、撮影した映像を送信部1902が他拠点に送信する(S2005)。続いて、モード選択部1905で資料共有モードが選択されている場合について説明する(S2001のNo)。資料共有モードの場合には、電子データ保持部1907の保持する資料の電子データを投影部1903が投影面に投影する(S2006)。続いて、撮影部1906のカメラを投影部1903の投影する投影面に向け(S2007)、撮影部1906が投影画面を撮影する(S2008)。撮影部1906が撮影した映像と、資料の電子データに基づいて、重畳検知部1908が重畳を検知し(S2009)、検知内容に基づいて資料の電子データに重畳内容を合成した映像を作成し他拠点に送信する(S2010)。最後に、テレビ会議端末が終了しているかを判定し(S2011)、終了していない場合(S2011のNo)はS2001に戻りモードに応じた動作を継続する。終了の場合(S2011のYes)はテレビ会議端末を終了する。
【0085】
続いて、重畳を検知する際の詳細について説明する。図21は、本実施形態におけるテレビ会議端末のデータの流れを示すシーケンス図である。電子データ保持部1907の保持する資料の電子データは映像やスライド資料などで時刻とともに内容が変化する場合が多い。そのため、重畳を検知する際には撮影部1906が撮影した資料の投影映像に対応する電子データを用いる必要がある。重畳検知部1908が重畳の検出に用いる撮影部1906の撮影した映像と電子データ保持部1907の保持する資料の電子データの取得タイミングについて図21を用いて具体的に説明する。
【0086】
はじめに、電子データ保持部から時刻t1に資料の映像転送が開始され投影部1903は時刻t2に電子データを受け取り、時刻t3に投影処理を行う。撮影部1906は時刻t4に時刻t3に投影された投影映像の撮影を行い、撮影部1906のメモリに時刻t5に記録する。重畳検知部では時刻t6に撮影部1906のメモリから投影映像を取得する。つまり、時刻t6に取得された投影映像に対応する電子データ保持部の保持する電子データは時刻t1のものである必要がある。異なる時刻の電子データと時刻t6で取得した投影映像とを比較すると正しい比較ができない可能性がある。このように、重畳検知部は時刻t6から時刻t1のタイムラグを考慮したデータの比較を行う。
【0087】
なお、重畳検知部の重畳を検知する方法については第1の実施形態で図2を用いて説明した方法を用いればよい。図2のaが電子データ保持部の保持する図21の時刻t1での資料の電子データに相当し、図2のbが撮影部1906によって図21の時刻t4に撮影され時刻t6に重畳検知部に読み込まれた投影映像に相当する。投影映像と電子データは直接比較できないため、図2のcにあるように、投影映像を補正して電子データと比較できるようにする。この補正は、投影されている領域は輝度が高いことを利用して投影領域だけを切り出すなどすればよい。続いて、図2のdのように資料データと補正された投影映像との差分領域を検出する。この差分領域が人の身体の一部などの重畳している部分である。差分領域の検出には一般的な画像認識技術で用いられる技術を利用すればよく、それぞれの画像の輝度や色調の補正を行い比較しやすくしてもよい。最後に図2のeのように検出された差分領域については図2のcの補正された投影映像の画像を、残りの領域については図2のaの資料の電子データの画像を合成した画像を作成する。なお、差分領域全体について投影映像を合成する必要はなく、差分領域の一部のみを投影画像を合成してもよい。これにより、資料画面を覆う面積を少なくすることができる。図22は、差分領域の一部のみを投影画像を合成している例である。図22(a)は、検出された差分領域(重畳領域)である。この差分領域に対して、図22(b)は、差分領域全体を投影画像で置き換えた例である。図22(c)は、差分領域の一部(指先に相当する部分)を投影画像で置き換えた例である。図22(c)では、図22(b)では隠れている資料データを見ることができる。
【0088】
図23は、本発明の第2の実施形態における重畳検知部1908の動作を表すフローチャート図である。以下、図23を用いて重畳を検出する際の動作を説明する。はじめに重畳検知部1908は電子データ保持部1907に保持されている資料の電子データを読み込む(S2301)。続いて、撮影部1906が撮影した投影面を含む撮影データを読み込む(S2302)。この撮影データから、投影面に該当する箇所を抽出する(S2303)。抽出の方法は前述したように輝度が高い領域を投影面として抽出する他に、あらかじめ投影面の位置が分かっている場合はその情報に基づいて(例えば、投影面と撮影部1906との位置関係と撮影部1906のカメラの画角情報が分かればから撮影データ内のどの箇所が投影面に該当するかを計算することができる)求めてもよい。続いて、撮影データから抽出された投影面の画像と資料データとを比較しその差分を抽出する(S2304)。この抽出された差分領域が指示体に該当する。
【0089】
なお、自拠点の端末で資料共有モード時に投影部1903が投影する映像は電子データ保持部が保持する資料の電子データであったが、これを合成部1909が出力する映像を投影してもよい。合成部1909が出力する映像は他拠点の端末で表示される映像であるため、他拠点でどのように表示されているかを自拠点にいる人が知ることができ、資料の文字などがアイコンやポインタによって隠れていないかなどの確認ができる。この場合は、重畳検知部1908は重畳を検知するためには撮影部1906の出力と合成部1909の出力を比較して差分を取ればよい。
【0090】
また、会議モードと資料共有モードを並列して同時に動作させてもよい。この場合、投影映像選択部1904は画面を分割して右側に受信部1901から受け取った他拠点の映像を、左側に電子データ保持部1907から受け取った資料の電子データを投影する。
【0091】
また、重畳検知部1908が指示体が撮影部1906と投影面との間に配置されているかを検知する方法として差分以外を用いる検出方法でもよい。例えば、あらかじめ指示体の形状を学習しておき、画像内から学習した指示体を検出することで検知してもよい。また、撮影部1906をステレオカメラなどの測距可能なカメラにして、撮影部1906と投影面との間に指示体が配置されているかを測距結果を用いて検知してもよい。
【0092】
以上のように、本発明の第2の実施形態ではテレビ会議の資料共有モードにおいて、会議の参加者が資料の投影面を指差すなどした場合に、他拠点の参加者にとってどこを指差しているか分からないという課題を解決し、どこを指差しているかを臨場感を持って理解することができる。このような資料データと投影面とを比較してどこを指し示しているかを検知する方法では、事前にポインタの形状などを学習する必要がなく身体の一部など形状の変わりやすいものを検知する場合に特に適している。
【産業上の利用可能性】
【0093】
以上のように本発明におけるテレビ対話システムでは、第1のプロジェクタと第2のプロジェクタを用いた資料共有モード動作時には、第1のプロジェクタの第1の投射部により第1のパーソナルコンピュータからの映像を第1の投射面に投射させるとともに、第1の撮影部により第1の投射面の投射映像を撮影し、この第1の撮影部による撮影映像は、この第1のプロジェクタの第1の制御部、または第1のパーソナルコンピュータによって、第1のパーソナルコンピュータから第1のプロジェクタに供給した供給映像と比較し、この比較により生じた差異映像を、第1のパーソナルコンピュータから第1のプロジェクタへの供給映像に重畳した状態で、第1のプロジェクタ、または第1のパーソナルコンピュータから、第2のプロジェクタに供給する構成としたものである。
【0094】
このため、例えば、投射画像への指示を指で行ったり、あるいは他の造形物を重ねたりすることで、指示箇所を表現したり、指示内容を伝えたりする方が、意思を正しく伝えることが出来るときには、その指示内容映像を第2地点の第2のプロジェクタから第2の投射面に投射することができ、この結果として、第1地点、第2地点の対話が円滑に進むようになるのである。したがって、本発明にかかるテレビ対話システムは、テレビ会議などに活用されることが期待される。
【符号の説明】
【0095】
1 プロジェクタ
2 投射口
3 投射面
4 撮影口
5 投射部
6 下ケース
7 撮影部
8 上ケース
9 冷却風放出口
10 冷却取込口
11 スピーカ放音口
12 送風機
13 送風路
14 上面カバー
15 回転軸
16 架台
17 固定部
18 立上面
19 角度調整つまみ
20 固定片
21 集音口
22 マイクロホン
23 上下脚
24 電源供給端子
25 スピーカ
26 制御部
27 I/F部
28 電源部
29 モード選択部
30 メモリ
100 第1地点
101 第1のパーソナルコンピュータ
200 第2地点
300 光ケーブル
1900 テレビ会議端末
1901 受信部
1902 送信部
1903 投影部
1904 投影映像選択部
1905 モード選択部
1906 撮影部
1907 電子データ保持部
1908 重畳検知部
1909 合成部

【特許請求の範囲】
【請求項1】
他拠点から映像を受信する受信部と、
会議モードと資料共有モードとを切り替えるモード選択部と、
資料共有モード時に使用する資料データを入力する資料データ入力部と、
会議モード時に参加者を撮影する撮影部と、
会議モード時に受信部を介して他拠点から受け取った映像を投影面に投影し、資料共有モード時に資料データ入力部から入力された資料データを投影面に投影する投影部と、
会議モード時に通信部を介して前記撮影部が撮影した映像を他拠点に送付し、資料共有モード時に前記資料データを他拠点に送付する送信部と、
を有するテレビ対話端末において、
前記撮影部は、資料共有モード時に前記投影面を含む領域を撮影し、
資料共有モード時に前記撮影部が撮影した前記投影面を含む領域の撮影データから前記投影面と前記撮影部との間に配置された指示体を検知する検知部を有し、
前記送信部は、前記検知部の検知結果を他拠点に送付するテレビ対話端末。
【請求項2】
請求項1記載のテレビ対話端末であって、
前記検知部は、前記撮影部が撮影した前記投影面を含む領域の撮影データと前記資料データ入力部から入力された前記資料データとを比較して前記投影面と前記撮影部との間に配置された指示体を検知するテレビ対話端末。
【請求項3】
請求項2記載のテレビ対話端末であって、
前記検知部は前記指示体の投影面に対する位置情報を求め、
前記送信部は、前記検知部によって検知された指示体の位置情報を送信するテレビ対話端末。
【請求項4】
請求項2記載のテレビ対話端末であって、
前記検知部は前記指示体の投影面に対する位置情報を求め、
前記送信部は、前記資料データに前記検知部が検知した位置情報に対応する箇所に図形を合成して送信するテレビ対話端末。
【請求項5】
請求項2記載のテレビ対話端末であって、
前記送信部は、前記撮影データのうち前記検知部によって検知された指示体に対応する領域を含む画像を前記資料データと合成して送信するテレビ対話端末。
【請求項6】
請求項1記載のテレビ対話端末であって、
前記検知部は、前記撮影部が撮影した前記投影部の投影面から事前に学習した指示体の形状を検知することで指示体を検知するテレビ対話端末。
【請求項7】
請求項1記載のテレビ対話端末であって、
前記撮影部は対象までの距離を測る測距可能なステレオカメラであり、撮影データに加え測距データを生成し、
前記検知部は、前記撮影部が前記投影面を含む領域を撮影したの測距データを用いて指示体を検知するテレビ対話端末。
【請求項8】
請求項1記載のテレビ対話端末を用いたテレビ対話システム。
【請求項9】
画像データを保持する画像データ保持ステップと、
投影面に前記画像データを投影する投影ステップと、
前記投影ステップで投影された投影面を含む領域を撮影する撮影ステップと、
前記画像データと前記撮影ステップで撮影した撮影データとを比較し、前記投影面と撮影部との間に配置された指示体を検知する検知ステップと、
前記検知ステップの検知結果と前記画像データとを出力する出力ステップと
を備えるテレビ対話方法。
【請求項10】
資料データを入力する資料データ入力部と、
資料データ入力部から入力された資料データを投影面に投影する投影部と、
前記資料データを他拠点に送信する送信部と、
を有するテレビ対話端末において、
前記撮影部は、前記投影面を含む領域を撮影し、
前記撮影部が撮影した前記投影面を含む領域の撮影データと前記資料データ入力部から入力された前記資料データとを比較して前記投影部と前記撮影部との間に配置された指示体を検知する検知部を有し、
前記送信部は、前記検知部の検知結果を他拠点に送付するテレビ対話端末。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図5】
image rotate

【図17】
image rotate


【公開番号】特開2013−70368(P2013−70368A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2012−193806(P2012−193806)
【出願日】平成24年9月4日(2012.9.4)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】