ビデオコミュニケーションシステム、方法およびプログラム
【課題】映像重畳装置のユーザとモバイル端末のユーザとが位置、方向感を共有することを可能にする。
【解決手段】モバイル端末２の座標・ポインタ管理部２４は、ユーザの視線の移動量またはユーザがポインティングした位置のポインタ情報を計算する。映像重畳装置１の映像合成部１２は、視線の移動量またはポインタ情報を取得したときに、モバイル端末２から送信された撮影映像を表示する領域の形状が視線の移動量またはポインタ情報に応じて変化するように、モバイル端末２から送信された撮影映像を合成して表示部１１に表示させる。モバイル端末２の映像合成部２２は、映像重畳装置１の表示部１１の位置にモバイル端末２のユーザが立っていると仮定したときにユーザから見える映像が表示されるように、映像重畳装置１から送信された映像を合成して表示部２１に表示させる。
【解決手段】モバイル端末２の座標・ポインタ管理部２４は、ユーザの視線の移動量またはユーザがポインティングした位置のポインタ情報を計算する。映像重畳装置１の映像合成部１２は、視線の移動量またはポインタ情報を取得したときに、モバイル端末２から送信された撮影映像を表示する領域の形状が視線の移動量またはポインタ情報に応じて変化するように、モバイル端末２から送信された撮影映像を合成して表示部１１に表示させる。モバイル端末２の映像合成部２２は、映像重畳装置１の表示部１１の位置にモバイル端末２のユーザが立っていると仮定したときにユーザから見える映像が表示されるように、映像重畳装置１から送信された映像を合成して表示部２１に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した撮影映像と他地点の撮影映像とを重ね合わせて表示することにより遠隔地点間での同期コミュニケーションを円滑にするビデオコミュニケーションシステムに係り、特にユーザを取り囲むようにディスプレイを配置して構成された映像重畳装置とモバイル端末とを接続する技術に関するものである。
【背景技術】
【０００２】
遠隔地間で同期的なコミュニケーションを行うようなビデオ共有面によるビデオコミュニケーションシステムが知られている（非特許文献１，２参照）。非特許文献１，２に開示されたシステムは、図１０のように、ユーザ１００−Ａを含む地点Ａの映像をビデオカメラ１０１−Ａで撮影し、撮影した映像からディスプレイ１０２−Ａに表示されている表示映像を除去し、表示映像を除去した地点Ａの映像を地点Ｂに送って、地点Ｂのディスプレイ１０２−Ｂに表示させるシステムである。このときのディスプレイの面をビデオ共有面と呼ぶ。同様に、ユーザ１００−Ｂを含む地点Ｂの映像をビデオカメラ１０１−Ｂで撮影し、撮影した映像からディスプレイ１０２−Ｂに表示されている表示映像を除去し、表示映像を除去した地点Ｂの映像を地点Ａに送って、地点Ａのディスプレイ１０２−Ａに表示させる。
【０００３】
非特許文献１，２に開示されたシステムによれば、ビデオ共有面の表面付近では遠隔地間でオブジェクトの位置関係が共有されるため、ポインティングなどの身体的ジェスチャも、同じ地点で対面しているときと同じような感覚で利用することができる。
さらに、非特許文献１，２に開示されたシステムでは、ユーザの回りを上記のビデオ共有面で囲むようにして空間を構成することで、システム内にいる遠隔地のユーザ同士が位置、距離感、方向感などを共有することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】梶克彦，平田圭二，原田康徳，「t-Roomの仮想共有面と過去再生機能を用いたアプリケーションについて」，7th Forum on Information Technology (FIT2008)，第４分冊，RM-005，pp.51-54，IPSJ/IEICE-ISS，2008
【非特許文献２】梶克彦，平田圭二，「社会的インタラクションのコンテンツ化のためのアーキテクチャ」，社団法人情報処理学会，グループウェアとネットワークサービスワークショップ2007(GNWS2007) 予稿集，pp.119-124，2007
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１，２に開示されたシステムでは、複数地点のユーザ同士が空間を共有するために各地点に等身大のディスプレイを複数個並べる構成となっているため、装置が大きくコストがかかり、個人でこのようなシステムを利用することが難しいという問題点があった。
【０００６】
本発明は、上記課題を解決するためになされたもので、ユーザを取り囲むようにディスプレイを配置して構成された映像重畳装置とモバイル端末とを接続したときに、映像重畳装置のユーザとモバイル端末のユーザとが位置、距離感、方向感などを共有することを可能にし、モバイル端末のユーザがビデオコミュニケーションシステムを利用することを可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明のビデオコミュニケーションシステムは、ユーザを取り囲むように表示手段を配置して構成された映像重畳装置と、この映像重畳装置とネットワークを介して接続されたモバイル端末とを備え、前記映像重畳装置は、映像を表示可能な第１の表示手段と、カメラを用いて映像を撮影する第１の撮影手段と、この第１の撮影手段によって撮影された撮影映像を前記モバイル端末に送信する第１の送信手段と、前記第１の撮影手段によって撮影された撮影映像と前記モバイル端末から送信された撮影映像とを合成して前記第１の表示手段に表示させ、前記モバイル端末から視線の移動量またはポインタ情報を取得したときは、前記モバイル端末から送信された撮影映像を表示する領域の形状が前記視線の移動量またはポインタ情報に応じて変化するように、前記モバイル端末から送信された撮影映像を合成して前記第１の表示手段に表示させる第１の映像合成手段とを有し、前記モバイル端末は、映像を表示可能な第２の表示手段と、カメラを用いて映像を撮影する第２の撮影手段と、この第２の撮影手段によって撮影された撮影映像を前記映像重畳装置に送信する第２の送信手段と、前記モバイル端末のユーザの指示に応じてユーザの視線の移動量またはユーザがポインティングした位置の座標を示すポインタ情報を計算し、視線の移動量の情報またはポインタ情報を前記映像重畳装置に送信する管理手段と、前記映像重畳装置の第１の表示手段の位置にモバイル端末のユーザが立っていると仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記第２の表示手段に表示させ、前記管理手段から視線の移動量の情報を取得したときは、この移動量の分だけモバイル端末のユーザが視線を移動させたと仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記第２の表示手段に表示させる第２の映像合成手段とを有することを特徴とするものである。
【０００８】
また、本発明は、ユーザを取り囲むように表示手段を配置して構成された映像重畳装置と、この映像重畳装置とネットワークを介して接続されたモバイル端末とを用いて遠隔地点間での同期コミュニケーションを実現するビデオコミュニケーション方法であって、前記映像重畳装置の第１の撮影手段が、カメラを用いて映像を撮影する第１の撮影ステップと、前記映像重畳装置の第１の送信手段が、前記第１の撮影手段によって撮影された撮影映像を前記モバイル端末に送信する第１の送信ステップと、前記モバイル端末の第２の撮影手段が、カメラを用いて映像を撮影する第２の撮影ステップと、前記モバイル端末の第２の送信手段が、前記第２の撮影手段によって撮影された撮影映像を前記映像重畳装置に送信する第２の送信ステップと、前記映像重畳装置の第１の映像合成手段が、前記第１の撮影手段によって撮影された撮影映像と前記モバイル端末から送信された撮影映像とを合成して前記映像重畳装置の第１の表示手段に表示させる第１の映像表示ステップと、前記モバイル端末の第２の映像合成手段が、前記映像重畳装置の第１の表示手段の位置にモバイル端末のユーザが立っていると仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記モバイル端末の第２の表示手段に表示させる第２の映像表示ステップと、前記モバイル端末の管理手段が、前記モバイル端末のユーザの指示に応じてユーザの視線の移動量またはユーザがポインティングした位置の座標を示すポインタ情報を計算し、視線の移動量の情報またはポインタ情報を前記映像重畳装置に送信する計算ステップと、前記映像重畳装置の第１の映像合成手段が、前記モバイル端末から視線の移動量の情報またはポインタ情報を取得したときに、前記モバイル端末から送信された撮影映像を表示する領域の形状が前記視線の移動量またはポインタ情報に応じて変化するように、前記モバイル端末から送信された撮影映像を合成して前記映像重畳装置の第１の表示手段に表示させる第１の映像変更表示ステップと、前記モバイル端末の第２の映像合成手段が、前記視線の移動量の情報を取得したときに、この移動量の分だけモバイル端末のユーザが視線を移動させたと仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記モバイル端末の第２の表示手段に表示させる第２の映像変更表示ステップとを備えることを特徴とするものである。
また、本発明のビデオコミュニケーションプログラムは、ビデオコミュニケーション方法の各ステップをコンピュータに実行させることを特徴とするものである。
【発明の効果】
【０００９】
本発明によれば、映像重畳装置のユーザとモバイル端末のユーザとが位置、距離感、方向感などを共有することができる。その結果、本発明では、大型の装置を導入することが難しいモバイル端末のユーザが、ビデオコミュニケーションシステムを利用することができ、映像重畳装置のユーザと位置、距離感、方向感などを共有して、コミュニケーションを行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係るビデオコミュニケーションシステムの構成を示すブロック図である。
【図２】本発明の実施の形態に係るビデオコミュニケーションシステムにおいて映像重畳装置の表示部に表示される映像の１例を示す図である。
【図３】本発明の実施の形態に係るビデオコミュニケーションシステムにおいてモバイル端末の表示部に表示される映像の１例を示す図である。
【図４】本発明の実施の形態に係るビデオコミュニケーションシステムにおいてモバイル端末の表示部に表示される映像の他の例を示す図である。
【図５】本発明の実施の形態に係るビデオコミュニケーションシステムにおいてモバイル端末のユーザが視線の移動を指示したときにモバイル端末の表示部に表示される映像の１例を示す図である。
【図６】本発明の実施の形態に係るビデオコミュニケーションシステムにおいてモバイル端末のユーザが視線の移動を指示したときに映像重畳装置の表示部に表示される映像の１例を示す図である。
【図７】本発明の実施の形態に係るビデオコミュニケーションシステムにおいて映像重畳装置の表示部の直径を説明するための図である。
【図８】本発明の実施の形態に係るビデオコミュニケーションシステムにおいてモバイル端末のユーザが視線の移動を指示したときの映像重畳装置の表示部における映像の表示領域の算出方法を説明するための図である。
【図９】本発明の実施の形態に係るビデオコミュニケーションシステムにおいてモバイル端末のユーザがポインティングを行ったときに映像重畳装置の表示部に表示される映像の１例を示す図である。
【図１０】従来のビデオコミュニケーションシステムを説明するための図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態に係るビデオコミュニケーションシステムの構成を示すブロック図である。
ビデオコミュニケーションシステムは、ある地点Ｓ１に設置された映像重畳装置１と、別の地点Ｓ２にいるユーザが利用するモバイル端末２とをネットワーク３を介して接続したものである。
【００１２】
映像重畳装置１は、非特許文献１，２に開示されたシステムと同様の構成を有する。表示部１１は、ユーザの周りを取り囲むように配置された複数台の大型のディスプレイから構成される。
撮影部１３は、複数台のカメラから構成される。表示部１１の各ディスプレイの映像を取得できる位置にそれぞれカメラが設置されているものとする。撮影部１３は、撮影した映像を映像合成部１２に出力する。また、撮影部１３は、撮影した映像をネットワーク３を介して他地点に送信する送信部（不図示）を備えている。
【００１３】
映像合成部１２は、ネットワーク３を介して遠隔地から取得した映像と撮影部１３で撮影された映像とを合成した合成映像を表示部１１に表示させる。以下の説明では、映像重畳装置１のユーザをＵ１とする。
【００１４】
モバイル端末２は、液晶ディスプレイ等の表示部２１と映像合成部２２とＵＳＢカメラ等の撮影部２３とキーボードやマウス等の入力部２５とを備えるノートパソコンなどのモバイル機器である。モバイル端末２を利用するユーザをＵ２とする。表示部２１は、１台のディスプレイで構成される。
【００１５】
撮影部２３は、表示部２１の周辺に設けられ、ユーザＵ２の上半身を撮影する。撮影部２３は、撮影した映像を映像合成部２２に出力する。また、撮影部２３は、撮影した映像をネットワーク３を介して他地点に送信する送信部（不図示）を備えている。
映像合成部２２は、ネットワーク３を介して映像重畳装置１から取得した映像と撮影部２３で撮影された映像とを合成した合成映像を表示部２１に表示させる。
【００１６】
以下では、１台の映像重畳装置１と１台のモバイル端末２とを接続する場合を例に説明をするが、映像重畳装置１とモバイル端末２とはそれぞれ複数台あってもよく、各映像重畳装置１およびモバイル端末２の撮影部１３，２３で取得した映像を合成して、各々の表示部１１，２１に表示するものとする。
【００１７】
映像重畳装置１の映像合成部１２は、図２に示すように、モバイル端末２から送信されたユーザＵ２の映像Ｖ２が表示部１１の表示面のある位置Ｐに等身大で表示されるように映像を合成して、合成映像を表示部１１に表示させる。このとき、ユーザＵ２の映像Ｖ２に枠をつけることで、ユーザＵ１から見て、ユーザＵ２が窓枠から覗きこんでいるような状態を表現することができる。なお、図２の例では、表示部１１はユーザＵ１を取り囲むように円筒状に配置されている。
【００１８】
モバイル端末２の映像合成部２２は、図３に示すように、映像重畳装置１から送信されたユーザＵ１の映像Ｖ１が表示されるように映像を合成して、合成映像を表示部２１に表示させる。このとき、映像合成部２２は、地点Ｓ１の表示部１１のＰの位置にユーザＵ２が立ってユーザＵ１の方を見たと仮定したときにユーザＵ２から見える映像が表示部２１に表示されるように映像を合成する。これにより、ユーザＵ２は、実際に地点Ｓ１のＰの位置にいるように感じられる。
【００１９】
なお、映像合成部２２は、上記の映像に加えて、必要に応じて他地点の鳥瞰映像やユーザＵ２の自己像を表示部２１に表示させてもよい。これにより、ユーザＵ２は、今自身の入り込んでいる位置や他のユーザとの位置関係、自身の映り具合等を確認することができる。図４（Ａ）の例は、撮影部１３の複数台のカメラによって撮影された各映像を平面状に並べるように合成した展開映像を示している。図４（Ｂ）の例は、円筒状の表示部１１と表示部１１に取り囲まれたユーザＵ１とを真上から見たときの映像が表示されるように合成した映像である。図４（Ｃ）の例は、円筒状の表示部１１と表示部１１に取り囲まれたユーザＵ１とを斜め上から見たときの映像が表示されるように合成した映像である。図４（Ａ）〜図４（Ｃ）の例では、地点Ｓ１のＰに相当する位置にユーザＵ２の映像Ｖ２（自己像）が表示されるように合成されている。以上の図４（Ａ）〜図４（Ｃ）の映像は、映像重畳装置１の撮影部１３によって撮影された複数の映像とモバイル端末２の撮影部２３によって撮影された映像とを合成することで生成できる。
【００２０】
ユーザＵ２は、地点Ｓ１のＰの位置に立っていると仮定したときの視線方向を移動させるための移動情報を、モバイル端末２の入力部２５を操作して入力することができる。視線は、左、右、上、下などに移動させることができる。移動情報は、例えば、左移動、右移動のためのアイコンをそれぞれ表示部２１に表示させておき、いずれかのアイコンが指定される度に、指定されたアイコンが表す移動方向へ所定の移動量だけ移動させるような形式としてもよいし、現在の視線方向を０度として左方向への移動をマイナスの角度、右方向への移動をプラスの角度として移動量を自由に指定できる形としてもよい。
【００２１】
モバイル端末２の座標・ポインタ管理部２４は、入力部２５から移動情報が入力されると、移動情報を基に視線の移動量を計算し、計算した視線移動量を映像重畳装置１の映像合成部１２とモバイル端末２の映像合成部２２に送る。
映像合成部２２は、座標・ポインタ管理部２４から取得した視線移動量に従って、ユーザＵ２が地点Ｓ１のＰの位置に立って視線移動量の分だけ視線を移動させたと仮定したときにユーザＵ２から見える映像が表示部２１に表示されるように映像を合成する。視線移動の指示後に表示部２１に表示される映像を図５に示す。図５の例では、ユーザＵ２がユーザＵ１側から見て右方向（ユーザＵ２側から見て左方向）に視線を移動したときの例を示している。
【００２２】
映像重畳装置１の映像合成部１２は、座標・ポインタ管理部２４から取得した視線移動量に応じて、ユーザＵ２の映像Ｖ２が視線移動量の分だけ変化するように映像を合成して、合成映像を表示部１１に表示させる。このとき、映像合成部１２は、映像Ｖ２の表示領域を台形で表示し、映像重畳装置１を利用しているユーザＵ１が、映像Ｖ２の表示されている窓枠の形から、ユーザＵ２がどちらの方向を向いているのかを推測できるようにする。ユーザＵ２による視線移動の指示後に表示部１１に表示される映像を図６に示す。ユーザＵ２がユーザＵ１側から見て左方向に視線を移動させる指示を出したときは映像Ｖ２の枠が左側の辺が短い台形となるようにし、右方向に視線を移動させる指示を出したときは映像Ｖ２の枠が右側の辺が短い台形となるようにする。
【００２３】
視線移動の指示後の映像Ｖ２の表示領域は、透視投影により算出することができる。以下、鉛直方向にｙ軸をとり、表示部１１上の位置Ｐを含む表示面およびｙ軸に垂直な方向にｚ軸をとり、ｙ軸およびｚ軸に垂直な方向にｘ軸をとり、地点Ｓ１の三次元位置を座標（ｘ，ｙ，ｚ）で表すものとする。まず、地点Ｓ１の表示部１１上の位置Ｐの中心を三次元位置（０，０，０）とし、（０，０，０）を中心としてユーザＵ２の映像Ｖ２を配置したときの映像Ｖ２の三次元座標から、ユーザＵ２が真正面を向いている状態の視点位置を算出する。表示部１１にユーザＵ２が等身大になるように表示したときの映像Ｖ２の表示領域の幅と表示部１１の直径Ｄ１との比から、ユーザＵ２が真正面を向いている状態の視点位置を算出する。表示部１１はユーザＵ１を取り囲む円筒を形成するように配置された複数のディスプレイからなるので、この配置から表示部１１の直径Ｄ１を求めることができる。
【００２４】
例えば、図７に示すように、表示部１１の直径Ｄ１を２ｍとし、ユーザＵ２の映像Ｖ２の表示領域の幅を５０ｃｍとする。このとき、映像Ｖ２の表示領域の幅と表示部１１の直径との比は、５０：２００＝１：４である。一方、表示部１１上に表示したいユーザＵ２のカメラ映像の４隅の座標を画素の単位であるピクセルで（−２０，１０，０），（２０，１０，０），（２０，−１０，０），（−２０，−１０，０）と規定すると、カメラ映像の幅は４０ピクセルである。よって、ユーザＵ２が真正面を向いている状態の視点位置の座標を（０，０，１６０）に設定する。
【００２５】
次に、ユーザＵ２がユーザＵ１側から見て右方向に例えば４５度視線を移動させることは、カメラ映像をｙ軸を回転軸にして４５度まわすことと等価である（ｚ＝０を表示部１１の表示面とする）。よって、視線移動後のカメラ映像の４隅の点Ｐ２’，Ｐ１’，Ｐ３’，Ｐ４’の座標は、それぞれ（−２０×ｃｏｓ４５°，１０，−２０×ｓｉｎ４５°），（２０×ｃｏｓ４５°，１０，２０×ｓｉｎ４５°），（２０×ｃｏｓ４５°，−１０，２０×ｓｉｎ４５°），（−２０×ｃｏｓ４５°，−１０，−２０×ｓｉｎ４５°）となる。
【００２６】
このとき、図８に示すように、視点（０，０，１６０）と上記の視線移動後の各点Ｐ１’〜Ｐ４’とを結ぶ直線と、表示部１１の表示面（ｚ＝０の平面）とが交わる点で表される表示面上の領域１１０が、ユーザＵ２が右方向に４５度視線を移動させたときのカメラ映像の台形の領域となる。この領域にユーザＵ２の映像を表示すればよい。映像重畳装置１の映像合成部１２は、以上のようにして視線移動の指示後の映像Ｖ２の表示領域を算出することができる。
【００２７】
非特許文献１，２に開示されたシステムでは、それぞれの地点で、複数のディスプレイを円筒状に配置した空間を共有することができるので、遠隔地のユーザが指し示した位置（ポインティングした位置）を、ローカルのユーザと遠隔地のユーザとで正確に共有できることが特徴である。
本実施の形態のように、モバイル端末２と映像重畳装置１とをネットワーク３を介して接続する場合、モバイル端末２のユーザＵ２の指し示した位置が映像重畳装置１のユーザＵ１に正しく伝わるようにする必要がある。そのようなポインティングの伝達方法について説明する。
【００２８】
ユーザＵ２は、表示部２１に表示されている映像中のポインティングしたい位置をマウス等の入力部２５を用いて指定することによって、ポインティングを行う。
ポインティングの指定が行われると、モバイル端末２の座標・ポインタ管理部２４は、ユーザＵ２がポインティングした位置の座標を取得し、この座標をポインタ情報として映像重畳装置１の映像合成部１２とモバイル端末２の映像合成部２２に送る。
【００２９】
映像重畳装置１の映像合成部１２は、表示部１１におけるユーザＵ２の映像Ｖ２の表示位置Ｐを、ユーザＵ２がポインティングした座標に相当する位置の付近まで移動させ、移動後の位置ＰとユーザＵ２がポインティングした座標に相当する位置との関係に応じてユーザの視点が右または左に向いた状態を表す台形の領域にユーザＵ２の映像Ｖ２が表示されるように映像を合成して、合成映像を表示部１１に表示させる。
【００３０】
すなわち、図９（Ａ）に示すように、ユーザＵ１側から見て移動後の位置Ｐの右側にユーザＵ２がポインティングした座標に相当する位置９０がある場合には、ユーザＵ２の映像Ｖ２の表示領域を右側の辺が短い台形で表す。また、図９（Ｂ）に示すように、移動後の位置Ｐの左側にユーザＵ２がポインティングした座標に相当する位置９０がある場合には、映像Ｖ２の表示領域を左側の辺が短い台形で表す。
【００３１】
モバイル端末２の映像合成部２２は、座標・ポインタ管理部２４からポインタ情報を取得するとポインティングモードに移行し、ユーザＵ２がポインティングした位置を中心とする予め設定された大きさの領域を、次にポインティングできる範囲としてポップアップするような映像を合成して、合成映像を表示部２１に表示させる。ユーザＵ２がその範囲内でマウスを移動させると、ポインタの情報は座標・ポインタ管理部２４を介して映像重畳装置１の映像合成部１２に送られる。
【００３２】
映像合成部１２は、ポインタ情報に基づき、表示部１１上の対応する箇所にポインタの画像が表示されるように映像を合成して、合成映像を表示部１１に表示させる。このとき、ポインティングできる範囲はユーザＵ２の位置Ｐの周辺領域になるよう設定する。
なお、モバイル端末２からの参加者が複数いる場合には、どのユーザＵ２が指示しているのかの対応が取れるようにするため、映像合成部１２は、映像重畳装置１の表示部１１上に表示されるユーザＵ２の映像Ｖ２の表示領域を示す窓枠と、そのユーザＵ２の指示している位置を示すポインタとが同色になるように映像を生成する。
【００３３】
以上のように、本実施の形態では、映像重畳装置１の映像合成部１２は、モバイル端末２から視線の移動量の情報またはポインタ情報を取得したときに、モバイル端末２から送信された映像Ｖ２を表示する領域の形状を、視線の移動量またはポインタ情報に応じて変化させる。これにより、映像重畳装置１のユーザＵ１は、モバイル端末２のユーザＵ２が視線方向を移動させたときはユーザＵ２がどちらの方向を向いているのかを認識することができ、ユーザＵ２がポインティングを行ったときはユーザＵ２が指し示した位置を認識することができる。したがって、本実施の形態によれば、映像重畳装置１のユーザＵ１とモバイル端末２のユーザＵ２とが位置、距離感、方向感などを共有することができる。
【００３４】
なお、本実施の形態の映像重畳装置１とモバイル端末２の各々の構成のうち、カメラとディスプレイを除く構成は、それぞれＣＰＵ、記憶装置および外部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、本発明のビデオコミュニケーション方法を実現させるためのプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供され、コンピュータの記憶装置に格納される。各々の装置のＣＰＵは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って本実施の形態で説明した処理を実行する。
【産業上の利用可能性】
【００３５】
本発明は、カメラで撮影した撮影映像と他地点の撮影映像とを重ね合わせて表示することにより遠隔地点間での同期コミュニケーションを円滑にするビデオコミュニケーションシステムに適用することができる。
【符号の説明】
【００３６】
１…映像重畳装置、２…モバイル端末、３…ネットワーク、１１，２１…表示部、１２，２２…映像合成部、１３，２３…撮影部、２４…座標・ポインタ管理部、２５…入力部。
【技術分野】
【０００１】
本発明は、カメラで撮影した撮影映像と他地点の撮影映像とを重ね合わせて表示することにより遠隔地点間での同期コミュニケーションを円滑にするビデオコミュニケーションシステムに係り、特にユーザを取り囲むようにディスプレイを配置して構成された映像重畳装置とモバイル端末とを接続する技術に関するものである。
【背景技術】
【０００２】
遠隔地間で同期的なコミュニケーションを行うようなビデオ共有面によるビデオコミュニケーションシステムが知られている（非特許文献１，２参照）。非特許文献１，２に開示されたシステムは、図１０のように、ユーザ１００−Ａを含む地点Ａの映像をビデオカメラ１０１−Ａで撮影し、撮影した映像からディスプレイ１０２−Ａに表示されている表示映像を除去し、表示映像を除去した地点Ａの映像を地点Ｂに送って、地点Ｂのディスプレイ１０２−Ｂに表示させるシステムである。このときのディスプレイの面をビデオ共有面と呼ぶ。同様に、ユーザ１００−Ｂを含む地点Ｂの映像をビデオカメラ１０１−Ｂで撮影し、撮影した映像からディスプレイ１０２−Ｂに表示されている表示映像を除去し、表示映像を除去した地点Ｂの映像を地点Ａに送って、地点Ａのディスプレイ１０２−Ａに表示させる。
【０００３】
非特許文献１，２に開示されたシステムによれば、ビデオ共有面の表面付近では遠隔地間でオブジェクトの位置関係が共有されるため、ポインティングなどの身体的ジェスチャも、同じ地点で対面しているときと同じような感覚で利用することができる。
さらに、非特許文献１，２に開示されたシステムでは、ユーザの回りを上記のビデオ共有面で囲むようにして空間を構成することで、システム内にいる遠隔地のユーザ同士が位置、距離感、方向感などを共有することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】梶克彦，平田圭二，原田康徳，「t-Roomの仮想共有面と過去再生機能を用いたアプリケーションについて」，7th Forum on Information Technology (FIT2008)，第４分冊，RM-005，pp.51-54，IPSJ/IEICE-ISS，2008
【非特許文献２】梶克彦，平田圭二，「社会的インタラクションのコンテンツ化のためのアーキテクチャ」，社団法人情報処理学会，グループウェアとネットワークサービスワークショップ2007(GNWS2007) 予稿集，pp.119-124，2007
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１，２に開示されたシステムでは、複数地点のユーザ同士が空間を共有するために各地点に等身大のディスプレイを複数個並べる構成となっているため、装置が大きくコストがかかり、個人でこのようなシステムを利用することが難しいという問題点があった。
【０００６】
本発明は、上記課題を解決するためになされたもので、ユーザを取り囲むようにディスプレイを配置して構成された映像重畳装置とモバイル端末とを接続したときに、映像重畳装置のユーザとモバイル端末のユーザとが位置、距離感、方向感などを共有することを可能にし、モバイル端末のユーザがビデオコミュニケーションシステムを利用することを可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明のビデオコミュニケーションシステムは、ユーザを取り囲むように表示手段を配置して構成された映像重畳装置と、この映像重畳装置とネットワークを介して接続されたモバイル端末とを備え、前記映像重畳装置は、映像を表示可能な第１の表示手段と、カメラを用いて映像を撮影する第１の撮影手段と、この第１の撮影手段によって撮影された撮影映像を前記モバイル端末に送信する第１の送信手段と、前記第１の撮影手段によって撮影された撮影映像と前記モバイル端末から送信された撮影映像とを合成して前記第１の表示手段に表示させ、前記モバイル端末から視線の移動量またはポインタ情報を取得したときは、前記モバイル端末から送信された撮影映像を表示する領域の形状が前記視線の移動量またはポインタ情報に応じて変化するように、前記モバイル端末から送信された撮影映像を合成して前記第１の表示手段に表示させる第１の映像合成手段とを有し、前記モバイル端末は、映像を表示可能な第２の表示手段と、カメラを用いて映像を撮影する第２の撮影手段と、この第２の撮影手段によって撮影された撮影映像を前記映像重畳装置に送信する第２の送信手段と、前記モバイル端末のユーザの指示に応じてユーザの視線の移動量またはユーザがポインティングした位置の座標を示すポインタ情報を計算し、視線の移動量の情報またはポインタ情報を前記映像重畳装置に送信する管理手段と、前記映像重畳装置の第１の表示手段の位置にモバイル端末のユーザが立っていると仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記第２の表示手段に表示させ、前記管理手段から視線の移動量の情報を取得したときは、この移動量の分だけモバイル端末のユーザが視線を移動させたと仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記第２の表示手段に表示させる第２の映像合成手段とを有することを特徴とするものである。
【０００８】
また、本発明は、ユーザを取り囲むように表示手段を配置して構成された映像重畳装置と、この映像重畳装置とネットワークを介して接続されたモバイル端末とを用いて遠隔地点間での同期コミュニケーションを実現するビデオコミュニケーション方法であって、前記映像重畳装置の第１の撮影手段が、カメラを用いて映像を撮影する第１の撮影ステップと、前記映像重畳装置の第１の送信手段が、前記第１の撮影手段によって撮影された撮影映像を前記モバイル端末に送信する第１の送信ステップと、前記モバイル端末の第２の撮影手段が、カメラを用いて映像を撮影する第２の撮影ステップと、前記モバイル端末の第２の送信手段が、前記第２の撮影手段によって撮影された撮影映像を前記映像重畳装置に送信する第２の送信ステップと、前記映像重畳装置の第１の映像合成手段が、前記第１の撮影手段によって撮影された撮影映像と前記モバイル端末から送信された撮影映像とを合成して前記映像重畳装置の第１の表示手段に表示させる第１の映像表示ステップと、前記モバイル端末の第２の映像合成手段が、前記映像重畳装置の第１の表示手段の位置にモバイル端末のユーザが立っていると仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記モバイル端末の第２の表示手段に表示させる第２の映像表示ステップと、前記モバイル端末の管理手段が、前記モバイル端末のユーザの指示に応じてユーザの視線の移動量またはユーザがポインティングした位置の座標を示すポインタ情報を計算し、視線の移動量の情報またはポインタ情報を前記映像重畳装置に送信する計算ステップと、前記映像重畳装置の第１の映像合成手段が、前記モバイル端末から視線の移動量の情報またはポインタ情報を取得したときに、前記モバイル端末から送信された撮影映像を表示する領域の形状が前記視線の移動量またはポインタ情報に応じて変化するように、前記モバイル端末から送信された撮影映像を合成して前記映像重畳装置の第１の表示手段に表示させる第１の映像変更表示ステップと、前記モバイル端末の第２の映像合成手段が、前記視線の移動量の情報を取得したときに、この移動量の分だけモバイル端末のユーザが視線を移動させたと仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記モバイル端末の第２の表示手段に表示させる第２の映像変更表示ステップとを備えることを特徴とするものである。
また、本発明のビデオコミュニケーションプログラムは、ビデオコミュニケーション方法の各ステップをコンピュータに実行させることを特徴とするものである。
【発明の効果】
【０００９】
本発明によれば、映像重畳装置のユーザとモバイル端末のユーザとが位置、距離感、方向感などを共有することができる。その結果、本発明では、大型の装置を導入することが難しいモバイル端末のユーザが、ビデオコミュニケーションシステムを利用することができ、映像重畳装置のユーザと位置、距離感、方向感などを共有して、コミュニケーションを行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係るビデオコミュニケーションシステムの構成を示すブロック図である。
【図２】本発明の実施の形態に係るビデオコミュニケーションシステムにおいて映像重畳装置の表示部に表示される映像の１例を示す図である。
【図３】本発明の実施の形態に係るビデオコミュニケーションシステムにおいてモバイル端末の表示部に表示される映像の１例を示す図である。
【図４】本発明の実施の形態に係るビデオコミュニケーションシステムにおいてモバイル端末の表示部に表示される映像の他の例を示す図である。
【図５】本発明の実施の形態に係るビデオコミュニケーションシステムにおいてモバイル端末のユーザが視線の移動を指示したときにモバイル端末の表示部に表示される映像の１例を示す図である。
【図６】本発明の実施の形態に係るビデオコミュニケーションシステムにおいてモバイル端末のユーザが視線の移動を指示したときに映像重畳装置の表示部に表示される映像の１例を示す図である。
【図７】本発明の実施の形態に係るビデオコミュニケーションシステムにおいて映像重畳装置の表示部の直径を説明するための図である。
【図８】本発明の実施の形態に係るビデオコミュニケーションシステムにおいてモバイル端末のユーザが視線の移動を指示したときの映像重畳装置の表示部における映像の表示領域の算出方法を説明するための図である。
【図９】本発明の実施の形態に係るビデオコミュニケーションシステムにおいてモバイル端末のユーザがポインティングを行ったときに映像重畳装置の表示部に表示される映像の１例を示す図である。
【図１０】従来のビデオコミュニケーションシステムを説明するための図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態に係るビデオコミュニケーションシステムの構成を示すブロック図である。
ビデオコミュニケーションシステムは、ある地点Ｓ１に設置された映像重畳装置１と、別の地点Ｓ２にいるユーザが利用するモバイル端末２とをネットワーク３を介して接続したものである。
【００１２】
映像重畳装置１は、非特許文献１，２に開示されたシステムと同様の構成を有する。表示部１１は、ユーザの周りを取り囲むように配置された複数台の大型のディスプレイから構成される。
撮影部１３は、複数台のカメラから構成される。表示部１１の各ディスプレイの映像を取得できる位置にそれぞれカメラが設置されているものとする。撮影部１３は、撮影した映像を映像合成部１２に出力する。また、撮影部１３は、撮影した映像をネットワーク３を介して他地点に送信する送信部（不図示）を備えている。
【００１３】
映像合成部１２は、ネットワーク３を介して遠隔地から取得した映像と撮影部１３で撮影された映像とを合成した合成映像を表示部１１に表示させる。以下の説明では、映像重畳装置１のユーザをＵ１とする。
【００１４】
モバイル端末２は、液晶ディスプレイ等の表示部２１と映像合成部２２とＵＳＢカメラ等の撮影部２３とキーボードやマウス等の入力部２５とを備えるノートパソコンなどのモバイル機器である。モバイル端末２を利用するユーザをＵ２とする。表示部２１は、１台のディスプレイで構成される。
【００１５】
撮影部２３は、表示部２１の周辺に設けられ、ユーザＵ２の上半身を撮影する。撮影部２３は、撮影した映像を映像合成部２２に出力する。また、撮影部２３は、撮影した映像をネットワーク３を介して他地点に送信する送信部（不図示）を備えている。
映像合成部２２は、ネットワーク３を介して映像重畳装置１から取得した映像と撮影部２３で撮影された映像とを合成した合成映像を表示部２１に表示させる。
【００１６】
以下では、１台の映像重畳装置１と１台のモバイル端末２とを接続する場合を例に説明をするが、映像重畳装置１とモバイル端末２とはそれぞれ複数台あってもよく、各映像重畳装置１およびモバイル端末２の撮影部１３，２３で取得した映像を合成して、各々の表示部１１，２１に表示するものとする。
【００１７】
映像重畳装置１の映像合成部１２は、図２に示すように、モバイル端末２から送信されたユーザＵ２の映像Ｖ２が表示部１１の表示面のある位置Ｐに等身大で表示されるように映像を合成して、合成映像を表示部１１に表示させる。このとき、ユーザＵ２の映像Ｖ２に枠をつけることで、ユーザＵ１から見て、ユーザＵ２が窓枠から覗きこんでいるような状態を表現することができる。なお、図２の例では、表示部１１はユーザＵ１を取り囲むように円筒状に配置されている。
【００１８】
モバイル端末２の映像合成部２２は、図３に示すように、映像重畳装置１から送信されたユーザＵ１の映像Ｖ１が表示されるように映像を合成して、合成映像を表示部２１に表示させる。このとき、映像合成部２２は、地点Ｓ１の表示部１１のＰの位置にユーザＵ２が立ってユーザＵ１の方を見たと仮定したときにユーザＵ２から見える映像が表示部２１に表示されるように映像を合成する。これにより、ユーザＵ２は、実際に地点Ｓ１のＰの位置にいるように感じられる。
【００１９】
なお、映像合成部２２は、上記の映像に加えて、必要に応じて他地点の鳥瞰映像やユーザＵ２の自己像を表示部２１に表示させてもよい。これにより、ユーザＵ２は、今自身の入り込んでいる位置や他のユーザとの位置関係、自身の映り具合等を確認することができる。図４（Ａ）の例は、撮影部１３の複数台のカメラによって撮影された各映像を平面状に並べるように合成した展開映像を示している。図４（Ｂ）の例は、円筒状の表示部１１と表示部１１に取り囲まれたユーザＵ１とを真上から見たときの映像が表示されるように合成した映像である。図４（Ｃ）の例は、円筒状の表示部１１と表示部１１に取り囲まれたユーザＵ１とを斜め上から見たときの映像が表示されるように合成した映像である。図４（Ａ）〜図４（Ｃ）の例では、地点Ｓ１のＰに相当する位置にユーザＵ２の映像Ｖ２（自己像）が表示されるように合成されている。以上の図４（Ａ）〜図４（Ｃ）の映像は、映像重畳装置１の撮影部１３によって撮影された複数の映像とモバイル端末２の撮影部２３によって撮影された映像とを合成することで生成できる。
【００２０】
ユーザＵ２は、地点Ｓ１のＰの位置に立っていると仮定したときの視線方向を移動させるための移動情報を、モバイル端末２の入力部２５を操作して入力することができる。視線は、左、右、上、下などに移動させることができる。移動情報は、例えば、左移動、右移動のためのアイコンをそれぞれ表示部２１に表示させておき、いずれかのアイコンが指定される度に、指定されたアイコンが表す移動方向へ所定の移動量だけ移動させるような形式としてもよいし、現在の視線方向を０度として左方向への移動をマイナスの角度、右方向への移動をプラスの角度として移動量を自由に指定できる形としてもよい。
【００２１】
モバイル端末２の座標・ポインタ管理部２４は、入力部２５から移動情報が入力されると、移動情報を基に視線の移動量を計算し、計算した視線移動量を映像重畳装置１の映像合成部１２とモバイル端末２の映像合成部２２に送る。
映像合成部２２は、座標・ポインタ管理部２４から取得した視線移動量に従って、ユーザＵ２が地点Ｓ１のＰの位置に立って視線移動量の分だけ視線を移動させたと仮定したときにユーザＵ２から見える映像が表示部２１に表示されるように映像を合成する。視線移動の指示後に表示部２１に表示される映像を図５に示す。図５の例では、ユーザＵ２がユーザＵ１側から見て右方向（ユーザＵ２側から見て左方向）に視線を移動したときの例を示している。
【００２２】
映像重畳装置１の映像合成部１２は、座標・ポインタ管理部２４から取得した視線移動量に応じて、ユーザＵ２の映像Ｖ２が視線移動量の分だけ変化するように映像を合成して、合成映像を表示部１１に表示させる。このとき、映像合成部１２は、映像Ｖ２の表示領域を台形で表示し、映像重畳装置１を利用しているユーザＵ１が、映像Ｖ２の表示されている窓枠の形から、ユーザＵ２がどちらの方向を向いているのかを推測できるようにする。ユーザＵ２による視線移動の指示後に表示部１１に表示される映像を図６に示す。ユーザＵ２がユーザＵ１側から見て左方向に視線を移動させる指示を出したときは映像Ｖ２の枠が左側の辺が短い台形となるようにし、右方向に視線を移動させる指示を出したときは映像Ｖ２の枠が右側の辺が短い台形となるようにする。
【００２３】
視線移動の指示後の映像Ｖ２の表示領域は、透視投影により算出することができる。以下、鉛直方向にｙ軸をとり、表示部１１上の位置Ｐを含む表示面およびｙ軸に垂直な方向にｚ軸をとり、ｙ軸およびｚ軸に垂直な方向にｘ軸をとり、地点Ｓ１の三次元位置を座標（ｘ，ｙ，ｚ）で表すものとする。まず、地点Ｓ１の表示部１１上の位置Ｐの中心を三次元位置（０，０，０）とし、（０，０，０）を中心としてユーザＵ２の映像Ｖ２を配置したときの映像Ｖ２の三次元座標から、ユーザＵ２が真正面を向いている状態の視点位置を算出する。表示部１１にユーザＵ２が等身大になるように表示したときの映像Ｖ２の表示領域の幅と表示部１１の直径Ｄ１との比から、ユーザＵ２が真正面を向いている状態の視点位置を算出する。表示部１１はユーザＵ１を取り囲む円筒を形成するように配置された複数のディスプレイからなるので、この配置から表示部１１の直径Ｄ１を求めることができる。
【００２４】
例えば、図７に示すように、表示部１１の直径Ｄ１を２ｍとし、ユーザＵ２の映像Ｖ２の表示領域の幅を５０ｃｍとする。このとき、映像Ｖ２の表示領域の幅と表示部１１の直径との比は、５０：２００＝１：４である。一方、表示部１１上に表示したいユーザＵ２のカメラ映像の４隅の座標を画素の単位であるピクセルで（−２０，１０，０），（２０，１０，０），（２０，−１０，０），（−２０，−１０，０）と規定すると、カメラ映像の幅は４０ピクセルである。よって、ユーザＵ２が真正面を向いている状態の視点位置の座標を（０，０，１６０）に設定する。
【００２５】
次に、ユーザＵ２がユーザＵ１側から見て右方向に例えば４５度視線を移動させることは、カメラ映像をｙ軸を回転軸にして４５度まわすことと等価である（ｚ＝０を表示部１１の表示面とする）。よって、視線移動後のカメラ映像の４隅の点Ｐ２’，Ｐ１’，Ｐ３’，Ｐ４’の座標は、それぞれ（−２０×ｃｏｓ４５°，１０，−２０×ｓｉｎ４５°），（２０×ｃｏｓ４５°，１０，２０×ｓｉｎ４５°），（２０×ｃｏｓ４５°，−１０，２０×ｓｉｎ４５°），（−２０×ｃｏｓ４５°，−１０，−２０×ｓｉｎ４５°）となる。
【００２６】
このとき、図８に示すように、視点（０，０，１６０）と上記の視線移動後の各点Ｐ１’〜Ｐ４’とを結ぶ直線と、表示部１１の表示面（ｚ＝０の平面）とが交わる点で表される表示面上の領域１１０が、ユーザＵ２が右方向に４５度視線を移動させたときのカメラ映像の台形の領域となる。この領域にユーザＵ２の映像を表示すればよい。映像重畳装置１の映像合成部１２は、以上のようにして視線移動の指示後の映像Ｖ２の表示領域を算出することができる。
【００２７】
非特許文献１，２に開示されたシステムでは、それぞれの地点で、複数のディスプレイを円筒状に配置した空間を共有することができるので、遠隔地のユーザが指し示した位置（ポインティングした位置）を、ローカルのユーザと遠隔地のユーザとで正確に共有できることが特徴である。
本実施の形態のように、モバイル端末２と映像重畳装置１とをネットワーク３を介して接続する場合、モバイル端末２のユーザＵ２の指し示した位置が映像重畳装置１のユーザＵ１に正しく伝わるようにする必要がある。そのようなポインティングの伝達方法について説明する。
【００２８】
ユーザＵ２は、表示部２１に表示されている映像中のポインティングしたい位置をマウス等の入力部２５を用いて指定することによって、ポインティングを行う。
ポインティングの指定が行われると、モバイル端末２の座標・ポインタ管理部２４は、ユーザＵ２がポインティングした位置の座標を取得し、この座標をポインタ情報として映像重畳装置１の映像合成部１２とモバイル端末２の映像合成部２２に送る。
【００２９】
映像重畳装置１の映像合成部１２は、表示部１１におけるユーザＵ２の映像Ｖ２の表示位置Ｐを、ユーザＵ２がポインティングした座標に相当する位置の付近まで移動させ、移動後の位置ＰとユーザＵ２がポインティングした座標に相当する位置との関係に応じてユーザの視点が右または左に向いた状態を表す台形の領域にユーザＵ２の映像Ｖ２が表示されるように映像を合成して、合成映像を表示部１１に表示させる。
【００３０】
すなわち、図９（Ａ）に示すように、ユーザＵ１側から見て移動後の位置Ｐの右側にユーザＵ２がポインティングした座標に相当する位置９０がある場合には、ユーザＵ２の映像Ｖ２の表示領域を右側の辺が短い台形で表す。また、図９（Ｂ）に示すように、移動後の位置Ｐの左側にユーザＵ２がポインティングした座標に相当する位置９０がある場合には、映像Ｖ２の表示領域を左側の辺が短い台形で表す。
【００３１】
モバイル端末２の映像合成部２２は、座標・ポインタ管理部２４からポインタ情報を取得するとポインティングモードに移行し、ユーザＵ２がポインティングした位置を中心とする予め設定された大きさの領域を、次にポインティングできる範囲としてポップアップするような映像を合成して、合成映像を表示部２１に表示させる。ユーザＵ２がその範囲内でマウスを移動させると、ポインタの情報は座標・ポインタ管理部２４を介して映像重畳装置１の映像合成部１２に送られる。
【００３２】
映像合成部１２は、ポインタ情報に基づき、表示部１１上の対応する箇所にポインタの画像が表示されるように映像を合成して、合成映像を表示部１１に表示させる。このとき、ポインティングできる範囲はユーザＵ２の位置Ｐの周辺領域になるよう設定する。
なお、モバイル端末２からの参加者が複数いる場合には、どのユーザＵ２が指示しているのかの対応が取れるようにするため、映像合成部１２は、映像重畳装置１の表示部１１上に表示されるユーザＵ２の映像Ｖ２の表示領域を示す窓枠と、そのユーザＵ２の指示している位置を示すポインタとが同色になるように映像を生成する。
【００３３】
以上のように、本実施の形態では、映像重畳装置１の映像合成部１２は、モバイル端末２から視線の移動量の情報またはポインタ情報を取得したときに、モバイル端末２から送信された映像Ｖ２を表示する領域の形状を、視線の移動量またはポインタ情報に応じて変化させる。これにより、映像重畳装置１のユーザＵ１は、モバイル端末２のユーザＵ２が視線方向を移動させたときはユーザＵ２がどちらの方向を向いているのかを認識することができ、ユーザＵ２がポインティングを行ったときはユーザＵ２が指し示した位置を認識することができる。したがって、本実施の形態によれば、映像重畳装置１のユーザＵ１とモバイル端末２のユーザＵ２とが位置、距離感、方向感などを共有することができる。
【００３４】
なお、本実施の形態の映像重畳装置１とモバイル端末２の各々の構成のうち、カメラとディスプレイを除く構成は、それぞれＣＰＵ、記憶装置および外部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、本発明のビデオコミュニケーション方法を実現させるためのプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供され、コンピュータの記憶装置に格納される。各々の装置のＣＰＵは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って本実施の形態で説明した処理を実行する。
【産業上の利用可能性】
【００３５】
本発明は、カメラで撮影した撮影映像と他地点の撮影映像とを重ね合わせて表示することにより遠隔地点間での同期コミュニケーションを円滑にするビデオコミュニケーションシステムに適用することができる。
【符号の説明】
【００３６】
１…映像重畳装置、２…モバイル端末、３…ネットワーク、１１，２１…表示部、１２，２２…映像合成部、１３，２３…撮影部、２４…座標・ポインタ管理部、２５…入力部。
【特許請求の範囲】
【請求項１】
ユーザを取り囲むように表示手段を配置して構成された映像重畳装置と、
この映像重畳装置とネットワークを介して接続されたモバイル端末とを備え、
前記映像重畳装置は、
映像を表示可能な第１の表示手段と、
カメラを用いて映像を撮影する第１の撮影手段と、
この第１の撮影手段によって撮影された撮影映像を前記モバイル端末に送信する第１の送信手段と、
前記第１の撮影手段によって撮影された撮影映像と前記モバイル端末から送信された撮影映像とを合成して前記第１の表示手段に表示させ、前記モバイル端末から視線の移動量またはポインタ情報を取得したときは、前記モバイル端末から送信された撮影映像を表示する領域の形状が前記視線の移動量またはポインタ情報に応じて変化するように、前記モバイル端末から送信された撮影映像を合成して前記第１の表示手段に表示させる第１の映像合成手段とを有し、
前記モバイル端末は、
映像を表示可能な第２の表示手段と、
カメラを用いて映像を撮影する第２の撮影手段と、
この第２の撮影手段によって撮影された撮影映像を前記映像重畳装置に送信する第２の送信手段と、
前記モバイル端末のユーザの指示に応じてユーザの視線の移動量またはユーザがポインティングした位置の座標を示すポインタ情報を計算し、視線の移動量の情報またはポインタ情報を前記映像重畳装置に送信する管理手段と、
前記映像重畳装置の第１の表示手段の位置にモバイル端末のユーザが立っていると仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記第２の表示手段に表示させ、前記管理手段から視線の移動量の情報を取得したときは、この移動量の分だけモバイル端末のユーザが視線を移動させたと仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記第２の表示手段に表示させる第２の映像合成手段とを有することを特徴とするビデオコミュニケーションシステム。
【請求項２】
ユーザを取り囲むように表示手段を配置して構成された映像重畳装置と、この映像重畳装置とネットワークを介して接続されたモバイル端末とを用いて遠隔地点間での同期コミュニケーションを実現するビデオコミュニケーション方法であって、
前記映像重畳装置の第１の撮影手段が、カメラを用いて映像を撮影する第１の撮影ステップと、
前記映像重畳装置の第１の送信手段が、前記第１の撮影手段によって撮影された撮影映像を前記モバイル端末に送信する第１の送信ステップと、
前記モバイル端末の第２の撮影手段が、カメラを用いて映像を撮影する第２の撮影ステップと、
前記モバイル端末の第２の送信手段が、前記第２の撮影手段によって撮影された撮影映像を前記映像重畳装置に送信する第２の送信ステップと、
前記映像重畳装置の第１の映像合成手段が、前記第１の撮影手段によって撮影された撮影映像と前記モバイル端末から送信された撮影映像とを合成して前記映像重畳装置の第１の表示手段に表示させる第１の映像表示ステップと、
前記モバイル端末の第２の映像合成手段が、前記映像重畳装置の第１の表示手段の位置にモバイル端末のユーザが立っていると仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記モバイル端末の第２の表示手段に表示させる第２の映像表示ステップと、
前記モバイル端末の管理手段が、前記モバイル端末のユーザの指示に応じてユーザの視線の移動量またはユーザがポインティングした位置の座標を示すポインタ情報を計算し、視線の移動量の情報またはポインタ情報を前記映像重畳装置に送信する計算ステップと、
前記映像重畳装置の第１の映像合成手段が、前記モバイル端末から視線の移動量の情報またはポインタ情報を取得したときに、前記モバイル端末から送信された撮影映像を表示する領域の形状が前記視線の移動量またはポインタ情報に応じて変化するように、前記モバイル端末から送信された撮影映像を合成して前記映像重畳装置の第１の表示手段に表示させる第１の映像変更表示ステップと、
前記モバイル端末の第２の映像合成手段が、前記視線の移動量の情報を取得したときに、この移動量の分だけモバイル端末のユーザが視線を移動させたと仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記モバイル端末の第２の表示手段に表示させる第２の映像変更表示ステップとを備えることを特徴とするビデオコミュニケーション方法。
【請求項３】
請求項２に記載の各ステップをコンピュータに実行させることを特徴とするビデオコミュニケーションプログラム。
【請求項１】
ユーザを取り囲むように表示手段を配置して構成された映像重畳装置と、
この映像重畳装置とネットワークを介して接続されたモバイル端末とを備え、
前記映像重畳装置は、
映像を表示可能な第１の表示手段と、
カメラを用いて映像を撮影する第１の撮影手段と、
この第１の撮影手段によって撮影された撮影映像を前記モバイル端末に送信する第１の送信手段と、
前記第１の撮影手段によって撮影された撮影映像と前記モバイル端末から送信された撮影映像とを合成して前記第１の表示手段に表示させ、前記モバイル端末から視線の移動量またはポインタ情報を取得したときは、前記モバイル端末から送信された撮影映像を表示する領域の形状が前記視線の移動量またはポインタ情報に応じて変化するように、前記モバイル端末から送信された撮影映像を合成して前記第１の表示手段に表示させる第１の映像合成手段とを有し、
前記モバイル端末は、
映像を表示可能な第２の表示手段と、
カメラを用いて映像を撮影する第２の撮影手段と、
この第２の撮影手段によって撮影された撮影映像を前記映像重畳装置に送信する第２の送信手段と、
前記モバイル端末のユーザの指示に応じてユーザの視線の移動量またはユーザがポインティングした位置の座標を示すポインタ情報を計算し、視線の移動量の情報またはポインタ情報を前記映像重畳装置に送信する管理手段と、
前記映像重畳装置の第１の表示手段の位置にモバイル端末のユーザが立っていると仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記第２の表示手段に表示させ、前記管理手段から視線の移動量の情報を取得したときは、この移動量の分だけモバイル端末のユーザが視線を移動させたと仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記第２の表示手段に表示させる第２の映像合成手段とを有することを特徴とするビデオコミュニケーションシステム。
【請求項２】
ユーザを取り囲むように表示手段を配置して構成された映像重畳装置と、この映像重畳装置とネットワークを介して接続されたモバイル端末とを用いて遠隔地点間での同期コミュニケーションを実現するビデオコミュニケーション方法であって、
前記映像重畳装置の第１の撮影手段が、カメラを用いて映像を撮影する第１の撮影ステップと、
前記映像重畳装置の第１の送信手段が、前記第１の撮影手段によって撮影された撮影映像を前記モバイル端末に送信する第１の送信ステップと、
前記モバイル端末の第２の撮影手段が、カメラを用いて映像を撮影する第２の撮影ステップと、
前記モバイル端末の第２の送信手段が、前記第２の撮影手段によって撮影された撮影映像を前記映像重畳装置に送信する第２の送信ステップと、
前記映像重畳装置の第１の映像合成手段が、前記第１の撮影手段によって撮影された撮影映像と前記モバイル端末から送信された撮影映像とを合成して前記映像重畳装置の第１の表示手段に表示させる第１の映像表示ステップと、
前記モバイル端末の第２の映像合成手段が、前記映像重畳装置の第１の表示手段の位置にモバイル端末のユーザが立っていると仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記モバイル端末の第２の表示手段に表示させる第２の映像表示ステップと、
前記モバイル端末の管理手段が、前記モバイル端末のユーザの指示に応じてユーザの視線の移動量またはユーザがポインティングした位置の座標を示すポインタ情報を計算し、視線の移動量の情報またはポインタ情報を前記映像重畳装置に送信する計算ステップと、
前記映像重畳装置の第１の映像合成手段が、前記モバイル端末から視線の移動量の情報またはポインタ情報を取得したときに、前記モバイル端末から送信された撮影映像を表示する領域の形状が前記視線の移動量またはポインタ情報に応じて変化するように、前記モバイル端末から送信された撮影映像を合成して前記映像重畳装置の第１の表示手段に表示させる第１の映像変更表示ステップと、
前記モバイル端末の第２の映像合成手段が、前記視線の移動量の情報を取得したときに、この移動量の分だけモバイル端末のユーザが視線を移動させたと仮定したときにユーザから見える映像が表示されるように、前記映像重畳装置から送信された撮影映像を合成して前記モバイル端末の第２の表示手段に表示させる第２の映像変更表示ステップとを備えることを特徴とするビデオコミュニケーション方法。
【請求項３】
請求項２に記載の各ステップをコンピュータに実行させることを特徴とするビデオコミュニケーションプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−３５８８０（Ｐ２０１１−３５８８０Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１８３１９６（Ｐ２００９−１８３１９６）
【出願日】平成２１年８月６日（２００９．８．６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年８月６日（２００９．８．６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]