説明

会議装置、会議方法および会議プログラム

【課題】注目している参加者および注目されている参加者を容易に認識させることができる技術を提供する。
【解決手段】ネットワークを介して遠隔会議を行う会議装置1であって、当該会議装置を使用する自参加者の映像データを取得する映像取得手段16と、注目する参加者を指示する、自参加者の操作データを取得する操作取得手段18と、ネットワーク9を介して他の会議装置から他参加者の映像データおよび操作データを受信する受信手段19と、自参加者および他参加者の映像データを円形に配置した会議映像を生成する映像生成手段20と、自参加者および他参加者の操作データに基づいて、注目している参加者の映像データから注目されている参加者の映像データへの矢印を会議映像に設定する映像編集手段21と、映像編集手段21が編集した会議映像を表示する表示手段14とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ネットワークを介した遠隔会議を行う会議装置、会議方法および会議プログラムに関する。
【背景技術】
【0002】
企業活動における出張費を抑えるなどの目的から、遠隔会議の需要が高まっている。従来の会議システムには、例えば、電話(音声)会議システムや、ブラウザ上で動作するWeb(映像)会議システムなどがある。Web会議システムでは、ブラウザを起動し、Webカメラを設置し、ヘッドセットを装着すれば、互いの参加者の映像をみながら会議を行うことができる。なお、特許文献1には、発言権の取得や移譲が可能な多地点通信システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004-248145号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
人は、対面コミュニケーションを行う際に、言語情報だけでなく、非言語情報のやりとりをすることにより、円滑な会話を実現している。非言語情報のやりとりするためには、誰が誰に対して非言語情報を送っているのか、誰が非言語情報を受け取ったのかを認識することが重要である。非言語情報を伝達する手段の1つとして、視線が用いられている。視線を送ることで、言語情報を用いることなく、相手の注意を引き、視覚を通じて相手に非言語情報を伝えることができる。
【0005】
しかしながら、ネットワークを介した遠隔会議では、参加者同士が視線を交わすことはできない。そのため、遠隔会議では、言語情報(発言)のみのやりとりしか行うことができず、誰が誰に注目しているのかを、認識するのが難しい場合がある。その結果、映像を用いてはいるが、言語情報(発言)のみのコミュニケーションになってしまい、話者の交代がうまくいかない、会話が活発化しない、等の問題が発生する場合がある。
【0006】
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、注目している参加者および注目されている参加者を容易に認識させることができる会議装置、会議方法および会議プログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明は、ネットワークを介して遠隔会議を行う会議装置であって、当該会議装置を使用する自参加者の映像データを取得する映像取得手段と、注目する参加者を指示する、自参加者の操作データを取得する操作取得手段と、ネットワークを介して他の会議装置から他参加者の映像データおよび操作データを受信する受信手段と、自参加者および他参加者の映像データを円形に配置した会議映像を生成する映像生成手段と、自参加者および他参加者の操作データに基づいて、注目している参加者の映像データから注目されている参加者の映像データへの矢印を前記会議映像に設定する映像編集手段と、前記映像編集手段が編集した会議映像を表示する表示手段と、を有する。
【0008】
本発明は、ネットワークを介して遠隔会議を行う会議方法であって、会議装置は、当該会議装置を使用する自参加者の映像データを取得する映像取得ステップと、注目する参加者を指示する、自参加者の操作データを取得する操作取得ステップと、ネットワークを介して他の会議装置から他参加者の映像データおよび操作データを受信する受信ステップと、自参加者および他参加者の映像データを円形に配置した会議映像を生成する映像生成ステップと、自参加者および他参加者の操作データに基づいて、注目している参加者の映像データから注目されている参加者の映像データへの矢印を前記会議映像に設定する映像編集ステップと、前記映像編集ステップで編集した会議映像を表示する表示ステップと、を行う。
【0009】
本発明は、前記会議方法をコンピュータに実行させるための会議プログラムである。
【発明の効果】
【0010】
本発明によれば、注目している参加者および注目されている参加者を容易に認識させることができる会議装置、会議方法および会議プログラムを提供することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態に係る会議システムの全体構成図である。
【図2】会議映像の一例を示す図である。
【図3】編集された会議映像の一例を示す図である。
【図4】編集された会議映像の一例を示す図である。
【図5】編集された会議映像の一例を示す図である。
【図6】映像編集部の動作を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について、図面を参照して説明する。
【0013】
図1は、本発明の実施形態に係る会議システムの全体構成図である。本実施形態の会議システムは、ネットワーク9に接続された複数の会議装置1を用いて、遠隔地にいる複数の会議参加者(以下、「参加者」という)が遠隔会議を行うためのシステムである。
【0014】
図示する会議システムは、複数の参加者の各々が使用する複数の会議装置1と、これらの会議装置1とネットワーク9を介して接続された会議サーバ8とを備える。
【0015】
会議装置1は、例えばPCなどであって、当該会議装置1を使用する自参加者の映像を撮影するビデオカメラ11と、自参加者が発言した音声を集音するマイク12と、自参加者の操作を受け付ける入力装置13と、会議映像を表示する表示装置(ディスプレイ)12と、会議サーバ8から送信された他の参加者の音声を出力するスピーカ15と、を備える。
【0016】
入力装置13は、表示装置12の会議映像上に表示されるポインタ(マウスポインタなど)を操作する装置であって、例えば、マウス、ペン、タッチパッドなどのポインティングデバイスを用いることが考えられる。
【0017】
また、会議装置1は、ビデオカメラ11が撮像した映像データを取り込む映像取得部16と、マイク12から集音された音声データを取り込む音声取得部17と、入力装置13に入力された操作データを取り込む操作取得部18と、通信部19と、映像生成部20と、映像編集部21と、を備える。
【0018】
通信部19は、映像取得部16により取り込まれた映像データ、および、操作取得部18により取り込まれた操作データを、ネットワーク9を介して会議サーバ8に送信するとともに、映像編集部21に送出する。また、映像編集部21は、音声取得部17により取り込まれた音声データをネットワーク9を介して会議サーバ8に送信する。また、通信部19は、他の参加者の音声データを、ネットワーク9を介して会議サーバ8から受信し、スピーカ15に出力・再生するとともに、他の参加者の映像データおよび操作データをネットワーク9を介して会議サーバ8から受信し、映像生成部20に送出する。
【0019】
映像生成部20は、映像取得部16が取り込んだ自参加者の映像データと、通信部19が受信した他参加者の映像データとを円形に配置した会議映像を生成する。映像編集部21は、映像生成部20が生成した会議映像を、操作取得部18が取得した自参加者の操作データと、通信部19が受信した他参加者の操作データとに基づいて編集し、表示装置14に表示する。
【0020】
会議サーバ8は、各参加者が使用する各会議装置1から入力される、当該参加者の映像データ、音声データおよび操作データをそれぞれ受信し、他の会議装置1に送信する。
【0021】
会議装置1および会議サーバ8は、例えば、CPUと、メモリと、HDD等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、会議装置1および会議サーバ8およびの各機能は、会議装置1用のプログラムの場合は会議装置1のCPUが、そして、会議サーバ8用のプログラムの場合は会議サーバ8のCPUが、それぞれ実行することにより実現される。
【0022】
また、会議装置1用のプログラムおよび会議サーバ8用のプログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD−ROMなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
【0023】
次に、本実施形態の会議映像について説明する。
【0024】
図2は、映像生成部20が生成する会議映像の一例を示す図である。映像生成部20は、図示するように各参加者の映像データ201〜204を円形(円周上)に、等間隔で配置する。また、図示する例では、当該会議装置1を使用する自参加者A(当該会議装置1の前に座っている参加者)の映像データ201を円の最下部に配置する。そして、映像生成部20は、各参加者の領域が等しくなるように、参加者の数に応じて円を扇形に分割し、分割線206を設定・表示する。図示する例では、4人の参加者が会議に参加しているため、4分割されている。
【0025】
また、会議映像には、初期状態において、円の中心にポインタ(マウスポインタなど)205が表示される。自参加者は、入力装置13(マウスなど)を用いてこのポインタ25をいずれかの参加者の映像データに向かって移動させることにより、注目する参加者を選択・指示する。
【0026】
例えば、図3に示すように、自参加者Aが、入力装置13を操作することでポインタ205を参加者Cの映像データ203に向かって移動させ、ポインタ205が参加者Cの領域207に移動されることで、自参加者Aが参加者Cを注目していることを入力する。この操作により、映像編集部21は、注目している自参加者Aの映像データ201から注目されている参加者Cの映像データ203への矢印208を会議映像に設定する。
【0027】
なお、自参加者が指定できる注目する参加者の数は、最大で1人である。すなわち、誰にも注目しない(0人)か、あるいは誰か1人を注目するかのいずれかとなる。例えば、自参加者Aが参加者Cを注目する参加者として指定した後に、参加者Dを指定する場合は、参加者Cの指定は解除され、参加者Dのみが注目する参加者として指定される。なお、注目する参加者の指定の解除は、指定されてから所定の時間(第1の所定時間)が経過すると、次に注目する参加者を指定しなくても自動的に解除されるものとする。
【0028】
また、自参加者Aが移動させたポインタ205は、所定の時間(第2の時間)が経過した後、操作取得部18により、初期状態で設定される中心部に戻る(図2参照)。なお、指定解除の所定の時間(第1の時間)と、ポインタ205を中心部へ戻す所定の時間(第2の時間)とは、独立しており、同じであっても、異なるものであってもよい。
【0029】
また、映像編集部21は、注目されている参加者の映像データ、および、注目している参加者の映像データ以外の参加者の映像データの解像度を低くする(例えば、解像度を1/4などに下げる)。図3に示す例では、注目されている参加者Cの映像データ203、および、注目している自参加者Aの映像データ201以外の参加者B、Dの映像データ202、204の解像度を、自参加者Aおよび参加者Cの映像データ201、203より低くする。なお、自参加者Aの映像データ201については、いずれかの参加者を注目しいていなく、かつ、注目もされていないときであっても、解像度を低くしない。
【0030】
また、図4に示すように、参加者Dが、当該参加者Dが使用する会議装置1の入力装置13を操作して、参加者Aを注目するようにポインタを移動させた場合(ポインタを参加者Aの領域に移動させた場合)、参加者Dの操作データがネットワーク9および会議サーバ8を介して参加者Aが使用する会議装置1に送信される。参加者Aの会議装置1の映像編集部21は、当該操作データを用いて、注目している参加者Dの映像データ204から注目されている参加者Aの映像データ201へ向かって矢印208(例えば、点線の矢印)を会議映像に設定する。
【0031】
また、参加者Cが、当該参加者Cが使用する会議装置1の入力装置13を操作して、参加者Bを注目するようにポインタを移動させた場合、参加者Cの操作データがネットワーク9および会議サーバ8を介して参加者Aが使用する会議装置1に送信される。同様に、参加者Bが、当該参加者Bが使用する会議装置1の入力装置13を操作して、参加者Cを注目するようにポインタを移動させた場合、参加者Bの操作データがネットワーク9および会議サーバ8を介して参加者Aが使用する会議装置1に送信される。参加者Aの会議装置1の映像編集部21は、これらの操作データを用いて、相互に注目し合っている参加者Bの映像データ202と参加者Cの映像データ203との間に矢印209(例えば、両方向の太い実線の矢印)を会議映像に設定する。
【0032】
なお、本実施形態では、映像編集部21は、自参加者を注目していない参加者であって、かつ、自参加者から注目されていない参加者の映像データの解像度を低くする。図4に示す例では、参加者Bの映像データ202、および、自参加者Cの映像データ203の解像度を、自参加者Aおよび参加者Dの映像データ201、204より低くする。
【0033】
また、図5に示すように、自参加者Aが、入力装置13を操作することでポインタ205を自分(自参加者A)の映像データ201に向かって移動させ、ポインタ205を自分の領域に移動させることで、自参加者Aが他の参加者全員に自分を注目して欲しいことを要求する全員注目要求を入力する。この全員注目要求の操作指示により、映像編集部21は、自参加者Aの映像データ201を、所定の大きさ(例えば1.2倍など)に拡大して表示する。
【0034】
次に、本実施形態の映像編集部21の動作について説明する。
【0035】
まず、操作取得部18は、自参加者が入力装置13を用いて操作した操作データを取得し、移動されたポインタの位置に応じて自参加者が注目する参加者を判別する。そして、操作取得部18は、判別した注目する参加者を含む自参加者の操作データを、映像編集部21および通信部19に送出する。通信部19に送出された自参加者の操作データは、ネットワーク9および会議サーバ8を介して、他の全ての会議装置1に送信される。
【0036】
また、通信部19は、ネットワーク9および会議サーバ8を介して、他の会議装置1から受信した他参加者の操作データを映像編集部21に送出する。これにより、映像編集部21には、自参加者の操作データおよび他参加者の操作データが入力される。映像編集部21は、入力される各参加者の操作データに基づいて、参加者毎に、当該参加者がどの参加者に注目しているのか(ポインタがいずれかの参加者の領域にある場合)、どの参加者にも注目していないのか(ポインタが中心部にある場合)、あるいは、全員注目要求を指示しているのか(ポインタが自分の領域にある場合)を、図示しない記憶部に記憶するものとする。
【0037】
なお、映像編集部21は、操作取得部18または通信部19から各操作データを受け付けて、注目する参加者の指定を記憶部に設定した後、所定の時間(第1の所定時間)が経過すると当該注目する参加者の指定を解除し、どの参加者にも注目していない状態に更新する。
【0038】
映像編集部21は、このような各参加者の操作データが記憶された記憶部を参照し、映像生成部20が生成した画像映像を編集する。
【0039】
図6は、映像編集部21の編集処理を示すフローチャートである。映像編集部21は、各参加者毎に、所定のタイミングで繰り返し図6に示す処理を行う。まず、映像編集部21は、記憶部を参照し、対象となる参加者(以下、「当該参加者」)の操作データ(注目する参加者)が全員注目要求か否かを判別し(S11)、全員注目要求の場合は(S11:YES)、当該参加者の映像データのサイズを所定の大きさに拡大し(S12)、S15に進む。
【0040】
全員注目要求でない場合(S11:NO)、映像編集部21は、当該参加者が自参加者でない場合、または、記憶部の当該参加者の操作データに自参加者が設定されていない場合であって、かつ、記憶部の自参加者の操作データに当該参加者が設定されていない場合(S13:NO)、当該参加者の映像データの解像度を低くする(S14)。すなわち、自参加者でもなく、自参加者を注目せず、かつ自参加者からも注目されていない場合、当該参加者の映像データの解像度を低くする。
【0041】
一方、自参加者の場合、記憶部の当該参加者の操作データに自参加者が設定されている場合、記憶部の自参加者の操作データに当該参加者が設定されている場合のいずれかの場合(S13:YES)、S15に進む。
【0042】
S15では、映像編集部21は、記憶部の当該参加者の操作データにいずれかの参加者が設定されている場合であって(S15:YES)、S15で設定された注目される参加者の操作データに注目する参加者として当該参加者が設定されている場合は(S16:YES)、相互に注目し合っているとみなし、当該参加者とS15で設定された参加者との間に双方向の矢印を設定する(S17)。
【0043】
S15で設定された参加者の操作データに当該参加者が設定されていない場合は(S16:NO)、映像編集部21は、当該参加者からS15で設定された参加者に向けて矢印を設定する(S18)。
【0044】
いずれの参加者も設定されていない場合であって(S15:NO)、いずれかの参加者の操作データに注目する参加者として当該参加者が設定されている場合(S19:YES)、映像編集部21は、当該参加者を注目している参加者から当該参加者に向けて矢印を設定する(S20)。
【0045】
以上述べた図6の動作を、図4の会議映像を例として具体的に説明する。この場合、記憶部には、参加者A(自参加者)の操作データには注目する参加者が無し、参加者Bの操作データには注目する参加者として参加者Cが、参加者Cの操作データには注目する参加者として参加者Bが、参加者Dの操作データには注目する参加者として参加者Aが設定されているものとする。
【0046】
参加者Aについては、全員注目要求ではなく(S11:NO)、自参加者であり(S13:YES)、いずれの参加者にも注目していなく(S15:NO)、参加者Dから注目されているため(S19:YES)、映像編集部21は、参加者Dの映像データ204から参加者Aの映像データ201に矢印208を設定する(S20)。
【0047】
参加者Bについては、全員注目要求ではなく(S11:NO)、自参加者Aを注目せず、かつ、自参加者Aから注目されていないため(S13:NO)、参加者Bの映像データ202の解像度を低くする(S14)。また、参加者Bは、参加者Cを注目しており(S15:YES)、参加者Cからも注目されているため(S16:YES)、映像編集部21は、参加者Bの映像データ202と参加者Cの映像データ203との間に双方向の矢印209を設定する(S17)。
【0048】
参加者Cについては、全員注目要求ではなく(S11:NO)、自参加者Aを注目せず、かつ、自参加者Aから注目されていないため(S13:NO)、参加者Cの映像データ203の解像度を低くする(S14)。また、参加者Cは、参加者Bを注目しており(S15:YES)、参加者Bからも注目されているため(S16:YES)、映像編集部21は、参加者Bの映像データ202と参加者Cの映像データ203との間に双方向の矢印209を設定するが(S17)、参加者Bの処理で既に矢印209が設定されているため、ここでは矢印209を設定しない。
【0049】
参加者Dについては、全員注目要求ではなく(S11:NO)、参加者Aを注目しており(S13:YES、S15:YES)、参加者Aからは注目されていないため(S16:NO)、映像編集部21は、参加者Dの映像データ204から参加者Aの映像データ201に矢印208を設定するが(S18)、参加者Aの処理で既に矢印208が設定されているため、ここでは矢印208を設定しない。
【0050】
以上説明した本実施形態では、Web会議のように、視線を計測するための特別な装置を備えていない会議装置を用いた会議システムであっても、注目する参加者を容易に選択することができ、また注目されていることを認識することができるため、非言語情報を参加者間でやりとりし、円滑な会話が行える環境を実現することができる。
【0051】
具体的には、本実施形態では、全ての参加者の映像データを円形に配置し、当該会議装置を使用する自参加者の映像データを最下部に配置した会議映像を生成し、表示装置に表示する。これにより、各参加者に、円卓に座って会議をしているような臨場感を与えることができる。
【0052】
また、本実施形態では、各参加者の操作データに基づいて、注目している参加者の映像データから注目されている参加者の映像データへの矢印を会議映像に設定する。また、互いに注目している参加者の場合は、当該参加者間に双方向の矢印を設定する。これにより、本実施形態では、どの参加者がどの参加者に注目しているかを表現することができ、参加者に容易に認識させることができる。
【0053】
また、本実施形態では、参加者は、会議映像上でポインタを注目する参加者に向かって移動させる操作により、容易に注目する参加者を選択することができる。また、ポインタは、いずれかの参加者の領域に移動させた後、所定の時間が経過すると中心位置(初期位置)に戻るため、参加者は、注目したい参加者の方向へポインタを移動させるだけで、注目する参加者を自由に選択することができる。
【0054】
また、本実施形態では、注目している参加者、および、注目されている参加者以外の参加者の映像データについて、解像度を低くして、不鮮明にすることで参加者の視線を注目している参加者、および、注目されている参加者に誘導し、非言語情報を伝達することができる。
【0055】
なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、上記実施形態で説明したような会議映像のポインタを移動させることで注目する参加者を選択する機能のON/OFF(使用する/使用しない)を、トグル式に切り替えるボタンによって切り替えることが考えられる。
【0056】
また、上記実施形態では、自参加者を注目せず、かつ、自参加者から注目されていない参加者については、自参加者以外の参加者を注目し、または、自参加者以外の参加者から注目されている場合であっても、当該参加者の映像データの解像度を低くすることとした(図4:参加者B、参加者C)。しかしながら、自参加者を注目せず、かつ、自参加者から注目されていない参加者であっても、自参加者以外の参加者を注目し、または、自参加者以外の参加者から注目されている場合、当該参加者の映像データの解像度を低くしないこととしてもよい。
【符号の説明】
【0057】
1 :会議装置
11:ビデオカメラ
12:マイク
13:入力装置
14:表示装置
15:スピーカ
16:映像取得部
17:音声取得部
18:操作取得部
19:通信部
20:映像生成部
21:映像編集部
8 :会議サーバ
9 :ネットワーク

【特許請求の範囲】
【請求項1】
ネットワークを介して遠隔会議を行う会議装置であって、
当該会議装置を使用する自参加者の映像データを取得する映像取得手段と、
注目する参加者を指示する、自参加者の操作データを取得する操作取得手段と、
ネットワークを介して他の会議装置から他参加者の映像データおよび操作データを受信する受信手段と、
自参加者および他参加者の映像データを円形に配置した会議映像を生成する映像生成手段と、
自参加者および他参加者の操作データに基づいて、注目している参加者の映像データから注目されている参加者の映像データへの矢印を前記会議映像に設定する映像編集手段と、
前記映像編集手段が編集した会議映像を表示する表示手段と、を有すること
を特徴とする会議装置。
【請求項2】
請求項1記載の会議装置であって、
前記操作データは、前記表示手段に表示される会議映像において、参加者がポインタをいずれかの参加者に向かって移動させる操作により、入力されること
を特徴とする会議装置。
【請求項3】
請求項1または2記載の会議装置であって、
前記映像編集手段は、前記注目されている参加者、および、当該注目されている参加者を注目している参加者以外の参加者の映像データの解像度を低くすること
を特徴とする会議装置。
【請求項4】
請求項1記載の会議装置であって、
前記映像編集手段は、参加者がポインタを当該参加者自身に向かって移動させる操作データの場合、当該参加者の映像データのサイズを拡大すること
を特徴とする会議装置。
【請求項5】
ネットワークを介して遠隔会議を行う会議方法であって、
会議装置は、
当該会議装置を使用する自参加者の映像データを取得する映像取得ステップと、
注目する参加者を指示する、自参加者の操作データを取得する操作取得ステップと、
ネットワークを介して他の会議装置から他参加者の映像データおよび操作データを受信する受信ステップと、
自参加者および他参加者の映像データを円形に配置した会議映像を生成する映像生成ステップと、
自参加者および他参加者の操作データに基づいて、注目している参加者の映像データから注目されている参加者の映像データへの矢印を前記会議映像に設定する映像編集ステップと、
前記映像編集ステップで編集した会議映像を表示する表示ステップと、を行うこと
を特徴とする会議方法。
【請求項6】
請求項5記載の会議方法であって、
前記操作データは、前記表示ステップに表示される会議映像において、参加者がポインタをいずれかの参加者に向かって移動させる操作により、入力されることこと
を特徴とする会議方法。
【請求項7】
請求項5または6記載の会議方法であって、
前記映像編集ステップは、前記注目されている参加者、および、当該注目されている参加者を注目している参加者以外の参加者の映像データの解像度を低くすること
を特徴とする会議方法。
【請求項8】
請求項5記載の会議方法であって、
前記映像編集ステップは、参加者がポインタを当該参加者自身に向かって移動させる操作データの場合、当該参加者の映像データのサイズを拡大すること
を特徴とする会議方法。
【請求項9】
請求項5から請求項8のいずれか1項に記載の会議方法をコンピュータに実行させるための会議プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−165170(P2012−165170A)
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【出願番号】特願2011−23814(P2011−23814)
【出願日】平成23年2月7日(2011.2.7)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】