説明

会議装置、会議方法および会議プログラム

【課題】参加者が特別な操作を行うことなく発話できるとともに、円滑な話者交替を可能とする。
【解決手段】ネットワークを介して接続された複数の端末3の音声データを送受信して遠隔会議を行う会議装置1であって、各参加者の優先度を記憶する優先度記憶手段22と、第1の所定時間内に複数の端末3での参加者の発話を検知すると、発話した複数の参加者の優先度を比較し、優先度が最も大きい参加者を話者に決定する話者決定手段15と、話者に決定された参加者以外の参加者の発話の音声データの音圧を、第2の所定時間、所定の値に制限する音圧制御手段19と、話者に決定された参加者の優先度をクリアし、話者以外の各参加者の優先度を増加する計算手段16と、を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ネットワークを介した遠隔会議を行う会議装置、会議方法および会議プログラムに関する。
【背景技術】
【0002】
エコや、経費削減の観点から、遠隔会議システムの需要が増加している。遠隔会議システムを利用すると、離れた場所から複数人で会議を実施できるため便利である。特に、Web会議のように、インターネットに接続できればノートPCからでも参加できるシステムは、使用場所の制限が少ない。
【0003】
特許文献1には、遠隔会議での発言権をコントロールするためにトークンという概念を導入し、発言したい会議参加者がトークンを獲得することで、発言権を得ることができる多地点通信システムが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4376525号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このような遠隔会議システムの欠点として、映像や音声の質が低いことが挙げられる。すなわち、映像の解像度は低く、映像表示サイズはある程度小型のものに制限され、また1つのディスプレイに並べられた複数の参加者映像から同時に情報を読み取ることは困難であり、誰が次に発話しそうなのかが分からない。さらに、音声遅延の影響により、実際に誰が発話を開始したのかを、他の参加者が認知するまでに遅れが生じる。
【0006】
以上の理由から、遠隔会議において、同時に複数の参加者が発話を開始する、発話の衝突が多く生じる。この発話の衝突が起こった場合、さらに、その状態から脱し、誰が発話をするのか、という発話衝突からの再開も困難であり、大きな問題である。このように発話の衝突が頻繁に発生し、そこからの再開も困難な会議では、参加者に精神的なストレスが蓄積するとともに、会議の進行を停滞させてしまう。
【0007】
特許文献1では、発話したいという欲求が生じた際に、まずトークンを獲得する操作をしなくてはならない。このため、タイムロスが生じ、円滑な話者交替が妨げられてしまう可能性がある。すなわち、発言権を取得するための意識的な行動が必要であり、会議の円滑な進行が妨げられる可能性がある。
【0008】
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、参加者に発話したいという欲求が生じた際に、特別な操作を行うことなく発話でき、円滑な話者交替が可能な会議装置、会議方法および会議プログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明は、ネットワークを介して接続された複数の端末の音声データを送受信して遠隔会議を行う会議装置であって、前記複数の端末を使用する各参加者の優先度を記憶する優先度記憶手段と、第1の所定時間内に複数の端末での参加者の発話を検知すると、前記優先度記憶手段を参照して、前記発話した複数の参加者の優先度を比較し、優先度が最も大きい参加者を話者に決定する話者決定手段と、前記話者に決定された参加者以外の参加者の音声データの音圧を、第2の所定時間、所定の値に制限する音圧制御手段と、前記話者に決定された参加者の優先度をクリアし、話者以外の各参加者の優先度を増加する計算手段と、を有する。
【0010】
本発明は、会議装置が行う、ネットワークを介して接続された複数の端末の音声データを送受信する会議方法であって、前記会議装置は、前記複数の端末を使用する各参加者の優先度を記憶する優先度記憶部を備え、第1の所定時間内に複数の端末での参加者の発話を検知すると、前記優先度記憶部を参照して、前記発話した複数の参加者の優先度を比較し、優先度が最も大きい参加者を話者に決定する話者決定ステップと、前記話者に決定された参加者以外の参加者の音声データの音圧を、第2の所定時間、所定の値に制限する音圧制御ステップと、前記話者に決定された参加者の優先度をクリアし、話者以外の各参加者の優先度を増加する計算ステップと、を行う。
【0011】
本発明は、前記会議方法をコンピュータに実行させるための会議プログラムである。
【発明の効果】
【0012】
本発明によれば、参加者に発話したいという欲求が生じた際に、特別な操作を行うことなく発話でき、円滑な話者交替が可能な会議装置、会議方法および会議プログラムを提供することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係る会議システムの全体構成図である。
【図2】本実施形態の動作を示すフローチャートである。
【図3】同時発話の検出を説明する説明図である。
【図4】会議映像の一例を示す図である。
【図5】優先発話ポイントを説明する説明図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について、図面を参照して説明する。
【0015】
図1は、本発明の実施形態に係る会議システムの全体構成図である。本実施形態の会議システムは、会議サーバ1と、当該会議サーバ1とインターネットなどのネットワーク9を介して接続された複数のクライアント3とを備える。遠隔地にいる複数の会議参加者(以下、「参加者」という)の各々は、クライアント3を用いて会議サーバ1にアクセスし、遠隔会議に参加する。
【0016】
クライアント3は、各参加者が使用する装置であって、ネットワークを通じて会議サーバ1を介すことで、各参加者の映像データおよび音声データを送受信する。クライアント3は、例えばPCなどであって、当該クライアント3を使用する自参加者の映像を撮影するビデオカメラと、自参加者が発話・発言した音声を集音するマイクと、会議映像を表示する表示装置(ディスプレイ)と、会議サーバ1から送信された他の参加者の音声を出力するスピーカなどを備える。また、クライアント3は、ビデオカメラが撮影した自参加者の映像データ、およびマイクが集音音した自参加者の音声データを、ネットワーク9を介して会議サーバ1に送信するとともに、他の参加者の音声データを会議サーバ1から受信し、また、他の参加者の映像データを含む会議映像を会議サーバ1から受信する通信部を備える。
【0017】
会議サーバ1は、各参加者が使用する各クライアント3から入力される、当該参加者の映像データおよび音声データをそれぞれ受信し、他のクライアント3に送信する。図示する会議サーバ1は、データ受信部11と、映像取込部12と、音声取込部13と、発話者・時刻記録部14と、同時発話検出部15と、ポイント計算部16と、映像生成部17と、表示映像重畳部18と、音圧制御部19と、音声多重部20と、データ送信部21と、ポイント記憶部22とを備える。
【0018】
データ受信部11は、各クライアント3から送信された映像データおよび音声データを受信する。映像取込部12は、データ受信部11が受信した映像データを取り込み、表示映像重畳部18に送出する。音声取込部13は、データ受信部11が受信した音声データを取り込み、発話者・時刻記録部14に送出する。発話者・時刻記録部14は、入力された音声データに基づいて、当該音声データを発話した参加者および発話開始時刻を記録する。
【0019】
同時発話検出部15(話者決定手段)は、所定時間内に複数の参加者の発話を検知すると、ポイント記憶部22(優先度記憶手段)を参照して、発話した複数の参加者の優先発話ポイント(優先度)を比較し、優先発話ポイントが最も大きい参加者を話者に決定する。ポイント計算部16(計算手段)は、各参加者の優先発話ポイントを計算し、更新するものであって、話者に決定された参加者の優先発話ポイントをクリアし、話者以外の各参加者の優先発話ポイントを増加する。また、ポイント計算部16は、各参加者の優先発話ポイントの初期値として、「0」から「参加者数−1」の各値(整数)を各参加者に割り当てる。ポイント記憶部22には、各参加者の優先発話ポイントが記憶される。
【0020】
映像生成部17は、同時発話を通知する映像(発話がキャンセルされたことを示す映像)を生成する。表示映像重畳部18は、発話がキャンセルされた参加者の映像データに映像生成部17が生成した映像を重畳して、会議映像を生成する。音圧制御部19は、話者に決定された参加者以外の参加者の発話の音声データの音圧を、所定時間、所定の値に制限する。音声多重部20は、各クライアント3から受信し、音圧制御部19を通過した音声データを多重化する。データ送信部21は、表示映像重畳部18から送出された会議映像の映像データを各クライアント3に送信するとともに、音声多重部20から送出された多重化された音声データを各クライアント3に送信する。
【0021】
会議サーバ1およびクライアント3は、例えば、CPUと、メモリと、HDD等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、会議サーバ1およびクライアント3の各機能は、会議サーバ1用のプログラムの場合は会議サーバ1のCPUが、そして、クライアント3用のプログラムの場合はクライアント3のCPUが、それぞれ実行することにより実現される。
【0022】
また、会議サーバ1用のプログラムおよびクライアント3用のプログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD−ROMなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
【0023】
次に、本実施形態の動作について説明する。
【0024】
各参加者は、クライアント3を用いて、ネットワークを介して会議サーバ1にアクセスし、遠隔会議を行う。会議サーバ1のデータ受信部11は、各クライアント3から送られてきた映像データおよび音声データを受信する。そして、データ受信部11は、受信した映像データを映像取込部12に送出し、音声データを音声取込部13に送出する。映像取込部12は、取り込んだ映像データを、表示映像重畳部18に送出する。
【0025】
音声取込部13は、取り込んだ音声データを発話者・時刻記録部14に送出する。発話者・時刻記録部14は、音声取込部13から入力された音声データに基づいて、発話した参加者のIDと発話開始時刻とを、発話記憶部(不図示)に記憶する。なお、各クライアント3から送信される音声データおよび映像データには、参加者を識別するためのID(ユーザID、クライアントID等)が付加されている。
【0026】
また、各クライアント3から会議サーバ1への上りのネットワーク遅延時間(伝送遅延時間)については、既存のネットワーク遅延計測技術を用いて測定しているものとする。発話者・時刻記録部14は、当該音声データが入力された時刻から対応するクライアント3のネットワーク遅延時間を減算した時刻を、当該クライアント3において発話が開始された発話開始時刻と推定し、発話記憶部(不図示)に記憶する。そして、図2に示す処理を行う。
【0027】
図2は、同時発話(発話衝突)が発生したか否かの判別、および同時発話を検出した場合の処理を示すフローチャートである。同時発話検出部15は、所定時間内に複数の端末での参加者の発話が発生したか、すなわち同時発話が発生したか否かを判別する(S11)。
【0028】
図3は、同時発話の検出を説明するための説明図である。図示する例では、参加者Aが発話し、その後に参加者Bが発話したものとする。このとき、参加者Aが自クライアントにおいて発話を開始した時刻をta、参加者Bが自クライアントにおいて発話を開始した時刻をtbとする。
【0029】
また、参加者が自クライアントで発話を開始してから、自クライアント以外の他のクライアントで当該発話の音声データが再生されるまでの時間をd(第1の所定時間)とする。dには、例えば自クライアントから会議サーバ1への上りのネットワーク遅延時間、会議サーバ1での処理時間、会議サーバ1から他クライアント3への下りのネットワーク遅延時間、音声パケット長分の時間が含まれるものとする。既存のネットワーク遅延計測技術を用いてこれらの各時間をあらかじめ測定し、測定した各時間に基づいてd(第1の所定時間)を設定する。
【0030】
同時発話検出部15は、発話記憶部に記録された参加者Aおよび参加者Bの発話開始時刻ta、tbを参照し、時刻taと時刻tbの差がd以下の場合(|ta-tb|≦dが成り立つ場合)、すなわちd時間内に参加者Aの発話と参加者Bの発話が開始された場合、同時発話が発生したと判定する(S11:YES)。
【0031】
同時発話を検知した場合(S11:YES)、同時発話検出部15は、ポイント記憶部22を参照し、同時発話となった複数の参加者(参加者A、参加者B)の優先発話ポイントを比較し、優先発話ポイントが最も大きい参加者を話者に決定する(S12)。そして、同時発話検出部15は、話者に決定した参加者のIDと、話者に決定されなかった参加者のIDとを含む同時発話通知を、映像生成部17、音圧制御部19およびポイント計算部16に送出する。優先発話ポイントが小さく、話者に決定されなかった参加者の発話は、以下の処理によりキャンセルされる。
【0032】
優先発話ポイントは、発話の優先度を示す指標であって、各参加者毎にポイント記憶部22に記憶される。ポイント計算部16は、各参加者の優先発話ポイントの初期値として、「0」から「参加者数-1」までの各値(整数)を、各参加者に割り当てる。割り当て方法は、例えばランダムに決定することが考えられる。
【0033】
なお、会議の途中に参加者が退室した場合、会議に参加している残りの各参加者に付与された優先発話ポイントはそのままであって、影響を及ぼさない。また、会議の途中に新たな参加者が加わった場合、既存の参加者の持つ優先発話ポイントの最大値に「1」を加算した値を、その参加者の優先発話ポイントとして設定する。これにより、同時発話が発生した場合、新たな参加者が優先的に話者となる。もしくは、会議の途中に新たな参加者が加わった場合、既存の全ての参加者の優先発話ポイントに「1」を加算し、新たに加わった参加者の優先発話ポイントを「0」に設定することとしてもよい。
【0034】
同時発話通知を受け付けた映像生成部17は、同時発話が発生し、発話がキャンセルされた参加者が存在することを各参加者に通知するための、所定の映像を生成する(S13)。所定の映像は、例えば、発話がキャンセルされた参加者の映像データを囲むための所定の色の枠、発話がキャンセルされた参加者の映像データに設定する所定の図形(アイコン、マークなど)、発話がキャンセルされた参加者の映像データに設定する文字(「発話衝突」など)が挙げられる。この他に、発話衝突が発生し、発話がキャンセルされたことを音声のシグナルにより知らせる構成としてもよい。
表示映像重畳部18は、映像取込部12から入力された、各クライアント3から受信した各参加者の映像データを碁盤の目状に配置し、キャンセルされる発話を行った参加者全員の映像データに、映像生成部17が生成した映像を重畳し、各クライアント3に配信する会議映像(表示映像)データを生成し、データ送信部21に送出する。データ送信部21は、表示映像重畳部18から受け取った会議映像データを、ネットワーク9を介して各クライアント3に送信する。各クライアント3は、会議サーバ1から受信した会議映像データを表示する。
【0035】
図4は、表示映像重畳部18が生成し、各クライアント3に配信され、各クライアント3のディスプレイに表示される会議映像の一例を示す図である。表示映像重畳部18は、図示するように、各参加者の映像データをタイル状に所定の位置に配置する。図示する例では、参加者Bの発話がキャンセルされたことを示し、参加者Bの映像データ41の右上に「発話衝突」の文字を設定している。なお、映像生成部17が生成した映像が、参加者の映像データを囲むための所定の色の枠の場合、発話がキャンセルされた参加者Bの映像データ41の枠が所定の色に設定される。
【0036】
また、話者に決定された参加者の映像データについても、発話がキャンセルされた参加者の映像データと同様に、例えば話者の映像データを話者用の所定の色の枠で囲む、または、話者の映像データのいずれかの四隅に「話者」の文字を設定するなどしてもよい。
【0037】
また、同時発話通知を受け付けた音圧制御部19は、話者に決定された参加者以外の参加者の発話の音声データの音圧を、予め定めたe秒間(第2の所定時間)、所定の値(例えば、「0」)に制限する(S14)。このとき、eはdよりも大きな値である。このe秒の間に別の参加者が発話を開始した場合も、当該別の参加者の発話もキャンセルされ、当該別の参加者の音声データの音圧も、例えば「0」に設定される。
【0038】
音声多重部20は、各クライアント3から受信し、音圧制御部19により制御された各音声データを多重し、データ送信部21に送出する。データ送信部21は、音声多重部20から受け取った音声データを、ネットワーク9を介して各クライアント3に送信する。各クライアント3は、会議サーバ1から受信した音声データを再生する。この多重化された音声データは、話者に決定された参加者以外の音声の音圧が例えば「0」に制御されているため、発話の衝突がない。
【0039】
なお、S13とS14の処理は、並行して行われるものである。
【0040】
そして、同時発話通知を受け付けたポイント計算部16は、S12で話者に決定された参加者の発話開始からf秒後(第3の所定時間後)に、話者に決定された参加者の優先発話ポイントをクリアし、話者以外の各参加者の優先発話ポイントを増加する。具体的には、話者に決定された参加者の優先発話ポイントを「0」に更新し、それ以外の参加者の優先発話ポイントに「1」を加算する(S15)。
【0041】
図5は、優先発話ポイントを説明するための説明図である。
【0042】
まず、最初のt1時点において、ポイント計算部16により、各参加者に初期値の優先発話ポイントがランダムに設定される。図示する例では、参加者3名であるため、「0」から「参加者数-1」までの各値(「0」、「1」、「2」)がランダムに各参加者に設定される。
【0043】
そして、t2時点において、参加者Aと参加者Bとで同時発話が発生し、この場合、同時発話検出部15は、優先発話ポイントが大きい参加者Aを話者として決定し、参加者Bの発話はキャンセルされる。その後、話者となった参加者Aの優先発話ポイントは「0」に更新され、参加者Bおよび参加者Cの優先発話ポイントはそれぞれ「1」加算される。
【0044】
なお、図示する例では、話者に決定された参加者の優先発話ポイントを実線の円で囲み、発話がキャンセルされた参加者の優先発話ポイントを点線の円で囲んでいる。
【0045】
優先発話ポイントが更新されたt3時点において、参加者Aと参加者Cとで同時発話が発生し、この場合、同時発話検出部15は、優先発話ポイントが大きい参加者Cを話者として決定し、参加者Aの発話はキャンセルされる。その後、話者となった参加者Cの優先発話ポイントは「0」に更新され、参加者Aおよび参加者Bの優先発話ポイントはそれぞれ「1」加算される。
【0046】
t5時点では、参加者Aと参加者Bとで同時発話が発生し、この場合、同時発話検出部15は、優先発話ポイントが大きい参加者Aを話者として決定し、さらに参加者Aの発話開始からe秒以内に、3人目の参加者Cが発話を開始した場合を示すものである。この場合、参加者Bの発話だけでなく、参加者Cの発話もキャンセルされる。
【0047】
なお、同時発話が発生しない場合(S11:NO)、S12からS15の処理を行うことなく終了する。すなわち、表示映像重畳部18は、映像取込部12から入力された、各クライアント3から受信した各参加者の映像データを碁盤の目状に配置した会議映像データを生成し、データ送信部21に送出する。データ送信部21は、表示映像重畳部18から受け取った会議映像データを、ネットワーク9を介して各クライアント3に送信する。また、音声多重部20は、各クライアント3から受信し、音圧制御部19により制御されていない各音声データを多重し、データ送信部21に送出する。データ送信部21は、音声多重部20から受け取った音声データを、ネットワーク9を介して各クライアント3に送信する。この場合、優先発話ポイントは更新されない。
【0048】
以上説明した本実施形態では、Web会議システムなどのネットワークを介した遠隔会議において、複数の参加者がほぼ同時に発話開始した際に、いずれか1人のみの発話を許可し、それ以外の参加者の発話音声の音圧を小さく制御することで、擬似的に発話衝突が生じていないかのような状態を作り出す。これにより本実施形態では、発話を許可された参加者は、普段通り発話を継続することができる。すなわち、本実施形態では、発話したいという欲求が生じた際に、参加者が特別な操作を行うことなく発話できるとともに、円滑な話者交替が可能となる。
【0049】
また、本実施形態では、優先発話ポイントを用いて話者を決定することで、発話許可が与えられる参加者は、均等な確率で選択され、また、同時発話が生じたことを参加者全員に通知することで、発話がキャンセルされた参加者へのストレスを軽減し、参加者全員が発話衝突を恐れずに会話を行える環境を提供することができる。すなわち、本実施形態では、発言の機会を声の大小に関わらず、均等に配分することができ、参加者全員がストレスを感じることなく会議に参加することができる。
【0050】
なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、本実施形態の会議システムは、映像データおよび音声データを送受信する会議システムを示しているが、本発明は、音声データのみを送受信する音声会議システムにも適用可能なものである。音声会議システムの場合、同時発話を通知するための通知音を生成し、各クライアントから受信し、音圧制御部により制御された各音声データとともに通知音を多重するものとする。
【符号の説明】
【0051】
1 :会議サーバ
11:データ受信部
12:映像取込部
13:音声取込部
14:発話者・時刻記録部
15:同時発話検出部
16:ポイント計算部
17:映像生成部
18:表示映像重畳部
19:音圧制御部
20:音声多重部
21:データ送信部
22:ポイント記憶部
3 :クライアント
9 :ネットワーク

【特許請求の範囲】
【請求項1】
ネットワークを介して接続された複数の端末の音声データを送受信して遠隔会議を行う会議装置であって、
前記複数の端末を使用する各参加者の優先度を記憶する優先度記憶手段と、
第1の所定時間内に複数の端末での参加者の発話を検知すると、前記優先度記憶手段を参照して、前記発話した複数の参加者の優先度を比較し、優先度が最も大きい参加者を話者に決定する話者決定手段と、
前記話者に決定された参加者以外の参加者の音声データの音圧を、第2の所定時間、所定の値に制限する音圧制御手段と、
前記話者に決定された参加者の優先度をクリアし、話者以外の各参加者の優先度を増加する計算手段と、を有すること
を特徴とする会議装置。
【請求項2】
請求項1記載の会議装置であって、
前記計算手段は、各参加者の優先度の初期値として、「0」から「参加者数−1」の各値を各参加者に割り当てること
を特徴とする会議装置。
【請求項3】
請求項1または請求項2に記載の会議装置であって、
前記話者に決定された参加者以外の前記発話した参加者の映像データに、発話がキャンセルされたことを示す映像を重畳する映像重畳手段を、さらに有すること
を特徴とする会議装置。
【請求項4】
請求項1記載の会議装置であって、
前記第1の所定時間には、音声データの伝送遅延時間が含まれること
を特徴とする会議装置。
【請求項5】
会議装置が行う、ネットワークを介して接続された複数の端末の音声データを送受信する会議方法であって、
前記会議装置は、
前記複数の端末を使用する各参加者の優先度を記憶する優先度記憶部を備え、
第1の所定時間内に複数の端末での参加者の発話を検知すると、前記優先度記憶部を参照して、前記発話した複数の参加者の優先度を比較し、優先度が最も大きい参加者を話者に決定する話者決定ステップと、
前記話者に決定された参加者以外の参加者の音声データの音圧を、第2の所定時間、所定の値に制限する音圧制御ステップと、
前記話者に決定された参加者の優先度をクリアし、話者以外の各参加者の優先度を増加する計算ステップと、を行うこと
を特徴とする会議方法。
【請求項6】
請求項5記載の会議方法であって、
各参加者の優先度の初期値として、「0」から「参加者数−1」の各値を各参加者に割り当てる初期優先度割り当てステップを、さらに行うこと
を特徴とする会議方法。
【請求項7】
請求項5または請求項6に記載の会議方法であって、
前記話者に決定された参加者以外の前記発話した参加者の映像データに、発話がキャンセルされたことを示す映像を重畳する映像重畳ステップを、さらに行うこと
を特徴とする会議方法。
【請求項8】
請求項5から請求項7のいずれか1項に記載の会議方法をコンピュータに実行させるための会議プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2013−110508(P2013−110508A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−252686(P2011−252686)
【出願日】平成23年11月18日(2011.11.18)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】