画像付音声通信システム、画像付音声通信方法およびプログラム
【課題】発話者が伝えたい相手である受話者に対して、より明瞭に音声が伝わる画像付音声通信の方法を提供する。
【解決手段】音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信システムであって、受話者各人に割り当てられた個別のスピーカ６１、６２、６３と、通信相手の画像を表示する表示部４と、スピーカ６１、６２、６３と当該拠点の表示部４との位置関係を検出する位置検出部１１と、スピーカ６１、６２、６３ごとに音量を調節可能な音声出力部１６と、通信相手から受信した音声を、スピーカ６１、６２、６３のそれぞれと当該拠点の表示部４との距離の比よりも大きい音量比で、それぞれのスピーカ６１、６２、６３から出力する音声の音量を調節して、スピーカ６１、６２、６３から出力する音量制御部１７と、を備える。
【解決手段】音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信システムであって、受話者各人に割り当てられた個別のスピーカ６１、６２、６３と、通信相手の画像を表示する表示部４と、スピーカ６１、６２、６３と当該拠点の表示部４との位置関係を検出する位置検出部１１と、スピーカ６１、６２、６３ごとに音量を調節可能な音声出力部１６と、通信相手から受信した音声を、スピーカ６１、６２、６３のそれぞれと当該拠点の表示部４との距離の比よりも大きい音量比で、それぞれのスピーカ６１、６２、６３から出力する音声の音量を調節して、スピーカ６１、６２、６３から出力する音量制御部１７と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声信号と画像信号とを符号化し、通信ネットワークを経由して送信する画像付音声通信システム、画像付音声通信方法およびプログラムに関する。より詳しくは、画像付音声通信の参加者ごとに音量を調節する画像付音声通信システムに関する。
【背景技術】
【０００２】
テレビ会議の主な特徴は、遠隔の２地点の映像と音声を結びつけることで、離れていても相手の顔を見て会話ができる点にある。例えば、テレビ会議では、複数人が同時に参加できる。しかし、この方法では、複数人の参加者は通常同じスピーカーの音声を聞き、マイクに向かって話すため、全員が同じ音量で画面の向こうの参加者たちの音声を聞くことになる。言い換えると、全員がほぼ同じ条件で参加する形式の通信方式である。一方の拠点の発話者が発した音声は他方の拠点のスピーカから出力され、その拠点の参加者にほぼ同じ音量で伝わる。
【０００３】
例えば、特許文献１は 送信音量が一定になるように自動調整する技術が記載されている。特許文献１の技術は、自側の動画カメラの焦点合わせとアングルの調整を行なう動画カメラ制御部と、マイクから入力した音声を符号化する音声コーデック部と、予め定められた音量レベル設定値と音声コーデック部から検出された音声の振幅とを比較して音量レベルの判定を行なう音量レベル検知部と、動画カメラ制御部における焦点距離情報から得られた送話者の位置および音量レベル検知部における比較結果に基づいて音量レベル設定値を調整する音量レベル制御部とを備える。
【０００４】
また、特許文献２には、表示映像に調和した臨場感の高い映像音響通信する技術が記載されている。特許文献２の技術は、音響送信側ユーザ及び音響受信側ユーザの視聴位置を検出し、その視聴位置情報に基づき、マイクにより収音した音響信号を調整する。そして、調整した音響信号を音響信号再生装置により再生を行う。
【０００５】
さらに、特許文献３には、ＴＶ会議等において、話者が存在するように音像を定位させることが記載されている。特許文献３の技術は、話者および受話者の位置を検出する手段と話者と受話者の両耳（顔）の方向を検出する手段を設け、話者と受話者の位置関係および話者と受話者の向きより直接音と間接音の伝達量を考慮し、同一空間内にいる場合の話者と受話者間の音の伝達関数計算により求め、伝達関数を再現することにより音像を定位させる。
【特許文献１】特開平０６−２５３３０５号公報
【特許文献２】特開平０７−１９３７９８号公報
【特許文献３】特開平０７−２６４７００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
全参加者が一つの空間に集まるコミュニケーションの場では、発話者と受話者の距離に応じて伝わる声の大きさが異なり、近いと聞こえやすいが、離れると聞こえにくかったり、聞こえなかったりする。その結果、発話者は受話者を距離で選んで発話音量を変更するので音声がはっきり伝わる人、余り伝わらない人を視覚的に選択できる。また、一つの空間で複数のコミュニケーションが同時に進行可能である。このように対面でのコミュニケーションは誰がどこにいるかがわかるので、音量を容易に調節できる。例えば、図９に示すような位置関係の場合、発話者３０１の発する音声は、すぐ近くにいる受話者３０２に伝わりやすく受話者３０３には聞こえづらいように音量を調節できる。これは発話者３０１と受話者３０２、発話者３０１と受話者３０３の距離が直感的に把握できるからである。
【０００７】
それに対して、テレビ会議システムでは一般に、他方の拠点の特定の参加者には伝わりにくくなるように、発話者側で音量を調節することは困難である。このように、テレビ会議では、対面のコミュニケーションの場でできる発話者と受話者の距離に応じた参加者間の伝達音量の違いや制御、それを元に複数の会話が同時に進行するということができない問題がある。
【０００８】
特許文献１では、発話者の画面との距離を考慮し、送出音量を変化させている。しかし、この方法では、受信者の状況が考慮されていない問題が残る。例えば、受話者の中には近くで聞く者も離れて聞く者もいるが、スピーカの音量が同じため、ほぼ同じように聞こえてしまう。
【０００９】
第１の問題点は、画面を介したテレビ会議において、受話者各人が画面との距離に無関係に同じ音量で出力される音を聞くため、発話者が伝えたい人を直感的に制御できないということである。その原因は、画面との距離にかかわらず、固定設置された同じスピーカからの音声を受話者が聞くため、位置関係が音声の伝わり具合と関連しないためである。
【００１０】
第２の問題点は、通常の対面のコミュニケーションの場では可能な、２組以上の別の会話を同時に進行することがテレビ会議では困難であるということである。その原因は、現在のテレビ会議の仕組みでは受話者が発話者との距離に無関係に同じ出力音声を聞く仕組みだからである。また、人は聞き取りたい音声を他の音から選択的に識別して聞き分けているが、耳の近くに置かれた機械的な音源、例えば、イヤホンまたはヘッドホンなどの音響に複数の音声が含まれる場合に、その中から聞き取りたい音声を聞き分けるのは困難である。
【００１１】
本発明は上述のような課題に鑑みてなされたものであり、その目的は、発話者が伝えたい相手である受話者に対して、より明瞭に音声が伝わる画像付音声通信の方法を提供することである。
【００１２】
本発明において、画像付音声通信は、テレビ会議の外に、テレビ電話、ＷＥＢ会議、ビデオチャットなど様々な名称で呼ばれる画像を伴う音声通信全般を含む。
【課題を解決するための手段】
【００１３】
本発明の第１の観点に係る画像付音声通信システムは、
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信システムであって、
受話者各人に割り当てられた個別の音声出力装置と、
通信相手の画像を表示する画像表示手段と、
前記音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出手段と、
前記音声出力装置ごとに音量を調節可能な音量調節手段と、
通信相手から受信した音声を、前記音声出力装置のそれぞれと当該拠点の前記画像表示手段との距離の比よりも大きい音量比で、それぞれの前記音声出力装置から出力する音声の音量を調節して、前記音声出力装置から出力する音声制御手段と、
を備えることを特徴とする。
【００１４】
本発明の第２の観点に係る画像付音声通信システムは、
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信システムであって、
受話者各人に割り当てられた個別の音声出力装置と、
通信相手の画像を表示する画像表示手段と、
前記音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出手段と、
話者を識別可能な音声入力手段と、
前記話者の音声を区別して送信する音声通信手段と、
前記話者を撮影する撮像手段と、
前記話者と話者側の前記撮像手段との位置関係を検出する話者位置検出手段と、
前記音声出力装置ごとに音量を調節可能な音量調節手段と、
前記話者と話者側の撮像装置との位置関係および前記音声出力装置と当該拠点の前記画像表示手段との位置関係とに基づいて、話者側の前記撮像手段と受話者側の前記画像表示手段が一定の位置関係にあるとみなして、前記話者と前記音声出力装置との相互距離を算出する距離算出手段と、
前記音声出力装置のそれぞれについて、通信相手から受信した前記話者のそれぞれの音量を前記話者とその音声出力装置との距離の比よりも大きい音量比でミキシングして、各音声出力装置から出力する音声複合手段と、
を備えることを特徴とする。
【００１５】
本発明の第３の観点に係る画像付音声通信方法は、
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信方法であって、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
通信相手から話者の音声を受信する音声受信ステップと、
前記通信相手から受信した音声を、前記音声出力装置と当該拠点の前記画像表示手段との距離の比よりも大きい音量比でそれぞれの前記音声出力装置から出力する音声の音量を調節して、各音声出力装置から出力する音声制御ステップと、
を備えることを特徴とする。
【００１６】
本発明の第４の観点に係る画像付音声通信方法は、
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信方法であって、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
話者を識別して、話者ごとの音声を入力する音声入力ステップと、
前記話者と前記話者を撮影する撮像手段との位置関係を検出する話者位置検出ステップと、
前記話者ごとの音声を区別して送信する音声通信ステップと、
前記話者と前記撮像装置との位置関係および前記音声出力装置と当該拠点の前記画像表示手段との位置関係とに基づいて、話者側の前記撮像手段と受話者側の前記画像表示手段が一定の位置関係にあるとみなして、それぞれの前記話者と前記音声出力装置との相互距離を算出する距離算出ステップと、
各音声出力装置について、通信相手から受信したそれぞれの話者の音量を各話者とその音声出力装置との距離の比よりも大きい音量比でミキシングして、各音声出力装置から出力する音声複合ステップと、
を備えることを特徴とする。
【００１７】
本発明の第５の観点に係るプログラムは、コンピュータに、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
通信相手から話者の音声を受信する音声受信ステップと、
前記通信相手から受信した音声を、前記音声出力装置と当該拠点の前記画像表示手段との距離の比よりも大きい音量比でそれぞれの前記音声出力装置から出力する音声の音量を調節して、各音声出力装置から出力する音声制御ステップと、
を実行させることを特徴とする。
【００１８】
本発明の第６の観点に係るプログラムは、コンピュータに、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
話者を識別して、話者ごとの音声を入力する音声入力ステップと、
前記話者と前記話者を撮影する撮像手段との位置関係を検出する話者位置検出ステップと、
前記話者ごとの音声を区別して送信する音声通信ステップと、
前記話者と前記撮像装置との位置関係および前記音声出力装置と当該拠点の前記画像表示手段との位置関係とに基づいて、話者側の前記撮像手段と受話者側の前記画像表示手段が一定の位置関係にあるとみなして、それぞれの前記話者と前記音声出力装置との相互距離を算出する距離算出ステップと、
各音声出力装置について、通信相手から受信したそれぞれの話者の音量を各話者とその音声出力装置との距離の比よりも大きい音量比でミキシングして、各音声出力装置から出力する音声複合ステップと、
を実行させることを特徴とする。
【発明の効果】
【００１９】
本発明の画像付音声通信システムまたは画像付音声通信方法によれば、表示装置に写された画像を介した通信において、受話者ごとに音声出力手段を設ける場合に、対面でのコミュニケーションに近い環境を提供できるので、近づいて話しているメンバーだけで会話がしやすい。その理由は、受話者ごとに設けられた音声出力手段を用いながら、画面を介して集まる各人の位置関係の距離の比よりも大きい音量比で発話者の音量を制御し、受話者ごとに出力するためである。
【発明を実施するための最良の形態】
【００２０】
本発明において、画像付音声通信は、テレビ会議の外に、テレビ電話、ＷＥＢ会議、ビデオチャットなど様々な名称で呼ばれる画像を伴う音声通信全般を含むが、以下、本発明の実施の形態では、テレビ会議システムを例にとりあげて説明する。
【００２１】
（実施の形態１）
図１は、本発明の画像付通信装置の例として、実施の形態１に係るテレビ会議装置の構成例を示すブロック図である。テレビ会議装置１は、制御装置２、カメラ３、表示部４、マイク５１、５２、５３、スピーカ６１、６２、６３、およびＩＤ検知部１０２から構成される。マイク５１、５２、５３とスピーカ６１、６２、６３の数はいくつでもよく、制約はない。以下、マイク５１、５２、５３を総称する場合は、マイク５という。また、スピーカ６１、６２、６３を総称する場合は、スピーカ６という。スピーカ６は、テレビ会議の参加者ごとに割り当てられるように設けられる。
【００２２】
図２は、実施の形態１に係るテレビ会議システム１００の構成例を示すブロック図である。拠点Ａと拠点Ｂのそれぞれに設置されたテレビ会議装置１Ａおよび１Ｂが、ネットワークＮに接続する。拠点Ａのテレビ会議装置１Ａの各部には参照符号にＡを付けて示す。拠点Ｂのテレビ会議装置１Ｂの各部には参照符号にＢを付けて示す。
【００２３】
テレビ会議システム１００は、拠点Ａのカメラ３Ａで撮影した画像を、ネットワークＮを経由して拠点Ｂのテレビ会議装置１Ｂに送信し、表示部４Ｂに表示する。逆に拠点Ｂのカメラ３Ｂで撮影した画像を、拠点Ａの表示部４Ａに表示する。また、拠点Ａのマイク５１Ａ、５２Ａ、５３Ａで入力した音声信号を、ネットワークＮを経由して拠点Ｂのテレビ会議装置１Ｂに送信し、スピーカ６１Ｂ、６２Ｂ、６３Ｂから出力する。逆に、拠点Ｂのマイク５Ｂで入力した音声信号を、ネットワークＮを経由して拠点Ａのテレビ会議装置１Ａに送信し、スピーカ６Ａから出力する。
【００２４】
図１を参照すると、テレビ会議装置１の制御装置２は、位置検出部１１、参加者距離算出部１２、画像入力部１３、画像出力部１４、音声入力部１５、音声出力部１６、音量制御部１７、通信処理部１８、および送受信部１９を備える。制御装置２は、例えば、プログラム制御によって動作するコンピュータで構成することができる。
【００２５】
カメラ３は、テレビ会議の参加者の画像を撮影し、画像入力部１３に伝送する。表示部４は、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）または画像プロジェクタ装置などから構成され、画像出力部１４から送られる信号によって画像を表示する。
【００２６】
マイク５１、５２、５３は、それぞれ参加者の音声を電気信号に変換して、音声入力部１５に入力する。スピーカ６１、６２、６３は、それぞれ音声出力部１６から送られる音声信号を音声に変換して送出する。マイク５１、５２、５３とスピーカ６１、６２、６３はそれぞれ組になってヘッドセット７１、７２、７３（以下、ヘッドセット７と総称することがある）を構成する場合がある。
【００２７】
ヘッドセット７と音声入力部１５および音声出力部１６との送信方法は有線でも無線でも構わない。音声出力信号は、そのままアンプを介して音にできるアナログ信号でも構わないし、Ｄ−Ａ変換を介して音声に変換できるデジタル情報でも構わない。ヘッドセット７は、例えばＲＦＩＤタグを備える場合がある。
【００２８】
位置検出部１１は、表示部４に対するスピーカ６１、６２、６３の位置を検出する。スピーカ６の位置を検出するには、例えば、テレビ会議を行う部屋の天井に並べたＲＦＩＤアンテナによる位置検知を用いることができる。その場合、ＩＤ検知部１０２は、例えば、スピーカ６（またはヘッドセット７）につけられたＲＦＩＤタグを読み取る。物理的にワイヤを接続せず遠隔で位置を検出する方法として、ＲＦＩＤタグのほかに、可視光または超音波などで読み取るタグを用いてもよい。
【００２９】
または、カメラ３で撮影した画像を解析して、スピーカ６の位置を検出してもよい。また、カメラ３の前に配置した超音波センサアレイを用いてスピーカ６（またはヘッドセット７）の距離を測定し、画像とのマッチングによってＩＤとスピーカ６（またはヘッドセット７）の位置との対応付けを行う方法を採ることができる。あるいは、テレビ会議の参加者がカメラとの位置関係を入力する、手動による位置検出方法でもかまわない。その他、床にセンサ（金属センサなど）を設置して、専用の靴と床との接触する位置で受話者の位置を検出してもよい。音声出力部１６の任意のポートに接続されたスピーカ６（またはヘッドセット７）が、表示部４に対してどの位置にあるかを検出できればよい。
【００３０】
参加者距離算出部１２は、位置検出部１１で検出した各スピーカ６の位置関係にもとづいて、各スピーカ６の表示部４からの距離を算出する。
【００３１】
画像入力部１３は、カメラ３の画像信号を入力して、通信処理部１８に伝送する。画像入力部１３は、また、画像信号を符号化してデータ圧縮する場合がある。画像出力部１４は、通信処理部１８から画像信号を入力して、表示部４に画像を表示する。画像信号が符号化されてデータ圧縮されている場合は、画像信号をデコードする。
【００３２】
音声入力部１５は、マイク５から音声信号を入力し、通信処理部１８に伝送する。音声信号をＡ−Ｄ変換してさらにデータ圧縮する場合がある。音声出力部１６は、通信処理部１８から音声信号を入力して、スピーカ６から音声を再生する。音声出力部１６は、スピーカ６ごとに音量を調節することができる。
【００３３】
通信処理部１８は、画像入力部１３から画像信号を入力して、送受信部１９からネットワークＮを経由して通信相手のテレビ会議装置１に送信する。また、通信相手のテレビ会議装置１から受信した画像信号を画像出力部１４に送る。
【００３４】
通信処理部１８は、また、音声入力部１５から音声信号を入力して、送受信部１９からネットワークＮを経由して通信相手のテレビ会議装置１に送信する。また、通信相手のテレビ会議装置１から受信した音声信号を、音声出力部１６に送る。
【００３５】
送受信部１９は、ネットワークＮに接続する網終端装置または無線通信装置、及びそれらと接続するシリアルインタフェース又はＬＡＮ（Local Area Network）インタフェースから構成されている。送受信部１９はネットワークＮを介して、通信相手のテレビ会議装置１に画像信号および音声信号を送信し、画像信号および音声信号を受信する。
【００３６】
音量制御部１７は、参加者距離算出部１２で求められたカメラ３からの各スピーカ６の距離に基づいて、各スピーカ６から再生する音量を所定のレベルに設定する。すなわち、音声出力部１６に対して、各ポートから出力する音量レベルを指令する。
【００３７】
音量制御部１７は、表示部４からの物理的な距離に応じた音声の比率より大きい比率で、各スピーカ６から再生する音量レベルを設定する。物理的な距離に応じた音声の比率とは、反射のない開放空間では、距離の２乗に反比例する比率と考えられる。このようにすることで離れた場所での音量がより効果的に減衰し、発話音声が伝わるエリアをより制限しやすくできる。
【００３８】
図３は、実施の形態１に係るテレビ会議システム１００の動作の一例を示す流れ図である。図２の拠点Ｂの話者から入力された音声を、拠点Ａのスピーカ６１Ａ、６２Ａ、６３Ａから出力する場合を想定する。
【００３９】
拠点Ａでは、スピーカ６１Ａ、６２Ａ、６３Ａの位置をＩＤ検知部１０２が検出する（ステップＳ１１）。各デバイスの位置の情報は位置検出部１１Ａに保持される。スピーカ６の位置情報をもとに参加者距離算出部１２Ａは表示部４Ａとスピーカ６の距離を算出する（ステップＳ１２）。この距離はすべての人ごとの距離の相対距離が判明する限りにおいて、メートルなどの単位で表記しなくても構わない。例えば、もっとも近い２者の距離を１とした場合に、その他の人との距離を１．５や２．１といった相対距離で出力しても構わない。
【００４０】
音量制御部１７Ａは音声出力部１６Ａに対して、表示部４Ａと各スピーカ６の距離の比よりも大きい比率で、各スピーカ６の音量を設定する（ステップＳ１３）。
【００４１】
一方、拠点Ｂでは、マイク５から入力された音声をミキシングして、通信処理部１８Ｂ、送受信部１９Ｂから、ネットワークＮを経由して拠点Ａに送信する（ステップＴ１１）。拠点Ｂからの音声を受信した拠点Ａの送受信部１９Ａは、通信処理部１８Ａで音声信号を取り出して、音声出力部１６Ａに入力する。音声出力部１６Ａは、スピーカ６ごとに設定された音量で入力された音声をスピーカ６から出力する。
【００４２】
以上、説明したとおり、本実施の形態１に係るテレビ会議システム１００では、スピーカ６と表示部４の位置関係に基づいて、スピーカ６と表示部４の距離の比よりも大きい比率でスピーカ６ごとの音量を設定する。それによって、受話者ごとに設けられたスピーカ６から出力する音声が、表示部４から離れるにしたがって、認識はできるが作業や他者との会話に妨げにならないレベルにすることができる。その結果、表示部４に近づいて話しているメンバーだけで会話がしやすいという効果が得られる。
【００４３】
なお、スピーカ６から出力する音量を距離のみに依存する一定値ではなく、動的に変化させてもよい。例えば、マイク５から所定の値以上の音量が入力されたときに（話者になったときに）、そののち一定時間は、そのマイク５の受話者のスピーカ６の音量を大きくする。発言してから所定の時間経過したら、そのスピーカ６の音量を距離の比よりも大きい通常の比率にもどす。さらに、経過時間と音量に段階を設けてもよい。
【００４４】
（実施の形態２）
実施の形態２は、実施の形態１の動作に加えて、1つの拠点の話者が複数であって、話者の音声をミキシングする場合である。ミキシングするレベルを話者とカメラとの距離の比よりも大きい比率に設定する。図４は、実施の形態２に係るテレビ会議装置の構成の例を示すブロック図である。実施の形態１のテレビ会議装置に比較して、ミキシングレベル制御部２０が追加されている。
【００４５】
実施の形態２のテレビ会議システム１００では、位置検出部１１はさらに、話者とカメラ３との位置関係を検出する。ヘッドセット７を用いる場合は、話者の位置は、ヘッドセット７の位置によって検出されている。カメラ３と表示部４との位置関係のデータを予め設定しておけば、話者とカメラ３との位置関係が分かる。参加者距離算出部１２は、位置検出部１１で検出した各話者の位置関係にもとづいて、話者とカメラ３との距離を算出する。
【００４６】
音声入力部１５は、話者ごとの音声を識別して入力し、１つの音声信号にミキシングする。話者ごとの音声を識別するには、話者ごとにマイク５を設置する。あるいは、マイク５が参加者ごとに備えられていなくても、例えば、２つ以上のマイク５で同時に入力して、話者の位置関係にもとづいて、２つ以上のマイク５に到達する音声の時間差が、話者とマイク５の距離の差に相当する音声を分離してもよい。
【００４７】
ミキシングレベル制御部２０は、話者とカメラ３との距離の比よりも大きい比率で、音声入力部１５でミキシングする各音声のレベルを設定する。したがって、音声入力部１５でミキシングされる各音声のレベルは、話者とカメラ３との距離の比よりも大きい比率となる。音声入力部１５でミキシングされた音声は、通信処理部１８、送受信部１９を介して通信相手の拠点に送信される。
【００４８】
図５は、実施の形態２に係るテレビ会議システム１００の動作の一例を示す流れ図である。図２の拠点Ｂのマイク５１Ｂ、５２Ｂ、５３Ｂから入力された音声を、拠点Ａのスピーカ６１Ａ、６２Ａ、６３Ａから出力する場合を想定する。拠点Ａの音声受信処理動作は、実施の形態１と同様である。すなわち、ステップＳ２１〜ステップＳ２４は、図３のステップＳ１１〜ステップＳ１４と同じである。
【００４９】
例えば、スピーカ６は、各話者に付着している場合に、拠点Ｂでは、スピーカ６１Ｂ、６２Ｂ、６３Ｂの位置（各話者の位置である）をＩＤ検知部１０２が検出する（ステップＴ２１）。各デバイスの位置の情報は位置検出部１１Ｂに保持される。スピーカ６の位置情報をもとに参加者距離算出部１２Ｂはカメラ３Ｂとスピーカ６（各話者）の距離を算出する（ステップＴ２２）。この距離はすべての人ごとの距離の相対距離が判明する限りにおいて、メートルなどの単位で表記しなくても構わない。例えば、もっとも近い２者の距離を１とした場合に、その他の人との距離を１．５や２．１といった相対距離で出力しても構わない。
【００５０】
ミキシングレベル制御部２０Ｂは音声入力部１５Ｂに対して、カメラ３Ｂと各スピーカ６（各話者）の距離の比よりも大きい比率で、ミキシングする各音声のレベルを設定する（ステップＴ２３）。音声入力部１５Ｂは、マイク５１Ｂ、５２Ｂ、５３Ｂから入力した音声を、設定されたレベルでミキシングし、通信処理部１８Ｂ、送受信部１９Ｂを介して拠点Ａに送信する（ステップＴ２４）。
【００５１】
以上、説明したとおり、本実施の形態２に係るテレビ会議システム１００では、各話者とカメラ３の位置関係に基づいて、話者とカメラ３の距離の比よりも大きい比率で音声をミキシングするレベルを設定する。それによって、通信相手に送信される音声に含まれる話者ごとの音声レベルが、話者がカメラ３から離れるにしたがって、認識はできるが作業や他者との会話に妨げにならないレベルにすることができる。その結果、カメラ３と表示部４に近づいて話しているメンバーだけで会話がしやすいという効果が得られる。
【００５２】
なお、実施の形態２においても、スピーカ６から出力する音量を距離のみに依存する一定値ではなく、動的に変化させてもよい。
【００５３】
（実施の形態３）
実施の形態３は、話者側のカメラ３と受話者側の表示部４が所定の位置関係にあるとみなして、話者と受話者の距離に対応して音量を調節する。図６は、実施の形態３に係るテレビ会議装置の構成例を示すブロック図である。実施の形態３のテレビ会議システム１００は、２チャネル以上の音声を同時に送信する。図６では、音声が複数のチャネルで通信されることを白抜き矢印で表す。
【００５４】
音声入力部１５は、マイク５１、５２、５３から入力した音声を、ミキシングすることなく、通信処理部１８に送る。通信処理部１８および送受信部１９では、２以上の音声を異なるチャネルで送信する。受信した複数の音声は、別々に音声出力部１６に入力される。音声出力部１６は、入力した音声をスピーカ６ごとに異なるレベルでミキシングして、スピーカ６に出力する。
【００５５】
送信側の拠点で位置検出部１１は、話者とカメラ３との位置関係を検出する。ヘッドセット７を用いる場合は、話者の位置は、ヘッドセット７の位置によって検出することができる。受信側の拠点で位置検出部１１は、表示部４に対するスピーカ６１、６２、６３の位置を検出する。
【００５６】
スピーカ６の位置を検出するには、実施の形態１で説明したように、例えば、スピーカ６またはヘッドセット７につけられたＲＦＩＤタグを読み取る方法を用いることができる。または、カメラ３で撮影した画像を解析する方法、カメラ３の前に配置した超音波センサアレイを用いてスピーカ６（またはヘッドセット７）の距離を測定し、画像とのマッチングによってＩＤとスピーカ６（またはヘッドセット７）の位置との対応付けを行う方法を採ることができる。あるいは、テレビ会議の参加者がカメラとの位置関係を入力する、手動による位置検出方法でもかまわない。
【００５７】
通信処理部１８は、話者とカメラ３との位置関係を、通信相手のテレビ会議装置１に送信する。以下、理解を容易にするために、話者とカメラ３との位置関係を送信するテレビ会議装置１を拠点Ｂ、受信する側を拠点Ａとして説明する。
【００５８】
話者とカメラ３Ａとの位置関係を受信したテレビ会議装置１Ｂでは、参加者距離算出部１２Ｂは、話者とカメラ３Ａとの位置関係を、話者と表示部４Ｂとの位置関係に置き換えて、話者とスピーカ６１Ａ、６２Ａ、６３Ａとの距離を算出する。すなわち、カメラ３Ｂと表示部４Ａとが一定の位置関係にあるとみなして、話者とスピーカ６Ａ（受話者と考える）が１つの拠点に居るように擬似的に距離を算出する。
【００５９】
例えば、参加者距離算出部１２Ａは、カメラ３Ｂと表示部４Ａとが表裏一体の位置にあるとみなして、話者とスピーカ６Ａとの距離を算出する。または、カメラ３Ａと表示部４Ｂの画像表示の尺度に相当する位置関係にあると想定して、話者とスピーカ６Ａとの距離を算出してもよい。参加者距離算出部１２Ａは、表示部４Ｂの画面サイズを考慮し、単純に位置から距離を求めるだけでなく、縮尺を変更してもよい。
【００６０】
音量制御部１７Ａは、参加者距離算出部１２Ａで算出した話者とスピーカ６Ａとの距離をもとに、各話者の音声をスピーカ６ごとにミキシングするときのミキシングするレベルを、それぞれの話者とスピーカ６の距離の比よりも大きい比率になるように設定する。さらに、話者と最も近くのスピーカ６との間で会話を行う際の受話音声が適切な音量になるようにして、距離に応じて小さくしてもよい。このようにすることで、スピーカが音割れを起こしたり不適切な音量になる問題を回避できる。このようにすることで離れた場所での音量がより効果的に減衰し、発話音声が伝わるエリアをより制限しやすくできる。
【００６１】
図６、図７および図８を参照して本実施の形態の全体の動作について詳細に説明する。図７は、テレビ会議の参加者の配置の例を示す模式図である。図８は、実施の形態３に係るテレビ会議システム１００の動作の一例を示す流れ図である。
【００６２】
図２に示すようなテレビ会議システムを想定し、拠点Ａ、拠点Ｂともに、図６に示すテレビ会議装置を備えているものとする。拠点Ａのマイク５１Ａおよびスピーカ６１Ａは、図７の参加者４０１が持つデバイス４１１に相当する。また、拠点Ｂのマイク５１Ｂおよびスピーカ６１Ｂは、図７の参加者４０２が持つデバイス４１２、マイク５２Ｂおよびスピーカ６２Ｂは、図７の参加者４０３が持つデバイス４１３に相当する。拠点Ａの参加者４０１と、拠点Ｂの参加者４０２、４０３は画面４０４を介してテレビ会議を行っているとする。
【００６３】
拠点Ｂでは、参加者４０２、４０３のデバイス４１２、４１３の位置をＩＤ検知部１０２が検出し、位置検出部１１Ｂにてカメラ３Ｂの画面の左端を原点とする座標における位置を求める（ステップＴ３１）。拠点Ａでは、参加者４０１のデバイス４１１の位置をＩＤ検知部１０２が検出する（ステップＳ３１）。各デバイスの位置の情報は位置検出部１１Ａ、１１Ｂに保持される。
【００６４】
参加者４０２および４０３が発話して話者となると、制御装置２Ｂ（音声入力部１５Ｂ）はマイク５１Ｂ、５２Ｂの入力を感知して、参加者４０２、４０３を話者として特定する。そして、参加者４０２、４０３（デバイス４１２、４１３）とカメラ３Ｂの位置関係を、テレビ会議装置１Ａに送信する（ステップＴ３２）。参加者４０２、４０３の発話に先立って、テレビ会議を始めたときに、各参加者とその拠点の表示部４との位置関係を通信相手のテレビ会議装置１に送信しておいて、話者が変わるごとに、話者の識別符号を送信する方法でもよい。
【００６５】
拠点Ａでは、拠点Ｂから話者とカメラ３Ｂの位置関係を受信し（ステップＳ３２）、各デバイスの位置情報をもとに参加者距離算出部１２Ａは、話者とスピーカ６の仮想的な距離を算出する（ステップＳ３３）。これにより各参加者（デバイス）について、近い人、遠い人が判明する。この距離はすべての人ごとの距離の相対距離が判明する限りにおいて、メートルなどの単位で表記しなくても構わない。例えば、もっとも近い２者の距離を１とした場合に、その他の人との距離を１．５や２．１といった相対距離で出力しても構わない。また、テレビ会議の画面サイズ、カメラのレンズによっては映像に映る人が実物より小さく映ったり大きく映ったりするが、発話者が話しかけようとする相手参加者と、話を伝えようと思わない相手参加者との距離感が相対的に分かる限りにおいて、同じ算出を用いて構わない。
【００６６】
拠点Ａでは、制御装置２Ａ（音量制御部１７Ａ）は参加者４０１のデバイス４１１のスピーカ６１Ａに出力する音声のミキシングレベルを設定する（ステップＳ３４）。すなわち、デバイス４１２、４１３のそれぞれについて、デバイス４１１との仮想的な距離の比よりも大きい比率でミキシングするレベルを決定する。
【００６７】
拠点Ｂでは、参加者４０２、４０３のデバイス４１２、４１３のマイク５１Ｂ、５２Ｂに対して発話された音声は、音声入力部１５Ｂに入力される。入力される音声がアナログ信号で、音声入力部１５ＢでＡ−Ｄ変換して保持してもよいし、あらかじめＡ−Ｄ変換された状態で入力されてもよい。制御装置２Ｂは、音声信号を拠点Ａの制御装置２Ａに送信する（ステップＴ３３）。
【００６８】
そして、音声出力部１６Ａは、デバイス４１１に設定されたミキシングレベルで、拠点Ｂから受信した音声信号をミキシングして再生する（ステップＳ３５）。
【００６９】
拠点Ａのその他のスピーカ６、例えばスピーカ６２Ａについても同様に、スピーカ６２Ａとデバイス４１２、４１３の仮想的な距離の比より大きい比率でミキシングレベルを設定する。そして、受信した音声をそれぞれのスピーカ６（例えばスピーカ６２Ａ）に設定したレベルでミキシングして、各スピーカ６（例えばスピーカ６２Ａ）から出力する。
【００７０】
テレビ会議装置１の間の通信において、音声チャネルは、すべての参加者に対応して用意しなくてもよい。参加者より少ないチャネル数で、発話している話者に動的に割り当てることができる。その場合、拠点Ｂは音声チャネルと話者を対応づける情報を、拠点Ａに送信する。
【００７１】
音声は話者ごとに別のチャネルで伝送されなくてもよい。例えば少なくとも、２チャネルのステレオで伝送し、受信側で話者の位置関係に基づいて、話者ごとの音声に分離してもよい。その場合、拠点Ｂはどの参加者が発話しているか（話者であるか）を示す情報を拠点Ａに送信する。発話している話者のヘッドセットのＬＥＤなどを点灯するような方法でもよい。話者ごとに分離した音声を、スピーカ６ごとに設定されたミキシングレベルでミキシングして、スピーカ６から出力するのである。
【００７２】
なお、話者が一人の場合は、ミキシングレベルは音量に相当し、話者とスピーカの仮想的な距離の比よりも大きい比率で、各スピーカの音量を調節することに帰着する。その場合でも、拠点Ｂはどの参加者が話者であるかを示す情報を、例えば発話している話者のヘッドセットのＬＥＤなどを点灯するような方法で、拠点Ａに送信する。
【００７３】
また、話者とカメラ３の位置関係を送信しない方法もあり得る。例えば、受信側の拠点で受信した画像から話者の位置を推定してもよい。撮像するカメラ３の画角などの情報が受信側で既知であって、テーブル、机または床が水平面であると仮定して、それらの縁などの線と話者の画像の関係から位置を推定することも可能である。
【００７４】
以上、説明したとおり、本実施の形態１に係るテレビ会議システム１００では、話者とカメラ３の位置関係と、受話者ごとに設けられたスピーカ６と表示部４との位置関係に基づいて、スピーカ６ごとに各話者の音声をミキシングするレベルを設定する。それによって、受話者ごとに各話者との距離の比よりも大きい比率でミキシングされるので、話者と受話者が離れるにしたがって、認識はできるが作業や他者との会話に妨げにならないレベルにすることができる。その結果、カメラ３と表示部４に近づいて話しているメンバーだけで会話がしやすいという効果が得られる。
【００７５】
さらに、実施の形態３においても、スピーカ６から出力する音量を距離のみに依存する一定値ではなく、動的に変化させてもよい。実施の形態３では、例えば、最も近い話者以外の音声について、音量の１秒程度毎の時間平均を算出し、閾値を下回ればより下げる、閾値を越えれば、より上げるといった制御を行ってもよい。
【００７６】
その他、本発明の好適な変形として、以下の構成が含まれる。
【００７７】
本発明の第１の観点に係る画像付音声通信システムについて、好ましくは、
話者を識別可能な音声入力手段と、
前記話者を撮影する撮像手段と、
前記話者と話者側の前記撮像手段との位置関係を検出する話者位置検出手段と、
前記話者ごとに入力する音声の音量レベルを調節可能な入力音量調節手段と、
前記話者と話者側の前記撮像手段との距離の比よりも大きい音量比で、それぞれの話者の入力音量を調節してミキシングする音声重畳手段と、
を備えることを特徴とする。
【００７８】
本発明の第２の観点に係る画像付音声通信システムについて、好ましくは、
前記話者位置検出手段で検出した前記話者と前記撮像手段との位置関係を、通信相手に送信する話者位置送信手段と、
前記通信相手からその話者と撮像手段との位置関係を受信する話者位置受信手段と、
を備えることを特徴とする。
【００７９】
いずれの場合についても、前記音声出力装置は、固有の識別符号と、その符号を表示または送信する符号表示手段を有し、
前記位置検出手段は、前記音声出力装置に付与された前記符号表示手段に表示される識別符号と前記符号表示手段の位置を検出する手段を備えてもよい。
【００８０】
本発明の第３の観点に係る画像付音声通信方法について、好ましくは、
話者を識別して、話者ごとの音声を入力する音声入力ステップと、
前記話者と前記話者を撮影する撮像手段との位置関係を検出する話者位置検出ステップと、
前記話者と話者側の撮像手段との距離の比よりも大きい音量比で、それぞれの話者の入力音量を調節してミキシングする音声重畳ステップと、
を備えることを特徴とする。
【００８１】
本発明の第４の観点に係る画像付音声通信方法について、好ましくは、
前記話者位置検出ステップで検出した、前記話者と前記撮像手段との位置関係を通信相手に送信する話者位置送信ステップと、
通信相手からその話者と撮像手段との位置関係を受信する話者位置受信ステップと、
を備えることを特徴とする。
【産業上の利用可能性】
【００８２】
本発明によれば、１枚のスクリーンを介したテレビ会議システムにおいて、ユーザが自在に自分の話したい相手にのみ伝わる音量で話しかけることができるため、複数の会話を同時に実現するテレビ電話システム、テレビ電話用プログラムといった用途に適用できる。
また、他の人から離れると聞こえにくくなるため、部屋の一角で常時接続したままにしておき、必要なときに必要な人だけが参加するテレビコミュニケーション環境といった用途にも適用できる。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施の形態１に係るテレビ会議装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係るテレビ会議システムの構成を示すブロック図である。
【図３】実施の形態１に係るテレビ会議システムの動作の一例を示す流れ図である。
【図４】本発明の実施の形態２に係るテレビ会議装置の構成例を示すブロック図である。
【図５】実施の形態２に係るテレビ会議システムの動作の一例を示す流れ図である。
【図６】本発明の実施の形態３に係るテレビ会議装置の構成例を示すブロック図である。
【図７】対面でのコミュニケーションにおける人間の位置関係を説明する図である。
【図８】実施の形態３に係るテレビ会議システムの動作の一例を示す流れ図である。
【図９】従来のテレビ会議を説明するための人間とシステムの位置関係を説明する図である。
【符号の説明】
【００８４】
１ テレビ会議装置
２ 制御装置
３、３Ａ、３Ｂ カメラ
４、４Ａ、４Ｂ 表示部
１１ 位置検出部
１２ 参加者距離算出部
１３ 画像入力部
１４ 画像出力部
１５ 音声入力部
１６ 音声出力部
１７ 音量制御部
１８ 通信処理部
１９ 送受信部
２０ ミキシングレベル制御部
５１、５２、５３ マイク
６１、６２、６３ スピーカ
７１、７２、７３ ヘッドセット
１０２ ＩＤ検知部
４０１、４０２、４０３ 参加者
４０４ テレビ会議スクリーン
４１１、４１２、４１３ デバイス
【技術分野】
【０００１】
本発明は音声信号と画像信号とを符号化し、通信ネットワークを経由して送信する画像付音声通信システム、画像付音声通信方法およびプログラムに関する。より詳しくは、画像付音声通信の参加者ごとに音量を調節する画像付音声通信システムに関する。
【背景技術】
【０００２】
テレビ会議の主な特徴は、遠隔の２地点の映像と音声を結びつけることで、離れていても相手の顔を見て会話ができる点にある。例えば、テレビ会議では、複数人が同時に参加できる。しかし、この方法では、複数人の参加者は通常同じスピーカーの音声を聞き、マイクに向かって話すため、全員が同じ音量で画面の向こうの参加者たちの音声を聞くことになる。言い換えると、全員がほぼ同じ条件で参加する形式の通信方式である。一方の拠点の発話者が発した音声は他方の拠点のスピーカから出力され、その拠点の参加者にほぼ同じ音量で伝わる。
【０００３】
例えば、特許文献１は 送信音量が一定になるように自動調整する技術が記載されている。特許文献１の技術は、自側の動画カメラの焦点合わせとアングルの調整を行なう動画カメラ制御部と、マイクから入力した音声を符号化する音声コーデック部と、予め定められた音量レベル設定値と音声コーデック部から検出された音声の振幅とを比較して音量レベルの判定を行なう音量レベル検知部と、動画カメラ制御部における焦点距離情報から得られた送話者の位置および音量レベル検知部における比較結果に基づいて音量レベル設定値を調整する音量レベル制御部とを備える。
【０００４】
また、特許文献２には、表示映像に調和した臨場感の高い映像音響通信する技術が記載されている。特許文献２の技術は、音響送信側ユーザ及び音響受信側ユーザの視聴位置を検出し、その視聴位置情報に基づき、マイクにより収音した音響信号を調整する。そして、調整した音響信号を音響信号再生装置により再生を行う。
【０００５】
さらに、特許文献３には、ＴＶ会議等において、話者が存在するように音像を定位させることが記載されている。特許文献３の技術は、話者および受話者の位置を検出する手段と話者と受話者の両耳（顔）の方向を検出する手段を設け、話者と受話者の位置関係および話者と受話者の向きより直接音と間接音の伝達量を考慮し、同一空間内にいる場合の話者と受話者間の音の伝達関数計算により求め、伝達関数を再現することにより音像を定位させる。
【特許文献１】特開平０６−２５３３０５号公報
【特許文献２】特開平０７−１９３７９８号公報
【特許文献３】特開平０７−２６４７００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
全参加者が一つの空間に集まるコミュニケーションの場では、発話者と受話者の距離に応じて伝わる声の大きさが異なり、近いと聞こえやすいが、離れると聞こえにくかったり、聞こえなかったりする。その結果、発話者は受話者を距離で選んで発話音量を変更するので音声がはっきり伝わる人、余り伝わらない人を視覚的に選択できる。また、一つの空間で複数のコミュニケーションが同時に進行可能である。このように対面でのコミュニケーションは誰がどこにいるかがわかるので、音量を容易に調節できる。例えば、図９に示すような位置関係の場合、発話者３０１の発する音声は、すぐ近くにいる受話者３０２に伝わりやすく受話者３０３には聞こえづらいように音量を調節できる。これは発話者３０１と受話者３０２、発話者３０１と受話者３０３の距離が直感的に把握できるからである。
【０００７】
それに対して、テレビ会議システムでは一般に、他方の拠点の特定の参加者には伝わりにくくなるように、発話者側で音量を調節することは困難である。このように、テレビ会議では、対面のコミュニケーションの場でできる発話者と受話者の距離に応じた参加者間の伝達音量の違いや制御、それを元に複数の会話が同時に進行するということができない問題がある。
【０００８】
特許文献１では、発話者の画面との距離を考慮し、送出音量を変化させている。しかし、この方法では、受信者の状況が考慮されていない問題が残る。例えば、受話者の中には近くで聞く者も離れて聞く者もいるが、スピーカの音量が同じため、ほぼ同じように聞こえてしまう。
【０００９】
第１の問題点は、画面を介したテレビ会議において、受話者各人が画面との距離に無関係に同じ音量で出力される音を聞くため、発話者が伝えたい人を直感的に制御できないということである。その原因は、画面との距離にかかわらず、固定設置された同じスピーカからの音声を受話者が聞くため、位置関係が音声の伝わり具合と関連しないためである。
【００１０】
第２の問題点は、通常の対面のコミュニケーションの場では可能な、２組以上の別の会話を同時に進行することがテレビ会議では困難であるということである。その原因は、現在のテレビ会議の仕組みでは受話者が発話者との距離に無関係に同じ出力音声を聞く仕組みだからである。また、人は聞き取りたい音声を他の音から選択的に識別して聞き分けているが、耳の近くに置かれた機械的な音源、例えば、イヤホンまたはヘッドホンなどの音響に複数の音声が含まれる場合に、その中から聞き取りたい音声を聞き分けるのは困難である。
【００１１】
本発明は上述のような課題に鑑みてなされたものであり、その目的は、発話者が伝えたい相手である受話者に対して、より明瞭に音声が伝わる画像付音声通信の方法を提供することである。
【００１２】
本発明において、画像付音声通信は、テレビ会議の外に、テレビ電話、ＷＥＢ会議、ビデオチャットなど様々な名称で呼ばれる画像を伴う音声通信全般を含む。
【課題を解決するための手段】
【００１３】
本発明の第１の観点に係る画像付音声通信システムは、
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信システムであって、
受話者各人に割り当てられた個別の音声出力装置と、
通信相手の画像を表示する画像表示手段と、
前記音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出手段と、
前記音声出力装置ごとに音量を調節可能な音量調節手段と、
通信相手から受信した音声を、前記音声出力装置のそれぞれと当該拠点の前記画像表示手段との距離の比よりも大きい音量比で、それぞれの前記音声出力装置から出力する音声の音量を調節して、前記音声出力装置から出力する音声制御手段と、
を備えることを特徴とする。
【００１４】
本発明の第２の観点に係る画像付音声通信システムは、
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信システムであって、
受話者各人に割り当てられた個別の音声出力装置と、
通信相手の画像を表示する画像表示手段と、
前記音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出手段と、
話者を識別可能な音声入力手段と、
前記話者の音声を区別して送信する音声通信手段と、
前記話者を撮影する撮像手段と、
前記話者と話者側の前記撮像手段との位置関係を検出する話者位置検出手段と、
前記音声出力装置ごとに音量を調節可能な音量調節手段と、
前記話者と話者側の撮像装置との位置関係および前記音声出力装置と当該拠点の前記画像表示手段との位置関係とに基づいて、話者側の前記撮像手段と受話者側の前記画像表示手段が一定の位置関係にあるとみなして、前記話者と前記音声出力装置との相互距離を算出する距離算出手段と、
前記音声出力装置のそれぞれについて、通信相手から受信した前記話者のそれぞれの音量を前記話者とその音声出力装置との距離の比よりも大きい音量比でミキシングして、各音声出力装置から出力する音声複合手段と、
を備えることを特徴とする。
【００１５】
本発明の第３の観点に係る画像付音声通信方法は、
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信方法であって、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
通信相手から話者の音声を受信する音声受信ステップと、
前記通信相手から受信した音声を、前記音声出力装置と当該拠点の前記画像表示手段との距離の比よりも大きい音量比でそれぞれの前記音声出力装置から出力する音声の音量を調節して、各音声出力装置から出力する音声制御ステップと、
を備えることを特徴とする。
【００１６】
本発明の第４の観点に係る画像付音声通信方法は、
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信方法であって、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
話者を識別して、話者ごとの音声を入力する音声入力ステップと、
前記話者と前記話者を撮影する撮像手段との位置関係を検出する話者位置検出ステップと、
前記話者ごとの音声を区別して送信する音声通信ステップと、
前記話者と前記撮像装置との位置関係および前記音声出力装置と当該拠点の前記画像表示手段との位置関係とに基づいて、話者側の前記撮像手段と受話者側の前記画像表示手段が一定の位置関係にあるとみなして、それぞれの前記話者と前記音声出力装置との相互距離を算出する距離算出ステップと、
各音声出力装置について、通信相手から受信したそれぞれの話者の音量を各話者とその音声出力装置との距離の比よりも大きい音量比でミキシングして、各音声出力装置から出力する音声複合ステップと、
を備えることを特徴とする。
【００１７】
本発明の第５の観点に係るプログラムは、コンピュータに、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
通信相手から話者の音声を受信する音声受信ステップと、
前記通信相手から受信した音声を、前記音声出力装置と当該拠点の前記画像表示手段との距離の比よりも大きい音量比でそれぞれの前記音声出力装置から出力する音声の音量を調節して、各音声出力装置から出力する音声制御ステップと、
を実行させることを特徴とする。
【００１８】
本発明の第６の観点に係るプログラムは、コンピュータに、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
話者を識別して、話者ごとの音声を入力する音声入力ステップと、
前記話者と前記話者を撮影する撮像手段との位置関係を検出する話者位置検出ステップと、
前記話者ごとの音声を区別して送信する音声通信ステップと、
前記話者と前記撮像装置との位置関係および前記音声出力装置と当該拠点の前記画像表示手段との位置関係とに基づいて、話者側の前記撮像手段と受話者側の前記画像表示手段が一定の位置関係にあるとみなして、それぞれの前記話者と前記音声出力装置との相互距離を算出する距離算出ステップと、
各音声出力装置について、通信相手から受信したそれぞれの話者の音量を各話者とその音声出力装置との距離の比よりも大きい音量比でミキシングして、各音声出力装置から出力する音声複合ステップと、
を実行させることを特徴とする。
【発明の効果】
【００１９】
本発明の画像付音声通信システムまたは画像付音声通信方法によれば、表示装置に写された画像を介した通信において、受話者ごとに音声出力手段を設ける場合に、対面でのコミュニケーションに近い環境を提供できるので、近づいて話しているメンバーだけで会話がしやすい。その理由は、受話者ごとに設けられた音声出力手段を用いながら、画面を介して集まる各人の位置関係の距離の比よりも大きい音量比で発話者の音量を制御し、受話者ごとに出力するためである。
【発明を実施するための最良の形態】
【００２０】
本発明において、画像付音声通信は、テレビ会議の外に、テレビ電話、ＷＥＢ会議、ビデオチャットなど様々な名称で呼ばれる画像を伴う音声通信全般を含むが、以下、本発明の実施の形態では、テレビ会議システムを例にとりあげて説明する。
【００２１】
（実施の形態１）
図１は、本発明の画像付通信装置の例として、実施の形態１に係るテレビ会議装置の構成例を示すブロック図である。テレビ会議装置１は、制御装置２、カメラ３、表示部４、マイク５１、５２、５３、スピーカ６１、６２、６３、およびＩＤ検知部１０２から構成される。マイク５１、５２、５３とスピーカ６１、６２、６３の数はいくつでもよく、制約はない。以下、マイク５１、５２、５３を総称する場合は、マイク５という。また、スピーカ６１、６２、６３を総称する場合は、スピーカ６という。スピーカ６は、テレビ会議の参加者ごとに割り当てられるように設けられる。
【００２２】
図２は、実施の形態１に係るテレビ会議システム１００の構成例を示すブロック図である。拠点Ａと拠点Ｂのそれぞれに設置されたテレビ会議装置１Ａおよび１Ｂが、ネットワークＮに接続する。拠点Ａのテレビ会議装置１Ａの各部には参照符号にＡを付けて示す。拠点Ｂのテレビ会議装置１Ｂの各部には参照符号にＢを付けて示す。
【００２３】
テレビ会議システム１００は、拠点Ａのカメラ３Ａで撮影した画像を、ネットワークＮを経由して拠点Ｂのテレビ会議装置１Ｂに送信し、表示部４Ｂに表示する。逆に拠点Ｂのカメラ３Ｂで撮影した画像を、拠点Ａの表示部４Ａに表示する。また、拠点Ａのマイク５１Ａ、５２Ａ、５３Ａで入力した音声信号を、ネットワークＮを経由して拠点Ｂのテレビ会議装置１Ｂに送信し、スピーカ６１Ｂ、６２Ｂ、６３Ｂから出力する。逆に、拠点Ｂのマイク５Ｂで入力した音声信号を、ネットワークＮを経由して拠点Ａのテレビ会議装置１Ａに送信し、スピーカ６Ａから出力する。
【００２４】
図１を参照すると、テレビ会議装置１の制御装置２は、位置検出部１１、参加者距離算出部１２、画像入力部１３、画像出力部１４、音声入力部１５、音声出力部１６、音量制御部１７、通信処理部１８、および送受信部１９を備える。制御装置２は、例えば、プログラム制御によって動作するコンピュータで構成することができる。
【００２５】
カメラ３は、テレビ会議の参加者の画像を撮影し、画像入力部１３に伝送する。表示部４は、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）または画像プロジェクタ装置などから構成され、画像出力部１４から送られる信号によって画像を表示する。
【００２６】
マイク５１、５２、５３は、それぞれ参加者の音声を電気信号に変換して、音声入力部１５に入力する。スピーカ６１、６２、６３は、それぞれ音声出力部１６から送られる音声信号を音声に変換して送出する。マイク５１、５２、５３とスピーカ６１、６２、６３はそれぞれ組になってヘッドセット７１、７２、７３（以下、ヘッドセット７と総称することがある）を構成する場合がある。
【００２７】
ヘッドセット７と音声入力部１５および音声出力部１６との送信方法は有線でも無線でも構わない。音声出力信号は、そのままアンプを介して音にできるアナログ信号でも構わないし、Ｄ−Ａ変換を介して音声に変換できるデジタル情報でも構わない。ヘッドセット７は、例えばＲＦＩＤタグを備える場合がある。
【００２８】
位置検出部１１は、表示部４に対するスピーカ６１、６２、６３の位置を検出する。スピーカ６の位置を検出するには、例えば、テレビ会議を行う部屋の天井に並べたＲＦＩＤアンテナによる位置検知を用いることができる。その場合、ＩＤ検知部１０２は、例えば、スピーカ６（またはヘッドセット７）につけられたＲＦＩＤタグを読み取る。物理的にワイヤを接続せず遠隔で位置を検出する方法として、ＲＦＩＤタグのほかに、可視光または超音波などで読み取るタグを用いてもよい。
【００２９】
または、カメラ３で撮影した画像を解析して、スピーカ６の位置を検出してもよい。また、カメラ３の前に配置した超音波センサアレイを用いてスピーカ６（またはヘッドセット７）の距離を測定し、画像とのマッチングによってＩＤとスピーカ６（またはヘッドセット７）の位置との対応付けを行う方法を採ることができる。あるいは、テレビ会議の参加者がカメラとの位置関係を入力する、手動による位置検出方法でもかまわない。その他、床にセンサ（金属センサなど）を設置して、専用の靴と床との接触する位置で受話者の位置を検出してもよい。音声出力部１６の任意のポートに接続されたスピーカ６（またはヘッドセット７）が、表示部４に対してどの位置にあるかを検出できればよい。
【００３０】
参加者距離算出部１２は、位置検出部１１で検出した各スピーカ６の位置関係にもとづいて、各スピーカ６の表示部４からの距離を算出する。
【００３１】
画像入力部１３は、カメラ３の画像信号を入力して、通信処理部１８に伝送する。画像入力部１３は、また、画像信号を符号化してデータ圧縮する場合がある。画像出力部１４は、通信処理部１８から画像信号を入力して、表示部４に画像を表示する。画像信号が符号化されてデータ圧縮されている場合は、画像信号をデコードする。
【００３２】
音声入力部１５は、マイク５から音声信号を入力し、通信処理部１８に伝送する。音声信号をＡ−Ｄ変換してさらにデータ圧縮する場合がある。音声出力部１６は、通信処理部１８から音声信号を入力して、スピーカ６から音声を再生する。音声出力部１６は、スピーカ６ごとに音量を調節することができる。
【００３３】
通信処理部１８は、画像入力部１３から画像信号を入力して、送受信部１９からネットワークＮを経由して通信相手のテレビ会議装置１に送信する。また、通信相手のテレビ会議装置１から受信した画像信号を画像出力部１４に送る。
【００３４】
通信処理部１８は、また、音声入力部１５から音声信号を入力して、送受信部１９からネットワークＮを経由して通信相手のテレビ会議装置１に送信する。また、通信相手のテレビ会議装置１から受信した音声信号を、音声出力部１６に送る。
【００３５】
送受信部１９は、ネットワークＮに接続する網終端装置または無線通信装置、及びそれらと接続するシリアルインタフェース又はＬＡＮ（Local Area Network）インタフェースから構成されている。送受信部１９はネットワークＮを介して、通信相手のテレビ会議装置１に画像信号および音声信号を送信し、画像信号および音声信号を受信する。
【００３６】
音量制御部１７は、参加者距離算出部１２で求められたカメラ３からの各スピーカ６の距離に基づいて、各スピーカ６から再生する音量を所定のレベルに設定する。すなわち、音声出力部１６に対して、各ポートから出力する音量レベルを指令する。
【００３７】
音量制御部１７は、表示部４からの物理的な距離に応じた音声の比率より大きい比率で、各スピーカ６から再生する音量レベルを設定する。物理的な距離に応じた音声の比率とは、反射のない開放空間では、距離の２乗に反比例する比率と考えられる。このようにすることで離れた場所での音量がより効果的に減衰し、発話音声が伝わるエリアをより制限しやすくできる。
【００３８】
図３は、実施の形態１に係るテレビ会議システム１００の動作の一例を示す流れ図である。図２の拠点Ｂの話者から入力された音声を、拠点Ａのスピーカ６１Ａ、６２Ａ、６３Ａから出力する場合を想定する。
【００３９】
拠点Ａでは、スピーカ６１Ａ、６２Ａ、６３Ａの位置をＩＤ検知部１０２が検出する（ステップＳ１１）。各デバイスの位置の情報は位置検出部１１Ａに保持される。スピーカ６の位置情報をもとに参加者距離算出部１２Ａは表示部４Ａとスピーカ６の距離を算出する（ステップＳ１２）。この距離はすべての人ごとの距離の相対距離が判明する限りにおいて、メートルなどの単位で表記しなくても構わない。例えば、もっとも近い２者の距離を１とした場合に、その他の人との距離を１．５や２．１といった相対距離で出力しても構わない。
【００４０】
音量制御部１７Ａは音声出力部１６Ａに対して、表示部４Ａと各スピーカ６の距離の比よりも大きい比率で、各スピーカ６の音量を設定する（ステップＳ１３）。
【００４１】
一方、拠点Ｂでは、マイク５から入力された音声をミキシングして、通信処理部１８Ｂ、送受信部１９Ｂから、ネットワークＮを経由して拠点Ａに送信する（ステップＴ１１）。拠点Ｂからの音声を受信した拠点Ａの送受信部１９Ａは、通信処理部１８Ａで音声信号を取り出して、音声出力部１６Ａに入力する。音声出力部１６Ａは、スピーカ６ごとに設定された音量で入力された音声をスピーカ６から出力する。
【００４２】
以上、説明したとおり、本実施の形態１に係るテレビ会議システム１００では、スピーカ６と表示部４の位置関係に基づいて、スピーカ６と表示部４の距離の比よりも大きい比率でスピーカ６ごとの音量を設定する。それによって、受話者ごとに設けられたスピーカ６から出力する音声が、表示部４から離れるにしたがって、認識はできるが作業や他者との会話に妨げにならないレベルにすることができる。その結果、表示部４に近づいて話しているメンバーだけで会話がしやすいという効果が得られる。
【００４３】
なお、スピーカ６から出力する音量を距離のみに依存する一定値ではなく、動的に変化させてもよい。例えば、マイク５から所定の値以上の音量が入力されたときに（話者になったときに）、そののち一定時間は、そのマイク５の受話者のスピーカ６の音量を大きくする。発言してから所定の時間経過したら、そのスピーカ６の音量を距離の比よりも大きい通常の比率にもどす。さらに、経過時間と音量に段階を設けてもよい。
【００４４】
（実施の形態２）
実施の形態２は、実施の形態１の動作に加えて、1つの拠点の話者が複数であって、話者の音声をミキシングする場合である。ミキシングするレベルを話者とカメラとの距離の比よりも大きい比率に設定する。図４は、実施の形態２に係るテレビ会議装置の構成の例を示すブロック図である。実施の形態１のテレビ会議装置に比較して、ミキシングレベル制御部２０が追加されている。
【００４５】
実施の形態２のテレビ会議システム１００では、位置検出部１１はさらに、話者とカメラ３との位置関係を検出する。ヘッドセット７を用いる場合は、話者の位置は、ヘッドセット７の位置によって検出されている。カメラ３と表示部４との位置関係のデータを予め設定しておけば、話者とカメラ３との位置関係が分かる。参加者距離算出部１２は、位置検出部１１で検出した各話者の位置関係にもとづいて、話者とカメラ３との距離を算出する。
【００４６】
音声入力部１５は、話者ごとの音声を識別して入力し、１つの音声信号にミキシングする。話者ごとの音声を識別するには、話者ごとにマイク５を設置する。あるいは、マイク５が参加者ごとに備えられていなくても、例えば、２つ以上のマイク５で同時に入力して、話者の位置関係にもとづいて、２つ以上のマイク５に到達する音声の時間差が、話者とマイク５の距離の差に相当する音声を分離してもよい。
【００４７】
ミキシングレベル制御部２０は、話者とカメラ３との距離の比よりも大きい比率で、音声入力部１５でミキシングする各音声のレベルを設定する。したがって、音声入力部１５でミキシングされる各音声のレベルは、話者とカメラ３との距離の比よりも大きい比率となる。音声入力部１５でミキシングされた音声は、通信処理部１８、送受信部１９を介して通信相手の拠点に送信される。
【００４８】
図５は、実施の形態２に係るテレビ会議システム１００の動作の一例を示す流れ図である。図２の拠点Ｂのマイク５１Ｂ、５２Ｂ、５３Ｂから入力された音声を、拠点Ａのスピーカ６１Ａ、６２Ａ、６３Ａから出力する場合を想定する。拠点Ａの音声受信処理動作は、実施の形態１と同様である。すなわち、ステップＳ２１〜ステップＳ２４は、図３のステップＳ１１〜ステップＳ１４と同じである。
【００４９】
例えば、スピーカ６は、各話者に付着している場合に、拠点Ｂでは、スピーカ６１Ｂ、６２Ｂ、６３Ｂの位置（各話者の位置である）をＩＤ検知部１０２が検出する（ステップＴ２１）。各デバイスの位置の情報は位置検出部１１Ｂに保持される。スピーカ６の位置情報をもとに参加者距離算出部１２Ｂはカメラ３Ｂとスピーカ６（各話者）の距離を算出する（ステップＴ２２）。この距離はすべての人ごとの距離の相対距離が判明する限りにおいて、メートルなどの単位で表記しなくても構わない。例えば、もっとも近い２者の距離を１とした場合に、その他の人との距離を１．５や２．１といった相対距離で出力しても構わない。
【００５０】
ミキシングレベル制御部２０Ｂは音声入力部１５Ｂに対して、カメラ３Ｂと各スピーカ６（各話者）の距離の比よりも大きい比率で、ミキシングする各音声のレベルを設定する（ステップＴ２３）。音声入力部１５Ｂは、マイク５１Ｂ、５２Ｂ、５３Ｂから入力した音声を、設定されたレベルでミキシングし、通信処理部１８Ｂ、送受信部１９Ｂを介して拠点Ａに送信する（ステップＴ２４）。
【００５１】
以上、説明したとおり、本実施の形態２に係るテレビ会議システム１００では、各話者とカメラ３の位置関係に基づいて、話者とカメラ３の距離の比よりも大きい比率で音声をミキシングするレベルを設定する。それによって、通信相手に送信される音声に含まれる話者ごとの音声レベルが、話者がカメラ３から離れるにしたがって、認識はできるが作業や他者との会話に妨げにならないレベルにすることができる。その結果、カメラ３と表示部４に近づいて話しているメンバーだけで会話がしやすいという効果が得られる。
【００５２】
なお、実施の形態２においても、スピーカ６から出力する音量を距離のみに依存する一定値ではなく、動的に変化させてもよい。
【００５３】
（実施の形態３）
実施の形態３は、話者側のカメラ３と受話者側の表示部４が所定の位置関係にあるとみなして、話者と受話者の距離に対応して音量を調節する。図６は、実施の形態３に係るテレビ会議装置の構成例を示すブロック図である。実施の形態３のテレビ会議システム１００は、２チャネル以上の音声を同時に送信する。図６では、音声が複数のチャネルで通信されることを白抜き矢印で表す。
【００５４】
音声入力部１５は、マイク５１、５２、５３から入力した音声を、ミキシングすることなく、通信処理部１８に送る。通信処理部１８および送受信部１９では、２以上の音声を異なるチャネルで送信する。受信した複数の音声は、別々に音声出力部１６に入力される。音声出力部１６は、入力した音声をスピーカ６ごとに異なるレベルでミキシングして、スピーカ６に出力する。
【００５５】
送信側の拠点で位置検出部１１は、話者とカメラ３との位置関係を検出する。ヘッドセット７を用いる場合は、話者の位置は、ヘッドセット７の位置によって検出することができる。受信側の拠点で位置検出部１１は、表示部４に対するスピーカ６１、６２、６３の位置を検出する。
【００５６】
スピーカ６の位置を検出するには、実施の形態１で説明したように、例えば、スピーカ６またはヘッドセット７につけられたＲＦＩＤタグを読み取る方法を用いることができる。または、カメラ３で撮影した画像を解析する方法、カメラ３の前に配置した超音波センサアレイを用いてスピーカ６（またはヘッドセット７）の距離を測定し、画像とのマッチングによってＩＤとスピーカ６（またはヘッドセット７）の位置との対応付けを行う方法を採ることができる。あるいは、テレビ会議の参加者がカメラとの位置関係を入力する、手動による位置検出方法でもかまわない。
【００５７】
通信処理部１８は、話者とカメラ３との位置関係を、通信相手のテレビ会議装置１に送信する。以下、理解を容易にするために、話者とカメラ３との位置関係を送信するテレビ会議装置１を拠点Ｂ、受信する側を拠点Ａとして説明する。
【００５８】
話者とカメラ３Ａとの位置関係を受信したテレビ会議装置１Ｂでは、参加者距離算出部１２Ｂは、話者とカメラ３Ａとの位置関係を、話者と表示部４Ｂとの位置関係に置き換えて、話者とスピーカ６１Ａ、６２Ａ、６３Ａとの距離を算出する。すなわち、カメラ３Ｂと表示部４Ａとが一定の位置関係にあるとみなして、話者とスピーカ６Ａ（受話者と考える）が１つの拠点に居るように擬似的に距離を算出する。
【００５９】
例えば、参加者距離算出部１２Ａは、カメラ３Ｂと表示部４Ａとが表裏一体の位置にあるとみなして、話者とスピーカ６Ａとの距離を算出する。または、カメラ３Ａと表示部４Ｂの画像表示の尺度に相当する位置関係にあると想定して、話者とスピーカ６Ａとの距離を算出してもよい。参加者距離算出部１２Ａは、表示部４Ｂの画面サイズを考慮し、単純に位置から距離を求めるだけでなく、縮尺を変更してもよい。
【００６０】
音量制御部１７Ａは、参加者距離算出部１２Ａで算出した話者とスピーカ６Ａとの距離をもとに、各話者の音声をスピーカ６ごとにミキシングするときのミキシングするレベルを、それぞれの話者とスピーカ６の距離の比よりも大きい比率になるように設定する。さらに、話者と最も近くのスピーカ６との間で会話を行う際の受話音声が適切な音量になるようにして、距離に応じて小さくしてもよい。このようにすることで、スピーカが音割れを起こしたり不適切な音量になる問題を回避できる。このようにすることで離れた場所での音量がより効果的に減衰し、発話音声が伝わるエリアをより制限しやすくできる。
【００６１】
図６、図７および図８を参照して本実施の形態の全体の動作について詳細に説明する。図７は、テレビ会議の参加者の配置の例を示す模式図である。図８は、実施の形態３に係るテレビ会議システム１００の動作の一例を示す流れ図である。
【００６２】
図２に示すようなテレビ会議システムを想定し、拠点Ａ、拠点Ｂともに、図６に示すテレビ会議装置を備えているものとする。拠点Ａのマイク５１Ａおよびスピーカ６１Ａは、図７の参加者４０１が持つデバイス４１１に相当する。また、拠点Ｂのマイク５１Ｂおよびスピーカ６１Ｂは、図７の参加者４０２が持つデバイス４１２、マイク５２Ｂおよびスピーカ６２Ｂは、図７の参加者４０３が持つデバイス４１３に相当する。拠点Ａの参加者４０１と、拠点Ｂの参加者４０２、４０３は画面４０４を介してテレビ会議を行っているとする。
【００６３】
拠点Ｂでは、参加者４０２、４０３のデバイス４１２、４１３の位置をＩＤ検知部１０２が検出し、位置検出部１１Ｂにてカメラ３Ｂの画面の左端を原点とする座標における位置を求める（ステップＴ３１）。拠点Ａでは、参加者４０１のデバイス４１１の位置をＩＤ検知部１０２が検出する（ステップＳ３１）。各デバイスの位置の情報は位置検出部１１Ａ、１１Ｂに保持される。
【００６４】
参加者４０２および４０３が発話して話者となると、制御装置２Ｂ（音声入力部１５Ｂ）はマイク５１Ｂ、５２Ｂの入力を感知して、参加者４０２、４０３を話者として特定する。そして、参加者４０２、４０３（デバイス４１２、４１３）とカメラ３Ｂの位置関係を、テレビ会議装置１Ａに送信する（ステップＴ３２）。参加者４０２、４０３の発話に先立って、テレビ会議を始めたときに、各参加者とその拠点の表示部４との位置関係を通信相手のテレビ会議装置１に送信しておいて、話者が変わるごとに、話者の識別符号を送信する方法でもよい。
【００６５】
拠点Ａでは、拠点Ｂから話者とカメラ３Ｂの位置関係を受信し（ステップＳ３２）、各デバイスの位置情報をもとに参加者距離算出部１２Ａは、話者とスピーカ６の仮想的な距離を算出する（ステップＳ３３）。これにより各参加者（デバイス）について、近い人、遠い人が判明する。この距離はすべての人ごとの距離の相対距離が判明する限りにおいて、メートルなどの単位で表記しなくても構わない。例えば、もっとも近い２者の距離を１とした場合に、その他の人との距離を１．５や２．１といった相対距離で出力しても構わない。また、テレビ会議の画面サイズ、カメラのレンズによっては映像に映る人が実物より小さく映ったり大きく映ったりするが、発話者が話しかけようとする相手参加者と、話を伝えようと思わない相手参加者との距離感が相対的に分かる限りにおいて、同じ算出を用いて構わない。
【００６６】
拠点Ａでは、制御装置２Ａ（音量制御部１７Ａ）は参加者４０１のデバイス４１１のスピーカ６１Ａに出力する音声のミキシングレベルを設定する（ステップＳ３４）。すなわち、デバイス４１２、４１３のそれぞれについて、デバイス４１１との仮想的な距離の比よりも大きい比率でミキシングするレベルを決定する。
【００６７】
拠点Ｂでは、参加者４０２、４０３のデバイス４１２、４１３のマイク５１Ｂ、５２Ｂに対して発話された音声は、音声入力部１５Ｂに入力される。入力される音声がアナログ信号で、音声入力部１５ＢでＡ−Ｄ変換して保持してもよいし、あらかじめＡ−Ｄ変換された状態で入力されてもよい。制御装置２Ｂは、音声信号を拠点Ａの制御装置２Ａに送信する（ステップＴ３３）。
【００６８】
そして、音声出力部１６Ａは、デバイス４１１に設定されたミキシングレベルで、拠点Ｂから受信した音声信号をミキシングして再生する（ステップＳ３５）。
【００６９】
拠点Ａのその他のスピーカ６、例えばスピーカ６２Ａについても同様に、スピーカ６２Ａとデバイス４１２、４１３の仮想的な距離の比より大きい比率でミキシングレベルを設定する。そして、受信した音声をそれぞれのスピーカ６（例えばスピーカ６２Ａ）に設定したレベルでミキシングして、各スピーカ６（例えばスピーカ６２Ａ）から出力する。
【００７０】
テレビ会議装置１の間の通信において、音声チャネルは、すべての参加者に対応して用意しなくてもよい。参加者より少ないチャネル数で、発話している話者に動的に割り当てることができる。その場合、拠点Ｂは音声チャネルと話者を対応づける情報を、拠点Ａに送信する。
【００７１】
音声は話者ごとに別のチャネルで伝送されなくてもよい。例えば少なくとも、２チャネルのステレオで伝送し、受信側で話者の位置関係に基づいて、話者ごとの音声に分離してもよい。その場合、拠点Ｂはどの参加者が発話しているか（話者であるか）を示す情報を拠点Ａに送信する。発話している話者のヘッドセットのＬＥＤなどを点灯するような方法でもよい。話者ごとに分離した音声を、スピーカ６ごとに設定されたミキシングレベルでミキシングして、スピーカ６から出力するのである。
【００７２】
なお、話者が一人の場合は、ミキシングレベルは音量に相当し、話者とスピーカの仮想的な距離の比よりも大きい比率で、各スピーカの音量を調節することに帰着する。その場合でも、拠点Ｂはどの参加者が話者であるかを示す情報を、例えば発話している話者のヘッドセットのＬＥＤなどを点灯するような方法で、拠点Ａに送信する。
【００７３】
また、話者とカメラ３の位置関係を送信しない方法もあり得る。例えば、受信側の拠点で受信した画像から話者の位置を推定してもよい。撮像するカメラ３の画角などの情報が受信側で既知であって、テーブル、机または床が水平面であると仮定して、それらの縁などの線と話者の画像の関係から位置を推定することも可能である。
【００７４】
以上、説明したとおり、本実施の形態１に係るテレビ会議システム１００では、話者とカメラ３の位置関係と、受話者ごとに設けられたスピーカ６と表示部４との位置関係に基づいて、スピーカ６ごとに各話者の音声をミキシングするレベルを設定する。それによって、受話者ごとに各話者との距離の比よりも大きい比率でミキシングされるので、話者と受話者が離れるにしたがって、認識はできるが作業や他者との会話に妨げにならないレベルにすることができる。その結果、カメラ３と表示部４に近づいて話しているメンバーだけで会話がしやすいという効果が得られる。
【００７５】
さらに、実施の形態３においても、スピーカ６から出力する音量を距離のみに依存する一定値ではなく、動的に変化させてもよい。実施の形態３では、例えば、最も近い話者以外の音声について、音量の１秒程度毎の時間平均を算出し、閾値を下回ればより下げる、閾値を越えれば、より上げるといった制御を行ってもよい。
【００７６】
その他、本発明の好適な変形として、以下の構成が含まれる。
【００７７】
本発明の第１の観点に係る画像付音声通信システムについて、好ましくは、
話者を識別可能な音声入力手段と、
前記話者を撮影する撮像手段と、
前記話者と話者側の前記撮像手段との位置関係を検出する話者位置検出手段と、
前記話者ごとに入力する音声の音量レベルを調節可能な入力音量調節手段と、
前記話者と話者側の前記撮像手段との距離の比よりも大きい音量比で、それぞれの話者の入力音量を調節してミキシングする音声重畳手段と、
を備えることを特徴とする。
【００７８】
本発明の第２の観点に係る画像付音声通信システムについて、好ましくは、
前記話者位置検出手段で検出した前記話者と前記撮像手段との位置関係を、通信相手に送信する話者位置送信手段と、
前記通信相手からその話者と撮像手段との位置関係を受信する話者位置受信手段と、
を備えることを特徴とする。
【００７９】
いずれの場合についても、前記音声出力装置は、固有の識別符号と、その符号を表示または送信する符号表示手段を有し、
前記位置検出手段は、前記音声出力装置に付与された前記符号表示手段に表示される識別符号と前記符号表示手段の位置を検出する手段を備えてもよい。
【００８０】
本発明の第３の観点に係る画像付音声通信方法について、好ましくは、
話者を識別して、話者ごとの音声を入力する音声入力ステップと、
前記話者と前記話者を撮影する撮像手段との位置関係を検出する話者位置検出ステップと、
前記話者と話者側の撮像手段との距離の比よりも大きい音量比で、それぞれの話者の入力音量を調節してミキシングする音声重畳ステップと、
を備えることを特徴とする。
【００８１】
本発明の第４の観点に係る画像付音声通信方法について、好ましくは、
前記話者位置検出ステップで検出した、前記話者と前記撮像手段との位置関係を通信相手に送信する話者位置送信ステップと、
通信相手からその話者と撮像手段との位置関係を受信する話者位置受信ステップと、
を備えることを特徴とする。
【産業上の利用可能性】
【００８２】
本発明によれば、１枚のスクリーンを介したテレビ会議システムにおいて、ユーザが自在に自分の話したい相手にのみ伝わる音量で話しかけることができるため、複数の会話を同時に実現するテレビ電話システム、テレビ電話用プログラムといった用途に適用できる。
また、他の人から離れると聞こえにくくなるため、部屋の一角で常時接続したままにしておき、必要なときに必要な人だけが参加するテレビコミュニケーション環境といった用途にも適用できる。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施の形態１に係るテレビ会議装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係るテレビ会議システムの構成を示すブロック図である。
【図３】実施の形態１に係るテレビ会議システムの動作の一例を示す流れ図である。
【図４】本発明の実施の形態２に係るテレビ会議装置の構成例を示すブロック図である。
【図５】実施の形態２に係るテレビ会議システムの動作の一例を示す流れ図である。
【図６】本発明の実施の形態３に係るテレビ会議装置の構成例を示すブロック図である。
【図７】対面でのコミュニケーションにおける人間の位置関係を説明する図である。
【図８】実施の形態３に係るテレビ会議システムの動作の一例を示す流れ図である。
【図９】従来のテレビ会議を説明するための人間とシステムの位置関係を説明する図である。
【符号の説明】
【００８４】
１ テレビ会議装置
２ 制御装置
３、３Ａ、３Ｂ カメラ
４、４Ａ、４Ｂ 表示部
１１ 位置検出部
１２ 参加者距離算出部
１３ 画像入力部
１４ 画像出力部
１５ 音声入力部
１６ 音声出力部
１７ 音量制御部
１８ 通信処理部
１９ 送受信部
２０ ミキシングレベル制御部
５１、５２、５３ マイク
６１、６２、６３ スピーカ
７１、７２、７３ ヘッドセット
１０２ ＩＤ検知部
４０１、４０２、４０３ 参加者
４０４ テレビ会議スクリーン
４１１、４１２、４１３ デバイス
【特許請求の範囲】
【請求項１】
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信システムであって、
受話者各人に割り当てられた個別の音声出力装置と、
通信相手の画像を表示する画像表示手段と、
前記音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出手段と、
前記音声出力装置ごとに音量を調節可能な音量調節手段と、
通信相手から受信した音声を、前記音声出力装置のそれぞれと当該拠点の前記画像表示手段との距離の比よりも大きい音量比で、それぞれの前記音声出力装置から出力する音声の音量を調節して、前記音声出力装置から出力する音声制御手段と、
を備えることを特徴とする画像付音声通信システム。
【請求項２】
話者を識別可能な音声入力手段と、
前記話者を撮影する撮像手段と、
前記話者と話者側の前記撮像手段との位置関係を検出する話者位置検出手段と、
前記話者ごとに入力する音声の音量レベルを調節可能な入力音量調節手段と、
前記話者と話者側の前記撮像手段との距離の比よりも大きい音量比で、それぞれの話者の入力音量を調節してミキシングする音声重畳手段と、
を備えることを特徴とする請求項１に記載の画像付音声通信システム。
【請求項３】
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信システムであって、
受話者各人に割り当てられた個別の音声出力装置と、
通信相手の画像を表示する画像表示手段と、
前記音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出手段と、
話者を識別可能な音声入力手段と、
前記話者の音声を区別して送信する音声通信手段と、
前記話者を撮影する撮像手段と、
前記話者と話者側の前記撮像手段との位置関係を検出する話者位置検出手段と、
前記音声出力装置ごとに音量を調節可能な音量調節手段と、
前記話者と話者側の撮像装置との位置関係および前記音声出力装置と当該拠点の前記画像表示手段との位置関係とに基づいて、話者側の前記撮像手段と受話者側の前記画像表示手段が一定の位置関係にあるとみなして、前記話者と前記音声出力装置との相互距離を算出する距離算出手段と、
前記音声出力装置のそれぞれについて、通信相手から受信した前記話者のそれぞれの音量を前記話者とその音声出力装置との距離の比よりも大きい音量比でミキシングして、各音声出力装置から出力する音声複合手段と、
を備えることを特徴とする画像付音声通信システム。
【請求項４】
前記話者位置検出手段で検出した前記話者と前記撮像手段との位置関係を、通信相手に送信する話者位置送信手段と、
前記通信相手からその話者と撮像手段との位置関係を受信する話者位置受信手段と、
を備えることを特徴とする請求項３に記載の画像付音声通信システム。
【請求項５】
前記音声出力装置は、固有の識別符号と、その符号を表示または送信する符号表示手段を有し、
前記位置検出手段は、前記音声出力装置に付与された前記符号表示手段に表示される識別符号と前記符号表示手段の位置を検出する手段を備える、
ことを特徴とする請求項１ないし４のいずれか１項に記載の画像付音声通信システム。
【請求項６】
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信方法であって、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
通信相手から話者の音声を受信する音声受信ステップと、
前記通信相手から受信した音声を、前記音声出力装置と当該拠点の前記画像表示手段との距離の比よりも大きい音量比でそれぞれの前記音声出力装置から出力する音声の音量を調節して、各音声出力装置から出力する音声制御ステップと、
を備えることを特徴とする画像付音声通信方法。
【請求項７】
話者を識別して、話者ごとの音声を入力する音声入力ステップと、
前記話者と前記話者を撮影する撮像手段との位置関係を検出する話者位置検出ステップと、
前記話者と話者側の撮像手段との距離の比よりも大きい音量比で、それぞれの話者の入力音量を調節してミキシングする音声重畳ステップと、
を備えることを特徴とする請求項６に記載の画像付音声通信方法。
【請求項８】
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信方法であって、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
話者を識別して、話者ごとの音声を入力する音声入力ステップと、
前記話者と前記話者を撮影する撮像手段との位置関係を検出する話者位置検出ステップと、
前記話者ごとの音声を区別して送信する音声通信ステップと、
前記話者と前記撮像装置との位置関係および前記音声出力装置と当該拠点の前記画像表示手段との位置関係とに基づいて、話者側の前記撮像手段と受話者側の前記画像表示手段が一定の位置関係にあるとみなして、それぞれの前記話者と前記音声出力装置との相互距離を算出する距離算出ステップと、
各音声出力装置について、通信相手から受信したそれぞれの話者の音量を各話者とその音声出力装置との距離の比よりも大きい音量比でミキシングして、各音声出力装置から出力する音声複合ステップと、
を備えることを特徴とする画像付音声通信方法。
【請求項９】
前記話者位置検出ステップで検出した、前記話者と前記撮像手段との位置関係を通信相手に送信する話者位置送信ステップと、
通信相手からその話者と撮像手段との位置関係を受信する話者位置受信ステップと、
を備えることを特徴とする請求項８に記載の画像付音声通信方法。
【請求項１０】
コンピュータに、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
通信相手から話者の音声を受信する音声受信ステップと、
前記通信相手から受信した音声を、前記音声出力装置と当該拠点の前記画像表示手段との距離の比よりも大きい音量比でそれぞれの前記音声出力装置から出力する音声の音量を調節して、各音声出力装置から出力する音声制御ステップと、
を実行させることを特徴とするプログラム。
【請求項１１】
コンピュータに、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
話者を識別して、話者ごとの音声を入力する音声入力ステップと、
前記話者と前記話者を撮影する撮像手段との位置関係を検出する話者位置検出ステップと、
前記話者ごとの音声を区別して送信する音声通信ステップと、
前記話者と前記撮像装置との位置関係および前記音声出力装置と当該拠点の前記画像表示手段との位置関係とに基づいて、話者側の前記撮像手段と受話者側の前記画像表示手段が一定の位置関係にあるとみなして、それぞれの前記話者と前記音声出力装置との相互距離を算出する距離算出ステップと、
各音声出力装置について、通信相手から受信したそれぞれの話者の音量を各話者とその音声出力装置との距離の比よりも大きい音量比でミキシングして、各音声出力装置から出力する音声複合ステップと、
を実行させることを特徴とするプログラム。
【請求項１】
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信システムであって、
受話者各人に割り当てられた個別の音声出力装置と、
通信相手の画像を表示する画像表示手段と、
前記音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出手段と、
前記音声出力装置ごとに音量を調節可能な音量調節手段と、
通信相手から受信した音声を、前記音声出力装置のそれぞれと当該拠点の前記画像表示手段との距離の比よりも大きい音量比で、それぞれの前記音声出力装置から出力する音声の音量を調節して、前記音声出力装置から出力する音声制御手段と、
を備えることを特徴とする画像付音声通信システム。
【請求項２】
話者を識別可能な音声入力手段と、
前記話者を撮影する撮像手段と、
前記話者と話者側の前記撮像手段との位置関係を検出する話者位置検出手段と、
前記話者ごとに入力する音声の音量レベルを調節可能な入力音量調節手段と、
前記話者と話者側の前記撮像手段との距離の比よりも大きい音量比で、それぞれの話者の入力音量を調節してミキシングする音声重畳手段と、
を備えることを特徴とする請求項１に記載の画像付音声通信システム。
【請求項３】
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信システムであって、
受話者各人に割り当てられた個別の音声出力装置と、
通信相手の画像を表示する画像表示手段と、
前記音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出手段と、
話者を識別可能な音声入力手段と、
前記話者の音声を区別して送信する音声通信手段と、
前記話者を撮影する撮像手段と、
前記話者と話者側の前記撮像手段との位置関係を検出する話者位置検出手段と、
前記音声出力装置ごとに音量を調節可能な音量調節手段と、
前記話者と話者側の撮像装置との位置関係および前記音声出力装置と当該拠点の前記画像表示手段との位置関係とに基づいて、話者側の前記撮像手段と受話者側の前記画像表示手段が一定の位置関係にあるとみなして、前記話者と前記音声出力装置との相互距離を算出する距離算出手段と、
前記音声出力装置のそれぞれについて、通信相手から受信した前記話者のそれぞれの音量を前記話者とその音声出力装置との距離の比よりも大きい音量比でミキシングして、各音声出力装置から出力する音声複合手段と、
を備えることを特徴とする画像付音声通信システム。
【請求項４】
前記話者位置検出手段で検出した前記話者と前記撮像手段との位置関係を、通信相手に送信する話者位置送信手段と、
前記通信相手からその話者と撮像手段との位置関係を受信する話者位置受信手段と、
を備えることを特徴とする請求項３に記載の画像付音声通信システム。
【請求項５】
前記音声出力装置は、固有の識別符号と、その符号を表示または送信する符号表示手段を有し、
前記位置検出手段は、前記音声出力装置に付与された前記符号表示手段に表示される識別符号と前記符号表示手段の位置を検出する手段を備える、
ことを特徴とする請求項１ないし４のいずれか１項に記載の画像付音声通信システム。
【請求項６】
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信方法であって、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
通信相手から話者の音声を受信する音声受信ステップと、
前記通信相手から受信した音声を、前記音声出力装置と当該拠点の前記画像表示手段との距離の比よりも大きい音量比でそれぞれの前記音声出力装置から出力する音声の音量を調節して、各音声出力装置から出力する音声制御ステップと、
を備えることを特徴とする画像付音声通信方法。
【請求項７】
話者を識別して、話者ごとの音声を入力する音声入力ステップと、
前記話者と前記話者を撮影する撮像手段との位置関係を検出する話者位置検出ステップと、
前記話者と話者側の撮像手段との距離の比よりも大きい音量比で、それぞれの話者の入力音量を調節してミキシングする音声重畳ステップと、
を備えることを特徴とする請求項６に記載の画像付音声通信方法。
【請求項８】
音声信号と画像信号とを通信ネットワークを経由して送信する画像付音声通信方法であって、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
話者を識別して、話者ごとの音声を入力する音声入力ステップと、
前記話者と前記話者を撮影する撮像手段との位置関係を検出する話者位置検出ステップと、
前記話者ごとの音声を区別して送信する音声通信ステップと、
前記話者と前記撮像装置との位置関係および前記音声出力装置と当該拠点の前記画像表示手段との位置関係とに基づいて、話者側の前記撮像手段と受話者側の前記画像表示手段が一定の位置関係にあるとみなして、それぞれの前記話者と前記音声出力装置との相互距離を算出する距離算出ステップと、
各音声出力装置について、通信相手から受信したそれぞれの話者の音量を各話者とその音声出力装置との距離の比よりも大きい音量比でミキシングして、各音声出力装置から出力する音声複合ステップと、
を備えることを特徴とする画像付音声通信方法。
【請求項９】
前記話者位置検出ステップで検出した、前記話者と前記撮像手段との位置関係を通信相手に送信する話者位置送信ステップと、
通信相手からその話者と撮像手段との位置関係を受信する話者位置受信ステップと、
を備えることを特徴とする請求項８に記載の画像付音声通信方法。
【請求項１０】
コンピュータに、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
通信相手から話者の音声を受信する音声受信ステップと、
前記通信相手から受信した音声を、前記音声出力装置と当該拠点の前記画像表示手段との距離の比よりも大きい音量比でそれぞれの前記音声出力装置から出力する音声の音量を調節して、各音声出力装置から出力する音声制御ステップと、
を実行させることを特徴とするプログラム。
【請求項１１】
コンピュータに、
通信相手から受信した画像を画像表示手段に表示する画像表示ステップと、
受話者各人に個別に設けられた音声出力装置と当該拠点の前記画像表示手段との位置関係を検出する位置検出ステップと、
話者を識別して、話者ごとの音声を入力する音声入力ステップと、
前記話者と前記話者を撮影する撮像手段との位置関係を検出する話者位置検出ステップと、
前記話者ごとの音声を区別して送信する音声通信ステップと、
前記話者と前記撮像装置との位置関係および前記音声出力装置と当該拠点の前記画像表示手段との位置関係とに基づいて、話者側の前記撮像手段と受話者側の前記画像表示手段が一定の位置関係にあるとみなして、それぞれの前記話者と前記音声出力装置との相互距離を算出する距離算出ステップと、
各音声出力装置について、通信相手から受信したそれぞれの話者の音量を各話者とその音声出力装置との距離の比よりも大きい音量比でミキシングして、各音声出力装置から出力する音声複合ステップと、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−２４６５２８（Ｐ２００９−２４６５２８Ａ）
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願番号】特願２００８−８８３９９（Ｐ２００８−８８３９９）
【出願日】平成２０年３月２８日（２００８．３．２８）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願日】平成２０年３月２８日（２００８．３．２８）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]