音声通信装置および音声通信システム
【課題】比較的簡素な構成で、特定話者の声に対する放音音声を聞き手毎にフレキシブルに調整することができる音声通信システムを提供する。
【解決手段】地点bの会議者Jの声が聴き取り難いと、地点aの会議者A,Gが放音調整を行うと、音声会議装置111Aは、スピーカアレイの各スピーカから放音される音声の相対関係を調整することで、会議者A,Gに対応する方位Dir11,Dir18への放音音声のみをそれぞれの放音調整内容に基づいて調整する。放音調整内容はネットワークサーバ101に送信され、ネットワークサーバ101は会議者Jに対する放音調整内容数が所定数になると、会議者Jに対応する方位Dir24からの収音信号を補正する収音補正データを音声会議装置111Bに与える。音声会議装置111Bはこの収音補正データに基づいて、方位Dir24からの収音信号を補正して、各音声会議装置111A,111Cに送信する。
【解決手段】地点bの会議者Jの声が聴き取り難いと、地点aの会議者A,Gが放音調整を行うと、音声会議装置111Aは、スピーカアレイの各スピーカから放音される音声の相対関係を調整することで、会議者A,Gに対応する方位Dir11,Dir18への放音音声のみをそれぞれの放音調整内容に基づいて調整する。放音調整内容はネットワークサーバ101に送信され、ネットワークサーバ101は会議者Jに対する放音調整内容数が所定数になると、会議者Jに対応する方位Dir24からの収音信号を補正する収音補正データを音声会議装置111Bに与える。音声会議装置111Bはこの収音補正データに基づいて、方位Dir24からの収音信号を補正して、各音声会議装置111A,111Cに送信する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、ネットワークを介して相互に音声信号を通信することで遠隔地会議等を行う音声通信システムおよびこの音声通信システムで用いる音声通信装置に関するものである。
【背景技術】
【0002】
複数の地点をネットワークで接続して音声会議やチャットを行う音声通信システムが各種考案されている。
【0003】
例えば、特許文献1では、それぞれの会議者が音声通信装置に相当するパソコンを個別にネットワークへ接続し、仮想会議室で互いに会議をするシステムが開示されている。
【0004】
そして、特許文献1では、それぞれの会議者が個別に音声通信装置を操作して、受信音声信号の音質、音量、音響を調整して放音することで、各話者単位で臨場感の有る会議を行えるものである。
【特許文献1】特開平8−125761号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の音声通信システムでは、会議者毎に音声通信装置を設置しなければならず、会議規模が大きくなると音声通信システムの規模が大幅に大きくなってしまう。
【0006】
また、特許文献1の音声通信システムでは、仮想会議室での各会議者の位置関係により放音特性が設定されるが、特定の話者の声が小さくて聴き取り難い場合等に、この特定話者に対する放音のみをフレキシブルに調整することができない。
【0007】
さらには、1つの音声通信装置に複数の会議者が在席していても、所定方向への放音制御を行うことができないので、全会議者に対して同じ音声しか提供することができない。
【0008】
したがって、この発明の目的は、会議者数に影響されにくい比較的簡素なシステム構成で、特定話者の声に対する放音音声を聞き手毎にフレキシブルに調整することができる音声通信システムおよびこの音声通信システムに用いる音声通信装置を提供することにある。
【課題を解決するための手段】
【0009】
(1)この発明の音声通信装置は、複数のスピーカが所定配列されたスピーカアレイと、放音特性の調整操作を受け付ける操作受付手段と、所定の複数方位のみに放音ビームを形成するとともに、操作受付手段で受け付けた放音特性に基づき指定された方位への放音ビームを調整するように、入力した音声通信信号を遅延・振幅処理して複数のスピーカに与える放音制御手段と、を備えたことを特徴とする。
【0010】
この構成では、放音制御手段は、入力した音声通信信号を遅延・振幅処理することで、スピーカアレイの各スピーカから放音される音声を設定する。この際、放音制御手段は、会議者がそれぞれ在席する位置等により設定される所定の複数方位のみに放音されるように音声通信信号の遅延・振幅処理を行い、当該複数方位のそれぞれに対して強い指向性を有するように各放音ビームを設定する。さらに、放音制御手段は、会議者から操作受付手段を介して放音特性を設定する操作を受け付けると、この受け付けた放音特性に基づいて該当会議者に対応する方位への放音ビームを調整する。これにより、各会議者に向けて放音するとともに、放音音声の特性を変えたい会議者に対しては、特性を変化させて放音することができる。
【0011】
(2)また、この発明の音声通信装置は、音量、音質、音声特徴量のいずれか、またはこれらの組み合わせにより、放音特性を設定することを特徴とする。
【0012】
この構成では、音量、音質、音声特徴量を適宜操作することにより、放音特性が変化し、会議者(聴者)に適する音声が提供される。
【0013】
(3)また、この発明の音声通信装置は、所定の複数方位に対して収音ビームを形成し、該収音ビーム強度を比較することで話者方位を同定し、当該話者方位とともに該話者方位の収音ビームに基づく音声通信信号を出力する収音手段を備えたことを特徴とする。
【0014】
この構成では、話者の音声をネットワークに出力する場合に、音声通信信号と話者方位とが関連付けされた状態で通信される。
【0015】
(4)また、この発明の音声通信システムは、前記音声通信装置を複数ネットワーク接続するとともに、当該ネットワークの通信を管理するネットワークサーバを備えたものであって、音声通信装置は受け付けた放音特性の調整内容を前記ネットワークサーバに与え、該ネットワークサーバは、各音声通信装置から受け付けた複数の調整内容が同一話者方位に対するものであり、同じ傾向であって、且つこれら調整内容の受付数が所定数以上であれば、当該話者方位に対する収音補正特性を設定して、該当する音声通信装置に与え、収音補正特性が与えられた音声通信装置は、該当方位からの音声通信信号を収音補正特性で補正して出力することを特徴とする。
【0016】
この構成では、複数の聴者が放音特性の調整を行うと、該当する複数の聴者が在席する位置に配置された各音声通信装置は放音特性の調整操作を受け付ける。各音声通信装置は、この放音特性の調整内容をネットワークサーバに送信し、ネットワークサーバはこれを受信する。ネットワークサーバは、受信した放音特性の調整内容を比較し、同じ傾向の内容(例えば、全てが音量等の増加を示すもの)の受付数が所定値以上であるかどうかを判定する。ここで、所定値とは、例えば、現在ネットワークに接続して会議(音声通信)を行っている会議者(話者)の過半数等で設定する。ネットワークサーバは、所定値以上であると判定すると、該当する話者方位に対して設定された調整内容群に基づく収音補正特性を、該当する音声通信装置に送信する。収音補正特性を受信した音声通信装置は、該当方位(話者方位)から得られる収音ビームが選択され音声通信信号に変換される際に、当該音声通信信号を収音補正特性で補正して、ネットワークに出力する。これにより、所定値以上の聴者が特定話者からの音声を調整する場合に、話者の収音時に一元して音声を調整することができる。
【0017】
(5)また、この発明の音声通信システムのネットワークサーバは、収音補正特性をネットワークに接続する全ての音声通信装置に与え、各音声通信装置の放音制御手段は、与えられた収音補正特性と受け付けた放音特性との差分に基づいて放音ビームを調整することを特徴とする。
【0018】
この構成では、前述のような収音時の補正を行うと、特定話者からの音声通信信号が収音補正特性で補正された状態で他の各音声通信装置に入力される。この際、各音声通信装置には、ネットワークサーバから同じ収音補正特性が与えられる。各音声通信装置は、この収音補正特性と、自装置に操作入力された放音特性の調整内容とを差分する。各音声通信装置は、放音特性の調整内容を指定した方位へ、差分結果に基づく放音ビームを形成する。これにより、放音特性を調整した聴者に対して、収音補正特性と放音特性の調整内容とが重畳した状態で放音ビームが形成されるのではなく、元々の放音特性の調整内容に基づく放音ビームが形成される。
【0019】
(6)また、この発明の音声通信システムの各音声通信装置の放音制御手段は、放音特性の調整操作が行われていない方位の放音ビームに対して、収音補正特性を打ち消す調整を行うことを特徴とする。
【0020】
この構成では、該当話者の在席する音声通信装置以外の各音声通信装置は、収音補正特性を取得すると、当該収音補正特性を打ち消す特性を生成する。各音声通信装置は、収音補正特性で補正された音声通信信号を入力すると、放音特性の調整操作を行っていない方位の放音ビームに対して収音補正特性を打ち消す特性に基づく調整を行う。これにより、調整操作を行っていない聴者に対して、収音補正特性による補正を行う以前の生の話者音声に基づく放音ビームが形成される。
【発明の効果】
【0021】
この発明によれば、話者(聴者)の1人1人に対して音声通信装置を配分することなく、1つの音声通信装置に対して複数の話者(聴者)を在席させても、聴者毎に好みの音声で、話者の発声音を放音することができる。
【0022】
また、この発明によれば、所定値以上の聴者が特定話者からの音声を調整する場合に、特定話者からの収音時に一元して音声を補正することで、全員に対して同時に音声を調整することができる。これは、例えば、聴き取りづらいけれど調整操作方法が分からない人がいたり、聴き取りづらいけれど敢えて調整を行わない人がいる場合に、これらの人々に対しても聴き取りやすい音声を提供することができる。
【0023】
また、この発明によれば、音声調整を行っていない聴者に対しては、特定話者の音声を元のままで放音することができる。これは、例えば、調整を行っていない人は特に問題なく聴き取れているとする場合に、音声調整を行いたい人には補正した音声を提供し、音声調整を行っていない人には元のままの音声を提供することができる。
【発明を実施するための最良の形態】
【0024】
以下の実施形態では、具体的な音声通信システムのシステム例として、音声会議システムについて、図を参照して説明する。
【0025】
図1は、本実施形態の音声会議システムの構成図である。
図2(A)は図1に示す音声会議システム中の地点aの構成を示す図であり、(B)は図2(A)に示すリモコン装置120(120A〜120G)の平面図である。
図3は本実施形態の音声会議装置111(111A〜111C)の両側面図と底面図とを示す。
図4は、図3に示す音声会議装置の主要構成を示すブロック図である。
図5は、放音時および収音時のメイン制御部10の処理を説明するための簡略図であり、音声会議装置111Aのメイン制御部10Aが放音制御を行い、音声会議装置111Bのメイン制御部10Bが収音制御を行っている場合を示す。
図6は本実施形態のネットワークサーバ101の主要構成を示すブロック図である。
【0026】
本実施形態の音声会議システムは、ネットワーク100に接続された音声会議装置111A〜111Cと、ネットワークサーバ101とを備える。
【0027】
音声会議装置111A〜111Cは、それぞれ離れた地点a〜cにそれぞれ配置されている。地点aには音声会議装置111Aが配置され、地点bには音声会議装置111Bが配置され、地点cには音声会議装置111Cが配置されている。
【0028】
地点aには、音声会議装置111Aが配置されており、該音声会議装置111Aを囲むように、会議者A〜Gの7人が、音声会議装置111Aに対してそれぞれ方位Dir11〜Dir16,Dir18で在席している。地点bには、音声会議装置111Bが配置されており、該音声会議装置111Bを囲むように、会議者H〜会議者Lの5人が、音声会議装置111Bに対して、それぞれ方位Dir21,Dir22,Dir24,Dir26,Dir28で在席している。地点cには、音声会議装置111Cが配置されており、該音声会議装置111Cを囲むように、会議者M,N,P,Qが音声会議装置111Cに対して、それぞれ方位Dir31,Dir34,Dir36,Dir38で在席している。
【0029】
ここで、各会議者は音声会議装置を囲んで在席するとともに、それぞれの手元に放音調整用のリモコン120を備えている。例えば、図2に示すように、地点aの場合、音声会議装置111Aを囲んで会議者A〜Gが在席し、各会議者A〜Gがそれぞれにリモコン10A〜120Gを持っている。
【0030】
リモコン120は、例えば、図2(B)に示すように、表示部121、選択ボタン122、実行ボタン123、調整キー124、リモコン信号送信部125を備える。表示部121には、現在設定されている「音量」、「音質」、「声質」が表示される。「音質」は、さらに、「HI(高音)」、「MID(中音)」、「LOW(低音)」に区別される。
【0031】
そして、会議者が、選択ボタン122で調整したい放音特性(「音量」、「音質」、「声質」)を選択し、調整キー124で所望量または所望声質に調整することができる。「音量」、「音質」は、例えば、「+1」や「−3」等の現在値に対する相対値で設定される。「声質」は、そのままを示すモードや、アナウンサ等の特定人のフォルマントを利用するモード等で設定される。そして、会議者が実行ボタン123で調整を確定すると、リモコン信号送信部125から赤外線等のリモコン通信信号が音声会議装置111のリモコン送受信部20に送信される。音声会議装置111A〜111Cは、このリモコン信号から、後述する「音声会議装置毎の個別処理」または「ネットワークサーバによる一括処理」のいずれかに基づいて、放音音声を会議者毎に設定する。
【0032】
図3に示すように、本実施形態の音声会議装置111は、機構的に、筐体112、脚部113、操作部114を備える。
筐体112は一方向に長尺な略直方体形状からなり、筐体112の長尺な辺(面)の両端部には、筐体112の下面を設置面から所定間隔離間する所定高さの脚部113が設置されている。なお、以下の説明では、筐体112の四側面のうち、長尺な面を長尺面、短尺な面を短尺面と称する。
【0033】
筐体112の上面における長尺な方向の一方端には、複数のボタンや表示画面からなる操作部114が設置されている。これら操作部114は筐体112内に設置されたメイン制御部10に接続し、会議者からの操作入力を受け付けて、メイン制御部10に出力するとともに、操作内容や実行モード等を表示画面に表示する。
【0034】
筐体112における操作部114が設置された側の短尺面には、図示しないが、ネットワーク接続端子等の各種入出力インターフェース端子が設置されている。
【0035】
筐体112の下面には、同形状からなるスピーカSP1〜SP16が設置されている。これらスピーカSP1〜SP16は長尺方向に沿って一定の間隔で直線状に設置されており、これによりスピーカアレイが構成される。筐体112の一方の長尺面には、同形状からなるマイクMIC101〜MIC116が設置されている。これらマイクMIC101〜MIC116は長尺方向に沿って一定の間隔で直線状に設置されており、これによりマイクアレイが構成される。また、筐体112の他方の長尺面にも、同形状からなるマイクMIC201〜MIC216が設置されている。これらマイクMIC201〜MIC216も長尺方向に沿って一定の間隔で直線状に設置されており、これによりマイクアレイが構成される。そして、筐体112の下面側には、これらスピーカアレイおよびマイクアレイを覆う形状で形成され、パンチメッシュされた下面グリル(図示せず)が設置されている。なお、本実施形態では、スピーカアレイのスピーカ数を16本とし、各マイクアレイのマイク数をそれぞれ16本としたが、これに限ることなく、仕様に応じてスピーカ数およびマイク数は適宜設定すればよい。
【0036】
音声会議装置111A〜111Cは、機能的には図4に示すように、メイン制御部10、通信制御部11、放音制御部12、D/Aコンバータ13、放音アンプ(AMP)14、収音アンプ(AMP)15、A/Dコンバータ16、収音制御部17、エコーキャンセル部18、音声信号補正部19、リモコン送受信部20、操作部114、スピーカSP1〜SP16、マイクMIC101〜MIC116、MIC201〜MIC216、を備える。
【0037】
メイン制御部10は、音声会議装置の全体制御を行うとともに、操作部114から入力される電源オン/オフ等の制御や、その他信号処理系の各種制御を行う。
【0038】
ここで、説明を分かりやすくするため、音声会議装置111Aで放音制御し、音声会議装置111Bで収音制御する場合を想定して説明する。図5において、放音側(放音時)の制御部10Aは、リモコン120からリモコン送受信部20Aを介して放音調整データDcdを受け付けると、当該放音調整データDcdを、通信制御部11A、ネットワーク100を介してネットワークサーバ101に送信する。
【0039】
これと同時に、収音側(収音時)のメイン制御部10Bは、収音制御部17Bから与えられた話者方位データDdwを、通信制御部11B、ネットワーク100を介してネットワークサーバ101に送信する。ネットワークサーバ101は、後述する方法に基づき収音補正が必要と判断すると音声会議装置111Bに対する収音補正データDsBを各音声会議装置111A,111Bに送信し、収音側のメイン制御部10Bと放音側のメイン制御部10Aとは、この収音補正データDsBを受け付ける。
【0040】
収音側のメイン制御部10Bは、収音補正データDsBが自装置に対するものであることを検出し、且つ現在の話者方位データDdwが収音補正対象であることを検出すると、収音ビーム信号を補正する収音制御データDr(=収音補正データDsB+話者方位データDdw)を音声信号補正部19Bに与える。音声信号補正部19Bは、収音ビーム信号を収音補正データDsBで補正した音声通信信号を出力する。
【0041】
一方、放音側のメイン制御部10Aは、収音補正データDsBが自装置に対するものでないことを検出し、且つ受信中の音声通信信号の話者方位データDdwが補正対象であることを検出すると、自装置で受け付けた放音調整データDcdから、他装置に対する収音補正データDsBを減算してなる放音制御データDcA(=Dcd−DsB)を生成して放音制御部12Aに与える。放音制御部12Aは与えられた放音制御データDcAに基づいて通信制御部11Aで受信した入力音声信号を放音制御する。
【0042】
また、放音側のメイン制御部10Aは、ネットワークサーバ101から収音補正データがDsBを受け付けていなければ、自装置で受け付けた放音調整データDcdのみにより設定される放音制御データDcA’(=Dcd)を生成して放音制御部12Aに与える。
【0043】
通信制御部11は、ネットワーク100に接続し、ネットワーク100を介して受信した他装置からの音声ファイルを、ネットワーク形式のデータから一般的な音声信号に変換して、エコーキャンセル部18を介して放音制御部12に出力する。ここで、通信制御部11は、受け付けた音声ファイルに対応する装置データおよび話者方位データから送信元の音声会議装置を同定して、それぞれの音声会議装置の音声信号ごとに出力する。例えば、本実施形態の音声会議装置111Aの場合、音声会議装置111Bからの音声信号S1と、音声会議装置111Cからの音声信号S2とを放音制御部12に出力する。
【0044】
また、通信制御部11は、リモコン120により入力された放音調整データがメイン制御部10から与えられると、当該放音調整データをネットワークサーバ101に送信する。
【0045】
また、通信制御部11は、音声信号補正部19からの音声通信信号に対して、メイン制御部10からの話者方位データと、装置の認識データとなる装置データとを添付して、ネットワーク通信形式に変換し、ネットワーク100に送信する。なお、装置データとは、ネットワーク100に接続する各音声会議装置に対して設定される個体識別IDのようなものであり、各音声会議装置がネットワーク100に接続した時点に自動的に割り当てられる。
【0046】
放音制御部12は、メイン制御部10からの放音制御データに基づいて、入力された音声信号S1または音声信号S2に対して遅延処理や振幅処理等を行って、音声会議装置の周りに在席する各会議者へ個別の特性で放音ビームを形成するように、各スピーカSP1〜SP16に対応する放音信号を生成する。
【0047】
各D/Aコンバータ13は、入力された放音信号をディジタル−アナログ変換して、各放音アンプ14に与え、各放音アンプ14はアナログ化された放音信号を増幅して、各スピーカSP1〜SP16に与える。各スピーカSP1〜SP16は、入力された電気的な音声信号を音声に変換して放音する。
【0048】
この際、前述の放音制御を行っていることで、各会議者へ同時に且つ個別に、自装置で受け付けた放音調整データや、他装置に対して設定された収音補正データに対応する放音音声を提供することができる。すなわち、各会議者に対して、それぞれに適切な音量、音質や声質で音声を放音することができる。
【0049】
マイクMIC101〜MIC116、MIC201〜MIC216は、自装置の周囲に在席する話者からの発声音を含む周囲の音を収音して電気的な収音信号に変換し、収音アンプ15に与える。収音アンプ15は収音信号を増幅してA/Dコンバータ16に与え、A/Dコンバータ16は、アナログ形式の収音信号をディジタル変換して、収音制御部17に出力する。
【0050】
収音制御部17は、各マイクMIC101〜MIC116,MIC201〜MIC216の収音信号に対して遅延処理等を行い、各会議者の方位を含む所定方位に強い指向性を有する収音ビーム信号を生成する。例えば、図1の音声会議装置111Aであれば、会議者Aの方位に対応する収音方位Dir11、会議者Bの方位に対応する収音方位Dir12、会議者Cの方位に対応する収音方位Dir13、会議者Dの方位に対応する収音方位Dir14、会議者Eの方位に対応する収音方位Dir15、会議者Fの方位に対応する収音方位Dir16、会議者Gの方位に対応する収音方位Dir18を含む、所定の収音方位Dir11〜Dir18のそれぞれに強い指向性を有する収音ビーム信号を生成する。収音制御部17は、生成した各方位の収音ビーム信号の振幅を比較し、最も振幅の大きい収音ビーム信号を選択して、エコーキャンセル部18に出力する。また、収音制御部17は、選択した収音ビーム信号に対応する収音方位Dirを抽出して、前記話者方位データとしてメイン制御部10に与える。
【0051】
エコーキャンセル部18は、二つのエコーキャンセラ181,182からなり、各エコーキャンセラ181,182はそれぞれ適応型フィルタとポストプロセッサとを備える。エコーキャンセラ181は、適応型フィルタで音声信号S1に基づく擬似回帰音信号を生成して、ポストプロセッサで収音制御部17から出力された収音ビーム信号から、音声信号S1の擬似回帰音信号を減算して、エコーキャンセラ182のポストプロセッサに出力する。エコーキャンセラ182は、適応型フィルタで音声信号S2に基づく擬似回帰音信号を生成して、エコーキャンセラ181のポストプロセッサで減算された収音ビーム信号から、音声信号S2の擬似回帰音信号を減算して、音声信号補正部19に出力する。これにより、スピーカSPからマイクMICへの回り込み音を抑圧する。
【0052】
音声信号補正部19は、メイン制御部10からの収音制御データに基づいて、指定された特定話者に対応するエコーキャンセル後の収音ビーム信号に、振幅処理、イコライジング、さらには必要に応じて声質変換処理等を行うことで音声通信信号を生成する。音声信号補正部19は、この音声通信信号を通信制御部11に出力する。なお、前述のように、ネットワークサーバ101から与えられる収音補正データが自装置を対象とするものではなく、ネットワーク100に接続する他装置を対象とするものであれば、メイン制御部10は収音制御データを生成せず、音声信号補正部19に与えない。したがって、音声信号補正部19は、入力された収音ビーム信号をそのまま音声通信信号として出力する。このような構成を用いることで、他の各音声会議装置で個別に放音調整せずに、収音側の音声会議装置で音声を補正して送信することができる。すなわち、収音側の音声会議装置で、他の各音声会議装置の会議者に対して一括して音の補正(調整)を行うことができる。
【0053】
ネットワークサーバ101は、ネットワーク制御部102と会議情報記憶部103とを備える。
【0054】
ネットワーク制御部102はネットワーク100全体の制御を行う。会議情報記憶部103は、現在会議に参加している会議者数、放音調整データに基づく調整内容DB、および、収音補正データの生成履歴である補正履歴等を記憶する。ネットワーク制御部102は、会議情報記憶部103に記憶された各情報に基づき、特定話者に対する放音調整の数が所定閾値以上であれば、収音補正データを生成して、各音声会議装置に送信する。この際、収音補正データには、収音補正対象となる音声会議装置を示す装置データと対象の話者方位データとが添付される。
【0055】
図7はネットワークサーバ101の収音補正設定フローを示すフローチャートである。
【0056】
ネットワーク制御部102は、ネットワーク100を介して各音声会議装置から放音調整データを順次受信する(S201)。また、同時に、ネットワーク制御部102は、それぞれの放音調整データに対応する話者方位データ(装置データを含む)を検出する(S202)。ここで、話者方位データとは、送信元の音声会議装置から送信される音声ファイルに添付された特定話者を指定する方位データであり、放音調整データを取得した時点で、ネットワーク100にて送受信される音声ファイルから取得する。
【0057】
ネットワーク制御部102は、各放音調整データを解析して、放音調整内容を取得して、話者方位データに関連付けして調整内容DBに記憶する(S203)。ここで、放音調整内容とは、発信元方位データ、音量設定量、高音(HI)音質設定量、中音(MID)音質設定量、低音(LOW)音質設定量、声質設定内容で表され、音量設定量と各音質設定量は、現在値に対する大小により設定される。なお、発信元方位データとは、放音調整データが発信された聴者の方位を特定する方位データであり、各音声会議装置からの放音調整データに関連付けして送信されるものである。
【0058】
ネットワーク制御部102は、話者方位データ毎に発信元方位データ数をカウントして、同じ話者方位データに対する発信元方位データが所定閾値以上であることを検出すると(S204)、該当する話者方位データに対応する方位からの音声を収音時に補正する収音補正データを生成する(S205)。この収音補正データは、装置データを含む補正対象方位データ、「音量」、「音質」、「声質」を備え、「音量」と「音質」とは、放音調整データと同様に現在値に対する相対値で設定される。なお、本説明では特定の話者方位データに対する発信元方位データ数が所定閾値以上になる場合に収音補正データを生成する例を示したが、予め記憶している会議者数に基づき、発信元方位データ数が会議者数の過半数に達した場合に収音補正データを生成するようにしてもよい。なお、ネットワーク制御部102は、収音補正データを生成すると、会議情報記憶部103に記録する。
【0059】
ネットワーク制御部102は、ネットワーク100を介して、収音補正データを各音声会議装置111A〜111Cに送信する(S206)。
【0060】
次に、音声会議装置における放音調整および収音補正のより具体的な方法について図を参照して説明する。
図8は音声会議装置の放収音処理を示すフローチャートである。
各音声会議装置111は、通信制御部11での音声ファイルの受信状況、および、収音制御部17での収音状況に基づいて、自装置が収音状態、放音状態、待受状態のいずれの状態であるかを判断する(S1)。ここで、放音状態であれば以下に示す放音処理を行い、収音状態であれば以下に示す収音処理を行い、待受状態であれば放音状態または収音状態になるまで状態検出を繰り返す。
【0061】
このような放音、収音、待受処理の状態で、ネットワークサーバ101から収音補正データを受信したり、会議者(リモコン)から放音制御の操作入力が行われると、音声会議装置は、図9に示す割込処理を実行する。
図9は音声会議装置の放音調整変更、収音補正変更の割込処理を示すフローチャートである。
音声会議装置111は、電源ON状態であれば、放音、収音、待受のいずれの状態であっても、随時ネットワークサーバ101およびリモコン120からの割り込み処理を受け付けられる状態で動作する。そして、音声会議装置111は割込を検出すると(S101)、当該割込処理の種別を判別する(S102)。
【0062】
具体的には、リモコン120からのリモコン通信信号を検出すると、音声会議装置111はユーザ割込であることを検出する。そして、音声会議装置111は、リモコン120により設定された放音調整内容を受け付ける(S103)。この際、音声会議装置111は、装置周囲に配置されたいずれのリモコン120からのリモコン通信信号であるかを同時に検出する。
【0063】
音声会議装置111は、放音を行う各方位(会議者方位)に対してそれぞれ放音調整フラグを備えている。音声会議装置111は、送信元のリモコン120に対応する方位に対して、放音調整フラグをON状態にする(S104)。
【0064】
そして、音声会議装置111は、受け付けた放音調整内容から放音調整データを生成して記憶し(S105)、放音調整データと発信元の方位データとを関連付けして、通信制御部11を介してネットワークサーバ101に送信する(S106)。
【0065】
一方、通信制御部11にてネットワークサーバ101からの収音補正データを検出すると、音声会議装置111はサーバ割込であることを検出し、受信した収音補正データを受け付ける(S107)。音声会議装置111は、収音補正データを解析して、装置データから自装置を対象とする収音補正データであるかどうかを検出する(S108)。
【0066】
音声会議装置111は、自装置を対象とする収音補正データであれば、収音補正データから話者方位データを取得する。音声会議装置111は、各方位に対してそれぞれ収音補正フラグを備えており、取得した話者方位データに対応する方位に対して収音補正フラグをON状態にする(S109)。そして、音声会議装置111は収音補正データを記憶する(S110)。
【0067】
このように、音声会議装置111は、放音時には放音調整内容に基づいて放音調整フラグを設定し、収音時には自装置が補正対象であれば収音補正フラグを設定する。
【0068】
図8に示すフローに戻り、自装置が放音状態であることを検出すると、音声会議装置111のメイン制御部10は、ネットワークサーバ101から収音補正データを取得しているかどうかを検出する(S2)。メイン制御部10は、収音補正データを取得して記憶していれば、放音を行う各方位に対して放音調整データを受け付けているかどうかを検出する(S4)。メイン制御部10は、放音調整データを受け付けていなければ、すなわち全ての方位に対して放音調整フラグがOFF状態であることを確認すれば、収音補正データに基づいて、放音をする全方位に対して同等の放音調整量からなる放音制御データを生成し、放音制御部12に与える(S6)。
【0069】
また、メイン制御部10は、放音調整データを受け付けていれば、収音補正データによる放音調整量を基準量として、該基準量から放音調整データに基づく放音調整量を差分した差分量を、放音調整フラグがON状態にある方位毎に設定することで放音制御データを生成し、放音制御部12に与える(S7)。すなわち、放音調整データを受け付けた方位(放音調整フラグがON状態の方位)には、差分量に基づく放音調整を行い、放音調整データを受け付けていない方位(放音調整フラグがOFF状態の方位)には、収音補正データに基づく放音調整を行う放音制御データを与える。
【0070】
また、メイン制御部10は、収音補正データがない場合にも、放音を行う各方位に対して放音調整データを受け付けているかどうかを検出する(S5)。メイン制御部10は、放音調整データを受け付けていなければ、すなわち、全方位に対して放音調整フラグがOFF状態であれば、全方位に対して受信した音声通信信号をそのまま放音する放音制御データを生成し、放音制御部12に与える。なお、この場合、特に放音制御データを与えなくても良い。
【0071】
また、メイン制御部10は、収音補正データが無い場合で、放音調整データを受け付けている場合には、放音調整フラグがON状態である各方位の放音調整量を設定した放音制御データを生成して、放音制御部12に与える(S8)。すなわち、放音調整データを受け付けた方位(放音調整フラグがON状態の方位)には、放音調整データに基づく放音調整を行い、放音調整データを受け付けていない方位(放音調整フラグがOFF状態の方位)には、そのまま放音する放音制御データを与える。
【0072】
放音制御部12は、与えられた放音制御データに基づいて、各方位へ所望の放音ビームが形成されるように、各スピーカSP1〜SP16に与える放音信号を生成して出力する。
【0073】
一方、自装置が収音状態であることを検出すると、音声会議装置111のメイン制御部10は、ネットワークサーバ101から収音補正データを取得しているかどうかを検出する(S3)。収音補正データを受け付けており、自装置に対する収音補正データであることを検出すると、すなわちいずれかの方位に対して収音補正フラグがON状態であることを検出すると、メイン制御部10は、収音補正データに基づく収音制御データを音声信号補正部19に与える(S9)。
【0074】
また、音声会議装置111のメイン制御部10は収音補正データを取得していなければ、音声信号補正部19に対して特に制御を行わない。
【0075】
音声信号補正部19は、収音制御データが与えられていれば、メイン制御部10から与えられる話者方位データと収音制御データとに基づいて、収音補正フラグがON状態である方位からの収音ビーム信号を補正して、音声通信信号を生成する。通信制御部11は、この音声通信信号に話者方位データおよび装置データを添付してネットワーク100に送信する(S10)。
【0076】
次に、このような構成を用いた場合の実際の放収音の状況を、図1,図10〜図13を参照して説明する。
なお、以下の説明では、地点bの会議者Jの声が聴き取り難い状況を例に示したものである。
【0077】
(1)放音調整個別対応
図10は放音調整個別対応の場合の放収音状況を示した図である。
図10に示すように、地点bの会議者Jが発言中に、地点aの会議者Aと会議者Gとがリモコン120を操作して放音調整を行った場合、地点aの音声会議装置111Aは、各リモコン120で操作された放音調整内容を取得する。この場合、会議者Aに対して、音量を「+7」に、音質HIを「+5」に、音質LOWを「−2」にする放音調整内容と、会議者Gに対して、音量を「+5」に、音質HIを「+4」にする放音調整内容とを取得する。音声会議装置111Aは、これら放音調整内容を放音調整データとして、ネットワークサーバ101に送信するとともに、会議者A,Gのそれぞれに該当する方位Dir11,Dir18に対して放音調整フラグをONに設定する。そして、音声会議装置111Aは、受信した音声通信信号から話者データを取得して、会議者Jの声であることを検出すると、方位Dir11,Dir18への放音音声を、それぞれの放音調整内容に従って調整して放音する。これにより、会議者A,Gには、会議者Jの声が、指定した放音調整内容に従って調整された状態で聴ける。すなわち、会議者Aには、音量が「7」大きく、高音が「5」大きく、低音が「2」小さくなった会議者Jの声が聞こえ、会議者Gには、音量が「5」大きく、高音が「4」大きくなった会議者Jの声が聞こえ、他の会議者(地点aの会議者B〜会議者F、地点cの会議者M〜会議者Q)には、会議者Jの声が調整されることなく、そのまま聞こえる。
【0078】
この場合、放音調整を行った会議者が、全体の会議者に対して少数派であるので、ネットワークサーバ101は、会議者Jの音声を収音時に一括して補正する制御を行わない。
【0079】
このように、特定会議者(話者)に対して放音調整を行う会議者(聴者)数が極少ない場合には、それぞれの聴者がいる音声会議装置で聴者毎に放音調整を行う。これにより、放音調整したい聴者にのみ調整内容に応じた放音を行うことができる。
【0080】
(2)収音補正一括対応
図11、図12は、収音補正一括対応の場合の放収音状況を示した図であり、図11が一括補正前、図12が一括補正後の状況を示す。
【0081】
図11に示すように、地点bの会議者Jが発言中に、地点aの会議者Aと会議者Gとがリモコン120を操作して放音調整を行った場合、地点aの音声会議装置111Aは、各リモコン120で操作された放音調整内容を取得する。この場合、会議者Aに対して、音量を「+7」に、音質HIを「+5」に、音質LOWを「−2」にする放音調整内容を取得し、会議者Gに対して、音量を「+5」に、音質HIを「+4」にする放音調整内容を取得する。音声会議装置111Aは、これら放音調整内容を放音調整データとして、ネットワークサーバ101に送信するとともに、会議者A,Gのそれぞれに該当する方位Dir11,Dir18に対して放音調整フラグをONに設定する。
【0082】
同様に、地点cの会議者Mと会議者Nと会議者Qとがリモコン120を操作して放音調整を行った場合、地点cの音声会議装置111Cは、各リモコン120で操作された放音調整内容を取得する。この場合、会議者Mに対して、音量を「+3」に、音質HIを「+2」にする放音調整内容を取得し、会議者Nに対して、音量を「+4」に、音質HIを「+2」に、音質LOWを「−1」にする放音調整内容を取得し、会議者Qに対して、音量を「+2」に、音質HIを「+1」にする放音調整内容を取得する。音声会議装置111Cは、これら放音調整内容を放音調整データとして、ネットワークサーバ101に送信するとともに、会議者M,N,Qにそれぞれ該当する方位Dir31,Dir34,Dir38に対して放音調整フラグをONに設定する。そして、音声会議装置111A,111Cは、受信した音声通信信号から話者データを取得して、会議者Jの声であることを検出すると、方位Dir11,Dir18,Dir31,Dir34,Dir38への放音音声を、それぞれの放音調整内容に従って調整して放音する。これにより、会議者A,G,M,N,Qには、会議者Jの声が、指定した放音調整内容に従って調整された状態で聴ける。すなわち、会議者Aには、音量が「7」大きく、高音が「5」大きく、低音が「2」小さくなった会議者Jの声が聞こえ、会議者Gには、音量が「5」大きく、高音が「4」大きくなった会議者Jの声が聞こえる。また、会議者Mには、音量が「3」大きく、高音が「2」大きくなった会議者Jの声が聞こえ、会議者Nには、音量が「4」大きく、高音が「2」大きく、低音が「1」小さくなった会議者Jの声が聞こえ、会議者Mには、音量が「2」大きく、高音が「1」大きくなった会議者Jの声が聞こえる。
【0083】
ネットワークサーバ101は、会議者Jに対する放音調整データの数が、会議者数の過半数を超えたことを検出すると、これら放音調整データの各調整量を取得し、平均値処理する。図11の例であれば、音量が「+4」、音質HIが「+3」、音質LOWが「−1」と算出される。ネットワークサーバ101は、このように算出した各調整量を用いて収音補正データを生成し、補正対象となる話者データ(方位データ)を添付して各音声会議装置111A〜111Cに与える。
【0084】
補正対象の会議者Jが在席する音声会議装置111Bは、受信した収音補正データに基づいて、会議者Jから収音した収音ビーム信号を補正して、ネットワーク100に送信する。この例では、会議者Jの収音ビーム信号の音量を「+4」とし、音質HIを「+3」とし、音質LOWを「−1」と補正して送信する。
【0085】
このままでは、音声会議装置111A,111Cで放音調整済みの方位では、放音調整内容と補正内容とが加算された状態で放音されるので、必要以上に大きな音となってしまう。
【0086】
そこで、音声会議装置111Aは、受信した収音補正データの各調整量と予め設定記憶した放音調整データの各調整量とを差分し、この差分値により設定される調整量から放音調整を行う。具体的には、会議者Aには、音量「7−4」=「+3」、音質HI「5−3」=「+2」、音質LOW「−2−(−1)」=「−1」に調整量を変更する。会議者Gには、音量「5−4」=「+1」、音質HI「4−3」=「+1」、音質LOW「0−(−1)」=「+1」に調整量を変更する。そして、この変更された調整量に基づいて、補正された状態(音量「+4」、音質HI「+3」、音質LOW「−1」)の音声通信信号を放音調整する。これにより、会議者A,Gは、自身が調整した内容に応じた会議者Jの声を聞ける。
【0087】
また、音声会議装置111Cは、音声会議装置111Aと同様に、差分値により設定される調整量から放音調整を行う。具体的には、会議者Mには、音量「3−4」=「−1」、音質HI「2−3」=「−1」、音質LOW「0−(−1)」=「+1」に調整量を変更する。会議者Nには、音量「4−4」=「0」、音質HI「2−3」=「−1」、音質LOW「−1−(−1)」=「0」に調整量を変更する。会議者Qには、音量「2−4」=「−2」、音質HI「1−3」=「−2」、音質LOW「0−(−1)」=「+1」に調整量を変更する。そして、この変更された調整量に基づいて、補正された状態(音量「+4」、音質HI「+3」、音質LOW「−1」)の音声通信信号を放音調整する。これにより、会議者M,N,Qも、自身が調整した内容に応じた会議者Jの声を聞ける。
【0088】
また、他の会議者(地点aの会議者B〜会議者F、地点cの会議者P)には、会議者Jの声が、収音側で補正された状態で聞こえる。
【0089】
これにより、放音調整した各会議者(聴者)には、会議者(聴者)が設定した音で話者の音声を聞かせることができ、放音調整していない会議者(聴者)に対しても補正された聴き取り易いであろう音で話者の音声を聞かせることができる。
【0090】
なお、放音調整を行っていない会議者は、会議者Jの声を聴き取りにくいとは感じていない場合もある。
【0091】
この場合、図13に示すように、放音調整していない会議者に対して逆補正をかけるようにしてもよい。
【0092】
図13は、図11、図12と同様な場合で且つ逆補正を行う場合の放収音状況を示した図である。
放音調整した会議者に対する放音調整の方法は、図12の場合と同じであるので説明は省略する。
【0093】
音声通信信号を受信する側の音声会議装置111A,111Cは、ネットワークサーバ101から収音補正データを取得すると、当該収音補正データの各調整量を逆補正する逆補正用放音調整データを生成する。図13の例であれば、補正調整量である音量「+4」、音質HI「+3」、音質LOW「−1」に対して、逆補正調整量として、音量「−4」、音質HI「−3」、音質LOW「+1」を設定する。
【0094】
音声会議装置111Aは、図12の場合と異なり、全ての会議者A〜Gに対応する方位Dir11〜Dir16,Dir18に対して放音調整フラグをONにし、放音調整が指定されていない会議者B〜Fに対しては、逆補正用放音調整データを適用する。これにより、会議者B〜Fには、補正される前の生の会議者Jの音声を聞かせることができる。同様に、音声会議装置111Cも、放音調整が指定されていない会議者Pに対しては、逆補正用放音調整データを適用する。これにより、会議者Pにも、補正される前の生の会議者Jの音声を聞かせることができる。
【0095】
これにより、放音調整を行っていない人は、会議者Jの声が聴き取り難い訳ではないという判断があるものとして、そのままの音声を放音することができる。
【0096】
なお、このような調整不必要の場合、リモコン120の調整不必要のボタンやコマンドを予め設けておけば、調整不必要かどうかをより明確に判断することができる。
【0097】
以上のように、本実施形態の構成および処理を用いることにより、遠隔地間で会議を行うような場合に、比較的簡素なシステムで、特定話者の声を聴者毎に違う音量、音質で聞かせることができる。
【0098】
なお、前述の説明では、声質に関する調整・補正の例を示さなかったが、予め聴き取りやすい声質を記憶しておき、適宜声質を選択することで、選択した声質で話者の音声を放音することもできる。例えば、テレビアナウンサーのフォルマント情報を記憶しておき、この声質が選択されれば、特定話者の音声をフォルマント変換して放音すればよい。
【0099】
また、前述の説明において、ネットワークサーバ101は、収音補正データや放音調整データを対応する話者方位データとともに、会議情報記憶部103に記憶しておいても良い。そして、次回以降、同じメンバで会議が行われる場合に、ネットワークサーバ101は、この話者方位データと収音補正データ、放音調整データを読み出して、音声会議装置111A〜111Cに送信する。各音声会議装置111A〜111Cは、取得した収音補正データ、放音調整データに基づいて、収音、放音する。これにより、次回以降は、会議の最初から、各会議者が自分の好みの音声で話者の発言を聞くことができる。
【図面の簡単な説明】
【0100】
【図1】本発明の実施形態の音声会議システムの構成図である。
【図2】図1に示す音声会議システム中の地点aの構成を示す図およびリモコン装置120(120A〜120G)の平面図である。
【図3】本発明の実施形態の音声会議装置111(111A〜111C)の両側面図と底面図である。
【図4】図3に示す音声会議装置の主要構成を示すブロック図である。
【図5】放音時および収音時のメイン制御部10の処理を説明するための簡略図である。
【図6】本発明の実施形態のネットワークサーバ101の主要構成を示すブロック図である
【図7】ネットワークサーバの収音補正設定フローを示すフローチャートである。
【図8】音声会議装置の放収音処理を示すフローチャートである。
【図9】音声会議装置の放音調整変更、収音補正変更の割込処理を示すフローチャートである。
【図10】放音調整個別対応の場合の放収音状況を示した図である。
【図11】収音補正一括対応の場合の一括補正前の放収音状況を示した図である。
【図12】収音補正一括対応の場合の一括補正後の放収音状況を示した図である。
【図13】図11、図12と同様な場合で且つ逆補正を行う場合の放収音状況を示した図である。
【符号の説明】
【0101】
100−ネットワーク、101−ネットワークサーバ、102−ネットワーク制御部、103−会議情報記憶部、111(111A〜111C)−音声会議装置、120−リモコン、112−音声会議装置の筐体、113−音声会議装置の脚部、114−操作部、10−メイン制御部、11−通信制御部、12−放音制御部、13−D/Aコンバータ、14−放音アンプ、15−収音アンプ、16−A/Dコンバータ、17−収音制御部、18−エコーキャンセル部、19−音声信号補正部、20−リモコン送受信部
【技術分野】
【0001】
この発明は、ネットワークを介して相互に音声信号を通信することで遠隔地会議等を行う音声通信システムおよびこの音声通信システムで用いる音声通信装置に関するものである。
【背景技術】
【0002】
複数の地点をネットワークで接続して音声会議やチャットを行う音声通信システムが各種考案されている。
【0003】
例えば、特許文献1では、それぞれの会議者が音声通信装置に相当するパソコンを個別にネットワークへ接続し、仮想会議室で互いに会議をするシステムが開示されている。
【0004】
そして、特許文献1では、それぞれの会議者が個別に音声通信装置を操作して、受信音声信号の音質、音量、音響を調整して放音することで、各話者単位で臨場感の有る会議を行えるものである。
【特許文献1】特開平8−125761号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の音声通信システムでは、会議者毎に音声通信装置を設置しなければならず、会議規模が大きくなると音声通信システムの規模が大幅に大きくなってしまう。
【0006】
また、特許文献1の音声通信システムでは、仮想会議室での各会議者の位置関係により放音特性が設定されるが、特定の話者の声が小さくて聴き取り難い場合等に、この特定話者に対する放音のみをフレキシブルに調整することができない。
【0007】
さらには、1つの音声通信装置に複数の会議者が在席していても、所定方向への放音制御を行うことができないので、全会議者に対して同じ音声しか提供することができない。
【0008】
したがって、この発明の目的は、会議者数に影響されにくい比較的簡素なシステム構成で、特定話者の声に対する放音音声を聞き手毎にフレキシブルに調整することができる音声通信システムおよびこの音声通信システムに用いる音声通信装置を提供することにある。
【課題を解決するための手段】
【0009】
(1)この発明の音声通信装置は、複数のスピーカが所定配列されたスピーカアレイと、放音特性の調整操作を受け付ける操作受付手段と、所定の複数方位のみに放音ビームを形成するとともに、操作受付手段で受け付けた放音特性に基づき指定された方位への放音ビームを調整するように、入力した音声通信信号を遅延・振幅処理して複数のスピーカに与える放音制御手段と、を備えたことを特徴とする。
【0010】
この構成では、放音制御手段は、入力した音声通信信号を遅延・振幅処理することで、スピーカアレイの各スピーカから放音される音声を設定する。この際、放音制御手段は、会議者がそれぞれ在席する位置等により設定される所定の複数方位のみに放音されるように音声通信信号の遅延・振幅処理を行い、当該複数方位のそれぞれに対して強い指向性を有するように各放音ビームを設定する。さらに、放音制御手段は、会議者から操作受付手段を介して放音特性を設定する操作を受け付けると、この受け付けた放音特性に基づいて該当会議者に対応する方位への放音ビームを調整する。これにより、各会議者に向けて放音するとともに、放音音声の特性を変えたい会議者に対しては、特性を変化させて放音することができる。
【0011】
(2)また、この発明の音声通信装置は、音量、音質、音声特徴量のいずれか、またはこれらの組み合わせにより、放音特性を設定することを特徴とする。
【0012】
この構成では、音量、音質、音声特徴量を適宜操作することにより、放音特性が変化し、会議者(聴者)に適する音声が提供される。
【0013】
(3)また、この発明の音声通信装置は、所定の複数方位に対して収音ビームを形成し、該収音ビーム強度を比較することで話者方位を同定し、当該話者方位とともに該話者方位の収音ビームに基づく音声通信信号を出力する収音手段を備えたことを特徴とする。
【0014】
この構成では、話者の音声をネットワークに出力する場合に、音声通信信号と話者方位とが関連付けされた状態で通信される。
【0015】
(4)また、この発明の音声通信システムは、前記音声通信装置を複数ネットワーク接続するとともに、当該ネットワークの通信を管理するネットワークサーバを備えたものであって、音声通信装置は受け付けた放音特性の調整内容を前記ネットワークサーバに与え、該ネットワークサーバは、各音声通信装置から受け付けた複数の調整内容が同一話者方位に対するものであり、同じ傾向であって、且つこれら調整内容の受付数が所定数以上であれば、当該話者方位に対する収音補正特性を設定して、該当する音声通信装置に与え、収音補正特性が与えられた音声通信装置は、該当方位からの音声通信信号を収音補正特性で補正して出力することを特徴とする。
【0016】
この構成では、複数の聴者が放音特性の調整を行うと、該当する複数の聴者が在席する位置に配置された各音声通信装置は放音特性の調整操作を受け付ける。各音声通信装置は、この放音特性の調整内容をネットワークサーバに送信し、ネットワークサーバはこれを受信する。ネットワークサーバは、受信した放音特性の調整内容を比較し、同じ傾向の内容(例えば、全てが音量等の増加を示すもの)の受付数が所定値以上であるかどうかを判定する。ここで、所定値とは、例えば、現在ネットワークに接続して会議(音声通信)を行っている会議者(話者)の過半数等で設定する。ネットワークサーバは、所定値以上であると判定すると、該当する話者方位に対して設定された調整内容群に基づく収音補正特性を、該当する音声通信装置に送信する。収音補正特性を受信した音声通信装置は、該当方位(話者方位)から得られる収音ビームが選択され音声通信信号に変換される際に、当該音声通信信号を収音補正特性で補正して、ネットワークに出力する。これにより、所定値以上の聴者が特定話者からの音声を調整する場合に、話者の収音時に一元して音声を調整することができる。
【0017】
(5)また、この発明の音声通信システムのネットワークサーバは、収音補正特性をネットワークに接続する全ての音声通信装置に与え、各音声通信装置の放音制御手段は、与えられた収音補正特性と受け付けた放音特性との差分に基づいて放音ビームを調整することを特徴とする。
【0018】
この構成では、前述のような収音時の補正を行うと、特定話者からの音声通信信号が収音補正特性で補正された状態で他の各音声通信装置に入力される。この際、各音声通信装置には、ネットワークサーバから同じ収音補正特性が与えられる。各音声通信装置は、この収音補正特性と、自装置に操作入力された放音特性の調整内容とを差分する。各音声通信装置は、放音特性の調整内容を指定した方位へ、差分結果に基づく放音ビームを形成する。これにより、放音特性を調整した聴者に対して、収音補正特性と放音特性の調整内容とが重畳した状態で放音ビームが形成されるのではなく、元々の放音特性の調整内容に基づく放音ビームが形成される。
【0019】
(6)また、この発明の音声通信システムの各音声通信装置の放音制御手段は、放音特性の調整操作が行われていない方位の放音ビームに対して、収音補正特性を打ち消す調整を行うことを特徴とする。
【0020】
この構成では、該当話者の在席する音声通信装置以外の各音声通信装置は、収音補正特性を取得すると、当該収音補正特性を打ち消す特性を生成する。各音声通信装置は、収音補正特性で補正された音声通信信号を入力すると、放音特性の調整操作を行っていない方位の放音ビームに対して収音補正特性を打ち消す特性に基づく調整を行う。これにより、調整操作を行っていない聴者に対して、収音補正特性による補正を行う以前の生の話者音声に基づく放音ビームが形成される。
【発明の効果】
【0021】
この発明によれば、話者(聴者)の1人1人に対して音声通信装置を配分することなく、1つの音声通信装置に対して複数の話者(聴者)を在席させても、聴者毎に好みの音声で、話者の発声音を放音することができる。
【0022】
また、この発明によれば、所定値以上の聴者が特定話者からの音声を調整する場合に、特定話者からの収音時に一元して音声を補正することで、全員に対して同時に音声を調整することができる。これは、例えば、聴き取りづらいけれど調整操作方法が分からない人がいたり、聴き取りづらいけれど敢えて調整を行わない人がいる場合に、これらの人々に対しても聴き取りやすい音声を提供することができる。
【0023】
また、この発明によれば、音声調整を行っていない聴者に対しては、特定話者の音声を元のままで放音することができる。これは、例えば、調整を行っていない人は特に問題なく聴き取れているとする場合に、音声調整を行いたい人には補正した音声を提供し、音声調整を行っていない人には元のままの音声を提供することができる。
【発明を実施するための最良の形態】
【0024】
以下の実施形態では、具体的な音声通信システムのシステム例として、音声会議システムについて、図を参照して説明する。
【0025】
図1は、本実施形態の音声会議システムの構成図である。
図2(A)は図1に示す音声会議システム中の地点aの構成を示す図であり、(B)は図2(A)に示すリモコン装置120(120A〜120G)の平面図である。
図3は本実施形態の音声会議装置111(111A〜111C)の両側面図と底面図とを示す。
図4は、図3に示す音声会議装置の主要構成を示すブロック図である。
図5は、放音時および収音時のメイン制御部10の処理を説明するための簡略図であり、音声会議装置111Aのメイン制御部10Aが放音制御を行い、音声会議装置111Bのメイン制御部10Bが収音制御を行っている場合を示す。
図6は本実施形態のネットワークサーバ101の主要構成を示すブロック図である。
【0026】
本実施形態の音声会議システムは、ネットワーク100に接続された音声会議装置111A〜111Cと、ネットワークサーバ101とを備える。
【0027】
音声会議装置111A〜111Cは、それぞれ離れた地点a〜cにそれぞれ配置されている。地点aには音声会議装置111Aが配置され、地点bには音声会議装置111Bが配置され、地点cには音声会議装置111Cが配置されている。
【0028】
地点aには、音声会議装置111Aが配置されており、該音声会議装置111Aを囲むように、会議者A〜Gの7人が、音声会議装置111Aに対してそれぞれ方位Dir11〜Dir16,Dir18で在席している。地点bには、音声会議装置111Bが配置されており、該音声会議装置111Bを囲むように、会議者H〜会議者Lの5人が、音声会議装置111Bに対して、それぞれ方位Dir21,Dir22,Dir24,Dir26,Dir28で在席している。地点cには、音声会議装置111Cが配置されており、該音声会議装置111Cを囲むように、会議者M,N,P,Qが音声会議装置111Cに対して、それぞれ方位Dir31,Dir34,Dir36,Dir38で在席している。
【0029】
ここで、各会議者は音声会議装置を囲んで在席するとともに、それぞれの手元に放音調整用のリモコン120を備えている。例えば、図2に示すように、地点aの場合、音声会議装置111Aを囲んで会議者A〜Gが在席し、各会議者A〜Gがそれぞれにリモコン10A〜120Gを持っている。
【0030】
リモコン120は、例えば、図2(B)に示すように、表示部121、選択ボタン122、実行ボタン123、調整キー124、リモコン信号送信部125を備える。表示部121には、現在設定されている「音量」、「音質」、「声質」が表示される。「音質」は、さらに、「HI(高音)」、「MID(中音)」、「LOW(低音)」に区別される。
【0031】
そして、会議者が、選択ボタン122で調整したい放音特性(「音量」、「音質」、「声質」)を選択し、調整キー124で所望量または所望声質に調整することができる。「音量」、「音質」は、例えば、「+1」や「−3」等の現在値に対する相対値で設定される。「声質」は、そのままを示すモードや、アナウンサ等の特定人のフォルマントを利用するモード等で設定される。そして、会議者が実行ボタン123で調整を確定すると、リモコン信号送信部125から赤外線等のリモコン通信信号が音声会議装置111のリモコン送受信部20に送信される。音声会議装置111A〜111Cは、このリモコン信号から、後述する「音声会議装置毎の個別処理」または「ネットワークサーバによる一括処理」のいずれかに基づいて、放音音声を会議者毎に設定する。
【0032】
図3に示すように、本実施形態の音声会議装置111は、機構的に、筐体112、脚部113、操作部114を備える。
筐体112は一方向に長尺な略直方体形状からなり、筐体112の長尺な辺(面)の両端部には、筐体112の下面を設置面から所定間隔離間する所定高さの脚部113が設置されている。なお、以下の説明では、筐体112の四側面のうち、長尺な面を長尺面、短尺な面を短尺面と称する。
【0033】
筐体112の上面における長尺な方向の一方端には、複数のボタンや表示画面からなる操作部114が設置されている。これら操作部114は筐体112内に設置されたメイン制御部10に接続し、会議者からの操作入力を受け付けて、メイン制御部10に出力するとともに、操作内容や実行モード等を表示画面に表示する。
【0034】
筐体112における操作部114が設置された側の短尺面には、図示しないが、ネットワーク接続端子等の各種入出力インターフェース端子が設置されている。
【0035】
筐体112の下面には、同形状からなるスピーカSP1〜SP16が設置されている。これらスピーカSP1〜SP16は長尺方向に沿って一定の間隔で直線状に設置されており、これによりスピーカアレイが構成される。筐体112の一方の長尺面には、同形状からなるマイクMIC101〜MIC116が設置されている。これらマイクMIC101〜MIC116は長尺方向に沿って一定の間隔で直線状に設置されており、これによりマイクアレイが構成される。また、筐体112の他方の長尺面にも、同形状からなるマイクMIC201〜MIC216が設置されている。これらマイクMIC201〜MIC216も長尺方向に沿って一定の間隔で直線状に設置されており、これによりマイクアレイが構成される。そして、筐体112の下面側には、これらスピーカアレイおよびマイクアレイを覆う形状で形成され、パンチメッシュされた下面グリル(図示せず)が設置されている。なお、本実施形態では、スピーカアレイのスピーカ数を16本とし、各マイクアレイのマイク数をそれぞれ16本としたが、これに限ることなく、仕様に応じてスピーカ数およびマイク数は適宜設定すればよい。
【0036】
音声会議装置111A〜111Cは、機能的には図4に示すように、メイン制御部10、通信制御部11、放音制御部12、D/Aコンバータ13、放音アンプ(AMP)14、収音アンプ(AMP)15、A/Dコンバータ16、収音制御部17、エコーキャンセル部18、音声信号補正部19、リモコン送受信部20、操作部114、スピーカSP1〜SP16、マイクMIC101〜MIC116、MIC201〜MIC216、を備える。
【0037】
メイン制御部10は、音声会議装置の全体制御を行うとともに、操作部114から入力される電源オン/オフ等の制御や、その他信号処理系の各種制御を行う。
【0038】
ここで、説明を分かりやすくするため、音声会議装置111Aで放音制御し、音声会議装置111Bで収音制御する場合を想定して説明する。図5において、放音側(放音時)の制御部10Aは、リモコン120からリモコン送受信部20Aを介して放音調整データDcdを受け付けると、当該放音調整データDcdを、通信制御部11A、ネットワーク100を介してネットワークサーバ101に送信する。
【0039】
これと同時に、収音側(収音時)のメイン制御部10Bは、収音制御部17Bから与えられた話者方位データDdwを、通信制御部11B、ネットワーク100を介してネットワークサーバ101に送信する。ネットワークサーバ101は、後述する方法に基づき収音補正が必要と判断すると音声会議装置111Bに対する収音補正データDsBを各音声会議装置111A,111Bに送信し、収音側のメイン制御部10Bと放音側のメイン制御部10Aとは、この収音補正データDsBを受け付ける。
【0040】
収音側のメイン制御部10Bは、収音補正データDsBが自装置に対するものであることを検出し、且つ現在の話者方位データDdwが収音補正対象であることを検出すると、収音ビーム信号を補正する収音制御データDr(=収音補正データDsB+話者方位データDdw)を音声信号補正部19Bに与える。音声信号補正部19Bは、収音ビーム信号を収音補正データDsBで補正した音声通信信号を出力する。
【0041】
一方、放音側のメイン制御部10Aは、収音補正データDsBが自装置に対するものでないことを検出し、且つ受信中の音声通信信号の話者方位データDdwが補正対象であることを検出すると、自装置で受け付けた放音調整データDcdから、他装置に対する収音補正データDsBを減算してなる放音制御データDcA(=Dcd−DsB)を生成して放音制御部12Aに与える。放音制御部12Aは与えられた放音制御データDcAに基づいて通信制御部11Aで受信した入力音声信号を放音制御する。
【0042】
また、放音側のメイン制御部10Aは、ネットワークサーバ101から収音補正データがDsBを受け付けていなければ、自装置で受け付けた放音調整データDcdのみにより設定される放音制御データDcA’(=Dcd)を生成して放音制御部12Aに与える。
【0043】
通信制御部11は、ネットワーク100に接続し、ネットワーク100を介して受信した他装置からの音声ファイルを、ネットワーク形式のデータから一般的な音声信号に変換して、エコーキャンセル部18を介して放音制御部12に出力する。ここで、通信制御部11は、受け付けた音声ファイルに対応する装置データおよび話者方位データから送信元の音声会議装置を同定して、それぞれの音声会議装置の音声信号ごとに出力する。例えば、本実施形態の音声会議装置111Aの場合、音声会議装置111Bからの音声信号S1と、音声会議装置111Cからの音声信号S2とを放音制御部12に出力する。
【0044】
また、通信制御部11は、リモコン120により入力された放音調整データがメイン制御部10から与えられると、当該放音調整データをネットワークサーバ101に送信する。
【0045】
また、通信制御部11は、音声信号補正部19からの音声通信信号に対して、メイン制御部10からの話者方位データと、装置の認識データとなる装置データとを添付して、ネットワーク通信形式に変換し、ネットワーク100に送信する。なお、装置データとは、ネットワーク100に接続する各音声会議装置に対して設定される個体識別IDのようなものであり、各音声会議装置がネットワーク100に接続した時点に自動的に割り当てられる。
【0046】
放音制御部12は、メイン制御部10からの放音制御データに基づいて、入力された音声信号S1または音声信号S2に対して遅延処理や振幅処理等を行って、音声会議装置の周りに在席する各会議者へ個別の特性で放音ビームを形成するように、各スピーカSP1〜SP16に対応する放音信号を生成する。
【0047】
各D/Aコンバータ13は、入力された放音信号をディジタル−アナログ変換して、各放音アンプ14に与え、各放音アンプ14はアナログ化された放音信号を増幅して、各スピーカSP1〜SP16に与える。各スピーカSP1〜SP16は、入力された電気的な音声信号を音声に変換して放音する。
【0048】
この際、前述の放音制御を行っていることで、各会議者へ同時に且つ個別に、自装置で受け付けた放音調整データや、他装置に対して設定された収音補正データに対応する放音音声を提供することができる。すなわち、各会議者に対して、それぞれに適切な音量、音質や声質で音声を放音することができる。
【0049】
マイクMIC101〜MIC116、MIC201〜MIC216は、自装置の周囲に在席する話者からの発声音を含む周囲の音を収音して電気的な収音信号に変換し、収音アンプ15に与える。収音アンプ15は収音信号を増幅してA/Dコンバータ16に与え、A/Dコンバータ16は、アナログ形式の収音信号をディジタル変換して、収音制御部17に出力する。
【0050】
収音制御部17は、各マイクMIC101〜MIC116,MIC201〜MIC216の収音信号に対して遅延処理等を行い、各会議者の方位を含む所定方位に強い指向性を有する収音ビーム信号を生成する。例えば、図1の音声会議装置111Aであれば、会議者Aの方位に対応する収音方位Dir11、会議者Bの方位に対応する収音方位Dir12、会議者Cの方位に対応する収音方位Dir13、会議者Dの方位に対応する収音方位Dir14、会議者Eの方位に対応する収音方位Dir15、会議者Fの方位に対応する収音方位Dir16、会議者Gの方位に対応する収音方位Dir18を含む、所定の収音方位Dir11〜Dir18のそれぞれに強い指向性を有する収音ビーム信号を生成する。収音制御部17は、生成した各方位の収音ビーム信号の振幅を比較し、最も振幅の大きい収音ビーム信号を選択して、エコーキャンセル部18に出力する。また、収音制御部17は、選択した収音ビーム信号に対応する収音方位Dirを抽出して、前記話者方位データとしてメイン制御部10に与える。
【0051】
エコーキャンセル部18は、二つのエコーキャンセラ181,182からなり、各エコーキャンセラ181,182はそれぞれ適応型フィルタとポストプロセッサとを備える。エコーキャンセラ181は、適応型フィルタで音声信号S1に基づく擬似回帰音信号を生成して、ポストプロセッサで収音制御部17から出力された収音ビーム信号から、音声信号S1の擬似回帰音信号を減算して、エコーキャンセラ182のポストプロセッサに出力する。エコーキャンセラ182は、適応型フィルタで音声信号S2に基づく擬似回帰音信号を生成して、エコーキャンセラ181のポストプロセッサで減算された収音ビーム信号から、音声信号S2の擬似回帰音信号を減算して、音声信号補正部19に出力する。これにより、スピーカSPからマイクMICへの回り込み音を抑圧する。
【0052】
音声信号補正部19は、メイン制御部10からの収音制御データに基づいて、指定された特定話者に対応するエコーキャンセル後の収音ビーム信号に、振幅処理、イコライジング、さらには必要に応じて声質変換処理等を行うことで音声通信信号を生成する。音声信号補正部19は、この音声通信信号を通信制御部11に出力する。なお、前述のように、ネットワークサーバ101から与えられる収音補正データが自装置を対象とするものではなく、ネットワーク100に接続する他装置を対象とするものであれば、メイン制御部10は収音制御データを生成せず、音声信号補正部19に与えない。したがって、音声信号補正部19は、入力された収音ビーム信号をそのまま音声通信信号として出力する。このような構成を用いることで、他の各音声会議装置で個別に放音調整せずに、収音側の音声会議装置で音声を補正して送信することができる。すなわち、収音側の音声会議装置で、他の各音声会議装置の会議者に対して一括して音の補正(調整)を行うことができる。
【0053】
ネットワークサーバ101は、ネットワーク制御部102と会議情報記憶部103とを備える。
【0054】
ネットワーク制御部102はネットワーク100全体の制御を行う。会議情報記憶部103は、現在会議に参加している会議者数、放音調整データに基づく調整内容DB、および、収音補正データの生成履歴である補正履歴等を記憶する。ネットワーク制御部102は、会議情報記憶部103に記憶された各情報に基づき、特定話者に対する放音調整の数が所定閾値以上であれば、収音補正データを生成して、各音声会議装置に送信する。この際、収音補正データには、収音補正対象となる音声会議装置を示す装置データと対象の話者方位データとが添付される。
【0055】
図7はネットワークサーバ101の収音補正設定フローを示すフローチャートである。
【0056】
ネットワーク制御部102は、ネットワーク100を介して各音声会議装置から放音調整データを順次受信する(S201)。また、同時に、ネットワーク制御部102は、それぞれの放音調整データに対応する話者方位データ(装置データを含む)を検出する(S202)。ここで、話者方位データとは、送信元の音声会議装置から送信される音声ファイルに添付された特定話者を指定する方位データであり、放音調整データを取得した時点で、ネットワーク100にて送受信される音声ファイルから取得する。
【0057】
ネットワーク制御部102は、各放音調整データを解析して、放音調整内容を取得して、話者方位データに関連付けして調整内容DBに記憶する(S203)。ここで、放音調整内容とは、発信元方位データ、音量設定量、高音(HI)音質設定量、中音(MID)音質設定量、低音(LOW)音質設定量、声質設定内容で表され、音量設定量と各音質設定量は、現在値に対する大小により設定される。なお、発信元方位データとは、放音調整データが発信された聴者の方位を特定する方位データであり、各音声会議装置からの放音調整データに関連付けして送信されるものである。
【0058】
ネットワーク制御部102は、話者方位データ毎に発信元方位データ数をカウントして、同じ話者方位データに対する発信元方位データが所定閾値以上であることを検出すると(S204)、該当する話者方位データに対応する方位からの音声を収音時に補正する収音補正データを生成する(S205)。この収音補正データは、装置データを含む補正対象方位データ、「音量」、「音質」、「声質」を備え、「音量」と「音質」とは、放音調整データと同様に現在値に対する相対値で設定される。なお、本説明では特定の話者方位データに対する発信元方位データ数が所定閾値以上になる場合に収音補正データを生成する例を示したが、予め記憶している会議者数に基づき、発信元方位データ数が会議者数の過半数に達した場合に収音補正データを生成するようにしてもよい。なお、ネットワーク制御部102は、収音補正データを生成すると、会議情報記憶部103に記録する。
【0059】
ネットワーク制御部102は、ネットワーク100を介して、収音補正データを各音声会議装置111A〜111Cに送信する(S206)。
【0060】
次に、音声会議装置における放音調整および収音補正のより具体的な方法について図を参照して説明する。
図8は音声会議装置の放収音処理を示すフローチャートである。
各音声会議装置111は、通信制御部11での音声ファイルの受信状況、および、収音制御部17での収音状況に基づいて、自装置が収音状態、放音状態、待受状態のいずれの状態であるかを判断する(S1)。ここで、放音状態であれば以下に示す放音処理を行い、収音状態であれば以下に示す収音処理を行い、待受状態であれば放音状態または収音状態になるまで状態検出を繰り返す。
【0061】
このような放音、収音、待受処理の状態で、ネットワークサーバ101から収音補正データを受信したり、会議者(リモコン)から放音制御の操作入力が行われると、音声会議装置は、図9に示す割込処理を実行する。
図9は音声会議装置の放音調整変更、収音補正変更の割込処理を示すフローチャートである。
音声会議装置111は、電源ON状態であれば、放音、収音、待受のいずれの状態であっても、随時ネットワークサーバ101およびリモコン120からの割り込み処理を受け付けられる状態で動作する。そして、音声会議装置111は割込を検出すると(S101)、当該割込処理の種別を判別する(S102)。
【0062】
具体的には、リモコン120からのリモコン通信信号を検出すると、音声会議装置111はユーザ割込であることを検出する。そして、音声会議装置111は、リモコン120により設定された放音調整内容を受け付ける(S103)。この際、音声会議装置111は、装置周囲に配置されたいずれのリモコン120からのリモコン通信信号であるかを同時に検出する。
【0063】
音声会議装置111は、放音を行う各方位(会議者方位)に対してそれぞれ放音調整フラグを備えている。音声会議装置111は、送信元のリモコン120に対応する方位に対して、放音調整フラグをON状態にする(S104)。
【0064】
そして、音声会議装置111は、受け付けた放音調整内容から放音調整データを生成して記憶し(S105)、放音調整データと発信元の方位データとを関連付けして、通信制御部11を介してネットワークサーバ101に送信する(S106)。
【0065】
一方、通信制御部11にてネットワークサーバ101からの収音補正データを検出すると、音声会議装置111はサーバ割込であることを検出し、受信した収音補正データを受け付ける(S107)。音声会議装置111は、収音補正データを解析して、装置データから自装置を対象とする収音補正データであるかどうかを検出する(S108)。
【0066】
音声会議装置111は、自装置を対象とする収音補正データであれば、収音補正データから話者方位データを取得する。音声会議装置111は、各方位に対してそれぞれ収音補正フラグを備えており、取得した話者方位データに対応する方位に対して収音補正フラグをON状態にする(S109)。そして、音声会議装置111は収音補正データを記憶する(S110)。
【0067】
このように、音声会議装置111は、放音時には放音調整内容に基づいて放音調整フラグを設定し、収音時には自装置が補正対象であれば収音補正フラグを設定する。
【0068】
図8に示すフローに戻り、自装置が放音状態であることを検出すると、音声会議装置111のメイン制御部10は、ネットワークサーバ101から収音補正データを取得しているかどうかを検出する(S2)。メイン制御部10は、収音補正データを取得して記憶していれば、放音を行う各方位に対して放音調整データを受け付けているかどうかを検出する(S4)。メイン制御部10は、放音調整データを受け付けていなければ、すなわち全ての方位に対して放音調整フラグがOFF状態であることを確認すれば、収音補正データに基づいて、放音をする全方位に対して同等の放音調整量からなる放音制御データを生成し、放音制御部12に与える(S6)。
【0069】
また、メイン制御部10は、放音調整データを受け付けていれば、収音補正データによる放音調整量を基準量として、該基準量から放音調整データに基づく放音調整量を差分した差分量を、放音調整フラグがON状態にある方位毎に設定することで放音制御データを生成し、放音制御部12に与える(S7)。すなわち、放音調整データを受け付けた方位(放音調整フラグがON状態の方位)には、差分量に基づく放音調整を行い、放音調整データを受け付けていない方位(放音調整フラグがOFF状態の方位)には、収音補正データに基づく放音調整を行う放音制御データを与える。
【0070】
また、メイン制御部10は、収音補正データがない場合にも、放音を行う各方位に対して放音調整データを受け付けているかどうかを検出する(S5)。メイン制御部10は、放音調整データを受け付けていなければ、すなわち、全方位に対して放音調整フラグがOFF状態であれば、全方位に対して受信した音声通信信号をそのまま放音する放音制御データを生成し、放音制御部12に与える。なお、この場合、特に放音制御データを与えなくても良い。
【0071】
また、メイン制御部10は、収音補正データが無い場合で、放音調整データを受け付けている場合には、放音調整フラグがON状態である各方位の放音調整量を設定した放音制御データを生成して、放音制御部12に与える(S8)。すなわち、放音調整データを受け付けた方位(放音調整フラグがON状態の方位)には、放音調整データに基づく放音調整を行い、放音調整データを受け付けていない方位(放音調整フラグがOFF状態の方位)には、そのまま放音する放音制御データを与える。
【0072】
放音制御部12は、与えられた放音制御データに基づいて、各方位へ所望の放音ビームが形成されるように、各スピーカSP1〜SP16に与える放音信号を生成して出力する。
【0073】
一方、自装置が収音状態であることを検出すると、音声会議装置111のメイン制御部10は、ネットワークサーバ101から収音補正データを取得しているかどうかを検出する(S3)。収音補正データを受け付けており、自装置に対する収音補正データであることを検出すると、すなわちいずれかの方位に対して収音補正フラグがON状態であることを検出すると、メイン制御部10は、収音補正データに基づく収音制御データを音声信号補正部19に与える(S9)。
【0074】
また、音声会議装置111のメイン制御部10は収音補正データを取得していなければ、音声信号補正部19に対して特に制御を行わない。
【0075】
音声信号補正部19は、収音制御データが与えられていれば、メイン制御部10から与えられる話者方位データと収音制御データとに基づいて、収音補正フラグがON状態である方位からの収音ビーム信号を補正して、音声通信信号を生成する。通信制御部11は、この音声通信信号に話者方位データおよび装置データを添付してネットワーク100に送信する(S10)。
【0076】
次に、このような構成を用いた場合の実際の放収音の状況を、図1,図10〜図13を参照して説明する。
なお、以下の説明では、地点bの会議者Jの声が聴き取り難い状況を例に示したものである。
【0077】
(1)放音調整個別対応
図10は放音調整個別対応の場合の放収音状況を示した図である。
図10に示すように、地点bの会議者Jが発言中に、地点aの会議者Aと会議者Gとがリモコン120を操作して放音調整を行った場合、地点aの音声会議装置111Aは、各リモコン120で操作された放音調整内容を取得する。この場合、会議者Aに対して、音量を「+7」に、音質HIを「+5」に、音質LOWを「−2」にする放音調整内容と、会議者Gに対して、音量を「+5」に、音質HIを「+4」にする放音調整内容とを取得する。音声会議装置111Aは、これら放音調整内容を放音調整データとして、ネットワークサーバ101に送信するとともに、会議者A,Gのそれぞれに該当する方位Dir11,Dir18に対して放音調整フラグをONに設定する。そして、音声会議装置111Aは、受信した音声通信信号から話者データを取得して、会議者Jの声であることを検出すると、方位Dir11,Dir18への放音音声を、それぞれの放音調整内容に従って調整して放音する。これにより、会議者A,Gには、会議者Jの声が、指定した放音調整内容に従って調整された状態で聴ける。すなわち、会議者Aには、音量が「7」大きく、高音が「5」大きく、低音が「2」小さくなった会議者Jの声が聞こえ、会議者Gには、音量が「5」大きく、高音が「4」大きくなった会議者Jの声が聞こえ、他の会議者(地点aの会議者B〜会議者F、地点cの会議者M〜会議者Q)には、会議者Jの声が調整されることなく、そのまま聞こえる。
【0078】
この場合、放音調整を行った会議者が、全体の会議者に対して少数派であるので、ネットワークサーバ101は、会議者Jの音声を収音時に一括して補正する制御を行わない。
【0079】
このように、特定会議者(話者)に対して放音調整を行う会議者(聴者)数が極少ない場合には、それぞれの聴者がいる音声会議装置で聴者毎に放音調整を行う。これにより、放音調整したい聴者にのみ調整内容に応じた放音を行うことができる。
【0080】
(2)収音補正一括対応
図11、図12は、収音補正一括対応の場合の放収音状況を示した図であり、図11が一括補正前、図12が一括補正後の状況を示す。
【0081】
図11に示すように、地点bの会議者Jが発言中に、地点aの会議者Aと会議者Gとがリモコン120を操作して放音調整を行った場合、地点aの音声会議装置111Aは、各リモコン120で操作された放音調整内容を取得する。この場合、会議者Aに対して、音量を「+7」に、音質HIを「+5」に、音質LOWを「−2」にする放音調整内容を取得し、会議者Gに対して、音量を「+5」に、音質HIを「+4」にする放音調整内容を取得する。音声会議装置111Aは、これら放音調整内容を放音調整データとして、ネットワークサーバ101に送信するとともに、会議者A,Gのそれぞれに該当する方位Dir11,Dir18に対して放音調整フラグをONに設定する。
【0082】
同様に、地点cの会議者Mと会議者Nと会議者Qとがリモコン120を操作して放音調整を行った場合、地点cの音声会議装置111Cは、各リモコン120で操作された放音調整内容を取得する。この場合、会議者Mに対して、音量を「+3」に、音質HIを「+2」にする放音調整内容を取得し、会議者Nに対して、音量を「+4」に、音質HIを「+2」に、音質LOWを「−1」にする放音調整内容を取得し、会議者Qに対して、音量を「+2」に、音質HIを「+1」にする放音調整内容を取得する。音声会議装置111Cは、これら放音調整内容を放音調整データとして、ネットワークサーバ101に送信するとともに、会議者M,N,Qにそれぞれ該当する方位Dir31,Dir34,Dir38に対して放音調整フラグをONに設定する。そして、音声会議装置111A,111Cは、受信した音声通信信号から話者データを取得して、会議者Jの声であることを検出すると、方位Dir11,Dir18,Dir31,Dir34,Dir38への放音音声を、それぞれの放音調整内容に従って調整して放音する。これにより、会議者A,G,M,N,Qには、会議者Jの声が、指定した放音調整内容に従って調整された状態で聴ける。すなわち、会議者Aには、音量が「7」大きく、高音が「5」大きく、低音が「2」小さくなった会議者Jの声が聞こえ、会議者Gには、音量が「5」大きく、高音が「4」大きくなった会議者Jの声が聞こえる。また、会議者Mには、音量が「3」大きく、高音が「2」大きくなった会議者Jの声が聞こえ、会議者Nには、音量が「4」大きく、高音が「2」大きく、低音が「1」小さくなった会議者Jの声が聞こえ、会議者Mには、音量が「2」大きく、高音が「1」大きくなった会議者Jの声が聞こえる。
【0083】
ネットワークサーバ101は、会議者Jに対する放音調整データの数が、会議者数の過半数を超えたことを検出すると、これら放音調整データの各調整量を取得し、平均値処理する。図11の例であれば、音量が「+4」、音質HIが「+3」、音質LOWが「−1」と算出される。ネットワークサーバ101は、このように算出した各調整量を用いて収音補正データを生成し、補正対象となる話者データ(方位データ)を添付して各音声会議装置111A〜111Cに与える。
【0084】
補正対象の会議者Jが在席する音声会議装置111Bは、受信した収音補正データに基づいて、会議者Jから収音した収音ビーム信号を補正して、ネットワーク100に送信する。この例では、会議者Jの収音ビーム信号の音量を「+4」とし、音質HIを「+3」とし、音質LOWを「−1」と補正して送信する。
【0085】
このままでは、音声会議装置111A,111Cで放音調整済みの方位では、放音調整内容と補正内容とが加算された状態で放音されるので、必要以上に大きな音となってしまう。
【0086】
そこで、音声会議装置111Aは、受信した収音補正データの各調整量と予め設定記憶した放音調整データの各調整量とを差分し、この差分値により設定される調整量から放音調整を行う。具体的には、会議者Aには、音量「7−4」=「+3」、音質HI「5−3」=「+2」、音質LOW「−2−(−1)」=「−1」に調整量を変更する。会議者Gには、音量「5−4」=「+1」、音質HI「4−3」=「+1」、音質LOW「0−(−1)」=「+1」に調整量を変更する。そして、この変更された調整量に基づいて、補正された状態(音量「+4」、音質HI「+3」、音質LOW「−1」)の音声通信信号を放音調整する。これにより、会議者A,Gは、自身が調整した内容に応じた会議者Jの声を聞ける。
【0087】
また、音声会議装置111Cは、音声会議装置111Aと同様に、差分値により設定される調整量から放音調整を行う。具体的には、会議者Mには、音量「3−4」=「−1」、音質HI「2−3」=「−1」、音質LOW「0−(−1)」=「+1」に調整量を変更する。会議者Nには、音量「4−4」=「0」、音質HI「2−3」=「−1」、音質LOW「−1−(−1)」=「0」に調整量を変更する。会議者Qには、音量「2−4」=「−2」、音質HI「1−3」=「−2」、音質LOW「0−(−1)」=「+1」に調整量を変更する。そして、この変更された調整量に基づいて、補正された状態(音量「+4」、音質HI「+3」、音質LOW「−1」)の音声通信信号を放音調整する。これにより、会議者M,N,Qも、自身が調整した内容に応じた会議者Jの声を聞ける。
【0088】
また、他の会議者(地点aの会議者B〜会議者F、地点cの会議者P)には、会議者Jの声が、収音側で補正された状態で聞こえる。
【0089】
これにより、放音調整した各会議者(聴者)には、会議者(聴者)が設定した音で話者の音声を聞かせることができ、放音調整していない会議者(聴者)に対しても補正された聴き取り易いであろう音で話者の音声を聞かせることができる。
【0090】
なお、放音調整を行っていない会議者は、会議者Jの声を聴き取りにくいとは感じていない場合もある。
【0091】
この場合、図13に示すように、放音調整していない会議者に対して逆補正をかけるようにしてもよい。
【0092】
図13は、図11、図12と同様な場合で且つ逆補正を行う場合の放収音状況を示した図である。
放音調整した会議者に対する放音調整の方法は、図12の場合と同じであるので説明は省略する。
【0093】
音声通信信号を受信する側の音声会議装置111A,111Cは、ネットワークサーバ101から収音補正データを取得すると、当該収音補正データの各調整量を逆補正する逆補正用放音調整データを生成する。図13の例であれば、補正調整量である音量「+4」、音質HI「+3」、音質LOW「−1」に対して、逆補正調整量として、音量「−4」、音質HI「−3」、音質LOW「+1」を設定する。
【0094】
音声会議装置111Aは、図12の場合と異なり、全ての会議者A〜Gに対応する方位Dir11〜Dir16,Dir18に対して放音調整フラグをONにし、放音調整が指定されていない会議者B〜Fに対しては、逆補正用放音調整データを適用する。これにより、会議者B〜Fには、補正される前の生の会議者Jの音声を聞かせることができる。同様に、音声会議装置111Cも、放音調整が指定されていない会議者Pに対しては、逆補正用放音調整データを適用する。これにより、会議者Pにも、補正される前の生の会議者Jの音声を聞かせることができる。
【0095】
これにより、放音調整を行っていない人は、会議者Jの声が聴き取り難い訳ではないという判断があるものとして、そのままの音声を放音することができる。
【0096】
なお、このような調整不必要の場合、リモコン120の調整不必要のボタンやコマンドを予め設けておけば、調整不必要かどうかをより明確に判断することができる。
【0097】
以上のように、本実施形態の構成および処理を用いることにより、遠隔地間で会議を行うような場合に、比較的簡素なシステムで、特定話者の声を聴者毎に違う音量、音質で聞かせることができる。
【0098】
なお、前述の説明では、声質に関する調整・補正の例を示さなかったが、予め聴き取りやすい声質を記憶しておき、適宜声質を選択することで、選択した声質で話者の音声を放音することもできる。例えば、テレビアナウンサーのフォルマント情報を記憶しておき、この声質が選択されれば、特定話者の音声をフォルマント変換して放音すればよい。
【0099】
また、前述の説明において、ネットワークサーバ101は、収音補正データや放音調整データを対応する話者方位データとともに、会議情報記憶部103に記憶しておいても良い。そして、次回以降、同じメンバで会議が行われる場合に、ネットワークサーバ101は、この話者方位データと収音補正データ、放音調整データを読み出して、音声会議装置111A〜111Cに送信する。各音声会議装置111A〜111Cは、取得した収音補正データ、放音調整データに基づいて、収音、放音する。これにより、次回以降は、会議の最初から、各会議者が自分の好みの音声で話者の発言を聞くことができる。
【図面の簡単な説明】
【0100】
【図1】本発明の実施形態の音声会議システムの構成図である。
【図2】図1に示す音声会議システム中の地点aの構成を示す図およびリモコン装置120(120A〜120G)の平面図である。
【図3】本発明の実施形態の音声会議装置111(111A〜111C)の両側面図と底面図である。
【図4】図3に示す音声会議装置の主要構成を示すブロック図である。
【図5】放音時および収音時のメイン制御部10の処理を説明するための簡略図である。
【図6】本発明の実施形態のネットワークサーバ101の主要構成を示すブロック図である
【図7】ネットワークサーバの収音補正設定フローを示すフローチャートである。
【図8】音声会議装置の放収音処理を示すフローチャートである。
【図9】音声会議装置の放音調整変更、収音補正変更の割込処理を示すフローチャートである。
【図10】放音調整個別対応の場合の放収音状況を示した図である。
【図11】収音補正一括対応の場合の一括補正前の放収音状況を示した図である。
【図12】収音補正一括対応の場合の一括補正後の放収音状況を示した図である。
【図13】図11、図12と同様な場合で且つ逆補正を行う場合の放収音状況を示した図である。
【符号の説明】
【0101】
100−ネットワーク、101−ネットワークサーバ、102−ネットワーク制御部、103−会議情報記憶部、111(111A〜111C)−音声会議装置、120−リモコン、112−音声会議装置の筐体、113−音声会議装置の脚部、114−操作部、10−メイン制御部、11−通信制御部、12−放音制御部、13−D/Aコンバータ、14−放音アンプ、15−収音アンプ、16−A/Dコンバータ、17−収音制御部、18−エコーキャンセル部、19−音声信号補正部、20−リモコン送受信部
【特許請求の範囲】
【請求項1】
複数のスピーカが所定配列されたスピーカアレイと、
放音特性の調整操作を受け付ける操作受付手段と、
所定の複数方位のみに放音ビームを形成するとともに、前記操作受付手段で受け付けた放音特性に基づき指定された方位への放音ビームを調整するように、入力した音声通信信号を遅延・振幅処理して前記複数のスピーカに与える放音制御手段と、
を備えた音声通信装置。
【請求項2】
前記放音特性は、音量、音質、音声特徴量のいずれか、またはこれらの組み合わせにより設定される請求項1に記載の音声通信装置。
【請求項3】
前記所定の複数方位に対して収音ビームを形成し、該収音ビーム強度を比較することで話者方位を同定し、当該話者方位とともに該話者方位の収音ビームに基づく前記音声通信信号を出力する収音手段を備えた請求項1または請求項2に記載の音声通信装置。
【請求項4】
請求項3に記載の音声通信装置を複数ネットワーク接続するとともに、当該ネットワークの通信を管理するネットワークサーバを備えた音声通信システムであって、
前記音声通信装置は受け付けた放音特性の調整内容を前記ネットワークサーバに与え、
該ネットワークサーバは、各音声通信装置から受け付けた複数の調整内容が、同一の話者方位に対応するものであり同じ傾向であって、且つこれら調整内容の受付数が所定数以上であれば、該話者方位に対する収音補正特性を設定して、該当する音声通信装置に与え、
前記収音補正特性が与えられた音声通信装置は、該当方位から得られる音声通信信号を前記収音補正特性で補正して出力する音声通信システム。
【請求項5】
前記ネットワークサーバは、収音補正特性をネットワークに接続する全ての音声通信装置に与え、
各音声通信装置の放音制御手段は、与えられた収音補正特性と受け付けた放音特性との差分に基づいて放音ビームを調整する請求項4に記載の音声通信システム。
【請求項6】
前記各音声通信装置の放音制御手段は、放音特性の調整操作が行われていない方位の放音ビームに対して、前記収音補正特性を打ち消す調整を行う請求項5に記載の音声通信システム。
【請求項1】
複数のスピーカが所定配列されたスピーカアレイと、
放音特性の調整操作を受け付ける操作受付手段と、
所定の複数方位のみに放音ビームを形成するとともに、前記操作受付手段で受け付けた放音特性に基づき指定された方位への放音ビームを調整するように、入力した音声通信信号を遅延・振幅処理して前記複数のスピーカに与える放音制御手段と、
を備えた音声通信装置。
【請求項2】
前記放音特性は、音量、音質、音声特徴量のいずれか、またはこれらの組み合わせにより設定される請求項1に記載の音声通信装置。
【請求項3】
前記所定の複数方位に対して収音ビームを形成し、該収音ビーム強度を比較することで話者方位を同定し、当該話者方位とともに該話者方位の収音ビームに基づく前記音声通信信号を出力する収音手段を備えた請求項1または請求項2に記載の音声通信装置。
【請求項4】
請求項3に記載の音声通信装置を複数ネットワーク接続するとともに、当該ネットワークの通信を管理するネットワークサーバを備えた音声通信システムであって、
前記音声通信装置は受け付けた放音特性の調整内容を前記ネットワークサーバに与え、
該ネットワークサーバは、各音声通信装置から受け付けた複数の調整内容が、同一の話者方位に対応するものであり同じ傾向であって、且つこれら調整内容の受付数が所定数以上であれば、該話者方位に対する収音補正特性を設定して、該当する音声通信装置に与え、
前記収音補正特性が与えられた音声通信装置は、該当方位から得られる音声通信信号を前記収音補正特性で補正して出力する音声通信システム。
【請求項5】
前記ネットワークサーバは、収音補正特性をネットワークに接続する全ての音声通信装置に与え、
各音声通信装置の放音制御手段は、与えられた収音補正特性と受け付けた放音特性との差分に基づいて放音ビームを調整する請求項4に記載の音声通信システム。
【請求項6】
前記各音声通信装置の放音制御手段は、放音特性の調整操作が行われていない方位の放音ビームに対して、前記収音補正特性を打ち消す調整を行う請求項5に記載の音声通信システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2007−329753(P2007−329753A)
【公開日】平成19年12月20日(2007.12.20)
【国際特許分類】
【出願番号】特願2006−160002(P2006−160002)
【出願日】平成18年6月8日(2006.6.8)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
【公開日】平成19年12月20日(2007.12.20)
【国際特許分類】
【出願日】平成18年6月8日(2006.6.8)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
[ Back to top ]