音声通信システム及び音声通信制御装置
【課題】 受聴者にとって反響が発生する頻度を低減しつつ、臨場感の低下を抑制する音声通信システムを提供する。
【解決手段】 本発明は、送話側から受話側へ音声信号を送信する複数の伝送経路と、いずれかの伝送経路に接続され、送話側の音声を捕捉する複数の送話側マイクロフォンと、いずれかの伝送経路に接続され、いずれかの送話側マイクロフォンが捕捉した音声信号を発音出力する複数の受話側スピーカとを備える音声通信システムに関する。そして音声通信システムは、送話側マイクロフォンにより捕捉された音声信号が、全ての受話側スピーカにより発音出力された際に、反響効果が発生するか否かを判定する手段と、反響効果が発生すると判定された場合には、伝送経路のうち一部について受話側への信号送信を制限する制御を行う手段とを有することを特徴とする。
【解決手段】 本発明は、送話側から受話側へ音声信号を送信する複数の伝送経路と、いずれかの伝送経路に接続され、送話側の音声を捕捉する複数の送話側マイクロフォンと、いずれかの伝送経路に接続され、いずれかの送話側マイクロフォンが捕捉した音声信号を発音出力する複数の受話側スピーカとを備える音声通信システムに関する。そして音声通信システムは、送話側マイクロフォンにより捕捉された音声信号が、全ての受話側スピーカにより発音出力された際に、反響効果が発生するか否かを判定する手段と、反響効果が発生すると判定された場合には、伝送経路のうち一部について受話側への信号送信を制限する制御を行う手段とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声通信システム及び音声通信制御装置に関し、例えば、複数拠点間で音声会議を行うシステムに適用することができる。
【背景技術】
【0002】
音声入力に複数個のマイクを用いる音声通信システムでは、同一発話者の声が複数マイクに入ると、相手側に伝わる際に、話者とマイク間の距離差によって、音がわずかずつ時間的にずれて重なり合った結果、相手側での音声の明瞭度を下げるという問題がある。
【0003】
図12は、従来の音声通信システムにおいて送話側から受話側に音声が伝達される様子の例について示した説明図である。
【0004】
例えば、図12のように、マイクやスピーカが配置されていて、送話側のマイクと受話側のスピーカとが対応付けられている場合、音源から受聴者に音が伝達されるまでの経路は図中の矢印のように3通り存在する。このとき、受聴者は経路R1〜R3の3つの経路を介して伝達された3つの音を聴くことになるのだが、最短経路である経路R1に比べて経路R2や経路R3の音の到来時間が遅いほど、受聴者にとって音が不自然に重なり合って感じられ、明瞭度を低下させる。
【0005】
なお、以下において、音源と受聴者間の複数の音響経路から伝わる音が、経路ごとの到来時間差によって受聴者に重なり合って聴こえる現象を「反響」又は「反響効果」と呼ぶものとする。また、最短距離の経路で音源と受聴者間の経路で最短距離の経路を「一次経路」とよび、それ以外の経路を「二次経路」と呼ぶものとする。また、一次経路を伝わる音を「一次音」、二次経路を伝わる音を「二次音」と呼ぶものとする。図12の場合、経路R1が一次経路、経路R2と経路R3が二次経路となる。また一次音は経路R1を伝わる音となり、二次音は経路R2と経路R3を伝わる音となる。
【0006】
音声通信システムにおいて、上述のような反響を防止するものとして、特許文献1に記載の装置(音声会議装置)がある。
【0007】
図11は、特許文献1に記載の装置を簡略した構成を示した説明図である。
【0008】
図11の特許文献1に記載の装置では、音声入力に複数個のマイクを用いる際に、同一発話者の声が複数マイクに入ると、相手側に伝わる際に、話者とマイク間の距離差によって、音がわずかずつ時間的にずれて重なり合った結果、相手側での音声の明瞭度を下げるという課題を解決するための技術に関するものである。特許文献1の記載技術では、この課題を解決するために、有効マイク判定部をもうけ、各マイクへの入力音声信号を観測し、一番最初に音の入力を検出したマイクを有効マイクとして、当該マイクによる入力のみを通信相手側に伝送する、という動作を行っている。また派生形態として、マイクへの入力レベルを観測し、入力レベルが最大のマイクを有効マイクとする、という動作もある。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開昭61−224550号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
複数のマイクやスピーカを用いた音声通信システムには、上述のような課題があるものの、二次音は遅延時間が短い場合には、一次音の明瞭度を高めるという効果があることが分かっている。特許文献1に記載されている装置では、二次経路を遮断することで、反響は抑制できるものの、送話側から伝達される情報量が減少し、例えば、送話側の音源位置の移動する感覚が受話側に伝わりにくくなるなど、臨場感を低下させてしまうという問題がある。
【0011】
そのため、受聴者にとって反響が発生する頻度を低減しつつ、臨場感の低下を抑制する音声通信システム及び音声通信制御装置が望まれている。
【課題を解決するための手段】
【0012】
第1の本発明の音声通信システムは、(1)送話側から受話側へ音声信号を送信する複数の伝送経路と、いずれかの上記伝送経路に接続され、送話側の音声を捕捉する複数の送話側マイクロフォンと、いずれかの上記伝送経路に接続され、いずれかの送話側マイクロフォンが捕捉した音声信号を発音出力する複数の受話側スピーカとを備える音声通信システムであって、(2)上記送話側マイクロフォンにより捕捉された音声信号が、全ての上記受話側スピーカにより発音出力された際に、反響効果が発生するか否かを判定する反響判定手段と、(3)上記反響判定手段により、反響効果が発生すると判定された場合には、上記伝送経路のうち一部について受話側への信号送信を制限する制御を行う制御手段とを有することを特徴とする。
【0013】
第2の本発明の音声通信制御装置は、(1)送話側から受話側へ音声信号を送信する複数の伝送経路と、いずれかの上記伝送経路に接続され、送話側の音声を捕捉する複数の送話側マイクロフォンと、いずれかの上記伝送経路に接続され、いずれかの送話側マイクロフォンが捕捉した音声信号を発音出力する複数の受話側スピーカとを備える音声通信システムの構成要素である音声通信制御装置であって、(2)上記送話側マイクロフォンにより捕捉された音声信号が、全ての上記受話側スピーカにより発音出力された際に、反響効果が発生するか否かを判定する反響判定手段と、(3)上記反響判定手段により、反響効果が発生すると判定された場合には、上記伝送経路のうち一部について受話側への信号送信を制限する制御を行う制御手段とを有することを特徴とする。
【発明の効果】
【0014】
受聴者にとって反響が発生する頻度を低減しつつ、臨場感の低下を抑制する音声通信システムを提供することができる。
【図面の簡単な説明】
【0015】
【図1】第1の実施形態に係る音声通信システムの機能的構成について示したブロック図である。
【図2】第1の実施形態に係る送話側反響情報生成部の機能的構成について示したブロック図である。
【図3】第1の実施形態に係る送信側反響制御情報の内容例について示した説明図である。
【図4】第1の実施形態に係る伝送経路制御部の機能的構成について示したブロック図である。
【図5】第1の実施形態に係る経路制御信号の内容例について示した説明図である。
【図6】第2の実施形態に係る音声通信システムの機能的構成について示したブロック図である。
【図7】第2の実施形態に係る受話側反響情報生成部の機能的構成について示した説明図である。
【図8】第2の実施形態に係る伝送経路制御部の内部構成について示した説明図である。
【図9】第3の実施形態に係る音声通信システムの機能的構成について示したブロック図である。
【図10】第3の実施形態に係る伝送経路制御部の機能的構成について示したブロック図である。
【図11】従来の音声通信システムの機能的構成について示したブロック図である。
【図12】従来の音声通信システムにおいて送話側から受話側に音声が伝達される様子の例について示した説明図である。
【発明を実施するための形態】
【0016】
(A)第1の実施形態
以下、本発明による音声通信システム及び音声通信制御装置の第1の実施形態を、図面を参照しながら詳述する。
【0017】
(A−1)第1の実施形態の構成
図1は、この実施形態の音声通信制御装置10を搭載した音声通信システム1の全体構成を示すブロック図である。音声通信システム1としては、例えば、複数拠点間で、少なくとも音声を用いて会議を行う会議システム等が該当する。
【0018】
音声通信システム1は、2つの送話側マイク11(11−1、11−2)、2つの送話側スピーカ12(12−1、12−2)、2つの受話側マイク16(16−1、16−1)、2つの受話側スピーカ17(17−1、17−1)、音声信号制御装置10を有している。また、音声信号制御装置10は、2つの経路処理部13(13−1、13−2)、送話側反響情報生成部14、伝送制御部15を有している。
【0019】
図1においては、送話側マイク11−1に入力される音声信号は、伝送経路を経由してスピーカ17−1から出力され、送話側マイク11−2に入力される音声信号は、伝送経路を経由してスピーカ17−2から出力されるものとして説明している。なお、音声通信システム1においては、それぞれの伝送経路について識別情報(以下、「経路ID」という)が付与されており、ここでは、送話側マイク11−1と受話側スピーカ17−1との間の伝送経路の経路IDを「1」、送話側マイク11−2と受話側スピーカ17−2との間の伝送経路の経路IDを「2」であるものとして説明する。
【0020】
図1においては、説明を簡易にするために、マイク、スピーカの数は送話側、受話側ともに2つとし、伝送経路の数も2つの構成としているが、これらの数は限定されないものである。
【0021】
なお、送話側マイク11−1、11−2、送話側スピーカ12−1、12−2、受話側マイク16−1、16−2、受話側スピーカ17−1、17−2については、既存の音声通信システム(例えば、特許文献1に記載の装置)におけるマイク及びスピーカを適用することができる。
【0022】
また、図1においては、複数の伝送経路が記載されているが、それぞれを物理的に別個の回線として構成しても良いし、一本の伝送路を論理的に多重化(例えば、時分割多重化や、パケット通信による多重化など)して複数の伝送経路を構築するようにしても良い。また、伝送経路上を流れる音声信号は、アナログ信号でも良いし、ディジタル信号でも良い。
【0023】
以下、音声通信制御装置10の詳細構成について説明する。
【0024】
まず、送話側反響情報生成部14の詳細構成について説明する。送話側反響情報生成部14は、送話側マイク11−1、11−2における送話信号の入力状況に応じて、反響効果が発生するか否かを判定するための情報(以下、「送信側反響制御情報」という)を生成して、伝送経路制御部15に与えるものである。
【0025】
図2は、送話側反響情報生成部14内部の機能的構成について示したブロック図である。
【0026】
送話側反響情報生成部14は、2つの立ち上がり時間観測部141(141−1、141−2)と、時間差計算部142、反響制御情報送信部143を有している。
【0027】
立ち上がり時間観測部141−1、141−2は、それぞれ送話側マイク11−1、11−2から与えられた音声信号について、立ち上がり時間を計測し、時間差計算部142に与える。
【0028】
立ち上がり時間観測部141−1、141−2は、例えば、送話側マイクから与えられる音声信号において、既存の有音状態又は無音状態を検出する手段を備えて、送話側マイクの入力状態が、無音状態から有音状態に遷移したタイミングを、「立ち上がり時間」としても良い。
【0029】
時間差計算部142は、立ち上がり時間観測部141−1、141−2のそれぞれから与えられた立ち上がり時間の差分(以下、「時間差」という)を計算する。そして、時間差計算部142は、立ち上がり時間が遅い送話側マイクに係る経路を、反響発生源となる二次経路と判定し、その経路の経路IDと共に時間差の情報を反響制御情報送信部143に与える。
【0030】
反響制御情報送信部143は、時間差計算部142から取得した時間差と経路IDとを有する情報を、送話側反響制御情報として、伝送経路制御部15に送信する。
【0031】
図3は、送話側反響制御情報の内容の例について示した説明図である。
【0032】
送話側反響制御情報の構成は、図3に示すように、経路間の時間差と経路IDとから構成されるものとする。図3においては、時間差が45msで、二次経路の経路IDは2であることを表している。
【0033】
次に、伝送経路制御部15の詳細構成について説明する。
【0034】
図4は、伝送経路制御部15内部の機能的構成について示したブロック図である。
【0035】
伝送経路制御部は反響制御情報取得部151、経路制御信号生成部152、経路制御信号送信部153を有している。
【0036】
反響制御情報取得部151は、送話側反響情報生成部14から送話側反響制御情報を取得し、経路制御信号生成部152に転送する。
【0037】
経路制御信号生成部152は、取得した送話側反響制御情報から、「時間差」の情報を抽出して、所定の閾値と比較することにより、反響の有無を判定する。そして、判定結果において、「反響有り」ならば「1」、「反響無し」ならば「0」という値を、経路IDに対応付けた信号(以下、「経路制御信号」という)を生成する。
【0038】
図5は、経路制御信号の内容の例について示した説明図である。
【0039】
図5においては、経路制御信号は、経路IDが2の経路で反響が生じる、ということを意味する例である。
【0040】
伝送経路制御部15では、上述の処理により生成された経路制御信号を、経路制御信号送信部153から、各伝送経路上に配置されている経路処理部13−1、13−2に送り出す。経路処理部13−1、13−2は経路制御信号から、反響の有無と、二次経路(反響源となりうる経路)を認識する。そして、反響が生じる場合に自己の経路が二次経路ならば、自経路の音声信号の伝送を遮断し、一方、自経路が二次経路ではない、あるいは反響が発生しない場合には、経路処理部は音声信号の伝送に一切の処理を行わない。
【0041】
(A−2)第1の実施形態の動作
次に、以上のような構成を有する第1の実施形態の音声通信システム1における音声通信制御装置10の動作を、図1を用いて説明する。
【0042】
まず、送話側で話者が発声し、その音声が送話側マイク11−1、11−2により捕捉され、音声信号が音声通信制御装置10(送話側反響情報生成部14)に入力される。
【0043】
次に、送話側反響情報生成部14では、与えられた2つの音声信号に係る音伝送経路の立ち上がり時間の時間差に基づいて、送話側反響制御情報が生成され、生成された送話側反響制御情報が、伝送経路制御部15に与えられる。なお、ここでは、送話側反響情報生成部14により生成される送話側反響制御情報は、上述の図3に示す情報であるものとする。
【0044】
次に、伝送経路制御部15では、送話側反響制御情報が与えられると、その送話側反響制御情報に基づいて反響の発生有無が判定され、その判定結果に応じて、音の伝送経路を遮断するか否か制御するかを決定し、その決定結果に応じた経路制御信号が、経路処理部13−1、13−2に送信される。なお、ここでは、反響の発生の有無を判定するための閾値を、「30ms」とすると、図3に示す送話側反響制御情報では、時間差が「45ms」であるため「反響有り」と判定される。さらに、図3に示す送話側反響制御情報では、経路IDが「2」の経路(経路処理部13−1側の経路)で反響が生じる二次経路となっているため、経路制御信号は、上述の図5に示す通り、反響決定結果が「1」、経路IDが「2」を示す経路制御信号が生成され、経路処理部13−1、13−2に与えられる。
【0045】
そして、経路処理部13−1、13−2では、与えられた経路制御信号に従って、経路を遮断するか、素通りさせるかのいずれかの処理が施される。経路処理部13−1、13−2では、上述の例では、反響決定結果が「1」、経路IDが「2」を示す経路制御信号が与えられているので、経路処理部13−2において経路が遮断され、経路処理部13−1においては経路が遮断されずに信号が素通りする処理が行われる。
【0046】
以上の動作を送話側で行うことで、反響が発生するか否かを判定して、もし反響が発生するのであれば、二次音が相手側に伝送されないように制御する、という動作が行われる。
【0047】
(A−3)第1の実施形態の効果
第1の実施形態によれば、以下のような効果を奏することができる。
【0048】
送話側反響情報生成部14を用いて、反響が発生するか否かを判定し、発生すると判定した場合にのみ、二次経路の音声信号の伝送を制限(この実施形態においては遮断)して反響を防止する一方、反響が発生しないと判定されている間は、複数の送話側マイクで捕捉した音声が、複数の受話側スピーカにより受聴者に出力されるため、受聴者にとって臨場感が保たれることになる。従来の特許文献1に記載の装置では、一番最初に音の入力を検出したマイクを有効マイクとして、当該マイクによる入力のみを通信相手側に伝送するようにしているため、常に一つのマイクで捕捉した音声しか受聴者に出力されないが、第1の実施形態の音声通信システム1では、反響が発生すると判定した場合のみ二次経路の音声信号の伝送を制限するため、特許文献1に記載の装置よりも臨場感の低下を抑制することができる。すなわち、第1の実施形態の音声通信システム1では、受聴者にとって反響が発生する頻度を低減しつつ、臨場感の低下を抑制するという効果を奏することができる。
【0049】
(B)第2の実施形態
以下、本発明による音声通信システム及び音声通信制御装置の第2の実施形態を、図面を参照しながら詳述する。
【0050】
(B−1)第2の実施形態の構成
第1の実施形態においては、送話側の要因により反響が発生するか否かを判定し、発生すると判定した場合には、二次経路を遮断して反響を防止する音声通信システム1(音声通信制御装置10)について説明したが、第2の実施形態の音声通信システム1A(音声通信制御装置10A)は、受話側の要因で反響が生じるか否かを判定して、音声通信を制御する点で第1の実施形態と異なっている。
【0051】
図6は、第2の実施形態の音声通信制御装置10Aを搭載した音声通信システム1Aの全体構成を示すブロック図である。
【0052】
音声通信システム1Aは、2つの送話側マイク11(11−1、11−2)、2つの送話側スピーカ12(12−1、12−2)、2つの受話側マイク16(16−1、16−1)、2つの受話側スピーカ17(17−1、17−1)、音声信号制御装置10Aを有している。送話側マイク11−1、11−2、送話側スピーカ12−1、12−2、受話側マイク16−1、16−1、受話側スピーカ17−1、17−1については、第1の実施形態と同様のものであるので、詳しい説明を省略する。
【0053】
また、音声信号制御装置10Aは、2つの経路処理部13(13−1、13−2)、受話側反響情報生成部18、伝送制御部15Aを有している。経路処理部13−1、13−2については、第1の実施形態と同様のものであるので、詳しい説明は省略する。
【0054】
次に、受話側反響情報生成部18の詳細構成について説明する。受話側反響情報生成部18は、受話側スピーカ17−1、17−2と受聴者との相対的な位置関係に応じて、反響が生じるか否かを推定するための情報(以下、「受話側反響制御情報」という)を生成して、伝送経路制御部15Aに与える。
【0055】
図7は、受話側反響情報生成部18内部の機能的構成について示したブロック図である。
【0056】
受話側反響情報生成部18は、音源位置推定部181、スピーカ位置情報取得部182、時間差計算部183、反響制御情報送信部184を有している。
【0057】
音源位置推定部181は、受話側マイクと受聴者の位置を推定してその位置情報を保持する。なお、音源位曙の推定には、公知の音源位置推定技術(例えば、特開2004−64697号公報に記載の音源受音位置推定技術)を用いても良い。そして、音源位置推定部181は、受話側マイクに対する音源(受聴者)の位置を推定した結果の情報(以下、「音源位置情報」という)を、時間差計算部183に与える。なお、公知の屋内測位技術から得た位置情報の保持については、この実施形態においては、通信装置を利用する室内に座標系を仮想的に設定し屋内測位技術によって取得したスピーカやマイクなどの位置情報を座標系に当てはめて、座標という形態で保持することを想定している。また機器間の距離差を計算する際は、この座標情報から三平方の定理を用いて算出すればよい。ただし、位置情報の保持の方法や距離差の計算法は、これに限定しない。
【0058】
また、音源位置推定部181で音源位置を推定するために、受話側マイクに入力される音声を用いているが、「受話側」であるのに、受話側マイクに対する入力がある理由について説明する。この実施形態で扱っている対象は音声によるコミュニケーションとしても良い。従って、常に一方が話し続けるというわけではなく、送話と受話とは入れ替わる場合がある。従って、ある時点では受話側であっても、その以前には送話側であったことになる。すなわち、受話側になる以前に、送話側であった時に取得したマイクの入力信号から得た情報を用いることができるので、受話側であってもマイクの入力信号を用いることが可能となる。
【0059】
スピーカ位置情報取得部182は、受話側の各スピーカの位置情報(以下、「スピーカ位置情報」という)を取得する。受話側の各スピーカの位置情報の取得には、例えば、特開2008−128934号公報に記載の位置検出システムのような、公知の屋内測位技術を用いても良いし、予め、受話側の各スピーカの位置情報を記録手段に格納しておき、格納した情報を取得するようにしておいても良い。
【0060】
時間差計算部183は、音源位置推定部181から与えられる音源位置情報と、スピーカ位置情報取得部182から取得したスピーカ位置情報とに基づいて、各受話側スピーカと、受聴者との間の距離(以下、「受聴距離」という)を算出し、この距離を音速で除算することで、各受話側スピーカから受聴者までの音声が到達するまでの時間(以下、「到達時間」という)を得る。
【0061】
反響制御情報送信部184は、時間差計算部183が算出した結果に基づいて、二次経路となる受話側スピーカに係る時間差と経路IDを含む情報を、受話側反響制御情報として生成し、伝送経路制御部15Aに与える。
【0062】
受話側反響制御情報は、内容的には、上述の図3に示す送話側反響制御情報と同様に、二次経路に係る時間差と経路IDで現されるものである。
【0063】
次に、伝送経路制御部15Aの詳細構成について説明する。
【0064】
図8は、伝送経路制御部15A内部の機能的構成について示したブロック図である。
【0065】
伝送経路制御部は反響制御情報取得部151A、経路制御信号生成部152A、経路制御信号送信部153を有している。経路制御信号送信部153は、第1の実施形態と同様のものであるので詳しい説明を省略する。
【0066】
反響制御情報取得部151は、受話側反響情報生成部18から受話側反響制御情報を取得し、経路制御信号生成部152Aに転送する。
【0067】
経路制御信号生成部152Aは、取得した送話側反響制御情報から、「時間差」の情報を抽出して、所定の閾値と比較することにより、反響の有無を判定する。以降、第1の実施形態の経路制御信号生成部152と同様に、判定結果において、「反響有り」ならば「1」、「反響無し」ならば「0」という値を、経路IDに対応付けて経路制御信号を生成し、経路処理部13−1、13−2に送り出して経路制御を行う。
【0068】
(B−2)第2の実施形態の動作
次に、以上のような構成を有する第2の実施形態の音声通信システム1における音声通信制御装置10Aの動作を、図6を用いて説明する。
【0069】
まず、受話側反響情報生成部18により、受話側スピーカ17−1、17−2と、受聴者との相対的な距離に基づいて時間差が算出され、算出した結果に基づいて受話側反響制御情報が生成される。なお、ここでは、受話側反響情報生成部18により生成される受話側反響制御情報では、時間差が「45ms」、経路IDが「2」であるものとする。
【0070】
次に、伝送経路制御部15Aでは、受話側反響制御情報が与えられると、その受話側反響制御情報に基づいて、反響の発生有無が判定され、その判定結果に応じて、音の伝送経路を遮断するか否か制御するかを決定し、その決定結果に応じた経路制御信号を、経路処理部13−1、13−2に送信する。なお、ここでは、反響の発生の有無を判定するための閾値を、「30ms」とすると、ここでは、受話側反響制御情報における時間差は「45ms」であるため「反響有り」と判定される。さらに、受話側反響制御情報によれば、経路IDが「2」の経路(経路処理部13−1側の経路)が、反響が生じる二次経路となっているため、経路制御信号としては、反響決定結果が「1」、経路IDが「2」を示す経路制御信号が生成され、経路処理部13−1、13−2に与えられる。
【0071】
以降は、第1の実施形態と同様に、経路処理部13−1、13−2は、経路制御信号に従って動作することになるため、詳しい説明は省略する。
【0072】
(B−3)第2の実施形態の効果
第2の実施形態によれば、以下のような効果を奏することができる。
【0073】
従来の特許文献1の記載技術では、受話側で複数個のスピーカで再生する時の、受聴者と複数スピーカの位置による到来時間差が考慮されていない。そのため、送話側の音源−マイク間距離だけでなく、受話側の要因(受話側のスピーカ受聴者間距離の差が原因で生じる音の到来時間差)によって、反響効果が発生するという問題があった。一方、第2の実施形態の音声通信システム1A(音声通信制御装置10A)では、受話側の要因で反響が生じるか否かを判定し、発生すると判定した場合には、二次経路の音声信号の伝送を制限(この実施形態においては遮断)して反響を防止する。これにより、受話側の要因により反響が発生する場合でも、受聴者にとって反響が発生する頻度を低減しつつ、臨場感の低下を抑制することができる。
【0074】
(C)第3の実施形態
以下、本発明による音声通信システム及び音声通信制御装置の第3の実施形態を、図面を参照しながら詳述する。
【0075】
(C−1)第3の実施形態の構成
第1の実施形態と、第2の実施形態はともに、送話側の要因のみ、または、受話側の要因のみに基づいて反響発生の有無を判定していたが、第3の実施形態では、送話側及び受話側の両方の要因に基づいて反響発生の有無を判定する。
【0076】
図9は、第3の実施形態の音声通信制御装置10Bを搭載した音声通信システム1Bの全体構成を示すブロック図である。
【0077】
第3の実施形態の音声通信システム1Bは、第2の実施形態における音声通信制御装置10Aが、音声通信制御装置10Bに置き換わっただけで、その他の構成は第2の実施形態と同様である。
【0078】
音声通信制御装置10Bは、経路処理部13−1、13−2、送話側反響情報生成部14、受話側反響情報生成部18、伝送経路制御部15Bを有している。
【0079】
経路処理部13−1、13−2は、第1及び第2の実施形態のものと同様であるので詳しい説明を省略する。また、送話側反響情報生成部14は、第1の実施形態と同様のものであるので詳しい説明を省略する。さらに、受話側反響情報生成部18は、第2の実施形態のものと同様であるので詳しい説明は省略する。
【0080】
第1の実施形態の伝送経路制御部15は、送話側反響制御情報のみに基づいて経路制御信号を生成しており、第2の実施形態の伝送経路制御部15Aは、受話側反響制御情報のみに基づいて経路制御信号を生成していた。一方、第3の実施形態の伝送経路制御部15Bでは、送話側反響制御情報及び受話側反響制御情報の両方を用いて経路制御信号を生成する点で、第1及び第2の実施形態と異なる。
【0081】
次に、経路制御信号生成部152Bの詳細構成について説明する。経路制御信号生成部152Bでは、送話側反響制御情報に基づく反響の有無の判定結果(送信側反響判定部155の判定結果)が「主」、受話側反響制御情報に基づく反響の有無の判定結果(第2の実施形態における受話側反響情報生成部18と同様の方法により判定)が「従」として取り扱われる。すなわち、原則は、送話側反響制御情報に基づく反響の有無の判定結果が「反響有り」の場合には、送話側反響制御情報に従って二次経路が判定される。そして、送話側反響制御情報に基づく反響の有無の判定結果が「反響無し」の場合には、さらに、受話側反響制御情報に基づく反響の有無の判定を行い、その判定結果が「反響有り」の場合には、受話側反響制御情報に基づいて二次経路が判定され、経路制御信号が生成される。送話側反響制御情報、及び、受話側反響制御情報のいずれを用いても判定結果が「反響無し」の場合には、総合的に「反響無し」と判断され、特に経路遮断等の処理は行われないことになる。
【0082】
図10は、伝送経路制御部15Bの内部構成の例について示したブロック図である。
【0083】
経路制御信号生成部152Bとしては、図10のように構成しても良い。図10では、受話側反響情報生成部18の動作は通常は停止させておき、この状況下で、まずは送話側反響制御情報のみを用いて伝送経路制御部で反響発生の判定を行い、もし反響が生じるならば、受話側反響情報生成部18からの情報(受話側反響制御情報)を用いることなく、経路制御信号を生成して二次経路を遮断する。一方、送話側を要因とする反響が生じないならば、さらに受話側反響情報生成部18にも受話側反響制御情報を要求し、送話側反響制御情報及び受話側反響制御情報送話側の双方を用いて反響発生の有無の判定を行い、経路制御信号を生成する。
【0084】
図10において、伝送経路制御部15Bは、送信側反響制御情報取得部154、送信側反響判定部155、受信側反響制御情報要求部156、総合反響判定部157、経路制御信号生成部152B、経路制御信号送信部153を有している。
【0085】
送信側反響制御情報取得部154は、送話側反響情報生成部14から送話側反響制御情報を取得して、送信側反響判定部155に転送するものである。
【0086】
送信側反響判定部155は、与えられた送話側反響制御情報に基づいて、反響の有無を、第1の実施形態の経路制御信号生成部152と同様の方法により判定し、判定結果が「判定有り」の場合には、その判定結果を経路制御信号生成部152Bに与え、判定結果が「判定無し」の場合には、その判定結果を受信側反響制御情報要求部156に与える。
【0087】
受信側反響制御情報要求部156は、送信側反響判定部155から、「反響無し」の判定結果が与えられた場合には、受話側反響情報生成部18から受話側反響制御情報を取得し、総合反響判定部157に与える。また、受信側反響制御情報要求部156は、送信側反響判定部155から与えられた判定結果も総合反響判定部157に与える。
【0088】
なお、受信側反響制御情報要求部156は、送信側反響判定部155から与えられる判定結果の有無に関わらず、受話側反響制御情報を保持しておくようにしても良い。
【0089】
総合反響判定部157は、受信側反響制御情報要求部156から、受話側反響制御情報、及び、送信側反響判定部155の判定結果(反響無しの判定結果)が与えられると、その受話側反響制御情報に基づいて反響の有無の判定結果を決定するものと判断し、受話側反響制御情報を、経路制御信号生成部152Bに与える。
【0090】
経路制御信号生成部152Bは、総合反響判定部157から与えられた判定結果に従って、経路制御信号を生成し、経路制御信号送信部153を介して、経路処理部13−1、13−2に与えて、経路制御を行う。
【0091】
なお、伝送経路制御部15Bの内部構成については、上述の図10のように構成しても良いし、予め送話側反響制御情報及び受話側反響制御情報の両方を保持してから、双方を考慮して反響発生の有無を判定するようにしても良い。
【0092】
(C−2)第3の実施形態の動作
次に、以上のような構成を有する第3の実施形態の音声通信システム1における音声通信制御装置10Bの動作を、図9及び図10を用いて説明する。
【0093】
まず、送話側で話者が発声し、その音声が送話側マイク11−1、11−2により捕捉され、音声信号が音声通信制御装置10(送話側反響情報生成部14)に入力されたものとする。そして、送話側反響情報生成部14では、与えられた2つの音声信号に係る音伝送経路の距離差に基づいて、送話側での反響の状況に係る送話側反響制御情報が生成され、生成された送話側反響制御情報が、伝送経路制御部15に与えられる。なお、ここでは、送話側反響情報生成部14により生成される送話側反響制御情報では、時間差が「10ms」、経路IDが「2」であるものとする。
【0094】
また、受話側では、受話側反響情報生成部18により、従前に受話側スピーカ17−1、17−2と、受聴者との相対的な距離に基づいて時間差が算出され、算出した結果に基づいて受話側反響制御情報が生成されているものとする。なお、ここでは、受話側反響情報生成部18により生成される受話側反響制御情報は、時間差が「45ms」、経路IDが「2」であるものとする。
【0095】
次に、伝送経路制御部15Bでは、送話側反響制御情報が与えられると、送信側反響判定部155において、送話側での反響の発生有無が判定される。
【0096】
送信側反響判定部155において、送話側で「反響有り」と判定された場合には、送話側反響制御情報が経路制御信号生成部152Bに与えられ、送話側反響制御情報に基づいて経路制御信号が生成されて、経路処理部13−1、13−2に与えられ、経路制御が行われる。
【0097】
送信側反響判定部155において、送話側で「反響無し」と判定された場合には、受信側反響制御情報要求部156により、受話側反響情報生成部18から受話側反響制御情報が取得される。そして、総合反響判定部157において、取得された受話側反響制御情報に基づいて、今度は受話側での反響の有無が判定される。
【0098】
総合反響判定部157において、受話側で「反響有り」と判定された場合には、受話側反響制御情報が経路制御信号生成部152Bに与えられ、受話側反響制御情報に基づいて経路制御信号が生成されて、経路処理部13−1、13−2に与えられ、経路制御が行われる。
【0099】
ここでは、上述の通り、送話側反響制御情報は、時間差が「10ms」、経路IDが「2」であり、受話側反響制御情報は、時間差が「45ms」、経路IDが「2」である。そして、響の発生の有無を判定するための閾値を、送話側受話側共に「30ms」とすると、送話側では「反響無し」、受話側では「反響有り」と判定されるため、受話側反響制御情報に基づいて、反響決定結果が「1」、経路IDが「2」を示す経路制御信号が生成され、経路処理部13−1、13−2に与えられる。
【0100】
以降は、第1及び第2の実施形態と同様に、経路処理部13−1、13−2は、経路制御信号に従って動作することになるため、詳しい説明は省略する。
【0101】
(C−3)第3の実施形態の効果
第3の実施形態によれば、以下のような効果を奏することができる。
【0102】
第1の実施形態と、第2の実施形態はともに、送話側又は受話側のいずれか一方の要因のみに基づいて反響発生の有無を判定していたが、第3の実施形態では、送話側及び受話側の両方の要因を考慮して反響発生の有無を判定し、反響が生じると判定した場合には、二次経路の音声信号の伝送を制限(この実施形態においては遮断)して反響を防止する。このように、送話側及び受話側の両方の要因を考慮して反響が発生するか否かを判定することにより、第1及び第2の実施形態と比較して、反響が発生していると判定する精度を、より向上させることができる。
【0103】
また、伝送経路制御部15Bでは、図9、図10の例に示すように、受話側反響情報生成部18の動作は通常は停止させておき、この状況下で、まずは送話側反響制御情報のみを用いて伝送経路制御部で反響発生の判定を行い、もし反響が生じるならば、受話側反響情報生成部18からの情報(受話側反響制御情報)を用いることなく、経路制御信号を生成して二次経路を遮断する。一方、送話側を要因とする反響が生じないならば、さらに受話側反響情報生成部18にも受話側反響制御情報を要求し、送話側反響制御情報及び受話側反響制御情報送話側の双方を用いて反響発生の有無の判定を行い、経路制御信号を生成する、という構成についても示した。伝送経路制御部15Bについて上述の図10に示す構成を採用することにより、受話側反響情報生成部18の処理量を低減し、消費電力の削減などが期待できる。
【0104】
(D)他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【0105】
(D−1)上記の各実施形態においては、送話側反響制御情報及び受話側反響制御情報おいて、反響の有無を判定するための情報として「時間差」を用いたが、「距離差」を用いて判定してもよい。
【0106】
(D−2)上記の各実施形態においては、経路処理部は、反響発生時には二次経路を遮断していたが、遮断するのではなく、ボリュームを減衰させる、一次音に遅延を入れるなど、他の方法により、反響を防止するようにしても良い。
【0107】
(D−3)第3の実施形態においては、伝送経路制御部15Bにより、自動的に送話側反響制御情報又は受話側反響制御情報のいずれかを用いて反響の有無を判定するようにしていたが、ユーザ(受話側、送話側のどちらでも良い)の操作に応じて、送話側反響制御情報又は受話側反響制御情報のいずれかのみを用いて反響の有無を判定するように設定変更する手段を備えるようにしても良い。
【0108】
(D−4)上記の各実施形態においては、音声通信システムにおける伝送経路(送話側マイク及び受話側スピーカを含む)が2つの例について説明したが、上述の通り伝送経路の数は限定されず3つ以上であっても良い。
【0109】
まず、第1の実施形態において、伝送経路が3つ以上の場合の反響発生の有無の判定方法について説明する。この場合、「最も早い」立ち上がり時間と「最も遅い」立ち上がり時間の差分が閾値以上であった場合に「反響有り」と判定するようにしても良いし。全ての立ち上がり時間の平均時間との差分が閾値以上の立ち上がり時間があった場合に「反響有り」と判定するようにしても良い。また、「反響有り」と判定された場合において、最も早い立ち上がり時間に係る伝送経路を一次経路として、その他の経路を二次経路として音声信号の送信を遮断するようにしても良い。また、「反響有り」と判定された場合において、一次経路以外の経路を全て制限してしまうのではなく、一次経路との時間差が閾値以上の経路のみを制限するようにしても良い。
【0110】
次に、第2の実施形態において、伝送経路が3つ以上の場合の反響の発生の有無の判定方法について説明する。この場合、最も短い到達時間と最も長い到達時間の差分が、閾値以上であった場合に「反響有り」と判定するようにしても良い。また、全ての到達時間の平均時間との差分が閾値以上の到達時間があった場合に「反響有り」と判定するようにしても良い。また、「反響有り」と判定された場合において、最も短い到達時間に係る伝送経路を一次経路として、その他の経路を二次経路として音声信号の送信を制限するようにしても良い。また、「反響有り」と判定された場合において、一次経路以外の経路を全て制限してしまうのではなく、一次経路との時間差が閾値以上の経路のみを制限するようにしても良い。
【0111】
(D−5)上記の各実施形態においては、説明を簡易にするため、本発明の音声通信システムを送話側と受話側の2拠点のみで構築した例について示したが、3拠点以上(すなわち、受話側が複数拠点)で構成するようにしても良い。
【0112】
第1の実施形態のように、送話側の要因(送話側反響制御情報)のみに基づいて反響の有無を判定する場合には、送話側とそれぞれの受話側の拠点との間で上述の図1のように構成されていれば良いが、第2及び第3の実施形態のように、受話側の要因(受話側反響制御情報)も考慮して反響の有無を判定する場合には、送話側とそれぞれの受話側の拠点との間で反響が発生するか否かを判定するようにしても良い。
【0113】
例えば、送話側が1拠点に対して、受話側拠点が2拠点あった場合を想定する。この場合、第1の受話側拠点に係る受話側反響制御情報を考慮して反響の有無を判定した第1の結果が「反響有り」で、第2の受話側拠点に係る受話側反響制御情報を考慮して反響の有無を判定した第2の結果が「反響無し」であった場合には、第1の受話側拠点に対する経路における音声信号のみを制限することが挙げられる。また、第1の受話側拠点及び第2の受話側拠点の両方について判定結果が「反響有り」の場合でも、一次経路がどの経路になるのかについての判定結果が、異なる場合もあるが、その場合には、受話側拠点ごとに、音声信号の伝送を制限する経路を選択して処理するようにしても良い。なお、送話側反響制御情報に基づいて反響の有無を判定した結果が「反響有り」の場合には、送話側反響制御情報に基づく判定結果を優先し、受話側反響制御情報に基づく判定結果に関わらず全体として「反響有り」と判定するようにしても良い。
【符号の説明】
【0114】
1…音声通信システム、10…音声通信制御装置、11−1,11−2…送話側マイク、12−1,12−2…送話側スピーカ、13−1,13−2…経路処理部、14…送話側反響情報生成部、15…伝送経路制御部、16−1,16−2…受話側マイク、17−1,17−2…受話側スピーカ。
【技術分野】
【0001】
本発明は、音声通信システム及び音声通信制御装置に関し、例えば、複数拠点間で音声会議を行うシステムに適用することができる。
【背景技術】
【0002】
音声入力に複数個のマイクを用いる音声通信システムでは、同一発話者の声が複数マイクに入ると、相手側に伝わる際に、話者とマイク間の距離差によって、音がわずかずつ時間的にずれて重なり合った結果、相手側での音声の明瞭度を下げるという問題がある。
【0003】
図12は、従来の音声通信システムにおいて送話側から受話側に音声が伝達される様子の例について示した説明図である。
【0004】
例えば、図12のように、マイクやスピーカが配置されていて、送話側のマイクと受話側のスピーカとが対応付けられている場合、音源から受聴者に音が伝達されるまでの経路は図中の矢印のように3通り存在する。このとき、受聴者は経路R1〜R3の3つの経路を介して伝達された3つの音を聴くことになるのだが、最短経路である経路R1に比べて経路R2や経路R3の音の到来時間が遅いほど、受聴者にとって音が不自然に重なり合って感じられ、明瞭度を低下させる。
【0005】
なお、以下において、音源と受聴者間の複数の音響経路から伝わる音が、経路ごとの到来時間差によって受聴者に重なり合って聴こえる現象を「反響」又は「反響効果」と呼ぶものとする。また、最短距離の経路で音源と受聴者間の経路で最短距離の経路を「一次経路」とよび、それ以外の経路を「二次経路」と呼ぶものとする。また、一次経路を伝わる音を「一次音」、二次経路を伝わる音を「二次音」と呼ぶものとする。図12の場合、経路R1が一次経路、経路R2と経路R3が二次経路となる。また一次音は経路R1を伝わる音となり、二次音は経路R2と経路R3を伝わる音となる。
【0006】
音声通信システムにおいて、上述のような反響を防止するものとして、特許文献1に記載の装置(音声会議装置)がある。
【0007】
図11は、特許文献1に記載の装置を簡略した構成を示した説明図である。
【0008】
図11の特許文献1に記載の装置では、音声入力に複数個のマイクを用いる際に、同一発話者の声が複数マイクに入ると、相手側に伝わる際に、話者とマイク間の距離差によって、音がわずかずつ時間的にずれて重なり合った結果、相手側での音声の明瞭度を下げるという課題を解決するための技術に関するものである。特許文献1の記載技術では、この課題を解決するために、有効マイク判定部をもうけ、各マイクへの入力音声信号を観測し、一番最初に音の入力を検出したマイクを有効マイクとして、当該マイクによる入力のみを通信相手側に伝送する、という動作を行っている。また派生形態として、マイクへの入力レベルを観測し、入力レベルが最大のマイクを有効マイクとする、という動作もある。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開昭61−224550号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
複数のマイクやスピーカを用いた音声通信システムには、上述のような課題があるものの、二次音は遅延時間が短い場合には、一次音の明瞭度を高めるという効果があることが分かっている。特許文献1に記載されている装置では、二次経路を遮断することで、反響は抑制できるものの、送話側から伝達される情報量が減少し、例えば、送話側の音源位置の移動する感覚が受話側に伝わりにくくなるなど、臨場感を低下させてしまうという問題がある。
【0011】
そのため、受聴者にとって反響が発生する頻度を低減しつつ、臨場感の低下を抑制する音声通信システム及び音声通信制御装置が望まれている。
【課題を解決するための手段】
【0012】
第1の本発明の音声通信システムは、(1)送話側から受話側へ音声信号を送信する複数の伝送経路と、いずれかの上記伝送経路に接続され、送話側の音声を捕捉する複数の送話側マイクロフォンと、いずれかの上記伝送経路に接続され、いずれかの送話側マイクロフォンが捕捉した音声信号を発音出力する複数の受話側スピーカとを備える音声通信システムであって、(2)上記送話側マイクロフォンにより捕捉された音声信号が、全ての上記受話側スピーカにより発音出力された際に、反響効果が発生するか否かを判定する反響判定手段と、(3)上記反響判定手段により、反響効果が発生すると判定された場合には、上記伝送経路のうち一部について受話側への信号送信を制限する制御を行う制御手段とを有することを特徴とする。
【0013】
第2の本発明の音声通信制御装置は、(1)送話側から受話側へ音声信号を送信する複数の伝送経路と、いずれかの上記伝送経路に接続され、送話側の音声を捕捉する複数の送話側マイクロフォンと、いずれかの上記伝送経路に接続され、いずれかの送話側マイクロフォンが捕捉した音声信号を発音出力する複数の受話側スピーカとを備える音声通信システムの構成要素である音声通信制御装置であって、(2)上記送話側マイクロフォンにより捕捉された音声信号が、全ての上記受話側スピーカにより発音出力された際に、反響効果が発生するか否かを判定する反響判定手段と、(3)上記反響判定手段により、反響効果が発生すると判定された場合には、上記伝送経路のうち一部について受話側への信号送信を制限する制御を行う制御手段とを有することを特徴とする。
【発明の効果】
【0014】
受聴者にとって反響が発生する頻度を低減しつつ、臨場感の低下を抑制する音声通信システムを提供することができる。
【図面の簡単な説明】
【0015】
【図1】第1の実施形態に係る音声通信システムの機能的構成について示したブロック図である。
【図2】第1の実施形態に係る送話側反響情報生成部の機能的構成について示したブロック図である。
【図3】第1の実施形態に係る送信側反響制御情報の内容例について示した説明図である。
【図4】第1の実施形態に係る伝送経路制御部の機能的構成について示したブロック図である。
【図5】第1の実施形態に係る経路制御信号の内容例について示した説明図である。
【図6】第2の実施形態に係る音声通信システムの機能的構成について示したブロック図である。
【図7】第2の実施形態に係る受話側反響情報生成部の機能的構成について示した説明図である。
【図8】第2の実施形態に係る伝送経路制御部の内部構成について示した説明図である。
【図9】第3の実施形態に係る音声通信システムの機能的構成について示したブロック図である。
【図10】第3の実施形態に係る伝送経路制御部の機能的構成について示したブロック図である。
【図11】従来の音声通信システムの機能的構成について示したブロック図である。
【図12】従来の音声通信システムにおいて送話側から受話側に音声が伝達される様子の例について示した説明図である。
【発明を実施するための形態】
【0016】
(A)第1の実施形態
以下、本発明による音声通信システム及び音声通信制御装置の第1の実施形態を、図面を参照しながら詳述する。
【0017】
(A−1)第1の実施形態の構成
図1は、この実施形態の音声通信制御装置10を搭載した音声通信システム1の全体構成を示すブロック図である。音声通信システム1としては、例えば、複数拠点間で、少なくとも音声を用いて会議を行う会議システム等が該当する。
【0018】
音声通信システム1は、2つの送話側マイク11(11−1、11−2)、2つの送話側スピーカ12(12−1、12−2)、2つの受話側マイク16(16−1、16−1)、2つの受話側スピーカ17(17−1、17−1)、音声信号制御装置10を有している。また、音声信号制御装置10は、2つの経路処理部13(13−1、13−2)、送話側反響情報生成部14、伝送制御部15を有している。
【0019】
図1においては、送話側マイク11−1に入力される音声信号は、伝送経路を経由してスピーカ17−1から出力され、送話側マイク11−2に入力される音声信号は、伝送経路を経由してスピーカ17−2から出力されるものとして説明している。なお、音声通信システム1においては、それぞれの伝送経路について識別情報(以下、「経路ID」という)が付与されており、ここでは、送話側マイク11−1と受話側スピーカ17−1との間の伝送経路の経路IDを「1」、送話側マイク11−2と受話側スピーカ17−2との間の伝送経路の経路IDを「2」であるものとして説明する。
【0020】
図1においては、説明を簡易にするために、マイク、スピーカの数は送話側、受話側ともに2つとし、伝送経路の数も2つの構成としているが、これらの数は限定されないものである。
【0021】
なお、送話側マイク11−1、11−2、送話側スピーカ12−1、12−2、受話側マイク16−1、16−2、受話側スピーカ17−1、17−2については、既存の音声通信システム(例えば、特許文献1に記載の装置)におけるマイク及びスピーカを適用することができる。
【0022】
また、図1においては、複数の伝送経路が記載されているが、それぞれを物理的に別個の回線として構成しても良いし、一本の伝送路を論理的に多重化(例えば、時分割多重化や、パケット通信による多重化など)して複数の伝送経路を構築するようにしても良い。また、伝送経路上を流れる音声信号は、アナログ信号でも良いし、ディジタル信号でも良い。
【0023】
以下、音声通信制御装置10の詳細構成について説明する。
【0024】
まず、送話側反響情報生成部14の詳細構成について説明する。送話側反響情報生成部14は、送話側マイク11−1、11−2における送話信号の入力状況に応じて、反響効果が発生するか否かを判定するための情報(以下、「送信側反響制御情報」という)を生成して、伝送経路制御部15に与えるものである。
【0025】
図2は、送話側反響情報生成部14内部の機能的構成について示したブロック図である。
【0026】
送話側反響情報生成部14は、2つの立ち上がり時間観測部141(141−1、141−2)と、時間差計算部142、反響制御情報送信部143を有している。
【0027】
立ち上がり時間観測部141−1、141−2は、それぞれ送話側マイク11−1、11−2から与えられた音声信号について、立ち上がり時間を計測し、時間差計算部142に与える。
【0028】
立ち上がり時間観測部141−1、141−2は、例えば、送話側マイクから与えられる音声信号において、既存の有音状態又は無音状態を検出する手段を備えて、送話側マイクの入力状態が、無音状態から有音状態に遷移したタイミングを、「立ち上がり時間」としても良い。
【0029】
時間差計算部142は、立ち上がり時間観測部141−1、141−2のそれぞれから与えられた立ち上がり時間の差分(以下、「時間差」という)を計算する。そして、時間差計算部142は、立ち上がり時間が遅い送話側マイクに係る経路を、反響発生源となる二次経路と判定し、その経路の経路IDと共に時間差の情報を反響制御情報送信部143に与える。
【0030】
反響制御情報送信部143は、時間差計算部142から取得した時間差と経路IDとを有する情報を、送話側反響制御情報として、伝送経路制御部15に送信する。
【0031】
図3は、送話側反響制御情報の内容の例について示した説明図である。
【0032】
送話側反響制御情報の構成は、図3に示すように、経路間の時間差と経路IDとから構成されるものとする。図3においては、時間差が45msで、二次経路の経路IDは2であることを表している。
【0033】
次に、伝送経路制御部15の詳細構成について説明する。
【0034】
図4は、伝送経路制御部15内部の機能的構成について示したブロック図である。
【0035】
伝送経路制御部は反響制御情報取得部151、経路制御信号生成部152、経路制御信号送信部153を有している。
【0036】
反響制御情報取得部151は、送話側反響情報生成部14から送話側反響制御情報を取得し、経路制御信号生成部152に転送する。
【0037】
経路制御信号生成部152は、取得した送話側反響制御情報から、「時間差」の情報を抽出して、所定の閾値と比較することにより、反響の有無を判定する。そして、判定結果において、「反響有り」ならば「1」、「反響無し」ならば「0」という値を、経路IDに対応付けた信号(以下、「経路制御信号」という)を生成する。
【0038】
図5は、経路制御信号の内容の例について示した説明図である。
【0039】
図5においては、経路制御信号は、経路IDが2の経路で反響が生じる、ということを意味する例である。
【0040】
伝送経路制御部15では、上述の処理により生成された経路制御信号を、経路制御信号送信部153から、各伝送経路上に配置されている経路処理部13−1、13−2に送り出す。経路処理部13−1、13−2は経路制御信号から、反響の有無と、二次経路(反響源となりうる経路)を認識する。そして、反響が生じる場合に自己の経路が二次経路ならば、自経路の音声信号の伝送を遮断し、一方、自経路が二次経路ではない、あるいは反響が発生しない場合には、経路処理部は音声信号の伝送に一切の処理を行わない。
【0041】
(A−2)第1の実施形態の動作
次に、以上のような構成を有する第1の実施形態の音声通信システム1における音声通信制御装置10の動作を、図1を用いて説明する。
【0042】
まず、送話側で話者が発声し、その音声が送話側マイク11−1、11−2により捕捉され、音声信号が音声通信制御装置10(送話側反響情報生成部14)に入力される。
【0043】
次に、送話側反響情報生成部14では、与えられた2つの音声信号に係る音伝送経路の立ち上がり時間の時間差に基づいて、送話側反響制御情報が生成され、生成された送話側反響制御情報が、伝送経路制御部15に与えられる。なお、ここでは、送話側反響情報生成部14により生成される送話側反響制御情報は、上述の図3に示す情報であるものとする。
【0044】
次に、伝送経路制御部15では、送話側反響制御情報が与えられると、その送話側反響制御情報に基づいて反響の発生有無が判定され、その判定結果に応じて、音の伝送経路を遮断するか否か制御するかを決定し、その決定結果に応じた経路制御信号が、経路処理部13−1、13−2に送信される。なお、ここでは、反響の発生の有無を判定するための閾値を、「30ms」とすると、図3に示す送話側反響制御情報では、時間差が「45ms」であるため「反響有り」と判定される。さらに、図3に示す送話側反響制御情報では、経路IDが「2」の経路(経路処理部13−1側の経路)で反響が生じる二次経路となっているため、経路制御信号は、上述の図5に示す通り、反響決定結果が「1」、経路IDが「2」を示す経路制御信号が生成され、経路処理部13−1、13−2に与えられる。
【0045】
そして、経路処理部13−1、13−2では、与えられた経路制御信号に従って、経路を遮断するか、素通りさせるかのいずれかの処理が施される。経路処理部13−1、13−2では、上述の例では、反響決定結果が「1」、経路IDが「2」を示す経路制御信号が与えられているので、経路処理部13−2において経路が遮断され、経路処理部13−1においては経路が遮断されずに信号が素通りする処理が行われる。
【0046】
以上の動作を送話側で行うことで、反響が発生するか否かを判定して、もし反響が発生するのであれば、二次音が相手側に伝送されないように制御する、という動作が行われる。
【0047】
(A−3)第1の実施形態の効果
第1の実施形態によれば、以下のような効果を奏することができる。
【0048】
送話側反響情報生成部14を用いて、反響が発生するか否かを判定し、発生すると判定した場合にのみ、二次経路の音声信号の伝送を制限(この実施形態においては遮断)して反響を防止する一方、反響が発生しないと判定されている間は、複数の送話側マイクで捕捉した音声が、複数の受話側スピーカにより受聴者に出力されるため、受聴者にとって臨場感が保たれることになる。従来の特許文献1に記載の装置では、一番最初に音の入力を検出したマイクを有効マイクとして、当該マイクによる入力のみを通信相手側に伝送するようにしているため、常に一つのマイクで捕捉した音声しか受聴者に出力されないが、第1の実施形態の音声通信システム1では、反響が発生すると判定した場合のみ二次経路の音声信号の伝送を制限するため、特許文献1に記載の装置よりも臨場感の低下を抑制することができる。すなわち、第1の実施形態の音声通信システム1では、受聴者にとって反響が発生する頻度を低減しつつ、臨場感の低下を抑制するという効果を奏することができる。
【0049】
(B)第2の実施形態
以下、本発明による音声通信システム及び音声通信制御装置の第2の実施形態を、図面を参照しながら詳述する。
【0050】
(B−1)第2の実施形態の構成
第1の実施形態においては、送話側の要因により反響が発生するか否かを判定し、発生すると判定した場合には、二次経路を遮断して反響を防止する音声通信システム1(音声通信制御装置10)について説明したが、第2の実施形態の音声通信システム1A(音声通信制御装置10A)は、受話側の要因で反響が生じるか否かを判定して、音声通信を制御する点で第1の実施形態と異なっている。
【0051】
図6は、第2の実施形態の音声通信制御装置10Aを搭載した音声通信システム1Aの全体構成を示すブロック図である。
【0052】
音声通信システム1Aは、2つの送話側マイク11(11−1、11−2)、2つの送話側スピーカ12(12−1、12−2)、2つの受話側マイク16(16−1、16−1)、2つの受話側スピーカ17(17−1、17−1)、音声信号制御装置10Aを有している。送話側マイク11−1、11−2、送話側スピーカ12−1、12−2、受話側マイク16−1、16−1、受話側スピーカ17−1、17−1については、第1の実施形態と同様のものであるので、詳しい説明を省略する。
【0053】
また、音声信号制御装置10Aは、2つの経路処理部13(13−1、13−2)、受話側反響情報生成部18、伝送制御部15Aを有している。経路処理部13−1、13−2については、第1の実施形態と同様のものであるので、詳しい説明は省略する。
【0054】
次に、受話側反響情報生成部18の詳細構成について説明する。受話側反響情報生成部18は、受話側スピーカ17−1、17−2と受聴者との相対的な位置関係に応じて、反響が生じるか否かを推定するための情報(以下、「受話側反響制御情報」という)を生成して、伝送経路制御部15Aに与える。
【0055】
図7は、受話側反響情報生成部18内部の機能的構成について示したブロック図である。
【0056】
受話側反響情報生成部18は、音源位置推定部181、スピーカ位置情報取得部182、時間差計算部183、反響制御情報送信部184を有している。
【0057】
音源位置推定部181は、受話側マイクと受聴者の位置を推定してその位置情報を保持する。なお、音源位曙の推定には、公知の音源位置推定技術(例えば、特開2004−64697号公報に記載の音源受音位置推定技術)を用いても良い。そして、音源位置推定部181は、受話側マイクに対する音源(受聴者)の位置を推定した結果の情報(以下、「音源位置情報」という)を、時間差計算部183に与える。なお、公知の屋内測位技術から得た位置情報の保持については、この実施形態においては、通信装置を利用する室内に座標系を仮想的に設定し屋内測位技術によって取得したスピーカやマイクなどの位置情報を座標系に当てはめて、座標という形態で保持することを想定している。また機器間の距離差を計算する際は、この座標情報から三平方の定理を用いて算出すればよい。ただし、位置情報の保持の方法や距離差の計算法は、これに限定しない。
【0058】
また、音源位置推定部181で音源位置を推定するために、受話側マイクに入力される音声を用いているが、「受話側」であるのに、受話側マイクに対する入力がある理由について説明する。この実施形態で扱っている対象は音声によるコミュニケーションとしても良い。従って、常に一方が話し続けるというわけではなく、送話と受話とは入れ替わる場合がある。従って、ある時点では受話側であっても、その以前には送話側であったことになる。すなわち、受話側になる以前に、送話側であった時に取得したマイクの入力信号から得た情報を用いることができるので、受話側であってもマイクの入力信号を用いることが可能となる。
【0059】
スピーカ位置情報取得部182は、受話側の各スピーカの位置情報(以下、「スピーカ位置情報」という)を取得する。受話側の各スピーカの位置情報の取得には、例えば、特開2008−128934号公報に記載の位置検出システムのような、公知の屋内測位技術を用いても良いし、予め、受話側の各スピーカの位置情報を記録手段に格納しておき、格納した情報を取得するようにしておいても良い。
【0060】
時間差計算部183は、音源位置推定部181から与えられる音源位置情報と、スピーカ位置情報取得部182から取得したスピーカ位置情報とに基づいて、各受話側スピーカと、受聴者との間の距離(以下、「受聴距離」という)を算出し、この距離を音速で除算することで、各受話側スピーカから受聴者までの音声が到達するまでの時間(以下、「到達時間」という)を得る。
【0061】
反響制御情報送信部184は、時間差計算部183が算出した結果に基づいて、二次経路となる受話側スピーカに係る時間差と経路IDを含む情報を、受話側反響制御情報として生成し、伝送経路制御部15Aに与える。
【0062】
受話側反響制御情報は、内容的には、上述の図3に示す送話側反響制御情報と同様に、二次経路に係る時間差と経路IDで現されるものである。
【0063】
次に、伝送経路制御部15Aの詳細構成について説明する。
【0064】
図8は、伝送経路制御部15A内部の機能的構成について示したブロック図である。
【0065】
伝送経路制御部は反響制御情報取得部151A、経路制御信号生成部152A、経路制御信号送信部153を有している。経路制御信号送信部153は、第1の実施形態と同様のものであるので詳しい説明を省略する。
【0066】
反響制御情報取得部151は、受話側反響情報生成部18から受話側反響制御情報を取得し、経路制御信号生成部152Aに転送する。
【0067】
経路制御信号生成部152Aは、取得した送話側反響制御情報から、「時間差」の情報を抽出して、所定の閾値と比較することにより、反響の有無を判定する。以降、第1の実施形態の経路制御信号生成部152と同様に、判定結果において、「反響有り」ならば「1」、「反響無し」ならば「0」という値を、経路IDに対応付けて経路制御信号を生成し、経路処理部13−1、13−2に送り出して経路制御を行う。
【0068】
(B−2)第2の実施形態の動作
次に、以上のような構成を有する第2の実施形態の音声通信システム1における音声通信制御装置10Aの動作を、図6を用いて説明する。
【0069】
まず、受話側反響情報生成部18により、受話側スピーカ17−1、17−2と、受聴者との相対的な距離に基づいて時間差が算出され、算出した結果に基づいて受話側反響制御情報が生成される。なお、ここでは、受話側反響情報生成部18により生成される受話側反響制御情報では、時間差が「45ms」、経路IDが「2」であるものとする。
【0070】
次に、伝送経路制御部15Aでは、受話側反響制御情報が与えられると、その受話側反響制御情報に基づいて、反響の発生有無が判定され、その判定結果に応じて、音の伝送経路を遮断するか否か制御するかを決定し、その決定結果に応じた経路制御信号を、経路処理部13−1、13−2に送信する。なお、ここでは、反響の発生の有無を判定するための閾値を、「30ms」とすると、ここでは、受話側反響制御情報における時間差は「45ms」であるため「反響有り」と判定される。さらに、受話側反響制御情報によれば、経路IDが「2」の経路(経路処理部13−1側の経路)が、反響が生じる二次経路となっているため、経路制御信号としては、反響決定結果が「1」、経路IDが「2」を示す経路制御信号が生成され、経路処理部13−1、13−2に与えられる。
【0071】
以降は、第1の実施形態と同様に、経路処理部13−1、13−2は、経路制御信号に従って動作することになるため、詳しい説明は省略する。
【0072】
(B−3)第2の実施形態の効果
第2の実施形態によれば、以下のような効果を奏することができる。
【0073】
従来の特許文献1の記載技術では、受話側で複数個のスピーカで再生する時の、受聴者と複数スピーカの位置による到来時間差が考慮されていない。そのため、送話側の音源−マイク間距離だけでなく、受話側の要因(受話側のスピーカ受聴者間距離の差が原因で生じる音の到来時間差)によって、反響効果が発生するという問題があった。一方、第2の実施形態の音声通信システム1A(音声通信制御装置10A)では、受話側の要因で反響が生じるか否かを判定し、発生すると判定した場合には、二次経路の音声信号の伝送を制限(この実施形態においては遮断)して反響を防止する。これにより、受話側の要因により反響が発生する場合でも、受聴者にとって反響が発生する頻度を低減しつつ、臨場感の低下を抑制することができる。
【0074】
(C)第3の実施形態
以下、本発明による音声通信システム及び音声通信制御装置の第3の実施形態を、図面を参照しながら詳述する。
【0075】
(C−1)第3の実施形態の構成
第1の実施形態と、第2の実施形態はともに、送話側の要因のみ、または、受話側の要因のみに基づいて反響発生の有無を判定していたが、第3の実施形態では、送話側及び受話側の両方の要因に基づいて反響発生の有無を判定する。
【0076】
図9は、第3の実施形態の音声通信制御装置10Bを搭載した音声通信システム1Bの全体構成を示すブロック図である。
【0077】
第3の実施形態の音声通信システム1Bは、第2の実施形態における音声通信制御装置10Aが、音声通信制御装置10Bに置き換わっただけで、その他の構成は第2の実施形態と同様である。
【0078】
音声通信制御装置10Bは、経路処理部13−1、13−2、送話側反響情報生成部14、受話側反響情報生成部18、伝送経路制御部15Bを有している。
【0079】
経路処理部13−1、13−2は、第1及び第2の実施形態のものと同様であるので詳しい説明を省略する。また、送話側反響情報生成部14は、第1の実施形態と同様のものであるので詳しい説明を省略する。さらに、受話側反響情報生成部18は、第2の実施形態のものと同様であるので詳しい説明は省略する。
【0080】
第1の実施形態の伝送経路制御部15は、送話側反響制御情報のみに基づいて経路制御信号を生成しており、第2の実施形態の伝送経路制御部15Aは、受話側反響制御情報のみに基づいて経路制御信号を生成していた。一方、第3の実施形態の伝送経路制御部15Bでは、送話側反響制御情報及び受話側反響制御情報の両方を用いて経路制御信号を生成する点で、第1及び第2の実施形態と異なる。
【0081】
次に、経路制御信号生成部152Bの詳細構成について説明する。経路制御信号生成部152Bでは、送話側反響制御情報に基づく反響の有無の判定結果(送信側反響判定部155の判定結果)が「主」、受話側反響制御情報に基づく反響の有無の判定結果(第2の実施形態における受話側反響情報生成部18と同様の方法により判定)が「従」として取り扱われる。すなわち、原則は、送話側反響制御情報に基づく反響の有無の判定結果が「反響有り」の場合には、送話側反響制御情報に従って二次経路が判定される。そして、送話側反響制御情報に基づく反響の有無の判定結果が「反響無し」の場合には、さらに、受話側反響制御情報に基づく反響の有無の判定を行い、その判定結果が「反響有り」の場合には、受話側反響制御情報に基づいて二次経路が判定され、経路制御信号が生成される。送話側反響制御情報、及び、受話側反響制御情報のいずれを用いても判定結果が「反響無し」の場合には、総合的に「反響無し」と判断され、特に経路遮断等の処理は行われないことになる。
【0082】
図10は、伝送経路制御部15Bの内部構成の例について示したブロック図である。
【0083】
経路制御信号生成部152Bとしては、図10のように構成しても良い。図10では、受話側反響情報生成部18の動作は通常は停止させておき、この状況下で、まずは送話側反響制御情報のみを用いて伝送経路制御部で反響発生の判定を行い、もし反響が生じるならば、受話側反響情報生成部18からの情報(受話側反響制御情報)を用いることなく、経路制御信号を生成して二次経路を遮断する。一方、送話側を要因とする反響が生じないならば、さらに受話側反響情報生成部18にも受話側反響制御情報を要求し、送話側反響制御情報及び受話側反響制御情報送話側の双方を用いて反響発生の有無の判定を行い、経路制御信号を生成する。
【0084】
図10において、伝送経路制御部15Bは、送信側反響制御情報取得部154、送信側反響判定部155、受信側反響制御情報要求部156、総合反響判定部157、経路制御信号生成部152B、経路制御信号送信部153を有している。
【0085】
送信側反響制御情報取得部154は、送話側反響情報生成部14から送話側反響制御情報を取得して、送信側反響判定部155に転送するものである。
【0086】
送信側反響判定部155は、与えられた送話側反響制御情報に基づいて、反響の有無を、第1の実施形態の経路制御信号生成部152と同様の方法により判定し、判定結果が「判定有り」の場合には、その判定結果を経路制御信号生成部152Bに与え、判定結果が「判定無し」の場合には、その判定結果を受信側反響制御情報要求部156に与える。
【0087】
受信側反響制御情報要求部156は、送信側反響判定部155から、「反響無し」の判定結果が与えられた場合には、受話側反響情報生成部18から受話側反響制御情報を取得し、総合反響判定部157に与える。また、受信側反響制御情報要求部156は、送信側反響判定部155から与えられた判定結果も総合反響判定部157に与える。
【0088】
なお、受信側反響制御情報要求部156は、送信側反響判定部155から与えられる判定結果の有無に関わらず、受話側反響制御情報を保持しておくようにしても良い。
【0089】
総合反響判定部157は、受信側反響制御情報要求部156から、受話側反響制御情報、及び、送信側反響判定部155の判定結果(反響無しの判定結果)が与えられると、その受話側反響制御情報に基づいて反響の有無の判定結果を決定するものと判断し、受話側反響制御情報を、経路制御信号生成部152Bに与える。
【0090】
経路制御信号生成部152Bは、総合反響判定部157から与えられた判定結果に従って、経路制御信号を生成し、経路制御信号送信部153を介して、経路処理部13−1、13−2に与えて、経路制御を行う。
【0091】
なお、伝送経路制御部15Bの内部構成については、上述の図10のように構成しても良いし、予め送話側反響制御情報及び受話側反響制御情報の両方を保持してから、双方を考慮して反響発生の有無を判定するようにしても良い。
【0092】
(C−2)第3の実施形態の動作
次に、以上のような構成を有する第3の実施形態の音声通信システム1における音声通信制御装置10Bの動作を、図9及び図10を用いて説明する。
【0093】
まず、送話側で話者が発声し、その音声が送話側マイク11−1、11−2により捕捉され、音声信号が音声通信制御装置10(送話側反響情報生成部14)に入力されたものとする。そして、送話側反響情報生成部14では、与えられた2つの音声信号に係る音伝送経路の距離差に基づいて、送話側での反響の状況に係る送話側反響制御情報が生成され、生成された送話側反響制御情報が、伝送経路制御部15に与えられる。なお、ここでは、送話側反響情報生成部14により生成される送話側反響制御情報では、時間差が「10ms」、経路IDが「2」であるものとする。
【0094】
また、受話側では、受話側反響情報生成部18により、従前に受話側スピーカ17−1、17−2と、受聴者との相対的な距離に基づいて時間差が算出され、算出した結果に基づいて受話側反響制御情報が生成されているものとする。なお、ここでは、受話側反響情報生成部18により生成される受話側反響制御情報は、時間差が「45ms」、経路IDが「2」であるものとする。
【0095】
次に、伝送経路制御部15Bでは、送話側反響制御情報が与えられると、送信側反響判定部155において、送話側での反響の発生有無が判定される。
【0096】
送信側反響判定部155において、送話側で「反響有り」と判定された場合には、送話側反響制御情報が経路制御信号生成部152Bに与えられ、送話側反響制御情報に基づいて経路制御信号が生成されて、経路処理部13−1、13−2に与えられ、経路制御が行われる。
【0097】
送信側反響判定部155において、送話側で「反響無し」と判定された場合には、受信側反響制御情報要求部156により、受話側反響情報生成部18から受話側反響制御情報が取得される。そして、総合反響判定部157において、取得された受話側反響制御情報に基づいて、今度は受話側での反響の有無が判定される。
【0098】
総合反響判定部157において、受話側で「反響有り」と判定された場合には、受話側反響制御情報が経路制御信号生成部152Bに与えられ、受話側反響制御情報に基づいて経路制御信号が生成されて、経路処理部13−1、13−2に与えられ、経路制御が行われる。
【0099】
ここでは、上述の通り、送話側反響制御情報は、時間差が「10ms」、経路IDが「2」であり、受話側反響制御情報は、時間差が「45ms」、経路IDが「2」である。そして、響の発生の有無を判定するための閾値を、送話側受話側共に「30ms」とすると、送話側では「反響無し」、受話側では「反響有り」と判定されるため、受話側反響制御情報に基づいて、反響決定結果が「1」、経路IDが「2」を示す経路制御信号が生成され、経路処理部13−1、13−2に与えられる。
【0100】
以降は、第1及び第2の実施形態と同様に、経路処理部13−1、13−2は、経路制御信号に従って動作することになるため、詳しい説明は省略する。
【0101】
(C−3)第3の実施形態の効果
第3の実施形態によれば、以下のような効果を奏することができる。
【0102】
第1の実施形態と、第2の実施形態はともに、送話側又は受話側のいずれか一方の要因のみに基づいて反響発生の有無を判定していたが、第3の実施形態では、送話側及び受話側の両方の要因を考慮して反響発生の有無を判定し、反響が生じると判定した場合には、二次経路の音声信号の伝送を制限(この実施形態においては遮断)して反響を防止する。このように、送話側及び受話側の両方の要因を考慮して反響が発生するか否かを判定することにより、第1及び第2の実施形態と比較して、反響が発生していると判定する精度を、より向上させることができる。
【0103】
また、伝送経路制御部15Bでは、図9、図10の例に示すように、受話側反響情報生成部18の動作は通常は停止させておき、この状況下で、まずは送話側反響制御情報のみを用いて伝送経路制御部で反響発生の判定を行い、もし反響が生じるならば、受話側反響情報生成部18からの情報(受話側反響制御情報)を用いることなく、経路制御信号を生成して二次経路を遮断する。一方、送話側を要因とする反響が生じないならば、さらに受話側反響情報生成部18にも受話側反響制御情報を要求し、送話側反響制御情報及び受話側反響制御情報送話側の双方を用いて反響発生の有無の判定を行い、経路制御信号を生成する、という構成についても示した。伝送経路制御部15Bについて上述の図10に示す構成を採用することにより、受話側反響情報生成部18の処理量を低減し、消費電力の削減などが期待できる。
【0104】
(D)他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【0105】
(D−1)上記の各実施形態においては、送話側反響制御情報及び受話側反響制御情報おいて、反響の有無を判定するための情報として「時間差」を用いたが、「距離差」を用いて判定してもよい。
【0106】
(D−2)上記の各実施形態においては、経路処理部は、反響発生時には二次経路を遮断していたが、遮断するのではなく、ボリュームを減衰させる、一次音に遅延を入れるなど、他の方法により、反響を防止するようにしても良い。
【0107】
(D−3)第3の実施形態においては、伝送経路制御部15Bにより、自動的に送話側反響制御情報又は受話側反響制御情報のいずれかを用いて反響の有無を判定するようにしていたが、ユーザ(受話側、送話側のどちらでも良い)の操作に応じて、送話側反響制御情報又は受話側反響制御情報のいずれかのみを用いて反響の有無を判定するように設定変更する手段を備えるようにしても良い。
【0108】
(D−4)上記の各実施形態においては、音声通信システムにおける伝送経路(送話側マイク及び受話側スピーカを含む)が2つの例について説明したが、上述の通り伝送経路の数は限定されず3つ以上であっても良い。
【0109】
まず、第1の実施形態において、伝送経路が3つ以上の場合の反響発生の有無の判定方法について説明する。この場合、「最も早い」立ち上がり時間と「最も遅い」立ち上がり時間の差分が閾値以上であった場合に「反響有り」と判定するようにしても良いし。全ての立ち上がり時間の平均時間との差分が閾値以上の立ち上がり時間があった場合に「反響有り」と判定するようにしても良い。また、「反響有り」と判定された場合において、最も早い立ち上がり時間に係る伝送経路を一次経路として、その他の経路を二次経路として音声信号の送信を遮断するようにしても良い。また、「反響有り」と判定された場合において、一次経路以外の経路を全て制限してしまうのではなく、一次経路との時間差が閾値以上の経路のみを制限するようにしても良い。
【0110】
次に、第2の実施形態において、伝送経路が3つ以上の場合の反響の発生の有無の判定方法について説明する。この場合、最も短い到達時間と最も長い到達時間の差分が、閾値以上であった場合に「反響有り」と判定するようにしても良い。また、全ての到達時間の平均時間との差分が閾値以上の到達時間があった場合に「反響有り」と判定するようにしても良い。また、「反響有り」と判定された場合において、最も短い到達時間に係る伝送経路を一次経路として、その他の経路を二次経路として音声信号の送信を制限するようにしても良い。また、「反響有り」と判定された場合において、一次経路以外の経路を全て制限してしまうのではなく、一次経路との時間差が閾値以上の経路のみを制限するようにしても良い。
【0111】
(D−5)上記の各実施形態においては、説明を簡易にするため、本発明の音声通信システムを送話側と受話側の2拠点のみで構築した例について示したが、3拠点以上(すなわち、受話側が複数拠点)で構成するようにしても良い。
【0112】
第1の実施形態のように、送話側の要因(送話側反響制御情報)のみに基づいて反響の有無を判定する場合には、送話側とそれぞれの受話側の拠点との間で上述の図1のように構成されていれば良いが、第2及び第3の実施形態のように、受話側の要因(受話側反響制御情報)も考慮して反響の有無を判定する場合には、送話側とそれぞれの受話側の拠点との間で反響が発生するか否かを判定するようにしても良い。
【0113】
例えば、送話側が1拠点に対して、受話側拠点が2拠点あった場合を想定する。この場合、第1の受話側拠点に係る受話側反響制御情報を考慮して反響の有無を判定した第1の結果が「反響有り」で、第2の受話側拠点に係る受話側反響制御情報を考慮して反響の有無を判定した第2の結果が「反響無し」であった場合には、第1の受話側拠点に対する経路における音声信号のみを制限することが挙げられる。また、第1の受話側拠点及び第2の受話側拠点の両方について判定結果が「反響有り」の場合でも、一次経路がどの経路になるのかについての判定結果が、異なる場合もあるが、その場合には、受話側拠点ごとに、音声信号の伝送を制限する経路を選択して処理するようにしても良い。なお、送話側反響制御情報に基づいて反響の有無を判定した結果が「反響有り」の場合には、送話側反響制御情報に基づく判定結果を優先し、受話側反響制御情報に基づく判定結果に関わらず全体として「反響有り」と判定するようにしても良い。
【符号の説明】
【0114】
1…音声通信システム、10…音声通信制御装置、11−1,11−2…送話側マイク、12−1,12−2…送話側スピーカ、13−1,13−2…経路処理部、14…送話側反響情報生成部、15…伝送経路制御部、16−1,16−2…受話側マイク、17−1,17−2…受話側スピーカ。
【特許請求の範囲】
【請求項1】
送話側から受話側へ音声信号を送信する複数の伝送経路と、いずれかの上記伝送経路に接続され、送話側の音声を捕捉する複数の送話側マイクロフォンと、いずれかの上記伝送経路に接続され、いずれかの送話側マイクロフォンが捕捉した音声信号を発音出力する複数の受話側スピーカとを備える音声通信システムであって、
上記送話側マイクロフォンにより捕捉された音声信号が、全ての上記受話側スピーカにより発音出力された際に、反響効果が発生するか否かを判定する反響判定手段と、
上記反響判定手段により、反響効果が発生すると判定された場合には、上記伝送経路のうち一部について受話側への信号送信を制限する制御を行う制御手段と
を有することを特徴とする音声通信システム。
【請求項2】
上記反響判定手段は、
それぞれの上記送話側マイクロフォンについて、入力状態が無音状態から有音状態に遷移する有音遷移タイミングを測定する有音遷移タイミング測定部を有し、
少なくとも、上記有音遷移タイミング測定部が測定した有音遷移タイミングに基づいて反響効果が発生しているか否か判定する
ことを特徴とする請求項1に記載の音声通信システム。
【請求項3】
上記反響判定手段は、上記有音遷移タイミング測定部が測定した有音遷移タイミングのうち、最も早い有音遷移タイミングと、最も遅い有音遷移タイミングとの時間差が閾値以上であった場合には、反響効果が発生すると判定することを特徴とする請求項2に記載の音声通信システム。
【請求項4】
上記制御手段は、上記反響判定手段により、反響効果が発生すると判定された場合には、上記有音遷移タイミング測定部が測定した有音遷移タイミングのうち最も早い有音遷移タイミングに対応する上記送話側マイクロフォンが接続している上記伝送経路以外の上記伝送経路のうち、一部又は全部について、受信側へ送信する信号を制限することを特徴とする請求項2又は3に記載の音声通信システム。
【請求項5】
上記反響判定手段は、
それぞれの受話側スピーカと、受聴者との間の受聴距離を検出する受聴距離検出部を有し、
少なくとも上記受聴距離検出部が検出した受聴距離に基づいて、反響効果が発生しているか否かを推定する
ことを特徴とする請求項1に記載の音声通信システム。
【請求項6】
上記反響判定手段は、
上記受聴距離保持手段が検出した受聴距離に基づいて、それぞれの受話側スピーカから、上記受聴者まで音声が到達するまでの到達時間を算出する到達時間算出部をさらに有し、
上記到達時間算出部が算出した到達時間のうち、最も長い到達時間と最も短い到達時間との差分が閾値以上であった場合には、反響効果が発生すると判定する
ことを特徴とする請求項5に記載の音声通信システム。
【請求項7】
上記制御手段は、上記反響判定手段により、反響効果が発生すると判定された場合には、上記到達時間算出部が算出した到達時間のうち最も短い到達時間に対応する上記受話側スピーカが接続している上記伝送経路以外の上記伝送経路のうち、一部又は全部について、受信側へ送信する信号を制限することを特徴とする請求項6に記載の音声通信システム。
【請求項8】
上記反響判定手段は、
それぞれの上記送話側マイクロフォンについて、入力状態が無音状態から有音状態に遷移する有音遷移タイミングを測定する有音遷移タイミング測定部と、
それぞれの受話側スピーカと、受聴者との間の受聴距離を検出する受聴距離検出部とを有し、
少なくとも、上記有音遷移タイミング測定部が測定した有音遷移タイミングと、上記受聴者位置検出手段が検出した受聴距離とに基づいて反響効果が発生しているか否か判定する
ことを特徴とする請求項1に記載の音声通信システム。
【請求項9】
送話側から受話側へ音声信号を送信する複数の伝送経路と、いずれかの上記伝送経路に接続され、送話側の音声を捕捉する複数の送話側マイクロフォンと、いずれかの上記伝送経路に接続され、いずれかの送話側マイクロフォンが捕捉した音声信号を発音出力する複数の受話側スピーカとを備える音声通信システムの構成要素である音声通信制御装置であって、
上記送話側マイクロフォンにより捕捉された音声信号が、全ての上記受話側スピーカにより発音出力された際に、反響効果が発生するか否かを判定する反響判定手段と、
上記反響判定手段により、反響効果が発生すると判定された場合には、上記伝送経路のうち一部について受話側への信号送信を制限する制御を行う制御手段と
を有することを特徴とする音声通信制御装置。
【請求項1】
送話側から受話側へ音声信号を送信する複数の伝送経路と、いずれかの上記伝送経路に接続され、送話側の音声を捕捉する複数の送話側マイクロフォンと、いずれかの上記伝送経路に接続され、いずれかの送話側マイクロフォンが捕捉した音声信号を発音出力する複数の受話側スピーカとを備える音声通信システムであって、
上記送話側マイクロフォンにより捕捉された音声信号が、全ての上記受話側スピーカにより発音出力された際に、反響効果が発生するか否かを判定する反響判定手段と、
上記反響判定手段により、反響効果が発生すると判定された場合には、上記伝送経路のうち一部について受話側への信号送信を制限する制御を行う制御手段と
を有することを特徴とする音声通信システム。
【請求項2】
上記反響判定手段は、
それぞれの上記送話側マイクロフォンについて、入力状態が無音状態から有音状態に遷移する有音遷移タイミングを測定する有音遷移タイミング測定部を有し、
少なくとも、上記有音遷移タイミング測定部が測定した有音遷移タイミングに基づいて反響効果が発生しているか否か判定する
ことを特徴とする請求項1に記載の音声通信システム。
【請求項3】
上記反響判定手段は、上記有音遷移タイミング測定部が測定した有音遷移タイミングのうち、最も早い有音遷移タイミングと、最も遅い有音遷移タイミングとの時間差が閾値以上であった場合には、反響効果が発生すると判定することを特徴とする請求項2に記載の音声通信システム。
【請求項4】
上記制御手段は、上記反響判定手段により、反響効果が発生すると判定された場合には、上記有音遷移タイミング測定部が測定した有音遷移タイミングのうち最も早い有音遷移タイミングに対応する上記送話側マイクロフォンが接続している上記伝送経路以外の上記伝送経路のうち、一部又は全部について、受信側へ送信する信号を制限することを特徴とする請求項2又は3に記載の音声通信システム。
【請求項5】
上記反響判定手段は、
それぞれの受話側スピーカと、受聴者との間の受聴距離を検出する受聴距離検出部を有し、
少なくとも上記受聴距離検出部が検出した受聴距離に基づいて、反響効果が発生しているか否かを推定する
ことを特徴とする請求項1に記載の音声通信システム。
【請求項6】
上記反響判定手段は、
上記受聴距離保持手段が検出した受聴距離に基づいて、それぞれの受話側スピーカから、上記受聴者まで音声が到達するまでの到達時間を算出する到達時間算出部をさらに有し、
上記到達時間算出部が算出した到達時間のうち、最も長い到達時間と最も短い到達時間との差分が閾値以上であった場合には、反響効果が発生すると判定する
ことを特徴とする請求項5に記載の音声通信システム。
【請求項7】
上記制御手段は、上記反響判定手段により、反響効果が発生すると判定された場合には、上記到達時間算出部が算出した到達時間のうち最も短い到達時間に対応する上記受話側スピーカが接続している上記伝送経路以外の上記伝送経路のうち、一部又は全部について、受信側へ送信する信号を制限することを特徴とする請求項6に記載の音声通信システム。
【請求項8】
上記反響判定手段は、
それぞれの上記送話側マイクロフォンについて、入力状態が無音状態から有音状態に遷移する有音遷移タイミングを測定する有音遷移タイミング測定部と、
それぞれの受話側スピーカと、受聴者との間の受聴距離を検出する受聴距離検出部とを有し、
少なくとも、上記有音遷移タイミング測定部が測定した有音遷移タイミングと、上記受聴者位置検出手段が検出した受聴距離とに基づいて反響効果が発生しているか否か判定する
ことを特徴とする請求項1に記載の音声通信システム。
【請求項9】
送話側から受話側へ音声信号を送信する複数の伝送経路と、いずれかの上記伝送経路に接続され、送話側の音声を捕捉する複数の送話側マイクロフォンと、いずれかの上記伝送経路に接続され、いずれかの送話側マイクロフォンが捕捉した音声信号を発音出力する複数の受話側スピーカとを備える音声通信システムの構成要素である音声通信制御装置であって、
上記送話側マイクロフォンにより捕捉された音声信号が、全ての上記受話側スピーカにより発音出力された際に、反響効果が発生するか否かを判定する反響判定手段と、
上記反響判定手段により、反響効果が発生すると判定された場合には、上記伝送経路のうち一部について受話側への信号送信を制限する制御を行う制御手段と
を有することを特徴とする音声通信制御装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−193141(P2010−193141A)
【公開日】平成22年9月2日(2010.9.2)
【国際特許分類】
【出願番号】特願2009−35019(P2009−35019)
【出願日】平成21年2月18日(2009.2.18)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【Fターム(参考)】
【公開日】平成22年9月2日(2010.9.2)
【国際特許分類】
【出願日】平成21年2月18日(2009.2.18)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【Fターム(参考)】
[ Back to top ]