エコー抑圧方法およびその装置
【課題】エコーキャンセル処理後の非線形処理において、背景雑音レベルが大きい場合であっても残留エコーを抑圧できるようにする。
【解決手段】背景雑音推定部３０はエコーキャンセル信号（エコーキャンセル処理をした信号）に含まれる背景雑音を推定する。非線形処理部３４はエコーキャンセル信号から、該推定された背景雑音を減算する。非線形処理部３４は、該減算結果が所定の閾値を超えているときはエコーキャンセル信号は近端話者音声であると判断して、該エコーキャンセル信号をそのまま通過させる。非線形処理部３４は、該減算値が所定の閾値を超えていないときはエコーキャンセル信号は残留エコーであると判断して、該エコーキャンセル信号を［推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル］に応じたゲインに制御して出力する。非線形処理部３４の出力信号は雑音抑圧部３６で雑音抑圧処理されて遠端側に向けて送信される。
【解決手段】背景雑音推定部３０はエコーキャンセル信号（エコーキャンセル処理をした信号）に含まれる背景雑音を推定する。非線形処理部３４はエコーキャンセル信号から、該推定された背景雑音を減算する。非線形処理部３４は、該減算結果が所定の閾値を超えているときはエコーキャンセル信号は近端話者音声であると判断して、該エコーキャンセル信号をそのまま通過させる。非線形処理部３４は、該減算値が所定の閾値を超えていないときはエコーキャンセル信号は残留エコーであると判断して、該エコーキャンセル信号を［推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル］に応じたゲインに制御して出力する。非線形処理部３４の出力信号は雑音抑圧部３６で雑音抑圧処理されて遠端側に向けて送信される。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は携帯電話、テレビ電話装置、音声会議システム、電話回線等に利用されるエコー抑圧方法およびその装置に関し、特に背景雑音レベルが大きい場合であってもエコーキャンセル処理後の非線形処理において残留エコーを精度よく抑圧できるようにしたものである。
【背景技術】
【０００２】
従来のエコー抑圧装置として下記特許文献１，２に記載されたものがあった。特許文献１記載のエコー抑圧装置を図２に示す。送信信号エネルギＭと受信信号エネルギＤからエコーリターン損失Ｒを概算して、ある瞬間のエコー信号の予想エネルギＥをＥ＝Ｄ×Ｒによって計算する。そして帯域ごとに、送信信号エネルギＭがその予想エネルギＥを超える場合は該送信信号は近端側音声信号であると判断し、スイッチ１０をオン（導通）して該送信信号を遠端側に送信する。また送信信号エネルギＭがその予想エネルギＥを超えない場合は送信信号はエコーであると判断し、スイッチ１０をオフ（遮断）してエコーを遠端側に送信しないようにする。
【０００３】
特許文献２記載のエコー抑圧装置を図３に示す。適応フィルタ部１２は、適応フィルタによってエコー経路のインパルス応答（伝達関数）を推定し、該推定したインパルス応答から擬似エコー信号を生成し、送信信号から該擬似エコー信号を減算することでエコーをキャンセルする。適応フィルタ部１２でキャンセルしきれなかった残留エコーはＮＬＰ（Non-Linear Processing：非線形）減衰器１４によって減衰される。すなわちＮＬＰ減衰器１４は残留エコーが発生した際に、適応フィルタ部１２によってエコーキャンセル処理した後の信号（以下「エコーキャンセル信号」）に損失（例えば損失値３０ｄＢ）を与えるもので、エコーが発生しない場合には無損失（損失値０ｄＢ）となるように動作するものである。このような動作により、損失が与えられた場合には、残留エコーを聞き取れないレベルまで減衰させることが可能である。このＮＬＰ処理は時間領域の信号にも、周波数領域の信号にも適用できる。ＮＬＰ処理に起因する背景雑音の途切れ感を低減するために、背景雑音と同レベルおよび同周波数成分の擬似背景雑音を送信信号に挿入して送信する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭５９−８００２９号公報
【特許文献２】特開２０００−１３８６１９号公報
【非特許文献１】J.-S. Soo and K. Pang, "Multidelay block frequency domain adaptive filter", IEEE Trans. Acoust. Speech signal Process., vol. ASSP-38, No. 2, pp. 373-376, Feb 1990.
【非特許文献２】Doblinger G., "Computationally efficient speech enhancement by spectral minima tracking in subbands", Prcoc. Eurospeech, 2, pp. 1513-1516, 1995.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１記載のエコー抑圧装置は、送信信号に近端側の背景雑音が含まれている場合に、スイッチ１０がオン／オフされるのに伴い該背景雑音が送信／遮断されるので、遠端側で聞こえる背景雑音が断続的で不自然になり、通話音質を大幅に劣化させる恐れがある。特許文献２記載のエコー抑圧装置は、ＮＬＰ処理によって減衰された信号に擬似背景雑音を挿入することで上記背景雑音が送信／遮断される問題を回避しようとしているが、挿入する擬似背景雑音は真の背景雑音を十分に再現することが不可能なので、ＮＬＰ処理に起因する背景雑音音質の不自然さを十分に解決することができない。また特許文献１，２記載のエコー抑圧装置はいずれも、送信信号を送信するかあるいは遮断（あるいは減衰）するかを決めるときに背景雑音の影響が考慮されていない。例えば特許文献１のエコー抑圧装置の場合、送信信号に含まれる背景雑音のレベルが大きいと、送信信号が近端側音声信号でなく残留エコー信号であっても、スイッチ１０がオンして、該残留エコー信号を遠端側にそのまま送信してしまう可能性がある。
【０００６】
この発明は上述の点に鑑みてなされたもので、背景雑音レベルが大きい場合であっても残留エコーを精度よく抑圧できるようにしたエコー抑圧方法およびその装置を提供しようとするものである。
【課題を解決するための手段】
【０００７】
この発明は近端側のエコー経路を推定し、遠端側から受信した受信信号の擬似エコー信号を生成する適応フィルタ処理と、前記受信信号のエコー信号、近端側音声および背景雑音が含まれる近端側の信号から前記擬似エコー信号を減算してエコーキャンセル信号を生成する減算処理と、前記背景雑音のスペクトルを推定する背景雑音推定処理と、前記エコーキャンセル信号のスペクトルから前記推定された背景雑音スペクトルを減算し、さらに前記エコーキャンセル信号スペクトルを該スペクトル減算結果に応じて帯域ごと（例えば離散フーリエ変換により分割される帯域ごと）にゲイン制御して、前記遠端側に送信する送信信号のスペクトルを得る非線形処理と、例えば前記擬似エコー信号のスペクトルに基づいて前記エコーキャンセル信号における残留エコーの有無を判定する閾値を帯域ごとに計算する閾値計算処理とを具備し、前記非線形処理は、前記スペクトル減算結果を帯域ごとに前記閾値と比較し、該スペクトル減算結果が前記閾値を超えている帯域は前記エコーキャンセル信号スペクトルを相対的に大きなゲインに制御し、該閾値を超えていない帯域は該エコーキャンセル信号スペクトルを相対的に小さなゲインに制御するものである。
【０００８】
この発明によれば、背景雑音のスペクトルを推定して、エコーキャンセル信号のスペクトルから該推定された背景雑音スペクトルを減算し、エコーキャンセル信号スペクトルを該スペクトル減算結果に応じて帯域ごとにゲイン制御するようにしたので、非線形処理は背景雑音の影響を受けにくい状態でゲイン制御を行うことができる。そしてエコーキャンセル信号における残留エコーの有無を判定する閾値を帯域ごとに計算し、非線形処理は前記スペクトル減算結果を帯域ごとに該閾値と比較し、該スペクトル減算結果が該閾値を超えている帯域はエコーキャンセル信号が近端側音声であると判断してエコーキャンセル信号スペクトルを相対的に大きなゲインに制御し、該閾値を超えていない帯域はエコーキャンセル信号が残留エコーであると判断して該エコーキャンセル信号スペクトルを相対的に小さなゲインに制御するようにしたので、背景雑音レベルが大きい場合であっても残留エコーを抑圧することができる。閾値計算部は例えば、帯域ごとの閾値を、適応フィルタにおける周波数領域での畳み込み演算結果に所定の係数を掛けて生成することができる。このようにすれば適応フィルタ処理における畳み込み演算結果を流用できるので閾値の演算を簡略化することができる。
【０００９】
この発明において、前記非線形処理部は、前記スペクトル減算結果が前記閾値を超えているときは前記エコーキャンセル信号を所定のゲイン（例えば１）に制御し、該スペクトル減算結果が該閾値を超えていないときは該エコーキャンセル信号を［該所定のゲイン×（推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル）］に応じたゲインに制御することができる。これによればスペクトル減算結果が該閾値を超えていないときは、残留エコーが抑圧されて背景雑音が理想的にはそのままのレベルで出力されるので、ゲイン制御に伴う背景雑音の音量ゆれや断続感を発生させずに残留エコーを抑圧することができ、通話音質の大幅な劣化を抑制することができる。しかも実際の背景雑音に近い推定された背景雑音が出力されるので、人工的に作られた擬似背景雑音に切り換えて出力する場合に比べて遠端側で聞こえる背景雑音の音質を自然なものにすることができる。
【００１０】
この発明はさらに、非線形処理部の出力信号から該出力信号に含まれる雑音信号を推定して該雑音信号を抑圧する雑音抑圧部をさらに具備し、該雑音信号が抑圧された信号を遠端側に向けてに送信することができる。これによれば雑音を抑圧した信号を遠端側に送信することができる。この場合非線形処理が、スペクトル減算結果が閾値を超えていないときはエコーキャンセル信号を［所定のゲイン×（推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル）］に応じたゲインに制御するものであれば、ゲイン制御に伴う背景雑音の音量ゆれが抑制されるので、後段の雑音抑圧処理において雑音信号の推定を精度よく行って、安定した雑音抑圧を行うことができる。
【００１１】
この発明において前記非線形処理は、エコーキャンセル信号を、前記［所定のゲイン×（推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル）］に応じたゲインを時間軸方向もしくは周波数軸方向、または時間軸方向および周波数軸方向に平均化または平滑化したゲインに制御するものとすることができる。これによればゲインの急変により発生する音声の変調感を軽減して遠端側での音質を改善することができる。
【図面の簡単な説明】
【００１２】
【図１】この発明を利用した音声会議システムの近端側におけるシステム構成を示す機能ブロック図である。
【図２】従来のエコー抑圧装置を示すブロック図である。
【図３】従来の別のエコー抑圧装置を示すブロック図である。
【図４】図１の適応フィルタ部２４と閾値計算部３２の構成例を示すブロック図である。
【図５】図１の非線形処理部３４の処理内容を示す機能ブロック図である。
【図６】非線形処理部３４を図４のように構成した場合の図１の非線形処理部３４および雑音抑圧部３６の動作を説明する動作波形図である。
【発明を実施するための形態】
【００１３】
この発明の実施の形態を以下説明する。図１はこの発明を利用した音声会議システムの近端側におけるシステム構成を示す。遠端側から受信した音声信号ｘ(n)（時間領域のサンプリング信号）は図示しないＤ／Ａ変換器でアナログ信号に変換されてスピーカ２０で再生される。マイク２２は近端話者の音声のほか、スピーカ２０で再生された音声の音響エコー、および近端側の背景雑音を収音する。マイク２２の収音信号は図示しないＡ／Ｄ変換器で時間領域のサンプリング信号ｄ(n)に変換される。この信号ｄ(n)は該近端側で以下に説明する所定の信号処理を経て前記遠端側に向けて送信される。
【００１４】
マイク２２の収音信号ｄ(n)に施される信号処理について説明する。適応フィルタ部２４はエコー経路のインパルス応答（伝達関数）を逐次推定し、該推定したインパルス応答に受信信号ｘ(n)を畳み込み演算して、擬似エコー信号ｙ(n)を生成する。適応フィルタ部２４には公知の適応アルゴリズムを使用することができ、例えば前記非特許文献１に記載のＭＤＦ法（multidelay block frequency domain adaptive filter）、ＵＭＤＦ法（unconstrained multidelay block frequency domain adaptive filter）、ＡＵＭＤＦ（alternative unconstrained multidelay block frequency domain adaptive filter）法等を使用することができる。減算器２６はマイク信号ｄ(n)から擬似エコー信号ｙ(n)を減算することによりマイク信号ｄ(n)に含まれるエコーをキャンセルしてエコーキャンセル信号ｅ(n)を生成する。適応フィルタ部２４がエコー経路のインパルス応答を完璧に推定できた場合は擬似エコー信号ｙ(n)が真のエコー信号と全く同じになりエコー信号が完全に除去される。しかし現実にはマイク信号ｄ(n)に外乱信号（近端話者音声（近端側音声）、背景雑音）があるなどの原因で適応フィルタ部２４はエコー経路のインパルス応答を完璧には推定できないため、エコーキャンセル信号ｅ(n)には残留エコー（エコーの消し残り）が含まれる。したがってエコーキャンセル信号ｅ(n)は近端話者音声、近端背景雑音および残留エコーを加え合わせた信号で構成される。エコーキャンセル信号ｅ(n)はＦＦＴ部２８で高速フーリエ変換されて周波数領域の信号に変換される。背景雑音推定部３０はＦＦＴ部２８から出力されるエコーキャンセル信号のスペクトルＥ(k)（複素数）から、該エコーキャンセル信号Ｅ(k)の絶対値（実数）である振幅スペクトル｜Ｅ(k)｜に含まれる近端側の背景雑音の振幅スペクトルＮ(k)（実数）を周波数領域で推定する。背景雑音推定方法に関しては多くのアルゴリズムが提案されており、例えば非特許文献２に記載の方法を利用することができる。
【００１５】
閾値計算部３２は適応フィルタ部２４の中間結果（周波数領域での畳み込み演算結果）を流用して、高速フーリエ変換により分割される周波数帯域ごとに非線形処理の閾値ＴＨ(k)（残留エコーの予想エネルギ（振幅スペクトル）（実数））を計算する。適応フィルタ部２４として前記非特許文献１記載のものを使用する場合は、閾値ＴＨ(k)を式１，式２で求められる値に設定することができる。
ＴＨ(k)＝γ｜Ｙ(k)｜ …（式１）
式１で、Ｙ(k)は受信信号ｘ(n)と適応フィルタ係数の周波数領域での畳み込み演算結果であり、
【数１】
である。｜Ｙ(k)｜はＹ(k)（複素数）の絶対値（実数）で振幅スペクトルである。γを残留エコーと｜Ｙ(k)｜の比（残留エコー÷｜Ｙ(k)｜）より少し大きな定数に設定することで閾値ＴＨ(k)を残留エコーより少し大きい値に設定できる。例えば残留エコー÷｜Ｙ(k)｜の値が０．１であるとすると、γ＝０．１２５〜０．１５程度に設定することにより、閾値ＴＨ(k)を残留エコーより少し大きい値に設定でき、後述する非線形処理部３４で残留エコーを抑圧することができる。また式２で、Ｘ(m,k)は受信信号ｘ(n)のｍ番目のブロック（離散フーリエ変換を行うために受信信号ｘ(n)を時間軸方向に区切る１区間。ＦＦＴフレーム）のｋ番目の周波数ビンにおける高速フーリエ変換結果、Ｗ(m,k)は受信信号ｘ(n)のｍ番目のブロックのｋ番目の周波数ビンにおける適応フィルタ係数、Ｍは総ブロック数である。なお閾値ＴＨ(k)は式１による方法以外に、特許文献１記載の方法により求められるエコー信号の予想エネルギＥに適宜の係数を掛けて求めたり他の方法で求めることもできる。
【００１６】
適応フィルタ部２４のアルゴリズムとして非特許文献１記載の手法を採用し、かつ閾値計算部３２が該適応フィルタ部２４の中間結果を流用して式１，２の計算を行う場合のこれら適応フィルタ部２４および閾値計算部３２の構成例を図４に示す。適応フィルタ部２４において、ＦＦＴ部４０は遠端側から受信した音声信号ｘ(n)（時間領域のサンプリング信号）を高速フーリエ変換して周波数領域の信号に変換する。高速フーリエ変換された信号Ｘ(m,k)は１ブロック遅延器４２−１，４２−２，…，４２−ｎ−１で周波数軸方向の１ブロックずつ遅延され、係数器４４−１，４４−２，…，４４−ｎで適応フィルタ係数Ｗ(m,k)が掛け算され、加算器４６で加算されて、畳み込み演算が行われる。畳み込み演算結果Ｙ(k)はＩＦＦＴ部４８で逆高速フーリエ変換されて時間領域の信号に戻される。切り捨て部５０はＩＦＦＴ部４８から出力される時間領域のサンプル信号のうち不要な後半部分を切り捨てて、前半部分を擬似エコー信号ｙ(n)として出力する。減算器２６は前述のとおり、マイク信号ｄ(n)から擬似エコー信号ｙ(n)を減算してマイク信号ｄ(n)に含まれるエコーをキャンセルして、エコーキャンセル信号ｅ(n)を生成する。
【００１７】
閾値計算部３２は適応フィルタ部２４における中間結果として周波数領域での畳み込み演算結果Ｙ(k)を入力し、絶対値部５２でこれを絶対値化して｜Ｙ(k)｜を作成し、乗算部５４で｜Ｙ(k)｜に前記定数γを乗算して前記式１の閾値ＴＨ(k)を作成する。
【００１８】
図１において非線形処理部（残留エコー抑圧処理部）３４は前記背景雑音振幅スペクトルＮ(k)および前記閾値ＴＨ(k)を利用して、帯域ごとに、エコーキャンセル信号振幅スペクトル｜Ｅ(k)｜に含まれる背景雑音成分Ｎ(k)を残しながら、残留エコー成分（残留エコー振幅スペクトル）を減衰（抑圧）する処理を行う。雑音抑圧部３６は非線形処理部３４から出力される、残留エコー成分が減衰されたエコーキャンセル信号スペクトルＥ’(k)から雑音成分（雑音信号振幅スペクトル）を推定し、該雑音成分を抑圧する処理を行う。雑音抑圧部３６の入力信号には背景雑音成分Ｎ(k)が理想的にはそのまま残されており、残留エコー抑圧処理に伴う背景雑音成分Ｎ(k)の音量ゆれが生じてないので、雑音抑圧部３６は雑音成分の推定を高精度に行って、安定した雑音抑圧を行うことができる。この雑音抑圧処理には公知の手法を使用することができ、例えばスペクトル減算やウィナーフィルタ系の手法を用いることができる。雑音抑圧部３６から出力される、残留エコーおよび背景雑音が抑制された信号はＩＦＦＴ部３８で逆高速フーリエ変換されて時間領域の信号に戻されて遠端側に向けて送信される。なお人工的に作られた擬似背景雑音をこの送信信号に適宜量加算して送信することもできる。
【００１９】
非線形処理部３４の処理内容を図５に示す。この処理は高速フーリエ変換により分割される帯域ごとに実行される。演算部６０はエコーキャンセル信号振幅スペクトル｜Ｅ(k)｜と背景雑音振幅スペクトルＮ(k)をスペクトル減算して｜Ｅ(k)｜−αＮ(k)を算出する。これによりエコーキャンセル信号振幅スペクトル｜Ｅ(k)｜に含まれる背景雑音振幅スペクトルＮ(k)が打ち消される。ここでαは減算係数で、背景雑音推定部３０（図１）で使用する雑音推定アルゴリズムの推定精度によってその値を調整する。例えば雑音推定アルゴリズムが背景雑音振幅スペクトルＮ(k)を過大推定する傾向がある場合は０＜α＜１の値に設定し、過小推定する傾向がある場合はα＞１の値に設定する。正確に推定できる場合はα＝１に設定する。比較器６２は帯域ごとに、前記スペクトル減算結果｜Ｅ(k)｜−αＮ(k)を前記閾値ＴＨ(k)と比較し、｜Ｅ(k)｜−αＮ(k)＞ＴＨ(k)であるか、あるいは｜Ｅ(k)｜−αＮ(k)≦ＴＨ(k)であるかを判定する。演算部６４は背景雑音振幅スペクトルＮ(k)とエコーキャンセル信号振幅スペクトル｜Ｅ(k)｜との比βＮ(k)÷｜Ｅ(k)｜を算出する。ここでβは非線形処理部３４での残留エコー抑圧の効き具合を調整するパラメータで、実験に基づいて決めた値に予め固定的に設定してもよいし、外部から設定できるようにして本エコー抑圧装置の使用時に使用者が可変設定できるようにしてもよい。βは例えば１に設定することができる。
【００２０】
エコーキャンセル信号スペクトルＥ(k)は可変減衰器６６（ゲイン可変アンプ）でゲインが制御される。ゲイン制御器６８は比較器６２の出力および演算部６４の出力に応じて可変減衰器６６のゲインＧ(k)を次のように可変制御する。
Ｇ(k)＝１ （｜Ｅ(k)｜−αＮ(k)＞ＴＨ(k)のとき） …（式３ａ）
Ｇ(k)＝βＮ(k)÷｜Ｅ(k)｜ （｜Ｅ(k)｜−αＮ(k)≦ＴＨ(k)のとき）…（式３ｂ）
式３ａ，３ｂで、Ｇ(k)はｋ番目の周波数ビンに与えるゲイン（残留エコー抑圧ゲイン）、｜Ｅ(k)｜はｋ番目の周波数ビンにおける非線形処理の入力信号振幅スペクトル（エコーキャンセル信号振幅スペクトル）、Ｎ(k)はｋ番目の周波数ビンについて推定した背景雑音振幅スペクトル、ＴＨ(k)は残留エコーの予想エネルギ（振幅スペクトル）で非線形処理の閾値、αは減算係数、βは残留エコー抑圧の効き具合を調整するパラメータである。
【００２１】
式３ａによれば、スペクトル減算結果｜Ｅ(k)｜−αＮ(k)の値が閾値ＴＨ(k)よりも大きい場合は、エコーキャンセル信号ｅ(n)が近端話者音声であると判断されるのでエコーキャンセル信号スペクトルＥ(k)をそのまま通過させる。また式３ｂによれば、スペクトル減算結果｜Ｅ(k)｜−αＮ(k)の値が閾値ＴＨ(k)以下の場合は、エコーキャンセル信号ｅ(n)が残留エコーであると判断されるのでエコーキャンセル信号Ｅ(k)を減衰して出力する。そして式３ｂによれば、エコーキャンセル信号スペクトルＥ(k)を減衰して出力する場合は、ゲインＧ(k)を背景雑音振幅スペクトルＮ(k)とエコーキャンセル信号振幅スペクトルＥ(k)との比βＮ(k)÷｜Ｅ(k)｜として計算するので、エコーキャンセル信号Ｅ(k)を背景雑音振幅スペクトルＮ(k)のレベルまで抑圧できることになる。すなわち、エコーキャンセル信号スペクトルＥ(k)を減衰した信号スペクトルＥ’(k)は、
Ｅ’(k)＝Ｅ(k)×（βＮ(k)÷｜Ｅ(k)｜）
＝（Ｅ(k)÷｜Ｅ(k)｜）×βＮ(k)
となる。ここで（Ｅ(k)÷｜Ｅ(k)｜）は、振幅が１で位相がエコーキャンセル信号Ｅ(k)の位相のままであるので、減衰した信号スペクトルＥ’(k)は、背景雑音振幅スペクトルＮ(k)を、振幅はそのままで位相をエコーキャンセル信号Ｅ(k)の位相のままとしたものである。したがって閾値ＴＨ(k)によるゲインＧ(k)の切り換えおよび比βＮ(k)÷｜Ｅ(k)｜によるゲインＧ(k)の変動にかかわらず背景雑音振幅スペクトルＮ(k)がそのまま出力されるので、背景雑音の音量ゆれや断続感を発生させずに残留エコーを抑圧することができる。
【００２２】
可変減衰器６６からは上記ゲインＧ(k)の制御によって残留エコーが抑圧された残留エコー抑圧信号スペクトルＥ’(k)が出力される。この残留エコー抑圧信号スペクトルＥ’(k)が非線形処理部３４の出力信号となる。なおゲインＧ(k)の急変により発生する音声の変調感を軽減して遠端側での音質を改善するために、図５に点線で示すようにゲイン制御器６８の出力側に平均化または平滑化処理部７０を配置して、式３ａ，３ｂによって計算されたゲインＧ(k)を時間軸方向もしくは周波数軸方向、または時間軸方向および周波数軸方向に平均化もしくは平滑化してもよい。
【００２３】
ちなみに特許文献１記載の手法における非線形処理のゲインを上記パラメータを使って表すとすれば、
Ｇ(k)＝１ （｜Ｅ(k)｜＞ＴＨ(k)のとき） …（式４ａ）
Ｇ(k)＝０ （｜Ｅ(k)｜≦ＴＨ(k)のとき） …（式４ｂ）
となる。近端側に背景雑音が全く存在しない場合にはこの特許文献１記載の手法でもよいが、近端側に背景雑音が存在する場合は、この特許文献１記載の手法では、近端話者音声なのかエコーなのかを判断するときに、近端側の背景雑音の影響によって誤判断が発生しやすくなり、エコーが抑圧されずに遠端側に送信される場合が多く生じる可能性がある。またこの特許文献１記載の手法によればゲインＧ(k)は１か０しかないので、遠端側に送信される背景雑音は断続的になり、遠端側で聞こえる音は非常に不快なものとなる。これに対してこの発明の上記実施の形態の手法によれば、近端側の背景雑音を推定して該背景雑音を打ち消したエコーキャンセル信号振幅スペクトルに基づいて近端話者音声なのか残留エコーなのかを判断するので、近端側の背景雑音の影響を受けにくく、近端側の背景雑音のレベルが大きくても誤判断が発生しにくくなり、残留エコーを精度よく抑圧できる。また非線形処理部３４はエコーキャンセル信号を残留エコーであると判断して該残留エコーを抑圧するときであっても背景雑音はそのままのレベルで出力するので、背景雑音の音量ゆれや断続感を発生させずに残留エコーを抑圧することができる。これにより後段の雑音抑圧部３６において雑音信号の推定を高精度に行って、安定した雑音抑圧を行うことができる。
【００２４】
図６は非線形処理部３４を図４のように構成した場合の図１の非線形処理部３４および雑音抑圧部３６の動作を示す。図６では便宜的に各信号を時間領域の波形で示している。（ａ）はエコーキャンセル信号振幅スペクトル｜Ｅ(k)｜、エコーキャンセル信号Ｅ(k)に含まれる背景雑音振幅スペクトルＮ(k)、閾値ＴＨ(k)を示す。これは背景雑音振幅スペクトルＮ(k)のレベルが高い場合であり、エコーキャンセル信号振幅スペクトル｜Ｅ(k)｜をそのまま閾値ＴＨ(k)で比較したのでは近端話者音声が無い区間を判別できず、該区間で残留エコーが抑圧されず、遠端側に送信されてしまう。（ｂ）は演算部６０から出力される振幅スペクトル減算結果｜Ｅ(k)｜−αＮ(k)と閾値ＴＨ(k)を示す。これによればエコーキャンセル信号振幅スペクトル｜Ｅ(k)｜から背景雑音振幅スペクトルＮ(k)を減算した信号を閾値ＴＨ(k)で比較するので、近端話者音声が無い区間が正しく判別されている。（ｃ）は（ｂ）での比較結果に基づき制御される可変減衰器６６のゲインを示す。近端話者音声が有る区間ではゲインＧ(k)は１に設定され、近端話者音声が無い区間ではゲインＧ(k)はβＮ(k)÷｜Ｅ(k)｜に設定される。（ｄ）はこのゲイン制御の結果可変減衰器６６から出力される信号Ｅ’(k)の振幅スペクトル｜Ｅ’(k)｜を示す。ハッチングは振幅スペクトル｜Ｅ’(k)｜に含まれる背景雑音の振幅スペクトルＮ(k)を示す。近端話者音声が有る区間ではエコーキャンセル信号Ｅ(k)はそのまま可変減衰器６６を通過する。近端話者音声が無い区間では残留エコーが抑圧されて背景雑音が抑圧されずに可変減衰器６６から出力される。したがってゲインが切り換えられあるいは変動しているにもかかわらず背景雑音には音量揺れが生じていない。（ｅ）は雑音抑圧部３６（図１）の出力信号の振幅スペクトルを示す。背景雑音Ｎ(k)が全区間で抑圧されて近端話者音声のみが出力されている。この残留エコーおよび背景雑音が抑圧された近端話者音声がＩＦＦＴ部３８で逆高速フーリエ変換されて時間領域の信号に戻されて遠端側に向けて送信される。
【００２５】
（他の実施の形態）
前記実施の形態では非線形処理部３４での計算に振幅スペクトルを用いたがパワースペクトルを用いることもできる。パワースペクトルを用いる場合は前記式１による閾値ＴＨ(k)に代えて次の式１’による閾値ＴＨ’(k)を用いる。
ＴＨ’(k)＝γ’｜Ｙ(k)｜2 …（式１’）
式１’で、γ’は残留エコーと｜Ｙ(k)｜の比より少し大きな定数で、実験によって決められる。Ｙ(k)は前記式２で求められる値である。またパワースペクトルを用いる場合は可変減衰器６６のゲインＧ(k)は前記式３に代えて次の式３ａ’、３ｂ’により制御される。
Ｇ(k)＝１ （｜Ｅ(k)｜2−α｜Ｎ(k)｜2＞ＴＨ’(k)のとき） …（式３ａ’）
Ｇ(k)＝β（｜Ｎ(k)｜2÷｜Ｅ(k)｜2）1/2 （｜Ｅ(k)｜2−α｜Ｎ(k)｜2≦ＴＨ’(k)のとき） …（式３ｂ’）
ここで、｜Ｅ(k)｜2はｋ番目の周波数ビンにおける非線形処理の入力信号パワースペクトル（エコーキャンセル信号パワースペクトル）、｜Ｎ(k)｜2はｋ番目の周波数ビンについて推定した背景雑音パワースペクトルである。
【００２６】
なお前記実施の形態では背景雑音推定部３０はエコーキャンセル後の信号ｅ(n)に基づいて背景雑音を推定したが、エコーキャンセル前の信号ｄ(n)に基づいて背景雑音を推定することもできる。また前記実施の形態では非線形処理部３４の出力信号を雑音抑圧部３６で雑音抑圧処理して遠端側に向けて送信するようにしたが、非線形処理部３４の出力信号を雑音抑圧処理せずに遠端側に向けて送信することもできる。
【符号の説明】
【００２７】
２４…適応フィルタ部、２６…減算器、３０…背景雑音推定部、３２…閾値計算部、３４…非線形処理部、３６…雑音抑圧部、６０…スペクトル減算用の演算部、６２…比較器、６４…ゲイン算出用の演算部、６６…可変減衰器、７０…平均化または平滑化処理部
【技術分野】
【０００１】
この発明は携帯電話、テレビ電話装置、音声会議システム、電話回線等に利用されるエコー抑圧方法およびその装置に関し、特に背景雑音レベルが大きい場合であってもエコーキャンセル処理後の非線形処理において残留エコーを精度よく抑圧できるようにしたものである。
【背景技術】
【０００２】
従来のエコー抑圧装置として下記特許文献１，２に記載されたものがあった。特許文献１記載のエコー抑圧装置を図２に示す。送信信号エネルギＭと受信信号エネルギＤからエコーリターン損失Ｒを概算して、ある瞬間のエコー信号の予想エネルギＥをＥ＝Ｄ×Ｒによって計算する。そして帯域ごとに、送信信号エネルギＭがその予想エネルギＥを超える場合は該送信信号は近端側音声信号であると判断し、スイッチ１０をオン（導通）して該送信信号を遠端側に送信する。また送信信号エネルギＭがその予想エネルギＥを超えない場合は送信信号はエコーであると判断し、スイッチ１０をオフ（遮断）してエコーを遠端側に送信しないようにする。
【０００３】
特許文献２記載のエコー抑圧装置を図３に示す。適応フィルタ部１２は、適応フィルタによってエコー経路のインパルス応答（伝達関数）を推定し、該推定したインパルス応答から擬似エコー信号を生成し、送信信号から該擬似エコー信号を減算することでエコーをキャンセルする。適応フィルタ部１２でキャンセルしきれなかった残留エコーはＮＬＰ（Non-Linear Processing：非線形）減衰器１４によって減衰される。すなわちＮＬＰ減衰器１４は残留エコーが発生した際に、適応フィルタ部１２によってエコーキャンセル処理した後の信号（以下「エコーキャンセル信号」）に損失（例えば損失値３０ｄＢ）を与えるもので、エコーが発生しない場合には無損失（損失値０ｄＢ）となるように動作するものである。このような動作により、損失が与えられた場合には、残留エコーを聞き取れないレベルまで減衰させることが可能である。このＮＬＰ処理は時間領域の信号にも、周波数領域の信号にも適用できる。ＮＬＰ処理に起因する背景雑音の途切れ感を低減するために、背景雑音と同レベルおよび同周波数成分の擬似背景雑音を送信信号に挿入して送信する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭５９−８００２９号公報
【特許文献２】特開２０００−１３８６１９号公報
【非特許文献１】J.-S. Soo and K. Pang, "Multidelay block frequency domain adaptive filter", IEEE Trans. Acoust. Speech signal Process., vol. ASSP-38, No. 2, pp. 373-376, Feb 1990.
【非特許文献２】Doblinger G., "Computationally efficient speech enhancement by spectral minima tracking in subbands", Prcoc. Eurospeech, 2, pp. 1513-1516, 1995.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１記載のエコー抑圧装置は、送信信号に近端側の背景雑音が含まれている場合に、スイッチ１０がオン／オフされるのに伴い該背景雑音が送信／遮断されるので、遠端側で聞こえる背景雑音が断続的で不自然になり、通話音質を大幅に劣化させる恐れがある。特許文献２記載のエコー抑圧装置は、ＮＬＰ処理によって減衰された信号に擬似背景雑音を挿入することで上記背景雑音が送信／遮断される問題を回避しようとしているが、挿入する擬似背景雑音は真の背景雑音を十分に再現することが不可能なので、ＮＬＰ処理に起因する背景雑音音質の不自然さを十分に解決することができない。また特許文献１，２記載のエコー抑圧装置はいずれも、送信信号を送信するかあるいは遮断（あるいは減衰）するかを決めるときに背景雑音の影響が考慮されていない。例えば特許文献１のエコー抑圧装置の場合、送信信号に含まれる背景雑音のレベルが大きいと、送信信号が近端側音声信号でなく残留エコー信号であっても、スイッチ１０がオンして、該残留エコー信号を遠端側にそのまま送信してしまう可能性がある。
【０００６】
この発明は上述の点に鑑みてなされたもので、背景雑音レベルが大きい場合であっても残留エコーを精度よく抑圧できるようにしたエコー抑圧方法およびその装置を提供しようとするものである。
【課題を解決するための手段】
【０００７】
この発明は近端側のエコー経路を推定し、遠端側から受信した受信信号の擬似エコー信号を生成する適応フィルタ処理と、前記受信信号のエコー信号、近端側音声および背景雑音が含まれる近端側の信号から前記擬似エコー信号を減算してエコーキャンセル信号を生成する減算処理と、前記背景雑音のスペクトルを推定する背景雑音推定処理と、前記エコーキャンセル信号のスペクトルから前記推定された背景雑音スペクトルを減算し、さらに前記エコーキャンセル信号スペクトルを該スペクトル減算結果に応じて帯域ごと（例えば離散フーリエ変換により分割される帯域ごと）にゲイン制御して、前記遠端側に送信する送信信号のスペクトルを得る非線形処理と、例えば前記擬似エコー信号のスペクトルに基づいて前記エコーキャンセル信号における残留エコーの有無を判定する閾値を帯域ごとに計算する閾値計算処理とを具備し、前記非線形処理は、前記スペクトル減算結果を帯域ごとに前記閾値と比較し、該スペクトル減算結果が前記閾値を超えている帯域は前記エコーキャンセル信号スペクトルを相対的に大きなゲインに制御し、該閾値を超えていない帯域は該エコーキャンセル信号スペクトルを相対的に小さなゲインに制御するものである。
【０００８】
この発明によれば、背景雑音のスペクトルを推定して、エコーキャンセル信号のスペクトルから該推定された背景雑音スペクトルを減算し、エコーキャンセル信号スペクトルを該スペクトル減算結果に応じて帯域ごとにゲイン制御するようにしたので、非線形処理は背景雑音の影響を受けにくい状態でゲイン制御を行うことができる。そしてエコーキャンセル信号における残留エコーの有無を判定する閾値を帯域ごとに計算し、非線形処理は前記スペクトル減算結果を帯域ごとに該閾値と比較し、該スペクトル減算結果が該閾値を超えている帯域はエコーキャンセル信号が近端側音声であると判断してエコーキャンセル信号スペクトルを相対的に大きなゲインに制御し、該閾値を超えていない帯域はエコーキャンセル信号が残留エコーであると判断して該エコーキャンセル信号スペクトルを相対的に小さなゲインに制御するようにしたので、背景雑音レベルが大きい場合であっても残留エコーを抑圧することができる。閾値計算部は例えば、帯域ごとの閾値を、適応フィルタにおける周波数領域での畳み込み演算結果に所定の係数を掛けて生成することができる。このようにすれば適応フィルタ処理における畳み込み演算結果を流用できるので閾値の演算を簡略化することができる。
【０００９】
この発明において、前記非線形処理部は、前記スペクトル減算結果が前記閾値を超えているときは前記エコーキャンセル信号を所定のゲイン（例えば１）に制御し、該スペクトル減算結果が該閾値を超えていないときは該エコーキャンセル信号を［該所定のゲイン×（推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル）］に応じたゲインに制御することができる。これによればスペクトル減算結果が該閾値を超えていないときは、残留エコーが抑圧されて背景雑音が理想的にはそのままのレベルで出力されるので、ゲイン制御に伴う背景雑音の音量ゆれや断続感を発生させずに残留エコーを抑圧することができ、通話音質の大幅な劣化を抑制することができる。しかも実際の背景雑音に近い推定された背景雑音が出力されるので、人工的に作られた擬似背景雑音に切り換えて出力する場合に比べて遠端側で聞こえる背景雑音の音質を自然なものにすることができる。
【００１０】
この発明はさらに、非線形処理部の出力信号から該出力信号に含まれる雑音信号を推定して該雑音信号を抑圧する雑音抑圧部をさらに具備し、該雑音信号が抑圧された信号を遠端側に向けてに送信することができる。これによれば雑音を抑圧した信号を遠端側に送信することができる。この場合非線形処理が、スペクトル減算結果が閾値を超えていないときはエコーキャンセル信号を［所定のゲイン×（推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル）］に応じたゲインに制御するものであれば、ゲイン制御に伴う背景雑音の音量ゆれが抑制されるので、後段の雑音抑圧処理において雑音信号の推定を精度よく行って、安定した雑音抑圧を行うことができる。
【００１１】
この発明において前記非線形処理は、エコーキャンセル信号を、前記［所定のゲイン×（推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル）］に応じたゲインを時間軸方向もしくは周波数軸方向、または時間軸方向および周波数軸方向に平均化または平滑化したゲインに制御するものとすることができる。これによればゲインの急変により発生する音声の変調感を軽減して遠端側での音質を改善することができる。
【図面の簡単な説明】
【００１２】
【図１】この発明を利用した音声会議システムの近端側におけるシステム構成を示す機能ブロック図である。
【図２】従来のエコー抑圧装置を示すブロック図である。
【図３】従来の別のエコー抑圧装置を示すブロック図である。
【図４】図１の適応フィルタ部２４と閾値計算部３２の構成例を示すブロック図である。
【図５】図１の非線形処理部３４の処理内容を示す機能ブロック図である。
【図６】非線形処理部３４を図４のように構成した場合の図１の非線形処理部３４および雑音抑圧部３６の動作を説明する動作波形図である。
【発明を実施するための形態】
【００１３】
この発明の実施の形態を以下説明する。図１はこの発明を利用した音声会議システムの近端側におけるシステム構成を示す。遠端側から受信した音声信号ｘ(n)（時間領域のサンプリング信号）は図示しないＤ／Ａ変換器でアナログ信号に変換されてスピーカ２０で再生される。マイク２２は近端話者の音声のほか、スピーカ２０で再生された音声の音響エコー、および近端側の背景雑音を収音する。マイク２２の収音信号は図示しないＡ／Ｄ変換器で時間領域のサンプリング信号ｄ(n)に変換される。この信号ｄ(n)は該近端側で以下に説明する所定の信号処理を経て前記遠端側に向けて送信される。
【００１４】
マイク２２の収音信号ｄ(n)に施される信号処理について説明する。適応フィルタ部２４はエコー経路のインパルス応答（伝達関数）を逐次推定し、該推定したインパルス応答に受信信号ｘ(n)を畳み込み演算して、擬似エコー信号ｙ(n)を生成する。適応フィルタ部２４には公知の適応アルゴリズムを使用することができ、例えば前記非特許文献１に記載のＭＤＦ法（multidelay block frequency domain adaptive filter）、ＵＭＤＦ法（unconstrained multidelay block frequency domain adaptive filter）、ＡＵＭＤＦ（alternative unconstrained multidelay block frequency domain adaptive filter）法等を使用することができる。減算器２６はマイク信号ｄ(n)から擬似エコー信号ｙ(n)を減算することによりマイク信号ｄ(n)に含まれるエコーをキャンセルしてエコーキャンセル信号ｅ(n)を生成する。適応フィルタ部２４がエコー経路のインパルス応答を完璧に推定できた場合は擬似エコー信号ｙ(n)が真のエコー信号と全く同じになりエコー信号が完全に除去される。しかし現実にはマイク信号ｄ(n)に外乱信号（近端話者音声（近端側音声）、背景雑音）があるなどの原因で適応フィルタ部２４はエコー経路のインパルス応答を完璧には推定できないため、エコーキャンセル信号ｅ(n)には残留エコー（エコーの消し残り）が含まれる。したがってエコーキャンセル信号ｅ(n)は近端話者音声、近端背景雑音および残留エコーを加え合わせた信号で構成される。エコーキャンセル信号ｅ(n)はＦＦＴ部２８で高速フーリエ変換されて周波数領域の信号に変換される。背景雑音推定部３０はＦＦＴ部２８から出力されるエコーキャンセル信号のスペクトルＥ(k)（複素数）から、該エコーキャンセル信号Ｅ(k)の絶対値（実数）である振幅スペクトル｜Ｅ(k)｜に含まれる近端側の背景雑音の振幅スペクトルＮ(k)（実数）を周波数領域で推定する。背景雑音推定方法に関しては多くのアルゴリズムが提案されており、例えば非特許文献２に記載の方法を利用することができる。
【００１５】
閾値計算部３２は適応フィルタ部２４の中間結果（周波数領域での畳み込み演算結果）を流用して、高速フーリエ変換により分割される周波数帯域ごとに非線形処理の閾値ＴＨ(k)（残留エコーの予想エネルギ（振幅スペクトル）（実数））を計算する。適応フィルタ部２４として前記非特許文献１記載のものを使用する場合は、閾値ＴＨ(k)を式１，式２で求められる値に設定することができる。
ＴＨ(k)＝γ｜Ｙ(k)｜ …（式１）
式１で、Ｙ(k)は受信信号ｘ(n)と適応フィルタ係数の周波数領域での畳み込み演算結果であり、
【数１】
である。｜Ｙ(k)｜はＹ(k)（複素数）の絶対値（実数）で振幅スペクトルである。γを残留エコーと｜Ｙ(k)｜の比（残留エコー÷｜Ｙ(k)｜）より少し大きな定数に設定することで閾値ＴＨ(k)を残留エコーより少し大きい値に設定できる。例えば残留エコー÷｜Ｙ(k)｜の値が０．１であるとすると、γ＝０．１２５〜０．１５程度に設定することにより、閾値ＴＨ(k)を残留エコーより少し大きい値に設定でき、後述する非線形処理部３４で残留エコーを抑圧することができる。また式２で、Ｘ(m,k)は受信信号ｘ(n)のｍ番目のブロック（離散フーリエ変換を行うために受信信号ｘ(n)を時間軸方向に区切る１区間。ＦＦＴフレーム）のｋ番目の周波数ビンにおける高速フーリエ変換結果、Ｗ(m,k)は受信信号ｘ(n)のｍ番目のブロックのｋ番目の周波数ビンにおける適応フィルタ係数、Ｍは総ブロック数である。なお閾値ＴＨ(k)は式１による方法以外に、特許文献１記載の方法により求められるエコー信号の予想エネルギＥに適宜の係数を掛けて求めたり他の方法で求めることもできる。
【００１６】
適応フィルタ部２４のアルゴリズムとして非特許文献１記載の手法を採用し、かつ閾値計算部３２が該適応フィルタ部２４の中間結果を流用して式１，２の計算を行う場合のこれら適応フィルタ部２４および閾値計算部３２の構成例を図４に示す。適応フィルタ部２４において、ＦＦＴ部４０は遠端側から受信した音声信号ｘ(n)（時間領域のサンプリング信号）を高速フーリエ変換して周波数領域の信号に変換する。高速フーリエ変換された信号Ｘ(m,k)は１ブロック遅延器４２−１，４２−２，…，４２−ｎ−１で周波数軸方向の１ブロックずつ遅延され、係数器４４−１，４４−２，…，４４−ｎで適応フィルタ係数Ｗ(m,k)が掛け算され、加算器４６で加算されて、畳み込み演算が行われる。畳み込み演算結果Ｙ(k)はＩＦＦＴ部４８で逆高速フーリエ変換されて時間領域の信号に戻される。切り捨て部５０はＩＦＦＴ部４８から出力される時間領域のサンプル信号のうち不要な後半部分を切り捨てて、前半部分を擬似エコー信号ｙ(n)として出力する。減算器２６は前述のとおり、マイク信号ｄ(n)から擬似エコー信号ｙ(n)を減算してマイク信号ｄ(n)に含まれるエコーをキャンセルして、エコーキャンセル信号ｅ(n)を生成する。
【００１７】
閾値計算部３２は適応フィルタ部２４における中間結果として周波数領域での畳み込み演算結果Ｙ(k)を入力し、絶対値部５２でこれを絶対値化して｜Ｙ(k)｜を作成し、乗算部５４で｜Ｙ(k)｜に前記定数γを乗算して前記式１の閾値ＴＨ(k)を作成する。
【００１８】
図１において非線形処理部（残留エコー抑圧処理部）３４は前記背景雑音振幅スペクトルＮ(k)および前記閾値ＴＨ(k)を利用して、帯域ごとに、エコーキャンセル信号振幅スペクトル｜Ｅ(k)｜に含まれる背景雑音成分Ｎ(k)を残しながら、残留エコー成分（残留エコー振幅スペクトル）を減衰（抑圧）する処理を行う。雑音抑圧部３６は非線形処理部３４から出力される、残留エコー成分が減衰されたエコーキャンセル信号スペクトルＥ’(k)から雑音成分（雑音信号振幅スペクトル）を推定し、該雑音成分を抑圧する処理を行う。雑音抑圧部３６の入力信号には背景雑音成分Ｎ(k)が理想的にはそのまま残されており、残留エコー抑圧処理に伴う背景雑音成分Ｎ(k)の音量ゆれが生じてないので、雑音抑圧部３６は雑音成分の推定を高精度に行って、安定した雑音抑圧を行うことができる。この雑音抑圧処理には公知の手法を使用することができ、例えばスペクトル減算やウィナーフィルタ系の手法を用いることができる。雑音抑圧部３６から出力される、残留エコーおよび背景雑音が抑制された信号はＩＦＦＴ部３８で逆高速フーリエ変換されて時間領域の信号に戻されて遠端側に向けて送信される。なお人工的に作られた擬似背景雑音をこの送信信号に適宜量加算して送信することもできる。
【００１９】
非線形処理部３４の処理内容を図５に示す。この処理は高速フーリエ変換により分割される帯域ごとに実行される。演算部６０はエコーキャンセル信号振幅スペクトル｜Ｅ(k)｜と背景雑音振幅スペクトルＮ(k)をスペクトル減算して｜Ｅ(k)｜−αＮ(k)を算出する。これによりエコーキャンセル信号振幅スペクトル｜Ｅ(k)｜に含まれる背景雑音振幅スペクトルＮ(k)が打ち消される。ここでαは減算係数で、背景雑音推定部３０（図１）で使用する雑音推定アルゴリズムの推定精度によってその値を調整する。例えば雑音推定アルゴリズムが背景雑音振幅スペクトルＮ(k)を過大推定する傾向がある場合は０＜α＜１の値に設定し、過小推定する傾向がある場合はα＞１の値に設定する。正確に推定できる場合はα＝１に設定する。比較器６２は帯域ごとに、前記スペクトル減算結果｜Ｅ(k)｜−αＮ(k)を前記閾値ＴＨ(k)と比較し、｜Ｅ(k)｜−αＮ(k)＞ＴＨ(k)であるか、あるいは｜Ｅ(k)｜−αＮ(k)≦ＴＨ(k)であるかを判定する。演算部６４は背景雑音振幅スペクトルＮ(k)とエコーキャンセル信号振幅スペクトル｜Ｅ(k)｜との比βＮ(k)÷｜Ｅ(k)｜を算出する。ここでβは非線形処理部３４での残留エコー抑圧の効き具合を調整するパラメータで、実験に基づいて決めた値に予め固定的に設定してもよいし、外部から設定できるようにして本エコー抑圧装置の使用時に使用者が可変設定できるようにしてもよい。βは例えば１に設定することができる。
【００２０】
エコーキャンセル信号スペクトルＥ(k)は可変減衰器６６（ゲイン可変アンプ）でゲインが制御される。ゲイン制御器６８は比較器６２の出力および演算部６４の出力に応じて可変減衰器６６のゲインＧ(k)を次のように可変制御する。
Ｇ(k)＝１ （｜Ｅ(k)｜−αＮ(k)＞ＴＨ(k)のとき） …（式３ａ）
Ｇ(k)＝βＮ(k)÷｜Ｅ(k)｜ （｜Ｅ(k)｜−αＮ(k)≦ＴＨ(k)のとき）…（式３ｂ）
式３ａ，３ｂで、Ｇ(k)はｋ番目の周波数ビンに与えるゲイン（残留エコー抑圧ゲイン）、｜Ｅ(k)｜はｋ番目の周波数ビンにおける非線形処理の入力信号振幅スペクトル（エコーキャンセル信号振幅スペクトル）、Ｎ(k)はｋ番目の周波数ビンについて推定した背景雑音振幅スペクトル、ＴＨ(k)は残留エコーの予想エネルギ（振幅スペクトル）で非線形処理の閾値、αは減算係数、βは残留エコー抑圧の効き具合を調整するパラメータである。
【００２１】
式３ａによれば、スペクトル減算結果｜Ｅ(k)｜−αＮ(k)の値が閾値ＴＨ(k)よりも大きい場合は、エコーキャンセル信号ｅ(n)が近端話者音声であると判断されるのでエコーキャンセル信号スペクトルＥ(k)をそのまま通過させる。また式３ｂによれば、スペクトル減算結果｜Ｅ(k)｜−αＮ(k)の値が閾値ＴＨ(k)以下の場合は、エコーキャンセル信号ｅ(n)が残留エコーであると判断されるのでエコーキャンセル信号Ｅ(k)を減衰して出力する。そして式３ｂによれば、エコーキャンセル信号スペクトルＥ(k)を減衰して出力する場合は、ゲインＧ(k)を背景雑音振幅スペクトルＮ(k)とエコーキャンセル信号振幅スペクトルＥ(k)との比βＮ(k)÷｜Ｅ(k)｜として計算するので、エコーキャンセル信号Ｅ(k)を背景雑音振幅スペクトルＮ(k)のレベルまで抑圧できることになる。すなわち、エコーキャンセル信号スペクトルＥ(k)を減衰した信号スペクトルＥ’(k)は、
Ｅ’(k)＝Ｅ(k)×（βＮ(k)÷｜Ｅ(k)｜）
＝（Ｅ(k)÷｜Ｅ(k)｜）×βＮ(k)
となる。ここで（Ｅ(k)÷｜Ｅ(k)｜）は、振幅が１で位相がエコーキャンセル信号Ｅ(k)の位相のままであるので、減衰した信号スペクトルＥ’(k)は、背景雑音振幅スペクトルＮ(k)を、振幅はそのままで位相をエコーキャンセル信号Ｅ(k)の位相のままとしたものである。したがって閾値ＴＨ(k)によるゲインＧ(k)の切り換えおよび比βＮ(k)÷｜Ｅ(k)｜によるゲインＧ(k)の変動にかかわらず背景雑音振幅スペクトルＮ(k)がそのまま出力されるので、背景雑音の音量ゆれや断続感を発生させずに残留エコーを抑圧することができる。
【００２２】
可変減衰器６６からは上記ゲインＧ(k)の制御によって残留エコーが抑圧された残留エコー抑圧信号スペクトルＥ’(k)が出力される。この残留エコー抑圧信号スペクトルＥ’(k)が非線形処理部３４の出力信号となる。なおゲインＧ(k)の急変により発生する音声の変調感を軽減して遠端側での音質を改善するために、図５に点線で示すようにゲイン制御器６８の出力側に平均化または平滑化処理部７０を配置して、式３ａ，３ｂによって計算されたゲインＧ(k)を時間軸方向もしくは周波数軸方向、または時間軸方向および周波数軸方向に平均化もしくは平滑化してもよい。
【００２３】
ちなみに特許文献１記載の手法における非線形処理のゲインを上記パラメータを使って表すとすれば、
Ｇ(k)＝１ （｜Ｅ(k)｜＞ＴＨ(k)のとき） …（式４ａ）
Ｇ(k)＝０ （｜Ｅ(k)｜≦ＴＨ(k)のとき） …（式４ｂ）
となる。近端側に背景雑音が全く存在しない場合にはこの特許文献１記載の手法でもよいが、近端側に背景雑音が存在する場合は、この特許文献１記載の手法では、近端話者音声なのかエコーなのかを判断するときに、近端側の背景雑音の影響によって誤判断が発生しやすくなり、エコーが抑圧されずに遠端側に送信される場合が多く生じる可能性がある。またこの特許文献１記載の手法によればゲインＧ(k)は１か０しかないので、遠端側に送信される背景雑音は断続的になり、遠端側で聞こえる音は非常に不快なものとなる。これに対してこの発明の上記実施の形態の手法によれば、近端側の背景雑音を推定して該背景雑音を打ち消したエコーキャンセル信号振幅スペクトルに基づいて近端話者音声なのか残留エコーなのかを判断するので、近端側の背景雑音の影響を受けにくく、近端側の背景雑音のレベルが大きくても誤判断が発生しにくくなり、残留エコーを精度よく抑圧できる。また非線形処理部３４はエコーキャンセル信号を残留エコーであると判断して該残留エコーを抑圧するときであっても背景雑音はそのままのレベルで出力するので、背景雑音の音量ゆれや断続感を発生させずに残留エコーを抑圧することができる。これにより後段の雑音抑圧部３６において雑音信号の推定を高精度に行って、安定した雑音抑圧を行うことができる。
【００２４】
図６は非線形処理部３４を図４のように構成した場合の図１の非線形処理部３４および雑音抑圧部３６の動作を示す。図６では便宜的に各信号を時間領域の波形で示している。（ａ）はエコーキャンセル信号振幅スペクトル｜Ｅ(k)｜、エコーキャンセル信号Ｅ(k)に含まれる背景雑音振幅スペクトルＮ(k)、閾値ＴＨ(k)を示す。これは背景雑音振幅スペクトルＮ(k)のレベルが高い場合であり、エコーキャンセル信号振幅スペクトル｜Ｅ(k)｜をそのまま閾値ＴＨ(k)で比較したのでは近端話者音声が無い区間を判別できず、該区間で残留エコーが抑圧されず、遠端側に送信されてしまう。（ｂ）は演算部６０から出力される振幅スペクトル減算結果｜Ｅ(k)｜−αＮ(k)と閾値ＴＨ(k)を示す。これによればエコーキャンセル信号振幅スペクトル｜Ｅ(k)｜から背景雑音振幅スペクトルＮ(k)を減算した信号を閾値ＴＨ(k)で比較するので、近端話者音声が無い区間が正しく判別されている。（ｃ）は（ｂ）での比較結果に基づき制御される可変減衰器６６のゲインを示す。近端話者音声が有る区間ではゲインＧ(k)は１に設定され、近端話者音声が無い区間ではゲインＧ(k)はβＮ(k)÷｜Ｅ(k)｜に設定される。（ｄ）はこのゲイン制御の結果可変減衰器６６から出力される信号Ｅ’(k)の振幅スペクトル｜Ｅ’(k)｜を示す。ハッチングは振幅スペクトル｜Ｅ’(k)｜に含まれる背景雑音の振幅スペクトルＮ(k)を示す。近端話者音声が有る区間ではエコーキャンセル信号Ｅ(k)はそのまま可変減衰器６６を通過する。近端話者音声が無い区間では残留エコーが抑圧されて背景雑音が抑圧されずに可変減衰器６６から出力される。したがってゲインが切り換えられあるいは変動しているにもかかわらず背景雑音には音量揺れが生じていない。（ｅ）は雑音抑圧部３６（図１）の出力信号の振幅スペクトルを示す。背景雑音Ｎ(k)が全区間で抑圧されて近端話者音声のみが出力されている。この残留エコーおよび背景雑音が抑圧された近端話者音声がＩＦＦＴ部３８で逆高速フーリエ変換されて時間領域の信号に戻されて遠端側に向けて送信される。
【００２５】
（他の実施の形態）
前記実施の形態では非線形処理部３４での計算に振幅スペクトルを用いたがパワースペクトルを用いることもできる。パワースペクトルを用いる場合は前記式１による閾値ＴＨ(k)に代えて次の式１’による閾値ＴＨ’(k)を用いる。
ＴＨ’(k)＝γ’｜Ｙ(k)｜2 …（式１’）
式１’で、γ’は残留エコーと｜Ｙ(k)｜の比より少し大きな定数で、実験によって決められる。Ｙ(k)は前記式２で求められる値である。またパワースペクトルを用いる場合は可変減衰器６６のゲインＧ(k)は前記式３に代えて次の式３ａ’、３ｂ’により制御される。
Ｇ(k)＝１ （｜Ｅ(k)｜2−α｜Ｎ(k)｜2＞ＴＨ’(k)のとき） …（式３ａ’）
Ｇ(k)＝β（｜Ｎ(k)｜2÷｜Ｅ(k)｜2）1/2 （｜Ｅ(k)｜2−α｜Ｎ(k)｜2≦ＴＨ’(k)のとき） …（式３ｂ’）
ここで、｜Ｅ(k)｜2はｋ番目の周波数ビンにおける非線形処理の入力信号パワースペクトル（エコーキャンセル信号パワースペクトル）、｜Ｎ(k)｜2はｋ番目の周波数ビンについて推定した背景雑音パワースペクトルである。
【００２６】
なお前記実施の形態では背景雑音推定部３０はエコーキャンセル後の信号ｅ(n)に基づいて背景雑音を推定したが、エコーキャンセル前の信号ｄ(n)に基づいて背景雑音を推定することもできる。また前記実施の形態では非線形処理部３４の出力信号を雑音抑圧部３６で雑音抑圧処理して遠端側に向けて送信するようにしたが、非線形処理部３４の出力信号を雑音抑圧処理せずに遠端側に向けて送信することもできる。
【符号の説明】
【００２７】
２４…適応フィルタ部、２６…減算器、３０…背景雑音推定部、３２…閾値計算部、３４…非線形処理部、３６…雑音抑圧部、６０…スペクトル減算用の演算部、６２…比較器、６４…ゲイン算出用の演算部、６６…可変減衰器、７０…平均化または平滑化処理部
【特許請求の範囲】
【請求項１】
近端側のエコー経路を推定し、遠端側から受信した受信信号の擬似エコー信号を生成する適応フィルタ部と、
前記受信信号のエコー信号、近端側音声および背景雑音が含まれる近端側の信号から前記擬似エコー信号を減算してエコーキャンセル信号を生成する減算器と、
前記背景雑音のスペクトルを推定する背景雑音推定部と、
前記エコーキャンセル信号のスペクトルから前記推定された背景雑音スペクトルを減算し、さらに前記エコーキャンセル信号スペクトルを該スペクトル減算結果に応じて帯域ごとにゲイン制御して、前記遠端側に送信する送信信号のスペクトルを得る非線形処理部と、
前記エコーキャンセル信号における残留エコーの有無を判定する閾値を帯域ごとに計算する閾値計算部とを具備し、
前記非線形処理部は、前記スペクトル減算結果を帯域ごとに前記閾値と比較し、該スペクトル減算結果が前記閾値を超えている帯域は前記エコーキャンセル信号スペクトルを相対的に大きなゲインに制御し、該閾値を超えていない帯域は該エコーキャンセル信号スペクトルを相対的に小さなゲインに制御するエコー抑圧装置。
【請求項２】
前記非線形処理部は、前記スペクトル減算結果が前記閾値を超えているときは前記エコーキャンセル信号を所定のゲインに制御し、該スペクトル減算結果が該閾値を超えていないときは該エコーキャンセル信号を［該所定のゲイン×（推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル）］に応じたゲインに制御する請求項１記載のエコー抑圧装置。
【請求項３】
前記非線形処理部の出力信号から該出力信号に含まれる雑音信号を推定して該雑音信号を抑圧する雑音抑圧部をさらに具備し、該雑音信号が抑圧された信号を遠端側に向けてに送信する請求項１または２に記載のエコー抑圧装置。
【請求項４】
前記閾値計算部は、前記帯域ごとの閾値を、前記適応フィルタ部における周波数領域での畳み込み演算結果に所定の係数を掛けて生成する請求項１から３のいずれか１つに記載のエコー抑圧装置。
【請求項５】
近端側のエコー経路を推定し、遠端側から受信した受信信号の擬似エコー信号を生成する適応フィルタ処理と、
前記受信信号のエコー信号、近端側音声および背景雑音が含まれる近端側の信号から前記擬似エコー信号を減算してエコーキャンセル信号を生成する減算処理と、
前記背景雑音のスペクトルを推定する背景雑音推定処理と、
前記エコーキャンセル信号のスペクトルから前記推定された背景雑音スペクトルを減算し、さらに前記エコーキャンセル信号スペクトルを該スペクトル減算結果に応じて帯域ごとにゲイン制御して、前記遠端側に送信する送信信号のスペクトルを得る非線形処理と、
前記エコーキャンセル信号における残留エコーの有無を判定する閾値を帯域ごとに計算する閾値計算処理とを具備し、
前記非線形処理は、前記スペクトル減算結果を帯域ごとに前記閾値と比較し、該スペクトル減算結果が前記閾値を超えている帯域は前記エコーキャンセル信号スペクトルを相対的に大きなゲインに制御し、該閾値を超えていない帯域は該エコーキャンセル信号スペクトルを相対的に小さなゲインに制御するエコー抑圧方法。
【請求項１】
近端側のエコー経路を推定し、遠端側から受信した受信信号の擬似エコー信号を生成する適応フィルタ部と、
前記受信信号のエコー信号、近端側音声および背景雑音が含まれる近端側の信号から前記擬似エコー信号を減算してエコーキャンセル信号を生成する減算器と、
前記背景雑音のスペクトルを推定する背景雑音推定部と、
前記エコーキャンセル信号のスペクトルから前記推定された背景雑音スペクトルを減算し、さらに前記エコーキャンセル信号スペクトルを該スペクトル減算結果に応じて帯域ごとにゲイン制御して、前記遠端側に送信する送信信号のスペクトルを得る非線形処理部と、
前記エコーキャンセル信号における残留エコーの有無を判定する閾値を帯域ごとに計算する閾値計算部とを具備し、
前記非線形処理部は、前記スペクトル減算結果を帯域ごとに前記閾値と比較し、該スペクトル減算結果が前記閾値を超えている帯域は前記エコーキャンセル信号スペクトルを相対的に大きなゲインに制御し、該閾値を超えていない帯域は該エコーキャンセル信号スペクトルを相対的に小さなゲインに制御するエコー抑圧装置。
【請求項２】
前記非線形処理部は、前記スペクトル減算結果が前記閾値を超えているときは前記エコーキャンセル信号を所定のゲインに制御し、該スペクトル減算結果が該閾値を超えていないときは該エコーキャンセル信号を［該所定のゲイン×（推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル）］に応じたゲインに制御する請求項１記載のエコー抑圧装置。
【請求項３】
前記非線形処理部の出力信号から該出力信号に含まれる雑音信号を推定して該雑音信号を抑圧する雑音抑圧部をさらに具備し、該雑音信号が抑圧された信号を遠端側に向けてに送信する請求項１または２に記載のエコー抑圧装置。
【請求項４】
前記閾値計算部は、前記帯域ごとの閾値を、前記適応フィルタ部における周波数領域での畳み込み演算結果に所定の係数を掛けて生成する請求項１から３のいずれか１つに記載のエコー抑圧装置。
【請求項５】
近端側のエコー経路を推定し、遠端側から受信した受信信号の擬似エコー信号を生成する適応フィルタ処理と、
前記受信信号のエコー信号、近端側音声および背景雑音が含まれる近端側の信号から前記擬似エコー信号を減算してエコーキャンセル信号を生成する減算処理と、
前記背景雑音のスペクトルを推定する背景雑音推定処理と、
前記エコーキャンセル信号のスペクトルから前記推定された背景雑音スペクトルを減算し、さらに前記エコーキャンセル信号スペクトルを該スペクトル減算結果に応じて帯域ごとにゲイン制御して、前記遠端側に送信する送信信号のスペクトルを得る非線形処理と、
前記エコーキャンセル信号における残留エコーの有無を判定する閾値を帯域ごとに計算する閾値計算処理とを具備し、
前記非線形処理は、前記スペクトル減算結果を帯域ごとに前記閾値と比較し、該スペクトル減算結果が前記閾値を超えている帯域は前記エコーキャンセル信号スペクトルを相対的に大きなゲインに制御し、該閾値を超えていない帯域は該エコーキャンセル信号スペクトルを相対的に小さなゲインに制御するエコー抑圧方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２４１６３（Ｐ２０１１−２４１６３Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６９８６５（Ｐ２００９−１６９８６５）
【出願日】平成２１年７月２１日（２００９．７．２１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月２１日（２００９．７．２１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]