マルチチャネルエコー消去方法、マルチチャネルエコー消去装置、およびプログラム
【課題】マルチチャネルエコー消去処理における演算量を低減することができるマルチチャネルエコー消去装置を提供する。
【解決手段】本発明のマルチチャネルエコー消去装置２０は、受話信号ベクトル変換部１００が受話信号を周波数領域に変換する。エコーレプリカ生成部２２０が空間サンプリング間隔に基づいて選択されたマイクロホンについて空間的に間引かれたエコーレプリカを生成する。エコーレプリカ空間補間部３００が空間的に間引かれたエコーレプリカから空間補間を行い、エコーレプリカを生成する。逆ＦＦＴ部４００がエコーレプリカを時間領域に変換する。エコー消去部５１０が送話信号とエコーレプリカから誤差信号を生成する。ＦＦＴ部６００が誤差信号を周波数領域に変換する。エコーレプリカ生成部２２０が空間サンプリング間隔に基づいて選択されたマイクロホンについて修正量を求めフィルタ係数を更新する。
【解決手段】本発明のマルチチャネルエコー消去装置２０は、受話信号ベクトル変換部１００が受話信号を周波数領域に変換する。エコーレプリカ生成部２２０が空間サンプリング間隔に基づいて選択されたマイクロホンについて空間的に間引かれたエコーレプリカを生成する。エコーレプリカ空間補間部３００が空間的に間引かれたエコーレプリカから空間補間を行い、エコーレプリカを生成する。逆ＦＦＴ部４００がエコーレプリカを時間領域に変換する。エコー消去部５１０が送話信号とエコーレプリカから誤差信号を生成する。ＦＦＴ部６００が誤差信号を周波数領域に変換する。エコーレプリカ生成部２２０が空間サンプリング間隔に基づいて選択されたマイクロホンについて修正量を求めフィルタ係数を更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャネル拡声通話系において音響エコーを消去するマルチチャネルエコー消去方法、マルチチャネルエコー消去装置、およびプログラムに関する。
【背景技術】
【０００２】
近年、マルチチャネル再生技術は、ステレオから５．１チャネルへとチャネル数拡大の方向に進んでいる。しかし、音が高い立体感を持って再生されるリスニングエリアは狭く、スィートスポット化しており、スィートスポットの外では音の立体感がかなり低減することが知られている。マルチチャネル再生をもちいるテレプレゼンスＴＶ会議は、１０人以上の参加者にも均しく音の立体感を提供可能なリスニングエリアの広い再生が求められている。このようなマルチチャネル再生技術として、Wave Field Synthesis（以下、ＷＦＳと略す。）の研究開発が盛んに進められている（非特許文献１参照）。
【０００３】
テレプレゼンス会議のようなマルチチャネル拡声型の双方向通信会議システムでは、受話音声がスピーカから再生されマイクロホンに収音されて音響エコーが生じるため、そのまま送信されると通話の障害や不快感などの問題が生じる。快適な通話環境を実現するために、スピーカからマイクロホンに音響的に回り込む信号成分を、マイクロホン収音信号から消去する音響エコーキャンセラを備えることがある。
【０００４】
マルチチャネル通信会議システムがＭ（≧２）チャネル再生系とＮ（≧１）チャネル収音系からなるとき、音響エコーキャンセラは、図１の構成によりエコー消去を行う。図１を参照して従来のマルチチャネルエコー消去装置１０の動作を説明する。従来のマルチチャネルエコー消去装置１０は、Ｍ（１≦ｍ≦Ｍ）個のスピーカ２１〜２Ｍ、Ｎ（１≦ｎ≦Ｎ）個のマイクロホン３１〜３Ｎ、受話信号ベクトル変換部１００、Ｎ個のエコーレプリカ生成部２００１〜２００Ｎ、エコー消去部５００を備える。受話信号はスピーカ２１〜２Ｍで音響信号として再生され、音響エコー経路を経てマイクロホン３１〜３Ｎに回り込む。受話信号は受話信号ベクトル変換部１００でベクトル化され、エコーレプリカ生成部２００１〜２００Ｎはベクトル化された受話信号とエコー経路推定値からエコーレプリカを生成する。エコー消去部５００は、マイクロホン収音信号からエコーレプリカを引くことでエコー消去を行う。エコー消去部５００の出力である誤差信号は、エコーレプリカ生成部２００１〜２００Ｎに入力される。エコーレプリカ生成部２００１〜２００Ｎは、受話信号と誤差信号から、エコー経路推定値を更新する。エコー経路が精度よく推定された状態では、エコー信号とエコーレプリカ信号がほぼ等しくなり、誤差信号中にエコーは殆ど含まれなくなる。
【０００５】
演算量を削減するために、時間領域ではなく周波数領域でエコー計算とフィルタ係数更新を行うアルゴリズムが提案されている（非特許文献２参照）。図２は非特許文献２のアルゴリズムをマルチチャネルに適用したマルチチャネルエコー消去装置１１の構成を示すブロック図である。図３は従来のマルチチャネルエコー消去装置１１の動作を示すフローチャートである。以下、図２，３を参照しながら、マルチチャネルエコー消去装置１１の動作を詳細に説明する。なお、以下の説明では、ｋは時間を表し、ｆは周波数を表し、ｊはフレーム番号を表す。
【０００６】
従来のマルチチャネルエコー消去装置１１は、Ｍ（１≦ｍ≦Ｍ）個のスピーカ２１〜２Ｍと、Ｎ（１≦ｎ≦Ｎ）個のマイクロホン３１〜３Ｎと、受話信号ベクトル変換部１１０と、Ｎ個のエコーレプリカ生成部２１０１〜２１０Ｎと、逆ＦＦＴ部４００と、エコー消去部５１０と、ＦＦＴ部６００を備える。
【０００７】
受話信号ベクトル変換部１１０は、Ｍチャネルの受話信号ｘｍ（ｋ）をＬサンプルごとにブロック化し、１フレーム＝２Ｌサンプルとして、１フレーム分を高速フーリエ変換により周波数領域に変換し、式（１）のように受話信号Ｘｍ（ｆ，ｊ）を生成する（Ｓ１１０）。ここで、Ｌは自然数であり、フレーム分割数ＤはＬを割り切る自然数であり、高速フーリエ変換を簡略化・高速化するために、Ｌを２のべき乗にとることが多い。
【０００８】
【数１】
【０００９】
エコーレプリカ生成部２１０ｎは、周波数ｆごとに、式（２）のように、受話信号Ｘｍ（ｆ，ｊ）とフィルタ係数Ｈｍ，ｎ（ｆ，ｊ）を掛けることで、受話信号Ｘｍ（ｆ，ｊ）をフィルタ処理し、これをＭチャネル分加算する。これによりエコーレプリカＹ＾ｎ（ｆ，ｊ）を求める（Ｓ２１０）。
【００１０】
【数２】
【００１１】
逆ＦＦＴ部４００は、エコーレプリカＹ＾ｎ（ｆ，ｊ）を逆高速フーリエ変換により時間領域に変換し、式（３）のようにエコーレプリカｙ＾ｎ（ｊ）を求める（Ｓ４００）。
【００１２】
【数３】
【００１３】
ここで、０ＬはＬ×Ｌの零行列、ＩＬはＬ×Ｌの単位行列である。
【００１４】
エコー消去部５１０は、時間領域でＮ個のマイクロホン３１〜３Ｎから収音されるＮチャネルの送話信号ｙｎ（ｊ）とエコーレプリカｙ＾ｎ（ｊ）から誤差信号ｅｎ（ｊ）を求める（Ｓ５１０）。
【００１５】
ＦＦＴ部６００は、誤差信号ｅｎ（ｊ）を高速フーリエ変換により周波数領域に変換し、式（４）のように誤差信号Ｅｎ（ｆ，ｊ）を求める（Ｓ６００）。
【００１６】
【数４】
【００１７】
エコーレプリカ生成部２１０ｎは、誤差信号Ｅｎ（ｆ，ｊ）と受話信号Ｘｍ（ｆ，ｊ）から、式（５）のようにフィルタ係数の修正量ｄＨｍ，ｎ（ｆ，ｊ）を求める。
【００１８】
【数５】
【００１９】
ただし、＊（上付きアスタリスク）は、複素共役を表す。
【００２０】
次に、各チャネルのフィルタ係数Ｈｍ，ｎ（ｆ，ｊ）を、式（６）のように更新する（Ｓ７００）。
【００２１】
【数６】
【００２２】
ここで、ｐ（ｆ，ｊ）は、周波数成分ごとに、Ｎチャネル分の送話信号パワーの総和を、式（７）のように計算することで求めたものであり、修正量ｄＨｍ，ｎ（ｆ，ｊ）を補正している。
【００２３】
【数７】
【００２４】
ただし、μは０〜１の値をとるステップサイズであり、δは分母が０になることを防止するための微小な正定数であり、βは０〜１の値をとるパワー計算で短時間平均をとるための平滑化定数である。
【先行技術文献】
【非特許文献】
【００２５】
【非特許文献１】A. J. Berkhout, D. de Vries, and P. Vogel, “Acoustic control by wave field synthesis”, Journal of Acoustic Society of America, vol. 93, no. 5, pp.2764-2778 (1993).
【非特許文献２】D. Mansour and A. H. Gray, “Unconstrained Frequency-Domain Adaptive Filter”, IEEE Trans. on Acoust., Speech, Signal Processing, vol. ASSP-30, No. 5, pp.726-734 (1982).
【発明の概要】
【発明が解決しようとする課題】
【００２６】
しかしながら、非特許文献１に記載されたＷＦＳは、ある地点での音波面を取得し別の地点で再合成するために、数十以上のマイクロホンと数十以上のスピーカを必要とする。そのため、ＷＦＳを双方向テレビ会議に導入しようとする場合、スピーカ・マイクロホンの間の音響パスはチャネル数の二乗になるため、エコーキャンセラが推定する音響パス数はチャネル数の二乗で急激に増大する。
【００２７】
また、エコーキャンセラの演算量を下げるために、非特許文献２に記載された周波数領域でエコー計算とフィルタ係数更新を行う方法を用いても、エコーレプリカ生成とフィルタ係数更新の処理は、入力チャネル数と出力チャネル数の積、すなわちＭ×Ｎで増大してしまう。
【００２８】
本発明はこのような点に鑑みてなされたものであり、マルチチャネル拡声通話系において音響エコーを消去するマルチチャネルエコー消去処理における演算量を低減することができるマルチチャネルエコー消去装置を提供することを目的とする。
【課題を解決するための手段】
【００２９】
上記の課題を解決するために、本発明のマルチチャネルエコー消去装置は、Ｍ（１≦ｍ≦Ｍ）個のスピーカと直線上に等間隔に配置されたＮ（３≦ｎ≦Ｎ）個のマイクロホンと受話信号ベクトル変換部とエコーレプリカ生成部とエコーレプリカ空間補間部と逆ＦＦＴ部とエコー消去部とＦＦＴ部を備える。ｋは時間を表し、ｆは周波数を表し、ｊはフレーム番号を表し、ｉは適応フィルタのタップ番号を表し、ｍはスピーカの番号を表し、ｎはマイクロホンの番号を表し、ＳｅｔＮ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるマイクロホンの番号の集合を表すとする。受話信号ベクトル変換部は、スピーカから出力されるＭチャネルの受話信号ｘｍ（ｋ）を、チャネルｍごとに、周波数領域に変換して、受話信号Ｘｍ（ｆ，ｊ）を生成する。エコーレプリカ生成部は、受話信号Ｘｍ（ｆ，ｊ）が入力されると、当該受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、ＳｅｔＮ（ｆ）に含まれるマイクロホンｎについて、タップ数がＩ（１≦ｉ≦Ｉ、Ｉは１以上）のフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を用いて、空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を生成する。エコーレプリカ空間補間部は、空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）から、周波数ｆごとに、空間補間を行い、エコーレプリカＹ＾ｎ（ｆ，ｊ）を生成する。逆ＦＦＴ部は、エコーレプリカＹ＾ｎ（ｆ，ｊ）を、時間領域に変換して、エコーレプリカｙ＾ｎ（ｊ）を生成する。エコー消去部は、マイクロホンから収音されるＮチャネルの送話信号ｙｎ（ｊ）とエコーレプリカｙ＾ｎ（ｊ）から、誤差信号ｅｎ（ｋ）を生成する。ＦＦＴ部は、誤差信号ｅｎ（ｋ）を、周波数領域に変換して、誤差信号Ｅｎ（ｆ，ｊ）を生成する。エコーレプリカ生成部は、誤差信号Ｅｎ（ｆ，ｊ）が入力されると、当該誤差信号Ｅｎ（ｆ，ｊ）と受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、ＳｅｔＮ（ｆ）に含まれるマイクロホンｎについて、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求め、当該修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を用いて、フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を更新する。
【発明の効果】
【００３０】
本発明のマルチチャネルエコー消去装置によれば、周波数ごとにエコー信号の空間方向形状に着目し、低い周波数では空間補間を用いてエコーレプリカを生成することで、エコーレプリカの生成とフィルタ係数の更新における演算回数を低減し、マルチチャネル拡声通話系におけるエコー消去処理全体での演算量を低減することができる。
【図面の簡単な説明】
【００３１】
【図１】従来のマルチチャネルエコー消去装置１０の構成を示すブロック図。
【図２】従来のマルチチャネルエコー消去装置１１の構成を示すブロック図。
【図３】従来のマルチチャネルエコー消去装置１１の動作を示すフローチャート。
【図４】エコー信号の周波数ごとの空間形状を示した図。
【図５】周波数ごとの間引きパターンを示した図。
【図６】実施例１のマルチチャネルエコー消去装置２０の構成を示すブロック図。
【図７】実施例１のマルチチャネルエコー消去装置２０の動作を示すフローチャート。
【図８】エコーレプリカの空間補間方法を示した図。
【図９】誤差信号の合成方法を示した図。
【図１０】実施例１の実験結果を示した図。
【図１１】実施例２のマルチチャネルエコー消去装置３０の構成を示すブロック図。
【図１２】実施例２のマルチチャネルエコー消去装置３０の動作を示すフローチャート。
【図１３】実施例２の実験結果を示した図。
【図１４】実施例３のマルチチャネルエコー消去装置４０の構成を示すブロック図。
【図１５】実施例３の帯域分割音声スイッチ部７００の構成を示すブロック図。
【図１６】実施例３のマルチチャネルエコー消去装置４０の動作を示すフローチャート。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００３３】
[本発明の原理]
実施例の説明に先立ち、本発明のマルチチャネルエコー消去方法の原理を説明する。本発明は、周波数ごとのエコー信号の空間方向の形状に着目し、低い周波数では空間補間を用いてエコーレプリカを生成することで、エコーキャンセラ演算量の急激な増大を抑えることができる。マイクロホンが等間隔に直線状に並んでいる場合、各周波数でのエコー信号の空間形状は、周波数が低いほど滑らかになる。それは、音波の波長λと周波数ｆの間に、波長λ×周波数ｆ＝音速ｃ（一定）の関係があるために、周波数ｆが低いほど波長λは長くなるためである。さらにナイキスト定理によれば、低い周波数ではサンプリング間隔をマイクロホン間隔よりもずっと大きくすることができる。これは、低い周波数では空間サンプリングの間隔を広げられること、すなわちサンプリングを間引けること、を意味する。
【００３４】
ここではＷＦＳ収音再生系の一例として、直線状スピーカアレーと直線状マイクロホンアレーをサンプリング周波数１６ｋＨｚで動作させることを考える。ナイキスト定理より、マイクロホン間隔すなわち空間波のサンプリング間隔はλ／２以下である必要がある。帯域上限８ｋＨｚの波をサンプリングするには、音速を３３０［ｍ／ｓ］として、マイクロホン間隔を２ｃｍにする必要がある。しかし周波数が低くなるほど波形は滑らかになる。図４にこの状況を示す。３３本のマイクロホンで収音したエコー信号１フレーム分を高速フーリエ変換により周波数分解して得られた、４ｋＨｚ，２ｋＨｚ，１ｋＨｚ，５００Ｈｚ，２５０Ｈｚ，１２５Ｈｚのエコー信号の空間形状をそれぞれプロットしている。なお、実線は実数成分を表し、点線は虚数成分を表している。滑らかな波形に対して空間サンプリングを間引きすることができる。すなわち低い周波数については、全マイクロホンではなく一部のマイクロホンでエコー消去処理を行い、残りのマイクロホンについては適応フィルタを用いずに一部のマイクロホンのエコー消去済み信号から、空間補間によって全マイクロホンのエコー消去済み信号を求めることができる。
【００３５】
図５に、マイクロホン数９、周波数帯域分割数８の場合について、周波数ｆごとの送話信号の間引きパターンＳｅｔＮ（ｆ）を示す。横軸はマイク位置であり、縦軸は周波数である。ｆの値が大きいほど周波数が高いことを表している。ｆ＝３，４では、空間サンプリングが１／２に間引かれている。ｆ＝１，２では空間サンプリングが１／４に間引かれている。
【００３６】
送話信号の間引きパターンＳｅｔＮ（ｆ）は、周波数ｆの波長λ（ｆ）＝ｃ（音速）／ｆから求められる。マイクロホンが等間隔に並んでいる場合、ＳＮはマイクロホン間隔を表すとして、ＳＮ×Ｑ≦λ（ｆ）／２を満たす最大の自然数Ｑを求め、間引き間隔Ｑ（ｆ）をＱ以下に設定する。例えば、マイクロホン数Ｎ＝９、間引き間隔Ｑ（ｆ）＝４の場合、ＳｅｔＮ（ｆ）＝｛１，５，９｝と設定することができる。また、間引き間隔Ｑ（ｆ）＝２の場合、ＳｅｔＮ（ｆ）＝｛１，３，５，７，９｝と設定することができる。
【００３７】
上記の原理に基づいて、低い周波数でエコーレプリカの生成処理とフィルタ係数の更新処理を間引くことで演算量を下げることが可能になる。
【実施例１】
【００３８】
図６、図７を参照して、本発明の実施例１に係るマルチチャネルエコー消去装置２０の動作を詳細に説明する。図６は本発明の実施例１に係るマルチチャネルエコー消去装置２０の構成を示すブロック図である。図７は本発明の実施例１に係るマルチチャネルエコー消去装置２０の動作を示すフローチャートである。本実施例では、周波数領域適応アルゴリズムとして、「E. Moulines, O. A. Amrane, and Y. Grenier, “The Generalized Multidelay Adaptive Filter: Structure and Convergence Analysis”, IEEE Trans. on SP, vol. 43, no. 1 (1995).」に記載された方法を用いた場合について説明する。以下では、適応フィルタは時間方向Ｉ個（Ｉは１以上）に分割されているものとして説明する。
【００３９】
以下、実際に行われる手続きの順に説明してゆく。本実施例のマルチチャネルエコー消去装置２０は、Ｍ（１≦ｍ≦Ｍ）個のスピーカ２１〜２Ｍと、Ｎ（３≦ｎ≦Ｎ）個のマイクロホン３１〜３Ｎと、受話信号ベクトル変換部１１０と、Ｎ個のエコーレプリカ生成部２２０１〜２２０Ｎと、エコーレプリカ空間補間部３００と、逆ＦＦＴ部４００と、エコー消去部５１０と、ＦＦＴ部６００を備える。
【００４０】
受話信号ベクトル変換部１１０は、Ｍチャネルの受話信号ｘｍ（ｋ）をＬサンプルごとにブロック化し、１フレーム＝２Ｌサンプルとして、１フレーム分を高速フーリエ変換により周波数領域に変換し、上記式（１）のように受話信号Ｘｍ（ｆ，ｊ）を生成する（Ｓ１１０）。
【００４１】
エコーレプリカ生成部２２０ｎは、周波数ｆ≦Ｌ＋１について、周波数ｆごとに、ＳｅｔＮ（ｆ）に含まれるｎについて、式（８）のように、受話信号Ｘｍ（ｆ，ｊ）とフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を掛けることで、受話信号Ｘｍ（ｆ，ｊ）をフィルタ処理し、Ｍチャネル分加算する。これにより空間的に間引きされたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を求める（Ｓ２２０）。
【００４２】
【数８】
【００４３】
エコーレプリカ空間補間部３００は、周波数ｆ≦Ｌ＋１について、周波数ｆごとに、エコーレプリカ生成部２１０ｎの生成する空間的に間引きされたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を用いて、空間補間によりエコーレプリカＹ＾ｎ（ｆ，ｊ）を求める（Ｓ３００）。より具体的には、間引きによりスキップされたチャネルｎ、すなわちＳｅｔＮ（ｆ）に含まれないｎについて、ＳｅｔＮ（ｆ）に含まれるチャネルのエコー消去済み信号を空間補間することでエコーレプリカＹ＾ｎ（ｆ，ｊ）を求める。マイクロホンが等間隔で直線状に配置されているときは、空間的に間引きされたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）とｓｉｎｃ関数を使って、式（９）のように空間補間が可能である。
【００４４】
【数９】
【００４５】
なお、実際の計算では、ｓｉｎｃ関数を有限長で打ち切る必要がある。ｓｉｎｃ関数を打ち切る範囲としては、間引き間隔Ｑ（ｆ）に基づいて、式（１０）もしくは式（１１）のように設定することができる。この場合には、ｓｉｎｃ関数と乗算するエコーレプリカは４点もしくは６点で済む。
【００４６】
【数１０】
【００４７】
続いて、エコーレプリカ空間補間部３００は、周波数ｆ＞Ｌ＋１について、周波数ｆごとに、実数信号の高速フーリエ変換結果に関する対称性を用いて、式（１２）のようにエコーレプリカＹ＾ｎ（ｆ，ｊ）を求める（Ｓ３００）。ここで、ｃｏｎｊは複素共役を取ることを表している。
【００４８】
【数１１】
【００４９】
逆ＦＦＴ部４００は、エコーレプリカＹ＾ｎ（ｆ，ｊ）を逆高速フーリエ変換により時間領域に変換し、上記式（３）のようにエコーレプリカｙ＾ｎ（ｊ）を求める（Ｓ４００）。
【００５０】
エコー消去部５１０は、時間領域でＮ個のマイクロホン３１〜３Ｎから収音されるＮチャネルの送話信号ｙｎ（ｊ）とエコーレプリカｙ＾ｎ（ｊ）から誤差信号ｅｎ（ｊ）を求める（Ｓ５１０）。
【００５１】
ＦＦＴ部６００は、誤差信号ｅｎ（ｊ）を高速フーリエ変換により周波数領域に変換し、上記式（４）のように誤差信号Ｅｎ（ｆ，ｊ）を求める（Ｓ６００）。受信信号ｘｍ（ｋ）をフレーム化するときフレーム分割数ＤをＤ≧２に設定した場合には、フレーム番号ｊで求めた誤差信号Ｅｎ（ｋ，ｊ）と、一つ前のフレーム番号ｊ−１で求めた誤差信号Ｅｎ（ｋ，ｊ−１）を窓かけ処理を経て合成して出力する。図９はＤ＝２の場合の合成処理を示す図である。具体的には、ｊフレーム目で求めた誤差信号ｅｎ（ｋ０＋ｔ，ｊ）を式（１３）のように表し、ＷＨは長さ２Ｌ／Ｄのハニング窓を表すとして、合成後の誤差信号ｅｎ’（ｋ０＋ｔ）は、式（１４）のように表すことができる。
【００５２】
【数１２】
【００５３】
エコーレプリカ生成部２２０ｎは、ＳｅｔＮ（ｆ）に含まれるｎについてのみ、誤差信号Ｅｎ（ｆ，ｊ）と受話信号Ｘｍ（ｆ，ｊ）から、式（１５）のように、フィルタ係数の修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求める。
【００５４】
【数１３】
【００５５】
次に、ＳｅｔＮ（ｆ）に含まれるｎについてのみ、各チャネルのフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を、式（１６）のように更新する（Ｓ７１０）。
【００５６】
【数１４】
【００５７】
ここで、ｐ（ｆ，ｊ）は、周波数成分ごとに、Ｎチャネル分の送話信号パワーの総和を、式（１７）のように計算することで求めたものであり、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を補正している。
【００５８】
【数１５】
【００５９】
ここで、μは０〜１の値をとるステップサイズであり、δは分母が０になることを防止するための微小な正定数であり、βは０〜１の値をとるパワー計算で短時間平均をとるための平滑化定数である。
【００６０】
上記から明らかなように、本実施例では、ＳｅｔＮ（ｆ）に含まれないｎについては、エコーレプリカｙ＾ｎ（ｊ）も修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）もフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）も計算されないため、マルチチャネルエコー消去処理全体での演算量を低減することができる。
【００６１】
[実施例１の実験結果]
本実施例の効果を確認するために、シミュレーションを行った。残響時間２００ｍｓの部屋で、直線状スピーカアレー（３３素子、間隔２ｃｍ）と直線状マイクロホンアレー（３３素子、間隔２ｃｍ）を２ｍ離して平行に配置し、スピーカ・マイク間の全エコー経路インパルス応答をシミュレータにより生成した。サンプリング周波数は１６ｋＨｚに設定した。空間補間でエコーレプリカを求める際に、間引き間隔Ｑ（ｆ）に基づいて上記式（１０）を使用した。
【００６２】
受話信号は、別途ピンクノイズを音源として、３３マイクロホンによる収音を模擬して生成した。図１０に本実施例の構成によるエコー消去処理結果を示す。図１０では３３チャネル中の第１，５，１１，１７，１９チャネルについて、送話信号と誤差信号のレベルを、受話信号を実線で、誤差信号を破線でプロットしている。実線と破線の差だけエコーが消去されていることを表している。いずれもエコーを良好に消去していることが分かる。
【００６３】
[変形例]
本実施例では、周波数領域のフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）が、どの周波数ｆでもＩタップを持つ場合を説明している。本実施例の変形例として、フィルタ係数の高域部分でタップ数をＩタップより減らすことが考えられる。例えば、人の声の成分が相対的に小さい４ｋＨｚを超える周波数ではタップ数を１とすることなどが考えられる。これにより、全体の演算量をさらに下げることが可能になる。
【実施例２】
【００６４】
演算量をさらに下げるために、適応フィルタに入力する受話信号についても低い周波数で間引きを行ってもよい。周波数ｆごとの受話信号の間引きパターンＳｅｔＭ（ｆ）は、ＳｅｔＮ（ｆ）と同様に、周波数ｆの波長λ（ｆ）＝ｃ／ｆから求められる。スピーカが等間隔に並んでいる場合、ＳＭはスピーカ間隔を表すとして、ＳＭ×Ｑ≦λ（ｆ）／２を満たす最大の自然数Ｑを求め、間引き間隔ＱＭ（ｆ）をＱ以下に設定する。
【００６５】
図１１、図１２を参照して、本発明の実施例２に係るマルチチャネルエコー消去装置３０の動作を詳細に説明する。図１１は本発明の実施例２に係るマルチチャネルエコー消去装置３０の構成を示すブロック図である。図１２は本発明の実施例２に係るマルチチャネルエコー消去装置３０の動作を示すフローチャートである。実施例２のマルチチャネルエコー消去装置３０は、実施例１のマルチチャネルエコー消去装置２０と比較して、エコーレプリカ生成部２２０ｎの替わりに、エコーレプリカ生成部２３０ｎを備える点が相違する。
【００６６】
エコーレプリカ生成部２３０ｎは、周波数ｆ≦Ｌ＋１について、周波数ｆごとに、ｍがＳｅｔＭ（ｆ）に含まれる受話信号Ｘｍ（ｆ，ｊ）を抽出する（Ｓ２３１）。続いて、エコーレプリカ生成部２３０ｎは、周波数ｆ≦Ｌ＋１について、周波数ｆごとに、ＳｅｔＮ（ｆ）に含まれるｎについて、式（１８）のように、受話信号Ｘｍ（ｆ，ｊ）とフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を掛けることで、受話信号Ｘｍ（ｆ，ｊ）をフィルタ処理し、Ｍチャネル分加算する。これにより空間的に間引きされたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を求める（Ｓ２３２）。
【００６７】
【数１６】
【００６８】
また、エコーレプリカ生成部２３０ｎは、ｍがＳｅｔＭ（ｆ）に含まれ、かつｎがＳｅｔＮ（ｆ）に含まれる場合にのみ、誤差信号Ｅｎ（ｆ，ｊ）と受話信号Ｘｍ（ｆ，ｊ）から、上記式（１５）のように、フィルタ係数の修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求める。次に、ｍがＳｅｔＭ（ｆ）に含まれ、かつｎがＳｅｔＮ（ｆ）に含まれる場合にのみ、各チャネルのフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を、上記式（１６）のように更新する（Ｓ７２０）。ただし、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を補正するｐ（ｆ，ｊ）は、式（１９）のように計算して求める。
【００６９】
【数１７】
【００７０】
ここで、μは０〜１の値をとるステップサイズであり、δは分母が０になることを防止するための微小な正定数であり、βは０〜１の値をとるパワー計算で短時間平均をとるための平滑化定数である。
【００７１】
上記から明らかなように、本実施例では、ｍ∈ＳｅｔＭ（ｆ）かつｎ∈ＳｅｔＮ（ｆ）のｍ，ｎについてのみ、エコーレプリカＹ＾ｎ（ｆ，ｊ）と修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）が計算され、フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）が更新される。このため、上記以外のｍ，ｎについては、エコーレプリカＹ＾ｎ（ｆ，ｊ）も修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）もフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）も計算されないため、演算量をさらに低減することができる。
【００７２】
なお、本実施例では、受話側の信号が間引かれているため、フィルタ係数と特定スピーカ・特定マイク間のエコー経路特性は１対1に対応しなくなる。
【００７３】
[実施例２の実験結果]
本実施例の効果を確認するために、実施例１と同一の設定でシミュレーションを行った。図１３に本実施例の構成によるエコー消去処理結果を示す。図１３では３３チャネル中の第１、５、１１、１７、１９チャネルについて、送話信号と誤差信号のレベルを、受話信号を実線で、誤差信号を破線でプロットしている。実線と破線の差だけエコーが消去されていることを表している。いずれもエコーを良好に消去していることが分かる。
【実施例３】
【００７４】
図１４、図１５、図１６を参照して、本発明の実施例３に係るマルチチャネルエコー消去装置４０の動作を詳細に説明する。図１４は本発明の実施例３に係るマルチチャネルエコー消去装置４０の構成を示すブロック図である。図１６は本発明の実施例３に係るマルチチャネルエコー消去装置４０の動作を示すフローチャートである。実施例３のマルチチャネルエコー消去装置４０は、実施例１のマルチチャネルエコー消去装置２０と比較して、さらに帯域分割音声スイッチ部８００を備える点が相違する。図１５は帯域分割音声スイッチ部８００の構成を示すブロック図である。受話信号および送話信号を帯域分割音声スイッチ部８００で低域成分と高域成分に分け、高域成分のエコーを送受話状態に応じて減衰させることで制御し、低域成分のエコーを適応フィルタで消去して制御する。
【００７５】
帯域分割音声スイッチ部８００は、送受話判定部８１０と、Ｍ個の受話側高域減衰部８２０１〜８２０Ｍと、Ｎ個の受話側高域減衰部８３０１〜８３０Ｎを備える。受話側高域減衰部８２０ｍは、ハイパスフィルタ（以下、ＨＰＦと略す。）８２１０と、ローパスフィルタ（以下、ＬＰＦと略す。）８２２０と、信号減衰器８２３０と、信号加算器８２４０を備える。送話側高域減衰部８３０ｎは、ＨＰＦ８３１０と、ＬＰＦ８３２０と、信号減衰器８３３０と、信号加算器８３４０を備える。
【００７６】
受話側高域減衰部８２０ｍは、受話信号にＨＰＦ８２１０とＬＰＦ８２２０を適用し、低域信号と高域信号に分割する。信号減衰器８２３０は、ＨＰＦ８２１０の出力する高域信号を指定分減衰する。信号加算器８２４０は、信号減衰器８２３０の出力する信号とＬＰＦ８２２０の出力する信号を加算する。送話側高域減衰部８２０ｎは、送話信号にＨＰＦ８３１０とＬＰＦ８３２０を適用し、低域信号と高域信号に分割する。信号減衰器８３３０は、ＨＰＦ８３１０の出力する高域信号を指定分減衰する。信号加算器８３４０は、信号減衰器８３３０の出力する信号と、ＬＰＦ８３２０の出力する信号を加算する。
【００７７】
送受話判定部８１０は、ＬＰＦ８２２０の出力するＭチャネルの信号とＬＰＦ８３２０の出力するＮチャネルの信号を用いて、送受話判定を行う（Ｓ８１０）。受話状態と判定したときには受話側高域信号のみを減衰させる（Ｓ８２０）。送話状態と判定したときには送話側高域信号のみを減衰させる（Ｓ８３０）。信号減衰器８２２０および信号減衰器８３２０に指定する減衰量は、残留エコーが気にならないレベルになるように、３〜４０ｄＢの範囲で設定する。
【００７８】
本実施例によると、エコーレプリカ生成部２２０ｍが高域成分に対応するフィルタ係数Ｈｍ，ｎ（ｆ，ｊ）をエコーレプリカ生成に使用しないため、全体での演算量を低減することができる。ただし、フレーム間で異音が生じないことを保証するために受話信号ベクトル変換部１１０が受話信号をフレーム化する際に、フレーム分割数ＤをＤ≧２に設定する必要がある。
【００７９】
＜プログラム、記録媒体＞
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００８０】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００８１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００８２】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８３】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８４】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【産業上の利用可能性】
【００８５】
この発明によるマルチチャネルエコー消去装置は、複数チャネルの再生系と複数チャネルの収音系からなるマルチチャネル通信会議システムに利用することができる。
【符号の説明】
【００８６】
１０，２０，３０，４０ マルチチャネルエコー消去装置
２ スピーカ
３ マイクロホン
１００，１１０ 受話信号ベクトル変換部
２００，２１０，２２０，２３０ エコーレプリカ生成部
３００ エコーレプリカ空間補間部
４００ 逆ＦＦＴ部
５００，５１０ エコー消去部
６００ ＦＦＴ部
８００ 帯域分割音声スイッチ部
８１０ 送受話判定部
８２０ 受話側高域減衰部
８３０ 送話側高域減衰部
８２１０，８３１０ ハイパスフィルタ
８２２０，８３２０ ローパスフィルタ
８２３０，８３３０ 信号減衰器
８２４０，８３４０ 信号加算器
【技術分野】
【０００１】
本発明は、マルチチャネル拡声通話系において音響エコーを消去するマルチチャネルエコー消去方法、マルチチャネルエコー消去装置、およびプログラムに関する。
【背景技術】
【０００２】
近年、マルチチャネル再生技術は、ステレオから５．１チャネルへとチャネル数拡大の方向に進んでいる。しかし、音が高い立体感を持って再生されるリスニングエリアは狭く、スィートスポット化しており、スィートスポットの外では音の立体感がかなり低減することが知られている。マルチチャネル再生をもちいるテレプレゼンスＴＶ会議は、１０人以上の参加者にも均しく音の立体感を提供可能なリスニングエリアの広い再生が求められている。このようなマルチチャネル再生技術として、Wave Field Synthesis（以下、ＷＦＳと略す。）の研究開発が盛んに進められている（非特許文献１参照）。
【０００３】
テレプレゼンス会議のようなマルチチャネル拡声型の双方向通信会議システムでは、受話音声がスピーカから再生されマイクロホンに収音されて音響エコーが生じるため、そのまま送信されると通話の障害や不快感などの問題が生じる。快適な通話環境を実現するために、スピーカからマイクロホンに音響的に回り込む信号成分を、マイクロホン収音信号から消去する音響エコーキャンセラを備えることがある。
【０００４】
マルチチャネル通信会議システムがＭ（≧２）チャネル再生系とＮ（≧１）チャネル収音系からなるとき、音響エコーキャンセラは、図１の構成によりエコー消去を行う。図１を参照して従来のマルチチャネルエコー消去装置１０の動作を説明する。従来のマルチチャネルエコー消去装置１０は、Ｍ（１≦ｍ≦Ｍ）個のスピーカ２１〜２Ｍ、Ｎ（１≦ｎ≦Ｎ）個のマイクロホン３１〜３Ｎ、受話信号ベクトル変換部１００、Ｎ個のエコーレプリカ生成部２００１〜２００Ｎ、エコー消去部５００を備える。受話信号はスピーカ２１〜２Ｍで音響信号として再生され、音響エコー経路を経てマイクロホン３１〜３Ｎに回り込む。受話信号は受話信号ベクトル変換部１００でベクトル化され、エコーレプリカ生成部２００１〜２００Ｎはベクトル化された受話信号とエコー経路推定値からエコーレプリカを生成する。エコー消去部５００は、マイクロホン収音信号からエコーレプリカを引くことでエコー消去を行う。エコー消去部５００の出力である誤差信号は、エコーレプリカ生成部２００１〜２００Ｎに入力される。エコーレプリカ生成部２００１〜２００Ｎは、受話信号と誤差信号から、エコー経路推定値を更新する。エコー経路が精度よく推定された状態では、エコー信号とエコーレプリカ信号がほぼ等しくなり、誤差信号中にエコーは殆ど含まれなくなる。
【０００５】
演算量を削減するために、時間領域ではなく周波数領域でエコー計算とフィルタ係数更新を行うアルゴリズムが提案されている（非特許文献２参照）。図２は非特許文献２のアルゴリズムをマルチチャネルに適用したマルチチャネルエコー消去装置１１の構成を示すブロック図である。図３は従来のマルチチャネルエコー消去装置１１の動作を示すフローチャートである。以下、図２，３を参照しながら、マルチチャネルエコー消去装置１１の動作を詳細に説明する。なお、以下の説明では、ｋは時間を表し、ｆは周波数を表し、ｊはフレーム番号を表す。
【０００６】
従来のマルチチャネルエコー消去装置１１は、Ｍ（１≦ｍ≦Ｍ）個のスピーカ２１〜２Ｍと、Ｎ（１≦ｎ≦Ｎ）個のマイクロホン３１〜３Ｎと、受話信号ベクトル変換部１１０と、Ｎ個のエコーレプリカ生成部２１０１〜２１０Ｎと、逆ＦＦＴ部４００と、エコー消去部５１０と、ＦＦＴ部６００を備える。
【０００７】
受話信号ベクトル変換部１１０は、Ｍチャネルの受話信号ｘｍ（ｋ）をＬサンプルごとにブロック化し、１フレーム＝２Ｌサンプルとして、１フレーム分を高速フーリエ変換により周波数領域に変換し、式（１）のように受話信号Ｘｍ（ｆ，ｊ）を生成する（Ｓ１１０）。ここで、Ｌは自然数であり、フレーム分割数ＤはＬを割り切る自然数であり、高速フーリエ変換を簡略化・高速化するために、Ｌを２のべき乗にとることが多い。
【０００８】
【数１】
【０００９】
エコーレプリカ生成部２１０ｎは、周波数ｆごとに、式（２）のように、受話信号Ｘｍ（ｆ，ｊ）とフィルタ係数Ｈｍ，ｎ（ｆ，ｊ）を掛けることで、受話信号Ｘｍ（ｆ，ｊ）をフィルタ処理し、これをＭチャネル分加算する。これによりエコーレプリカＹ＾ｎ（ｆ，ｊ）を求める（Ｓ２１０）。
【００１０】
【数２】
【００１１】
逆ＦＦＴ部４００は、エコーレプリカＹ＾ｎ（ｆ，ｊ）を逆高速フーリエ変換により時間領域に変換し、式（３）のようにエコーレプリカｙ＾ｎ（ｊ）を求める（Ｓ４００）。
【００１２】
【数３】
【００１３】
ここで、０ＬはＬ×Ｌの零行列、ＩＬはＬ×Ｌの単位行列である。
【００１４】
エコー消去部５１０は、時間領域でＮ個のマイクロホン３１〜３Ｎから収音されるＮチャネルの送話信号ｙｎ（ｊ）とエコーレプリカｙ＾ｎ（ｊ）から誤差信号ｅｎ（ｊ）を求める（Ｓ５１０）。
【００１５】
ＦＦＴ部６００は、誤差信号ｅｎ（ｊ）を高速フーリエ変換により周波数領域に変換し、式（４）のように誤差信号Ｅｎ（ｆ，ｊ）を求める（Ｓ６００）。
【００１６】
【数４】
【００１７】
エコーレプリカ生成部２１０ｎは、誤差信号Ｅｎ（ｆ，ｊ）と受話信号Ｘｍ（ｆ，ｊ）から、式（５）のようにフィルタ係数の修正量ｄＨｍ，ｎ（ｆ，ｊ）を求める。
【００１８】
【数５】
【００１９】
ただし、＊（上付きアスタリスク）は、複素共役を表す。
【００２０】
次に、各チャネルのフィルタ係数Ｈｍ，ｎ（ｆ，ｊ）を、式（６）のように更新する（Ｓ７００）。
【００２１】
【数６】
【００２２】
ここで、ｐ（ｆ，ｊ）は、周波数成分ごとに、Ｎチャネル分の送話信号パワーの総和を、式（７）のように計算することで求めたものであり、修正量ｄＨｍ，ｎ（ｆ，ｊ）を補正している。
【００２３】
【数７】
【００２４】
ただし、μは０〜１の値をとるステップサイズであり、δは分母が０になることを防止するための微小な正定数であり、βは０〜１の値をとるパワー計算で短時間平均をとるための平滑化定数である。
【先行技術文献】
【非特許文献】
【００２５】
【非特許文献１】A. J. Berkhout, D. de Vries, and P. Vogel, “Acoustic control by wave field synthesis”, Journal of Acoustic Society of America, vol. 93, no. 5, pp.2764-2778 (1993).
【非特許文献２】D. Mansour and A. H. Gray, “Unconstrained Frequency-Domain Adaptive Filter”, IEEE Trans. on Acoust., Speech, Signal Processing, vol. ASSP-30, No. 5, pp.726-734 (1982).
【発明の概要】
【発明が解決しようとする課題】
【００２６】
しかしながら、非特許文献１に記載されたＷＦＳは、ある地点での音波面を取得し別の地点で再合成するために、数十以上のマイクロホンと数十以上のスピーカを必要とする。そのため、ＷＦＳを双方向テレビ会議に導入しようとする場合、スピーカ・マイクロホンの間の音響パスはチャネル数の二乗になるため、エコーキャンセラが推定する音響パス数はチャネル数の二乗で急激に増大する。
【００２７】
また、エコーキャンセラの演算量を下げるために、非特許文献２に記載された周波数領域でエコー計算とフィルタ係数更新を行う方法を用いても、エコーレプリカ生成とフィルタ係数更新の処理は、入力チャネル数と出力チャネル数の積、すなわちＭ×Ｎで増大してしまう。
【００２８】
本発明はこのような点に鑑みてなされたものであり、マルチチャネル拡声通話系において音響エコーを消去するマルチチャネルエコー消去処理における演算量を低減することができるマルチチャネルエコー消去装置を提供することを目的とする。
【課題を解決するための手段】
【００２９】
上記の課題を解決するために、本発明のマルチチャネルエコー消去装置は、Ｍ（１≦ｍ≦Ｍ）個のスピーカと直線上に等間隔に配置されたＮ（３≦ｎ≦Ｎ）個のマイクロホンと受話信号ベクトル変換部とエコーレプリカ生成部とエコーレプリカ空間補間部と逆ＦＦＴ部とエコー消去部とＦＦＴ部を備える。ｋは時間を表し、ｆは周波数を表し、ｊはフレーム番号を表し、ｉは適応フィルタのタップ番号を表し、ｍはスピーカの番号を表し、ｎはマイクロホンの番号を表し、ＳｅｔＮ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるマイクロホンの番号の集合を表すとする。受話信号ベクトル変換部は、スピーカから出力されるＭチャネルの受話信号ｘｍ（ｋ）を、チャネルｍごとに、周波数領域に変換して、受話信号Ｘｍ（ｆ，ｊ）を生成する。エコーレプリカ生成部は、受話信号Ｘｍ（ｆ，ｊ）が入力されると、当該受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、ＳｅｔＮ（ｆ）に含まれるマイクロホンｎについて、タップ数がＩ（１≦ｉ≦Ｉ、Ｉは１以上）のフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を用いて、空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を生成する。エコーレプリカ空間補間部は、空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）から、周波数ｆごとに、空間補間を行い、エコーレプリカＹ＾ｎ（ｆ，ｊ）を生成する。逆ＦＦＴ部は、エコーレプリカＹ＾ｎ（ｆ，ｊ）を、時間領域に変換して、エコーレプリカｙ＾ｎ（ｊ）を生成する。エコー消去部は、マイクロホンから収音されるＮチャネルの送話信号ｙｎ（ｊ）とエコーレプリカｙ＾ｎ（ｊ）から、誤差信号ｅｎ（ｋ）を生成する。ＦＦＴ部は、誤差信号ｅｎ（ｋ）を、周波数領域に変換して、誤差信号Ｅｎ（ｆ，ｊ）を生成する。エコーレプリカ生成部は、誤差信号Ｅｎ（ｆ，ｊ）が入力されると、当該誤差信号Ｅｎ（ｆ，ｊ）と受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、ＳｅｔＮ（ｆ）に含まれるマイクロホンｎについて、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求め、当該修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を用いて、フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を更新する。
【発明の効果】
【００３０】
本発明のマルチチャネルエコー消去装置によれば、周波数ごとにエコー信号の空間方向形状に着目し、低い周波数では空間補間を用いてエコーレプリカを生成することで、エコーレプリカの生成とフィルタ係数の更新における演算回数を低減し、マルチチャネル拡声通話系におけるエコー消去処理全体での演算量を低減することができる。
【図面の簡単な説明】
【００３１】
【図１】従来のマルチチャネルエコー消去装置１０の構成を示すブロック図。
【図２】従来のマルチチャネルエコー消去装置１１の構成を示すブロック図。
【図３】従来のマルチチャネルエコー消去装置１１の動作を示すフローチャート。
【図４】エコー信号の周波数ごとの空間形状を示した図。
【図５】周波数ごとの間引きパターンを示した図。
【図６】実施例１のマルチチャネルエコー消去装置２０の構成を示すブロック図。
【図７】実施例１のマルチチャネルエコー消去装置２０の動作を示すフローチャート。
【図８】エコーレプリカの空間補間方法を示した図。
【図９】誤差信号の合成方法を示した図。
【図１０】実施例１の実験結果を示した図。
【図１１】実施例２のマルチチャネルエコー消去装置３０の構成を示すブロック図。
【図１２】実施例２のマルチチャネルエコー消去装置３０の動作を示すフローチャート。
【図１３】実施例２の実験結果を示した図。
【図１４】実施例３のマルチチャネルエコー消去装置４０の構成を示すブロック図。
【図１５】実施例３の帯域分割音声スイッチ部７００の構成を示すブロック図。
【図１６】実施例３のマルチチャネルエコー消去装置４０の動作を示すフローチャート。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００３３】
[本発明の原理]
実施例の説明に先立ち、本発明のマルチチャネルエコー消去方法の原理を説明する。本発明は、周波数ごとのエコー信号の空間方向の形状に着目し、低い周波数では空間補間を用いてエコーレプリカを生成することで、エコーキャンセラ演算量の急激な増大を抑えることができる。マイクロホンが等間隔に直線状に並んでいる場合、各周波数でのエコー信号の空間形状は、周波数が低いほど滑らかになる。それは、音波の波長λと周波数ｆの間に、波長λ×周波数ｆ＝音速ｃ（一定）の関係があるために、周波数ｆが低いほど波長λは長くなるためである。さらにナイキスト定理によれば、低い周波数ではサンプリング間隔をマイクロホン間隔よりもずっと大きくすることができる。これは、低い周波数では空間サンプリングの間隔を広げられること、すなわちサンプリングを間引けること、を意味する。
【００３４】
ここではＷＦＳ収音再生系の一例として、直線状スピーカアレーと直線状マイクロホンアレーをサンプリング周波数１６ｋＨｚで動作させることを考える。ナイキスト定理より、マイクロホン間隔すなわち空間波のサンプリング間隔はλ／２以下である必要がある。帯域上限８ｋＨｚの波をサンプリングするには、音速を３３０［ｍ／ｓ］として、マイクロホン間隔を２ｃｍにする必要がある。しかし周波数が低くなるほど波形は滑らかになる。図４にこの状況を示す。３３本のマイクロホンで収音したエコー信号１フレーム分を高速フーリエ変換により周波数分解して得られた、４ｋＨｚ，２ｋＨｚ，１ｋＨｚ，５００Ｈｚ，２５０Ｈｚ，１２５Ｈｚのエコー信号の空間形状をそれぞれプロットしている。なお、実線は実数成分を表し、点線は虚数成分を表している。滑らかな波形に対して空間サンプリングを間引きすることができる。すなわち低い周波数については、全マイクロホンではなく一部のマイクロホンでエコー消去処理を行い、残りのマイクロホンについては適応フィルタを用いずに一部のマイクロホンのエコー消去済み信号から、空間補間によって全マイクロホンのエコー消去済み信号を求めることができる。
【００３５】
図５に、マイクロホン数９、周波数帯域分割数８の場合について、周波数ｆごとの送話信号の間引きパターンＳｅｔＮ（ｆ）を示す。横軸はマイク位置であり、縦軸は周波数である。ｆの値が大きいほど周波数が高いことを表している。ｆ＝３，４では、空間サンプリングが１／２に間引かれている。ｆ＝１，２では空間サンプリングが１／４に間引かれている。
【００３６】
送話信号の間引きパターンＳｅｔＮ（ｆ）は、周波数ｆの波長λ（ｆ）＝ｃ（音速）／ｆから求められる。マイクロホンが等間隔に並んでいる場合、ＳＮはマイクロホン間隔を表すとして、ＳＮ×Ｑ≦λ（ｆ）／２を満たす最大の自然数Ｑを求め、間引き間隔Ｑ（ｆ）をＱ以下に設定する。例えば、マイクロホン数Ｎ＝９、間引き間隔Ｑ（ｆ）＝４の場合、ＳｅｔＮ（ｆ）＝｛１，５，９｝と設定することができる。また、間引き間隔Ｑ（ｆ）＝２の場合、ＳｅｔＮ（ｆ）＝｛１，３，５，７，９｝と設定することができる。
【００３７】
上記の原理に基づいて、低い周波数でエコーレプリカの生成処理とフィルタ係数の更新処理を間引くことで演算量を下げることが可能になる。
【実施例１】
【００３８】
図６、図７を参照して、本発明の実施例１に係るマルチチャネルエコー消去装置２０の動作を詳細に説明する。図６は本発明の実施例１に係るマルチチャネルエコー消去装置２０の構成を示すブロック図である。図７は本発明の実施例１に係るマルチチャネルエコー消去装置２０の動作を示すフローチャートである。本実施例では、周波数領域適応アルゴリズムとして、「E. Moulines, O. A. Amrane, and Y. Grenier, “The Generalized Multidelay Adaptive Filter: Structure and Convergence Analysis”, IEEE Trans. on SP, vol. 43, no. 1 (1995).」に記載された方法を用いた場合について説明する。以下では、適応フィルタは時間方向Ｉ個（Ｉは１以上）に分割されているものとして説明する。
【００３９】
以下、実際に行われる手続きの順に説明してゆく。本実施例のマルチチャネルエコー消去装置２０は、Ｍ（１≦ｍ≦Ｍ）個のスピーカ２１〜２Ｍと、Ｎ（３≦ｎ≦Ｎ）個のマイクロホン３１〜３Ｎと、受話信号ベクトル変換部１１０と、Ｎ個のエコーレプリカ生成部２２０１〜２２０Ｎと、エコーレプリカ空間補間部３００と、逆ＦＦＴ部４００と、エコー消去部５１０と、ＦＦＴ部６００を備える。
【００４０】
受話信号ベクトル変換部１１０は、Ｍチャネルの受話信号ｘｍ（ｋ）をＬサンプルごとにブロック化し、１フレーム＝２Ｌサンプルとして、１フレーム分を高速フーリエ変換により周波数領域に変換し、上記式（１）のように受話信号Ｘｍ（ｆ，ｊ）を生成する（Ｓ１１０）。
【００４１】
エコーレプリカ生成部２２０ｎは、周波数ｆ≦Ｌ＋１について、周波数ｆごとに、ＳｅｔＮ（ｆ）に含まれるｎについて、式（８）のように、受話信号Ｘｍ（ｆ，ｊ）とフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を掛けることで、受話信号Ｘｍ（ｆ，ｊ）をフィルタ処理し、Ｍチャネル分加算する。これにより空間的に間引きされたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を求める（Ｓ２２０）。
【００４２】
【数８】
【００４３】
エコーレプリカ空間補間部３００は、周波数ｆ≦Ｌ＋１について、周波数ｆごとに、エコーレプリカ生成部２１０ｎの生成する空間的に間引きされたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を用いて、空間補間によりエコーレプリカＹ＾ｎ（ｆ，ｊ）を求める（Ｓ３００）。より具体的には、間引きによりスキップされたチャネルｎ、すなわちＳｅｔＮ（ｆ）に含まれないｎについて、ＳｅｔＮ（ｆ）に含まれるチャネルのエコー消去済み信号を空間補間することでエコーレプリカＹ＾ｎ（ｆ，ｊ）を求める。マイクロホンが等間隔で直線状に配置されているときは、空間的に間引きされたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）とｓｉｎｃ関数を使って、式（９）のように空間補間が可能である。
【００４４】
【数９】
【００４５】
なお、実際の計算では、ｓｉｎｃ関数を有限長で打ち切る必要がある。ｓｉｎｃ関数を打ち切る範囲としては、間引き間隔Ｑ（ｆ）に基づいて、式（１０）もしくは式（１１）のように設定することができる。この場合には、ｓｉｎｃ関数と乗算するエコーレプリカは４点もしくは６点で済む。
【００４６】
【数１０】
【００４７】
続いて、エコーレプリカ空間補間部３００は、周波数ｆ＞Ｌ＋１について、周波数ｆごとに、実数信号の高速フーリエ変換結果に関する対称性を用いて、式（１２）のようにエコーレプリカＹ＾ｎ（ｆ，ｊ）を求める（Ｓ３００）。ここで、ｃｏｎｊは複素共役を取ることを表している。
【００４８】
【数１１】
【００４９】
逆ＦＦＴ部４００は、エコーレプリカＹ＾ｎ（ｆ，ｊ）を逆高速フーリエ変換により時間領域に変換し、上記式（３）のようにエコーレプリカｙ＾ｎ（ｊ）を求める（Ｓ４００）。
【００５０】
エコー消去部５１０は、時間領域でＮ個のマイクロホン３１〜３Ｎから収音されるＮチャネルの送話信号ｙｎ（ｊ）とエコーレプリカｙ＾ｎ（ｊ）から誤差信号ｅｎ（ｊ）を求める（Ｓ５１０）。
【００５１】
ＦＦＴ部６００は、誤差信号ｅｎ（ｊ）を高速フーリエ変換により周波数領域に変換し、上記式（４）のように誤差信号Ｅｎ（ｆ，ｊ）を求める（Ｓ６００）。受信信号ｘｍ（ｋ）をフレーム化するときフレーム分割数ＤをＤ≧２に設定した場合には、フレーム番号ｊで求めた誤差信号Ｅｎ（ｋ，ｊ）と、一つ前のフレーム番号ｊ−１で求めた誤差信号Ｅｎ（ｋ，ｊ−１）を窓かけ処理を経て合成して出力する。図９はＤ＝２の場合の合成処理を示す図である。具体的には、ｊフレーム目で求めた誤差信号ｅｎ（ｋ０＋ｔ，ｊ）を式（１３）のように表し、ＷＨは長さ２Ｌ／Ｄのハニング窓を表すとして、合成後の誤差信号ｅｎ’（ｋ０＋ｔ）は、式（１４）のように表すことができる。
【００５２】
【数１２】
【００５３】
エコーレプリカ生成部２２０ｎは、ＳｅｔＮ（ｆ）に含まれるｎについてのみ、誤差信号Ｅｎ（ｆ，ｊ）と受話信号Ｘｍ（ｆ，ｊ）から、式（１５）のように、フィルタ係数の修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求める。
【００５４】
【数１３】
【００５５】
次に、ＳｅｔＮ（ｆ）に含まれるｎについてのみ、各チャネルのフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を、式（１６）のように更新する（Ｓ７１０）。
【００５６】
【数１４】
【００５７】
ここで、ｐ（ｆ，ｊ）は、周波数成分ごとに、Ｎチャネル分の送話信号パワーの総和を、式（１７）のように計算することで求めたものであり、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を補正している。
【００５８】
【数１５】
【００５９】
ここで、μは０〜１の値をとるステップサイズであり、δは分母が０になることを防止するための微小な正定数であり、βは０〜１の値をとるパワー計算で短時間平均をとるための平滑化定数である。
【００６０】
上記から明らかなように、本実施例では、ＳｅｔＮ（ｆ）に含まれないｎについては、エコーレプリカｙ＾ｎ（ｊ）も修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）もフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）も計算されないため、マルチチャネルエコー消去処理全体での演算量を低減することができる。
【００６１】
[実施例１の実験結果]
本実施例の効果を確認するために、シミュレーションを行った。残響時間２００ｍｓの部屋で、直線状スピーカアレー（３３素子、間隔２ｃｍ）と直線状マイクロホンアレー（３３素子、間隔２ｃｍ）を２ｍ離して平行に配置し、スピーカ・マイク間の全エコー経路インパルス応答をシミュレータにより生成した。サンプリング周波数は１６ｋＨｚに設定した。空間補間でエコーレプリカを求める際に、間引き間隔Ｑ（ｆ）に基づいて上記式（１０）を使用した。
【００６２】
受話信号は、別途ピンクノイズを音源として、３３マイクロホンによる収音を模擬して生成した。図１０に本実施例の構成によるエコー消去処理結果を示す。図１０では３３チャネル中の第１，５，１１，１７，１９チャネルについて、送話信号と誤差信号のレベルを、受話信号を実線で、誤差信号を破線でプロットしている。実線と破線の差だけエコーが消去されていることを表している。いずれもエコーを良好に消去していることが分かる。
【００６３】
[変形例]
本実施例では、周波数領域のフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）が、どの周波数ｆでもＩタップを持つ場合を説明している。本実施例の変形例として、フィルタ係数の高域部分でタップ数をＩタップより減らすことが考えられる。例えば、人の声の成分が相対的に小さい４ｋＨｚを超える周波数ではタップ数を１とすることなどが考えられる。これにより、全体の演算量をさらに下げることが可能になる。
【実施例２】
【００６４】
演算量をさらに下げるために、適応フィルタに入力する受話信号についても低い周波数で間引きを行ってもよい。周波数ｆごとの受話信号の間引きパターンＳｅｔＭ（ｆ）は、ＳｅｔＮ（ｆ）と同様に、周波数ｆの波長λ（ｆ）＝ｃ／ｆから求められる。スピーカが等間隔に並んでいる場合、ＳＭはスピーカ間隔を表すとして、ＳＭ×Ｑ≦λ（ｆ）／２を満たす最大の自然数Ｑを求め、間引き間隔ＱＭ（ｆ）をＱ以下に設定する。
【００６５】
図１１、図１２を参照して、本発明の実施例２に係るマルチチャネルエコー消去装置３０の動作を詳細に説明する。図１１は本発明の実施例２に係るマルチチャネルエコー消去装置３０の構成を示すブロック図である。図１２は本発明の実施例２に係るマルチチャネルエコー消去装置３０の動作を示すフローチャートである。実施例２のマルチチャネルエコー消去装置３０は、実施例１のマルチチャネルエコー消去装置２０と比較して、エコーレプリカ生成部２２０ｎの替わりに、エコーレプリカ生成部２３０ｎを備える点が相違する。
【００６６】
エコーレプリカ生成部２３０ｎは、周波数ｆ≦Ｌ＋１について、周波数ｆごとに、ｍがＳｅｔＭ（ｆ）に含まれる受話信号Ｘｍ（ｆ，ｊ）を抽出する（Ｓ２３１）。続いて、エコーレプリカ生成部２３０ｎは、周波数ｆ≦Ｌ＋１について、周波数ｆごとに、ＳｅｔＮ（ｆ）に含まれるｎについて、式（１８）のように、受話信号Ｘｍ（ｆ，ｊ）とフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を掛けることで、受話信号Ｘｍ（ｆ，ｊ）をフィルタ処理し、Ｍチャネル分加算する。これにより空間的に間引きされたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を求める（Ｓ２３２）。
【００６７】
【数１６】
【００６８】
また、エコーレプリカ生成部２３０ｎは、ｍがＳｅｔＭ（ｆ）に含まれ、かつｎがＳｅｔＮ（ｆ）に含まれる場合にのみ、誤差信号Ｅｎ（ｆ，ｊ）と受話信号Ｘｍ（ｆ，ｊ）から、上記式（１５）のように、フィルタ係数の修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求める。次に、ｍがＳｅｔＭ（ｆ）に含まれ、かつｎがＳｅｔＮ（ｆ）に含まれる場合にのみ、各チャネルのフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を、上記式（１６）のように更新する（Ｓ７２０）。ただし、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を補正するｐ（ｆ，ｊ）は、式（１９）のように計算して求める。
【００６９】
【数１７】
【００７０】
ここで、μは０〜１の値をとるステップサイズであり、δは分母が０になることを防止するための微小な正定数であり、βは０〜１の値をとるパワー計算で短時間平均をとるための平滑化定数である。
【００７１】
上記から明らかなように、本実施例では、ｍ∈ＳｅｔＭ（ｆ）かつｎ∈ＳｅｔＮ（ｆ）のｍ，ｎについてのみ、エコーレプリカＹ＾ｎ（ｆ，ｊ）と修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）が計算され、フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）が更新される。このため、上記以外のｍ，ｎについては、エコーレプリカＹ＾ｎ（ｆ，ｊ）も修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）もフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）も計算されないため、演算量をさらに低減することができる。
【００７２】
なお、本実施例では、受話側の信号が間引かれているため、フィルタ係数と特定スピーカ・特定マイク間のエコー経路特性は１対1に対応しなくなる。
【００７３】
[実施例２の実験結果]
本実施例の効果を確認するために、実施例１と同一の設定でシミュレーションを行った。図１３に本実施例の構成によるエコー消去処理結果を示す。図１３では３３チャネル中の第１、５、１１、１７、１９チャネルについて、送話信号と誤差信号のレベルを、受話信号を実線で、誤差信号を破線でプロットしている。実線と破線の差だけエコーが消去されていることを表している。いずれもエコーを良好に消去していることが分かる。
【実施例３】
【００７４】
図１４、図１５、図１６を参照して、本発明の実施例３に係るマルチチャネルエコー消去装置４０の動作を詳細に説明する。図１４は本発明の実施例３に係るマルチチャネルエコー消去装置４０の構成を示すブロック図である。図１６は本発明の実施例３に係るマルチチャネルエコー消去装置４０の動作を示すフローチャートである。実施例３のマルチチャネルエコー消去装置４０は、実施例１のマルチチャネルエコー消去装置２０と比較して、さらに帯域分割音声スイッチ部８００を備える点が相違する。図１５は帯域分割音声スイッチ部８００の構成を示すブロック図である。受話信号および送話信号を帯域分割音声スイッチ部８００で低域成分と高域成分に分け、高域成分のエコーを送受話状態に応じて減衰させることで制御し、低域成分のエコーを適応フィルタで消去して制御する。
【００７５】
帯域分割音声スイッチ部８００は、送受話判定部８１０と、Ｍ個の受話側高域減衰部８２０１〜８２０Ｍと、Ｎ個の受話側高域減衰部８３０１〜８３０Ｎを備える。受話側高域減衰部８２０ｍは、ハイパスフィルタ（以下、ＨＰＦと略す。）８２１０と、ローパスフィルタ（以下、ＬＰＦと略す。）８２２０と、信号減衰器８２３０と、信号加算器８２４０を備える。送話側高域減衰部８３０ｎは、ＨＰＦ８３１０と、ＬＰＦ８３２０と、信号減衰器８３３０と、信号加算器８３４０を備える。
【００７６】
受話側高域減衰部８２０ｍは、受話信号にＨＰＦ８２１０とＬＰＦ８２２０を適用し、低域信号と高域信号に分割する。信号減衰器８２３０は、ＨＰＦ８２１０の出力する高域信号を指定分減衰する。信号加算器８２４０は、信号減衰器８２３０の出力する信号とＬＰＦ８２２０の出力する信号を加算する。送話側高域減衰部８２０ｎは、送話信号にＨＰＦ８３１０とＬＰＦ８３２０を適用し、低域信号と高域信号に分割する。信号減衰器８３３０は、ＨＰＦ８３１０の出力する高域信号を指定分減衰する。信号加算器８３４０は、信号減衰器８３３０の出力する信号と、ＬＰＦ８３２０の出力する信号を加算する。
【００７７】
送受話判定部８１０は、ＬＰＦ８２２０の出力するＭチャネルの信号とＬＰＦ８３２０の出力するＮチャネルの信号を用いて、送受話判定を行う（Ｓ８１０）。受話状態と判定したときには受話側高域信号のみを減衰させる（Ｓ８２０）。送話状態と判定したときには送話側高域信号のみを減衰させる（Ｓ８３０）。信号減衰器８２２０および信号減衰器８３２０に指定する減衰量は、残留エコーが気にならないレベルになるように、３〜４０ｄＢの範囲で設定する。
【００７８】
本実施例によると、エコーレプリカ生成部２２０ｍが高域成分に対応するフィルタ係数Ｈｍ，ｎ（ｆ，ｊ）をエコーレプリカ生成に使用しないため、全体での演算量を低減することができる。ただし、フレーム間で異音が生じないことを保証するために受話信号ベクトル変換部１１０が受話信号をフレーム化する際に、フレーム分割数ＤをＤ≧２に設定する必要がある。
【００７９】
＜プログラム、記録媒体＞
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００８０】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００８１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００８２】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８３】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８４】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【産業上の利用可能性】
【００８５】
この発明によるマルチチャネルエコー消去装置は、複数チャネルの再生系と複数チャネルの収音系からなるマルチチャネル通信会議システムに利用することができる。
【符号の説明】
【００８６】
１０，２０，３０，４０ マルチチャネルエコー消去装置
２ スピーカ
３ マイクロホン
１００，１１０ 受話信号ベクトル変換部
２００，２１０，２２０，２３０ エコーレプリカ生成部
３００ エコーレプリカ空間補間部
４００ 逆ＦＦＴ部
５００，５１０ エコー消去部
６００ ＦＦＴ部
８００ 帯域分割音声スイッチ部
８１０ 送受話判定部
８２０ 受話側高域減衰部
８３０ 送話側高域減衰部
８２１０，８３１０ ハイパスフィルタ
８２２０，８３２０ ローパスフィルタ
８２３０，８３３０ 信号減衰器
８２４０，８３４０ 信号加算器
【特許請求の範囲】
【請求項１】
ｋは時間を表し、ｆは周波数を表し、ｊはフレーム番号を表し、ｉは適応フィルタのタップ番号を表し、ｍはスピーカの番号を表し、ｎはマイクロホンの番号を表し、ＳｅｔＮ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるマイクロホンの番号の集合を表すとして、
受話信号ベクトル変換部が、Ｍ（１≦ｍ≦Ｍ）個のスピーカから出力されるＭチャネルの受話信号ｘｍ（ｋ）を、チャネルｍごとに、周波数領域に変換して、受話信号Ｘｍ（ｆ，ｊ）を生成する受話信号ベクトル変換ステップと、
エコーレプリカ生成部が、前記受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎについて、タップ数がＩ（１≦ｉ≦Ｉ、Ｉは１以上）のフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を用いて、空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を生成するエコーレプリカ生成ステップと、
エコーレプリカ空間補間部が、前記空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）から、周波数ｆごとに、空間補間を行い、エコーレプリカＹ＾ｎ（ｆ，ｊ）を生成するエコーレプリカ空間補間ステップと、
逆ＦＦＴ部が、前記エコーレプリカＹ＾ｎ（ｆ，ｊ）を、時間領域に変換して、エコーレプリカｙ＾ｎ（ｊ）を生成する逆ＦＦＴステップと、
エコー消去部が、直線上に等間隔に配置されたＮ（３≦ｎ≦Ｎ）個のマイクロホンから収音されるＮチャネルの送話信号ｙｎ（ｊ）と前記エコーレプリカｙ＾ｎ（ｊ）から、誤差信号ｅｎ（ｋ）を生成するエコー消去ステップと、
ＦＦＴ部が、前記誤差信号ｅｎ（ｋ）を、周波数領域に変換して、誤差信号Ｅｎ（ｆ，ｊ）を生成するＦＦＴステップと、
前記エコーレプリカ生成部が、前記誤差信号Ｅｎ（ｆ，ｊ）と前記受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎについて、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求め、当該修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を用いて、前記フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を更新するフィルタ係数更新ステップと、
を含むことを特徴とするマルチチャネルエコー消去方法。
【請求項２】
ｋは時間を表し、ｆは周波数を表し、ｊはフレーム番号を表し、ｉは適応フィルタのタップ番号を表し、ｍはスピーカの番号を表し、ＳｅｔＭ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるスピーカの番号の集合を表し、ｎはマイクロホンの番号を表し、ＳｅｔＮ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるマイクロホンの番号の集合を表すとして、
受話信号ベクトル変換部が、直線上に等間隔に配置されたＭ（３≦ｍ≦Ｍ）個のスピーカから出力されるＭチャネルの受話信号ｘｍ（ｋ）を、チャネルｍごとに、周波数領域に変換して、受話信号Ｘｍ（ｆ，ｊ）を生成する受話信号ベクトル変換ステップと、
エコーレプリカ生成部が、前記受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎと前記ＳｅｔＭ（ｆ）に含まれるスピーカｍの組み合わせについて、タップ数がＩ（１≦ｉ≦Ｉ、Ｉは１以上）のフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を用いて、空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を生成するエコーレプリカ生成ステップと、
エコーレプリカ空間補間部が、前記空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）から、周波数ｆごとに、空間補間を行い、エコーレプリカＹ＾ｎ（ｆ，ｊ）を生成するエコーレプリカ空間補間ステップと、
逆ＦＦＴ部が、前記エコーレプリカＹ＾ｎ（ｆ，ｊ）を、時間領域に変換して、エコーレプリカｙ＾ｎ（ｊ）を生成する逆ＦＦＴステップと、
エコー消去部が、直線上に等間隔に配置されたＮ（３≦ｎ≦Ｎ）個のマイクロホンから収音されるＮチャネルの送話信号ｙｎ（ｊ）と前記エコーレプリカｙ＾ｎ（ｊ）から、誤差信号ｅｎ（ｋ）を生成するエコー消去ステップと、
ＦＦＴ部が、前記誤差信号ｅｎ（ｋ）を、周波数領域に変換して、誤差信号Ｅｎ（ｆ，ｊ）を生成するＦＦＴステップと、
前記エコーレプリカ生成部が、前記誤差信号Ｅｎ（ｆ，ｊ）と前記受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎと前記ＳｅｔＭ（ｆ）に含まれるスピーカｍの組み合わせについて、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求め、当該修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を用いて、前記フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を更新するフィルタ係数更新ステップと、
を含むことを特徴とするマルチチャネルエコー消去方法。
【請求項３】
請求項１または２に記載のマルチチャネルエコー消去方法であって、
Ｓはマイクロホン間隔を表し、λ（ｆ）は周波数ｆの波長を表すとして、
前記ＳｅｔＮ（ｆ）は、Ｓ×Ｑ≦λ（ｆ）／２を満たす最大の自然数Ｑを求め、当該Ｑ以下である間引き間隔Ｑ（ｆ）を決定し、当該間引き間隔Ｑ（ｆ）に基づいて選択される
ことを特徴とするマルチチャネルエコー消去方法。
【請求項４】
請求項１から３のいずれかに記載のマルチチャネルエコー消去方法であって、
Ｓはマイクロホン間隔を表し、λ（ｆ）は周波数ｆの波長を表すとして、
前記エコーレプリカ空間補間ステップは、周波数ｆごとに、Ｓ×Ｑ≦λ（ｆ）／２を満たす最大の自然数Ｑを求め、当該Ｑ以下である間引き間隔Ｑ（ｆ）を決定し、
【数１８】
のように、空間補間を行う
ことを特徴とするマルチチャネルエコー消去方法。
【請求項５】
請求項１から４のいずれかに記載のマルチチャネルエコー消去方法であって、
前記フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）は、周波数ｆごとに可変であり、所定の周波数を超える周波数に対応するフィルタ係数のタップ数が、所定の周波数以下の周波数に対応するフィルタ係数のタップ数よりも少なく設定されている
ことを特徴とするマルチチャネルエコー消去方法。
【請求項６】
請求項１から５のいずれかに記載のマルチチャネルエコー消去方法であって、
帯域分割音声スイッチ部が、前記受話信号ｘｍ（ｋ）を、チャネルｍごとに、高域成分を減衰する受話側高域減衰ステップと、
前記帯域分割音声スイッチ部が、前記誤差信号ｅｎ（ｋ）を、チャネルｎごとに、高域成分を減衰する送話側高域減衰ステップと、
前記帯域分割音声スイッチ部が、前記受話信号ｘｍ（ｋ）の低域成分と前記誤差信号ｅｎ（ｋ）の低域成分を用いて、送受話判定を行う送受話判定ステップを、さらに有し、
前記送受話判定ステップにおいて、受話状態と判定した場合には、前記受話側高域減衰ステップを実行し、送話状態と判定した場合には、前記送話側高域減衰ステップを実行する
ことを特徴とするマルチチャネルエコー消去方法。
【請求項７】
ｋは時間を表し、ｆは周波数を表し、ｊはフレーム番号を表し、ｉは適応フィルタのタップ番号を表し、ｍはスピーカの番号を表し、ｎはマイクロホンの番号を表し、ＳｅｔＮ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるマイクロホンの番号の集合を表すとして、
Ｍ（１≦ｍ≦Ｍ）個のスピーカと、
直線上に等間隔に配置されたＮ（３≦ｎ≦Ｎ）個のマイクロホンと、
前記スピーカから出力されるＭチャネルの受話信号ｘｍ（ｋ）を、チャネルｍごとに、周波数領域に変換して、受話信号Ｘｍ（ｆ，ｊ）を生成する受話信号ベクトル変換部と、
前記受話信号Ｘｍ（ｆ，ｊ）が入力されると、当該受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎについて、タップ数がＩ（１≦ｉ≦Ｉ、Ｉは１以上）のフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を用いて、空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を生成し、誤差信号Ｅｎ（ｆ，ｊ）が入力されると、当該誤差信号Ｅｎ（ｆ，ｊ）と前記受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎについて、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求め、当該修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を用いて、前記フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を更新するエコーレプリカ生成部と、
前記空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）から、周波数ｆごとに、空間補間を行い、エコーレプリカＹ＾ｎ（ｆ，ｊ）を生成するエコーレプリカ空間補間部と、
前記エコーレプリカＹ＾ｎ（ｆ，ｊ）を、時間領域に変換して、エコーレプリカｙ＾ｎ（ｊ）を生成する逆ＦＦＴ部と、
前記マイクロホンから収音されるＮチャネルの送話信号ｙｎ（ｊ）と前記エコーレプリカｙ＾ｎ（ｊ）から、誤差信号ｅｎ（ｋ）を生成するエコー消去部と、
前記誤差信号ｅｎ（ｋ）を、周波数領域に変換して、前記誤差信号Ｅｎ（ｆ，ｊ）を生成するＦＦＴ部と、
を備えることを特徴とするマルチチャネルエコー消去装置。
【請求項８】
ｋは時間を表し、ｆは周波数を表し、ｊはフレーム番号を表し、ｉは適応フィルタのタップ番号を表し、ｍはスピーカの番号を表し、ＳｅｔＭ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるスピーカの番号の集合を表し、ｎはマイクロホンの番号を表し、ＳｅｔＮ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるマイクロホンの番号の集合を表すとして、
直線上に等間隔に配置されたＭ（３≦ｍ≦Ｍ）個のスピーカと、
直線上に等間隔に配置されたＮ（３≦ｎ≦Ｎ）個のマイクロホンと、
前記スピーカから出力されるＭチャネルの受話信号ｘｍ（ｋ）を、チャネルｍごとに、周波数領域に変換して、受話信号Ｘｍ（ｆ，ｊ）を生成する受話信号ベクトル変換部と、
前記受話信号Ｘｍ（ｆ，ｊ）が入力されると、当該受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎと前記ＳｅｔＭ（ｆ）に含まれるスピーカｍの組み合わせについて、タップ数がＩ（１≦ｉ≦Ｉ、Ｉは１以上）のフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を用いて、空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を生成し、誤差信号Ｅｎ（ｆ，ｊ）が入力されると、当該誤差信号Ｅｎ（ｆ，ｊ）と前記受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎと前記ＳｅｔＭ（ｆ）に含まれるスピーカｍの組み合わせについて、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求め、当該修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を用いて、前記フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を更新するエコーレプリカ生成部と、
前記空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）から、周波数ｆごとに、空間補間を行い、エコーレプリカＹ＾ｎ（ｆ，ｊ）を生成するエコーレプリカ空間補間部と、
前記エコーレプリカＹ＾ｎ（ｆ，ｊ）を、時間領域に変換して、エコーレプリカｙ＾ｎ（ｊ）を生成する逆ＦＦＴ部と、
前記マイクロホンから収音されるＮチャネルの送話信号ｙｎ（ｊ）と前記エコーレプリカｙ＾ｎ（ｊ）から、誤差信号ｅｎ（ｋ）を生成するエコー消去部と、
前記誤差信号ｅｎ（ｋ）を、周波数領域に変換して、前記誤差信号Ｅｎ（ｆ，ｊ）を生成するＦＦＴ部と、
を備えることを特徴とするマルチチャネルエコー消去装置。
【請求項９】
請求項１から６のいずれかに記載されたマルチチャネルエコー消去方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１】
ｋは時間を表し、ｆは周波数を表し、ｊはフレーム番号を表し、ｉは適応フィルタのタップ番号を表し、ｍはスピーカの番号を表し、ｎはマイクロホンの番号を表し、ＳｅｔＮ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるマイクロホンの番号の集合を表すとして、
受話信号ベクトル変換部が、Ｍ（１≦ｍ≦Ｍ）個のスピーカから出力されるＭチャネルの受話信号ｘｍ（ｋ）を、チャネルｍごとに、周波数領域に変換して、受話信号Ｘｍ（ｆ，ｊ）を生成する受話信号ベクトル変換ステップと、
エコーレプリカ生成部が、前記受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎについて、タップ数がＩ（１≦ｉ≦Ｉ、Ｉは１以上）のフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を用いて、空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を生成するエコーレプリカ生成ステップと、
エコーレプリカ空間補間部が、前記空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）から、周波数ｆごとに、空間補間を行い、エコーレプリカＹ＾ｎ（ｆ，ｊ）を生成するエコーレプリカ空間補間ステップと、
逆ＦＦＴ部が、前記エコーレプリカＹ＾ｎ（ｆ，ｊ）を、時間領域に変換して、エコーレプリカｙ＾ｎ（ｊ）を生成する逆ＦＦＴステップと、
エコー消去部が、直線上に等間隔に配置されたＮ（３≦ｎ≦Ｎ）個のマイクロホンから収音されるＮチャネルの送話信号ｙｎ（ｊ）と前記エコーレプリカｙ＾ｎ（ｊ）から、誤差信号ｅｎ（ｋ）を生成するエコー消去ステップと、
ＦＦＴ部が、前記誤差信号ｅｎ（ｋ）を、周波数領域に変換して、誤差信号Ｅｎ（ｆ，ｊ）を生成するＦＦＴステップと、
前記エコーレプリカ生成部が、前記誤差信号Ｅｎ（ｆ，ｊ）と前記受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎについて、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求め、当該修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を用いて、前記フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を更新するフィルタ係数更新ステップと、
を含むことを特徴とするマルチチャネルエコー消去方法。
【請求項２】
ｋは時間を表し、ｆは周波数を表し、ｊはフレーム番号を表し、ｉは適応フィルタのタップ番号を表し、ｍはスピーカの番号を表し、ＳｅｔＭ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるスピーカの番号の集合を表し、ｎはマイクロホンの番号を表し、ＳｅｔＮ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるマイクロホンの番号の集合を表すとして、
受話信号ベクトル変換部が、直線上に等間隔に配置されたＭ（３≦ｍ≦Ｍ）個のスピーカから出力されるＭチャネルの受話信号ｘｍ（ｋ）を、チャネルｍごとに、周波数領域に変換して、受話信号Ｘｍ（ｆ，ｊ）を生成する受話信号ベクトル変換ステップと、
エコーレプリカ生成部が、前記受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎと前記ＳｅｔＭ（ｆ）に含まれるスピーカｍの組み合わせについて、タップ数がＩ（１≦ｉ≦Ｉ、Ｉは１以上）のフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を用いて、空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を生成するエコーレプリカ生成ステップと、
エコーレプリカ空間補間部が、前記空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）から、周波数ｆごとに、空間補間を行い、エコーレプリカＹ＾ｎ（ｆ，ｊ）を生成するエコーレプリカ空間補間ステップと、
逆ＦＦＴ部が、前記エコーレプリカＹ＾ｎ（ｆ，ｊ）を、時間領域に変換して、エコーレプリカｙ＾ｎ（ｊ）を生成する逆ＦＦＴステップと、
エコー消去部が、直線上に等間隔に配置されたＮ（３≦ｎ≦Ｎ）個のマイクロホンから収音されるＮチャネルの送話信号ｙｎ（ｊ）と前記エコーレプリカｙ＾ｎ（ｊ）から、誤差信号ｅｎ（ｋ）を生成するエコー消去ステップと、
ＦＦＴ部が、前記誤差信号ｅｎ（ｋ）を、周波数領域に変換して、誤差信号Ｅｎ（ｆ，ｊ）を生成するＦＦＴステップと、
前記エコーレプリカ生成部が、前記誤差信号Ｅｎ（ｆ，ｊ）と前記受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎと前記ＳｅｔＭ（ｆ）に含まれるスピーカｍの組み合わせについて、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求め、当該修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を用いて、前記フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を更新するフィルタ係数更新ステップと、
を含むことを特徴とするマルチチャネルエコー消去方法。
【請求項３】
請求項１または２に記載のマルチチャネルエコー消去方法であって、
Ｓはマイクロホン間隔を表し、λ（ｆ）は周波数ｆの波長を表すとして、
前記ＳｅｔＮ（ｆ）は、Ｓ×Ｑ≦λ（ｆ）／２を満たす最大の自然数Ｑを求め、当該Ｑ以下である間引き間隔Ｑ（ｆ）を決定し、当該間引き間隔Ｑ（ｆ）に基づいて選択される
ことを特徴とするマルチチャネルエコー消去方法。
【請求項４】
請求項１から３のいずれかに記載のマルチチャネルエコー消去方法であって、
Ｓはマイクロホン間隔を表し、λ（ｆ）は周波数ｆの波長を表すとして、
前記エコーレプリカ空間補間ステップは、周波数ｆごとに、Ｓ×Ｑ≦λ（ｆ）／２を満たす最大の自然数Ｑを求め、当該Ｑ以下である間引き間隔Ｑ（ｆ）を決定し、
【数１８】
のように、空間補間を行う
ことを特徴とするマルチチャネルエコー消去方法。
【請求項５】
請求項１から４のいずれかに記載のマルチチャネルエコー消去方法であって、
前記フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）は、周波数ｆごとに可変であり、所定の周波数を超える周波数に対応するフィルタ係数のタップ数が、所定の周波数以下の周波数に対応するフィルタ係数のタップ数よりも少なく設定されている
ことを特徴とするマルチチャネルエコー消去方法。
【請求項６】
請求項１から５のいずれかに記載のマルチチャネルエコー消去方法であって、
帯域分割音声スイッチ部が、前記受話信号ｘｍ（ｋ）を、チャネルｍごとに、高域成分を減衰する受話側高域減衰ステップと、
前記帯域分割音声スイッチ部が、前記誤差信号ｅｎ（ｋ）を、チャネルｎごとに、高域成分を減衰する送話側高域減衰ステップと、
前記帯域分割音声スイッチ部が、前記受話信号ｘｍ（ｋ）の低域成分と前記誤差信号ｅｎ（ｋ）の低域成分を用いて、送受話判定を行う送受話判定ステップを、さらに有し、
前記送受話判定ステップにおいて、受話状態と判定した場合には、前記受話側高域減衰ステップを実行し、送話状態と判定した場合には、前記送話側高域減衰ステップを実行する
ことを特徴とするマルチチャネルエコー消去方法。
【請求項７】
ｋは時間を表し、ｆは周波数を表し、ｊはフレーム番号を表し、ｉは適応フィルタのタップ番号を表し、ｍはスピーカの番号を表し、ｎはマイクロホンの番号を表し、ＳｅｔＮ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるマイクロホンの番号の集合を表すとして、
Ｍ（１≦ｍ≦Ｍ）個のスピーカと、
直線上に等間隔に配置されたＮ（３≦ｎ≦Ｎ）個のマイクロホンと、
前記スピーカから出力されるＭチャネルの受話信号ｘｍ（ｋ）を、チャネルｍごとに、周波数領域に変換して、受話信号Ｘｍ（ｆ，ｊ）を生成する受話信号ベクトル変換部と、
前記受話信号Ｘｍ（ｆ，ｊ）が入力されると、当該受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎについて、タップ数がＩ（１≦ｉ≦Ｉ、Ｉは１以上）のフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を用いて、空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を生成し、誤差信号Ｅｎ（ｆ，ｊ）が入力されると、当該誤差信号Ｅｎ（ｆ，ｊ）と前記受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎについて、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求め、当該修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を用いて、前記フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を更新するエコーレプリカ生成部と、
前記空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）から、周波数ｆごとに、空間補間を行い、エコーレプリカＹ＾ｎ（ｆ，ｊ）を生成するエコーレプリカ空間補間部と、
前記エコーレプリカＹ＾ｎ（ｆ，ｊ）を、時間領域に変換して、エコーレプリカｙ＾ｎ（ｊ）を生成する逆ＦＦＴ部と、
前記マイクロホンから収音されるＮチャネルの送話信号ｙｎ（ｊ）と前記エコーレプリカｙ＾ｎ（ｊ）から、誤差信号ｅｎ（ｋ）を生成するエコー消去部と、
前記誤差信号ｅｎ（ｋ）を、周波数領域に変換して、前記誤差信号Ｅｎ（ｆ，ｊ）を生成するＦＦＴ部と、
を備えることを特徴とするマルチチャネルエコー消去装置。
【請求項８】
ｋは時間を表し、ｆは周波数を表し、ｊはフレーム番号を表し、ｉは適応フィルタのタップ番号を表し、ｍはスピーカの番号を表し、ＳｅｔＭ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるスピーカの番号の集合を表し、ｎはマイクロホンの番号を表し、ＳｅｔＮ（ｆ）は周波数ｆにおいて空間サンプリング間隔に基づいて選択されるマイクロホンの番号の集合を表すとして、
直線上に等間隔に配置されたＭ（３≦ｍ≦Ｍ）個のスピーカと、
直線上に等間隔に配置されたＮ（３≦ｎ≦Ｎ）個のマイクロホンと、
前記スピーカから出力されるＭチャネルの受話信号ｘｍ（ｋ）を、チャネルｍごとに、周波数領域に変換して、受話信号Ｘｍ（ｆ，ｊ）を生成する受話信号ベクトル変換部と、
前記受話信号Ｘｍ（ｆ，ｊ）が入力されると、当該受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎと前記ＳｅｔＭ（ｆ）に含まれるスピーカｍの組み合わせについて、タップ数がＩ（１≦ｉ≦Ｉ、Ｉは１以上）のフィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を用いて、空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）を生成し、誤差信号Ｅｎ（ｆ，ｊ）が入力されると、当該誤差信号Ｅｎ（ｆ，ｊ）と前記受話信号Ｘｍ（ｆ，ｊ）から、周波数ｆごとに、前記ＳｅｔＮ（ｆ）に含まれるマイクロホンｎと前記ＳｅｔＭ（ｆ）に含まれるスピーカｍの組み合わせについて、修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を求め、当該修正量ｄＨｍ，ｎ，ｉ（ｆ，ｊ）を用いて、前記フィルタ係数Ｈｍ，ｎ，ｉ（ｆ，ｊ）を更新するエコーレプリカ生成部と、
前記空間的に間引かれたエコーレプリカＹ＾ＳｅｔＮ（ｆ）（ｆ，ｊ）から、周波数ｆごとに、空間補間を行い、エコーレプリカＹ＾ｎ（ｆ，ｊ）を生成するエコーレプリカ空間補間部と、
前記エコーレプリカＹ＾ｎ（ｆ，ｊ）を、時間領域に変換して、エコーレプリカｙ＾ｎ（ｊ）を生成する逆ＦＦＴ部と、
前記マイクロホンから収音されるＮチャネルの送話信号ｙｎ（ｊ）と前記エコーレプリカｙ＾ｎ（ｊ）から、誤差信号ｅｎ（ｋ）を生成するエコー消去部と、
前記誤差信号ｅｎ（ｋ）を、周波数領域に変換して、前記誤差信号Ｅｎ（ｆ，ｊ）を生成するＦＦＴ部と、
を備えることを特徴とするマルチチャネルエコー消去装置。
【請求項９】
請求項１から６のいずれかに記載されたマルチチャネルエコー消去方法の各ステップをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−１１５６８１（Ｐ２０１３−１１５６８１Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６１３７５（Ｐ２０１１−２６１３７５）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]