残響除去方法とその装置とプログラム
【課題】後部残響をより効率よく抑圧する残響除去方法を提供する。
【解決手段】相関関数計算過程はNチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算し、相関関数補正過程は相関関数をラグについて単調減少となる関数で補正した補正相関関数を生成し、逆フィルタ係数計算過程は補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する。そして、逆フィルタ過程は逆フィルタ係数をNチャネル収音信号に適用して残響除去信号を生成する。
【解決手段】相関関数計算過程はNチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算し、相関関数補正過程は相関関数をラグについて単調減少となる関数で補正した補正相関関数を生成し、逆フィルタ係数計算過程は補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する。そして、逆フィルタ過程は逆フィルタ係数をNチャネル収音信号に適用して残響除去信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、残響を多く含む多チャネル収音信号から音源の発する本来の信号を抽出する残響除去方法とその装置と、プログラムに関する。
【背景技術】
【０００２】
マイクロホンで音声等を収音する場合、マイクロホンに到達する音は、音源から発せられて直接到達した直接音と、壁等に１回反射して到達した反射音と、複数回反射して到達した反射音の混ざったものになる。マイクロホンが音源に近接していない場合は、この反射音の成分である残響成分が多くなる。
【０００３】
話者音声を離れた位置で収音する場合や残響時間が長い部屋で収音する場合には、残響により音声の明瞭度が低下して聞き取り難くなり、例えば音声認識システムの音声認識率も著しく低下することが知られている。
【０００４】
話者位置からマイクロホン位置までのインパルス応答が予め測定されている場合には、MINT（Multi-input/output Inverse Theorem）法（非特許文献１）を用いてインパルス応答から逆フィルタ係数を求め、収音信号に逆フィルタを適用することで残響に含まれる収音信号から原音を回復することができる。
【０００５】
MINT法を簡単に説明する。目的音源からi番目のマイクロホンまでの音響経路のインパルス応答をgi(0)〜gi(K)とする。Lタップの逆フィルタを求めたいとき、MINT法は目的インパルス応答ベクトルをd、ｉ番目のマイクロホン収音信号に適用するL次元の逆フィルタ係数ベクトルをcn(n=1〜N)としてサイズ(L+K)×Lのインパルス応答畳み込み行列（式（１））を用いて、式（２）若しくは式（３）の連立方程式を解いて逆フィルタ係数ベクトルcnを求める。
【０００６】
【数１】
【０００７】
但し、L+K≧NLが満たされている必要がある。
【０００８】
L+K次元ベクトルの目的インパルス応答ベクトルdとしては、無遅延のパルス（式（４））や遅延付きのパルスが（式（５））用いられる。
【０００９】
【数２】
【００１０】
一般に、遅延を付加することで逆フィルタ処理がより安定になり残響除去性能が向上することが知られている（非特許文献２）。通常は、音源位置（話者位置）からマイクロホン位置までのインパルス応答を予め測定することが出来ないため、残響に含まれる収音信号のみから原音を回復するブラインド残響除去法が用いられる。ブラインド残響除去の一方法としてblind-MINT法（特許文献１、非特許文献３）がある。
【００１１】
図９を参照してblind-MINT法を簡単に説明する。ブラインド残響除去装置９００は、複数のマイクロホン１1〜１N（Nはマイクロホン数）と、白色化フィルタ係数計算部９０と、白色化フィルタ９１1〜９１Nと、相関関数計算部９２と、逆フィルタ係数計算部９３と、逆フィルタ部９４を備える。
【００１２】
残響下において目的音源２から発せられた音は、N個のマイクロホン１1〜１Nで収音される。各マイクロホンで収音された収音信号u1(k)〜uN(k)は、白色化フィルタ係数計算部９０に入力される。ここで、収音信号u1(k)〜uN(k)は、例えば標本化周波数は１６kHzで離散値化されたディジタル信号であり、(k)は時刻を表す。なお、収音信号をディジタル化するＡ/Ｄ変換器等については省略している。
【００１３】
白色化フィルタ係数計算部９０は、収音信号u1(k)〜uN(k)のスペクトルをフラットにする白色化フィルタ係数を計算する。白色化フィルタ９１1〜９１Nは、収音信号u1(k)〜uN(k)にその白色化フィルタ係数を畳み込んで白色化された白色化信号x1(k)〜xN（k）を生成する。
【００１４】
各収音信号u1(k)〜uN(k)に白色フィルタを畳み込んでから相関係数を求めることで、音声のようにスペクトルがフラットでない音源信号についても、高域のパワーを増加させること無く原音に近い最終出力信号y(k)を得ることが可能になる。
【００１５】
スペクトルがフラットな音源信号を収音した場合や、データ通信用等の信号が残響除去装置に入力された場合、その信号はそのまま相関関数計算部９２に入力することが出来る。その場合、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nは不要である。
【００１６】
相関関数計算部９２は、白色化信号x1(k)〜xN（k）間の相関関数rij(τ)を式（６）で計算する。
【００１７】
【数３】
【００１８】
ここでτは、２時点の時間間隔（以降、ラグ（lag）と称する）である。
【００１９】
逆フィルタ係数計算部９３は、相関関数計算部９２で計算した相関関数rij(τ)を入力として、その相関関数rij(τ)を用いて生成した相関行列Rij（式（７））から多チャネル相関行列R（式（８））を生成する。
【００２０】
【数４】
【００２１】
但し、Lは逆フィルタタップ数である。そして、式（９）の連立一次方程式を解いて逆フィルタ係数ベクトルcを求める。
【００２２】
【数５】
【００２３】
ここで、目的インパルス応答ベクトルd（式（１０））の各要素はL次元縦ベクトルである（式（１１））。
【００２４】
【数６】
【００２５】
第n番目のマイクロホン１nが全マイクロホンの中で目的音源２に最も近いときにδは１を取り、それ以外のときは０を取る。
【００２６】
逆フィルタ係数ベクトルcは、n番目のマイクロホンの収音信号un(k)に適用するL次元の逆フィルタ係数ベクトル（式（１２））を用いると、式（１３）と書ける。
【００２７】
【数７】
【００２８】
式（９）の連立一次方程式を解いて算出された逆フィルタ係数cは、逆フィルタ部９４に転送される。なお、連立一次方程式（式（９））の相関行列Rの行列式が小さな値となる場合、数値計算上の誤差等のためにその解cの値が不安定になる。これを防止する目的で式（１４）を用い式（１５）を解いて逆フィルタ係数ベクトルcを求めても良い。
【００２９】
【数８】
【００３０】
ここでλは行列正則化のための微小値であり、Iは行列Rと同じ大きさを持つ単位行列である。
【００３１】
逆フィルタ部９４は、式（１６）に示すように各収音信号u1(k)〜uN(k)に逆フィルタ係数ｃを適用して最終出力信号y(k)を得る。この出力信号y(k)は、残響の除去された目的信号を抽出した信号である。
【００３２】
【数９】
【００３３】
従来のブラインド残響除去方法は、目的音源２から各マイクロホンまでの未知の音響経路のインパルス応答gi(0)〜gi（K）から成る行列Gと収音信号から求めた相関行列Rとの間に式（１７）の関係があることを利用し、目的インパルス応答ベクトルとして無遅延パルスを用いて逆フィルタ係数を求めている。
【００３４】
【数１０】
【００３５】
ここでρは比例定数（スカラー量）である。目的音源２からi番目のマイクロホンまでの音響経路のインパルス応答をgi(0)〜gi(K)としてサイズ(L+K)×Lのインパルス応答畳み込み行列Gi（式（１８））を用いて、行列Gは式（１９）で表せる。
【００３６】
【数１１】
【００３７】
行列GTGの要素は、音響経路のインパルス応答の相関関数になる。
【先行技術文献】
【特許文献】
【００３８】
【特許文献１】特開２００６−６６９８９号公報
【非特許文献】
【００３９】
【非特許文献１】M. Miyoshi and Y. Kaneda, “Inverse Filtering of Room acoustics,”IEEE Trans. Acoust. Speech Signal Process., vol. ASSP-36, no. 2, pp. 145-152, 1988.
【非特許文献２】大賀、山崎、金田、「音響システムとディジタル処理」、電子情報通信学会、1995.
【非特許文献３】K. Furuya and A. Kataoka, Robust Speech Dereverberatio Using Multichannel Blind Deconvolution With Spectral Subtraction, IEEE Trans. On Audio, Speech, and Language Processing, vol. no. 5, pp. 1579-1591, 2007.
【非特許文献４】J. S.ベンダット、A. G．ビアソル、「ランダムデータの統計的処理」培風館、1976.
【発明の概要】
【発明が解決しようとする課題】
【００４０】
図１０に、従来のブラインド残響除去装置９００で求めた残響特性を示す。横軸は時間、縦軸は減衰量「dB」である。図中の破線はインパルス応答から求めた部屋の残響特性を示す。実線は従来のブラインド残響除去装置９００で求めた残響特性である。
【００４１】
従来のブラインド残響除去方法は、初期残響を１０dB以上効果的に抑えているが、残響特性の後半の減衰は穏やかである。このように、実際の音響経路よりも減衰が著しく遅く、後半の信号に残響が含まれる特性を示す。
【００４２】
従来のブラインド残響除去方法の第一の性能劣化要因として、信号値から相関関数を推定したときに相関関数に推定誤差が含まれることが挙げられる。非特許文献４によれば、バンド幅Bの帯域制限白色雑音の区間Tの信号x1,x2のデータから求めた相互相関関数R^12（τ）の推定誤差は、安全サイドに大きめに見積もって式（２０）に示す分散を持つ、その相対誤差（規準化二乗平均誤差）は式（２１）で表せる。
【００４３】
【数１２】
【００４４】
ここで、R1(τ),R2(τ)は信号x1,x2の自己相関関数である。
【００４５】
音響経路のインパルス応答は指数減衰特性を持つので（非特許文献２）、その相関関数は通常ラグτが大きいほど指数的に０に近くなる。式（２１）によれば、ラグτが大きいほど信号値から推定された相関関数の相対誤差は大きくなる。そのために収音信号から求めた相関関数は、音響経路から導出される行列GTG中の相関関数と比較して、ラグτの大きい要素ほど乖離が大きくなる。そして、この乖離が逆行列を通じて逆フィルタ係数に大きく影響してしまう。
【００４６】
第二の性能劣化要因として、目的インパルス応答ベクトルに無遅延のパルスを用いていることが挙げられる。非特許文献２でインパルス応答成分g1(0)を1に、ρ（式（１７））＝1にスケーリングした場合、無遅延のパルスを目的インパルス応答ベクトルに設定すると、逆フィルタ係数は式（２２）の関係式から求められる。
【００４７】
【数１３】
【００４８】
残響除去性能を高めるために、目的インパルス応答ベクトルとして遅延Dのパルスを設定しようとする場合、解くべき式は式（３）より式（２３）となる。
【００４９】
【数１４】
【００５０】
目的音源が第１のマイクロホンに最も近くg1(0)=1にスケーリングしている場合、求めたい逆フィルタ係数は式（２４）の関係を満たす。
【００５１】
【数１５】
【００５２】
それは、第１のマイクロホンが最も音源に近く、第１のマイクロホンと２番目に近いマイクロホンとの遅延よりもDが小さい場合には、i番目のマイクロホンのインパルス応答からなる行列（式（２５））についてインパルス応答の頭D項が０なので（式（２６））、式（２７）が成立するためである。
【００５３】
【数１６】
【００５４】
ここで＊は何がしかの値である。
【００５５】
しかし、インパルス応答成分g1(1)〜g1(D)は未知なので、式（２７）を直接解いて逆フィルタ係数を求めることが出来ない。つまり、従来の残響除去方法は、式（２２）で逆フィルタ係数を求めていた。
【００５６】
この発明は、このような課題に鑑みてなされたものであり、残響特性の後半部分の減衰量を増やして効果的に残響を抑圧することが出来る残響除去方法とその装置と、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００５７】
この発明の残響除去方法は、相関関数計算過程と、相関関数補正過程と、逆フィルタ係数計算過程と、逆フィルタ過程と、を備える。相関関数計算過程は、Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する。相関関数補正過程は、相関関数をラグについて単調減少となる関数で補正した補正相関関数を生成する。逆フィルタ係数計算過程は、補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する。逆フィルタ過程は、逆フィルタ係数をNチャネル収音信号に適用して残響除去信号を生成する。
【発明の効果】
【００５８】
この発明の残響除去方法は、収音信号から求めた相関関数を補正して相関行列を生成し、逆フィルタを求める。その補正関数がラグについて単調減少となる関数とすることで後部残響を効果的に抑圧することが出来る。
【図面の簡単な説明】
【００５９】
【図１】この発明の残響除去装置１００の機能構成例を示す図。
【図２】残響除去装置１００の動作フローを示す図。
【図３】この発明の音源分離装置１００′の機能構成例を示す図。
【図４】残響除去装置１００′で求めた残響特性の例を示す図。
【図５】この発明の残響除去装置２００の機能構成例を示す図。
【図６】残響除去装置２００の動作フローを示す図。
【図７】この発明の残響除去装置２００′の機能構成例を示す図。
【図８】残響除去装置２００′と残響除去装置１００′で求めた残響特性の例を示す図。
【図９】従来の残響除去装置９００の機能構成を示す図。
【図１０】残響除去装置９００で求めた残響特性を示す図。
【発明を実施するための形態】
【００６０】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには
同じ参照符号を付し、説明は繰り返さない。実施例の説明の前にこの発明の基本的な考えについて説明する。
【００６１】
〔この発明の基本的な考え〕
この発明は、上記した第一の性能劣化要因に対処する目的で、式（２０）に示した相関関数の推定誤差に関する性質を考慮に入れて相関関数の推定値R^12(τ)を式（２８）に示すように補正する。
【００６２】
【数１７】
【００６３】
相関関数の推定値の絶対値が取る範囲は、推定誤差の分散を用いて式（２９）に示すように見積もることが出来る。
【００６４】
【数１８】
【００６５】
ここでαは範囲指定の定数であり、推定誤差の分散、すなわち標準偏差の何倍かを指定している。推定誤差の分散が正規分布と見なせるならばα＝1で推定値の84％がこの範囲に入り、α＝2で推定値の約98％がこの範囲に入る。推定値の絶対値が大きくなる方向にブレるのを抑える目的で、この発明では式（３０）に示すように推定値を補正する。
【００６６】
【数１９】
【００６７】
音響経路のインパルス応答は一般的に指数減衰特性を持つため、音源が白色信号の場合に、その収音信号の相関関数の真値が式（３１）のように凡そ指数減衰で近似できると想定すれば、補正関数は式（３２）で表せる。
【００６８】
【数２０】
【００６９】
ここでTは相関関数の推定に使用したサンプル数であり、Cは式（３３）で与えられる定数である。
【００７０】
【数２１】
【００７１】
αの値としては１前後〜３を使用することが考えられる。また、Cの値としては１前後の値を使用することが考えられる。
【００７２】
また、補正関数としてより簡略化された関数である式（３４）を用いることも考えられる。
【００７３】
【数２２】
【００７４】
補正された相関関数（式（３２）、式（３４））を用いて逆フィルタ係数を計算することにより、目的音源から逆フィルタ出力までのインパルス応答の残響曲線について、残響曲線の後部の減衰が大きくなり、最終出力信号に含まれる後部残響を減らすことが出来る。
【００７５】
更にこの発明では、上記した第二の性能劣化要因に対処する目的で、目的インパルス応答ベクトルを構成するD+1本の基底ベクトル（式（３５））及び、式（３６）を解いて求められる逆フィルタ係数ベクトル群に着目する。
【００７６】
【数２３】
【００７７】
遅延Dのパルスを目的インパルス応答ベクトルに設定した場合、求めたい逆フィルタ係数ベクトルは式（３７）で表せる。そして、求めたい残響除去済み信号は式（３８）となる。
【００７８】
【数２４】
【００７９】
ここでy(0)(k),…,y(D)(k)は逆フィルタ係数ベクトルc(0),…,c(D)を収音信号に適用して得られる信号である。
【００８０】
音源が白色雑音の場合を考えるとy(k)は白色雑音であり、y(0)(k),…,y(D)(k)は残響除去が不十分で色の付いた雑音となる。すなわち、「y(0)(k),…,y(D)(k)を相互の相関が除去されるように線形結合することで、元々の音源である白色雑音が得られる。」ことが分かる。この考えに基づいて、この発明では以下のステップで逆フィルタ係数ベクトルを求めることで遅延Dのパルスに対応する。
【００８１】
最初に、逆フィルタ係数ベクトルc(0),…,c(D)を求める。次に、収音信号に逆フィルタ係数ベクトルを適用して信号y(0)(k),…,y(D)(k)を求める。そして線形予測の手法を用いて式（３９）のベクトルdyの大きさを最小にするb(1)〜 b（D）を求める。
【００８２】
【数２５】
【００８３】
そして、残響除去信号を式（４０）で求める。これは逆フィルタ係数ベクトルとして式（４１）を用いるのと同じである。
【００８４】
【数２６】
【実施例１】
【００８５】
図１に、この発明の残響除去装置１００の機能構成例を示す。その動作フローを図２に示す。残響除去装置１００は、白色化フィルタ係数計算部９０と、白色化フィルタ９１1〜９１Nと、相関関数計算部９２と、相関関数補正部１０と、逆フィルタ係数計算部９３と、逆フィルタ部９４を備える。その各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００８６】
残響除去装置１００は、従来技術で説明した残響除去装置９００に対して相関関数補正部１０を備える点で異なる。白色化フィルタ係数計算部９０は、Ｎ個のマイクロホン１1〜１Nで収音されたＮチャネル収音信号u1(k)〜uN(k)から、収音信号のスペクトルをフラットにする白色化フィルタ係数を計算する（ステップＳ９０）。
【００８７】
白色化フィルタ係数の計算方法としては、指定区間でのP次線形予測自乗誤差の総和（式（４２））を最小にする線形予測計数a(1)〜a（P）を求め、白色化フィルタ係数として式（４３）を求める方法がある。
【００８８】
【数２７】
【００８９】
それには、式（４４）として式（４５）を解いて線形予測係数a(1)〜a（P）を求めれば良い。
【００９０】
【数２８】
【００９１】
また、特許文献１に開示された方法を用いて白色化フィルタ係数を求めても良い。
【００９２】
Nチャネルに対応する白色化フィルタ９１1〜９１Nは、収音信号u1(k)〜uN(k)に白色化フィルタ係数を畳み込み、白色化された信号x1(k)〜xN(k)を得る（式（４６）、ステップＳ９１）。
【００９３】
【数２９】
【００９４】
相関関数計算部９２は、白色化信号x1(k)〜xN(k)間の相関関数を式（４７）で計算する（ステップＳ９２）。
【００９５】
【数３０】
【００９６】
相関関数補正部１０は、上記した式（３２）若しくは簡略化した式（３４）の補正関数f(τ)を用いて相関関数を補正した補正相関関数qij(τ)を求める。
【００９７】
【数３１】
【００９８】
逆フィルタ係数計算部９３と逆フィルタ９４の動作説明は、従来技術で説明済みであるので省略する。なお、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合には、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略することが出来る。図３に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略した残響除去装置１００′機能構成例を示す。
【００９９】
つまり、この発明の残響除去方法は、Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算過程と相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正過程と、補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する逆フィルタ係数計算過程と、逆フィルタ係数をNチャネル収音信号に適用して残響除去信号を生成する逆フィルタ過程と、を備えることで、残響特性の後半の減衰量を増やして後部残響を小さくすることが出来る。
【０１００】
図４に、残響除去装置１００′で推定した目的音源から逆フィルタ出力までの全体のインパルス応答の残響特性を示す。その残響特性を求めるシミュレーション条件は下記の通りとした。目的音源２は白色雑音とし、収音信号u1(k),u2(k)は残響時間１７０msの部屋で標本化周波数１６kHzで実測したインパルス応答を２０００タップで打ち切って使用した。収音信号は２チャネルとした。逆フィルタのフィルタ長は１５００タップに設定した。相関関数を算出するときには、２０秒の収音信号を使用し、相関関数の補正関数f(τ)には式（３２）を用い半減期が３００msになるように設定した。
【０１０１】
図４の横軸は時間［ms］、縦軸は減衰量［dB］である。従来の残響除去方法で得た残響特性を破線、この発明を実線で示す。従来の残響除去方法は、初期残響を１０dB以上効果的に抑えているが、後部の残響の減衰は穏やかである。一方、この発明の残響除去方法によれば、残響曲線は一定の傾向で減衰し、１４０ms時点では従来法よりも約２０dB多く残響が減衰している。このように、この発明の残響除去方法は後部残響を効果的に抑えることが出来る。
【実施例２】
【０１０２】
図５に、この発明の残響除去装置２００の機能構成例を示す。図６にその動作フローを示す。残響除去装置２００は、白色化フィルタ係数計算部９０と、白色化フィルタ９１1〜９１Nと、相関関数計算部９２と、相関関数補正部１０と、逆フィルタ係数群計算部２０と、逆フィルタ群処理部３０と、最終逆フィルタ係数算出部４０と、最終逆フィルタ部５０と、を備える。
【０１０３】
残響除去装置２００は、従来の残響除去装置１００に対して、逆フィルタ係数として相関行列に掛けると音源と最も近接するマイクロホンのチャネルについては遅延０〜D（D≧１）のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算部２０と、そのD本の逆フィルタ係数群を相関関数計算に用いたNチャネルの白色化信号x1(k)〜xN(k)に適用する逆フィルタ群処理部３０と、逆フィルタ群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出部４０と、その最終逆フィルタ係数をNチャネル収音信号に適用する最終逆フィルタ５０と、を備える点で異なる。白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nと相関関数計算部９２と相関関数補正部１０は、実施例１の残響除去装置１００と同じものである。
【０１０４】
白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nと相関関数計算部９２と相関関数補正部１０の動作については実施例１で説明済みであるので省略する。逆フィルタ係数群計算部２０は、補正相関関数qij(τ)を用いて多チャネル相関行列Rを計算する。式（３６）を解いて逆フィルタ係数ベクトルc(0),…,c(D)(D≧1)を求める（ステップＳ２０）。
【０１０５】
なお、相関行列Rの行列式が小さな値となる場合、数値計算上の誤差等のために、その解の値は不安定になる。それを防止する目的で相関行列Rの代わりに式（４９）を用いて、逆フィルタ係数ベクトルを求めても良い。
【０１０６】
【数３２】
【０１０７】
ここでλは行列正則化のための微小値であり、Iは行列Rと同じ大きさを持つ単位行列である。
【０１０８】
逆フィルタ群処理部３０は、Ｎチャネルの白色化信号x1(k)〜xN(k)に逆フィルタ係数ベクトルを適用して信号y(0)(k),…,y(D)(k)を得る（ステップＳ３０）。
【０１０９】
最終逆フィルタ係数算出部４０は、信号y(0)(k),…,y(D)(k)から最終逆フィルタ係数を算出する（ステップＳ４０）。最終逆フィルタ係数算出部４０は、式（５０）を解いて結合係数b(1)〜b（D）を求め、最終逆フィルタ係数cを求める。
【０１１０】
【数３３】
【０１１１】
そして最終逆フィルタ係数cを式（５２）で算出する。そして縦ベクトルcを式（５３）に示すようにN個に分割する。
【０１１２】
【数３４】
【０１１３】
分割された各縦ベクトルの要素を式（５４）とする。これが最終逆フィルタ係数の要素である。
【０１１４】
【数３５】
【０１１５】
最終逆フィルタ部５０は、残響除去信号y(k)を式（５５）で求める（ステップＳ５０）。
【０１１６】
【数３６】
【０１１７】
なお、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略することが出来るのは、残響除去装置１００と同じである。図７に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略した残響除去装置２００′の機能構成例を示す。
【０１１８】
図８に、残響除去装置２００′と残響除去装置１００′で求めた残響特性を示す。シミュレーションの条件は上記した図４と同じである。残響除去装置２００′で求めた残響特性を実線で、残響除去装置１００′で求めた残響特性を破線で示す。残響除去装置２００′ではD=5を使用した。残響除去装置２００′の方が、初期の減衰量が約３dB大きい。又、１０〜５０msの範囲においてより減衰量が大きく残響除去装置２００′の方が効果的に後部残響を減じていることが分かる。このように、この発明の残響除去方法は、後部残響を従来法よりも効果的に抑圧することを可能にする。
なお、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【０１１９】
また、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１２０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１２１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１２２】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【技術分野】
【０００１】
この発明は、残響を多く含む多チャネル収音信号から音源の発する本来の信号を抽出する残響除去方法とその装置と、プログラムに関する。
【背景技術】
【０００２】
マイクロホンで音声等を収音する場合、マイクロホンに到達する音は、音源から発せられて直接到達した直接音と、壁等に１回反射して到達した反射音と、複数回反射して到達した反射音の混ざったものになる。マイクロホンが音源に近接していない場合は、この反射音の成分である残響成分が多くなる。
【０００３】
話者音声を離れた位置で収音する場合や残響時間が長い部屋で収音する場合には、残響により音声の明瞭度が低下して聞き取り難くなり、例えば音声認識システムの音声認識率も著しく低下することが知られている。
【０００４】
話者位置からマイクロホン位置までのインパルス応答が予め測定されている場合には、MINT（Multi-input/output Inverse Theorem）法（非特許文献１）を用いてインパルス応答から逆フィルタ係数を求め、収音信号に逆フィルタを適用することで残響に含まれる収音信号から原音を回復することができる。
【０００５】
MINT法を簡単に説明する。目的音源からi番目のマイクロホンまでの音響経路のインパルス応答をgi(0)〜gi(K)とする。Lタップの逆フィルタを求めたいとき、MINT法は目的インパルス応答ベクトルをd、ｉ番目のマイクロホン収音信号に適用するL次元の逆フィルタ係数ベクトルをcn(n=1〜N)としてサイズ(L+K)×Lのインパルス応答畳み込み行列（式（１））を用いて、式（２）若しくは式（３）の連立方程式を解いて逆フィルタ係数ベクトルcnを求める。
【０００６】
【数１】
【０００７】
但し、L+K≧NLが満たされている必要がある。
【０００８】
L+K次元ベクトルの目的インパルス応答ベクトルdとしては、無遅延のパルス（式（４））や遅延付きのパルスが（式（５））用いられる。
【０００９】
【数２】
【００１０】
一般に、遅延を付加することで逆フィルタ処理がより安定になり残響除去性能が向上することが知られている（非特許文献２）。通常は、音源位置（話者位置）からマイクロホン位置までのインパルス応答を予め測定することが出来ないため、残響に含まれる収音信号のみから原音を回復するブラインド残響除去法が用いられる。ブラインド残響除去の一方法としてblind-MINT法（特許文献１、非特許文献３）がある。
【００１１】
図９を参照してblind-MINT法を簡単に説明する。ブラインド残響除去装置９００は、複数のマイクロホン１1〜１N（Nはマイクロホン数）と、白色化フィルタ係数計算部９０と、白色化フィルタ９１1〜９１Nと、相関関数計算部９２と、逆フィルタ係数計算部９３と、逆フィルタ部９４を備える。
【００１２】
残響下において目的音源２から発せられた音は、N個のマイクロホン１1〜１Nで収音される。各マイクロホンで収音された収音信号u1(k)〜uN(k)は、白色化フィルタ係数計算部９０に入力される。ここで、収音信号u1(k)〜uN(k)は、例えば標本化周波数は１６kHzで離散値化されたディジタル信号であり、(k)は時刻を表す。なお、収音信号をディジタル化するＡ/Ｄ変換器等については省略している。
【００１３】
白色化フィルタ係数計算部９０は、収音信号u1(k)〜uN(k)のスペクトルをフラットにする白色化フィルタ係数を計算する。白色化フィルタ９１1〜９１Nは、収音信号u1(k)〜uN(k)にその白色化フィルタ係数を畳み込んで白色化された白色化信号x1(k)〜xN（k）を生成する。
【００１４】
各収音信号u1(k)〜uN(k)に白色フィルタを畳み込んでから相関係数を求めることで、音声のようにスペクトルがフラットでない音源信号についても、高域のパワーを増加させること無く原音に近い最終出力信号y(k)を得ることが可能になる。
【００１５】
スペクトルがフラットな音源信号を収音した場合や、データ通信用等の信号が残響除去装置に入力された場合、その信号はそのまま相関関数計算部９２に入力することが出来る。その場合、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nは不要である。
【００１６】
相関関数計算部９２は、白色化信号x1(k)〜xN（k）間の相関関数rij(τ)を式（６）で計算する。
【００１７】
【数３】
【００１８】
ここでτは、２時点の時間間隔（以降、ラグ（lag）と称する）である。
【００１９】
逆フィルタ係数計算部９３は、相関関数計算部９２で計算した相関関数rij(τ)を入力として、その相関関数rij(τ)を用いて生成した相関行列Rij（式（７））から多チャネル相関行列R（式（８））を生成する。
【００２０】
【数４】
【００２１】
但し、Lは逆フィルタタップ数である。そして、式（９）の連立一次方程式を解いて逆フィルタ係数ベクトルcを求める。
【００２２】
【数５】
【００２３】
ここで、目的インパルス応答ベクトルd（式（１０））の各要素はL次元縦ベクトルである（式（１１））。
【００２４】
【数６】
【００２５】
第n番目のマイクロホン１nが全マイクロホンの中で目的音源２に最も近いときにδは１を取り、それ以外のときは０を取る。
【００２６】
逆フィルタ係数ベクトルcは、n番目のマイクロホンの収音信号un(k)に適用するL次元の逆フィルタ係数ベクトル（式（１２））を用いると、式（１３）と書ける。
【００２７】
【数７】
【００２８】
式（９）の連立一次方程式を解いて算出された逆フィルタ係数cは、逆フィルタ部９４に転送される。なお、連立一次方程式（式（９））の相関行列Rの行列式が小さな値となる場合、数値計算上の誤差等のためにその解cの値が不安定になる。これを防止する目的で式（１４）を用い式（１５）を解いて逆フィルタ係数ベクトルcを求めても良い。
【００２９】
【数８】
【００３０】
ここでλは行列正則化のための微小値であり、Iは行列Rと同じ大きさを持つ単位行列である。
【００３１】
逆フィルタ部９４は、式（１６）に示すように各収音信号u1(k)〜uN(k)に逆フィルタ係数ｃを適用して最終出力信号y(k)を得る。この出力信号y(k)は、残響の除去された目的信号を抽出した信号である。
【００３２】
【数９】
【００３３】
従来のブラインド残響除去方法は、目的音源２から各マイクロホンまでの未知の音響経路のインパルス応答gi(0)〜gi（K）から成る行列Gと収音信号から求めた相関行列Rとの間に式（１７）の関係があることを利用し、目的インパルス応答ベクトルとして無遅延パルスを用いて逆フィルタ係数を求めている。
【００３４】
【数１０】
【００３５】
ここでρは比例定数（スカラー量）である。目的音源２からi番目のマイクロホンまでの音響経路のインパルス応答をgi(0)〜gi(K)としてサイズ(L+K)×Lのインパルス応答畳み込み行列Gi（式（１８））を用いて、行列Gは式（１９）で表せる。
【００３６】
【数１１】
【００３７】
行列GTGの要素は、音響経路のインパルス応答の相関関数になる。
【先行技術文献】
【特許文献】
【００３８】
【特許文献１】特開２００６−６６９８９号公報
【非特許文献】
【００３９】
【非特許文献１】M. Miyoshi and Y. Kaneda, “Inverse Filtering of Room acoustics,”IEEE Trans. Acoust. Speech Signal Process., vol. ASSP-36, no. 2, pp. 145-152, 1988.
【非特許文献２】大賀、山崎、金田、「音響システムとディジタル処理」、電子情報通信学会、1995.
【非特許文献３】K. Furuya and A. Kataoka, Robust Speech Dereverberatio Using Multichannel Blind Deconvolution With Spectral Subtraction, IEEE Trans. On Audio, Speech, and Language Processing, vol. no. 5, pp. 1579-1591, 2007.
【非特許文献４】J. S.ベンダット、A. G．ビアソル、「ランダムデータの統計的処理」培風館、1976.
【発明の概要】
【発明が解決しようとする課題】
【００４０】
図１０に、従来のブラインド残響除去装置９００で求めた残響特性を示す。横軸は時間、縦軸は減衰量「dB」である。図中の破線はインパルス応答から求めた部屋の残響特性を示す。実線は従来のブラインド残響除去装置９００で求めた残響特性である。
【００４１】
従来のブラインド残響除去方法は、初期残響を１０dB以上効果的に抑えているが、残響特性の後半の減衰は穏やかである。このように、実際の音響経路よりも減衰が著しく遅く、後半の信号に残響が含まれる特性を示す。
【００４２】
従来のブラインド残響除去方法の第一の性能劣化要因として、信号値から相関関数を推定したときに相関関数に推定誤差が含まれることが挙げられる。非特許文献４によれば、バンド幅Bの帯域制限白色雑音の区間Tの信号x1,x2のデータから求めた相互相関関数R^12（τ）の推定誤差は、安全サイドに大きめに見積もって式（２０）に示す分散を持つ、その相対誤差（規準化二乗平均誤差）は式（２１）で表せる。
【００４３】
【数１２】
【００４４】
ここで、R1(τ),R2(τ)は信号x1,x2の自己相関関数である。
【００４５】
音響経路のインパルス応答は指数減衰特性を持つので（非特許文献２）、その相関関数は通常ラグτが大きいほど指数的に０に近くなる。式（２１）によれば、ラグτが大きいほど信号値から推定された相関関数の相対誤差は大きくなる。そのために収音信号から求めた相関関数は、音響経路から導出される行列GTG中の相関関数と比較して、ラグτの大きい要素ほど乖離が大きくなる。そして、この乖離が逆行列を通じて逆フィルタ係数に大きく影響してしまう。
【００４６】
第二の性能劣化要因として、目的インパルス応答ベクトルに無遅延のパルスを用いていることが挙げられる。非特許文献２でインパルス応答成分g1(0)を1に、ρ（式（１７））＝1にスケーリングした場合、無遅延のパルスを目的インパルス応答ベクトルに設定すると、逆フィルタ係数は式（２２）の関係式から求められる。
【００４７】
【数１３】
【００４８】
残響除去性能を高めるために、目的インパルス応答ベクトルとして遅延Dのパルスを設定しようとする場合、解くべき式は式（３）より式（２３）となる。
【００４９】
【数１４】
【００５０】
目的音源が第１のマイクロホンに最も近くg1(0)=1にスケーリングしている場合、求めたい逆フィルタ係数は式（２４）の関係を満たす。
【００５１】
【数１５】
【００５２】
それは、第１のマイクロホンが最も音源に近く、第１のマイクロホンと２番目に近いマイクロホンとの遅延よりもDが小さい場合には、i番目のマイクロホンのインパルス応答からなる行列（式（２５））についてインパルス応答の頭D項が０なので（式（２６））、式（２７）が成立するためである。
【００５３】
【数１６】
【００５４】
ここで＊は何がしかの値である。
【００５５】
しかし、インパルス応答成分g1(1)〜g1(D)は未知なので、式（２７）を直接解いて逆フィルタ係数を求めることが出来ない。つまり、従来の残響除去方法は、式（２２）で逆フィルタ係数を求めていた。
【００５６】
この発明は、このような課題に鑑みてなされたものであり、残響特性の後半部分の減衰量を増やして効果的に残響を抑圧することが出来る残響除去方法とその装置と、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００５７】
この発明の残響除去方法は、相関関数計算過程と、相関関数補正過程と、逆フィルタ係数計算過程と、逆フィルタ過程と、を備える。相関関数計算過程は、Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する。相関関数補正過程は、相関関数をラグについて単調減少となる関数で補正した補正相関関数を生成する。逆フィルタ係数計算過程は、補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する。逆フィルタ過程は、逆フィルタ係数をNチャネル収音信号に適用して残響除去信号を生成する。
【発明の効果】
【００５８】
この発明の残響除去方法は、収音信号から求めた相関関数を補正して相関行列を生成し、逆フィルタを求める。その補正関数がラグについて単調減少となる関数とすることで後部残響を効果的に抑圧することが出来る。
【図面の簡単な説明】
【００５９】
【図１】この発明の残響除去装置１００の機能構成例を示す図。
【図２】残響除去装置１００の動作フローを示す図。
【図３】この発明の音源分離装置１００′の機能構成例を示す図。
【図４】残響除去装置１００′で求めた残響特性の例を示す図。
【図５】この発明の残響除去装置２００の機能構成例を示す図。
【図６】残響除去装置２００の動作フローを示す図。
【図７】この発明の残響除去装置２００′の機能構成例を示す図。
【図８】残響除去装置２００′と残響除去装置１００′で求めた残響特性の例を示す図。
【図９】従来の残響除去装置９００の機能構成を示す図。
【図１０】残響除去装置９００で求めた残響特性を示す図。
【発明を実施するための形態】
【００６０】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには
同じ参照符号を付し、説明は繰り返さない。実施例の説明の前にこの発明の基本的な考えについて説明する。
【００６１】
〔この発明の基本的な考え〕
この発明は、上記した第一の性能劣化要因に対処する目的で、式（２０）に示した相関関数の推定誤差に関する性質を考慮に入れて相関関数の推定値R^12(τ)を式（２８）に示すように補正する。
【００６２】
【数１７】
【００６３】
相関関数の推定値の絶対値が取る範囲は、推定誤差の分散を用いて式（２９）に示すように見積もることが出来る。
【００６４】
【数１８】
【００６５】
ここでαは範囲指定の定数であり、推定誤差の分散、すなわち標準偏差の何倍かを指定している。推定誤差の分散が正規分布と見なせるならばα＝1で推定値の84％がこの範囲に入り、α＝2で推定値の約98％がこの範囲に入る。推定値の絶対値が大きくなる方向にブレるのを抑える目的で、この発明では式（３０）に示すように推定値を補正する。
【００６６】
【数１９】
【００６７】
音響経路のインパルス応答は一般的に指数減衰特性を持つため、音源が白色信号の場合に、その収音信号の相関関数の真値が式（３１）のように凡そ指数減衰で近似できると想定すれば、補正関数は式（３２）で表せる。
【００６８】
【数２０】
【００６９】
ここでTは相関関数の推定に使用したサンプル数であり、Cは式（３３）で与えられる定数である。
【００７０】
【数２１】
【００７１】
αの値としては１前後〜３を使用することが考えられる。また、Cの値としては１前後の値を使用することが考えられる。
【００７２】
また、補正関数としてより簡略化された関数である式（３４）を用いることも考えられる。
【００７３】
【数２２】
【００７４】
補正された相関関数（式（３２）、式（３４））を用いて逆フィルタ係数を計算することにより、目的音源から逆フィルタ出力までのインパルス応答の残響曲線について、残響曲線の後部の減衰が大きくなり、最終出力信号に含まれる後部残響を減らすことが出来る。
【００７５】
更にこの発明では、上記した第二の性能劣化要因に対処する目的で、目的インパルス応答ベクトルを構成するD+1本の基底ベクトル（式（３５））及び、式（３６）を解いて求められる逆フィルタ係数ベクトル群に着目する。
【００７６】
【数２３】
【００７７】
遅延Dのパルスを目的インパルス応答ベクトルに設定した場合、求めたい逆フィルタ係数ベクトルは式（３７）で表せる。そして、求めたい残響除去済み信号は式（３８）となる。
【００７８】
【数２４】
【００７９】
ここでy(0)(k),…,y(D)(k)は逆フィルタ係数ベクトルc(0),…,c(D)を収音信号に適用して得られる信号である。
【００８０】
音源が白色雑音の場合を考えるとy(k)は白色雑音であり、y(0)(k),…,y(D)(k)は残響除去が不十分で色の付いた雑音となる。すなわち、「y(0)(k),…,y(D)(k)を相互の相関が除去されるように線形結合することで、元々の音源である白色雑音が得られる。」ことが分かる。この考えに基づいて、この発明では以下のステップで逆フィルタ係数ベクトルを求めることで遅延Dのパルスに対応する。
【００８１】
最初に、逆フィルタ係数ベクトルc(0),…,c(D)を求める。次に、収音信号に逆フィルタ係数ベクトルを適用して信号y(0)(k),…,y(D)(k)を求める。そして線形予測の手法を用いて式（３９）のベクトルdyの大きさを最小にするb(1)〜 b（D）を求める。
【００８２】
【数２５】
【００８３】
そして、残響除去信号を式（４０）で求める。これは逆フィルタ係数ベクトルとして式（４１）を用いるのと同じである。
【００８４】
【数２６】
【実施例１】
【００８５】
図１に、この発明の残響除去装置１００の機能構成例を示す。その動作フローを図２に示す。残響除去装置１００は、白色化フィルタ係数計算部９０と、白色化フィルタ９１1〜９１Nと、相関関数計算部９２と、相関関数補正部１０と、逆フィルタ係数計算部９３と、逆フィルタ部９４を備える。その各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００８６】
残響除去装置１００は、従来技術で説明した残響除去装置９００に対して相関関数補正部１０を備える点で異なる。白色化フィルタ係数計算部９０は、Ｎ個のマイクロホン１1〜１Nで収音されたＮチャネル収音信号u1(k)〜uN(k)から、収音信号のスペクトルをフラットにする白色化フィルタ係数を計算する（ステップＳ９０）。
【００８７】
白色化フィルタ係数の計算方法としては、指定区間でのP次線形予測自乗誤差の総和（式（４２））を最小にする線形予測計数a(1)〜a（P）を求め、白色化フィルタ係数として式（４３）を求める方法がある。
【００８８】
【数２７】
【００８９】
それには、式（４４）として式（４５）を解いて線形予測係数a(1)〜a（P）を求めれば良い。
【００９０】
【数２８】
【００９１】
また、特許文献１に開示された方法を用いて白色化フィルタ係数を求めても良い。
【００９２】
Nチャネルに対応する白色化フィルタ９１1〜９１Nは、収音信号u1(k)〜uN(k)に白色化フィルタ係数を畳み込み、白色化された信号x1(k)〜xN(k)を得る（式（４６）、ステップＳ９１）。
【００９３】
【数２９】
【００９４】
相関関数計算部９２は、白色化信号x1(k)〜xN(k)間の相関関数を式（４７）で計算する（ステップＳ９２）。
【００９５】
【数３０】
【００９６】
相関関数補正部１０は、上記した式（３２）若しくは簡略化した式（３４）の補正関数f(τ)を用いて相関関数を補正した補正相関関数qij(τ)を求める。
【００９７】
【数３１】
【００９８】
逆フィルタ係数計算部９３と逆フィルタ９４の動作説明は、従来技術で説明済みであるので省略する。なお、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合には、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略することが出来る。図３に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略した残響除去装置１００′機能構成例を示す。
【００９９】
つまり、この発明の残響除去方法は、Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算過程と相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正過程と、補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する逆フィルタ係数計算過程と、逆フィルタ係数をNチャネル収音信号に適用して残響除去信号を生成する逆フィルタ過程と、を備えることで、残響特性の後半の減衰量を増やして後部残響を小さくすることが出来る。
【０１００】
図４に、残響除去装置１００′で推定した目的音源から逆フィルタ出力までの全体のインパルス応答の残響特性を示す。その残響特性を求めるシミュレーション条件は下記の通りとした。目的音源２は白色雑音とし、収音信号u1(k),u2(k)は残響時間１７０msの部屋で標本化周波数１６kHzで実測したインパルス応答を２０００タップで打ち切って使用した。収音信号は２チャネルとした。逆フィルタのフィルタ長は１５００タップに設定した。相関関数を算出するときには、２０秒の収音信号を使用し、相関関数の補正関数f(τ)には式（３２）を用い半減期が３００msになるように設定した。
【０１０１】
図４の横軸は時間［ms］、縦軸は減衰量［dB］である。従来の残響除去方法で得た残響特性を破線、この発明を実線で示す。従来の残響除去方法は、初期残響を１０dB以上効果的に抑えているが、後部の残響の減衰は穏やかである。一方、この発明の残響除去方法によれば、残響曲線は一定の傾向で減衰し、１４０ms時点では従来法よりも約２０dB多く残響が減衰している。このように、この発明の残響除去方法は後部残響を効果的に抑えることが出来る。
【実施例２】
【０１０２】
図５に、この発明の残響除去装置２００の機能構成例を示す。図６にその動作フローを示す。残響除去装置２００は、白色化フィルタ係数計算部９０と、白色化フィルタ９１1〜９１Nと、相関関数計算部９２と、相関関数補正部１０と、逆フィルタ係数群計算部２０と、逆フィルタ群処理部３０と、最終逆フィルタ係数算出部４０と、最終逆フィルタ部５０と、を備える。
【０１０３】
残響除去装置２００は、従来の残響除去装置１００に対して、逆フィルタ係数として相関行列に掛けると音源と最も近接するマイクロホンのチャネルについては遅延０〜D（D≧１）のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算部２０と、そのD本の逆フィルタ係数群を相関関数計算に用いたNチャネルの白色化信号x1(k)〜xN(k)に適用する逆フィルタ群処理部３０と、逆フィルタ群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出部４０と、その最終逆フィルタ係数をNチャネル収音信号に適用する最終逆フィルタ５０と、を備える点で異なる。白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nと相関関数計算部９２と相関関数補正部１０は、実施例１の残響除去装置１００と同じものである。
【０１０４】
白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nと相関関数計算部９２と相関関数補正部１０の動作については実施例１で説明済みであるので省略する。逆フィルタ係数群計算部２０は、補正相関関数qij(τ)を用いて多チャネル相関行列Rを計算する。式（３６）を解いて逆フィルタ係数ベクトルc(0),…,c(D)(D≧1)を求める（ステップＳ２０）。
【０１０５】
なお、相関行列Rの行列式が小さな値となる場合、数値計算上の誤差等のために、その解の値は不安定になる。それを防止する目的で相関行列Rの代わりに式（４９）を用いて、逆フィルタ係数ベクトルを求めても良い。
【０１０６】
【数３２】
【０１０７】
ここでλは行列正則化のための微小値であり、Iは行列Rと同じ大きさを持つ単位行列である。
【０１０８】
逆フィルタ群処理部３０は、Ｎチャネルの白色化信号x1(k)〜xN(k)に逆フィルタ係数ベクトルを適用して信号y(0)(k),…,y(D)(k)を得る（ステップＳ３０）。
【０１０９】
最終逆フィルタ係数算出部４０は、信号y(0)(k),…,y(D)(k)から最終逆フィルタ係数を算出する（ステップＳ４０）。最終逆フィルタ係数算出部４０は、式（５０）を解いて結合係数b(1)〜b（D）を求め、最終逆フィルタ係数cを求める。
【０１１０】
【数３３】
【０１１１】
そして最終逆フィルタ係数cを式（５２）で算出する。そして縦ベクトルcを式（５３）に示すようにN個に分割する。
【０１１２】
【数３４】
【０１１３】
分割された各縦ベクトルの要素を式（５４）とする。これが最終逆フィルタ係数の要素である。
【０１１４】
【数３５】
【０１１５】
最終逆フィルタ部５０は、残響除去信号y(k)を式（５５）で求める（ステップＳ５０）。
【０１１６】
【数３６】
【０１１７】
なお、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略することが出来るのは、残響除去装置１００と同じである。図７に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略した残響除去装置２００′の機能構成例を示す。
【０１１８】
図８に、残響除去装置２００′と残響除去装置１００′で求めた残響特性を示す。シミュレーションの条件は上記した図４と同じである。残響除去装置２００′で求めた残響特性を実線で、残響除去装置１００′で求めた残響特性を破線で示す。残響除去装置２００′ではD=5を使用した。残響除去装置２００′の方が、初期の減衰量が約３dB大きい。又、１０〜５０msの範囲においてより減衰量が大きく残響除去装置２００′の方が効果的に後部残響を減じていることが分かる。このように、この発明の残響除去方法は、後部残響を従来法よりも効果的に抑圧することを可能にする。
なお、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【０１１９】
また、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１２０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１２１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１２２】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【特許請求の範囲】
【請求項１】
Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算過程と、
上記相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正過程と、
上記補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する逆フィルタ係数計算過程と、
上記逆フィルタ係数を上記Nチャネル収音信号に適用して残響除去信号を生成する逆フィルタ過程と、
を備える残響除去方法。
【請求項２】
請求項１に記載した残響除去方法において、
上記単調減少となる関数は、推定誤差の分散の平方根値を分散の真値で除した値に比例定数を乗じて１を加えた値の逆数で表されることを特徴とする残響除去方法。
【請求項３】
請求項１に記載した残響除去方法において、
上記単調減少となる関数ｆ(τ)は、
【数３７】
αは範囲指定の定数、τはラグ、Tは相関関数の推定に使用したサンプル数、
であることを特徴とする残響除去方法。
【請求項４】
請求項１に記載した残響除去方法において、
上記単調減少となる関数ｆ(τ)は、
【数３８】
τはラグ、であることを特徴とする残響除去方法。
【請求項５】
請求項１乃至４の何れかに記載した残響除去方法において、
更に、
上記Nチャネル（Nは２以上の自然数）収音信号を白色化する白色化フィルタ係数計算過程と、
上記Nチャネル収音信号に上記白色化フィルタ係数を適用する白色化フィルタ過程と、
を備え上記相関関数計算過程は、Nチャネルの白色化フィルタ出力信号の相関関数を計算する過程であることを特徴とする残響除去方法。
【請求項６】
請求項５に記載した残響除去方法において、
上記白色化フィルタ係数計算過程は、上記Nチャネル収音信号u1(k)〜uk（k）について指定区間でのP次線形予測自乗誤差の総和
【数３９】
を最小にする線形予測計数a(1)〜a（P）,（P≧1）を求め白色化フィルタ処理において次式
【数４０】
により白色化された信号x1(k)〜xN(k)を得ることを特徴とする残響除去方法。
【請求項７】
Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算部と、
上記相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正部と、
上記補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する逆フィルタ係数計算部と、
上記逆フィルタ係数を上記Nチャネル収音信号に適用して残響除去信号を生成する逆フィルタ部と、
を備える残響除去装置。
【請求項８】
請求項１乃至６の何れかに記載した残響除去方法をコンピュータに実行させるためのプログラム。
【請求項１】
Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算過程と、
上記相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正過程と、
上記補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する逆フィルタ係数計算過程と、
上記逆フィルタ係数を上記Nチャネル収音信号に適用して残響除去信号を生成する逆フィルタ過程と、
を備える残響除去方法。
【請求項２】
請求項１に記載した残響除去方法において、
上記単調減少となる関数は、推定誤差の分散の平方根値を分散の真値で除した値に比例定数を乗じて１を加えた値の逆数で表されることを特徴とする残響除去方法。
【請求項３】
請求項１に記載した残響除去方法において、
上記単調減少となる関数ｆ(τ)は、
【数３７】
αは範囲指定の定数、τはラグ、Tは相関関数の推定に使用したサンプル数、
であることを特徴とする残響除去方法。
【請求項４】
請求項１に記載した残響除去方法において、
上記単調減少となる関数ｆ(τ)は、
【数３８】
τはラグ、であることを特徴とする残響除去方法。
【請求項５】
請求項１乃至４の何れかに記載した残響除去方法において、
更に、
上記Nチャネル（Nは２以上の自然数）収音信号を白色化する白色化フィルタ係数計算過程と、
上記Nチャネル収音信号に上記白色化フィルタ係数を適用する白色化フィルタ過程と、
を備え上記相関関数計算過程は、Nチャネルの白色化フィルタ出力信号の相関関数を計算する過程であることを特徴とする残響除去方法。
【請求項６】
請求項５に記載した残響除去方法において、
上記白色化フィルタ係数計算過程は、上記Nチャネル収音信号u1(k)〜uk（k）について指定区間でのP次線形予測自乗誤差の総和
【数３９】
を最小にする線形予測計数a(1)〜a（P）,（P≧1）を求め白色化フィルタ処理において次式
【数４０】
により白色化された信号x1(k)〜xN(k)を得ることを特徴とする残響除去方法。
【請求項７】
Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算部と、
上記相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正部と、
上記補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する逆フィルタ係数計算部と、
上記逆フィルタ係数を上記Nチャネル収音信号に適用して残響除去信号を生成する逆フィルタ部と、
を備える残響除去装置。
【請求項８】
請求項１乃至６の何れかに記載した残響除去方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−４８１３３（Ｐ２０１２−４８１３３Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１９２４１８（Ｐ２０１０−１９２４１８）
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]