残響除去方法とその装置とプログラム
【課題】後部残響をより効率よく抑圧する残響除去方法を提供する。
【解決手段】相関関数計算過程はNチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算し逆フィルタ係数群計算過程は相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延０〜D(D≧1)のインパルスが得られその他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する。そして、逆フィルタ群処理過程は逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用し、最終逆フィルタ係数算出過程は逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する。そして、最終逆フィルタ処理過程は最終逆フィルタ係数をNチャネル収音信号に適用する。
【解決手段】相関関数計算過程はNチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算し逆フィルタ係数群計算過程は相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延０〜D(D≧1)のインパルスが得られその他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する。そして、逆フィルタ群処理過程は逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用し、最終逆フィルタ係数算出過程は逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する。そして、最終逆フィルタ処理過程は最終逆フィルタ係数をNチャネル収音信号に適用する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、残響を多く含む多チャネル収音信号から音源の発する本来の信号を抽出する残響除去方法とその装置と、プログラムに関する。
【背景技術】
【０００２】
マイクロホンで音声等を収音する場合、マイクロホンに到達する音は、音源から発せられて直接到達した直接音と、壁等に１回反射して到達した反射音と、複数回反射して到達した反射音の混ざったものになる。マイクロホンが音源に近接していない場合は、この反射音の成分である残響成分が多くなる。
【０００３】
話者音声を離れた位置で収音する場合や残響時間が長い部屋で収音する場合には、残響により音声の明瞭度が低下して聞き取り難くなり、例えば音声認識システムの音声認識率も著しく低下することが知られている。
【０００４】
話者位置からマイクロホン位置までのインパルス応答が予め測定されている場合には、MINT（Multi-input/output Inverse Theorem）法（非特許文献１）を用いてインパルス応答から逆フィルタ係数を求め、収音信号に逆フィルタを適用することで残響に含まれる収音信号から原音を回復することができる。
【０００５】
MINT法を簡単に説明する。目的音源からi番目のマイクロホンまでの音響経路のインパルス応答をgi(0)〜gi(K)とする。Lタップの逆フィルタを求めたいとき、MINT法は目的インパルス応答ベクトルをd、ｉ番目のマイクロホン収音信号に適用するL次元の逆フィルタ係数ベクトルをcn(n=1〜N)としてサイズ(L+K)×Lのインパルス応答畳み込み行列（式（１））を用いて、式（２）若しくは式（３）の連立方程式を解いて逆フィルタ係数ベクトルcnを求める。
【０００６】
【数１】
【０００７】
但し、L+K≧NLが満たされている必要がある。
【０００８】
L+K次元ベクトルの目的インパルス応答ベクトルdとしては、無遅延のパルス（式（４））や遅延付きのパルスが（式（５））用いられる。
【０００９】
【数２】
【００１０】
一般に、遅延を付加することで逆フィルタ処理がより安定になり残響除去性能が向上することが知られている（非特許文献２）。通常は、音源位置（話者位置）からマイクロホン位置までのインパルス応答を予め測定することが出来ないため、残響に含まれる収音信号のみから原音を回復するブラインド残響除去法が用いられる。ブラインド残響除去の一方法としてblind-MINT法（特許文献１、非特許文献３）がある。
【００１１】
図１１を参照してblind-MINT法を簡単に説明する。ブラインド残響除去装置９００は、複数のマイクロホン１1〜１N（Nはマイクロホン数）と、白色化フィルタ係数計算部９０と、白色化フィルタ９１1〜９１Nと、相関関数計算部９２と、逆フィルタ係数計算部９３と、逆フィルタ部９４を備える。
【００１２】
残響下において目的音源２から発せられた音は、N個のマイクロホン１1〜１Nで収音される。各マイクロホンで収音された収音信号u1(k)〜uN(k)は、白色化フィルタ係数計算部９０に入力される。ここで、収音信号u1(k)〜uN(k)は、例えば標本化周波数は１６kHzで離散値化されたディジタル信号であり、(k)は時刻を表す。なお、収音信号をディジタル化するＡ/Ｄ変換器等については省略している。
【００１３】
白色化フィルタ係数計算部９０は、収音信号u1(k)〜uN(k)のスペクトルをフラットにする白色化フィルタ係数を計算する。白色化フィルタ９１1〜９１Nは、収音信号u1(k)〜uN(k)にその白色化フィルタ係数を畳み込んで白色化された白色化信号x1(k)〜xN（k）を生成する。
【００１４】
各収音信号u1(k)〜uN(k)に白色フィルタを畳み込んでから相関係数を求めることで、音声のようにスペクトルがフラットでない音源信号についても、高域のパワーを増加させること無く原音に近い最終出力信号y(k)を得ることが可能になる。
【００１５】
スペクトルがフラットな音源信号を収音した場合や、データ通信用等の信号が残響除去装置に入力された場合、その信号はそのまま相関関数計算部９２に入力することが出来る。その場合、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nは不要である。
【００１６】
相関関数計算部９２は、白色化信号x1(k)〜xN（k）間の相関関数rij(τ)を式（６）で計算する。
【００１７】
【数３】
【００１８】
ここでτは、２時点の時間間隔（以降、ラグ（lag）と称する）である。
【００１９】
逆フィルタ係数計算部９３は、相関関数計算部９２で計算した相関関数rij(τ)を入力として、その相関関数rij(τ)を用いて生成した相関行列Rij（式（７））から多チャネル相関行列R（式（８））を生成する。
【００２０】
【数４】
【００２１】
但し、Lは逆フィルタタップ数である。そして、式（９）の連立一次方程式を解いて逆フィルタ係数ベクトルcを求める。
【００２２】
【数５】
【００２３】
ここで、目的インパルス応答ベクトルd（式（１０））の各要素はL次元縦ベクトルである（式（１１））。
【００２４】
【数６】
【００２５】
第n番目のマイクロホン１nが全マイクロホンの中で目的音源２に最も近いときにδは１を取り、それ以外のときは０を取る。
【００２６】
逆フィルタ係数ベクトルcは、n番目のマイクロホンの収音信号un(k)に適用するL次元の逆フィルタ係数ベクトル（式（１２））を用いると、式（１３）と書ける。
【００２７】
【数７】
【００２８】
式（９）の連立一次方程式を解いて算出された逆フィルタ係数cは、逆フィルタ部９４に転送される。なお、連立一次方程式（式（９））の相関行列Rの行列式が小さな値となる場合、数値計算上の誤差等のためにその解cの値が不安定になる。これを防止する目的で式（１４）を用い式（１５）を解いて逆フィルタ係数ベクトルcを求めても良い。
【００２９】
【数８】
【００３０】
ここでλは行列正則化のための微小値であり、Iは行列Rと同じ大きさを持つ単位行列である。
【００３１】
逆フィルタ部９４は、式（１６）に示すように各収音信号u1(k)〜uN(k)に逆フィルタ係数ｃを適用して最終出力信号y(k)を得る。この出力信号y(k)は、残響の除去された目的信号を抽出した信号である。
【００３２】
【数９】
【００３３】
従来のブラインド残響除去方法は、目的音源２から各マイクロホンまでの未知の音響経路のインパルス応答gi(0)〜gi（K）から成る行列Gと収音信号から求めた相関行列Rとの間に式（１７）の関係があることを利用し、目的インパルス応答ベクトルとして無遅延パルスを用いて逆フィルタ係数を求めている。
【００３４】
【数１０】
【００３５】
ここでρは比例定数（スカラー量）である。目的音源２からi番目のマイクロホンまでの音響経路のインパルス応答をgi(0)〜gi(K)としてサイズ(L+K)×Lのインパルス応答畳み込み行列Gi（式（１８））を用いて、行列Gは式（１９）で表せる。
【００３６】
【数１１】
【００３７】
行列GTGの要素は、音響経路のインパルス応答の相関関数になる。
【先行技術文献】
【特許文献】
【００３８】
【特許文献１】特開２００６−６６９８９号公報
【非特許文献】
【００３９】
【非特許文献１】M. Miyoshi and Y. Kaneda, “Inverse Filtering of Room acoustics,”IEEE Trans. Acoust. Speech Signal Process., vol. ASSP-36, no. 2, pp. 145-152, 1988.
【非特許文献２】大賀、山崎、金田、「音響システムとディジタル処理」、電子情報通信学会、1995.
【非特許文献３】K. Furuya and A. Kataoka, Robust Speech Dereverberatio Using Multichannel Blind Deconvolution With Spectral Subtraction, IEEE Trans. On Audio, Speech, and Language Processing, vol. no. 5, pp. 1579-1591, 2007.
【非特許文献４】J. S.ベンダット、A. G．ビアソル、「ランダムデータの統計的処理」培風館、1976.
【発明の概要】
【発明が解決しようとする課題】
【００４０】
図１２に、従来のブラインド残響除去装置９００で求めた残響特性を示す。横軸は時間、縦軸は減衰量「dB」である。図中の破線はインパルス応答から求めた部屋の残響特性を示す。実線は従来のブラインド残響除去装置９００で求めた残響特性である。
【００４１】
従来のブラインド残響除去方法は、初期残響を１０dB以上効果的に抑えているが、残響特性の後半の減衰は穏やかである。このように、実際の音響経路よりも減衰が著しく遅く、後半の信号に残響が含まれる特性を示す。
【００４２】
従来のブラインド残響除去方法の第一の性能劣化要因として、目的インパルス応答ベクトルに無遅延のパルスを用いていることが挙げられる。非特許文献２でインパルス応答成分g1(0)を1に、ρ（式（１７））＝1にスケーリングした場合、無遅延のパルスを目的インパルス応答ベクトルに設定すると、逆フィルタ係数は式（２０）の関係式から求められる。
【００４３】
【数１２】
【００４４】
残響除去性能を高めるために、目的インパルス応答ベクトルとして遅延Dのパルスを設定しようとする場合、解くべき式は式（３）より式（２１）となる。
【００４５】
【数１３】
【００４６】
目的音源が第１のマイクロホンに最も近くg1(0)=1にスケーリングしている場合、求めたい逆フィルタ係数は式（２２）の関係を満たす。
【００４７】
【数１４】
【００４８】
それは、第１のマイクロホンが最も音源に近く、第１のマイクロホンと２番目に近いマイクロホンとの遅延よりもDが小さい場合には、i番目のマイクロホンのインパルス応答からなる行列（式（２３））についてインパルス応答の頭D項が０なので（式（２４））、式（２５）が成立するためである。
【００４９】
【数１５】
【００５０】
ここで＊は何がしかの値である。
【００５１】
しかし、インパルス応答成分g1(1)〜g1(D)は未知なので、式（２５）を直接解いて逆フィルタ係数を求めることが出来ない。つまり、従来の残響除去方法は、式（２０）で逆フィルタ係数を求めていた。
【００５２】
第二の性能劣化要因として、信号値から相関関数を推定したときに相関関数に推定誤差が含まれることが挙げられる。非特許文献４によれば、バンド幅Bの帯域制限白色雑音の区間Tの信号x1,x2のデータから求めた相互相関関数R^12（τ）の推定誤差は、安全サイドに大きめに見積もって式（２６）に示す分散を持ち、その相対誤差（規準化二乗平均誤差）は式（２７）で表せる。
【００５３】
【数１６】
【００５４】
ここで、R1(τ),R2(τ)は信号x1,x2の自己相関関数である。
【００５５】
音響経路のインパルス応答は指数減衰特性を持つので（非特許文献２）、その相関関数は通常ラグτが大きいほど指数的に０に近くなる。式（２７）によれば、ラグτが大きいほど信号値から推定された相関関数の相対誤差は大きくなる。そのために収音信号から求めた相関関数は、音響経路から導出される行列GTG中の相関関数と比較して、ラグτの大きい要素ほど乖離が大きくなる。そして、この乖離が逆行列を通じて逆フィルタ係数に大きく影響してしまう。
【００５６】
この発明は、このような課題に鑑みてなされたものであり、残響特性の後半部分の減衰量を増やして効果的に残響を抑圧することが出来る残響除去方法とその装置と、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００５７】
この発明の残響除去方法は、相関関数計算過程と、逆フィルタ係数群計算過程と、逆フィルタ群処理過程と、最終逆フィルタ係数算出過程と、最終逆フィルタ処理過程とを備える。相関関数計算過程は、Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する。逆フィルタ係数群計算過程は、相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延０〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する。逆フィルタ群処理過程は、逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用する。最終逆フィルタ係数算出過程は、逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する。最終逆フィルタ処理過程は、最終逆フィルタ係数をNチャネル収音信号に適用する。
【発明の効果】
【００５８】
この発明の残響除去方法は、複数（D+1本）の逆フィルタ係数ベクトルによる残響除去結果を相関が除去されるように線形結合することで後部残響を効果的に抑圧することが出来る。
【図面の簡単な説明】
【００５９】
【図１】この発明の残響除去装置１００の機能構成例を示す図。
【図２】残響除去装置１００の動作フローを示す図。
【図３】この発明の音源分離装置１００′の機能構成例を示す図。
【図４】この発明に関連する残響除去装置２００の機能構成例を示す図。
【図５】残響除去装置２００の動作フローを示す図。
【図６】この発明に関連する音源分離装置２００′の機能構成例を示す図。
【図７】残響除去装置２００′で求めた残響特性の例を示す図。
【図８】この発明の残響除去装置３００の機能構成例を示す図。
【図９】この発明の残響除去装置３００′の機能構成例を示す図。
【図１０】残響除去装置３００と残響除去装置２００′で求めた残響特性の例を示す図。
【図１１】従来の残響除去装置９００の機能構成を示す図。
【図１２】残響除去装置９００で求めた残響特性を示す図。
【発明を実施するための形態】
【００６０】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには
同じ参照符号を付し、説明は繰り返さない。実施例の説明の前にこの発明の基本的な考えについて説明する。
【００６１】
〔この発明の基本的な考え〕
この発明は、上記した第一の性能劣化要因に対処する目的で、目的インパルス応答ベクトルを構成するD+1本の基底ベクトル（式（２８））及び、式（２９）を解いて求められる逆フィルタ係数ベクトル群に着目し、残響除去信号y(0)(k),…,y(D)(k)を相互の相関が除去されるように線形結合することで残響除去性能を向上させる。
【００６２】
【数１７】
【００６３】
遅延Dのパルスを目的インパルス応答ベクトルに設定した場合、求めたい逆フィルタ係数ベクトルは式（３０）で表せる。そして、求めたい残響除去済み信号は式（３１）となる。
【００６４】
【数１８】
【００６５】
ここでy(0)(k),…,y(D)(k)は逆フィルタ係数ベクトルc(0),…,c(D)を収音信号に適用して得られる信号である。
【００６６】
音源が白色雑音の場合を考えるとy(k)は白色雑音であり、y(0)(k),…,y(D)(k)は残響除去が不十分で色の付いた雑音となる。すなわち、「y(0)(k),…,y(D)(k)を相互の相関が除去されるように線形結合することで、元々の音源である白色雑音が得られる。」ことが分かる。この考えに基づいて、この発明では以下のステップで逆フィルタ係数ベクトルを求めることで遅延Dのパルスに対応する。
【００６７】
最初に、逆フィルタ係数ベクトルc(0),…,c(D)を求める。次に、収音信号に逆フィルタ係数ベクトルを適用して信号y(0)(k),…,y(D)(k)を求める。そして線形予測の手法を用いて式（３２）のベクトルdyの大きさを最小にするb(1)〜 b（D）を求める。
【００６８】
【数１９】
【００６９】
そして、残響除去信号を式（３３）で求める。これは逆フィルタ係数ベクトルとして式（３４）を用いるのと同じである。
【００７０】
【数２０】
【００７１】
更にこの発明では、上記した第二の性能劣化要因に対処する目的で、式（２６）に示した相関関数の推定誤差に関する性質を考慮に入れて相関関数の推定値R^12(τ)を式（３５）に示すように補正する。
【００７２】
【数２１】
【００７３】
相関関数の推定値の絶対値が取る範囲は、推定誤差の分散を用いて式（３６）に示すように見積もることが出来る。
【００７４】
【数２２】
【００７５】
ここでαは範囲指定の定数であり、推定誤差の分散、すなわち標準偏差の何倍かを指定している。推定誤差の分散が正規分布と見なせるならばα＝1で推定値の84％がこの範囲に入り、α＝2で推定値の約98％がこの範囲に入る。推定値の絶対値が大きくなる方向にブレるのを抑える目的で、この発明では式（３７）に示すように推定値を補正する。
【００７６】
【数２３】
【００７７】
音響経路のインパルス応答は一般的に指数減衰特性を持つため、音源が白色信号の場合に、その収音信号の相関関数の真値が式（３８）のように凡そ指数減衰で近似できると想定すれば、補正関数は式（３９）で表せる。
【００７８】
【数２４】
【００７９】
ここでTは相関関数の推定に使用したサンプル数であり、Cは式（４０）で与えられる定数である。
【００８０】
【数２５】
【００８１】
αの値としては１前後〜３を使用することが考えられる。また、Cの値としては１前後の値を使用することが考えられる。
【００８２】
また、補正関数としてより簡略化された関数である式（４１）を用いることも考えられる。
【００８３】
【数２６】
【００８４】
補正された相関関数（式（３９）、式（４１））を用いて逆フィルタ係数を計算することにより、目的音源から逆フィルタ出力までのインパルス応答の残響曲線について、残響曲線の後部の減衰が大きくなり、最終出力信号に含まれる後部残響を減らすことが出来る。
【実施例１】
【００８５】
図１に、この発明の残響除去装置１００の機能構成例を示す。図２にその動作フローを示す。残響除去装置１００は、白色化フィルタ係数計算部９０と、白色化フィルタ９１1〜９１Nと、相関関数計算部９２と、逆フィルタ係数群計算部２０と、逆フィルタ群処理部３０と、最終逆フィルタ係数算出部４０と、最終逆フィルタ部５０と、を備える。白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nと相関関数計算部９２とは、従来の残響除去装置９００と同じものである。その各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００８６】
残響除去装置１００は、従来の残響除去装置９００に対して、逆フィルタ係数として相関行列に掛けると音源と最も近接するマイクロホンのチャネルについては遅延０〜D（D≧１）のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算部２０と、そのD+1本の逆フィルタ係数群を相関関数計算に用いたNチャネルの白色化信号x1(k)〜xN(k)に適用する逆フィルタ群処理部３０と、逆フィルタ群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出部４０と、その最終逆フィルタ係数をNチャネル収音信号に適用する最終逆フィルタ５０と、を備える点で異なる。
【００８７】
白色化フィルタ係数計算部９０は、Ｎ個のマイクロホン１1〜１Nで収音されたＮチャネル収音信号u1(k)〜uN(k)から、収音信号のスペクトルをフラットにする白色化フィルタ係数を計算する（ステップＳ９０）。
【００８８】
白色化フィルタ係数の計算方法としては、指定区間でのP次線形予測自乗誤差の総和（式（４２））を最小にする線形予測計数a(1)〜a（P）を求め、白色化フィルタ係数として式（４３）を求める方法がある。
【００８９】
【数２７】
【００９０】
それには、式（４４）として式（４５）を解いて線形予測係数a(1)〜a（P）を求めれば良い。
【００９１】
【数２８】
【００９２】
また、特許文献１に開示された方法を用いて白色化フィルタ係数を求めても良い。
【００９３】
Nチャネルに対応する白色化フィルタ９１1〜９１Nは、収音信号u1(k)〜uN(k)に白色化フィルタ係数を畳み込み、白色化された信号x1(k)〜xN(k)を得る（式（４６）、ステップＳ９１）。
【００９４】
【数２９】
【００９５】
相関関数計算部９２は、白色化信号x1(k)〜xN(k)間の相関関数を式（４７）で計算する（ステップＳ９２）。
【００９６】
【数３０】
【００９７】
逆フィルタ係数群計算部２０は、相関関数rij(τ)を用いて多チャネル相関行列Rを計算する。式（２９）を解いて逆フィルタ係数ベクトルc(0),…,c(D)(D≧1)を求める（ステップＳ２０）。
【００９８】
なお、相関行列Rの行列式が小さな値となる場合、数値計算上の誤差等のために、その解の値は不安定になる。それを防止する目的で相関行列Rの代わりに式（４８）を用いて、逆フィルタ係数ベクトルを求めても良い。
【００９９】
【数３１】
【０１００】
ここでλは行列正則化のための微小値であり、Iは行列Rと同じ大きさを持つ単位行列である。
【０１０１】
逆フィルタ群処理部３０は、Ｎチャネルの白色化信号x1(k)〜xN(k)に逆フィルタ係数ベクトルを適用して信号y(0)(k),…,y(D)(k)を得る（ステップＳ３０）。
【０１０２】
最終逆フィルタ係数算出部４０は、信号y(0)(k),…,y(D)(k)から最終逆フィルタ係数を算出する（ステップＳ４０）。最終逆フィルタ係数算出部４０は、式（４９）を解いて結合係数b(1)〜b（D）を求め、最終逆フィルタ係数cを求める。
【０１０３】
【数３２】
【０１０４】
そして最終逆フィルタ係数cを式（５１）で算出する。そして縦ベクトルcを式（５２）に示すようにN個に分割する。
【０１０５】
【数３３】
【０１０６】
分割された各縦ベクトルの要素を式（５３）とする。これが最終逆フィルタ係数の要素である。
【０１０７】
【数３４】
【０１０８】
最終逆フィルタ部５０は、残響除去信号y(k)を式（５４）で求める（ステップＳ５０）。
【０１０９】
【数３５】
【０１１０】
なお、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略することが出来る。図３に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略した残響除去装置１００′の機能構成例を示す。
【０１１１】
つまり、この発明の残響除去方法は、Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算過程と、相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延０〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算過程と、逆フィルタ係数群を相関関数計算に用いたNチャネル収音信号に適用する逆フィルタ群処理過程と、逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出過程と、最終逆フィルタ係数をNチャネル収音信号に適用する最終逆フィルタ処理過程と、を備えることで残響除去性能を向上させることが出来る。
【０１１２】
〔関連例〕
図４に、この発明に関連する残響除去装置２００の機能構成例を示す。その動作フローを図５に示す。残響除去装置２００は、白色化フィルタ係数計算部９０と、白色化フィルタ９１1〜９１Nと、相関関数計算部９２と、相関関数補正部１０と、逆フィルタ係数計算部９３と、逆フィルタ部９４を備える。
【０１１３】
残響除去装置２００は、従来技術で説明した残響除去装置９００に対して相関関数補正部１０を備える点で異なる。白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nと相関関数計算部９２の動作については実施例１で説明済みであるので省略する。
【０１１４】
相関関数補正部１０は、上記した式（３９）若しくは簡略化した式（４１）の補正関数f(τ)を用いて相関関数を補正した補正相関関数qij(τ)を求める。
【０１１５】
【数３６】
【０１１６】
逆フィルタ係数計算部９３と逆フィルタ９４の動作説明は、従来技術で説明済みであるので省略する。なお、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合には、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略することが出来る。図６に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略した残響除去装置２００′機能構成例を示す。
【０１１７】
つまり、この残響除去方法は、Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算過程と相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正過程と、補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する逆フィルタ係数計算過程と、逆フィルタ係数をNチャネル収音信号に適用して残響除去信号を生成する逆フィルタ過程と、を備えることで、残響特性の後半の減衰量を増やして後部残響を小さくすることが出来る。
【０１１８】
図７に、残響除去装置２００′で推定した目的音源から逆フィルタ出力までの全体のインパルス応答の残響特性を示す。その残響特性を求めるシミュレーション条件は下記の通りとした。目的音源２は白色雑音とし、収音信号u1(k),u2(k)は残響時間１７０msの部屋で標本化周波数１６kHzで実測したインパルス応答を２０００タップで打ち切って使用した。収音信号は２チャネルとした。逆フィルタのフィルタ長は１５００タップに設定した。相関関数を算出するときには、２０秒の収音信号を使用し、相関関数の補正関数f(τ)には式（４１）を用い半減期が３００msになるように設定した。
【０１１９】
図７の横軸は時間［ms］、縦軸は減衰量［dB］である。従来の残響除去方法で得た残響特性を破線、この発明を実線で示す。従来の残響除去方法は、初期残響を１０dB以上効果的に抑えているが、後部の残響の減衰は穏やかである。一方、この発明の残響除去方法によれば、残響曲線は一定の傾向で減衰し、１４０ms時点では従来法よりも約２０dB多く残響が減衰している。このように、この発明の残響除去方法は後部残響を効果的に抑えることが出来る。
【実施例２】
【０１２０】
図８に、この発明の残響除去装置３００の機能構成例を示す。残響除去装置３００は、上記した残響除去装置１００の機能構成に相関関数補正部１０の構成を追加したものである。また、逆フィルタ係数群計算部６０が補正相関関数q ij(τ)から逆フィルタ係数群を計算する点で異なる。
【０１２１】
相関関数補正部１０を追加することで、ラグτの大きい相関関数の推定値の推定誤差が小さくなるため、より良い逆フィルタ係数ベクトルを求めることが可能になる。相関関数補正部１０は実施例１と同じであり、逆フィルタ係数群計算部２０は実施例１と同じである。よって、その説明は省略する。
【０１２２】
また、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略することが出来るのは、残響除去装置１００と同じである。図９に、白色化フィルタ係数計算部と白色化フィルタ９１1〜９１Nを省略した残響除去装置３００′の機能構成例を示す。
【０１２３】
図１０に、残響除去装置３００′と残響除去装置２００′で求めた残響特性を示す。シミュレーションの条件は上記した図７と同じである。残響除去装置３００′で求めた残響特性を実線で、残響除去装置２００′で求めた残響特性を破線で示す。残響除去装置３００′ではD=5を使用した。残響除去装置３００′の方が、初期の減衰量が約３dB大きい。又、１０〜５０msの範囲においてより減衰量が大きく残響除去装置３００′の方が効果的に後部残響を減じていることが分かる。このように、この発明の残響除去方法は、後部残響を従来法よりも効果的に抑圧することを可能にする。
なお、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【０１２４】
また、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１２５】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１２６】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１２７】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【技術分野】
【０００１】
この発明は、残響を多く含む多チャネル収音信号から音源の発する本来の信号を抽出する残響除去方法とその装置と、プログラムに関する。
【背景技術】
【０００２】
マイクロホンで音声等を収音する場合、マイクロホンに到達する音は、音源から発せられて直接到達した直接音と、壁等に１回反射して到達した反射音と、複数回反射して到達した反射音の混ざったものになる。マイクロホンが音源に近接していない場合は、この反射音の成分である残響成分が多くなる。
【０００３】
話者音声を離れた位置で収音する場合や残響時間が長い部屋で収音する場合には、残響により音声の明瞭度が低下して聞き取り難くなり、例えば音声認識システムの音声認識率も著しく低下することが知られている。
【０００４】
話者位置からマイクロホン位置までのインパルス応答が予め測定されている場合には、MINT（Multi-input/output Inverse Theorem）法（非特許文献１）を用いてインパルス応答から逆フィルタ係数を求め、収音信号に逆フィルタを適用することで残響に含まれる収音信号から原音を回復することができる。
【０００５】
MINT法を簡単に説明する。目的音源からi番目のマイクロホンまでの音響経路のインパルス応答をgi(0)〜gi(K)とする。Lタップの逆フィルタを求めたいとき、MINT法は目的インパルス応答ベクトルをd、ｉ番目のマイクロホン収音信号に適用するL次元の逆フィルタ係数ベクトルをcn(n=1〜N)としてサイズ(L+K)×Lのインパルス応答畳み込み行列（式（１））を用いて、式（２）若しくは式（３）の連立方程式を解いて逆フィルタ係数ベクトルcnを求める。
【０００６】
【数１】
【０００７】
但し、L+K≧NLが満たされている必要がある。
【０００８】
L+K次元ベクトルの目的インパルス応答ベクトルdとしては、無遅延のパルス（式（４））や遅延付きのパルスが（式（５））用いられる。
【０００９】
【数２】
【００１０】
一般に、遅延を付加することで逆フィルタ処理がより安定になり残響除去性能が向上することが知られている（非特許文献２）。通常は、音源位置（話者位置）からマイクロホン位置までのインパルス応答を予め測定することが出来ないため、残響に含まれる収音信号のみから原音を回復するブラインド残響除去法が用いられる。ブラインド残響除去の一方法としてblind-MINT法（特許文献１、非特許文献３）がある。
【００１１】
図１１を参照してblind-MINT法を簡単に説明する。ブラインド残響除去装置９００は、複数のマイクロホン１1〜１N（Nはマイクロホン数）と、白色化フィルタ係数計算部９０と、白色化フィルタ９１1〜９１Nと、相関関数計算部９２と、逆フィルタ係数計算部９３と、逆フィルタ部９４を備える。
【００１２】
残響下において目的音源２から発せられた音は、N個のマイクロホン１1〜１Nで収音される。各マイクロホンで収音された収音信号u1(k)〜uN(k)は、白色化フィルタ係数計算部９０に入力される。ここで、収音信号u1(k)〜uN(k)は、例えば標本化周波数は１６kHzで離散値化されたディジタル信号であり、(k)は時刻を表す。なお、収音信号をディジタル化するＡ/Ｄ変換器等については省略している。
【００１３】
白色化フィルタ係数計算部９０は、収音信号u1(k)〜uN(k)のスペクトルをフラットにする白色化フィルタ係数を計算する。白色化フィルタ９１1〜９１Nは、収音信号u1(k)〜uN(k)にその白色化フィルタ係数を畳み込んで白色化された白色化信号x1(k)〜xN（k）を生成する。
【００１４】
各収音信号u1(k)〜uN(k)に白色フィルタを畳み込んでから相関係数を求めることで、音声のようにスペクトルがフラットでない音源信号についても、高域のパワーを増加させること無く原音に近い最終出力信号y(k)を得ることが可能になる。
【００１５】
スペクトルがフラットな音源信号を収音した場合や、データ通信用等の信号が残響除去装置に入力された場合、その信号はそのまま相関関数計算部９２に入力することが出来る。その場合、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nは不要である。
【００１６】
相関関数計算部９２は、白色化信号x1(k)〜xN（k）間の相関関数rij(τ)を式（６）で計算する。
【００１７】
【数３】
【００１８】
ここでτは、２時点の時間間隔（以降、ラグ（lag）と称する）である。
【００１９】
逆フィルタ係数計算部９３は、相関関数計算部９２で計算した相関関数rij(τ)を入力として、その相関関数rij(τ)を用いて生成した相関行列Rij（式（７））から多チャネル相関行列R（式（８））を生成する。
【００２０】
【数４】
【００２１】
但し、Lは逆フィルタタップ数である。そして、式（９）の連立一次方程式を解いて逆フィルタ係数ベクトルcを求める。
【００２２】
【数５】
【００２３】
ここで、目的インパルス応答ベクトルd（式（１０））の各要素はL次元縦ベクトルである（式（１１））。
【００２４】
【数６】
【００２５】
第n番目のマイクロホン１nが全マイクロホンの中で目的音源２に最も近いときにδは１を取り、それ以外のときは０を取る。
【００２６】
逆フィルタ係数ベクトルcは、n番目のマイクロホンの収音信号un(k)に適用するL次元の逆フィルタ係数ベクトル（式（１２））を用いると、式（１３）と書ける。
【００２７】
【数７】
【００２８】
式（９）の連立一次方程式を解いて算出された逆フィルタ係数cは、逆フィルタ部９４に転送される。なお、連立一次方程式（式（９））の相関行列Rの行列式が小さな値となる場合、数値計算上の誤差等のためにその解cの値が不安定になる。これを防止する目的で式（１４）を用い式（１５）を解いて逆フィルタ係数ベクトルcを求めても良い。
【００２９】
【数８】
【００３０】
ここでλは行列正則化のための微小値であり、Iは行列Rと同じ大きさを持つ単位行列である。
【００３１】
逆フィルタ部９４は、式（１６）に示すように各収音信号u1(k)〜uN(k)に逆フィルタ係数ｃを適用して最終出力信号y(k)を得る。この出力信号y(k)は、残響の除去された目的信号を抽出した信号である。
【００３２】
【数９】
【００３３】
従来のブラインド残響除去方法は、目的音源２から各マイクロホンまでの未知の音響経路のインパルス応答gi(0)〜gi（K）から成る行列Gと収音信号から求めた相関行列Rとの間に式（１７）の関係があることを利用し、目的インパルス応答ベクトルとして無遅延パルスを用いて逆フィルタ係数を求めている。
【００３４】
【数１０】
【００３５】
ここでρは比例定数（スカラー量）である。目的音源２からi番目のマイクロホンまでの音響経路のインパルス応答をgi(0)〜gi(K)としてサイズ(L+K)×Lのインパルス応答畳み込み行列Gi（式（１８））を用いて、行列Gは式（１９）で表せる。
【００３６】
【数１１】
【００３７】
行列GTGの要素は、音響経路のインパルス応答の相関関数になる。
【先行技術文献】
【特許文献】
【００３８】
【特許文献１】特開２００６−６６９８９号公報
【非特許文献】
【００３９】
【非特許文献１】M. Miyoshi and Y. Kaneda, “Inverse Filtering of Room acoustics,”IEEE Trans. Acoust. Speech Signal Process., vol. ASSP-36, no. 2, pp. 145-152, 1988.
【非特許文献２】大賀、山崎、金田、「音響システムとディジタル処理」、電子情報通信学会、1995.
【非特許文献３】K. Furuya and A. Kataoka, Robust Speech Dereverberatio Using Multichannel Blind Deconvolution With Spectral Subtraction, IEEE Trans. On Audio, Speech, and Language Processing, vol. no. 5, pp. 1579-1591, 2007.
【非特許文献４】J. S.ベンダット、A. G．ビアソル、「ランダムデータの統計的処理」培風館、1976.
【発明の概要】
【発明が解決しようとする課題】
【００４０】
図１２に、従来のブラインド残響除去装置９００で求めた残響特性を示す。横軸は時間、縦軸は減衰量「dB」である。図中の破線はインパルス応答から求めた部屋の残響特性を示す。実線は従来のブラインド残響除去装置９００で求めた残響特性である。
【００４１】
従来のブラインド残響除去方法は、初期残響を１０dB以上効果的に抑えているが、残響特性の後半の減衰は穏やかである。このように、実際の音響経路よりも減衰が著しく遅く、後半の信号に残響が含まれる特性を示す。
【００４２】
従来のブラインド残響除去方法の第一の性能劣化要因として、目的インパルス応答ベクトルに無遅延のパルスを用いていることが挙げられる。非特許文献２でインパルス応答成分g1(0)を1に、ρ（式（１７））＝1にスケーリングした場合、無遅延のパルスを目的インパルス応答ベクトルに設定すると、逆フィルタ係数は式（２０）の関係式から求められる。
【００４３】
【数１２】
【００４４】
残響除去性能を高めるために、目的インパルス応答ベクトルとして遅延Dのパルスを設定しようとする場合、解くべき式は式（３）より式（２１）となる。
【００４５】
【数１３】
【００４６】
目的音源が第１のマイクロホンに最も近くg1(0)=1にスケーリングしている場合、求めたい逆フィルタ係数は式（２２）の関係を満たす。
【００４７】
【数１４】
【００４８】
それは、第１のマイクロホンが最も音源に近く、第１のマイクロホンと２番目に近いマイクロホンとの遅延よりもDが小さい場合には、i番目のマイクロホンのインパルス応答からなる行列（式（２３））についてインパルス応答の頭D項が０なので（式（２４））、式（２５）が成立するためである。
【００４９】
【数１５】
【００５０】
ここで＊は何がしかの値である。
【００５１】
しかし、インパルス応答成分g1(1)〜g1(D)は未知なので、式（２５）を直接解いて逆フィルタ係数を求めることが出来ない。つまり、従来の残響除去方法は、式（２０）で逆フィルタ係数を求めていた。
【００５２】
第二の性能劣化要因として、信号値から相関関数を推定したときに相関関数に推定誤差が含まれることが挙げられる。非特許文献４によれば、バンド幅Bの帯域制限白色雑音の区間Tの信号x1,x2のデータから求めた相互相関関数R^12（τ）の推定誤差は、安全サイドに大きめに見積もって式（２６）に示す分散を持ち、その相対誤差（規準化二乗平均誤差）は式（２７）で表せる。
【００５３】
【数１６】
【００５４】
ここで、R1(τ),R2(τ)は信号x1,x2の自己相関関数である。
【００５５】
音響経路のインパルス応答は指数減衰特性を持つので（非特許文献２）、その相関関数は通常ラグτが大きいほど指数的に０に近くなる。式（２７）によれば、ラグτが大きいほど信号値から推定された相関関数の相対誤差は大きくなる。そのために収音信号から求めた相関関数は、音響経路から導出される行列GTG中の相関関数と比較して、ラグτの大きい要素ほど乖離が大きくなる。そして、この乖離が逆行列を通じて逆フィルタ係数に大きく影響してしまう。
【００５６】
この発明は、このような課題に鑑みてなされたものであり、残響特性の後半部分の減衰量を増やして効果的に残響を抑圧することが出来る残響除去方法とその装置と、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００５７】
この発明の残響除去方法は、相関関数計算過程と、逆フィルタ係数群計算過程と、逆フィルタ群処理過程と、最終逆フィルタ係数算出過程と、最終逆フィルタ処理過程とを備える。相関関数計算過程は、Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する。逆フィルタ係数群計算過程は、相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延０〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する。逆フィルタ群処理過程は、逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用する。最終逆フィルタ係数算出過程は、逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する。最終逆フィルタ処理過程は、最終逆フィルタ係数をNチャネル収音信号に適用する。
【発明の効果】
【００５８】
この発明の残響除去方法は、複数（D+1本）の逆フィルタ係数ベクトルによる残響除去結果を相関が除去されるように線形結合することで後部残響を効果的に抑圧することが出来る。
【図面の簡単な説明】
【００５９】
【図１】この発明の残響除去装置１００の機能構成例を示す図。
【図２】残響除去装置１００の動作フローを示す図。
【図３】この発明の音源分離装置１００′の機能構成例を示す図。
【図４】この発明に関連する残響除去装置２００の機能構成例を示す図。
【図５】残響除去装置２００の動作フローを示す図。
【図６】この発明に関連する音源分離装置２００′の機能構成例を示す図。
【図７】残響除去装置２００′で求めた残響特性の例を示す図。
【図８】この発明の残響除去装置３００の機能構成例を示す図。
【図９】この発明の残響除去装置３００′の機能構成例を示す図。
【図１０】残響除去装置３００と残響除去装置２００′で求めた残響特性の例を示す図。
【図１１】従来の残響除去装置９００の機能構成を示す図。
【図１２】残響除去装置９００で求めた残響特性を示す図。
【発明を実施するための形態】
【００６０】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには
同じ参照符号を付し、説明は繰り返さない。実施例の説明の前にこの発明の基本的な考えについて説明する。
【００６１】
〔この発明の基本的な考え〕
この発明は、上記した第一の性能劣化要因に対処する目的で、目的インパルス応答ベクトルを構成するD+1本の基底ベクトル（式（２８））及び、式（２９）を解いて求められる逆フィルタ係数ベクトル群に着目し、残響除去信号y(0)(k),…,y(D)(k)を相互の相関が除去されるように線形結合することで残響除去性能を向上させる。
【００６２】
【数１７】
【００６３】
遅延Dのパルスを目的インパルス応答ベクトルに設定した場合、求めたい逆フィルタ係数ベクトルは式（３０）で表せる。そして、求めたい残響除去済み信号は式（３１）となる。
【００６４】
【数１８】
【００６５】
ここでy(0)(k),…,y(D)(k)は逆フィルタ係数ベクトルc(0),…,c(D)を収音信号に適用して得られる信号である。
【００６６】
音源が白色雑音の場合を考えるとy(k)は白色雑音であり、y(0)(k),…,y(D)(k)は残響除去が不十分で色の付いた雑音となる。すなわち、「y(0)(k),…,y(D)(k)を相互の相関が除去されるように線形結合することで、元々の音源である白色雑音が得られる。」ことが分かる。この考えに基づいて、この発明では以下のステップで逆フィルタ係数ベクトルを求めることで遅延Dのパルスに対応する。
【００６７】
最初に、逆フィルタ係数ベクトルc(0),…,c(D)を求める。次に、収音信号に逆フィルタ係数ベクトルを適用して信号y(0)(k),…,y(D)(k)を求める。そして線形予測の手法を用いて式（３２）のベクトルdyの大きさを最小にするb(1)〜 b（D）を求める。
【００６８】
【数１９】
【００６９】
そして、残響除去信号を式（３３）で求める。これは逆フィルタ係数ベクトルとして式（３４）を用いるのと同じである。
【００７０】
【数２０】
【００７１】
更にこの発明では、上記した第二の性能劣化要因に対処する目的で、式（２６）に示した相関関数の推定誤差に関する性質を考慮に入れて相関関数の推定値R^12(τ)を式（３５）に示すように補正する。
【００７２】
【数２１】
【００７３】
相関関数の推定値の絶対値が取る範囲は、推定誤差の分散を用いて式（３６）に示すように見積もることが出来る。
【００７４】
【数２２】
【００７５】
ここでαは範囲指定の定数であり、推定誤差の分散、すなわち標準偏差の何倍かを指定している。推定誤差の分散が正規分布と見なせるならばα＝1で推定値の84％がこの範囲に入り、α＝2で推定値の約98％がこの範囲に入る。推定値の絶対値が大きくなる方向にブレるのを抑える目的で、この発明では式（３７）に示すように推定値を補正する。
【００７６】
【数２３】
【００７７】
音響経路のインパルス応答は一般的に指数減衰特性を持つため、音源が白色信号の場合に、その収音信号の相関関数の真値が式（３８）のように凡そ指数減衰で近似できると想定すれば、補正関数は式（３９）で表せる。
【００７８】
【数２４】
【００７９】
ここでTは相関関数の推定に使用したサンプル数であり、Cは式（４０）で与えられる定数である。
【００８０】
【数２５】
【００８１】
αの値としては１前後〜３を使用することが考えられる。また、Cの値としては１前後の値を使用することが考えられる。
【００８２】
また、補正関数としてより簡略化された関数である式（４１）を用いることも考えられる。
【００８３】
【数２６】
【００８４】
補正された相関関数（式（３９）、式（４１））を用いて逆フィルタ係数を計算することにより、目的音源から逆フィルタ出力までのインパルス応答の残響曲線について、残響曲線の後部の減衰が大きくなり、最終出力信号に含まれる後部残響を減らすことが出来る。
【実施例１】
【００８５】
図１に、この発明の残響除去装置１００の機能構成例を示す。図２にその動作フローを示す。残響除去装置１００は、白色化フィルタ係数計算部９０と、白色化フィルタ９１1〜９１Nと、相関関数計算部９２と、逆フィルタ係数群計算部２０と、逆フィルタ群処理部３０と、最終逆フィルタ係数算出部４０と、最終逆フィルタ部５０と、を備える。白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nと相関関数計算部９２とは、従来の残響除去装置９００と同じものである。その各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００８６】
残響除去装置１００は、従来の残響除去装置９００に対して、逆フィルタ係数として相関行列に掛けると音源と最も近接するマイクロホンのチャネルについては遅延０〜D（D≧１）のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算部２０と、そのD+1本の逆フィルタ係数群を相関関数計算に用いたNチャネルの白色化信号x1(k)〜xN(k)に適用する逆フィルタ群処理部３０と、逆フィルタ群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出部４０と、その最終逆フィルタ係数をNチャネル収音信号に適用する最終逆フィルタ５０と、を備える点で異なる。
【００８７】
白色化フィルタ係数計算部９０は、Ｎ個のマイクロホン１1〜１Nで収音されたＮチャネル収音信号u1(k)〜uN(k)から、収音信号のスペクトルをフラットにする白色化フィルタ係数を計算する（ステップＳ９０）。
【００８８】
白色化フィルタ係数の計算方法としては、指定区間でのP次線形予測自乗誤差の総和（式（４２））を最小にする線形予測計数a(1)〜a（P）を求め、白色化フィルタ係数として式（４３）を求める方法がある。
【００８９】
【数２７】
【００９０】
それには、式（４４）として式（４５）を解いて線形予測係数a(1)〜a（P）を求めれば良い。
【００９１】
【数２８】
【００９２】
また、特許文献１に開示された方法を用いて白色化フィルタ係数を求めても良い。
【００９３】
Nチャネルに対応する白色化フィルタ９１1〜９１Nは、収音信号u1(k)〜uN(k)に白色化フィルタ係数を畳み込み、白色化された信号x1(k)〜xN(k)を得る（式（４６）、ステップＳ９１）。
【００９４】
【数２９】
【００９５】
相関関数計算部９２は、白色化信号x1(k)〜xN(k)間の相関関数を式（４７）で計算する（ステップＳ９２）。
【００９６】
【数３０】
【００９７】
逆フィルタ係数群計算部２０は、相関関数rij(τ)を用いて多チャネル相関行列Rを計算する。式（２９）を解いて逆フィルタ係数ベクトルc(0),…,c(D)(D≧1)を求める（ステップＳ２０）。
【００９８】
なお、相関行列Rの行列式が小さな値となる場合、数値計算上の誤差等のために、その解の値は不安定になる。それを防止する目的で相関行列Rの代わりに式（４８）を用いて、逆フィルタ係数ベクトルを求めても良い。
【００９９】
【数３１】
【０１００】
ここでλは行列正則化のための微小値であり、Iは行列Rと同じ大きさを持つ単位行列である。
【０１０１】
逆フィルタ群処理部３０は、Ｎチャネルの白色化信号x1(k)〜xN(k)に逆フィルタ係数ベクトルを適用して信号y(0)(k),…,y(D)(k)を得る（ステップＳ３０）。
【０１０２】
最終逆フィルタ係数算出部４０は、信号y(0)(k),…,y(D)(k)から最終逆フィルタ係数を算出する（ステップＳ４０）。最終逆フィルタ係数算出部４０は、式（４９）を解いて結合係数b(1)〜b（D）を求め、最終逆フィルタ係数cを求める。
【０１０３】
【数３２】
【０１０４】
そして最終逆フィルタ係数cを式（５１）で算出する。そして縦ベクトルcを式（５２）に示すようにN個に分割する。
【０１０５】
【数３３】
【０１０６】
分割された各縦ベクトルの要素を式（５３）とする。これが最終逆フィルタ係数の要素である。
【０１０７】
【数３４】
【０１０８】
最終逆フィルタ部５０は、残響除去信号y(k)を式（５４）で求める（ステップＳ５０）。
【０１０９】
【数３５】
【０１１０】
なお、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略することが出来る。図３に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略した残響除去装置１００′の機能構成例を示す。
【０１１１】
つまり、この発明の残響除去方法は、Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算過程と、相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延０〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算過程と、逆フィルタ係数群を相関関数計算に用いたNチャネル収音信号に適用する逆フィルタ群処理過程と、逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出過程と、最終逆フィルタ係数をNチャネル収音信号に適用する最終逆フィルタ処理過程と、を備えることで残響除去性能を向上させることが出来る。
【０１１２】
〔関連例〕
図４に、この発明に関連する残響除去装置２００の機能構成例を示す。その動作フローを図５に示す。残響除去装置２００は、白色化フィルタ係数計算部９０と、白色化フィルタ９１1〜９１Nと、相関関数計算部９２と、相関関数補正部１０と、逆フィルタ係数計算部９３と、逆フィルタ部９４を備える。
【０１１３】
残響除去装置２００は、従来技術で説明した残響除去装置９００に対して相関関数補正部１０を備える点で異なる。白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nと相関関数計算部９２の動作については実施例１で説明済みであるので省略する。
【０１１４】
相関関数補正部１０は、上記した式（３９）若しくは簡略化した式（４１）の補正関数f(τ)を用いて相関関数を補正した補正相関関数qij(τ)を求める。
【０１１５】
【数３６】
【０１１６】
逆フィルタ係数計算部９３と逆フィルタ９４の動作説明は、従来技術で説明済みであるので省略する。なお、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合には、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略することが出来る。図６に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略した残響除去装置２００′機能構成例を示す。
【０１１７】
つまり、この残響除去方法は、Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算過程と相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正過程と、補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する逆フィルタ係数計算過程と、逆フィルタ係数をNチャネル収音信号に適用して残響除去信号を生成する逆フィルタ過程と、を備えることで、残響特性の後半の減衰量を増やして後部残響を小さくすることが出来る。
【０１１８】
図７に、残響除去装置２００′で推定した目的音源から逆フィルタ出力までの全体のインパルス応答の残響特性を示す。その残響特性を求めるシミュレーション条件は下記の通りとした。目的音源２は白色雑音とし、収音信号u1(k),u2(k)は残響時間１７０msの部屋で標本化周波数１６kHzで実測したインパルス応答を２０００タップで打ち切って使用した。収音信号は２チャネルとした。逆フィルタのフィルタ長は１５００タップに設定した。相関関数を算出するときには、２０秒の収音信号を使用し、相関関数の補正関数f(τ)には式（４１）を用い半減期が３００msになるように設定した。
【０１１９】
図７の横軸は時間［ms］、縦軸は減衰量［dB］である。従来の残響除去方法で得た残響特性を破線、この発明を実線で示す。従来の残響除去方法は、初期残響を１０dB以上効果的に抑えているが、後部の残響の減衰は穏やかである。一方、この発明の残響除去方法によれば、残響曲線は一定の傾向で減衰し、１４０ms時点では従来法よりも約２０dB多く残響が減衰している。このように、この発明の残響除去方法は後部残響を効果的に抑えることが出来る。
【実施例２】
【０１２０】
図８に、この発明の残響除去装置３００の機能構成例を示す。残響除去装置３００は、上記した残響除去装置１００の機能構成に相関関数補正部１０の構成を追加したものである。また、逆フィルタ係数群計算部６０が補正相関関数q ij(τ)から逆フィルタ係数群を計算する点で異なる。
【０１２１】
相関関数補正部１０を追加することで、ラグτの大きい相関関数の推定値の推定誤差が小さくなるため、より良い逆フィルタ係数ベクトルを求めることが可能になる。相関関数補正部１０は実施例１と同じであり、逆フィルタ係数群計算部２０は実施例１と同じである。よって、その説明は省略する。
【０１２２】
また、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合に、白色化フィルタ係数計算部９０と白色化フィルタ９１1〜９１Nを省略することが出来るのは、残響除去装置１００と同じである。図９に、白色化フィルタ係数計算部と白色化フィルタ９１1〜９１Nを省略した残響除去装置３００′の機能構成例を示す。
【０１２３】
図１０に、残響除去装置３００′と残響除去装置２００′で求めた残響特性を示す。シミュレーションの条件は上記した図７と同じである。残響除去装置３００′で求めた残響特性を実線で、残響除去装置２００′で求めた残響特性を破線で示す。残響除去装置３００′ではD=5を使用した。残響除去装置３００′の方が、初期の減衰量が約３dB大きい。又、１０〜５０msの範囲においてより減衰量が大きく残響除去装置３００′の方が効果的に後部残響を減じていることが分かる。このように、この発明の残響除去方法は、後部残響を従来法よりも効果的に抑圧することを可能にする。
なお、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【０１２４】
また、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１２５】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１２６】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１２７】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【特許請求の範囲】
【請求項１】
Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算過程と、
上記相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延０〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算過程と、
上記逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用する逆フィルタ群処理過程と、
上記逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出過程と、
上記最終逆フィルタ係数を上記Nチャネル収音信号に適用する最終逆フィルタ処理過程と、
を備える残響除去方法。
【請求項２】
請求項１に記載した残響除去方法において、
更に、
上記相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正過程を含み、
上記逆フィルタ係数群計算過程は、上記補正相関関数から相関行列を生成して逆フィルタ係数群を算出する過程であることを特徴とする残響除去方法。
【請求項３】
請求項２に記載した残響除去方法において、
上記単調減少となる関数は、推定誤差の分散の平方根値を分散の真値で除した値に比例定数を乗じて１を加えた値の逆数で表されることを特徴とする残響除去方法。
【請求項４】
請求項２に記載した残響除去方法において、
上記単調減少となる関数ｆ(τ)は、
【数３７】
αは範囲指定の定数、τはラグ、Tは相関関数の推定に使用したサンプル数、
であることを特徴とする残響除去方法。
【請求項５】
請求項２に記載した残響除去方法において、
上記単調減少となる関数ｆ(τ)は、
【数３８】
τはラグ、であることを特徴とする残響除去方法。
【請求項６】
請求項１乃至５の何れかに記載した残響除去方法において、
更に、
上記Nチャネル（Nは２以上の自然数）収音信号を白色化する白色化フィルタ係数計算過程と、
上記Nチャネル収音信号に上記白色化フィルタ係数を適用する白色化フィルタ過程と、
を備え上記相関関数計算過程は、Nチャネルの白色化フィルタ出力信号の相関関数を計算する過程であることを特徴とする残響除去方法。
【請求項７】
請求項６に記載した残響除去方法において、
上記白色化フィルタ係数計算過程は、上記Nチャネル収音信号u1(k)〜uk（k）について指定区間でのP次線形予測自乗誤差の総和
【数３９】
を最小にする線形予測計数a(1)〜a（P）,（P≧1）を求め白色化フィルタ処理において次式
【数４０】
により白色化された信号x1(k)〜xN(k)を得ることを特徴とする残響除去方法。
【請求項８】
Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算部と、
上記相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延０〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算部と、
上記逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用する逆フィルタ群処理部と、
上記逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出部と、
上記最終逆フィルタ係数を上記Nチャネル収音信号に適用する最終逆フィルタ処理部と、
を備える残響除去装置。
【請求項９】
請求項８に記載した残響除去装置において、
更に、
上記相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正部を備え、
上記逆フィルタ係数群計算部は、上記補正相関関数から相関行列を生成して逆フィルタ係数群を算出するものであることを特徴とする残響除去装置。
【請求項１０】
請求項１乃至７の何れかに記載した残響除去方法をコンピュータに実行させるためのプログラム。
【請求項１】
Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算過程と、
上記相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延０〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算過程と、
上記逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用する逆フィルタ群処理過程と、
上記逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出過程と、
上記最終逆フィルタ係数を上記Nチャネル収音信号に適用する最終逆フィルタ処理過程と、
を備える残響除去方法。
【請求項２】
請求項１に記載した残響除去方法において、
更に、
上記相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正過程を含み、
上記逆フィルタ係数群計算過程は、上記補正相関関数から相関行列を生成して逆フィルタ係数群を算出する過程であることを特徴とする残響除去方法。
【請求項３】
請求項２に記載した残響除去方法において、
上記単調減少となる関数は、推定誤差の分散の平方根値を分散の真値で除した値に比例定数を乗じて１を加えた値の逆数で表されることを特徴とする残響除去方法。
【請求項４】
請求項２に記載した残響除去方法において、
上記単調減少となる関数ｆ(τ)は、
【数３７】
αは範囲指定の定数、τはラグ、Tは相関関数の推定に使用したサンプル数、
であることを特徴とする残響除去方法。
【請求項５】
請求項２に記載した残響除去方法において、
上記単調減少となる関数ｆ(τ)は、
【数３８】
τはラグ、であることを特徴とする残響除去方法。
【請求項６】
請求項１乃至５の何れかに記載した残響除去方法において、
更に、
上記Nチャネル（Nは２以上の自然数）収音信号を白色化する白色化フィルタ係数計算過程と、
上記Nチャネル収音信号に上記白色化フィルタ係数を適用する白色化フィルタ過程と、
を備え上記相関関数計算過程は、Nチャネルの白色化フィルタ出力信号の相関関数を計算する過程であることを特徴とする残響除去方法。
【請求項７】
請求項６に記載した残響除去方法において、
上記白色化フィルタ係数計算過程は、上記Nチャネル収音信号u1(k)〜uk（k）について指定区間でのP次線形予測自乗誤差の総和
【数３９】
を最小にする線形予測計数a(1)〜a（P）,（P≧1）を求め白色化フィルタ処理において次式
【数４０】
により白色化された信号x1(k)〜xN(k)を得ることを特徴とする残響除去方法。
【請求項８】
Nチャネル（Nは２以上の自然数）収音信号の信号間の相関関数を計算する相関関数計算部と、
上記相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延０〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算部と、
上記逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用する逆フィルタ群処理部と、
上記逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出部と、
上記最終逆フィルタ係数を上記Nチャネル収音信号に適用する最終逆フィルタ処理部と、
を備える残響除去装置。
【請求項９】
請求項８に記載した残響除去装置において、
更に、
上記相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正部を備え、
上記逆フィルタ係数群計算部は、上記補正相関関数から相関行列を生成して逆フィルタ係数群を算出するものであることを特徴とする残響除去装置。
【請求項１０】
請求項１乃至７の何れかに記載した残響除去方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−４８１３４（Ｐ２０１２−４８１３４Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１９２４１９（Ｐ２０１０−１９２４１９）
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]