音響信号処理装置、音響信号処理方法、及びコンピュータプログラム
【課題】 推定された音源方向の信頼度を得ることが可能な音響信号処理装置、音響信号処理方法、及びコンピュータプログラムを提供する。
【解決手段】
音響信号処理装置１は、２つのマイクロホン２，２と、マイクロホン２，２に各別に接続された増幅器３，３と、増幅器３，３のそれぞれに接続されたＡ／Ｄ変換器４，４と、Ａ／Ｄ変換器４，４に接続されたＣＰＵ５と、ＣＰＵ５に接続されたＲＯＭ５１及びＲＡＭ５２とを備える。ＣＰＵ５１は、Ａ／Ｄ変換された音響信号をフレーム化し、フレーム化した音響信号から音空間特徴量を取得し、音空間特徴量に基づいて、対象音響の音源方向を推定し、音空間特徴量の３次以上の高次統計量を取得することにより音源方向の信頼度を推定する。
【解決手段】
音響信号処理装置１は、２つのマイクロホン２，２と、マイクロホン２，２に各別に接続された増幅器３，３と、増幅器３，３のそれぞれに接続されたＡ／Ｄ変換器４，４と、Ａ／Ｄ変換器４，４に接続されたＣＰＵ５と、ＣＰＵ５に接続されたＲＯＭ５１及びＲＡＭ５２とを備える。ＣＰＵ５１は、Ａ／Ｄ変換された音響信号をフレーム化し、フレーム化した音響信号から音空間特徴量を取得し、音空間特徴量に基づいて、対象音響の音源方向を推定し、音空間特徴量の３次以上の高次統計量を取得することにより音源方向の信頼度を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観測された音響信号から推定された音源方向の信頼性を推定する音響信号処理装置及び音響信号処理方法、並びにコンピュータに音源方向の信頼性を推定させるためのコンピュータプログラムに関する。
【背景技術】
【０００２】
音源方向は、多チャネル音響信号処理において重要な情報である。従来、音源方向は種々の方法により推定され、例えば複数音源の分離、雑音除去、残響除去、及び音声区間検出等の音響処理技術において利用されている。
【０００３】
実環境には多種多様な雑音源及び残響が存在し、それらが時々刻々と変化する。これらの外乱は、観測信号に不要な歪みを与え、音源方向推定に用いる音空間特徴量を歪ませることにより、音源方向の推定精度を低下させる。このような理由により、音源方向を正確に推定することは困難である。そこで、観測信号から雑音成分を除去して音源方向を推定する方法（非特許文献１参照）、対象信号（音源方向の推定対象である音響信号）の特徴又は雑音の特徴を利用して、音響の空間的な特徴を示す情報である音空間特徴量の耐雑音性を高め、音源方向を推定する方法（非特許文献２，３参照）等、実環境において高精度に音源方向を推定可能な方法が開発されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】S. F. Boll, "Suppression ofacoustic noise in speech using spectral subtraction," IEEE Trans. Acoust.,Speech, and Signal Process., vol. 27, no. 2, pp. 113-120, 1979.
【非特許文献２】M. Brandstein, "On the useof explicit speech modeling in microphone array applications," Proc. Intl.Conf. on Acoust., Speech, and Signal Process. (ICASSP'98), pp. 613-616, 1998.
【非特許文献３】M. Mizumachi and K. Niyada,"DOA Estimation Based on Cross-Correlation with FrequencySelectivity," RISP Journal of Signal Process., Vol. 11, No. 1, pp. 43-50,2007.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、これらの従来の音源方向推定方法は、対象信号又は雑音について何らかの事前知識を必要とするという制約がある。例えば、非特許文献１及び３に開示されている方法にあっては、雑音のパワースペクトルが事前に既知であるか、推定可能である必要がある。また、非特許文献２に開示されている方法にあっては、対象信号を音声とする必要があり、しかも音声の基本周波数（声の高さに対応する物理量）が既知又は推定可能である必要がある。したがって、このような事前知識を取得できる環境でなければ、高精度に音源方向を推定することはできない。このように、推定した音源方向が正しい場合もあれば正しくない場合もあるため、従来の方法により推定した音源方向を利用して複数音源の分離、雑音除去、残響除去、及び音声区間検出等の音響処理を行うときには、間違った方向を音源方向としてしまい、適切な処理結果を得ることができない場合があった。
【０００６】
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、推定された音源方向の信頼度を得ることが可能な音響信号処理装置、音響信号処理方法、及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の一の態様の音響信号処理装置は、音源から発せられた対象音響を含む音響を捕捉して当該音響を示す音響信号を出力する複数のマイクロホンと、前記複数のマイクロホンから出力された音響信号に基づいて、前記音響の空間における特徴に関する音空間特徴量を取得する音空間特徴量取得手段と、前記音空間特徴量取得手段により取得された音空間特徴量に基づいて、前記対象音響の音源方向を推定する音源方向推定手段と、前記音空間特徴量取得手段により取得された音空間特徴量の３次以上の高次統計量を取得する高次統計量取得手段と、前記高次統計量取得手段により取得された高次統計量に基づいて、前記音源方向推定手段により推定された音源方向の信頼度を推定する信頼度推定手段と、を備える。
【０００８】
この態様においては、前記高次統計量取得手段が、前記空間における前記音空間特徴量の分布状態を示すグラフにおける尖度を示す前記高次統計量を取得するように構成されていることが好ましい。
【０００９】
また、上記態様においては、前記音空間特徴量取得手段が、前記音響において雑音の影響が少ないと推定される周波数を取得し、当該取得した周波数を中心としたバンドパスフィルタによって帯域制限を行った音響信号から音空間特徴量を抽出するように構成されていることが好ましい。
【００１０】
また、上記態様においては、前記音空間特徴量取得手段が、前記マイクロホンから経時的に出力された音響信号を所定時間毎にフレーム化し、前記帯域制限を行った音響信号から抽出した音空間特徴量を尤度として用い、隣り合うフレーム間における音源方向の変化を示す音空間特徴量の動特性モデルに基づくパーティクルフィルタを用いて、対象フレームの１時刻前のフレームにおける音空間特徴量の状態から対象フレームの音空間特徴量を推定するように構成されていることが好ましい。
【００１１】
また、上記態様においては、前記音空間特徴量取得手段が、同一の重さを有する複数の粒子を空間内に一様に配置する初期粒子分布設定手段と、式（１）によって示される動特性モデルにしたがって、式（２）によって示される重さ｛ｗｋ（ｌ）｝ｌ＝１Ｍを有する粒子｛Θｋ（ｌ）｝ｌ＝１Ｍを生成することにより、時刻ｋにおける粒子の事前分布を取得する事前分布取得手段と、前記事前分布取得手段によって取得された事前分布における粒子を、重さが所定値以上のものはその重さに応じた数に分割し、重さが所定値未満のものは０とすることにより、時刻ｋにおける音空間特徴量を推定する音空間特徴量推定手段と、を具備することが好ましい。
【数１】
但し、ｘｋは時刻ｋにおける音響信号を、Θｋは時刻ｋにおける真の音源方向を、νｋは時刻ｋにおける平均０で分散σ２のガウス分布に従う雑音を、Ｎはガウス分布を、ｌは粒子番号を、Ｍは粒子数を示す。
【００１２】
また、上記態様においては、前記高次統計量取得手段が、音空間特徴量として重みｗ（ｌ）についての高次統計量を取得するように構成されていることが好ましい。
【００１３】
また、上記態様においては、前記高次統計量取得手段が、音空間特徴量ｗ（ｌ）について、式（３）に示される高次統計量Skewnessを取得するように構成されていることが好ましい。
【数２】
【００１４】
また、上記態様においては、前記高次統計量取得手段が、音空間特徴量ｗ（ｌ）について、式（４）に示される高次統計量Kurtosisを取得するように構成されていることが好ましい。
【数３】
【００１５】
また、本発明の一の態様の音響信号処理方法は、複数のマイクロホンにより、音源から発せられた対象音響を含む音響を捕捉して当該音響を示す音響信号へ変換するステップと、変換された音響信号に基づいて、前記音響の空間における特徴に関する音空間特徴量を取得するステップと、取得された音空間特徴量に基づいて、前記対象音響の音源方向を推定するステップと、前記音空間特徴量の３次以上の高次統計量を取得するステップと、取得された高次統計量に基づいて、推定された音源方向の信頼度を推定するステップと、を有する。
【００１６】
また、本発明の一の態様のコンピュータプログラムは、音源から発せられた対象音響を含む音響を捕捉して当該音響を示す音響信号へ変換する複数のマイクロホンに接続されたＣＰＵに、前記複数のマイクロホンから出力された音響信号を処理させるためのコンピュータプログラムであって、前記複数のマイクロホンから出力された音響信号に基づいて、前記音響の空間における特徴に関する音空間特徴量を取得するステップと、取得された音空間特徴量に基づいて、前記対象音響の音源方向を推定するステップと、前記音空間特徴量の３次以上の高次統計量を取得するステップと、取得された高次統計量に基づいて、推定された音源方向の信頼度を推定するステップと、を前記ＣＰＵに実行させる。
【発明の効果】
【００１７】
本発明に係る音響信号処理装置、音響信号処理方法、及びコンピュータプログラムによれば、推定された音源方向の信頼度を得ることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】実施の形態１に係る音響信号処理装置の構成を示すブロック図。
【図２】実施の形態１に係る音響信号処理装置の音響信号処理の流れを示すフローチャート。
【図３】実施の形態１に係る音源方向推定処理の手順を示すフローチャート。
【図４】音空間特徴量と音源方向推定値との関係を示すグラフ。
【図５】実施の形態３に係る音響信号処理装置の音響信号処理の流れを示すフローチャート。
【図６】拡散性雑音が存在する環境下における音源方向推定結果及び関連情報を示すグラフ。
【図７】方向性雑音が存在する環境下における音源方向推定結果及び関連情報を示すグラフ。
【図８】拡散性雑音が存在する環境下での各フレームにおけるＥＳＳ、波高率、歪度、及び尖度の計算結果を示すグラフ。
【図９】方向性雑音が存在する環境下での各フレームにおけるＥＳＳ、波高率、歪度、及び尖度の計算結果を示すグラフ。
【発明を実施するための形態】
【００１９】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
【００２０】
（実施の形態１）
図１は、本実施の形態に係る音響信号処理装置の構成を示すブロック図である。図１に示すように、音響信号処理装置１は、２つのマイクロホン２，２と、マイクロホン２，２に各別に接続された増幅器３，３と、増幅器３，３のそれぞれに接続されたＡ／Ｄ変換器４，４と、Ａ／Ｄ変換器４，４に接続されたＣＰＵ５と、ＣＰＵ５に接続されたＲＯＭ５１及びＲＡＭ５２とを備えている。
【００２１】
２つのマイクロホン２，２は、互いに１０ｃｍの距離を隔てて配置されている。これらのマイクロホン２，２は、周囲の音響を捕捉し、これに応じた電気信号である音響信号を出力する。マイクロホン２，２の周囲には、話者又はスピーカ装置等の音源６が発した音響（対象音響）並びに雑音及び残響等が生じており、マイクロホン２，２はこれらを含む音響を捕捉する。
【００２２】
増幅器３，３には、マイクロホン２，２から出力された音響信号が各別に与えられる。増幅器３，３は、それぞれ与えられた音響信号を所定の増幅率により増幅し、増幅した音響信号を出力する。
【００２３】
Ａ／Ｄ変換器４，４には、増幅器３，３から出力された増幅後の音響信号が各別に与えられる。Ａ／Ｄ変換器４，４は、アナログ信号である音響信号をデジタル信号へ変換し、変換後の音響データを内蔵するレジスタに格納する。
【００２４】
ＣＰＵ５は、ＲＯＭ５１に格納されたコンピュータプログラムを実行することが可能である。そして、音響信号処理用のコンピュータプログラム５１ａを当該ＣＰＵ５が実行することにより、ＣＰＵ５がＡ／Ｄ変換器４，４のレジスタに記憶された音響データを読み出し、後述するようなデータ処理を行う。
【００２５】
ＲＯＭ５１は、マスクＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、又はＥＥＰＲＯＭ等によって構成されており、ＣＰＵ５に実行されるコンピュータプログラム及びこれに用いるデータ等が記録されている。すなわち、ＣＰＵ５に後述する音響信号処理を実行させるためのコンピュータプログラム５１ａと、その実行において使用されるデータ５１ｂとがＲＯＭ５１に記憶されている。このデータ５１ｂには、後述する雑音モデルが含まれる。
【００２６】
ＲＡＭ５２は、ＳＲＡＭまたはＤＲＡＭ等によって構成されている。ＲＡＭ５２は、ＣＰＵ５がコンピュータプログラムを実行するときに、ＣＰＵ５の作業領域として利用される。
【００２７】
次に、本実施の形態に係る音響信号処理装置１の動作について説明する。音響信号処理装置１を起動すると、ＣＰＵ５がＲＯＭ５１に記憶されているコンピュータプログラム５１ａを実行する。このとき、雑音モデルがＲＯＭ５１からＲＡＭ５２へロードされる。この状態において、音響信号処理装置１は次のように動作する。
【００２８】
図２は、本実施の形態に係る音響信号処理装置１の音響信号処理の流れを示すフローチャートである。マイクロホン２，２が捕捉した音響は、音響信号へ変換され、マイクロホン２，２から出力される。アナログ信号である音響信号は、増幅器３，３によりそれぞれ増幅され、増幅された音響信号がＡ／Ｄ変換器４，４によりデジタル信号へと変換され、変換後の音響データがＡ／Ｄ変換器４，４に内蔵されるレジスタに記憶される。かかる動作は所定のサンプリング周波数により繰り返し実行される。
【００２９】
ＣＰＵ５は、Ａ／Ｄ変換器４，４のレジスタから音響データを読み出し、サンプリング周波数により切り出された音響信号をフレーム化する（ステップＳ１）。次に、ＣＰＵ５は、音響信号をフーリエ変換し（ステップＳ２）、フーリエ変換後のデータにより、音響信号中に対象信号、即ち音源６が発した対象音響を示す信号が存在するか否かを判定する（ステップＳ３）。この処理では、対象信号のエネルギー密度はノイズ成分に比べて高いと考えられることから、エネルギー密度が突出して高い周波数がデータ中に存在するか否かを判定することにより行われる。
【００３０】
ステップＳ３において対象信号が存在しない場合には（ステップＳ３においてＮＯ）、そのフレームの音響信号は雑音のみを含んでいると考えられる。ここで、実環境に存在する雑音のうち、定常な雑音成分については、その周波数特徴は対象信号が存在しない区間で観測した平均の長時間平均パワースペクトルとして得ることができる。そこで、音響信号中に対象信号が存在しない場合には、ＣＰＵ５は当該フレームの音響信号によりＲＡＭ５２の雑音モデルを更新し（ステップＳ４）、処理をステップＳ１へ移す。
【００３１】
雑音モデルは、次式（５）により与えられる。
【数４】
ここで、演算子Ｆ（・）はフーリエ変換を、演算子｜・｜２はパワースペクトルの演算を表し、雑音モデルは時刻ｋ１から時刻ｋ２までのパワースペクトルの平均値として与えられる。
【００３２】
ステップＳ３において対象信号が存在する場合には（ステップＳ３においてＹＥＳ）、周波数領域において音響信号（対象信号と雑音との混合信号）とＲＡＭ５２の雑音モデルとの差分を求めることにより、対象信号が優勢な周波数を推定する（ステップＳ５）。これにより、最も雑音の影響を受けていないと考えられる、即ちＳＮ比の高い周波数を得ることができる。
【００３３】
次にＣＰＵ５は、ステップＳ５において推定した周波数を中心とした所定帯域幅のバンドパスフィルタに音響信号を通すことにより、音響信号の狭帯域幅信号を抽出する（ステップＳ６）。このように、音響信号より雑音の影響が少ない帯域における信号を抽出することにより、音空間特徴量の耐雑音性を向上させることが可能になる。なお、ここでは、マイクロホン２，２によって捕捉される雑音は時々刻々変化するため、そのパワースペクトルを厳密に推定することは困難であると考えられることから、音響信号と雑音モデルとの差分ではなく、Ａ／Ｄ変換器４，４から読み出した音響信号に対してバンドパスフィルタを適用している。
【００３４】
次に、ＣＰＵ５は、音源方向推定処理を実行する（ステップＳ７）。定常雑音環境下において雑音モデルは有効であるが、たとえ対象信号が優勢である周波数においても、音空間特徴量には多かれ少なかれ雑音による歪みが生じる。そこで本実施の形態においては、音源モデルの導入により、更なる音空間特徴量の耐雑音性向上を図っている。対象信号を音声信号とすると、その周波数特徴は時変であり、周波数特徴の統計的性質も個人性の影響により一意に定めることは困難である。そこで、音源の時間的動きに着目する。つまり、音響信号を短時間フレームで切り出し、フレーム間での音源の動きをモデル化する。ここでは、物体の運動を記述するモデルとして最も汎用性が高いランダムウォークモデル（式（６））を採用する。
【数５】
ここで、Θｋは時刻ｋでの真の音源方向を表し、νｋは平均０で分散σ２のガウス分布に従う雑音である。式（６）は、物体が時間的に滑らかに移動することを表しており、分散σ２が小さいほど滑らかな移動軌跡を描くことを意味している。例えば、対象物体が自動車又はロケットの場合、等速運動又は等加速度運動として音源モデルを記述することが望ましい。対象音源が人の場合、フレーム長を数十ミリ秒と短く設定することにより、ランダムウォークモデルで音源の時間的移動を記述することは妥当である。
【００３５】
ここで、音源の動特性モデルと雑音の周波数特徴モデルを組み合わせて音源方向推定を実現する手法について説明する。まず、時系列フィルタリングを考えるため、音源方向Θと観測信号（音響信号）ｘの時刻ｋまでの時系列を以下のように表記する。
【数６】
音空間特徴量としては、２つの観測信号間の相互相関（C. H. Knapp and
G. C. Carter, "The generalized correlation method for estimation of time
delay," IEEE Trans. Acoust., Speech, Signal Process., Vol. 24, pp.
320-327, 1976.）、及び音源数が既知の場合にはMUSIC法（R. O. Schmidt, "Multiple emitter location and signal parameter
estimation," IEEE Trans. Antennas Propagation, Vol. 34, No. 3, pp.
276-280, 1986.）がよく用いられる。ここでは、音空間特徴量を相互相関法に基づき計算する。但し、音空間特徴量ｐ（Θ｜ｘ）を尤度ｐ（ｘ｜Θ）（値域は［０，１］となる必要がある）として用いるために、相互相関値（値域は［−１，１］）を半波整流したものを採用する。
【００３６】
このとき、１時刻前の音空間特徴量の事後確率ｐ（Θ１：ｋ−１｜ｘ１：ｋ−１）と時刻ｋでの尤度ｐ（ｘｋ｜Θｋ）と式（６）に示した音源の動きを記述したシステムモデルｐ（Θｋ｜Θｋ−１）を用いて、次式（８）に示す状態推定により、時刻１から時刻ｋまでを考慮した音空間特徴量の事後確率ｐ（Θ１：ｋ｜ｘ１：ｋ）を得ることができる。
【数７】
【００３７】
式（８）の状態推定は、プロポーザル分布としてシステムモデルを用いるブートストラップフィルタ（A. Doucet, J. F. G. de Freitas, and N. J. Gordon, Sequential Monte
Carlo Methods in Practice, Springer-Verlag, New York, 2001.）によるものである。現実の問題では、状態推定の際に非線形・非ガウス型の尤度を用いるため、式（８）を解析的に解くことはできない。そこで、本実施の形態においては、任意の確率分布を重み付き粒子の集合として表現するパーティクルフィルタを用いて状態推定を行う。パーティクルフィルタは、１期先予測と重みの更新、粒子の再分配（リサンプリング）を各時刻で行う。パーティクルフィルタによる状態推定と、それにより事後分布として推定される音空間特徴量を用いた音源方向推定アルゴリズムの具体的な手順を以下に示す。
【００３８】
図３は、本実施の形態に係る音源方向推定処理の手順を示すフローチャートである。まず、ＣＰＵ５は、粒子分布の予測及び重みの更新を行う（ステップＳ７１）。この処理において、処理対象のフレームが最初のフレームである場合には、音源方向が未知であるため、１次元空間［−９０ｄｅｇ．，９０ｄｅｇ．］に一様に粒子｛Θ０（ｌ）｝ｌ＝１Ｍを配置する。ここで、ｌは粒子番号、Ｍは粒子数を表す。初期フレームにおいては、粒子はすべて等しい重み｛ｗ０（ｌ）｝ｌ＝１Ｍ＝１／Ｍを持つものとする。一方、処理対象のフレームが２つめの以降のフレームである場合には、ＣＰＵ５は、式（６）に示したシステムモデルにしたがって生成した粒子｛Θｋ（ｌ）｝ｌ＝１Ｍにより、時刻ｋにおける粒子の事前分布を式（９）のように推定する。
【数８】
また、式（１０）に示すように、各粒子の重み｛ｗｋ（ｌ）｝ｌ＝１Ｍは、尤度ｐ（ｘｋ｜Θｋ）にしたがって更新される。
【数９】
ここで、尤度は、雑音モデルを用いて推定した優勢な周波数において帯域制限された相互相関関数の半波整流値として計算される。
【００３９】
次にＣＰＵ５は、各粒子が等しい重みを持つように、粒子を再分配（リサンプリング）する（ステップＳ７２）。この処理では、所定値以上の重さを有する粒子はその重さに比例した数に分割され、所定値未満の重さを有する粒子は削除される。つまり、粒子の再分配により、大きな重みを持つ粒子は多数の粒子へ分割され、小さな重みを持つ粒子は消滅してしまう。リサンプリングされた重み付き粒子の集合は、次時刻におけるプロポーザル分布として利用される。またＣＰＵ５は、重み付き粒子の集合から、音空間特徴量を再構築（推定）する（ステップＳ７３）。この音空間特徴量は、雑音モデルと音源モデルの両者を考慮して推定したものであるため、雑音による歪みは大幅に低減されているものと期待できる。
【００４０】
図４は、音空間特徴量と音源方向推定値との関係を示すグラフである。図４において、縦軸は音空間特徴量の大きさとされ、横軸は角度とされている。音空間特徴量は、図４に示すように、観測信号から得られる音源方向の確率分布に比例するものと考えることができる。そこでＣＰＵ５は、次式（１１）にしたがって、時刻ｋにおける音源方向Θｋを、音空間特徴量ｐ（Θｋ｜ｘｋ）の最大値を与えるΘとして推定する（ステップＳ７４）。その後ＣＰＵ５は、処理をメインルーチンにおける音源方向推定処理の呼び出しアドレスへリターンする。
【数１０】
【００４１】
次にＣＰＵ５は、ステップＳ７において推定された音源方向の信頼度を推定する（ステップＳ８）。以下、この処理について詳細に説明する。まず、有効サンプル数に基づいた2次統計量と音源方向推定値の信頼度との関係について説明する。なお、ここでいう有効サンプル数とは、パーティクルフィルタにおいてリサンプリングの必要性を判断するために提案された尺度をいう（J. S. Liu and R. Chen, "Blind deconvolution via sequential
imputations," J. Amer. Stat. Assoc., vol. 90, pp. 567-576, 1995.）。
【００４２】
有効サンプル数ＥＳＳは、Ｍ個の粒子の重み｛ｗ（ｌ）｝ｌ＝１Ｍを用いて以下のように定義される。
【数１１】
式（１２）は、１次元空間における粒子の集中度を表している。つまり、粒子がある方向に集中していればＥＳＳは大きな値をとり、粒子が分散していればＥＳＳは小さな値をとる。音源方向推定問題では、音空間特徴量が単峰性であり、しかも主ローブが鋭いほど望ましい。したがって、ＥＳＳが大きいほど音源方向推定値の信頼性は高いと考えられる。
【００４３】
実際に、本願発明者は、拡散性雑音（雑音源方向が明確でない場合）に対しては、ＥＳＳにより音源方向推定値の信頼度を推定できることを確認した（M. Mizumachi and K. Niyada, "Robust direction-of-arrival
estimation by particle filtering with confidence measure based on effective
sample size under noisy environments," Proc. Joint 4th Intl. Conf. on Soft
Computing and Intelligent Systems and 9th Intl. Sympo. on advanced Intelligent
Systems (SCIS&ISIS 2008), CD-ROM, 2008.を参照。）。しかし、方向性雑音（雑音源が鋭い指向性を持つ場合）には、ＥＳＳでは音源方向推定値の信頼度を推定することができないこともわかった。一般には、方向性雑音が存在すると、音空間特徴量は目的音源方向と雑音源方向に２つの極大値を有する。本実施の形態における推定方法により推定された、耐雑音性を向上させた音空間特徴量を用いると、雑音源方向のピークは相対的に小さくなるはずであるが、雑音源方向にも多少の粒子が分配されている可能性がある。式（１２）で定められるＥＳＳは、全ての粒子の重みを評価するため、本来評価すべき目的音源方向付近に存在する粒子の重みのみならず、音源方向推定結果とは無関係な雑音源方向に分配された粒子の重みの影響を受ける。したがって、方向性雑音環境下では、ＥＳＳによる音源方向推定値の信頼度推定は望ましくない。
【００４４】
そこで本実施の形態においては、３次以上の高次統計量を用いて音源方向推定値の信頼度を推定する。３次統計量としては、次式（１３）で示される３次モーメント（３乗の期待値）である歪度（Skewness）を利用する。つまり、ＣＰＵ５は歪度を音源方向推定値の信頼度として算出する。
【数１２】
ここで、ｗｒｍｓは全粒子の重みの実効値であり、ｗｍｅａｎは、全粒子の重みの平均値であり、それぞれ以下に示される。
【数１３】
【００４５】
歪度は、分布の非対称性を表す尺度であり、分布が対称であるほど０に近い値をとる。音源方向推定問題では、拡散性雑音環境下では雑音があらゆる方向から到来するため、本来は目的音源方向に集中しているべき粒子が、目的音源方向を中心に対称に分散している可能性がある。従って、歪度が低い場合には、拡散性雑音の存在により音空間特徴量に歪みが生じている可能性が疑われる。また、歪度は、音空間特徴量の尖度を示す指標ということもできる。このように、音空間特徴量の尖度を示す指標を用いれば、粒子が真の目的音源方向近傍にどの程度集中しているのかがわかるという理由により音源方向推定値の信頼度を高精度に推定することが可能と考えられる。
【００４６】
ＣＰＵ５は、上記のステップＳ８の処理を終了すると、ステップＳ１へと処理を戻す。
【００４７】
ＣＰＵ５は、このようにして得られた音源方向の推定値とその信頼度とを、図示しない表示部に表示することができる。また、これと共に、又はこれに代えて、音源方向の推定値及びその信頼度をそれぞれデータとして音響信号処理装置１の外部へ出力することもできる。
【００４８】
また、ＣＰＵ５は、推定した音源方向を他のアプリケーションに用いることもできる。例えば、複数音源の分離、雑音除去、残響除去、及び音声区間検出等の音響処理技術に利用することができる。ここで、推定された信頼度を所定の基準値と比較して、信頼度が基準値以上の場合には推定された音源方向を前記アプリケーションに利用し、信頼度が基準値未満の場合には推定された音源方向を前記アプリケーションに利用しないことができる。また、信頼度が基準値以上の場合には推定された音源方向を中心とした狭い範囲の音響信号を抽出して、抽出された音響信号を前記アプリケーションに利用し、信頼度が基準値未満の場合には推定された音源方向を中心とした広い範囲の音響信号を抽出したり、又は音響信号の観測方向制限を施さずに、その音響信号を前記アプリケーションに利用することができる。このようにすることにより、間違った方向を音源方向としてしまうことが抑制され、従来に比してより適切な処理結果を得ることが期待できる。
【００４９】
（実施の形態２）
本実施の形態においては、音源方向の信頼度の推定処理において、３次以上の高次統計量として、次式（１４）で示される４次モーメント（４乗の期待値）である尖度（Kurtosis）を利用する。つまり、ＣＰＵ５は尖度を音源方向推定値の信頼度として算出する。
【数１４】
【００５０】
尖度は、分布の集中度を表す統計量であるため、音空間特徴量の単峰性を評価するために適した尺度として期待できる。式（１２）で定義したＥＳＳも粒子の分布度合いを知るために提案された指標であるが、尖度は４次モーメントであるため、つまりＥＳＳよりも次数が高いため分布の集中度をより強調することが可能である。
【００５１】
本実施の形態に係る音響信号処理装置のその他の構成及び動作については、実施の形態１に係る音響信号処理装置１の構成及び動作と同様であるため、その説明を省略する。
【００５２】
（実施の形態３）
本実施の形態に係る音響信号処理装置の構成は、実施の形態１に係る音響信号処理装置１の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【００５３】
本実施の形態に係る音響信号処理装置の動作について説明する。図５は、本実施の形態に係る音響信号処理装置の音響信号処理の流れを示すフローチャートである。まず、マイクロホン２，２が捕捉した音響は、音響信号へ変換され、マイクロホン２，２から出力される。アナログ信号である音響信号は、増幅器３，３によりそれぞれ増幅され、増幅された音響信号がＡ／Ｄ変換器４，４によりデジタル信号へと変換され、変換後の音響データがＡ／Ｄ変換器４，４に内蔵されるレジスタに記憶される。かかる動作は所定のサンプリング周波数により繰り返し実行される。
【００５４】
ＣＰＵ５は、Ａ／Ｄ変換器４，４のレジスタから音響データ（音響信号）を読み出す（ステップＳ３０１）。対象音源ｓ（ｔ）がΘ方向に存在するとき、２つの異なる位置で観測された音響信号ｘ（ｔ）≡（ｘ１（ｔ），ｘ２（ｔ））は以下の式（１５）のように表すことができる。
【数１５】
ここで、ｈ１（ｔ）及びｈ２（ｔ）は対象音源からそれぞれの観測点（マイクロホン２，２）までのインパルス応答であり、ｎ１（ｔ）及びｎ２（ｔ）
はそれぞれの観測点における雑音であり、対象信号ｓ（ｔ）がそれぞれの観測点に到来するまでの時間差τ＝τ１−τ２は音源方向Θに応じて変化する。音源方向を１次元方向に限定すれば、τは音源方向Θと１対１に対応する。つまり、音源方向推定問題は、音響信号ｘ（ｔ）に内在する信号到来時間差τを推定する問題とみなすことができる。
【００５５】
次に、ＣＰＵ５は、観測信号ｘ（ｔ）から音空間特徴量ｐ（Θ｜ｘ） を計算する（ステップＳ３０２）。音空間特徴量 は、観測信号ｘ（ｔ）から得られる音源方向Θの確率分布に比例するものと考えることができる（図４参照）。本実施の形態においては、音空間特徴量として、２つの観測信号間の相互相関を採用する。この他にも、音源数が既知の場合には、MUSIC法を用いて音空間特徴量を求めるてもよい。
【００５６】
次に、ＣＰＵ５は、次式（１６）にしたがって、音空間特徴量ｐ（Θ｜ｘ）の最大値を与えるΘとして音源方向Θを推定する（ステップＳ３０３）。
【数１６】
【００５７】
次にＣＰＵ５は、ステップＳ３０３において推定された音源方向の信頼度を推定する（ステップＳ３０４）。この処理においては、音源方向の信頼度として、音空間特徴量ｐ（Θ｜ｘ）の歪度（Skewness）が算出される。なお、音源方向の信頼度として、音空間特徴量ｐ（Θ｜ｘ）の尖度（Kurtosis）を算出する構成であってもよい。
【００５８】
かかる構成とすることにより、音源方向の推定値の信頼度を簡易に得ることが可能となる。
【００５９】
（評価実験）
本願発明者は、上記の実施の形態１及び２に係る音響信号処理方法における音源方向推定値の信頼度評価尺度の妥当性を検証するため、拡散性雑音及び方向性雑音環境下での音源方向推定結果と各信頼度評価尺度の振る舞いとの関係を調査する実験を行った。以下、この実験結果について説明する。
【００６０】
対象信号は、ＴＩ−ｄｉｇｉｔ音声データベースより抜粋した女性による数字読み上げ音声であり、防音室内でスピーカより放射し、間隔１０ｃｍで配置した２つのマイクロホンで再収録したものである。対象音源は、連続的かつ滑らかに移動するものとした。雑音はホワイトノイズとし、拡散性雑音としては２つのマイクロホンでの観測信号間で無相関なホワイトノイズを対象信号へそれぞれ加算し、方向性雑音としては−１５°方向に配置したスピーカから放射されたホワイトノイズを２つのマイクロホンで観測したものとした。
【００６１】
音源方向推定に必要なパラメータとして、粒子数は５００で固定し、式（６）のシステムノイズの分散σ２はそれぞれの雑音環境下で最適なものを設定した。
【００６２】
図６は、拡散性雑音が存在する環境下における音源方向推定結果及び関連情報を示すグラフであり、図７は、方向性雑音が存在する環境下における音源方向推定結果及び関連情報を示すグラフである。各図の上段には、音源方向の推定結果を示すグラフを示している。これらの上段のグラフには、各フレームにおいて、真の音源方向を○印で、実施の形態３の方法で推定した音源方向を＋印で、実施の形態１の方法で推定した音源方向を実線で示している。図６及び図７のそれぞれの中段には、実施の形態１の方法による音源方向推定誤差として、真の音源方向（○印）と音源方向推定値（実線）との差分を示している。図６及び図７のそれぞれの下段には、各フレームにおける信号対雑音比を示している。信号対雑音比は値が小さいほど雑音のエネルギーが相対的に大きいことを意味する。本実験においては、拡散性雑音が存在する環境下（以下、「拡散性雑音環境下」という。）及び方向性雑音が存在する環境下（以下、「方向性雑音環境下」という。）のそれぞれにおいて、音源方向を推定し、推定した音源方向の信頼度として、各フレームにおけるＥＳＳ、波高率（Crest factor）、歪度（Skewness）、尖度（Kurtosis）を算出した。図８は、図６に対応しており、拡散性雑音環境下での各フレームにおけるＥＳＳ、波高率（Crest factor）、歪度（Skewness）、尖度（Kurtosis）の計算結果を示している。図９は、図７に対応しており、方向性雑音環境下での各フレームにおけるＥＳＳ、波高率（Crest factor）、歪度（Skewness）、尖度（Kurtosis）の計算結果を示している。
【００６３】
ここで、波高率について説明する。波高率（Crest factor; CF）は、次式（１７）で示される音空間特徴量の最大ピーク付近での粒子に着目した２次統計量であり、実効値に対する最大値の比である。
【数１７】
ここで、ｗ（ｍａｘ）は全粒子のうち重みが最大の粒子の重みである。
【００６４】
図６及び図７に示すように、拡散性雑音環境下及び方向性雑音環境下の両方共、フレーム番号１０〜２０の間、つまり音源方向の角度が大きい領域において推定した音源方向の真の音源方向からの誤差が大きくなっている。
【００６５】
図８に示すように、拡散性雑音環境下では、４つの音源方向推定結果の信頼性評価尺度（信頼度推定値）が同様に振る舞っている。即ち、全ての尺度において、フレーム番号１０〜１５の範囲で数値が落ち込んでいる。フレーム番号１０〜１５の範囲は上記の誤差が大きい領域に含まれていることから、図８の結果はどの尺度も誤差が大きい領域において信頼度が低いという推定結果が出ていることを示しており、何れの尺度においても正しく信頼性推定が働いていることがわかる。各信頼性評価尺度をより詳細に比較すると、３次及び４次統計量である歪度と尖度については、信頼度のダイナミックレンジが大きい（落ち込みの度合が大きい）ことがわかる。つまり、音空間特徴量の信頼性評価尺度としては、４つの尺度のすべてを利用できるが、３次以上の高次統計量を用いること望ましい。
【００６６】
一方、方向性雑音環境下では、図９に示すように、２次統計量であるＥＳＳ及び波高率に対して、３次以上の統計量である歪度と尖度は、まったく異なる振る舞いを示していることがわかる。即ち、ＥＳＳ及び波高率については、フレーム番号１０〜１３の範囲において数値が突出しており、歪度及び尖度については、フレーム番号１１〜１５において数値が落ち込んでいる。これらの範囲は何れも上記の誤差が大きい領域に含まれていることから、図９の結果はＥＳＳ及び波高率については誤差が大きい領域において信頼度が高いという間違った推定結果が出ており、歪度及び尖度については誤差が大きい領域において信頼度が低いという正しい推定結果が出ていることを示している。つまり、２次統計量（ＥＳＳ及び波高率）は信頼度推定に失敗している。特定方向から到来する雑音源に対しては、音空間特徴量を近似した全粒子のばらつき度合いを表現したＥＳＳ及び最大ピークに着目した波高率は、雑音の影響を強く受けて、本来評価すべき目的音源方向付近での粒子の集中度を表現できていないと推察される。これに対し、３次以上の統計量である歪度と尖度は、方向性雑音環境下でも拡散性雑音環境下とほぼ同様に、音源方向推定結果の信頼度を正しく推定できている。以上より、音源方向推定結果の信頼性評価尺度としては、３次以上の高次統計量に基づいたものを利用することが望ましいことがわかる。
【００６７】
（その他の実施の形態）
なお、上述した実施の形態１〜３においては、音空間特徴量の３次又は４次の統計量を音源方向の信頼度とする構成について述べたが、これらに限定されるものではない。５次又は６次等、３次以上の統計量であればその次数は問わない。
【００６８】
また、上述した実施の形態１〜３においては、音空間特徴量の３次以上の統計量を音源方向の信頼度として算出する構成について述べたが、これに限定されるものではない。音空間特徴量の３次以上の統計量を正規化するなど、前記統計量そのものではなく、前記統計量を適宜加工することにより得られる数値を音源方向の信頼度とする構成であってもよい。但し、この音源方向の信頼度は、前記統計量の増減に対応して増減する数値である必要がある。
【００６９】
また、上述した実施の形態１及び２においては、バンドパスフィルタにより、雑音の影響が少ない帯域に音響信号の帯域制限を行った後、音空間特徴量を算出する構成について述べたが、これに限定されるものではない。バンドパスフィルタによる帯域制限を行っていない音響信号から音空間特徴量を導出してもよい。
【００７０】
また、上述した実施の形態１及び２においては、Ａ／Ｄ変換器４，４から読み出した音響信号に対してバンドパスフィルタを適用し、帯域制限を行う構成について述べたが、これに限定されるものではない。雑音のパワースペクトルが既知であるか、推定できる場合には、音響信号と雑音モデルとの差分に対してバンドパスフィルタを適用し、前記差分に対して帯域制限を行うことが、より雑音の影響を排除できる点で好ましい。
【００７１】
また、上述した実施の形態１〜３においては、ＣＰＵ５がコンピュータプログラム５１ａを実行することにより音響信号処理を行う構成について述べたが、これに限定されるものではない。同等の処理を行える構成であれば、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）により、コンピュータプログラムを実行することなく、そのハードウェア自体によって、音響信号処理を実行する構成としてもよいし、汎用のパーソナルコンピュータが備えるハードディスクに音響信号処理用のコンピュータプログラムをインストールし、当該パーソナルコンピュータのＣＰＵが前記コンピュータプログラムを実行することにより、同等の音響信号処理を実行する構成としてもよい。
【産業上の利用可能性】
【００７２】
本発明の音響信号処理装置、音響信号処理方法、及びコンピュータプログラムは、観測された音響信号から推定された音源方向の信頼性を推定する音響信号処理装置及び音響信号処理方法、並びにコンピュータに音源方向の信頼性を推定させるためのコンピュータプログラムとして有用である。
【符号の説明】
【００７３】
１ 音響信号処理装置
２ マイクロホン
３ 増幅器
４ 変換器
５ ＣＰＵ
６ 音源
５１ ＲＯＭ
５１ａ コンピュータプログラム
５１ｂ データ
５２ ＲＡＭ
【技術分野】
【０００１】
本発明は、観測された音響信号から推定された音源方向の信頼性を推定する音響信号処理装置及び音響信号処理方法、並びにコンピュータに音源方向の信頼性を推定させるためのコンピュータプログラムに関する。
【背景技術】
【０００２】
音源方向は、多チャネル音響信号処理において重要な情報である。従来、音源方向は種々の方法により推定され、例えば複数音源の分離、雑音除去、残響除去、及び音声区間検出等の音響処理技術において利用されている。
【０００３】
実環境には多種多様な雑音源及び残響が存在し、それらが時々刻々と変化する。これらの外乱は、観測信号に不要な歪みを与え、音源方向推定に用いる音空間特徴量を歪ませることにより、音源方向の推定精度を低下させる。このような理由により、音源方向を正確に推定することは困難である。そこで、観測信号から雑音成分を除去して音源方向を推定する方法（非特許文献１参照）、対象信号（音源方向の推定対象である音響信号）の特徴又は雑音の特徴を利用して、音響の空間的な特徴を示す情報である音空間特徴量の耐雑音性を高め、音源方向を推定する方法（非特許文献２，３参照）等、実環境において高精度に音源方向を推定可能な方法が開発されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】S. F. Boll, "Suppression ofacoustic noise in speech using spectral subtraction," IEEE Trans. Acoust.,Speech, and Signal Process., vol. 27, no. 2, pp. 113-120, 1979.
【非特許文献２】M. Brandstein, "On the useof explicit speech modeling in microphone array applications," Proc. Intl.Conf. on Acoust., Speech, and Signal Process. (ICASSP'98), pp. 613-616, 1998.
【非特許文献３】M. Mizumachi and K. Niyada,"DOA Estimation Based on Cross-Correlation with FrequencySelectivity," RISP Journal of Signal Process., Vol. 11, No. 1, pp. 43-50,2007.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、これらの従来の音源方向推定方法は、対象信号又は雑音について何らかの事前知識を必要とするという制約がある。例えば、非特許文献１及び３に開示されている方法にあっては、雑音のパワースペクトルが事前に既知であるか、推定可能である必要がある。また、非特許文献２に開示されている方法にあっては、対象信号を音声とする必要があり、しかも音声の基本周波数（声の高さに対応する物理量）が既知又は推定可能である必要がある。したがって、このような事前知識を取得できる環境でなければ、高精度に音源方向を推定することはできない。このように、推定した音源方向が正しい場合もあれば正しくない場合もあるため、従来の方法により推定した音源方向を利用して複数音源の分離、雑音除去、残響除去、及び音声区間検出等の音響処理を行うときには、間違った方向を音源方向としてしまい、適切な処理結果を得ることができない場合があった。
【０００６】
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、推定された音源方向の信頼度を得ることが可能な音響信号処理装置、音響信号処理方法、及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の一の態様の音響信号処理装置は、音源から発せられた対象音響を含む音響を捕捉して当該音響を示す音響信号を出力する複数のマイクロホンと、前記複数のマイクロホンから出力された音響信号に基づいて、前記音響の空間における特徴に関する音空間特徴量を取得する音空間特徴量取得手段と、前記音空間特徴量取得手段により取得された音空間特徴量に基づいて、前記対象音響の音源方向を推定する音源方向推定手段と、前記音空間特徴量取得手段により取得された音空間特徴量の３次以上の高次統計量を取得する高次統計量取得手段と、前記高次統計量取得手段により取得された高次統計量に基づいて、前記音源方向推定手段により推定された音源方向の信頼度を推定する信頼度推定手段と、を備える。
【０００８】
この態様においては、前記高次統計量取得手段が、前記空間における前記音空間特徴量の分布状態を示すグラフにおける尖度を示す前記高次統計量を取得するように構成されていることが好ましい。
【０００９】
また、上記態様においては、前記音空間特徴量取得手段が、前記音響において雑音の影響が少ないと推定される周波数を取得し、当該取得した周波数を中心としたバンドパスフィルタによって帯域制限を行った音響信号から音空間特徴量を抽出するように構成されていることが好ましい。
【００１０】
また、上記態様においては、前記音空間特徴量取得手段が、前記マイクロホンから経時的に出力された音響信号を所定時間毎にフレーム化し、前記帯域制限を行った音響信号から抽出した音空間特徴量を尤度として用い、隣り合うフレーム間における音源方向の変化を示す音空間特徴量の動特性モデルに基づくパーティクルフィルタを用いて、対象フレームの１時刻前のフレームにおける音空間特徴量の状態から対象フレームの音空間特徴量を推定するように構成されていることが好ましい。
【００１１】
また、上記態様においては、前記音空間特徴量取得手段が、同一の重さを有する複数の粒子を空間内に一様に配置する初期粒子分布設定手段と、式（１）によって示される動特性モデルにしたがって、式（２）によって示される重さ｛ｗｋ（ｌ）｝ｌ＝１Ｍを有する粒子｛Θｋ（ｌ）｝ｌ＝１Ｍを生成することにより、時刻ｋにおける粒子の事前分布を取得する事前分布取得手段と、前記事前分布取得手段によって取得された事前分布における粒子を、重さが所定値以上のものはその重さに応じた数に分割し、重さが所定値未満のものは０とすることにより、時刻ｋにおける音空間特徴量を推定する音空間特徴量推定手段と、を具備することが好ましい。
【数１】
但し、ｘｋは時刻ｋにおける音響信号を、Θｋは時刻ｋにおける真の音源方向を、νｋは時刻ｋにおける平均０で分散σ２のガウス分布に従う雑音を、Ｎはガウス分布を、ｌは粒子番号を、Ｍは粒子数を示す。
【００１２】
また、上記態様においては、前記高次統計量取得手段が、音空間特徴量として重みｗ（ｌ）についての高次統計量を取得するように構成されていることが好ましい。
【００１３】
また、上記態様においては、前記高次統計量取得手段が、音空間特徴量ｗ（ｌ）について、式（３）に示される高次統計量Skewnessを取得するように構成されていることが好ましい。
【数２】
【００１４】
また、上記態様においては、前記高次統計量取得手段が、音空間特徴量ｗ（ｌ）について、式（４）に示される高次統計量Kurtosisを取得するように構成されていることが好ましい。
【数３】
【００１５】
また、本発明の一の態様の音響信号処理方法は、複数のマイクロホンにより、音源から発せられた対象音響を含む音響を捕捉して当該音響を示す音響信号へ変換するステップと、変換された音響信号に基づいて、前記音響の空間における特徴に関する音空間特徴量を取得するステップと、取得された音空間特徴量に基づいて、前記対象音響の音源方向を推定するステップと、前記音空間特徴量の３次以上の高次統計量を取得するステップと、取得された高次統計量に基づいて、推定された音源方向の信頼度を推定するステップと、を有する。
【００１６】
また、本発明の一の態様のコンピュータプログラムは、音源から発せられた対象音響を含む音響を捕捉して当該音響を示す音響信号へ変換する複数のマイクロホンに接続されたＣＰＵに、前記複数のマイクロホンから出力された音響信号を処理させるためのコンピュータプログラムであって、前記複数のマイクロホンから出力された音響信号に基づいて、前記音響の空間における特徴に関する音空間特徴量を取得するステップと、取得された音空間特徴量に基づいて、前記対象音響の音源方向を推定するステップと、前記音空間特徴量の３次以上の高次統計量を取得するステップと、取得された高次統計量に基づいて、推定された音源方向の信頼度を推定するステップと、を前記ＣＰＵに実行させる。
【発明の効果】
【００１７】
本発明に係る音響信号処理装置、音響信号処理方法、及びコンピュータプログラムによれば、推定された音源方向の信頼度を得ることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】実施の形態１に係る音響信号処理装置の構成を示すブロック図。
【図２】実施の形態１に係る音響信号処理装置の音響信号処理の流れを示すフローチャート。
【図３】実施の形態１に係る音源方向推定処理の手順を示すフローチャート。
【図４】音空間特徴量と音源方向推定値との関係を示すグラフ。
【図５】実施の形態３に係る音響信号処理装置の音響信号処理の流れを示すフローチャート。
【図６】拡散性雑音が存在する環境下における音源方向推定結果及び関連情報を示すグラフ。
【図７】方向性雑音が存在する環境下における音源方向推定結果及び関連情報を示すグラフ。
【図８】拡散性雑音が存在する環境下での各フレームにおけるＥＳＳ、波高率、歪度、及び尖度の計算結果を示すグラフ。
【図９】方向性雑音が存在する環境下での各フレームにおけるＥＳＳ、波高率、歪度、及び尖度の計算結果を示すグラフ。
【発明を実施するための形態】
【００１９】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
【００２０】
（実施の形態１）
図１は、本実施の形態に係る音響信号処理装置の構成を示すブロック図である。図１に示すように、音響信号処理装置１は、２つのマイクロホン２，２と、マイクロホン２，２に各別に接続された増幅器３，３と、増幅器３，３のそれぞれに接続されたＡ／Ｄ変換器４，４と、Ａ／Ｄ変換器４，４に接続されたＣＰＵ５と、ＣＰＵ５に接続されたＲＯＭ５１及びＲＡＭ５２とを備えている。
【００２１】
２つのマイクロホン２，２は、互いに１０ｃｍの距離を隔てて配置されている。これらのマイクロホン２，２は、周囲の音響を捕捉し、これに応じた電気信号である音響信号を出力する。マイクロホン２，２の周囲には、話者又はスピーカ装置等の音源６が発した音響（対象音響）並びに雑音及び残響等が生じており、マイクロホン２，２はこれらを含む音響を捕捉する。
【００２２】
増幅器３，３には、マイクロホン２，２から出力された音響信号が各別に与えられる。増幅器３，３は、それぞれ与えられた音響信号を所定の増幅率により増幅し、増幅した音響信号を出力する。
【００２３】
Ａ／Ｄ変換器４，４には、増幅器３，３から出力された増幅後の音響信号が各別に与えられる。Ａ／Ｄ変換器４，４は、アナログ信号である音響信号をデジタル信号へ変換し、変換後の音響データを内蔵するレジスタに格納する。
【００２４】
ＣＰＵ５は、ＲＯＭ５１に格納されたコンピュータプログラムを実行することが可能である。そして、音響信号処理用のコンピュータプログラム５１ａを当該ＣＰＵ５が実行することにより、ＣＰＵ５がＡ／Ｄ変換器４，４のレジスタに記憶された音響データを読み出し、後述するようなデータ処理を行う。
【００２５】
ＲＯＭ５１は、マスクＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、又はＥＥＰＲＯＭ等によって構成されており、ＣＰＵ５に実行されるコンピュータプログラム及びこれに用いるデータ等が記録されている。すなわち、ＣＰＵ５に後述する音響信号処理を実行させるためのコンピュータプログラム５１ａと、その実行において使用されるデータ５１ｂとがＲＯＭ５１に記憶されている。このデータ５１ｂには、後述する雑音モデルが含まれる。
【００２６】
ＲＡＭ５２は、ＳＲＡＭまたはＤＲＡＭ等によって構成されている。ＲＡＭ５２は、ＣＰＵ５がコンピュータプログラムを実行するときに、ＣＰＵ５の作業領域として利用される。
【００２７】
次に、本実施の形態に係る音響信号処理装置１の動作について説明する。音響信号処理装置１を起動すると、ＣＰＵ５がＲＯＭ５１に記憶されているコンピュータプログラム５１ａを実行する。このとき、雑音モデルがＲＯＭ５１からＲＡＭ５２へロードされる。この状態において、音響信号処理装置１は次のように動作する。
【００２８】
図２は、本実施の形態に係る音響信号処理装置１の音響信号処理の流れを示すフローチャートである。マイクロホン２，２が捕捉した音響は、音響信号へ変換され、マイクロホン２，２から出力される。アナログ信号である音響信号は、増幅器３，３によりそれぞれ増幅され、増幅された音響信号がＡ／Ｄ変換器４，４によりデジタル信号へと変換され、変換後の音響データがＡ／Ｄ変換器４，４に内蔵されるレジスタに記憶される。かかる動作は所定のサンプリング周波数により繰り返し実行される。
【００２９】
ＣＰＵ５は、Ａ／Ｄ変換器４，４のレジスタから音響データを読み出し、サンプリング周波数により切り出された音響信号をフレーム化する（ステップＳ１）。次に、ＣＰＵ５は、音響信号をフーリエ変換し（ステップＳ２）、フーリエ変換後のデータにより、音響信号中に対象信号、即ち音源６が発した対象音響を示す信号が存在するか否かを判定する（ステップＳ３）。この処理では、対象信号のエネルギー密度はノイズ成分に比べて高いと考えられることから、エネルギー密度が突出して高い周波数がデータ中に存在するか否かを判定することにより行われる。
【００３０】
ステップＳ３において対象信号が存在しない場合には（ステップＳ３においてＮＯ）、そのフレームの音響信号は雑音のみを含んでいると考えられる。ここで、実環境に存在する雑音のうち、定常な雑音成分については、その周波数特徴は対象信号が存在しない区間で観測した平均の長時間平均パワースペクトルとして得ることができる。そこで、音響信号中に対象信号が存在しない場合には、ＣＰＵ５は当該フレームの音響信号によりＲＡＭ５２の雑音モデルを更新し（ステップＳ４）、処理をステップＳ１へ移す。
【００３１】
雑音モデルは、次式（５）により与えられる。
【数４】
ここで、演算子Ｆ（・）はフーリエ変換を、演算子｜・｜２はパワースペクトルの演算を表し、雑音モデルは時刻ｋ１から時刻ｋ２までのパワースペクトルの平均値として与えられる。
【００３２】
ステップＳ３において対象信号が存在する場合には（ステップＳ３においてＹＥＳ）、周波数領域において音響信号（対象信号と雑音との混合信号）とＲＡＭ５２の雑音モデルとの差分を求めることにより、対象信号が優勢な周波数を推定する（ステップＳ５）。これにより、最も雑音の影響を受けていないと考えられる、即ちＳＮ比の高い周波数を得ることができる。
【００３３】
次にＣＰＵ５は、ステップＳ５において推定した周波数を中心とした所定帯域幅のバンドパスフィルタに音響信号を通すことにより、音響信号の狭帯域幅信号を抽出する（ステップＳ６）。このように、音響信号より雑音の影響が少ない帯域における信号を抽出することにより、音空間特徴量の耐雑音性を向上させることが可能になる。なお、ここでは、マイクロホン２，２によって捕捉される雑音は時々刻々変化するため、そのパワースペクトルを厳密に推定することは困難であると考えられることから、音響信号と雑音モデルとの差分ではなく、Ａ／Ｄ変換器４，４から読み出した音響信号に対してバンドパスフィルタを適用している。
【００３４】
次に、ＣＰＵ５は、音源方向推定処理を実行する（ステップＳ７）。定常雑音環境下において雑音モデルは有効であるが、たとえ対象信号が優勢である周波数においても、音空間特徴量には多かれ少なかれ雑音による歪みが生じる。そこで本実施の形態においては、音源モデルの導入により、更なる音空間特徴量の耐雑音性向上を図っている。対象信号を音声信号とすると、その周波数特徴は時変であり、周波数特徴の統計的性質も個人性の影響により一意に定めることは困難である。そこで、音源の時間的動きに着目する。つまり、音響信号を短時間フレームで切り出し、フレーム間での音源の動きをモデル化する。ここでは、物体の運動を記述するモデルとして最も汎用性が高いランダムウォークモデル（式（６））を採用する。
【数５】
ここで、Θｋは時刻ｋでの真の音源方向を表し、νｋは平均０で分散σ２のガウス分布に従う雑音である。式（６）は、物体が時間的に滑らかに移動することを表しており、分散σ２が小さいほど滑らかな移動軌跡を描くことを意味している。例えば、対象物体が自動車又はロケットの場合、等速運動又は等加速度運動として音源モデルを記述することが望ましい。対象音源が人の場合、フレーム長を数十ミリ秒と短く設定することにより、ランダムウォークモデルで音源の時間的移動を記述することは妥当である。
【００３５】
ここで、音源の動特性モデルと雑音の周波数特徴モデルを組み合わせて音源方向推定を実現する手法について説明する。まず、時系列フィルタリングを考えるため、音源方向Θと観測信号（音響信号）ｘの時刻ｋまでの時系列を以下のように表記する。
【数６】
音空間特徴量としては、２つの観測信号間の相互相関（C. H. Knapp and
G. C. Carter, "The generalized correlation method for estimation of time
delay," IEEE Trans. Acoust., Speech, Signal Process., Vol. 24, pp.
320-327, 1976.）、及び音源数が既知の場合にはMUSIC法（R. O. Schmidt, "Multiple emitter location and signal parameter
estimation," IEEE Trans. Antennas Propagation, Vol. 34, No. 3, pp.
276-280, 1986.）がよく用いられる。ここでは、音空間特徴量を相互相関法に基づき計算する。但し、音空間特徴量ｐ（Θ｜ｘ）を尤度ｐ（ｘ｜Θ）（値域は［０，１］となる必要がある）として用いるために、相互相関値（値域は［−１，１］）を半波整流したものを採用する。
【００３６】
このとき、１時刻前の音空間特徴量の事後確率ｐ（Θ１：ｋ−１｜ｘ１：ｋ−１）と時刻ｋでの尤度ｐ（ｘｋ｜Θｋ）と式（６）に示した音源の動きを記述したシステムモデルｐ（Θｋ｜Θｋ−１）を用いて、次式（８）に示す状態推定により、時刻１から時刻ｋまでを考慮した音空間特徴量の事後確率ｐ（Θ１：ｋ｜ｘ１：ｋ）を得ることができる。
【数７】
【００３７】
式（８）の状態推定は、プロポーザル分布としてシステムモデルを用いるブートストラップフィルタ（A. Doucet, J. F. G. de Freitas, and N. J. Gordon, Sequential Monte
Carlo Methods in Practice, Springer-Verlag, New York, 2001.）によるものである。現実の問題では、状態推定の際に非線形・非ガウス型の尤度を用いるため、式（８）を解析的に解くことはできない。そこで、本実施の形態においては、任意の確率分布を重み付き粒子の集合として表現するパーティクルフィルタを用いて状態推定を行う。パーティクルフィルタは、１期先予測と重みの更新、粒子の再分配（リサンプリング）を各時刻で行う。パーティクルフィルタによる状態推定と、それにより事後分布として推定される音空間特徴量を用いた音源方向推定アルゴリズムの具体的な手順を以下に示す。
【００３８】
図３は、本実施の形態に係る音源方向推定処理の手順を示すフローチャートである。まず、ＣＰＵ５は、粒子分布の予測及び重みの更新を行う（ステップＳ７１）。この処理において、処理対象のフレームが最初のフレームである場合には、音源方向が未知であるため、１次元空間［−９０ｄｅｇ．，９０ｄｅｇ．］に一様に粒子｛Θ０（ｌ）｝ｌ＝１Ｍを配置する。ここで、ｌは粒子番号、Ｍは粒子数を表す。初期フレームにおいては、粒子はすべて等しい重み｛ｗ０（ｌ）｝ｌ＝１Ｍ＝１／Ｍを持つものとする。一方、処理対象のフレームが２つめの以降のフレームである場合には、ＣＰＵ５は、式（６）に示したシステムモデルにしたがって生成した粒子｛Θｋ（ｌ）｝ｌ＝１Ｍにより、時刻ｋにおける粒子の事前分布を式（９）のように推定する。
【数８】
また、式（１０）に示すように、各粒子の重み｛ｗｋ（ｌ）｝ｌ＝１Ｍは、尤度ｐ（ｘｋ｜Θｋ）にしたがって更新される。
【数９】
ここで、尤度は、雑音モデルを用いて推定した優勢な周波数において帯域制限された相互相関関数の半波整流値として計算される。
【００３９】
次にＣＰＵ５は、各粒子が等しい重みを持つように、粒子を再分配（リサンプリング）する（ステップＳ７２）。この処理では、所定値以上の重さを有する粒子はその重さに比例した数に分割され、所定値未満の重さを有する粒子は削除される。つまり、粒子の再分配により、大きな重みを持つ粒子は多数の粒子へ分割され、小さな重みを持つ粒子は消滅してしまう。リサンプリングされた重み付き粒子の集合は、次時刻におけるプロポーザル分布として利用される。またＣＰＵ５は、重み付き粒子の集合から、音空間特徴量を再構築（推定）する（ステップＳ７３）。この音空間特徴量は、雑音モデルと音源モデルの両者を考慮して推定したものであるため、雑音による歪みは大幅に低減されているものと期待できる。
【００４０】
図４は、音空間特徴量と音源方向推定値との関係を示すグラフである。図４において、縦軸は音空間特徴量の大きさとされ、横軸は角度とされている。音空間特徴量は、図４に示すように、観測信号から得られる音源方向の確率分布に比例するものと考えることができる。そこでＣＰＵ５は、次式（１１）にしたがって、時刻ｋにおける音源方向Θｋを、音空間特徴量ｐ（Θｋ｜ｘｋ）の最大値を与えるΘとして推定する（ステップＳ７４）。その後ＣＰＵ５は、処理をメインルーチンにおける音源方向推定処理の呼び出しアドレスへリターンする。
【数１０】
【００４１】
次にＣＰＵ５は、ステップＳ７において推定された音源方向の信頼度を推定する（ステップＳ８）。以下、この処理について詳細に説明する。まず、有効サンプル数に基づいた2次統計量と音源方向推定値の信頼度との関係について説明する。なお、ここでいう有効サンプル数とは、パーティクルフィルタにおいてリサンプリングの必要性を判断するために提案された尺度をいう（J. S. Liu and R. Chen, "Blind deconvolution via sequential
imputations," J. Amer. Stat. Assoc., vol. 90, pp. 567-576, 1995.）。
【００４２】
有効サンプル数ＥＳＳは、Ｍ個の粒子の重み｛ｗ（ｌ）｝ｌ＝１Ｍを用いて以下のように定義される。
【数１１】
式（１２）は、１次元空間における粒子の集中度を表している。つまり、粒子がある方向に集中していればＥＳＳは大きな値をとり、粒子が分散していればＥＳＳは小さな値をとる。音源方向推定問題では、音空間特徴量が単峰性であり、しかも主ローブが鋭いほど望ましい。したがって、ＥＳＳが大きいほど音源方向推定値の信頼性は高いと考えられる。
【００４３】
実際に、本願発明者は、拡散性雑音（雑音源方向が明確でない場合）に対しては、ＥＳＳにより音源方向推定値の信頼度を推定できることを確認した（M. Mizumachi and K. Niyada, "Robust direction-of-arrival
estimation by particle filtering with confidence measure based on effective
sample size under noisy environments," Proc. Joint 4th Intl. Conf. on Soft
Computing and Intelligent Systems and 9th Intl. Sympo. on advanced Intelligent
Systems (SCIS&ISIS 2008), CD-ROM, 2008.を参照。）。しかし、方向性雑音（雑音源が鋭い指向性を持つ場合）には、ＥＳＳでは音源方向推定値の信頼度を推定することができないこともわかった。一般には、方向性雑音が存在すると、音空間特徴量は目的音源方向と雑音源方向に２つの極大値を有する。本実施の形態における推定方法により推定された、耐雑音性を向上させた音空間特徴量を用いると、雑音源方向のピークは相対的に小さくなるはずであるが、雑音源方向にも多少の粒子が分配されている可能性がある。式（１２）で定められるＥＳＳは、全ての粒子の重みを評価するため、本来評価すべき目的音源方向付近に存在する粒子の重みのみならず、音源方向推定結果とは無関係な雑音源方向に分配された粒子の重みの影響を受ける。したがって、方向性雑音環境下では、ＥＳＳによる音源方向推定値の信頼度推定は望ましくない。
【００４４】
そこで本実施の形態においては、３次以上の高次統計量を用いて音源方向推定値の信頼度を推定する。３次統計量としては、次式（１３）で示される３次モーメント（３乗の期待値）である歪度（Skewness）を利用する。つまり、ＣＰＵ５は歪度を音源方向推定値の信頼度として算出する。
【数１２】
ここで、ｗｒｍｓは全粒子の重みの実効値であり、ｗｍｅａｎは、全粒子の重みの平均値であり、それぞれ以下に示される。
【数１３】
【００４５】
歪度は、分布の非対称性を表す尺度であり、分布が対称であるほど０に近い値をとる。音源方向推定問題では、拡散性雑音環境下では雑音があらゆる方向から到来するため、本来は目的音源方向に集中しているべき粒子が、目的音源方向を中心に対称に分散している可能性がある。従って、歪度が低い場合には、拡散性雑音の存在により音空間特徴量に歪みが生じている可能性が疑われる。また、歪度は、音空間特徴量の尖度を示す指標ということもできる。このように、音空間特徴量の尖度を示す指標を用いれば、粒子が真の目的音源方向近傍にどの程度集中しているのかがわかるという理由により音源方向推定値の信頼度を高精度に推定することが可能と考えられる。
【００４６】
ＣＰＵ５は、上記のステップＳ８の処理を終了すると、ステップＳ１へと処理を戻す。
【００４７】
ＣＰＵ５は、このようにして得られた音源方向の推定値とその信頼度とを、図示しない表示部に表示することができる。また、これと共に、又はこれに代えて、音源方向の推定値及びその信頼度をそれぞれデータとして音響信号処理装置１の外部へ出力することもできる。
【００４８】
また、ＣＰＵ５は、推定した音源方向を他のアプリケーションに用いることもできる。例えば、複数音源の分離、雑音除去、残響除去、及び音声区間検出等の音響処理技術に利用することができる。ここで、推定された信頼度を所定の基準値と比較して、信頼度が基準値以上の場合には推定された音源方向を前記アプリケーションに利用し、信頼度が基準値未満の場合には推定された音源方向を前記アプリケーションに利用しないことができる。また、信頼度が基準値以上の場合には推定された音源方向を中心とした狭い範囲の音響信号を抽出して、抽出された音響信号を前記アプリケーションに利用し、信頼度が基準値未満の場合には推定された音源方向を中心とした広い範囲の音響信号を抽出したり、又は音響信号の観測方向制限を施さずに、その音響信号を前記アプリケーションに利用することができる。このようにすることにより、間違った方向を音源方向としてしまうことが抑制され、従来に比してより適切な処理結果を得ることが期待できる。
【００４９】
（実施の形態２）
本実施の形態においては、音源方向の信頼度の推定処理において、３次以上の高次統計量として、次式（１４）で示される４次モーメント（４乗の期待値）である尖度（Kurtosis）を利用する。つまり、ＣＰＵ５は尖度を音源方向推定値の信頼度として算出する。
【数１４】
【００５０】
尖度は、分布の集中度を表す統計量であるため、音空間特徴量の単峰性を評価するために適した尺度として期待できる。式（１２）で定義したＥＳＳも粒子の分布度合いを知るために提案された指標であるが、尖度は４次モーメントであるため、つまりＥＳＳよりも次数が高いため分布の集中度をより強調することが可能である。
【００５１】
本実施の形態に係る音響信号処理装置のその他の構成及び動作については、実施の形態１に係る音響信号処理装置１の構成及び動作と同様であるため、その説明を省略する。
【００５２】
（実施の形態３）
本実施の形態に係る音響信号処理装置の構成は、実施の形態１に係る音響信号処理装置１の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【００５３】
本実施の形態に係る音響信号処理装置の動作について説明する。図５は、本実施の形態に係る音響信号処理装置の音響信号処理の流れを示すフローチャートである。まず、マイクロホン２，２が捕捉した音響は、音響信号へ変換され、マイクロホン２，２から出力される。アナログ信号である音響信号は、増幅器３，３によりそれぞれ増幅され、増幅された音響信号がＡ／Ｄ変換器４，４によりデジタル信号へと変換され、変換後の音響データがＡ／Ｄ変換器４，４に内蔵されるレジスタに記憶される。かかる動作は所定のサンプリング周波数により繰り返し実行される。
【００５４】
ＣＰＵ５は、Ａ／Ｄ変換器４，４のレジスタから音響データ（音響信号）を読み出す（ステップＳ３０１）。対象音源ｓ（ｔ）がΘ方向に存在するとき、２つの異なる位置で観測された音響信号ｘ（ｔ）≡（ｘ１（ｔ），ｘ２（ｔ））は以下の式（１５）のように表すことができる。
【数１５】
ここで、ｈ１（ｔ）及びｈ２（ｔ）は対象音源からそれぞれの観測点（マイクロホン２，２）までのインパルス応答であり、ｎ１（ｔ）及びｎ２（ｔ）
はそれぞれの観測点における雑音であり、対象信号ｓ（ｔ）がそれぞれの観測点に到来するまでの時間差τ＝τ１−τ２は音源方向Θに応じて変化する。音源方向を１次元方向に限定すれば、τは音源方向Θと１対１に対応する。つまり、音源方向推定問題は、音響信号ｘ（ｔ）に内在する信号到来時間差τを推定する問題とみなすことができる。
【００５５】
次に、ＣＰＵ５は、観測信号ｘ（ｔ）から音空間特徴量ｐ（Θ｜ｘ） を計算する（ステップＳ３０２）。音空間特徴量 は、観測信号ｘ（ｔ）から得られる音源方向Θの確率分布に比例するものと考えることができる（図４参照）。本実施の形態においては、音空間特徴量として、２つの観測信号間の相互相関を採用する。この他にも、音源数が既知の場合には、MUSIC法を用いて音空間特徴量を求めるてもよい。
【００５６】
次に、ＣＰＵ５は、次式（１６）にしたがって、音空間特徴量ｐ（Θ｜ｘ）の最大値を与えるΘとして音源方向Θを推定する（ステップＳ３０３）。
【数１６】
【００５７】
次にＣＰＵ５は、ステップＳ３０３において推定された音源方向の信頼度を推定する（ステップＳ３０４）。この処理においては、音源方向の信頼度として、音空間特徴量ｐ（Θ｜ｘ）の歪度（Skewness）が算出される。なお、音源方向の信頼度として、音空間特徴量ｐ（Θ｜ｘ）の尖度（Kurtosis）を算出する構成であってもよい。
【００５８】
かかる構成とすることにより、音源方向の推定値の信頼度を簡易に得ることが可能となる。
【００５９】
（評価実験）
本願発明者は、上記の実施の形態１及び２に係る音響信号処理方法における音源方向推定値の信頼度評価尺度の妥当性を検証するため、拡散性雑音及び方向性雑音環境下での音源方向推定結果と各信頼度評価尺度の振る舞いとの関係を調査する実験を行った。以下、この実験結果について説明する。
【００６０】
対象信号は、ＴＩ−ｄｉｇｉｔ音声データベースより抜粋した女性による数字読み上げ音声であり、防音室内でスピーカより放射し、間隔１０ｃｍで配置した２つのマイクロホンで再収録したものである。対象音源は、連続的かつ滑らかに移動するものとした。雑音はホワイトノイズとし、拡散性雑音としては２つのマイクロホンでの観測信号間で無相関なホワイトノイズを対象信号へそれぞれ加算し、方向性雑音としては−１５°方向に配置したスピーカから放射されたホワイトノイズを２つのマイクロホンで観測したものとした。
【００６１】
音源方向推定に必要なパラメータとして、粒子数は５００で固定し、式（６）のシステムノイズの分散σ２はそれぞれの雑音環境下で最適なものを設定した。
【００６２】
図６は、拡散性雑音が存在する環境下における音源方向推定結果及び関連情報を示すグラフであり、図７は、方向性雑音が存在する環境下における音源方向推定結果及び関連情報を示すグラフである。各図の上段には、音源方向の推定結果を示すグラフを示している。これらの上段のグラフには、各フレームにおいて、真の音源方向を○印で、実施の形態３の方法で推定した音源方向を＋印で、実施の形態１の方法で推定した音源方向を実線で示している。図６及び図７のそれぞれの中段には、実施の形態１の方法による音源方向推定誤差として、真の音源方向（○印）と音源方向推定値（実線）との差分を示している。図６及び図７のそれぞれの下段には、各フレームにおける信号対雑音比を示している。信号対雑音比は値が小さいほど雑音のエネルギーが相対的に大きいことを意味する。本実験においては、拡散性雑音が存在する環境下（以下、「拡散性雑音環境下」という。）及び方向性雑音が存在する環境下（以下、「方向性雑音環境下」という。）のそれぞれにおいて、音源方向を推定し、推定した音源方向の信頼度として、各フレームにおけるＥＳＳ、波高率（Crest factor）、歪度（Skewness）、尖度（Kurtosis）を算出した。図８は、図６に対応しており、拡散性雑音環境下での各フレームにおけるＥＳＳ、波高率（Crest factor）、歪度（Skewness）、尖度（Kurtosis）の計算結果を示している。図９は、図７に対応しており、方向性雑音環境下での各フレームにおけるＥＳＳ、波高率（Crest factor）、歪度（Skewness）、尖度（Kurtosis）の計算結果を示している。
【００６３】
ここで、波高率について説明する。波高率（Crest factor; CF）は、次式（１７）で示される音空間特徴量の最大ピーク付近での粒子に着目した２次統計量であり、実効値に対する最大値の比である。
【数１７】
ここで、ｗ（ｍａｘ）は全粒子のうち重みが最大の粒子の重みである。
【００６４】
図６及び図７に示すように、拡散性雑音環境下及び方向性雑音環境下の両方共、フレーム番号１０〜２０の間、つまり音源方向の角度が大きい領域において推定した音源方向の真の音源方向からの誤差が大きくなっている。
【００６５】
図８に示すように、拡散性雑音環境下では、４つの音源方向推定結果の信頼性評価尺度（信頼度推定値）が同様に振る舞っている。即ち、全ての尺度において、フレーム番号１０〜１５の範囲で数値が落ち込んでいる。フレーム番号１０〜１５の範囲は上記の誤差が大きい領域に含まれていることから、図８の結果はどの尺度も誤差が大きい領域において信頼度が低いという推定結果が出ていることを示しており、何れの尺度においても正しく信頼性推定が働いていることがわかる。各信頼性評価尺度をより詳細に比較すると、３次及び４次統計量である歪度と尖度については、信頼度のダイナミックレンジが大きい（落ち込みの度合が大きい）ことがわかる。つまり、音空間特徴量の信頼性評価尺度としては、４つの尺度のすべてを利用できるが、３次以上の高次統計量を用いること望ましい。
【００６６】
一方、方向性雑音環境下では、図９に示すように、２次統計量であるＥＳＳ及び波高率に対して、３次以上の統計量である歪度と尖度は、まったく異なる振る舞いを示していることがわかる。即ち、ＥＳＳ及び波高率については、フレーム番号１０〜１３の範囲において数値が突出しており、歪度及び尖度については、フレーム番号１１〜１５において数値が落ち込んでいる。これらの範囲は何れも上記の誤差が大きい領域に含まれていることから、図９の結果はＥＳＳ及び波高率については誤差が大きい領域において信頼度が高いという間違った推定結果が出ており、歪度及び尖度については誤差が大きい領域において信頼度が低いという正しい推定結果が出ていることを示している。つまり、２次統計量（ＥＳＳ及び波高率）は信頼度推定に失敗している。特定方向から到来する雑音源に対しては、音空間特徴量を近似した全粒子のばらつき度合いを表現したＥＳＳ及び最大ピークに着目した波高率は、雑音の影響を強く受けて、本来評価すべき目的音源方向付近での粒子の集中度を表現できていないと推察される。これに対し、３次以上の統計量である歪度と尖度は、方向性雑音環境下でも拡散性雑音環境下とほぼ同様に、音源方向推定結果の信頼度を正しく推定できている。以上より、音源方向推定結果の信頼性評価尺度としては、３次以上の高次統計量に基づいたものを利用することが望ましいことがわかる。
【００６７】
（その他の実施の形態）
なお、上述した実施の形態１〜３においては、音空間特徴量の３次又は４次の統計量を音源方向の信頼度とする構成について述べたが、これらに限定されるものではない。５次又は６次等、３次以上の統計量であればその次数は問わない。
【００６８】
また、上述した実施の形態１〜３においては、音空間特徴量の３次以上の統計量を音源方向の信頼度として算出する構成について述べたが、これに限定されるものではない。音空間特徴量の３次以上の統計量を正規化するなど、前記統計量そのものではなく、前記統計量を適宜加工することにより得られる数値を音源方向の信頼度とする構成であってもよい。但し、この音源方向の信頼度は、前記統計量の増減に対応して増減する数値である必要がある。
【００６９】
また、上述した実施の形態１及び２においては、バンドパスフィルタにより、雑音の影響が少ない帯域に音響信号の帯域制限を行った後、音空間特徴量を算出する構成について述べたが、これに限定されるものではない。バンドパスフィルタによる帯域制限を行っていない音響信号から音空間特徴量を導出してもよい。
【００７０】
また、上述した実施の形態１及び２においては、Ａ／Ｄ変換器４，４から読み出した音響信号に対してバンドパスフィルタを適用し、帯域制限を行う構成について述べたが、これに限定されるものではない。雑音のパワースペクトルが既知であるか、推定できる場合には、音響信号と雑音モデルとの差分に対してバンドパスフィルタを適用し、前記差分に対して帯域制限を行うことが、より雑音の影響を排除できる点で好ましい。
【００７１】
また、上述した実施の形態１〜３においては、ＣＰＵ５がコンピュータプログラム５１ａを実行することにより音響信号処理を行う構成について述べたが、これに限定されるものではない。同等の処理を行える構成であれば、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）により、コンピュータプログラムを実行することなく、そのハードウェア自体によって、音響信号処理を実行する構成としてもよいし、汎用のパーソナルコンピュータが備えるハードディスクに音響信号処理用のコンピュータプログラムをインストールし、当該パーソナルコンピュータのＣＰＵが前記コンピュータプログラムを実行することにより、同等の音響信号処理を実行する構成としてもよい。
【産業上の利用可能性】
【００７２】
本発明の音響信号処理装置、音響信号処理方法、及びコンピュータプログラムは、観測された音響信号から推定された音源方向の信頼性を推定する音響信号処理装置及び音響信号処理方法、並びにコンピュータに音源方向の信頼性を推定させるためのコンピュータプログラムとして有用である。
【符号の説明】
【００７３】
１ 音響信号処理装置
２ マイクロホン
３ 増幅器
４ 変換器
５ ＣＰＵ
６ 音源
５１ ＲＯＭ
５１ａ コンピュータプログラム
５１ｂ データ
５２ ＲＡＭ
【特許請求の範囲】
【請求項１】
音源から発せられた対象音響を含む音響を捕捉して当該音響を示す音響信号を出力する複数のマイクロホンと、
前記複数のマイクロホンから出力された音響信号に基づいて、前記音響の空間における特徴に関する音空間特徴量を取得する音空間特徴量取得手段と、
前記音空間特徴量取得手段により取得された音空間特徴量に基づいて、前記対象音響の音源方向を推定する音源方向推定手段と、
前記音空間特徴量取得手段により取得された音空間特徴量の３次以上の高次統計量を取得する高次統計量取得手段と、
前記高次統計量取得手段により取得された高次統計量に基づいて、前記音源方向推定手段により推定された音源方向の信頼度を推定する信頼度推定手段と、
を備える、
音響信号処理装置。
【請求項２】
前記高次統計量取得手段は、前記空間における前記音空間特徴量の分布状態を示すグラフにおける尖度を示す前記高次統計量を取得するように構成されている、
請求項１に記載の音響信号処理装置。
【請求項３】
前記音空間特徴量取得手段は、前記音響において雑音の影響が少ないと推定される周波数を取得し、当該取得した周波数を中心としたバンドパスフィルタによって帯域制限を行った音響信号から音空間特徴量を抽出するように構成されている、
請求項１又は２に記載の音響信号処理装置。
【請求項４】
前記音空間特徴量取得手段は、前記マイクロホンから経時的に出力された音響信号を所定時間毎にフレーム化し、前記帯域制限を行った音響信号から抽出した音空間特徴量を尤度として用い、隣り合うフレーム間における音源方向の変化を示す音空間特徴量の動特性モデルに基づくパーティクルフィルタを用いて、対象フレームの１時刻前のフレームにおける音空間特徴量の状態から対象フレームの音空間特徴量を推定するように構成されている、
請求項３に記載の音響信号処理装置。
【請求項５】
前記音空間特徴量取得手段は、
同一の重さを有する複数の粒子を空間内に一様に配置する初期粒子分布設定手段と、
式（１）によって示される動特性モデルにしたがって、式（２）によって示される重さ｛ｗｋ（ｌ）｝ｌ＝１Ｍを有する粒子｛Θｋ（ｌ）｝ｌ＝１Ｍを生成することにより、時刻ｋにおける粒子の事前分布を取得する事前分布取得手段と、
前記事前分布取得手段によって取得された事前分布における粒子を、重さが所定値以上のものはその重さに応じた数に分割し、重さが所定値未満のものは０とすることにより、時刻ｋにおける音空間特徴量を推定する音空間特徴量推定手段と、
を具備する、
請求項４に記載の音響信号処理装置。
【数１】
但し、ｘｋは時刻ｋにおける音響信号を、Θｋは時刻ｋにおける真の音源方向を、νｋは時刻ｋにおける平均０で分散σ２のガウス分布に従う雑音を、Ｎはガウス分布を、ｌは粒子番号を、Ｍは粒子数を示す。
【請求項６】
前記高次統計量取得手段は、音空間特徴量として重みｗ（ｌ）についての高次統計量を取得するように構成されている、
請求項５に記載の音響信号処理装置。
【請求項７】
前記高次統計量取得手段は、音空間特徴量ｗ（ｌ）について、式（３）に示される高次統計量Skewnessを取得するように構成されている、
請求項６に記載の音響信号処理装置。
【数２】
【請求項８】
前記高次統計量取得手段は、音空間特徴量ｗ（ｌ）について、式（４）に示される高次統計量Kurtosisを取得するように構成されている、
請求項６に記載の音響信号処理装置。
【数３】
【請求項９】
複数のマイクロホンにより、音源から発せられた対象音響を含む音響を捕捉して当該音響を示す音響信号へ変換するステップと、
変換された音響信号に基づいて、前記音響の空間における特徴に関する音空間特徴量を取得するステップと、
取得された音空間特徴量に基づいて、前記対象音響の音源方向を推定するステップと、
前記音空間特徴量の３次以上の高次統計量を取得するステップと、
取得された高次統計量に基づいて、推定された音源方向の信頼度を推定するステップと、
を有する、
音響信号処理方法。
【請求項１０】
音源から発せられた対象音響を含む音響を捕捉して当該音響を示す音響信号へ変換する複数のマイクロホンに接続されたＣＰＵに、前記複数のマイクロホンから出力された音響信号を処理させるためのコンピュータプログラムであって、
前記複数のマイクロホンから出力された音響信号に基づいて、前記音響の空間における特徴に関する音空間特徴量を取得するステップと、
取得された音空間特徴量に基づいて、前記対象音響の音源方向を推定するステップと、
前記音空間特徴量の３次以上の高次統計量を取得するステップと、
取得された高次統計量に基づいて、推定された音源方向の信頼度を推定するステップと、
を前記ＣＰＵに実行させるためのコンピュータプログラム。
【請求項１】
音源から発せられた対象音響を含む音響を捕捉して当該音響を示す音響信号を出力する複数のマイクロホンと、
前記複数のマイクロホンから出力された音響信号に基づいて、前記音響の空間における特徴に関する音空間特徴量を取得する音空間特徴量取得手段と、
前記音空間特徴量取得手段により取得された音空間特徴量に基づいて、前記対象音響の音源方向を推定する音源方向推定手段と、
前記音空間特徴量取得手段により取得された音空間特徴量の３次以上の高次統計量を取得する高次統計量取得手段と、
前記高次統計量取得手段により取得された高次統計量に基づいて、前記音源方向推定手段により推定された音源方向の信頼度を推定する信頼度推定手段と、
を備える、
音響信号処理装置。
【請求項２】
前記高次統計量取得手段は、前記空間における前記音空間特徴量の分布状態を示すグラフにおける尖度を示す前記高次統計量を取得するように構成されている、
請求項１に記載の音響信号処理装置。
【請求項３】
前記音空間特徴量取得手段は、前記音響において雑音の影響が少ないと推定される周波数を取得し、当該取得した周波数を中心としたバンドパスフィルタによって帯域制限を行った音響信号から音空間特徴量を抽出するように構成されている、
請求項１又は２に記載の音響信号処理装置。
【請求項４】
前記音空間特徴量取得手段は、前記マイクロホンから経時的に出力された音響信号を所定時間毎にフレーム化し、前記帯域制限を行った音響信号から抽出した音空間特徴量を尤度として用い、隣り合うフレーム間における音源方向の変化を示す音空間特徴量の動特性モデルに基づくパーティクルフィルタを用いて、対象フレームの１時刻前のフレームにおける音空間特徴量の状態から対象フレームの音空間特徴量を推定するように構成されている、
請求項３に記載の音響信号処理装置。
【請求項５】
前記音空間特徴量取得手段は、
同一の重さを有する複数の粒子を空間内に一様に配置する初期粒子分布設定手段と、
式（１）によって示される動特性モデルにしたがって、式（２）によって示される重さ｛ｗｋ（ｌ）｝ｌ＝１Ｍを有する粒子｛Θｋ（ｌ）｝ｌ＝１Ｍを生成することにより、時刻ｋにおける粒子の事前分布を取得する事前分布取得手段と、
前記事前分布取得手段によって取得された事前分布における粒子を、重さが所定値以上のものはその重さに応じた数に分割し、重さが所定値未満のものは０とすることにより、時刻ｋにおける音空間特徴量を推定する音空間特徴量推定手段と、
を具備する、
請求項４に記載の音響信号処理装置。
【数１】
但し、ｘｋは時刻ｋにおける音響信号を、Θｋは時刻ｋにおける真の音源方向を、νｋは時刻ｋにおける平均０で分散σ２のガウス分布に従う雑音を、Ｎはガウス分布を、ｌは粒子番号を、Ｍは粒子数を示す。
【請求項６】
前記高次統計量取得手段は、音空間特徴量として重みｗ（ｌ）についての高次統計量を取得するように構成されている、
請求項５に記載の音響信号処理装置。
【請求項７】
前記高次統計量取得手段は、音空間特徴量ｗ（ｌ）について、式（３）に示される高次統計量Skewnessを取得するように構成されている、
請求項６に記載の音響信号処理装置。
【数２】
【請求項８】
前記高次統計量取得手段は、音空間特徴量ｗ（ｌ）について、式（４）に示される高次統計量Kurtosisを取得するように構成されている、
請求項６に記載の音響信号処理装置。
【数３】
【請求項９】
複数のマイクロホンにより、音源から発せられた対象音響を含む音響を捕捉して当該音響を示す音響信号へ変換するステップと、
変換された音響信号に基づいて、前記音響の空間における特徴に関する音空間特徴量を取得するステップと、
取得された音空間特徴量に基づいて、前記対象音響の音源方向を推定するステップと、
前記音空間特徴量の３次以上の高次統計量を取得するステップと、
取得された高次統計量に基づいて、推定された音源方向の信頼度を推定するステップと、
を有する、
音響信号処理方法。
【請求項１０】
音源から発せられた対象音響を含む音響を捕捉して当該音響を示す音響信号へ変換する複数のマイクロホンに接続されたＣＰＵに、前記複数のマイクロホンから出力された音響信号を処理させるためのコンピュータプログラムであって、
前記複数のマイクロホンから出力された音響信号に基づいて、前記音響の空間における特徴に関する音空間特徴量を取得するステップと、
取得された音空間特徴量に基づいて、前記対象音響の音源方向を推定するステップと、
前記音空間特徴量の３次以上の高次統計量を取得するステップと、
取得された高次統計量に基づいて、推定された音源方向の信頼度を推定するステップと、
を前記ＣＰＵに実行させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１３９４０９（Ｐ２０１１−１３９４０９Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２０１０−２３８（Ｐ２０１０−２３８）
【出願日】平成２２年１月４日（２０１０．１．４）
【出願人】（５１０００５００７）
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２２年１月４日（２０１０．１．４）
【出願人】（５１０００５００７）
【Ｆターム（参考）】
[ Back to top ]