音源信号抽出装置、方法及びプログラム
【課題】従来よりも小さい計算コストで音源信号を抽出する音源信号抽出技術を提供する。
【解決手段】周波数領域変換部が、二次元平面上又は一次元直線上に配置されたマイクアレーで収音した信号を周波数領域信号に変換する。窓関数部が、周波数領域信号に窓関数を乗じて窓関数後周波数領域信号を生成する。フィルタ部が、不均質波を無視した逆伝播演算に基づくフィルタを用いて、窓関数後周波数領域信号に対してフィルタ処理を行う。時間領域変換部が、フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する。
【解決手段】周波数領域変換部が、二次元平面上又は一次元直線上に配置されたマイクアレーで収音した信号を周波数領域信号に変換する。窓関数部が、周波数領域信号に窓関数を乗じて窓関数後周波数領域信号を生成する。フィルタ部が、不均質波を無視した逆伝播演算に基づくフィルタを用いて、窓関数後周波数領域信号に対してフィルタ処理を行う。時間領域変換部が、フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ある音場に設置されたマイクアレーで音信号を収音し、音源信号等を高いＳＮ比で抽出する技術に関する。
【背景技術】
【０００２】
非特許文献１には、多数のマイクアレーで収音された音を遠隔地で多数のスピーカアレーで再現するために、マイクアレー平面と平行な平面上の音圧勾配分布を推定する技術が記載されている。この非特許文献１に記載された技術により、マイクアレー平面と平行な平面であって音源位置を含む平面の音圧勾配分布を取得することで、音源信号を抽出することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Shoichi Koyama, 他４名, ”Inverse Wave Propagation in Wave Field Synthesis”, AES 40th International Conference, Tokyo, Japan, October 8-10, pp.2-10
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、音源位置を含む平面全体の音圧勾配分布を取得するには、大きな計算コストを要するという問題があった。
【０００５】
この発明の課題は、従来よりも小さい計算コストで音源信号を抽出する音源信号抽出装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、不均質波を無視した逆伝播演算に基づくフィルタを用いて、音源位置のみの音圧を推定することにより音源信号を抽出する。
【発明の効果】
【０００７】
平面全体の音圧勾配分布ではなく、音源位置のみの音圧を推定することにより、従来よりも小さい計算コストで音源信号を抽出することができる。
【図面の簡単な説明】
【０００８】
【図１】第一実施形態の音源信号抽出装置の例の機能ブロック図。
【図２】第一実施形態の音源信号抽出装置のマイクアレーの配置の例を説明するための図。
【図３】第二実施形態の音源信号抽出装置の例の機能ブロック図。
【図４】第二実施形態の音源信号抽出装置のマイクアレーの配置の例を説明するための図。
【図５】音源信号抽出方法の例を示す流れ図。
【図６】音源信号の例を示す図。
【図７】マイクロホンで収音した音信号を示す図。
【図８】第二実施形態の音源信号抽出方法で抽出した音源信号を示す図。
【図９】従来の音源信号抽出方法で抽出した音源信号を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照してこの発明の一実施形態を説明する。
【００１０】
［第一実施形態］
第一実施形態の音源信号抽出装置及び方法は、図２に示すように、ｚ＝ｚ０の位置に配置されたＮｘ×Ｎｙ個の無指向性のマイクロホンで構成される二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙで収音した音信号を用いて、以下に説明する方法で、（ｘｓ，ｙｓ，ｚｓ）に位置する音源Ｓが発する音の信号を抽出する。
【００１１】
Ｎｘ，Ｎｙは正の整数である。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙを構成するマイクロホンの数は基本的には任意である。もっとも、空間的な音圧分布を取得できるだけの数のマイクロホンがあることが望ましい。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙを構成するマイクロホンの各間隔は、収音する音信号の半波長以下の長さに設定することが望ましい。
【００１２】
ｚ＝ｚ０の位置に配置された二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙを構成する各マイクの位置をｒｉｊ＝（ｘｉ，ｙｊ，ｚ０）と表わすことにする。音源Ｓの位置（ｘｓ，ｙｓ，ｚｓ）及び二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙを構成する各マイクロホンの位置（ｘｉ，ｙｊ，ｚ０）は既知であるとする。
【００１３】
第一実施形態の音源信号抽出装置は、図１に示すように周波数領域変換部１、窓関数部２、フィルタ部３、時間領域変換部４を例えば備える。音源信号抽出装置は、図５に例示された音源信号抽出方法の各ステップの処理を行う。
【００１４】
二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙは、音源Ｓで発せられた音を収音して時間領域の音信号を生成する。生成された音信号は、周波数領域変換部１に送られる。ｒｓ＝（ｘｉ，ｙｊ，ｚ０）のマイクＭｉ−ｊで収音された時間領域の時刻ｔの音信号をｆ（ｉ，ｊ，ｔ）と表記する。
【００１５】
周波数領域変換部１は、マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙで収音された音信号ｆ（ｉ，ｊ，ｔ）をフーリエ変換により周波数領域信号Ｆ（ｉ，ｊ，ω）に変換する（ステップＳ１）。生成された周波数領域信号Ｆ（ｉ，ｊ，ω）は、窓関数部２に送られる。ωは周波数である。例えば、短時間離散フーリエ変換により周波数領域信号Ｆ（ｉ，ｊ，ω）が生成される。もちろん、他の既存の方法により周波数領域信号Ｆ（ｉ，ｊ，ω）を生成してもよい。
【００１６】
窓関数部２は、周波数領域信号Ｆ（ｉ，ｊ，ω）に窓関数を乗じて窓関数後周波数領域信号Ｆｗ（ｊ，ｊ，ω）を生成する（ステップＳ２）。窓関数後周波数領域信号Ｆｗ（ｊ，ｊ，ω）は、フィルタ部３に送られる。窓関数として、以下の式より定義されるいわゆるターキー（Turkey）窓関数ｗ（ｉ，ｊ）を例えば用いる。Ｎｔｐｒは、テーパーを適用する点数であり１以上Ｎｘ，Ｎｙ以下の整数である。なお、後述するように、窓関数部２はなくてもよい。
【００１７】
【数１】
【００１８】
フィルタ部３は、下式で定義されるフィルタ処理を窓関数後周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行い（ステップＳ３）、音源位置の音圧を取得することで周波数領域の音源信号であるＳ（ω）を抽出する。フィルタ処理を行った後の信号Ｓ（ω）は、時間領域変換部４に送られる。ｋは波数であり、ｃを音速としてｋ＝ω／ｃである。下式において、波数ｋの左にあるｊは虚数単位を意味する。Ｈ（ｉ，ｊ，ω）は、フィルタである。
【００１９】
【数２】
【００２０】
時間領域変換部４は、フィルタ処理を行った後の信号Ｓ（ω）を逆フーリエ変換により時間領域信号ｓ（ｔ）に変換する（ステップＳ４）。逆フーリエ変換は短時間離散逆フーリエ変換等の既存の方法を用いればよい。この時間領域信号ｓ（ｔ）が、音源Ｓの位置における信号となる。
【００２１】
［第二実施形態］
第一実施形態の音源信号抽出装置及び方法は二次元マイクアレーを用いるのに対して、第二実施形態の音源信号抽出装置及び方法は一次元マイクアレーを用いる。これにより、マイク数、すなわちチャネル数を少なくすることができるため、実装が比較的容易となる。
【００２２】
第二実施形態の音源信号抽出装置及び方法は、図４に示す第一の部屋のｙ＝ｙ０，ｚ＝ｚ０の位置に配置されたＮｘ個の無指向性のマイクで構成されるマイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１で収音した音信号を用いて、（ｘｓ，ｙｓ，ｚｓ）に位置する音源Ｓが発する音の信号を抽出する。
【００２３】
Ｎｘは正の整数である。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１を構成するマイクロホンの数は基本的には任意である。もっとも、空間的な音圧分布を取得できるだけの数のマイクロホンがあることが望ましい。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１を構成するマイクロホンの各間隔は、収音する音信号の半波長以下の長さに設定することが望ましい。
【００２４】
ｚ＝ｚ０，ｙ＝ｙ０の位置に配置されたマイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１を構成する各マイクの位置をｒｉ＝（ｘｉ，ｙ０，ｚ０）と表わすことにする。音源Ｓの位置（ｘｓ，ｙｓ，ｚｓ）及びマイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１を構成する各マイクロホンの位置（ｘｉ，ｙ０，ｚ０）は既知であるとする。
【００２５】
第二実施形態の音源信号抽出装置は、図３に示すように周波数領域変換部１、窓関数部２、フィルタ部３、時間領域変換部４を例えば備える。音源信号抽出装置は、図５に例示された音源信号抽出方法の各ステップの処理を行う。
【００２６】
マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１は、音源Ｓで発せられた音を収音して時間領域の音信号を生成する。生成された音信号は、周波数領域変換部１に送られる。ｒｉ＝（ｘｉ，ｙ０，ｚ０）のマイクＭｉ−１で収音された時間領域の時刻ｔの音信号をｆ（ｉ，ｔ）と表記する。
【００２７】
周波数領域変換部１は、マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１で収音された音信号ｆ（ｉ，ｔ）をフーリエ変換により周波数領域信号Ｆ（ｉ，ω）に変換する（ステップＳ１）。生成された周波数領域信号Ｆ（ｉ，ω）は、窓関数部２に送られる。ωは周波数である。例えば、短時間離散フーリエ変換により周波数領域信号Ｆ（ｉ，ω）が生成される。もちろん、他の既存の方法により周波数領域信号Ｆ（ｉ，ω）を生成してもよい。
【００２８】
窓関数部２は、周波数領域信号Ｆ（ｉ，ω）に窓関数を乗じて窓関数後周波数領域信号Ｆｗ（ｉ，ω）を生成する（ステップＳ２）。窓関数後周波数領域信号Ｆｗ（ｉ，ω）は、フィルタ部３に送られる。窓関数として、以下の式より定義されるいわゆるターキー（Turkey）窓関数ｗｘ（ｉ）を例えば用いる。Ｎｔｐｒは、テーパーを適用する点数であり１以上Ｎｘ以下の整数である。
【００２９】
【数３】
【００３０】
フィルタ部３は、下式で定義されるフィルタ処理を窓関数後周波数領域信号Ｆ（ｉ，ω）に対して行い（ステップＳ３）、音源位置の音圧を取得することで周波数領域の音源信号であるＳ（ω）を抽出する。フィルタ処理を行った後の信号Ｓ（ω）は、時間領域変換部４に送られる。ｋは波数であり、ｃを音速としてｋ＝ω／ｃである。下式において、波数ｋの左にあるｊは虚数単位を意味する。Ｈ（ｉ，ω）は、フィルタである。
【００３１】
【数４】
【００３２】
上記式において、Ｈｎ（１）（・）は、第一種ハンケル関数である。第一種ハンケル関数Ｈｎ（１）（ｘ）は、第一種ベッセル関数Ｊｎ（ｘ）及び第二種ベッセル関数Ｙｎ（ｘ）を用いて以下のように定義される。
【００３３】
【数５】
【００３４】
時間領域変換部４は、フィルタ処理を行った後の信号Ｓ（ω）を逆フーリエ変換により時間領域信号ｓ（ｔ）に変換する（ステップＳ４）。逆フーリエ変換は短時間離散逆フーリエ変換等の既存の方法を用いればよい。この時間領域信号ｓ（ｔ）が、音源Ｓの位置における信号となる。
【００３５】
［理論的背景］
以下、第一実施形態、第二実施形態においてフィルタ部３の処理がそれぞれ式（１）、式（２）となる理由を説明する。以下では、表記の簡略化のためにωを記載しない場合がある。
【００３６】
レイリー方程式に基づいて、図２においてｚ＝ｚ０の平面上の位置ｒ0＝（ｘ０，ｙ０，ｚ０）の音圧Ｐ（ｒ０）を用いて音源位置ｒｓの音圧Ｐ（ｒｓ）を推定すると以下のようになる。
【００３７】
【数６】
【００３８】
ここで、κ−１は、核関数である。
【００３９】
【数７】
【００４０】
ｋｘ、ｋｙは、それぞれｘ方向の波数、ｙ方向の波数である。核関数κ−１は、均質波に対応する成分κ１−１と不均質波に対応する成分κ２−１との和に分解することが可能である。一般に音場の再生に寄与しないと考えられる不均質波に対応する成分を無視すると、核関数κ−１は、以下のように近似できる。
【００４１】
【数８】
【００４２】
式（４）の右辺を式（３）に代入すると以下のようになる。
【００４３】
【数９】
【００４４】
上記式のＰ（ｒｓ）が第一実施形態のＳ（ω）に対応し、Ｐ（ｒ０）がＦｗ（ｉ，ｊ，ω）に対応する。上記式を離散的に表現したものが式（１）である。
【００４５】
直線上にマイクロホンが配置されている第二実施形態においても、上記と同様に核関数κ−１の不均質波に対応する成分κ２−１を無視することにより、式（２）が得られる。
【００４６】
［シミュレーション結果］
４ｃｍ間隔で直線状に９６ｃｈ配置された直線上のマイクアレーの中心から２ｍの位置に一般的な密閉型スピーカを置き、第二実施形態の音源信号抽出方法によって音源信号を抽出した結果を示す。スピーカから再生した音源信号は、図６のような１０秒間の音声（女声＋男声）である。
【００４７】
このとき，音源から最も近い距離にあるマイクによる収音信号は、図７のようになった。この信号と原音声のＳＮ比は、５．５５ｄＢである。ＳＮ比の計算に際しては、相互相関を用いて時間差を補正し、最小二乗法によって誤差が最小になるように振幅を補正した。
【００４８】
図８が提案法によって抽出した音源信号である。音源位置は既知としている。このときのＳＮ比は２０．０７ｄＢとなった。
【００４９】
図９は、マイクアレー信号に時間差を与え和をとる従来の焦点形成による結果である。この際、ＳＮ比最大化の観点から焦点位置までの距離で信号を割る処理を加えている。このときのＳＮ比は５．４３ｄＢであった。
【００５０】
このように、音源位置の音圧を推定することにより、従来よりも高いＳＮ比で音源信号を抽出することができる。
【００５１】
［変形例等］
窓関数部２はなくてもよい。この場合、フィルタ部３は、窓関数後周波数領域信号Ｆｗ（ｉ，ｊ，ω）又はＦｗ（ｉ，ω）ではなく周波数領域信号Ｆ（ｉ，ｊ，ω）又はＦ（ｉ，ω）に対して、窓関数部２がある場合と同様のフィルタ処理を行う。この場合、第一実施形態のフィルタ部３は、具体的には以下の式により定義されるフィルタ処理を行う。
【００５２】
【数１０】
【００５３】
また、この場合、第二実施形態のフィルタ部３は、具体的には以下の式により定義されるフィルタ処理を行う。
【００５４】
【数１１】
【００５５】
音源信号抽出装置は、コンピュータによって実現することができる。この場合、この装置の各部の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、この装置における各部がコンピュータ上で実現される。
【００５６】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００５７】
この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【符号の説明】
【００５８】
１ 周波数領域変換部
２ 窓関数部
３ フィルタ部
４ 時間領域変換部
【技術分野】
【０００１】
この発明は、ある音場に設置されたマイクアレーで音信号を収音し、音源信号等を高いＳＮ比で抽出する技術に関する。
【背景技術】
【０００２】
非特許文献１には、多数のマイクアレーで収音された音を遠隔地で多数のスピーカアレーで再現するために、マイクアレー平面と平行な平面上の音圧勾配分布を推定する技術が記載されている。この非特許文献１に記載された技術により、マイクアレー平面と平行な平面であって音源位置を含む平面の音圧勾配分布を取得することで、音源信号を抽出することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Shoichi Koyama, 他４名, ”Inverse Wave Propagation in Wave Field Synthesis”, AES 40th International Conference, Tokyo, Japan, October 8-10, pp.2-10
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、音源位置を含む平面全体の音圧勾配分布を取得するには、大きな計算コストを要するという問題があった。
【０００５】
この発明の課題は、従来よりも小さい計算コストで音源信号を抽出する音源信号抽出装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、不均質波を無視した逆伝播演算に基づくフィルタを用いて、音源位置のみの音圧を推定することにより音源信号を抽出する。
【発明の効果】
【０００７】
平面全体の音圧勾配分布ではなく、音源位置のみの音圧を推定することにより、従来よりも小さい計算コストで音源信号を抽出することができる。
【図面の簡単な説明】
【０００８】
【図１】第一実施形態の音源信号抽出装置の例の機能ブロック図。
【図２】第一実施形態の音源信号抽出装置のマイクアレーの配置の例を説明するための図。
【図３】第二実施形態の音源信号抽出装置の例の機能ブロック図。
【図４】第二実施形態の音源信号抽出装置のマイクアレーの配置の例を説明するための図。
【図５】音源信号抽出方法の例を示す流れ図。
【図６】音源信号の例を示す図。
【図７】マイクロホンで収音した音信号を示す図。
【図８】第二実施形態の音源信号抽出方法で抽出した音源信号を示す図。
【図９】従来の音源信号抽出方法で抽出した音源信号を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照してこの発明の一実施形態を説明する。
【００１０】
［第一実施形態］
第一実施形態の音源信号抽出装置及び方法は、図２に示すように、ｚ＝ｚ０の位置に配置されたＮｘ×Ｎｙ個の無指向性のマイクロホンで構成される二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙで収音した音信号を用いて、以下に説明する方法で、（ｘｓ，ｙｓ，ｚｓ）に位置する音源Ｓが発する音の信号を抽出する。
【００１１】
Ｎｘ，Ｎｙは正の整数である。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙを構成するマイクロホンの数は基本的には任意である。もっとも、空間的な音圧分布を取得できるだけの数のマイクロホンがあることが望ましい。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙを構成するマイクロホンの各間隔は、収音する音信号の半波長以下の長さに設定することが望ましい。
【００１２】
ｚ＝ｚ０の位置に配置された二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙを構成する各マイクの位置をｒｉｊ＝（ｘｉ，ｙｊ，ｚ０）と表わすことにする。音源Ｓの位置（ｘｓ，ｙｓ，ｚｓ）及び二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙを構成する各マイクロホンの位置（ｘｉ，ｙｊ，ｚ０）は既知であるとする。
【００１３】
第一実施形態の音源信号抽出装置は、図１に示すように周波数領域変換部１、窓関数部２、フィルタ部３、時間領域変換部４を例えば備える。音源信号抽出装置は、図５に例示された音源信号抽出方法の各ステップの処理を行う。
【００１４】
二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙは、音源Ｓで発せられた音を収音して時間領域の音信号を生成する。生成された音信号は、周波数領域変換部１に送られる。ｒｓ＝（ｘｉ，ｙｊ，ｚ０）のマイクＭｉ−ｊで収音された時間領域の時刻ｔの音信号をｆ（ｉ，ｊ，ｔ）と表記する。
【００１５】
周波数領域変換部１は、マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｙで収音された音信号ｆ（ｉ，ｊ，ｔ）をフーリエ変換により周波数領域信号Ｆ（ｉ，ｊ，ω）に変換する（ステップＳ１）。生成された周波数領域信号Ｆ（ｉ，ｊ，ω）は、窓関数部２に送られる。ωは周波数である。例えば、短時間離散フーリエ変換により周波数領域信号Ｆ（ｉ，ｊ，ω）が生成される。もちろん、他の既存の方法により周波数領域信号Ｆ（ｉ，ｊ，ω）を生成してもよい。
【００１６】
窓関数部２は、周波数領域信号Ｆ（ｉ，ｊ，ω）に窓関数を乗じて窓関数後周波数領域信号Ｆｗ（ｊ，ｊ，ω）を生成する（ステップＳ２）。窓関数後周波数領域信号Ｆｗ（ｊ，ｊ，ω）は、フィルタ部３に送られる。窓関数として、以下の式より定義されるいわゆるターキー（Turkey）窓関数ｗ（ｉ，ｊ）を例えば用いる。Ｎｔｐｒは、テーパーを適用する点数であり１以上Ｎｘ，Ｎｙ以下の整数である。なお、後述するように、窓関数部２はなくてもよい。
【００１７】
【数１】
【００１８】
フィルタ部３は、下式で定義されるフィルタ処理を窓関数後周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行い（ステップＳ３）、音源位置の音圧を取得することで周波数領域の音源信号であるＳ（ω）を抽出する。フィルタ処理を行った後の信号Ｓ（ω）は、時間領域変換部４に送られる。ｋは波数であり、ｃを音速としてｋ＝ω／ｃである。下式において、波数ｋの左にあるｊは虚数単位を意味する。Ｈ（ｉ，ｊ，ω）は、フィルタである。
【００１９】
【数２】
【００２０】
時間領域変換部４は、フィルタ処理を行った後の信号Ｓ（ω）を逆フーリエ変換により時間領域信号ｓ（ｔ）に変換する（ステップＳ４）。逆フーリエ変換は短時間離散逆フーリエ変換等の既存の方法を用いればよい。この時間領域信号ｓ（ｔ）が、音源Ｓの位置における信号となる。
【００２１】
［第二実施形態］
第一実施形態の音源信号抽出装置及び方法は二次元マイクアレーを用いるのに対して、第二実施形態の音源信号抽出装置及び方法は一次元マイクアレーを用いる。これにより、マイク数、すなわちチャネル数を少なくすることができるため、実装が比較的容易となる。
【００２２】
第二実施形態の音源信号抽出装置及び方法は、図４に示す第一の部屋のｙ＝ｙ０，ｚ＝ｚ０の位置に配置されたＮｘ個の無指向性のマイクで構成されるマイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１で収音した音信号を用いて、（ｘｓ，ｙｓ，ｚｓ）に位置する音源Ｓが発する音の信号を抽出する。
【００２３】
Ｎｘは正の整数である。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１を構成するマイクロホンの数は基本的には任意である。もっとも、空間的な音圧分布を取得できるだけの数のマイクロホンがあることが望ましい。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１を構成するマイクロホンの各間隔は、収音する音信号の半波長以下の長さに設定することが望ましい。
【００２４】
ｚ＝ｚ０，ｙ＝ｙ０の位置に配置されたマイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１を構成する各マイクの位置をｒｉ＝（ｘｉ，ｙ０，ｚ０）と表わすことにする。音源Ｓの位置（ｘｓ，ｙｓ，ｚｓ）及びマイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１を構成する各マイクロホンの位置（ｘｉ，ｙ０，ｚ０）は既知であるとする。
【００２５】
第二実施形態の音源信号抽出装置は、図３に示すように周波数領域変換部１、窓関数部２、フィルタ部３、時間領域変換部４を例えば備える。音源信号抽出装置は、図５に例示された音源信号抽出方法の各ステップの処理を行う。
【００２６】
マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１は、音源Ｓで発せられた音を収音して時間領域の音信号を生成する。生成された音信号は、周波数領域変換部１に送られる。ｒｉ＝（ｘｉ，ｙ０，ｚ０）のマイクＭｉ−１で収音された時間領域の時刻ｔの音信号をｆ（ｉ，ｔ）と表記する。
【００２７】
周波数領域変換部１は、マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−１で収音された音信号ｆ（ｉ，ｔ）をフーリエ変換により周波数領域信号Ｆ（ｉ，ω）に変換する（ステップＳ１）。生成された周波数領域信号Ｆ（ｉ，ω）は、窓関数部２に送られる。ωは周波数である。例えば、短時間離散フーリエ変換により周波数領域信号Ｆ（ｉ，ω）が生成される。もちろん、他の既存の方法により周波数領域信号Ｆ（ｉ，ω）を生成してもよい。
【００２８】
窓関数部２は、周波数領域信号Ｆ（ｉ，ω）に窓関数を乗じて窓関数後周波数領域信号Ｆｗ（ｉ，ω）を生成する（ステップＳ２）。窓関数後周波数領域信号Ｆｗ（ｉ，ω）は、フィルタ部３に送られる。窓関数として、以下の式より定義されるいわゆるターキー（Turkey）窓関数ｗｘ（ｉ）を例えば用いる。Ｎｔｐｒは、テーパーを適用する点数であり１以上Ｎｘ以下の整数である。
【００２９】
【数３】
【００３０】
フィルタ部３は、下式で定義されるフィルタ処理を窓関数後周波数領域信号Ｆ（ｉ，ω）に対して行い（ステップＳ３）、音源位置の音圧を取得することで周波数領域の音源信号であるＳ（ω）を抽出する。フィルタ処理を行った後の信号Ｓ（ω）は、時間領域変換部４に送られる。ｋは波数であり、ｃを音速としてｋ＝ω／ｃである。下式において、波数ｋの左にあるｊは虚数単位を意味する。Ｈ（ｉ，ω）は、フィルタである。
【００３１】
【数４】
【００３２】
上記式において、Ｈｎ（１）（・）は、第一種ハンケル関数である。第一種ハンケル関数Ｈｎ（１）（ｘ）は、第一種ベッセル関数Ｊｎ（ｘ）及び第二種ベッセル関数Ｙｎ（ｘ）を用いて以下のように定義される。
【００３３】
【数５】
【００３４】
時間領域変換部４は、フィルタ処理を行った後の信号Ｓ（ω）を逆フーリエ変換により時間領域信号ｓ（ｔ）に変換する（ステップＳ４）。逆フーリエ変換は短時間離散逆フーリエ変換等の既存の方法を用いればよい。この時間領域信号ｓ（ｔ）が、音源Ｓの位置における信号となる。
【００３５】
［理論的背景］
以下、第一実施形態、第二実施形態においてフィルタ部３の処理がそれぞれ式（１）、式（２）となる理由を説明する。以下では、表記の簡略化のためにωを記載しない場合がある。
【００３６】
レイリー方程式に基づいて、図２においてｚ＝ｚ０の平面上の位置ｒ0＝（ｘ０，ｙ０，ｚ０）の音圧Ｐ（ｒ０）を用いて音源位置ｒｓの音圧Ｐ（ｒｓ）を推定すると以下のようになる。
【００３７】
【数６】
【００３８】
ここで、κ−１は、核関数である。
【００３９】
【数７】
【００４０】
ｋｘ、ｋｙは、それぞれｘ方向の波数、ｙ方向の波数である。核関数κ−１は、均質波に対応する成分κ１−１と不均質波に対応する成分κ２−１との和に分解することが可能である。一般に音場の再生に寄与しないと考えられる不均質波に対応する成分を無視すると、核関数κ−１は、以下のように近似できる。
【００４１】
【数８】
【００４２】
式（４）の右辺を式（３）に代入すると以下のようになる。
【００４３】
【数９】
【００４４】
上記式のＰ（ｒｓ）が第一実施形態のＳ（ω）に対応し、Ｐ（ｒ０）がＦｗ（ｉ，ｊ，ω）に対応する。上記式を離散的に表現したものが式（１）である。
【００４５】
直線上にマイクロホンが配置されている第二実施形態においても、上記と同様に核関数κ−１の不均質波に対応する成分κ２−１を無視することにより、式（２）が得られる。
【００４６】
［シミュレーション結果］
４ｃｍ間隔で直線状に９６ｃｈ配置された直線上のマイクアレーの中心から２ｍの位置に一般的な密閉型スピーカを置き、第二実施形態の音源信号抽出方法によって音源信号を抽出した結果を示す。スピーカから再生した音源信号は、図６のような１０秒間の音声（女声＋男声）である。
【００４７】
このとき，音源から最も近い距離にあるマイクによる収音信号は、図７のようになった。この信号と原音声のＳＮ比は、５．５５ｄＢである。ＳＮ比の計算に際しては、相互相関を用いて時間差を補正し、最小二乗法によって誤差が最小になるように振幅を補正した。
【００４８】
図８が提案法によって抽出した音源信号である。音源位置は既知としている。このときのＳＮ比は２０．０７ｄＢとなった。
【００４９】
図９は、マイクアレー信号に時間差を与え和をとる従来の焦点形成による結果である。この際、ＳＮ比最大化の観点から焦点位置までの距離で信号を割る処理を加えている。このときのＳＮ比は５．４３ｄＢであった。
【００５０】
このように、音源位置の音圧を推定することにより、従来よりも高いＳＮ比で音源信号を抽出することができる。
【００５１】
［変形例等］
窓関数部２はなくてもよい。この場合、フィルタ部３は、窓関数後周波数領域信号Ｆｗ（ｉ，ｊ，ω）又はＦｗ（ｉ，ω）ではなく周波数領域信号Ｆ（ｉ，ｊ，ω）又はＦ（ｉ，ω）に対して、窓関数部２がある場合と同様のフィルタ処理を行う。この場合、第一実施形態のフィルタ部３は、具体的には以下の式により定義されるフィルタ処理を行う。
【００５２】
【数１０】
【００５３】
また、この場合、第二実施形態のフィルタ部３は、具体的には以下の式により定義されるフィルタ処理を行う。
【００５４】
【数１１】
【００５５】
音源信号抽出装置は、コンピュータによって実現することができる。この場合、この装置の各部の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、この装置における各部がコンピュータ上で実現される。
【００５６】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００５７】
この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【符号の説明】
【００５８】
１ 周波数領域変換部
２ 窓関数部
３ フィルタ部
４ 時間領域変換部
【特許請求の範囲】
【請求項１】
（ｘｓ，ｙｓ，ｚｓ）に位置する音源から発せられた音をマイクアレーで収音することにより得られた音信号をフーリエ変換により周波数領域信号に変換する周波数領域変換部と、
Ｎｘ，Ｎｙを正の整数とし、上記マイクアレーはｚ＝ｚ０の二次元平面上に配置されたＮｘ×Ｎｙ個のマイクロホンで構成されており、ｘ方向にｉ番目でありｙ方向にｊ番目のマイクロホンの位置を（ｘｉ，ｙｊ，ｚ０）と表記し、ωを周波数、ｃを音速、ｋ＝ω／ｃを波数、Ｈ（ｉ，ｊ，ω）をフィルタ、（ｘｉ，ｙｊ，ｚ０）に位置するマイクロホンに対応する周波数領域信号をＦ（ｉ，ｊ，ω）として、
【数１２】
上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行うフィルタ部と、
上記フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する時間領域変換部と、
を含む音源信号抽出装置。
【請求項２】
請求項１の音源信号抽出装置において、
上記周波数領域信号に窓関数を乗じて窓関数後周波数領域信号を生成する窓関数部を更に含み、
上記フィルタ部は、上記（ｘｉ，ｙｊ，ｚ０）に位置するマイクロホンに対応する窓関数後周波数領域信号をＦｗ（ｉ，ｊ，ω）として、
【数１３】
上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行うことを特徴とする、
音源信号抽出装置。
【請求項３】
（ｘｓ，ｙｓ，ｚｓ）に位置する音源から発せられた音をマイクアレーで収音することにより得られた音信号をフーリエ変換により周波数領域信号に変換する周波数領域変換部と、
Ｎｘを正の整数とし、上記マイクアレーは（ｚ，ｙ）＝（ｚ０，ｙ０）の直線上に配置されたＮｘ個のマイクロホンで構成されており、ｘ方向にｉ番目のマイクロホンの位置を（ｘｉ，ｙ０，ｚ０）と表記し、ωを周波数、ｃを音速、ｋ＝ω／ｃを波数、Ｈ（ｉ，ω）をフィルタ、（ｘｉ，ｙ０，ｚ０）に位置するマイクロホンに対応する周波数領域信号をＦ（ｉ，ω）、Ｈｎ（１）（・）を第一種ハンケル関数として、
【数１４】
上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ω）に対して行うフィルタ部と、
上記フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する時間領域変換部と、
を含む音源信号抽出装置。
【請求項４】
請求項３の音源信号抽出装置において、
上記周波数領域信号に窓関数を乗じて窓関数後周波数領域信号を生成する窓関数部を更に含み、
上記フィルタ部は、上記（ｘｉ，ｙ０，ｚ０）に位置するマイクロホンに対応する窓関数後周波数領域信号をＦｗ（ｉ，ω）として、
【数１５】
上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行うことを特徴とする、
音源信号抽出装置。
【請求項５】
周波数領域変換部が、（ｘｓ，ｙｓ，ｚｓ）に位置する音源から発せられた音をマイクアレーで収音することにより得られた音信号をフーリエ変換により周波数領域信号に変換する周波数領域変換ステップと、
フィルタ部が、Ｎｘ，Ｎｙを正の整数とし、上記マイクアレーはｚ＝ｚ０の二次元平面上に配置されたＮｘ×Ｎｙ個のマイクロホンで構成されており、ｘ方向にｉ番目でありｙ方向にｊ番目のマイクロホンの位置を（ｘｉ，ｙｊ，ｚ０）と表記し、ωを周波数、ｃを音速、ｋ＝ω／ｃを波数、Ｈ（ｉ，ｊ，ω）をフィルタ、（ｘｉ，ｙｊ，ｚ０）に位置するマイクロホンに対応する周波数領域信号をＦ（ｉ，ｊ，ω）として、
【数１６】
上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行うフィルタステップと、
時間領域変換部が、上記フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する時間領域変換ステップと、
を含む音源信号抽出方法。
【請求項６】
周波数領域変換部が、（ｘｓ，ｙｓ，ｚｓ）に位置する音源から発せられた音をマイクアレーで収音することにより得られた音信号をフーリエ変換により周波数領域信号に変換する周波数領域変換ステップと、
フィルタ部が、Ｎｘを正の整数とし、上記マイクアレーは（ｚ，ｙ）＝（ｚ０，ｙ０）の直線上に配置されたＮｘ個のマイクロホンで構成されており、ｘ方向にｉ番目のマイクロホンの位置を（ｘｉ，ｙ０，ｚ０）と表記し、ωを周波数、ｃを音速、ｋ＝ω／ｃを波数、Ｈ（ｉ，ω）をフィルタ、（ｘｉ，ｙ０，ｚ０）に位置するマイクロホンに対応する周波数領域信号をＦ（ｉ，ω）、Ｈｎ（１）（・）を第一種ハンケル関数として、
【数１７】
上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ω）に対して行うフィルタステップと、
時間領域変換部が、上記フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する時間領域変換ステップと、
を含む音源信号抽出方法。
【請求項７】
請求項１から４に記載された音源信号抽出装置の各部としてコンピュータを機能させるための音源信号抽出プログラム。
【請求項１】
（ｘｓ，ｙｓ，ｚｓ）に位置する音源から発せられた音をマイクアレーで収音することにより得られた音信号をフーリエ変換により周波数領域信号に変換する周波数領域変換部と、
Ｎｘ，Ｎｙを正の整数とし、上記マイクアレーはｚ＝ｚ０の二次元平面上に配置されたＮｘ×Ｎｙ個のマイクロホンで構成されており、ｘ方向にｉ番目でありｙ方向にｊ番目のマイクロホンの位置を（ｘｉ，ｙｊ，ｚ０）と表記し、ωを周波数、ｃを音速、ｋ＝ω／ｃを波数、Ｈ（ｉ，ｊ，ω）をフィルタ、（ｘｉ，ｙｊ，ｚ０）に位置するマイクロホンに対応する周波数領域信号をＦ（ｉ，ｊ，ω）として、
【数１２】
上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行うフィルタ部と、
上記フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する時間領域変換部と、
を含む音源信号抽出装置。
【請求項２】
請求項１の音源信号抽出装置において、
上記周波数領域信号に窓関数を乗じて窓関数後周波数領域信号を生成する窓関数部を更に含み、
上記フィルタ部は、上記（ｘｉ，ｙｊ，ｚ０）に位置するマイクロホンに対応する窓関数後周波数領域信号をＦｗ（ｉ，ｊ，ω）として、
【数１３】
上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行うことを特徴とする、
音源信号抽出装置。
【請求項３】
（ｘｓ，ｙｓ，ｚｓ）に位置する音源から発せられた音をマイクアレーで収音することにより得られた音信号をフーリエ変換により周波数領域信号に変換する周波数領域変換部と、
Ｎｘを正の整数とし、上記マイクアレーは（ｚ，ｙ）＝（ｚ０，ｙ０）の直線上に配置されたＮｘ個のマイクロホンで構成されており、ｘ方向にｉ番目のマイクロホンの位置を（ｘｉ，ｙ０，ｚ０）と表記し、ωを周波数、ｃを音速、ｋ＝ω／ｃを波数、Ｈ（ｉ，ω）をフィルタ、（ｘｉ，ｙ０，ｚ０）に位置するマイクロホンに対応する周波数領域信号をＦ（ｉ，ω）、Ｈｎ（１）（・）を第一種ハンケル関数として、
【数１４】
上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ω）に対して行うフィルタ部と、
上記フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する時間領域変換部と、
を含む音源信号抽出装置。
【請求項４】
請求項３の音源信号抽出装置において、
上記周波数領域信号に窓関数を乗じて窓関数後周波数領域信号を生成する窓関数部を更に含み、
上記フィルタ部は、上記（ｘｉ，ｙ０，ｚ０）に位置するマイクロホンに対応する窓関数後周波数領域信号をＦｗ（ｉ，ω）として、
【数１５】
上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行うことを特徴とする、
音源信号抽出装置。
【請求項５】
周波数領域変換部が、（ｘｓ，ｙｓ，ｚｓ）に位置する音源から発せられた音をマイクアレーで収音することにより得られた音信号をフーリエ変換により周波数領域信号に変換する周波数領域変換ステップと、
フィルタ部が、Ｎｘ，Ｎｙを正の整数とし、上記マイクアレーはｚ＝ｚ０の二次元平面上に配置されたＮｘ×Ｎｙ個のマイクロホンで構成されており、ｘ方向にｉ番目でありｙ方向にｊ番目のマイクロホンの位置を（ｘｉ，ｙｊ，ｚ０）と表記し、ωを周波数、ｃを音速、ｋ＝ω／ｃを波数、Ｈ（ｉ，ｊ，ω）をフィルタ、（ｘｉ，ｙｊ，ｚ０）に位置するマイクロホンに対応する周波数領域信号をＦ（ｉ，ｊ，ω）として、
【数１６】
上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行うフィルタステップと、
時間領域変換部が、上記フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する時間領域変換ステップと、
を含む音源信号抽出方法。
【請求項６】
周波数領域変換部が、（ｘｓ，ｙｓ，ｚｓ）に位置する音源から発せられた音をマイクアレーで収音することにより得られた音信号をフーリエ変換により周波数領域信号に変換する周波数領域変換ステップと、
フィルタ部が、Ｎｘを正の整数とし、上記マイクアレーは（ｚ，ｙ）＝（ｚ０，ｙ０）の直線上に配置されたＮｘ個のマイクロホンで構成されており、ｘ方向にｉ番目のマイクロホンの位置を（ｘｉ，ｙ０，ｚ０）と表記し、ωを周波数、ｃを音速、ｋ＝ω／ｃを波数、Ｈ（ｉ，ω）をフィルタ、（ｘｉ，ｙ０，ｚ０）に位置するマイクロホンに対応する周波数領域信号をＦ（ｉ，ω）、Ｈｎ（１）（・）を第一種ハンケル関数として、
【数１７】
上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ω）に対して行うフィルタステップと、
時間領域変換部が、上記フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する時間領域変換ステップと、
を含む音源信号抽出方法。
【請求項７】
請求項１から４に記載された音源信号抽出装置の各部としてコンピュータを機能させるための音源信号抽出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１６５２７３（Ｐ２０１２−１６５２７３Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２５３２０（Ｐ２０１１−２５３２０）
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]