雑音除去装置および雑音除去方法
【課題】マイクロホン間隔に依存しない雑音除去処理を可能とする。
【解決手段】目的音強調部１０５は、マイクロホン１０１ａ，１０１ｂの観測信号に目的音強調処理を施して目的音推定信号を得る。雑音推定部１０６は、マイクロホン１０１ａ，１０１ｂの観測信号に雑音推定処理を施して雑音推定信号を得る。ポストフィルタリング部１０９は、目的音推定信号に残留している雑音成分を、雑音推定信号を用いたポストフィルタリング処理によって除去し、雑音抑圧信号を得る。補正係数算出部１０７は、ポストフィルタリング処理を補正するため、つまり目的音推定信号に残留している雑音成分と雑音推定信号の利得を合わせるための補正係数を算出する。補正係数変更部１０８は、補正係数算出部１０７で算出された補正係数のうち、空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更する。
【解決手段】目的音強調部１０５は、マイクロホン１０１ａ，１０１ｂの観測信号に目的音強調処理を施して目的音推定信号を得る。雑音推定部１０６は、マイクロホン１０１ａ，１０１ｂの観測信号に雑音推定処理を施して雑音推定信号を得る。ポストフィルタリング部１０９は、目的音推定信号に残留している雑音成分を、雑音推定信号を用いたポストフィルタリング処理によって除去し、雑音抑圧信号を得る。補正係数算出部１０７は、ポストフィルタリング処理を補正するため、つまり目的音推定信号に残留している雑音成分と雑音推定信号の利得を合わせるための補正係数を算出する。補正係数変更部１０８は、補正係数算出部１０７で算出された補正係数のうち、空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、雑音除去装置および雑音除去方法に関し、特に、目的音の強調とポストフィルタリング処理によって雑音を除去する雑音除去装置等に関する。
【背景技術】
【０００２】
例えば、携帯電話、パーソナルコンピュータ等で再生する音楽を、ユーザがノイズキャンセルヘッドホンで聴くという状況が想定される。この状況において、通話着信、チャット呼び出し等があった場合、いちいちマイクロホンを準備してから話し始めるのは、ユーザにとって非常に煩わしいことである。ユーザにとっては、マイクロホンを用意することなく、ハンズフリーでそのまま通話を開始することが望まれる。
【０００３】
ノイズキャンセルヘッドホンの耳元にはノイズキャンセル用のマイクロホンが設置されており、このマイクロホンを利用して通話をすることが考えられる。これにより、ヘッドホンを付けたままでの通話を実現できる。この場合、周囲の雑音が問題となるため、雑音を抑圧して音声のみを伝送することが望まれる。
【０００４】
例えば、特許文献１には、目的音の強調とポストフィルタリング処理によって雑音を除去する技術が記載されている。図３１は、特許文献１に記載されている雑音除去装置の構成例を示している。この雑音除去装置においては、ビームフォーマ部（１１）で音声が強調され、ブロッキング行列部（１２）で雑音が強調される。音声の強調で雑音のすべてが消えるわけではないので、雑音低減手段（１３）により、強調雑音が使用されて雑音成分が低減される。
【０００５】
さらに、この雑音除去装置において、ポストフィルタリング手段（１４）により、消し残りの雑音が除去される。この場合、雑音低減手段（１３）と、処理手段（１５）の出力が使用されるが、フィルタの特性でスペクトルの誤差が生じる。そのため、出力の適応部（１６）で補正が行われる。
【０００６】
この場合、目的音がなく、雑音のみが存在する区間において、雑音低減手段（１３）の出力Ｓ１と適応部（１６）の出力Ｓ２とが等しくなるように補正が行われる。このことは、以下の（１）式で表される。この（１）式において、左辺は適応部（１６）の出力Ｓ２の期待値を示し、右辺は目的音がない区間における雑音低減手段（１３）の出力Ｓ１の期待値を示している。
【０００７】
【数１】
【０００８】
このような補正により、ポストフィルタリング手段（１４）において、雑音のみの区間では、Ｓ１，Ｓ２の誤差がなく、雑音を全て除去でき、また、（音声＋雑音）の区間では、雑音の成分だけを除去して、音声を残すことができる。
【０００９】
この補正は、フィルタの指向特性を補正していると解釈できる。図３２（ａ）は補正前のフィルタの指向特性例を示し、図３２（ｂ）は補正後のフィルタの指向特性例を示している。これらの図において、縦軸は利得を示しており、上に行くほど、利得が高くなる。
【００１０】
図３２（ａ）において、実線ａは、ビームフォーマ部（１１）で作られた、目的音を強調する指向特性を示している。この指向特性により、正面の目的音が強調され、その他の方位からくる音の利得が下げられる。また、図３２（ａ）において、破線ｂは、ブロッキング行列部１２で作られた指向特性を示している。この指向特性により、目的音方位の利得が下げられ、雑音が推定される。
【００１１】
補正前においては、目的音強調の指向特性（実線ａ）と雑音推定の指向特性（実線ｂ）との間で、雑音（ノイズ）の方位において、利得の誤差がある。そのため、ポストフィルタリング手段（１４）において、目的音推定信号から雑音推定信号を差し引いた場合、雑音の消し残り、あるいは消しすぎが生じる。
【００１２】
また、図３２（ｂ）において、実線ａ′は、補正後における目的音強調の指向特性を示している。また、図３２（ｂ）において、破線ｂ′は、補正後における雑音推定の指向特性を示している。補正係数により、目的音強調の指向特性と雑音推定の指向特性とにおける雑音（ノイズ）の方位の利得が合わせられる。そのため、ポストフィルタリング手段（１４）において、目的音推定信号から雑音推定信号を差し引いた場合、雑音の消し残り、あるいは消しすぎが低減される。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００９−４９９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上述の特許文献１に記載される雑音抑圧技術においては、マイクロホン間隔の考慮がなされていないという問題がある。すなわち、特許文献１に記載される雑音抑圧技術においては、マイクロホン間隔によって補正係数を正しく計算できない場合がある。補正係数の計算を誤った場合、目的音が歪んでしまう恐れがある。マイクロホン間隔が広い場合、指向特性の曲線が折り返す空間エイリアシングを起こすため、意図しない方位の利得を増幅、あるいは減衰させてしまう。
【００１５】
図３３は、空間エイリアシングを起こしている場合におけるフィルタの指向特性例を示し、実線ａはビームフォーマ部（１１）で作られた目的音強調の指向特性を示し、破線ｂはブロッキング行列部（１２）で作られた雑音推定の指向特性を示している。この図３３に示す指向特性例の場合、目的音と同時に雑音も増幅される。この場合には、補正係数を求めても意味がなく、雑音抑圧の性能が低下する。
【００１６】
上述の特許文献１に記載される雑音抑圧技術においては、事前にマイクロホン間隔が既知であり、さらに、空間エイリアシングが起こらないマイクロホン間隔であることが前提である。この前提はかなり大きな制約である。例えば、電話帯域のサンプリング周波数(8000Hz)で、空間エイリアシングを起こさないようなマイクロホン間隔は約４．３ｃｍとなる。
【００１７】
空間エイリアシングを起こさないためには、事前にマイクロホンの間隔（素子間隔）を設定しておくことが必要である。ここで、音速をｃ、マイクロホンの間隔（素子間隔）をｄ、周波数をｆとするとき、空間エイリアシングを起こさないためには、以下の（２）式を満たす必要がある。
ｄ＜ｃ／２ｆ ・・・（２）
【００１８】
例えば、ノイズキャンセルヘッドホンに設置されているノイズキャンセル用のマイクロホンの場合、マイクロホン間隔は、左右の耳の間隔となる。つまり、この場合には、上述したように空間エイリアシングを起こさないようなマイクロホン間隔である約４．３ｃｍは不可能となる。
【００１９】
また、上述の特許文献１に記載される雑音抑圧技術においては、周囲雑音の音源数の考慮がなされていないという問題がある。すなわち、周囲に無数の雑音源がある状況では、各フレーム、各周波数で、周囲の音がランダムに入力されていることになる。この場合、目的音強調の指向特性と雑音推定の指向特性とで利得を合わせるべき箇所が各フレーム、各周波数でバラバラに動いてしまう。そのため、補正係数が時間と共に常に変化して安定せず、出力音に悪影響を及ぼす。
【００２０】
図３４は、周囲に無数の雑音源がある状況を示している。なお、実線ａは、図３２（ａ）における実線ａと同様の目的音強調の指向特性を示しており、破線ｂは、図３２（ａ）における破線ｂと同様の目的音強調の指向特性を示している。周囲に無数の雑音源があると、２つの指向特性の利得を合わせるべき箇所がたくさんできる。実環境では、このように周囲に無数の雑音源が存在するため、上述の特許文献１に記載される雑音抑圧技術では対応できない。
【００２１】
この発明の目的は、マイクロホン間隔に依存しない雑音除去処理を可能とすることにある。また、この発明の目的は、周囲の雑音の状況に合わせた雑音除去処理を可能とすることにある。
【課題を解決するための手段】
【００２２】
この発明の概念は、
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定部と、
上記目的音強調部で得られた目的音推定信号に残留している雑音成分を、上記雑音推定部で得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリング部と、
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、上記ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出部と、
上記補正係数算出部で算出された補正係数のうち、空間エイリアシングを起こしている帯域の補正係数を、特定の周波数にできるピークをつぶすように変更する補正係数変更部と
を備える雑音除去装置にある。
【００２３】
この発明において、目的音強調部により、所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理が施されて目的音推定信号が得られる。目的音強調処理としては、例えば、従来周知の、ＤＳ（Delay and Sum）処理、あるいは適応ビームフォーマ処理などが用いられる。また、雑音推定部により、第１のマイクロホンおよび第２のマイクロホンの観測信号に雑音推定処理が施されて雑音推定信号が得られる。雑音推定処理としては、例えば、従来周知の、ＮＢＦ（Null-Beam Former）処理、あるいは適応ビームフォーマ処理などが用いられる。
【００２４】
ポストフィルタリング部により、目的音強調部で得られた目的音推定信号に残留している雑音成分が、雑音推定部で得られた雑音推定信号を用いたポストフィルタリング処理によって除去される。ポストフィルタリング処理としては、例えば、従来周知の、スペクトルサブトラクション法、ＭＭＳＥ-ＳＴＳＡ法などが用いられる。また、補正係数算出部により、目的音強調部で得られた目的音推定信号および雑音推定部で得られた雑音推定信号に基づいて、ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数が周波数毎に算出される。
【００２５】
補正係数変更部により、補正係数算出部で算出された補正係数のうち、空間エイリアシングを起こしている帯域の補正係数が、特定の周波数にできるピークをつぶすように変更される。例えば、補正係数変更部では、空間エイリアシングを起こしている帯域において、補正係数算出部で算出された補正係数が周波数方向に平滑化されて各周波数の変更された補正係数が得られる。また、例えば、補正係数変更部では、空間エイリアシングを起こしている帯域において、各周波数の補正係数が１に変更される。
【００２６】
第１のマイクロホンおよび第２のマイクロホンの間隔、つまりマイクロホン間隔が広い場合、空間エイリアシングを起こし、目的音強調の指向特性は、目的音の方位以外の音も強調するような指向特性となる。補正係数算出部で算出された各周波数の補正係数のうち、空間エイリアシングを起こしている帯域では、特定の周波数にピークができる。そのため、この補正係数をそのまま使用されると、上述したように特定の周波数にできたピークが出力音に悪影響を及ぼし、音質を劣化させる。
【００２７】
この発明においては、空間エイリアシングを起こしている帯域の補正係数が、特定の周波数にできるピークをつぶすように変更されるものであり、このピークが出力音に及ぼす悪影響を軽減でき、音質の劣化を抑制できる。これにより、マイクロホン間隔に依存しない雑音除去処理が可能となる。
【００２８】
この発明において、例えば、目的音強調部で得られた目的音推定信号および雑音推定部で得られた雑音推定信号に基づいて、目的音がある区間を検出する目的音区間検出部をさらに備え、補正係数算出部は、目的音区間検出部で得られた目的音区間情報に基づいて、目的音がない区間で補正係数の算出を行う、ようにされる。この場合、目的音推定信号には雑音成分のみが含まれるため、目的音の影響を受けることなく、補正係数を精度よく算出可能となる。
【００２９】
例えば、目的音検出部では、目的音推定信号と雑音推定信号のエネルギー比が求められ、このエネルギー比が閾値より大きいときは目的音区間と判断される。また、例えば、補正係数算出部では、ｆ番目の周波数のフレームｔの補正係数β(f,t)は、このｆ番目の周波数のフレームｔの目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)と、ｆ番目の周波数のフレームｔ−１の補正係数β(f,t-1)が用いられて、
【数２】
の式で算出される。
【００３０】
また、この発明の他の概念は、
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定部と、
上記目的音強調部で得られた目的音推定信号に残留している雑音成分を、上記雑音推定部で得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリング部と、
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、上記ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号を処理して周囲雑音の音源数情報を得る周囲雑音状態推定部と、
上記周囲雑音状態推定部で得られた周囲雑音の音源数情報に基づき、音源数が多い程平滑化フレーム数を大きくして、上記補正係数算出部で算出された補正係数をフレーム方向に平滑化して各フレームの変更された補正係数を得る補正係数変更部と
を備える雑音除去装置にある。
【００３１】
この発明において、目的音強調部により、所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理が施されて目的音推定信号が得られる。目的音強調処理としては、例えば、従来周知の、ＤＳ（Delay and Sum）処理、あるいは適応ビームフォーマ処理などが用いられる。また、雑音推定部により、第１のマイクロホンおよび第２のマイクロホンの観測信号に雑音推定処理が施されて雑音推定信号が得られる。雑音推定処理としては、例えば、従来周知の、ＮＢＦ（Null-Beam Former）処理、あるいは適応ビームフォーマ処理などが用いられる。
【００３２】
ポストフィルタリング部により、目的音強調部で得られた目的音推定信号に残留している雑音成分が、雑音推定部で得られた雑音推定信号を用いたポストフィルタリングによって除去される。ポストフィルタリング処理としては、例えば、従来周知の、スペクトルサブトラクション法、ＭＭＳＥ-ＳＴＳＡ法などが用いられる。また、補正係数算出部により、目的音強調部で得られた目的音推定信号および雑音推定部で得られた雑音推定信号に基づいて、ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数が周波数毎に算出される。
【００３３】
周囲雑音状態推定部により、第１のマイクロホンおよび第２のマイクロホンの観測信号が処理されて周囲雑音の音源数情報が得られる。例えば、周囲雑音状態推定部では、第１のマイクロホンおよび第２のマイクロホンの観測信号の相関係数が算出され、この算出された相関係数が周囲雑音の音源数情報とされる。補正係数変更部により、周囲雑音状態推定部で得られた周囲雑音の音源数情報に基づき、音源数が多い程平滑化フレーム数が大きくされて、補正係数算出部で算出された補正係数がフレーム方向に平滑化されて各フレームの変更された補正係数が得られる。
【００３４】
周囲に無数の雑音源がある状況では、各フレーム、各周波数で、周囲の各雑音源からの音がランダムに入力され、目的音強調の指向特性と雑音推定の指向特性とで利得を合わせるべき箇所が各フレーム、各周波数でバラバラに動く。つまり、補正係数算出部で算出される補正係数が時間と共に常に変化して安定せず、出力音に悪影響を及ぼす。
【００３５】
この発明においては、周囲雑音の音源数が多い程平滑化フレーム数が大きくされ、各フレームの補正係数として、フレーム方向に平滑化されたものが使用される。これにより、周囲に無数の雑音源がある状況において、補正係数の時間方向の変化を抑制して出力音に及ぼす影響を軽減できる。これにより、周囲の雑音の状況（周囲に無数に雑音がある現実的な環境）に合わせた雑音除去処理が可能となる。
【発明の効果】
【００３６】
この発明によれば、空間エイリアシングを起こしている帯域の補正係数が、特定の周波数にできるピークをつぶすように変更されるものであり、このピークが出力音に及ぼす悪影響を軽減でき、音質の劣化を抑制でき、マイクロホン間隔に依存しない雑音除去処理が可能となる。また、この発明によれば、周囲雑音の音源数が多い程平滑化フレーム数が大きくされ、各フレームの補正係数として、フレーム方向に平滑化されたものが使用されるものであり、周囲に無数の雑音源がある状況において、補正係数の時間方向の変化を抑制して出力音に及ぼす影響を軽減でき、周囲の雑音の状況に合わせた雑音除去処理が可能となる。
【図面の簡単な説明】
【００３７】
【図１】この発明の第１の実施の形態としての音声入力システムの構成例を示すブロック図である。
【図２】目的音強調部を説明するための図である。
【図３】雑音推定部を説明するための図である。
【図４】ポストフィルタリング部を説明するための図である。
【図５】補正係数算出部を説明するための図である。
【図６】補正係数算出部で算出される周波数毎の補正係数の一例（マイクロホン間隔ｄ＝２ｃｍ、空間エイリアシング無し）を示す図である。
【図７】補正係数算出部で算出される周波数毎の補正係数の一例（マイクロホン間隔ｄ＝２０ｃｍ、空間エイリアシング有り）を示す図である。
【図８】雑音（女性話者）が４５°の方位に存在することを示す図である。
【図９】補正係数算出部で算出される周波数毎の補正係数の一例（マイクロホン間隔ｄ＝２ｃｍ、空間エイリアシング無し、雑音源数＝２）を示す図である。
【図１０】補正係数算出部で算出される周波数毎の補正係数の一例（マイクロホン間隔ｄ＝２０ｃｍ、空間エイリアシング有り、雑音源数＝２）を示す図である。
【図１１】雑音（女性話者）が４５°の方位に存在し、さらに、雑音（男性話者）が−３０°の方位に存在することを示す図である。
【図１２】空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更するために、周波数方向に平滑化する方法（第１の方法）を説明するための図である。
【図１３】空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更するために、周波数方向に平滑化する方法（第１の方法）を説明するための図である。
【図１４】空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更するために、１に置き換える方法（第２の方法）を説明するための図である。
【図１５】補正係数変更部における処理の手順を示すフローチャートである。
【図１６】この発明の第２の実施の形態としての音声入力システムの構成例を示すブロック図である。
【図１７】雑音の音源数と、相関係数corrとの関係の一例を示す棒グラフである。
【図１８】雑音が４５°の方位に存在する場合に補正係数算出部で算出される周波数毎の補正係数の一例（マイクロホン間隔ｄ＝２ｃｍ）を示す図である。
【図１９】雑音が４５°の方位に存在することを示す図である。
【図２０】複数の方位に雑音が存在する場合に補正係数算出部で算出される周波数毎の補正係数の一例（マイクロホン間隔ｄ＝２ｃｍ）を示す図である。
【図２１】複数の方位に雑音が存在することを示す図である。
【図２２】補正係数算出部で算出される補正係数が、フレーム毎に、ランダムに変化することを示す図である。
【図２３】相関係数corr（周囲雑音の音源数情報）に基づいて平滑化フレーム数γを求める際に使用される平滑化フレーム数算出関数の一例を示す図である。
【図２４】補正係数算出部で算出された補正係数をフレーム方向（時間方向）に平滑化して変更された補正係数を得ることを説明するための図である。
【図２５】周囲雑音状態推定部および補正係数変更部における処理の手順を示すフローチャートである。
【図２６】この発明の第３の実施の形態としての音声入力システムの構成例を示すブロック図である。
【図２７】補正係数変更部、周囲雑音状態推定部および補正係数変更部における処理の手順を示すフローチャートである。
【図２８】この発明の第４の実施の形態としての音声入力システムの構成例を示すブロック図である。
【図２９】目的音検出部を説明するための図である。
【図３０】目的音検出部の原理を説明するための図である。
【図３１】従来の雑音除去装置の構成例を示すブロック図である。
【図３２】従来の雑音除去装置における補正前、補正後の目的音強調の指向特性と雑音推定の指向特性の一例を示す図である。
【図３３】空間エイリアシングを起こしている場合におけるフィルタの指向特性例を示す図である。
【図３４】周囲に無数の雑音源がある状況を示す図である。
【発明を実施するための形態】
【００３８】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
【００３９】
＜１．第１の実施の形態＞
［音声入力システムの構成例］
図１は、第１の実施の形態としての音声入力システム１００の構成例を示している。この音声入力システム１００は、ノイズキャンセルヘッドホンの左右のヘッドホンに設置されているノイズキャンセル用のマイクロホンを用いて音声入力を行うシステムである。
【００４０】
この音声入力システム１００は、マイクロホン１０１ａ，１０１ｂと、Ａ／Ｄ変換器１０２と、フレーム分割部１０３と、高速フーリエ変換（ＦＦＴ）部１０４と、目的音強調部１０５と、雑音推定部（目的音抑圧部）１０６を有している。また、この音声入力システム１００は、補正係数算出部１０７と、補正係数変更部１０８と、ポストフィルタリング部１０９と、逆高速フーリエ変換（ＩＦＦＴ）部１１０と、波形合成部１１１を有している。
【００４１】
マイクロホン１０１ａ，１０１ｂは、周囲音を集音して観測信号を得る。マイクロホン１０１ａおよびマイクロホン１０１ｂは、所定の間隔をもって並べて配置されている。この実施の形態において、マイクロホン１０１ａ，１０１ｂは、ノイズキャンセルヘッドホンの左右のヘッドホンにそれぞれ設置されているノイズキャンセル用のマイクロホンとされる。
【００４２】
Ａ／Ｄ変換器１０２は、マイクロホン１０１ａ，１０１ｂから得られる観測信号を、アナログ信号からデジタル信号に変換する。フレーム分割部１０３は、Ａ／Ｄ変換器１０２でデジタル信号に変換された観測信号を、フレーム毎の処理を行うために、所定時間長のフレームに分割して、フレーム化する。高速フーリエ変換部１０４は、フレーム分割部１０３で得られたフレーム化信号に対して、高速フーリエ変換（ＦＦＴ：Fast Fourier transform）処理を施し、周波数領域の周波数スペクトルＸ(f,t)に変換する。ここで、(f,ｔ)は、ｆ番目の周波数のフレームｔの周波数スペクトルであることを示している。つまり、ｆは周波数を示し、ｔは時間インデックスを示している。
【００４３】
目的音強調部１０５は、マイクロホン１０１ａ，１０１ｂの観測信号に目的音強調処理を施して、各フレームにおいて、周波数毎に目的音推定信号を得る。この目的音強調部１０５は、図２に示すように、マイクロホン１０１ａの観測信号をＸ1(f,t)とし、マイクロホン１０１ｂの観測信号をＸ2(f,t)とするとき、目的音推定信号Ｚ(f,t)を得る。目的音強調部１０５は、目的音強調処理として、例えば、従来周知の、ＤＳ（Delayand Sum）処理、あるいは適応ビームフォーマ処理などを用いる。
【００４４】
ＤＳは、マイクロホン１０１ａ，１０１ｂに入力される信号の位相を目的音の方位に合わせ込む技術である。マイクロホン１０１ａ，１０１ｂはノイズキャンセルヘッドホンの左右のヘッドホンに設置されているノイズキャンセル用のマイクロホンであり、ユーザの口はマイクロホン１０１ａ，１０１ｂから見て必ず正面となる。
【００４５】
そのため、目的音強調部１０５は、ＤＳ処理を用いる場合、以下の（３）式に基づき、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)を加算処理した後に、２で割って目的音推定信号Ｚ(f,t)を得る。
Ｚ(f,t)＝｛Ｘ1(f,t)＋Ｘ2(f,t)｝／２ ・・・（３）
【００４６】
なお、ＤＳは固定ビームフォーマとよばれる技術であり、入力信号の位相を変化させて、指向特性を制御する技術である。目的音強調部１０５は、マイクロホン間隔が事前にわかっている場合には、上述したように、ＤＳ処理の代わりに、適応ビームフォーマ処理などの処理を用いて、目的音推定信号Ｚ(f,t)を得ることもできる。
【００４７】
図１に戻って、雑音推定部（目的音抑圧部）１０６は、マイクロホン１０１ａ，１０１ｂの観測信号に雑音推定処理を施して、各フレームにおいて、周波数毎に雑音推定信号を得る。この雑音推定部１０６は、目的音（ユーザ音声）以外の音を雑音として推定する。すなわち、この雑音推定部１０６は、目的音だけを除去して、雑音を残す処理を行う。
【００４８】
この雑音推定部１０６は、図３に示すように、マイクロホン１０１ａの観測信号をＸ1(f,t)とし、マイクロホン１０１ｂの観測信号をＸ2(f,t)とするとき、雑音推定信号Ｎ(f,t)を得る。雑音推定部１０６は、雑音推定処理として、例えば、従来周知の、ＮＢＦ（Null-BeamFormer）処理、あるいは適応ビームフォーマ処理などを用いる。
【００４９】
上述したように、マイクロホン１０１ａ，１０１ｂはノイズキャンセルヘッドホンの左右のヘッドホンに設置されているノイズキャンセル用のマイクロホンであり、ユーザの口はマイクロホン１０１ａ，１０１ｂから見て必ず正面となる。そのため、雑音推定部１０６は、ＮＢＦ処理を用いる場合、以下の（４）式に基づき、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)を減算処理した後に、２で割って雑音推定信号Ｎ(f,t)を得る。
Ｎ(f,t)＝｛Ｘ1(f,t)−Ｘ2(f,t)｝／２ ・・・（４）
【００５０】
なお、ＮＢＦは固定ビームフォーマとよばれる技術であり、入力信号の位相を変化させて、指向特性を制御する技術である。雑音推定部１０６は、マイクロホン間隔が事前にわかっている場合には、上述したように、ＮＢＦ処理の代わりに、適応ビームフォーマ処理などの処理を用いて、雑音推定信号Ｎ(f,t)を得ることもできる。
【００５１】
図１に戻って、ポストフィルタリング部１０９は、目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)に残留している雑音成分を、雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)を用いたポストフィルタリング処理によって除去する。すなわち、このポストフィルタリング部１０９は、図４に示すように、目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)に基づいて、雑音抑圧信号Ｙ(f,t)を得る。
【００５２】
ポストフィルタリング部１０９は、スペクトルサブトラクション法、ＭＭＳＥ−ＳＴＳＡ法などの公知技術を使用して、雑音抑圧信号Ｙ(f,t)を得る。スペクトルサブトラクション法は、例えば、文献「S.F.Boll, “Suppression of acoustic noise in speech using spectral subtraction,” IEEE Trans. Acoustics, Speech, and Signal Processing, vol.27, no.2,pp.113-120, 1979.」に記載されている。また、ＭＭＳＥ−ＳＴＳＡ法は、文献「Y.Ephraimand D.Malah, “Speech enhancement using a minimummean-square error short-time spectral amplitude estimator,” IEEE Trans. Acoustics, Speech, and Signal Processing, vol.32, no.6,pp.1109-1121, 1984.」に記載されている。
【００５３】
図１に戻って、補正係数算出部１０７は、補正係数β(f,t)を、各フレームにおいて、周波数毎に算出する。この補正係数β(f,t)は、上述のポストフィルタリング部１０９で行われるポストフィルタリング処理を補正するため、つまり目的音推定信号Ｚ(f,t)に残留している雑音成分の利得と、雑音推定信号Ｎ(f,t)の利得を合わせるためのものである。補正係数算出部１０７は、図５に示すように、目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)に基づいて、各フレームにおいて、周波数毎に補正係数β(f,t)を算出する。
【００５４】
この実施の形態において、補正係数算出部１０７は、以下の（５）式に基づいて、補正係数β(f,t)を算出する。
【数３】
【００５５】
補正係数算出部１０７は、現フレームの算出係数だけではフレーム毎に補正係数がばらつくので、前フレームの補正係数β(f,t-1)を使用して平滑化することで、安定した補正係数β(f,t)を求めている。（５）式の右辺第１項は、前フレームの補正係数β(f,t-1)をキャリーする項であり、（５）式の右辺第２項は、現フレームの係数を算出する項である。なお、αは平滑化係数であって、例えば、０．９あるいは０．９５等の固定値とされ、前フレームに重みが置かれている。
【００５６】
上述のポストフィルタリング部１０９は、スペクトルサブトラクション法の公知技術を使用して雑音抑圧信号Ｙ(f,t)を得る場合、以下の（６）式のように補正係数β(f,t)を使用する。この場合、ポストフィルタリング部１０９は、雑音推定信号Ｎ(f,t)に補正係数β(f,t)を掛けて、当該雑音推定信号Ｎ(f,t)の補正を行う。この（６）式において、補正係数β(f,t)＝１では、補正を行わないということになる。
Ｙ(f,t)＝Ｚ(f,t)−β(f,t)＊Ｎ(f,t) ・・・（６）
【００５７】
補正係数変更部１０８は、各フレームにおいて、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更する。ポストフィルタリング部１０９は、実際には、補正係数算出部１０７で算出された補正係数β(f,t)そのものではなく、この変更後の補正係数β′(f,t)を用いる。
【００５８】
上述したように、マイクロホン間隔が広い場合、指向特性の曲線が折り返す空間エイリアシングを起こし、目的音強調の指向特性は目的音の方位以外の音も強調するような指向特性となる。補正係数算出部１０７で算出される各周波数の補正係数のうち、空間エイリアシングを起こしている帯域では、特定の周波数にピークができる。この補正係数がそのまま使用されると、特定の周波数にできたピークが出力音に悪影響を及ぼし、音質を劣化させる。
【００５９】
図６、図７は、それぞれ、図８に示すように、雑音（女性話者）が４５°の方位に存在する場合の補正係数の一例を示している。図６は、マイクロホン間隔ｄが２ｃｍの場合であって、空間エイリアシングがない場合を示している。これに対して、図７は、マイクロホン間隔ｄが２０ｃｍの場合であって、空間エイリアシングがある場合を示しており、特定の周波数にピークができている。
【００６０】
上述の図６、図７の補正係数の一例は、雑音が１つの場合を示している。しかし、実際の環境においては、雑音は１つではない。図９、図１０は、それぞれ、図１１に示すように、雑音（女性話者）が４５°の方位に存在し、さらに、雑音（男性話者）が−３０°の方位に存在する場合の補正係数の一例を示している。
【００６１】
図９は、マイクロホン間隔ｄが２ｃｍの場合であって、空間エイリアシングがない場合を示している。これに対して、図１０は、マイクロホン間隔ｄが２０ｃｍの場合であって、空間エイリアシングがある場合を示しており、特定の周波数にピークができている。この場合、雑音が１つの場合（図７参照）に比べて係数のピークは複雑になるが、雑音が１つの場合と同様に、係数の値が落ち込む周波数がある。
【００６２】
補正係数変更部１０８は、補正係数算出部１０７で算出された補正係数β(f,t)をチェックし、係数の値が落ち込んでいる低域側の最初の周波数Ｆａ(t)を見つける。補正係数変更部１０８は、図７、図１０に示すように、Ｆａ(t)以上の帯域では空間エイリアシングを起こしていると判断する。そして、補正係数変更部１０８は、上述したように、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更する。
【００６３】
補正係数変更部１０８は、例えば、第１の方法、あるいは第２の方法を用いて、空間エイリアシングを起こしている帯域の補正係数を変更する。第１の方法を用いる場合、補正係数変更部１０８は、以下のようにして、各周波数の変更された補正係数β′(f,t)を得る。補正係数変更部１０８は、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の補正係数を、図１２、図１３に示すように、周波数方向に平滑化して、各周波数の変更された補正係数β′(f,t)を得る。
【００６４】
このように周波数方向に平滑化することで、過剰に現れた係数のピークをつぶすことができる。なお、平滑化の区間長は任意に設定でき、図１２においては、矢印の長さを短くして区間長が短く設定されていることを表している。また、図１３においては、矢印の長さを長くして区間長が長く設定されていることを表している。
【００６５】
一方、第２の方法を用いる場合、補正係数変更部１０８は、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の補正係数を、図１４に示すように、１に置き換えて、変更された補正係数β′(f,t)を得る。なお、図１４は対数表記であるので、１ではなく、０となっている。この第２の方法は、第１の方法において極端に平滑化した場合には補正係数が１に近づいていくことを利用している。この第２の方法は、平滑化の演算を省略できる利益がある。
【００６６】
図１５のフローチャートは、補正係数変更部１０８における処理（１フレーム分）の手順を示している。補正係数変更部１０８は、ステップＳＴ１において、処理を開始し、その後にステップＳＴ２の処理に移る。このステップＳＴ２において、補正係数変更部１０８は、補正係数算出部１０７から補正係数β(f,t)を取得する。そして、補正係数変更部１０８は、ステップＳＴ３において、現在のフレームｔにおいて、各周波数ｆの係数を低域からサーチし、係数の値が落ち込んでいる低域側の最初の周波数Ｆａ(t)を見つける。
【００６７】
次に、補正係数変更部１０８は、ステップＳＴ４において、Ｆａ(t)以上の帯域、つまり、空間エイリアシングを起こしている帯域を平滑化するか否かのフラグをチェックする。なお、このフラグは、予めユーザ操作によって、設定されている。フラグオン（ON）のとき、補正係数変更部１０８は、ステップＳＴ５において、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の係数を周波数方向に平滑化して、各周波数ｆの変更された補正係数β′(f,t)を得る。補正係数変更部１０８は、このステップＳＴ５の処理の後、ステップＳＴ６において、処理を終了する。
【００６８】
また、補正係数変更部１０８は、ステップＳＴ４でフラグオフ（off）のとき、ステップＳＴ７において、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の補正係数を「１」に置き換えて、補正係数β′(f,t)を得る。補正係数変更部１０８は、このステップＳＴ７の処理の後、ステップＳＴ６において、処理を終了する。
【００６９】
図１に戻って、逆高速フーリエ変換（ＩＦＦＴ）部１１０は、フレーム毎に、ポストフィルタリング部１０９から出力される雑音抑圧信号Ｙ(f,t)に対して、逆高速フーリエ変換処理を施す。この逆高速フーリエ変換部１１０は、上述のフーリエ変換部１０４とは逆の処理を行い、周波数領域信号を時間領域信号に変換して、フレーム化信号を得る。
【００７０】
波形合成部１１１は、逆高速フーリエ変換部１１０で得られた各フレームのフレーム化信号を合成して、時系列的に連続した音声信号に復元する。この波形合成部１１１は、フレーム合成部を構成している。この波形合成部１１１は、音声入力システム１００の出力として、雑音抑圧された音声信号ＳＡoutを出力する。
【００７１】
図１に示す音声入力システム１００の動作を簡単に説明する。所定の間隔をもって並べて配置されているマイクロホン１０１ａ，１０１ｂでは周囲音が集音されて観測信号が得られる。マイクロホン１０１ａ，１０１ｂで得られた観測信号は、Ａ／Ｄ変換器１０２でアナログ信号からデジタル信号に変換された後に、フレーム分割部１０３に供給される。そして、フレーム分割部１０３では、マイクロホン１０１ａ，１０１ｂからの観測信号が、所定時間長のフレームに分割されて、フレーム化される。
【００７２】
フレーム分割部１０３でフレーム化されて得られた各フレームのフレーム化信号は、高速フーリエ変換部１０４に順次供給される。高速フーリエ変換部１０４では、フレーム化信号に対して、高速フーリエ変換（ＦＦＴ）処理が施されて、周波数領域の信号として、マイクロホン１０１ａの観測信号Ｘ1(f,t)と、マイクロホン１０１ｂの観測信号をＸ2(f,t)が得られる。
【００７３】
高速フーリエ変換部１０４で得られた観測信号Ｘ1(f,t)，Ｘ2(f,t)は、目的音強調部１０５に供給される。この目的音強調部１０５では、観測信号Ｘ1(f,t)，Ｘ2(f,t)に、従来周知のＤＳ処理、あるいは適応ビームフォーマ処理などが施され、各フレームにおいて、周波数毎に目的音推定信号Ｚ(f,t)が得られる。例えば、ＤＳ処理が用いられる場合には、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)が加算処理された後に２で割られて目的音推定信号Ｚ(f,t)とされる（（３）式参照）。
【００７４】
また、高速フーリエ変換部１０４で得られた観測信号Ｘ1(f,t)，Ｘ2(f,t)は、雑音推定部１０６に供給される。この雑音推定部１０６では、観測信号Ｘ1(f,t)，Ｘ2(f,t)に、従来周知のＮＢＦ処理、あるいは適応ビームフォーマ処理などが施され、各フレームにおいて、周波数毎に雑音推定信号Ｎ(f,t)が得られる。例えば、ＮＢＦ処理が用いられる場合には、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)が減算処理された後に２で割られて雑音推定信号Ｎ(f,t)とされる（（４）式参照）。
【００７５】
目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)は、補正係数算出部１０７に供給される。補正係数算出部１０７では、目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)に基づいて、ポストフィルタリング処理を補正するための補正係数β(f,t)が、各フレームにおいて、周波数毎に算出される（（５）式参照）。
【００７６】
補正係数算出部１０７で算出された補正係数β(f,t)は、補正係数変更部１０８に供給される。補正係数変更部１０８では、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の係数が、特定の周波数にできるピークをつぶすように変更されて、変更後の補正係数β′(f,t)が得られる。
【００７７】
この補正係数変更部１０８では、補正係数算出部１０７で算出された補正係数β(f,t)がチェックされて、係数の値が落ち込んでいる低域側の最初の周波数Ｆａ(t)が見つけられ、Ｆａ(t)以上の帯域では空間エイリアシングを起こしていると判断される。そして、補正係数変更部１０８では、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の係数が、特定の周波数にできるピークをつぶすように変更される。
【００７８】
例えば、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の補正係数が、周波数方向に平滑化されて、各周波数の変更された補正係数β′(f,t)が得られる（図１２、図１３参照）。また、例えば、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の補正係数が１に置き換えられて、変更された補正係数β′(f,t)が得られる（図１４参照）。
【００７９】
目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)は、ポストフィルタリング部１０９に供給される。また、このポストフィルタリング部１０９には、補正係数変更部１０８で変更された補正係数β′(f,t)が供給される。このポストフィルタリング部１０９では、目的音推定信号Ｚ(f,t)に残留している雑音成分が、雑音推定信号Ｎ(f,t)を用いたポストフィルタリング処理によって除去される。補正係数β′(f,t)は、このポストフィルタリング処理を補正するため、つまり目的音推定信号Ｚ(f,t)に残留している雑音成分の利得と、雑音推定信号Ｎ(f,t)の利得を合わせるために用いられる。
【００８０】
このポストフィルタリング部１０９では、例えば、スペクトルサブトラクション法、ＭＭＳＥ−ＳＴＳＡ法などの公知技術が使用されて、雑音抑圧信号Ｙ(f,t)が得られる。例えば、スペクトルサブトラクション法が使用される場合、雑音抑圧信号Ｙ(f,t)は、以下の（７）式に基づいて求められる。
Ｙ(f,t)＝Ｚ(f,t)−β′(f,t)＊Ｎ(f,t) ・・・（７）
【００８１】
ポストフィルタリング部１０９からフレーム毎に出力される各周波数の雑音抑圧信号Ｙ(f,t)は、逆高速フーリエ変換部１１０に供給される。この逆高速フーリエ変換部１１０では、フレーム毎に、各周波数の雑音抑圧信号Ｙ(f,t)に対して、逆高速フーリエ変換処理が施され、時間領域信号に変換されたフレーム化信号が得られる。各フレームのフレーム化信号は、波形合成部１１１に順次供給される。この波形合成部１１１では、各フレームのフレーム化信号が合成されて、時系列的に連続した、音声入力システム１００の出力としての、雑音抑圧された音声信号ＳＡoutが得られる。
【００８２】
上述したように、図１に示す音声入力システム１００においては、補正係数算出部１０７で算出された補正係数β(f,t)が補正係数変更部１０８により変更される。この場合、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域（Ｆａ(t)以上の帯域）の係数が、特定の周波数にできるピークをつぶすように変更されて、変更された補正係数β′(f,t)が得られる。ポストフィルタリング部１０９では、この変更された補正係数β′(f,t)が用いられる。
【００８３】
そのため、空間エイリアシングを起こしている帯域の特定の周波数にできる係数のピークが出力音に及ぼす悪影響を軽減でき、音質の劣化を抑制できる。これにより、マイクロホン間隔に依存しない雑音除去処理が可能となる。したがって、マイクロホン１０１ａ，１０１ｂがヘッドホンに設置されているノイズキャンセル用のマイクロホンであって、マイクロホン間隔が広い場合にあっても、効率よく雑音の補正を行うことができ、歪みの少ない良好な雑音除去処理が行われる。
【００８４】
＜２．第２の実施の形態＞
［音声入力システムの構成例］
図１６は、第２の実施の形態としての音声入力システム１００Ａの構成例を示している。この音声入力システム１００Ａも、上述の図１に示す音声入力システム１００と同様に、ノイズキャンセルヘッドホンの左右のヘッドホンに設置されているノイズキャンセル用のマイクロホンを用いて音声入力を行うシステムである。この図１６において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【００８５】
この音声入力システム１００Ａは、マイクロホン１０１ａ，１０１ｂと、Ａ／Ｄ変換器１０２と、フレーム分割部１０３と、高速フーリエ変換（ＦＦＴ）部１０４と、目的音強調部１０５と、雑音推定部１０６を有している。また、この音声入力システム１００Ａは、補正係数算出部１０７と、ポストフィルタリング部１０９と、逆高速フーリエ変換（ＩＦＦＴ）部１１０と、波形合成部１１１と、周囲雑音状態推定部１１２と、補正係数変更部１１３を有している。
【００８６】
周囲雑音状態推定部１１２は、マイクロホン１０１ａ，１０１ｂの観測信号を処理して周囲雑音の音源数情報を得る。周囲雑音状態推定部１１２は、以下の（８）式に基づいて、フレーム毎に、マイクロホン１０１ａの観測信号およびマイクロホン１０１ｂの観測信号の相関係数corrを算出し、周囲雑音の音源数情報とする。この（８）式において、ｘ1(n)は、マイクロホン１０１ａの時間軸データを示し、ｘ2(n)は、マイクロホン１０１ｂの時間軸データを示し、Ｎはサンプル数を示している。
【００８７】
【数４】
【００８８】
図１７の棒グラフは、雑音の音源数と、相関係数corrとの関係の一例を示している。一般に、音源数が増えると、マイクロホン１０１ａ，１０１ｂの観測信号の相関が低下していく。理論的には、音源数が増えていくにつれて相関係数corrは０に近づいていく。そのため、相関係数corrにより周囲雑音の音源数を推定することができる。
【００８９】
図１６に戻って、補正係数変更部１１３は、各フレームにおいて、周囲雑音状態推定部１１２で得られた相関係数corr（周囲雑音の音源数情報）に基づいて、補正係数算出部１０７で算出された補正係数β(f,t)を変更する。すなわち、補正係数変更部１１３は、音源数が多い程平滑化フレーム数を大きくして、補正係数算出部１０７で算出された係数をフレーム方向に平滑化して、変更された補正係数β′(f,t)を得る。ポストフィルタリング部１０９は、実際には、補正係数算出部１０７で算出された補正係数β(f,t)そのものではなく、この変更後の補正係数β′(f,t)を用いる。
【００９０】
図１８は、図１９に示すように、４５°の方位に雑音が存在する場合の補正係数の一例（マイクロホン間隔ｄは２ｃｍ）を示している。これに対して、図２０は、図２１に示すように、複数の方位に雑音が存在する場合の補正係数の一例（マイクロホン間隔ｄは２ｃｍ）を示している。このようにマイクロホン間隔が空間エイリアシングを起こさないような適正な間隔であったとしても、雑音の音源数が増えると、補正係数が安定しなくなる。これにより、図２２に示すように、補正係数が、フレーム毎に、ランダムに変化する。この補正係数がそのまま使用されると、出力音に悪影響を及ぼし、音質を劣化させる。
【００９１】
補正係数変更部１１３は、各フレームにおいて、周囲雑音状態推定部１１２で得られた相関係数corr（周囲雑音の音源数情報）に基づいて、平滑化フレーム数γを計算する。補正係数変更部１１３は、例えば、図２３に示すような、平滑化フレーム数算出関数により、平滑化フレーム数γを求める。この場合、マイクロホン１０１ａ，１０１ｂの観測信号の相関が大きいとき、つまり相関係数corrの値が大きいときは、平滑化フレーム数γは小さく求められる。
【００９２】
一方、マイクロホン１０１ａ，１０１ｂの観測信号の相関が小さいとき、つまり相関係数corrの値が小さいときは、平滑化フレーム数γは大きく求められる。なお、補正係数変更部１１３は、実際に演算処理を行う必要はなく、相関係数corrと平滑化フレーム数γとの対応関係が記憶されたテーブルから、相関係数corrにより平滑化フレーム数γを読み出すようにしてもよい。
【００９３】
補正係数変更部１１３は、各フレームにおいて、補正係数算出部１０７で算出された補正係数β(f,t)を、図２４に示すように、フレーム方向（時間方向）に平滑化して、各フレームの変更された補正係数β′(f,t)を得る。この場合、上述したように求められた平滑化フレーム数γで平滑化が行われる。このように変更された各フレームの補正係数がβ′(f,t)は、フレーム方向（時間方向）になだらかに変化するものとなる。
【００９４】
図２５のフローチャートは、周囲雑音状態推定部１１２および補正係数変更部１１３における処理（１フレーム分）の手順を示している。各部は、ステップＳＴ１１において、処理を開始する。その後に、ステップＳＴ１２において、周囲雑音状態推定部１１２は、マイクロホン１０１ａ，１０１ｂの観測信号のデータフレームｘ1(t)，ｘ2(t)を取得する。そして、周囲雑音状態推定部１１２は、ステップＳＴ１３において、マイクロホン１０１ａ，１０１ｂの観測信号の相関の度合いを示す相関係数corr(t)を算出する（（８）式参照）。
【００９５】
次に、補正係数変更部１１３は、ステップＳＴ１４において、ステップＳＴ１３で周囲雑音状態推定部１１２で計算された相関係数corr(t)の値を用いて、平滑化フレーム数算出関数により（図２３参照）、平滑化フレーム数γを算出する。そして、補正係数変更部１１３は、ステップＳＴ１５において、補正係数算出部１０７で算出された補正係数β(f,t)を、ステップＳＴ１４で計算した平滑化フレーム数γで平滑化して、変更された補正係数β′(f,t)を得る。各部は、このステップＳＴ１５の処理の後、ステップＳＴ１６において、処理を終了する。
【００９６】
図１６に示す音声入力システム１００Ａのその他は、詳細説明は省略するが、図１に示す音声入力システム１００と同様に構成されている。
【００９７】
図１６に示す音声入力システム１００Ａの動作を簡単に説明する。所定の間隔をもって並べて配置されているマイクロホン１０１ａ，１０１ｂでは周囲音が集音されて観測信号が得られる。マイクロホン１０１ａ，１０１ｂで得られた観測信号は、Ａ／Ｄ変換器１０２でアナログ信号からデジタル信号に変換された後に、フレーム分割部１０３に供給される。そして、フレーム分割部１０３では、マイクロホン１０１ａ，１０１ｂからの観測信号が、所定時間長のフレームに分割されて、フレーム化される。
【００９８】
フレーム分割部１０３でフレーム化されて得られた各フレームのフレーム化信号は、高速フーリエ変換部１０４に順次供給される。高速フーリエ変換部１０４では、フレーム化信号に対して、高速フーリエ変換（ＦＦＴ）処理が施されて、周波数領域の信号として、マイクロホン１０１ａの観測信号Ｘ1(f,t)と、マイクロホン１０１ｂの観測信号をＸ2(f,t)が得られる。
【００９９】
高速フーリエ変換部１０４で得られた観測信号Ｘ1(f,t)，Ｘ2(f,t)は、目的音強調部１０５に供給される。この目的音強調部１０５では、観測信号Ｘ1(f,t)，Ｘ2(f,t)に、従来周知のＤＳ処理、あるいは適応ビームフォーマ処理などが施され、各フレームにおいて、周波数毎に目的音推定信号Ｚ(f,t)が得られる。例えば、ＤＳ処理が用いられる場合には、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)が加算処理された後に２で割られて目的音推定信号Ｚ(f,t)とされる（（３）式参照）。
【０１００】
また、高速フーリエ変換部１０４で得られた観測信号Ｘ1(f,t)，Ｘ2(f,t)は、雑音推定部１０６に供給される。この雑音推定部１０６では、観測信号Ｘ1(f,t)，Ｘ2(f,t)に、従来周知のＮＢＦ処理、あるいは適応ビームフォーマ処理などが施され、各フレームにおいて、周波数毎に雑音推定信号Ｎ(f,t)が得られる。例えば、ＮＢＦ処理が用いられる場合には、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)が減算処理された後に２で割られて雑音推定信号Ｎ(f,t)とされる（（４）式参照）。
【０１０１】
目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)は、補正係数算出部１０７に供給される。補正係数算出部１０７では、目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)に基づいて、ポストフィルタリング処理を補正するための補正係数β(f,t)が、各フレームにおいて、周波数毎に算出される（（５）式参照）。
【０１０２】
また、フレーム分割部１０３でフレーム化されて得られた各フレームのフレーム化信号、すなわちマイクロホン１０１ａ，１０１ｂの観測信号ｘ1(n)，ｘ2(n)は、周囲雑音状態推定部１１２に供給される。すなわち、周囲雑音状態推定部１１２では、マイクロホン１０１ａ，１０１ｂの観測信号ｘ1(n)，ｘ2(n)の相関係数corrが求められ、周囲雑音の音源数情報とされる（（８）式参照）。
【０１０３】
補正係数算出部１０７で算出された補正係数β(f,t)は、補正係数変更部１１３に供給される。また、この補正係数変更部１１３には、周囲雑音状態推定部１１２で得られた相関係数corrも供給される。補正係数変更部１１３では、各フレームにおいて、周囲雑音状態推定部１１２で得られた相関係数corr（周囲雑音の音源数情報）に基づいて、補正係数算出部１０７で算出された補正係数β(f,t)が変更される。
【０１０４】
まず、補正係数変更部１１３では、相関係数corrに基づいて、平滑化フレーム数が求められる。この場合、平滑化フレーム数γは、相関係数corrの値が大きいときは小さく求められ、相関係数corrの値が小さいときは大きく求められる（図２３参照）。次に、補正係数変更部１１３では、補正係数算出部１０７で算出された補正係数β(f,t)が、平滑化フレーム数γにより、フレーム方向（時間方向）に平滑化されて、各フレームの変更された補正係数β′(f,t)が得られる（図２４参照）。
【０１０５】
目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)は、ポストフィルタリング部１０９に供給される。また、このポストフィルタリング部１０９には、補正係数変更部１１３で変更された補正係数β′(f,t)が供給される。このポストフィルタリング部１０９では、目的音推定信号Ｚ(f,t)に残留している雑音成分が、雑音推定信号Ｎ(f,t)を用いたポストフィルタリング処理によって除去される。補正係数β′(f,t)は、このポストフィルタリング処理を補正するため、つまり目的音推定信号Ｚ(f,t)に残留している雑音成分の利得と、雑音推定信号Ｎ(f,t)の利得を合わせるために用いられる。
【０１０６】
このポストフィルタリング部１０９では、例えば、スペクトルサブトラクション法、ＭＭＳＥ−ＳＴＳＡ法などの公知技術が使用されて、雑音抑圧信号Ｙ(f,t)が得られる。例えば、スペクトルサブトラクション法が使用される場合、雑音抑圧信号Ｙ(f,t)は、以下の（９）式に基づいて求められる。
Ｙ(f,t)＝Ｚ(f,t)−β′(f,t)＊Ｎ(f,t) ・・・（９）
【０１０７】
ポストフィルタリング部１０９からフレーム毎に出力される各周波数の雑音抑圧信号Ｙ(f,t)は、逆高速フーリエ変換部１１０に供給される。この逆高速フーリエ変換部１１０では、フレーム毎に、各周波数の雑音抑圧信号Ｙ(f,t)に対して、逆高速フーリエ変換処理が施され、時間領域信号に変換されたフレーム化信号が得られる。各フレームのフレーム化信号は、波形合成部１１１に順次供給される。この波形合成部１１１では、各フレームのフレーム化信号が合成されて、時系列的に連続した、音声入力システム１００の出力としての、雑音抑圧された音声信号ＳＡoutが得られる。
【０１０８】
上述したように、図１６に示す音声入力システム１００Ａにおいては、補正係数算出部１０７で算出された補正係数β(f,t)が補正係数変更部１１３により変更される。この場合、周囲雑音状態推定部１１２では、マイクロホン１０１ａ，１０１ｂの観測信号ｘ1(n)，ｘ2(n)の相関係数corrが周囲雑音の音源数情報として得られる。そして、補正係数変更部１１３では、この音源数情報に基づいて、音源数が大きくなる程大きくなるように平滑化フレーム数γが求められ、補正係数β(f,t)がフレーム方向に平滑化されて、各フレームの変更された補正係数β′(f,t)が得られる。ポストフィルタリング部１０９では、この変更された補正係数β′(f,t)が用いられる。
【０１０９】
そのため、周囲に無数の雑音源がある状況において、補正係数のフレーム方向（時間方向）の変化を抑制して出力音に及ぼす影響を軽減できる。これにより、周囲の雑音の状況に合わせた雑音除去処理が可能となる。したがって、マイクロホン１０１ａ，１０１ｂがヘッドホンに設置されているノイズキャンセル用のマイクロホンであって、周囲に多くの雑音音源がある場合にあっても、効率よく雑音の補正を行うことができ、歪みの少ない良好な雑音除去処理が行われる。
【０１１０】
＜３．第３の実施の形態＞
［音声入力システムの構成例］
図２６は、第３の実施の形態としての音声入力システム１００Ｂの構成例を示している。この音声入力システム１００Ｂも、上述の図１、図１６に示す音声入力システム１００，１００Ａと同様に、ノイズキャンセルヘッドホンの左右のヘッドホンに設置されているノイズキャンセル用のマイクロホンを用いて音声入力を行うシステムである。この図２６において、図１、図１６と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１１１】
この音声入力システム１００Ｂは、マイクロホン１０１ａ，１０１ｂと、Ａ／Ｄ変換器１０２と、フレーム分割部１０３と、高速フーリエ変換（ＦＦＴ）部１０４と、目的音強調部１０５と、雑音推定部１０６と、補正係数算出部１０７を有している。また、この音声入力システム１００Ｂは、補正係数変更部１０８と、ポストフィルタリング部１０９と、逆高速フーリエ変換（ＩＦＦＴ）部１１０と、波形合成部１１１と、周囲雑音状態推定部１１２と、補正係数変更部１１３を有している。
【０１１２】
補正係数変更部１０８は、各フレームにおいて、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更して、補正係数β′(f,t)を得る。詳細説明は省略するが、この補正係数変更部１０８は、図１に示す音声入力システム１００の補正係数変更部１０８と同様のものである。この補正係数変更部１０８は、第１の補正係数変更部を構成している。
【０１１３】
周囲雑音状態推定部１１２は、フレーム毎に、マイクロホン１０１ａの観測信号およびマイクロホン１０１ｂの観測信号の相関係数corrを算出し、周囲雑音の音源数情報とする。詳細説明は省略するが、この周囲雑音状態推定部１１２は、図１６に示す音声入力システム１００Ａの周囲雑音状態推定部１１２と同様のものである。
【０１１４】
補正係数変更部１１３は、各フレームにおいて、周囲雑音状態推定部１１２で得られた相関係数corr（周囲雑音の音源数情報）に基づいて、補正係数変更部１０８で変更された補正係数β′(f,t)をさらに変更して、補正係数β″(f,t)を得る。詳細説明は省略するが、この補正係数変更部１１３は、図１６に示す音声入力システム１００Ａの補正係数変更部１１３と同様のものである。この補正係数変更部１１３は、第２の補正係数変更部を構成している。ポストフィルタリング部１０９は、実際には、補正係数算出部１０７で算出された補正係数β(f,t)そのものではなく、この変更後の補正係数β″(f,t)を用いる。
【０１１５】
図２６に示す音声入力システム１００Ｂのその他は、詳細説明は省略するが、図１、図１６に示す音声入力システム１００，１００Ａと同様に構成されている。
【０１１６】
図２７のフローチャートは、補正係数変更部１０８、周囲雑音状態推定部１１２および補正係数変更部１１３における処理（１フレーム分）の手順を示している。各部は、ステップＳＴ２１において、処理を開始する。その後、ステップＳＴ２２において、補正係数変更部１０８は、補正係数算出部１０７から補正係数β(f,t)を取得する。そして、補正係数変更部１０８は、ステップＳＴ２３において、現在のフレームｔにおいて、各周波数ｆの係数を低域からサーチし、係数の値が落ち込んでいる低域側の最初の周波数Ｆａ(t)を見つける。
【０１１７】
次に、補正係数変更部１０８は、ステップＳＴ２４において、Ｆａ(t)以上の帯域、つまり、空間エイリアシングを起こしている帯域を平滑化するか否かのフラグをチェックする。なお、このフラグは、予めユーザ操作によって、設定されている。フラグオンのとき、補正係数変更部１０８は、ステップＳＴ２５において、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の係数を周波数方向に平滑化して、各周波数ｆの変更された補正係数β′(f,t)を得る。また、補正係数変更部１０８は、ステップＳＴ２４でフラグオフのとき、ステップＳＴ２７において、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の補正係数を「１」に置き換えて、補正係数β′(f,t)を得る。
【０１１８】
ステップＳＴ２５、あるいはステップＳＴ２６の処理の後、周囲雑音状態推定部１１２は、ステップＳＴ２７において、マイクロホン１０１ａ，１０１ｂの観測信号のデータフレームｘ1(t)，ｘ2(t)を取得する。そして、周囲雑音状態推定部１１２は、ステップＳＴ２８において、マイクロホン１０１ａ，１０１ｂの観測信号の相関の度合いを示す相関係数corr(t)を算出する（（８）式参照）。
【０１１９】
次に、補正係数変更部１１３は、ステップＳＴ２９において、ステップＳＴ２８で周囲雑音状態推定部１１２によって計算された相関係数corr(t)の値を用いて、平滑化フレーム数算出関数により（図２３参照）、平滑化フレーム数γを算出する。そして、補正係数変更部１１３は、ステップＳＴ３０において、補正係数変更部１０８で変更された補正係数β′(f,t)を、ステップＳＴ２９で計算した平滑化フレーム数γで平滑化して、変更された補正係数β″(f,t)を得る。各部は、このステップＳＴ３０の処理の後、ステップＳＴ３１において、処理を終了する。
【０１２０】
図２６に示す音声入力システム１００Ｂの動作を簡単に説明する。所定の間隔をもって並べて配置されているマイクロホン１０１ａ，１０１ｂでは周囲音が集音されて観測信号が得られる。マイクロホン１０１ａ，１０１ｂで得られた観測信号は、Ａ／Ｄ変換器１０２でアナログ信号からデジタル信号に変換された後に、フレーム分割部１０３に供給される。そして、フレーム分割部１０３では、マイクロホン１０１ａ，１０１ｂからの観測信号が、所定時間長のフレームに分割されて、フレーム化される。
【０１２１】
フレーム分割部１０３でフレーム化されて得られた各フレームのフレーム化信号は、高速フーリエ変換部１０４に順次供給される。高速フーリエ変換部１０４では、フレーム化信号に対して、高速フーリエ変換（ＦＦＴ）処理が施されて、周波数領域の信号として、マイクロホン１０１ａの観測信号Ｘ1(f,t)と、マイクロホン１０１ｂの観測信号をＸ2(f,t)が得られる。
【０１２２】
高速フーリエ変換部１０４で得られた観測信号Ｘ1(f,t)，Ｘ2(f,t)は、目的音強調部１０５に供給される。この目的音強調部１０５では、観測信号Ｘ1(f,t)，Ｘ2(f,t)に、従来周知のＤＳ処理、あるいは適応ビームフォーマ処理などが施され、各フレームにおいて、周波数毎に目的音推定信号Ｚ(f,t)が得られる。例えば、ＤＳ処理が用いられる場合には、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)が加算処理された後に２で割られて目的音推定信号Ｚ(f,t)とされる（（３）式参照）。
【０１２３】
また、高速フーリエ変換部１０４で得られた観測信号Ｘ1(f,t)，Ｘ2(f,t)は、雑音推定部１０６に供給される。この雑音推定部１０６では、観測信号Ｘ1(f,t)，Ｘ2(f,t)に、従来周知のＮＢＦ処理、あるいは適応ビームフォーマ処理などが施され、各フレームにおいて、周波数毎に雑音推定信号Ｎ(f,t)が得られる。例えば、ＮＢＦ処理が用いられる場合には、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)が減算処理された後に２で割られて雑音推定信号Ｎ(f,t)とされる（（４）式参照）。
【０１２４】
目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)は、補正係数算出部１０７に供給される。補正係数算出部１０７では、目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)に基づいて、ポストフィルタリング処理を補正するための補正係数β(f,t)が、各フレームにおいて、周波数毎に算出される（（５）式参照）。
【０１２５】
補正係数算出部１０７で算出された補正係数β(f,t)は、補正係数変更部１０８に供給される。補正係数変更部１０８では、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の係数が、特定の周波数にできるピークをつぶすように変更されて、変更後の補正係数β′(f,t)が得られる。
【０１２６】
また、フレーム分割部１０３でフレーム化されて得られた各フレームのフレーム化信号、すなわち、マイクロホン１０１ａ，１０１ｂの観測信号ｘ1(n)，ｘ2(n)は、周囲雑音状態推定部１１２に供給される。周囲雑音状態推定部１１２では、マイクロホン１０１ａ，１０１ｂの観測信号ｘ1(n)，ｘ2(n)の相関係数corrが求められ、周囲雑音の音源数情報としての相関係数corrが得られる（（８）式参照）。
【０１２７】
補正係数変更部１０８で得られた変更後の補正係数β′(f,t)は、さらに、補正係数変更部１１３に供給される。また、この補正係数変更部１１３には、周囲雑音状態推定部１１２で得られた相関係数corrも供給される。補正係数変更部１１３では、各フレームにおいて、周囲雑音状態推定部１１２で得られた相関係数corr（周囲雑音の音源数情報）に基づいて、補正係数算出部１０７で得られた補正係数β′(f,t)がさらに変更される。
【０１２８】
まず、補正係数変更部１１３では、相関係数corrに基づいて、平滑化フレーム数が求められる。この場合、平滑化フレーム数γは、相関係数corrの値が大きいときは小さく求められ、相関係数corrの値が小さいときは大きく求められる（図２３参照）。次に、補正係数変更部１１３では、補正係数算出部１０７で得られた補正係数β′(f,t)が、平滑化フレーム数γにより、フレーム方向（時間方向）に平滑化されて、各フレームの変更された補正係数β″(f,t)が得られる（図２４参照）。
【０１２９】
目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)は、ポストフィルタリング部１０９に供給される。また、このポストフィルタリング部１０９には、補正係数変更部１１３で変更された補正係数β″(f,t)が供給される。このポストフィルタリング部１０９では、目的音推定信号Ｚ(f,t)に残留している雑音成分が、雑音推定信号Ｎ(f,t)を用いたポストフィルタリング処理によって除去される。補正係数β″(f,t)は、このポストフィルタリング処理を補正するため、つまり目的音推定信号Ｚ(f,t)に残留している雑音成分の利得と、雑音推定信号Ｎ(f,t)の利得を合わせるために用いられる。
【０１３０】
このポストフィルタリング部１０９では、例えば、スペクトルサブトラクション法、ＭＭＳＥ−ＳＴＳＡ法などの公知技術が使用されて、雑音抑圧信号Ｙ(f,t)が得られる。例えば、スペクトルサブトラクション法が使用される場合、雑音抑圧信号Ｙ(f,t)は、以下の（１０）式に基づいて求められる。
Ｙ(f,t)＝Ｚ(f,t)−β″(f,t)＊Ｎ(f,t) ・・・（１０）
【０１３１】
ポストフィルタリング部１０９からフレーム毎に出力される各周波数の雑音抑圧信号Ｙ(f,t)は、逆高速フーリエ変換部１１０に供給される。この逆高速フーリエ変換部１１０では、フレーム毎に、各周波数の雑音抑圧信号Ｙ(f,t)に対して、逆高速フーリエ変換処理が施され、時間領域信号に変換されたフレーム化信号が得られる。各フレームのフレーム化信号は、波形合成部１１１に順次供給される。この波形合成部１１１では、各フレームのフレーム化信号が合成されて、時系列的に連続した、音声入力システム１００の出力としての、雑音抑圧された音声信号ＳＡoutが得られる。
【０１３２】
上述したように、図２６に示す音声入力システム１００Ｂにおいては、補正係数算出部１０７で算出された補正係数β(f,t)が補正係数変更部１０８により変更される。この場合、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域（Ｆａ(t)以上の帯域）の係数が、特定の周波数にできるピークをつぶすように変更されて、変更された補正係数β′(f,t)が得られる。
【０１３３】
また、図２６に示す音声入力システム１００Ｂにおいては、補正係数変更部１０８で変更された補正係数β′(f,t)が補正係数変更部１１３によりさらに変更される。この場合、周囲雑音状態推定部１１２では、マイクロホン１０１ａ，１０１ｂの観測信号ｘ1(n)，ｘ2(n)の相関係数corrが周囲雑音の音源数情報として得られる。そして、補正係数変更部１１３では、この音源数情報に基づいて、音源数が大きくなる程大きくなるように平滑化フレーム数γが求められ、補正係数β′(f,t)がフレーム方向に平滑化されて、各フレームの変更された補正係数β″(f,t)が得られる。ポストフィルタリング部１０９では、この変更された補正係数β″(f,t)が用いられる。
【０１３４】
そのため、空間エイリアシングを起こしている帯域の特定の周波数にできる係数のピークが出力音に及ぼす悪影響を軽減でき、音質の劣化を抑制できる。これにより、マイクロホン間隔に依存しない雑音除去処理が可能となる。したがって、マイクロホン１０１ａ，１０１ｂがヘッドホンに設置されているノイズキャンセル用のマイクロホンであって、マイクロホン間隔が広い場合にあっても、効率よく雑音の補正を行うことができ、歪みの少ない良好な雑音除去処理が行われる。
【０１３５】
また、周囲に無数の雑音源がある状況において、補正係数のフレーム方向（時間方向）の変化を抑制して出力音に及ぼす影響を軽減できる。これにより、周囲の雑音の状況に合わせた雑音除去処理が可能となる。したがって、マイクロホン１０１ａ，１０１ｂがヘッドホンに設置されているノイズキャンセル用のマイクロホンであって、周囲に多くの雑音音源がある場合にあっても、効率よく雑音の補正を行うことができ、歪みの少ない良好な雑音除去処理が行われる。
【０１３６】
＜４．第４の実施の形態＞
［音声入力システムの構成例］
図２８は、第４の実施の形態としての音声入力システム１００Ｃの構成例を示している。この音声入力システム１００Ｃも、図１、図１６、図２６に示す音声入力システム１００，１００Ａ，１００Ｂと同様に、ノイズキャンセルヘッドホンの左右のヘッドホンに設置されているノイズキャンセル用のマイクロホンを用いて音声入力を行うシステムである。この図２８において、図２６と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１３７】
この音声入力システム１００Ｃは、マイクロホン１０１ａ，１０１ｂと、Ａ／Ｄ変換器１０２と、フレーム分割部１０３と、高速フーリエ変換（ＦＦＴ）部１０４と、目的音強調部１０５と、雑音推定部１０６と、補正係数算出部１０７Ｃを有している。また、この音声入力システム１００Ｃは、補正係数変更部１０８，１１３と、ポストフィルタリング部１０９と、逆高速フーリエ変換（ＩＦＦＴ）部１１０と、波形合成部１１１と、周囲雑音状態推定部１１２と、目的音区間検出部１１４を有している。
【０１３８】
目的音区間検出部１１４は、目的音がある区間を検出する。目的音区間検出部１１４は、図２９に示すように、目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)に基づき、各フレームにおいて、目的音区間であるか判断して、目的音区間情報を出力する。
【０１３９】
目的音区間検出部１１４は、目的音推定信号Ｚ(f,t)と雑音推定信号Ｎ(f,t)のエネルギー比を求める。以下の（１１）式はエネルギー比を示している。
【数５】
【０１４０】
目的音区間検出部１１４は、このエネルギー比が閾値（threshould）より大きいか否かを判断する。そして、目的音区間検出部１１４は、以下の（１２）式に示すように、エネルギー比が閾値より大きいときは、目的音区間であると判断して目的音区間検出情報として“１”を出力し、それ以外のときは、目的音区間ではないと判断して“０”を出力する。
【０１４１】
【数６】
【０１４２】
この場合、目的音は図３０に示すように正面にあり、目的音がある場合には、目的音推定信号Ｚ(f,t)と雑音推定信号Ｎ(f,t)の利得の差が大きく、雑音だけの場合には、それらの利得の差が小さいこと、が利用されている。なお、マイクロホン間隔が既知で、目的音が正面でなくて任意の方向である場合も同様に処理できる。
【０１４３】
補正係数算出部１０７Ｃは、図１、図１６、図２６の音声入力システム１００，１００Ａ，１００Ｂの補正係数算出部１０７と同様にして、補正係数β(f,t)を算出する。ただし、補正係数算出部１０７Ｃは、補正係数算出部１０７とは異なり、目的音区間検出部１１４からの目的音区間情報に基づいて、補正係数β(f,t)を算出するか否かを決定する。すなわち、補正係数算出部１０７Ｃは、目的音がないフレームでは補正係数β(f,t)を新たに算出して出力し、その他のフレームでは補正係数β(f,t)を算出せずに、前のフレームと同じ補正係数β(f,t)をそのまま出力する。
【０１４４】
図２８に示す音声入力システム１００Ｃのその他は、詳細説明は省略するが、図２６に示す音声入力システム１００Ｂと同様に構成され、同様に動作をする。そのため、この音声入力システム１００Ｃにおいては、図２６に示す音声入力システム１００Ｂと同様の効果を得ることができる。
【０１４５】
また、この音声入力システム１００Ｃにおいては、さらに、補正係数算出部１０７Ｃで、目的音がない区間で補正係数β(f,t)の算出が行われる。この場合、目的音推定信号Ｚ(f,t)には雑音成分のみが含まれるため、目的音の影響を受けることなく、補正係数β(f,t)を精度よく算出でき、結果として、良好な雑音除去処理が行われる。
【０１４６】
＜５．変形例＞
なお、上述実施の形態において、マイクロホン１０１ａ，１０１ｂは、ノイズキャンセルヘッドホンの左右のヘッドホンにそれぞれ設置されているノイズキャンセル用のマイクロホンである場合を示した。しかし、このマイクロホン１０１ａ，１０１ｂが、パーソナルコンピュータ本体に設置されているマイクロホンなどであることも考えられる。
【０１４７】
また、図１、図１６に示す音声入力システム１００，１００Ａにおいても、図２８に示す音声入力システム１００Ｃと同様に目的音区間検出部１１４を設け、補正係数算出部１０７は目的音がないフレームでのみ補正係数β(f,t)の算出を行うようにしてもよい。
【産業上の利用可能性】
【０１４８】
この発明は、ノイズキャンセルヘッドホンに設置されたノイズキャンセル用のマイクロホン、あるいはパーソナルコンピュータに設置されたマイクロホン等を利用して通話をするシステムに適用できる。
【符号の説明】
【０１４９】
１００，１００Ａ，１００Ｂ，１００Ｃ・・・音声入力システム
１０１ａ，１０１ｂ・・・マイクロホン
１０２・・・Ａ／Ｄ変換器
１０３・・・フレーム分割部
１０４・・・高速フーリエ変換（ＦＦＴ）部
１０５・・・目的音強調部
１０６・・・雑音推定部（目的音抑圧部）
１０７，１０７Ｃ・・・補正係数算出部
１０８・・・補正係数変更部
１０９・・・ポストフィルタリング部
１１０・・・逆高速フーリエ変換（ＩＦＦＴ）部
１１１・・・波形合成部
１１２・・・周囲雑音状態推定部
１１３・・・補正係数変更部
１１４・・・目的音区間検出部
【技術分野】
【０００１】
この発明は、雑音除去装置および雑音除去方法に関し、特に、目的音の強調とポストフィルタリング処理によって雑音を除去する雑音除去装置等に関する。
【背景技術】
【０００２】
例えば、携帯電話、パーソナルコンピュータ等で再生する音楽を、ユーザがノイズキャンセルヘッドホンで聴くという状況が想定される。この状況において、通話着信、チャット呼び出し等があった場合、いちいちマイクロホンを準備してから話し始めるのは、ユーザにとって非常に煩わしいことである。ユーザにとっては、マイクロホンを用意することなく、ハンズフリーでそのまま通話を開始することが望まれる。
【０００３】
ノイズキャンセルヘッドホンの耳元にはノイズキャンセル用のマイクロホンが設置されており、このマイクロホンを利用して通話をすることが考えられる。これにより、ヘッドホンを付けたままでの通話を実現できる。この場合、周囲の雑音が問題となるため、雑音を抑圧して音声のみを伝送することが望まれる。
【０００４】
例えば、特許文献１には、目的音の強調とポストフィルタリング処理によって雑音を除去する技術が記載されている。図３１は、特許文献１に記載されている雑音除去装置の構成例を示している。この雑音除去装置においては、ビームフォーマ部（１１）で音声が強調され、ブロッキング行列部（１２）で雑音が強調される。音声の強調で雑音のすべてが消えるわけではないので、雑音低減手段（１３）により、強調雑音が使用されて雑音成分が低減される。
【０００５】
さらに、この雑音除去装置において、ポストフィルタリング手段（１４）により、消し残りの雑音が除去される。この場合、雑音低減手段（１３）と、処理手段（１５）の出力が使用されるが、フィルタの特性でスペクトルの誤差が生じる。そのため、出力の適応部（１６）で補正が行われる。
【０００６】
この場合、目的音がなく、雑音のみが存在する区間において、雑音低減手段（１３）の出力Ｓ１と適応部（１６）の出力Ｓ２とが等しくなるように補正が行われる。このことは、以下の（１）式で表される。この（１）式において、左辺は適応部（１６）の出力Ｓ２の期待値を示し、右辺は目的音がない区間における雑音低減手段（１３）の出力Ｓ１の期待値を示している。
【０００７】
【数１】
【０００８】
このような補正により、ポストフィルタリング手段（１４）において、雑音のみの区間では、Ｓ１，Ｓ２の誤差がなく、雑音を全て除去でき、また、（音声＋雑音）の区間では、雑音の成分だけを除去して、音声を残すことができる。
【０００９】
この補正は、フィルタの指向特性を補正していると解釈できる。図３２（ａ）は補正前のフィルタの指向特性例を示し、図３２（ｂ）は補正後のフィルタの指向特性例を示している。これらの図において、縦軸は利得を示しており、上に行くほど、利得が高くなる。
【００１０】
図３２（ａ）において、実線ａは、ビームフォーマ部（１１）で作られた、目的音を強調する指向特性を示している。この指向特性により、正面の目的音が強調され、その他の方位からくる音の利得が下げられる。また、図３２（ａ）において、破線ｂは、ブロッキング行列部１２で作られた指向特性を示している。この指向特性により、目的音方位の利得が下げられ、雑音が推定される。
【００１１】
補正前においては、目的音強調の指向特性（実線ａ）と雑音推定の指向特性（実線ｂ）との間で、雑音（ノイズ）の方位において、利得の誤差がある。そのため、ポストフィルタリング手段（１４）において、目的音推定信号から雑音推定信号を差し引いた場合、雑音の消し残り、あるいは消しすぎが生じる。
【００１２】
また、図３２（ｂ）において、実線ａ′は、補正後における目的音強調の指向特性を示している。また、図３２（ｂ）において、破線ｂ′は、補正後における雑音推定の指向特性を示している。補正係数により、目的音強調の指向特性と雑音推定の指向特性とにおける雑音（ノイズ）の方位の利得が合わせられる。そのため、ポストフィルタリング手段（１４）において、目的音推定信号から雑音推定信号を差し引いた場合、雑音の消し残り、あるいは消しすぎが低減される。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００９−４９９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上述の特許文献１に記載される雑音抑圧技術においては、マイクロホン間隔の考慮がなされていないという問題がある。すなわち、特許文献１に記載される雑音抑圧技術においては、マイクロホン間隔によって補正係数を正しく計算できない場合がある。補正係数の計算を誤った場合、目的音が歪んでしまう恐れがある。マイクロホン間隔が広い場合、指向特性の曲線が折り返す空間エイリアシングを起こすため、意図しない方位の利得を増幅、あるいは減衰させてしまう。
【００１５】
図３３は、空間エイリアシングを起こしている場合におけるフィルタの指向特性例を示し、実線ａはビームフォーマ部（１１）で作られた目的音強調の指向特性を示し、破線ｂはブロッキング行列部（１２）で作られた雑音推定の指向特性を示している。この図３３に示す指向特性例の場合、目的音と同時に雑音も増幅される。この場合には、補正係数を求めても意味がなく、雑音抑圧の性能が低下する。
【００１６】
上述の特許文献１に記載される雑音抑圧技術においては、事前にマイクロホン間隔が既知であり、さらに、空間エイリアシングが起こらないマイクロホン間隔であることが前提である。この前提はかなり大きな制約である。例えば、電話帯域のサンプリング周波数(8000Hz)で、空間エイリアシングを起こさないようなマイクロホン間隔は約４．３ｃｍとなる。
【００１７】
空間エイリアシングを起こさないためには、事前にマイクロホンの間隔（素子間隔）を設定しておくことが必要である。ここで、音速をｃ、マイクロホンの間隔（素子間隔）をｄ、周波数をｆとするとき、空間エイリアシングを起こさないためには、以下の（２）式を満たす必要がある。
ｄ＜ｃ／２ｆ ・・・（２）
【００１８】
例えば、ノイズキャンセルヘッドホンに設置されているノイズキャンセル用のマイクロホンの場合、マイクロホン間隔は、左右の耳の間隔となる。つまり、この場合には、上述したように空間エイリアシングを起こさないようなマイクロホン間隔である約４．３ｃｍは不可能となる。
【００１９】
また、上述の特許文献１に記載される雑音抑圧技術においては、周囲雑音の音源数の考慮がなされていないという問題がある。すなわち、周囲に無数の雑音源がある状況では、各フレーム、各周波数で、周囲の音がランダムに入力されていることになる。この場合、目的音強調の指向特性と雑音推定の指向特性とで利得を合わせるべき箇所が各フレーム、各周波数でバラバラに動いてしまう。そのため、補正係数が時間と共に常に変化して安定せず、出力音に悪影響を及ぼす。
【００２０】
図３４は、周囲に無数の雑音源がある状況を示している。なお、実線ａは、図３２（ａ）における実線ａと同様の目的音強調の指向特性を示しており、破線ｂは、図３２（ａ）における破線ｂと同様の目的音強調の指向特性を示している。周囲に無数の雑音源があると、２つの指向特性の利得を合わせるべき箇所がたくさんできる。実環境では、このように周囲に無数の雑音源が存在するため、上述の特許文献１に記載される雑音抑圧技術では対応できない。
【００２１】
この発明の目的は、マイクロホン間隔に依存しない雑音除去処理を可能とすることにある。また、この発明の目的は、周囲の雑音の状況に合わせた雑音除去処理を可能とすることにある。
【課題を解決するための手段】
【００２２】
この発明の概念は、
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定部と、
上記目的音強調部で得られた目的音推定信号に残留している雑音成分を、上記雑音推定部で得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリング部と、
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、上記ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出部と、
上記補正係数算出部で算出された補正係数のうち、空間エイリアシングを起こしている帯域の補正係数を、特定の周波数にできるピークをつぶすように変更する補正係数変更部と
を備える雑音除去装置にある。
【００２３】
この発明において、目的音強調部により、所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理が施されて目的音推定信号が得られる。目的音強調処理としては、例えば、従来周知の、ＤＳ（Delay and Sum）処理、あるいは適応ビームフォーマ処理などが用いられる。また、雑音推定部により、第１のマイクロホンおよび第２のマイクロホンの観測信号に雑音推定処理が施されて雑音推定信号が得られる。雑音推定処理としては、例えば、従来周知の、ＮＢＦ（Null-Beam Former）処理、あるいは適応ビームフォーマ処理などが用いられる。
【００２４】
ポストフィルタリング部により、目的音強調部で得られた目的音推定信号に残留している雑音成分が、雑音推定部で得られた雑音推定信号を用いたポストフィルタリング処理によって除去される。ポストフィルタリング処理としては、例えば、従来周知の、スペクトルサブトラクション法、ＭＭＳＥ-ＳＴＳＡ法などが用いられる。また、補正係数算出部により、目的音強調部で得られた目的音推定信号および雑音推定部で得られた雑音推定信号に基づいて、ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数が周波数毎に算出される。
【００２５】
補正係数変更部により、補正係数算出部で算出された補正係数のうち、空間エイリアシングを起こしている帯域の補正係数が、特定の周波数にできるピークをつぶすように変更される。例えば、補正係数変更部では、空間エイリアシングを起こしている帯域において、補正係数算出部で算出された補正係数が周波数方向に平滑化されて各周波数の変更された補正係数が得られる。また、例えば、補正係数変更部では、空間エイリアシングを起こしている帯域において、各周波数の補正係数が１に変更される。
【００２６】
第１のマイクロホンおよび第２のマイクロホンの間隔、つまりマイクロホン間隔が広い場合、空間エイリアシングを起こし、目的音強調の指向特性は、目的音の方位以外の音も強調するような指向特性となる。補正係数算出部で算出された各周波数の補正係数のうち、空間エイリアシングを起こしている帯域では、特定の周波数にピークができる。そのため、この補正係数をそのまま使用されると、上述したように特定の周波数にできたピークが出力音に悪影響を及ぼし、音質を劣化させる。
【００２７】
この発明においては、空間エイリアシングを起こしている帯域の補正係数が、特定の周波数にできるピークをつぶすように変更されるものであり、このピークが出力音に及ぼす悪影響を軽減でき、音質の劣化を抑制できる。これにより、マイクロホン間隔に依存しない雑音除去処理が可能となる。
【００２８】
この発明において、例えば、目的音強調部で得られた目的音推定信号および雑音推定部で得られた雑音推定信号に基づいて、目的音がある区間を検出する目的音区間検出部をさらに備え、補正係数算出部は、目的音区間検出部で得られた目的音区間情報に基づいて、目的音がない区間で補正係数の算出を行う、ようにされる。この場合、目的音推定信号には雑音成分のみが含まれるため、目的音の影響を受けることなく、補正係数を精度よく算出可能となる。
【００２９】
例えば、目的音検出部では、目的音推定信号と雑音推定信号のエネルギー比が求められ、このエネルギー比が閾値より大きいときは目的音区間と判断される。また、例えば、補正係数算出部では、ｆ番目の周波数のフレームｔの補正係数β(f,t)は、このｆ番目の周波数のフレームｔの目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)と、ｆ番目の周波数のフレームｔ−１の補正係数β(f,t-1)が用いられて、
【数２】
の式で算出される。
【００３０】
また、この発明の他の概念は、
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定部と、
上記目的音強調部で得られた目的音推定信号に残留している雑音成分を、上記雑音推定部で得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリング部と、
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、上記ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号を処理して周囲雑音の音源数情報を得る周囲雑音状態推定部と、
上記周囲雑音状態推定部で得られた周囲雑音の音源数情報に基づき、音源数が多い程平滑化フレーム数を大きくして、上記補正係数算出部で算出された補正係数をフレーム方向に平滑化して各フレームの変更された補正係数を得る補正係数変更部と
を備える雑音除去装置にある。
【００３１】
この発明において、目的音強調部により、所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理が施されて目的音推定信号が得られる。目的音強調処理としては、例えば、従来周知の、ＤＳ（Delay and Sum）処理、あるいは適応ビームフォーマ処理などが用いられる。また、雑音推定部により、第１のマイクロホンおよび第２のマイクロホンの観測信号に雑音推定処理が施されて雑音推定信号が得られる。雑音推定処理としては、例えば、従来周知の、ＮＢＦ（Null-Beam Former）処理、あるいは適応ビームフォーマ処理などが用いられる。
【００３２】
ポストフィルタリング部により、目的音強調部で得られた目的音推定信号に残留している雑音成分が、雑音推定部で得られた雑音推定信号を用いたポストフィルタリングによって除去される。ポストフィルタリング処理としては、例えば、従来周知の、スペクトルサブトラクション法、ＭＭＳＥ-ＳＴＳＡ法などが用いられる。また、補正係数算出部により、目的音強調部で得られた目的音推定信号および雑音推定部で得られた雑音推定信号に基づいて、ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数が周波数毎に算出される。
【００３３】
周囲雑音状態推定部により、第１のマイクロホンおよび第２のマイクロホンの観測信号が処理されて周囲雑音の音源数情報が得られる。例えば、周囲雑音状態推定部では、第１のマイクロホンおよび第２のマイクロホンの観測信号の相関係数が算出され、この算出された相関係数が周囲雑音の音源数情報とされる。補正係数変更部により、周囲雑音状態推定部で得られた周囲雑音の音源数情報に基づき、音源数が多い程平滑化フレーム数が大きくされて、補正係数算出部で算出された補正係数がフレーム方向に平滑化されて各フレームの変更された補正係数が得られる。
【００３４】
周囲に無数の雑音源がある状況では、各フレーム、各周波数で、周囲の各雑音源からの音がランダムに入力され、目的音強調の指向特性と雑音推定の指向特性とで利得を合わせるべき箇所が各フレーム、各周波数でバラバラに動く。つまり、補正係数算出部で算出される補正係数が時間と共に常に変化して安定せず、出力音に悪影響を及ぼす。
【００３５】
この発明においては、周囲雑音の音源数が多い程平滑化フレーム数が大きくされ、各フレームの補正係数として、フレーム方向に平滑化されたものが使用される。これにより、周囲に無数の雑音源がある状況において、補正係数の時間方向の変化を抑制して出力音に及ぼす影響を軽減できる。これにより、周囲の雑音の状況（周囲に無数に雑音がある現実的な環境）に合わせた雑音除去処理が可能となる。
【発明の効果】
【００３６】
この発明によれば、空間エイリアシングを起こしている帯域の補正係数が、特定の周波数にできるピークをつぶすように変更されるものであり、このピークが出力音に及ぼす悪影響を軽減でき、音質の劣化を抑制でき、マイクロホン間隔に依存しない雑音除去処理が可能となる。また、この発明によれば、周囲雑音の音源数が多い程平滑化フレーム数が大きくされ、各フレームの補正係数として、フレーム方向に平滑化されたものが使用されるものであり、周囲に無数の雑音源がある状況において、補正係数の時間方向の変化を抑制して出力音に及ぼす影響を軽減でき、周囲の雑音の状況に合わせた雑音除去処理が可能となる。
【図面の簡単な説明】
【００３７】
【図１】この発明の第１の実施の形態としての音声入力システムの構成例を示すブロック図である。
【図２】目的音強調部を説明するための図である。
【図３】雑音推定部を説明するための図である。
【図４】ポストフィルタリング部を説明するための図である。
【図５】補正係数算出部を説明するための図である。
【図６】補正係数算出部で算出される周波数毎の補正係数の一例（マイクロホン間隔ｄ＝２ｃｍ、空間エイリアシング無し）を示す図である。
【図７】補正係数算出部で算出される周波数毎の補正係数の一例（マイクロホン間隔ｄ＝２０ｃｍ、空間エイリアシング有り）を示す図である。
【図８】雑音（女性話者）が４５°の方位に存在することを示す図である。
【図９】補正係数算出部で算出される周波数毎の補正係数の一例（マイクロホン間隔ｄ＝２ｃｍ、空間エイリアシング無し、雑音源数＝２）を示す図である。
【図１０】補正係数算出部で算出される周波数毎の補正係数の一例（マイクロホン間隔ｄ＝２０ｃｍ、空間エイリアシング有り、雑音源数＝２）を示す図である。
【図１１】雑音（女性話者）が４５°の方位に存在し、さらに、雑音（男性話者）が−３０°の方位に存在することを示す図である。
【図１２】空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更するために、周波数方向に平滑化する方法（第１の方法）を説明するための図である。
【図１３】空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更するために、周波数方向に平滑化する方法（第１の方法）を説明するための図である。
【図１４】空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更するために、１に置き換える方法（第２の方法）を説明するための図である。
【図１５】補正係数変更部における処理の手順を示すフローチャートである。
【図１６】この発明の第２の実施の形態としての音声入力システムの構成例を示すブロック図である。
【図１７】雑音の音源数と、相関係数corrとの関係の一例を示す棒グラフである。
【図１８】雑音が４５°の方位に存在する場合に補正係数算出部で算出される周波数毎の補正係数の一例（マイクロホン間隔ｄ＝２ｃｍ）を示す図である。
【図１９】雑音が４５°の方位に存在することを示す図である。
【図２０】複数の方位に雑音が存在する場合に補正係数算出部で算出される周波数毎の補正係数の一例（マイクロホン間隔ｄ＝２ｃｍ）を示す図である。
【図２１】複数の方位に雑音が存在することを示す図である。
【図２２】補正係数算出部で算出される補正係数が、フレーム毎に、ランダムに変化することを示す図である。
【図２３】相関係数corr（周囲雑音の音源数情報）に基づいて平滑化フレーム数γを求める際に使用される平滑化フレーム数算出関数の一例を示す図である。
【図２４】補正係数算出部で算出された補正係数をフレーム方向（時間方向）に平滑化して変更された補正係数を得ることを説明するための図である。
【図２５】周囲雑音状態推定部および補正係数変更部における処理の手順を示すフローチャートである。
【図２６】この発明の第３の実施の形態としての音声入力システムの構成例を示すブロック図である。
【図２７】補正係数変更部、周囲雑音状態推定部および補正係数変更部における処理の手順を示すフローチャートである。
【図２８】この発明の第４の実施の形態としての音声入力システムの構成例を示すブロック図である。
【図２９】目的音検出部を説明するための図である。
【図３０】目的音検出部の原理を説明するための図である。
【図３１】従来の雑音除去装置の構成例を示すブロック図である。
【図３２】従来の雑音除去装置における補正前、補正後の目的音強調の指向特性と雑音推定の指向特性の一例を示す図である。
【図３３】空間エイリアシングを起こしている場合におけるフィルタの指向特性例を示す図である。
【図３４】周囲に無数の雑音源がある状況を示す図である。
【発明を実施するための形態】
【００３８】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
【００３９】
＜１．第１の実施の形態＞
［音声入力システムの構成例］
図１は、第１の実施の形態としての音声入力システム１００の構成例を示している。この音声入力システム１００は、ノイズキャンセルヘッドホンの左右のヘッドホンに設置されているノイズキャンセル用のマイクロホンを用いて音声入力を行うシステムである。
【００４０】
この音声入力システム１００は、マイクロホン１０１ａ，１０１ｂと、Ａ／Ｄ変換器１０２と、フレーム分割部１０３と、高速フーリエ変換（ＦＦＴ）部１０４と、目的音強調部１０５と、雑音推定部（目的音抑圧部）１０６を有している。また、この音声入力システム１００は、補正係数算出部１０７と、補正係数変更部１０８と、ポストフィルタリング部１０９と、逆高速フーリエ変換（ＩＦＦＴ）部１１０と、波形合成部１１１を有している。
【００４１】
マイクロホン１０１ａ，１０１ｂは、周囲音を集音して観測信号を得る。マイクロホン１０１ａおよびマイクロホン１０１ｂは、所定の間隔をもって並べて配置されている。この実施の形態において、マイクロホン１０１ａ，１０１ｂは、ノイズキャンセルヘッドホンの左右のヘッドホンにそれぞれ設置されているノイズキャンセル用のマイクロホンとされる。
【００４２】
Ａ／Ｄ変換器１０２は、マイクロホン１０１ａ，１０１ｂから得られる観測信号を、アナログ信号からデジタル信号に変換する。フレーム分割部１０３は、Ａ／Ｄ変換器１０２でデジタル信号に変換された観測信号を、フレーム毎の処理を行うために、所定時間長のフレームに分割して、フレーム化する。高速フーリエ変換部１０４は、フレーム分割部１０３で得られたフレーム化信号に対して、高速フーリエ変換（ＦＦＴ：Fast Fourier transform）処理を施し、周波数領域の周波数スペクトルＸ(f,t)に変換する。ここで、(f,ｔ)は、ｆ番目の周波数のフレームｔの周波数スペクトルであることを示している。つまり、ｆは周波数を示し、ｔは時間インデックスを示している。
【００４３】
目的音強調部１０５は、マイクロホン１０１ａ，１０１ｂの観測信号に目的音強調処理を施して、各フレームにおいて、周波数毎に目的音推定信号を得る。この目的音強調部１０５は、図２に示すように、マイクロホン１０１ａの観測信号をＸ1(f,t)とし、マイクロホン１０１ｂの観測信号をＸ2(f,t)とするとき、目的音推定信号Ｚ(f,t)を得る。目的音強調部１０５は、目的音強調処理として、例えば、従来周知の、ＤＳ（Delayand Sum）処理、あるいは適応ビームフォーマ処理などを用いる。
【００４４】
ＤＳは、マイクロホン１０１ａ，１０１ｂに入力される信号の位相を目的音の方位に合わせ込む技術である。マイクロホン１０１ａ，１０１ｂはノイズキャンセルヘッドホンの左右のヘッドホンに設置されているノイズキャンセル用のマイクロホンであり、ユーザの口はマイクロホン１０１ａ，１０１ｂから見て必ず正面となる。
【００４５】
そのため、目的音強調部１０５は、ＤＳ処理を用いる場合、以下の（３）式に基づき、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)を加算処理した後に、２で割って目的音推定信号Ｚ(f,t)を得る。
Ｚ(f,t)＝｛Ｘ1(f,t)＋Ｘ2(f,t)｝／２ ・・・（３）
【００４６】
なお、ＤＳは固定ビームフォーマとよばれる技術であり、入力信号の位相を変化させて、指向特性を制御する技術である。目的音強調部１０５は、マイクロホン間隔が事前にわかっている場合には、上述したように、ＤＳ処理の代わりに、適応ビームフォーマ処理などの処理を用いて、目的音推定信号Ｚ(f,t)を得ることもできる。
【００４７】
図１に戻って、雑音推定部（目的音抑圧部）１０６は、マイクロホン１０１ａ，１０１ｂの観測信号に雑音推定処理を施して、各フレームにおいて、周波数毎に雑音推定信号を得る。この雑音推定部１０６は、目的音（ユーザ音声）以外の音を雑音として推定する。すなわち、この雑音推定部１０６は、目的音だけを除去して、雑音を残す処理を行う。
【００４８】
この雑音推定部１０６は、図３に示すように、マイクロホン１０１ａの観測信号をＸ1(f,t)とし、マイクロホン１０１ｂの観測信号をＸ2(f,t)とするとき、雑音推定信号Ｎ(f,t)を得る。雑音推定部１０６は、雑音推定処理として、例えば、従来周知の、ＮＢＦ（Null-BeamFormer）処理、あるいは適応ビームフォーマ処理などを用いる。
【００４９】
上述したように、マイクロホン１０１ａ，１０１ｂはノイズキャンセルヘッドホンの左右のヘッドホンに設置されているノイズキャンセル用のマイクロホンであり、ユーザの口はマイクロホン１０１ａ，１０１ｂから見て必ず正面となる。そのため、雑音推定部１０６は、ＮＢＦ処理を用いる場合、以下の（４）式に基づき、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)を減算処理した後に、２で割って雑音推定信号Ｎ(f,t)を得る。
Ｎ(f,t)＝｛Ｘ1(f,t)−Ｘ2(f,t)｝／２ ・・・（４）
【００５０】
なお、ＮＢＦは固定ビームフォーマとよばれる技術であり、入力信号の位相を変化させて、指向特性を制御する技術である。雑音推定部１０６は、マイクロホン間隔が事前にわかっている場合には、上述したように、ＮＢＦ処理の代わりに、適応ビームフォーマ処理などの処理を用いて、雑音推定信号Ｎ(f,t)を得ることもできる。
【００５１】
図１に戻って、ポストフィルタリング部１０９は、目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)に残留している雑音成分を、雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)を用いたポストフィルタリング処理によって除去する。すなわち、このポストフィルタリング部１０９は、図４に示すように、目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)に基づいて、雑音抑圧信号Ｙ(f,t)を得る。
【００５２】
ポストフィルタリング部１０９は、スペクトルサブトラクション法、ＭＭＳＥ−ＳＴＳＡ法などの公知技術を使用して、雑音抑圧信号Ｙ(f,t)を得る。スペクトルサブトラクション法は、例えば、文献「S.F.Boll, “Suppression of acoustic noise in speech using spectral subtraction,” IEEE Trans. Acoustics, Speech, and Signal Processing, vol.27, no.2,pp.113-120, 1979.」に記載されている。また、ＭＭＳＥ−ＳＴＳＡ法は、文献「Y.Ephraimand D.Malah, “Speech enhancement using a minimummean-square error short-time spectral amplitude estimator,” IEEE Trans. Acoustics, Speech, and Signal Processing, vol.32, no.6,pp.1109-1121, 1984.」に記載されている。
【００５３】
図１に戻って、補正係数算出部１０７は、補正係数β(f,t)を、各フレームにおいて、周波数毎に算出する。この補正係数β(f,t)は、上述のポストフィルタリング部１０９で行われるポストフィルタリング処理を補正するため、つまり目的音推定信号Ｚ(f,t)に残留している雑音成分の利得と、雑音推定信号Ｎ(f,t)の利得を合わせるためのものである。補正係数算出部１０７は、図５に示すように、目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)に基づいて、各フレームにおいて、周波数毎に補正係数β(f,t)を算出する。
【００５４】
この実施の形態において、補正係数算出部１０７は、以下の（５）式に基づいて、補正係数β(f,t)を算出する。
【数３】
【００５５】
補正係数算出部１０７は、現フレームの算出係数だけではフレーム毎に補正係数がばらつくので、前フレームの補正係数β(f,t-1)を使用して平滑化することで、安定した補正係数β(f,t)を求めている。（５）式の右辺第１項は、前フレームの補正係数β(f,t-1)をキャリーする項であり、（５）式の右辺第２項は、現フレームの係数を算出する項である。なお、αは平滑化係数であって、例えば、０．９あるいは０．９５等の固定値とされ、前フレームに重みが置かれている。
【００５６】
上述のポストフィルタリング部１０９は、スペクトルサブトラクション法の公知技術を使用して雑音抑圧信号Ｙ(f,t)を得る場合、以下の（６）式のように補正係数β(f,t)を使用する。この場合、ポストフィルタリング部１０９は、雑音推定信号Ｎ(f,t)に補正係数β(f,t)を掛けて、当該雑音推定信号Ｎ(f,t)の補正を行う。この（６）式において、補正係数β(f,t)＝１では、補正を行わないということになる。
Ｙ(f,t)＝Ｚ(f,t)−β(f,t)＊Ｎ(f,t) ・・・（６）
【００５７】
補正係数変更部１０８は、各フレームにおいて、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更する。ポストフィルタリング部１０９は、実際には、補正係数算出部１０７で算出された補正係数β(f,t)そのものではなく、この変更後の補正係数β′(f,t)を用いる。
【００５８】
上述したように、マイクロホン間隔が広い場合、指向特性の曲線が折り返す空間エイリアシングを起こし、目的音強調の指向特性は目的音の方位以外の音も強調するような指向特性となる。補正係数算出部１０７で算出される各周波数の補正係数のうち、空間エイリアシングを起こしている帯域では、特定の周波数にピークができる。この補正係数がそのまま使用されると、特定の周波数にできたピークが出力音に悪影響を及ぼし、音質を劣化させる。
【００５９】
図６、図７は、それぞれ、図８に示すように、雑音（女性話者）が４５°の方位に存在する場合の補正係数の一例を示している。図６は、マイクロホン間隔ｄが２ｃｍの場合であって、空間エイリアシングがない場合を示している。これに対して、図７は、マイクロホン間隔ｄが２０ｃｍの場合であって、空間エイリアシングがある場合を示しており、特定の周波数にピークができている。
【００６０】
上述の図６、図７の補正係数の一例は、雑音が１つの場合を示している。しかし、実際の環境においては、雑音は１つではない。図９、図１０は、それぞれ、図１１に示すように、雑音（女性話者）が４５°の方位に存在し、さらに、雑音（男性話者）が−３０°の方位に存在する場合の補正係数の一例を示している。
【００６１】
図９は、マイクロホン間隔ｄが２ｃｍの場合であって、空間エイリアシングがない場合を示している。これに対して、図１０は、マイクロホン間隔ｄが２０ｃｍの場合であって、空間エイリアシングがある場合を示しており、特定の周波数にピークができている。この場合、雑音が１つの場合（図７参照）に比べて係数のピークは複雑になるが、雑音が１つの場合と同様に、係数の値が落ち込む周波数がある。
【００６２】
補正係数変更部１０８は、補正係数算出部１０７で算出された補正係数β(f,t)をチェックし、係数の値が落ち込んでいる低域側の最初の周波数Ｆａ(t)を見つける。補正係数変更部１０８は、図７、図１０に示すように、Ｆａ(t)以上の帯域では空間エイリアシングを起こしていると判断する。そして、補正係数変更部１０８は、上述したように、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更する。
【００６３】
補正係数変更部１０８は、例えば、第１の方法、あるいは第２の方法を用いて、空間エイリアシングを起こしている帯域の補正係数を変更する。第１の方法を用いる場合、補正係数変更部１０８は、以下のようにして、各周波数の変更された補正係数β′(f,t)を得る。補正係数変更部１０８は、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の補正係数を、図１２、図１３に示すように、周波数方向に平滑化して、各周波数の変更された補正係数β′(f,t)を得る。
【００６４】
このように周波数方向に平滑化することで、過剰に現れた係数のピークをつぶすことができる。なお、平滑化の区間長は任意に設定でき、図１２においては、矢印の長さを短くして区間長が短く設定されていることを表している。また、図１３においては、矢印の長さを長くして区間長が長く設定されていることを表している。
【００６５】
一方、第２の方法を用いる場合、補正係数変更部１０８は、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の補正係数を、図１４に示すように、１に置き換えて、変更された補正係数β′(f,t)を得る。なお、図１４は対数表記であるので、１ではなく、０となっている。この第２の方法は、第１の方法において極端に平滑化した場合には補正係数が１に近づいていくことを利用している。この第２の方法は、平滑化の演算を省略できる利益がある。
【００６６】
図１５のフローチャートは、補正係数変更部１０８における処理（１フレーム分）の手順を示している。補正係数変更部１０８は、ステップＳＴ１において、処理を開始し、その後にステップＳＴ２の処理に移る。このステップＳＴ２において、補正係数変更部１０８は、補正係数算出部１０７から補正係数β(f,t)を取得する。そして、補正係数変更部１０８は、ステップＳＴ３において、現在のフレームｔにおいて、各周波数ｆの係数を低域からサーチし、係数の値が落ち込んでいる低域側の最初の周波数Ｆａ(t)を見つける。
【００６７】
次に、補正係数変更部１０８は、ステップＳＴ４において、Ｆａ(t)以上の帯域、つまり、空間エイリアシングを起こしている帯域を平滑化するか否かのフラグをチェックする。なお、このフラグは、予めユーザ操作によって、設定されている。フラグオン（ON）のとき、補正係数変更部１０８は、ステップＳＴ５において、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の係数を周波数方向に平滑化して、各周波数ｆの変更された補正係数β′(f,t)を得る。補正係数変更部１０８は、このステップＳＴ５の処理の後、ステップＳＴ６において、処理を終了する。
【００６８】
また、補正係数変更部１０８は、ステップＳＴ４でフラグオフ（off）のとき、ステップＳＴ７において、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の補正係数を「１」に置き換えて、補正係数β′(f,t)を得る。補正係数変更部１０８は、このステップＳＴ７の処理の後、ステップＳＴ６において、処理を終了する。
【００６９】
図１に戻って、逆高速フーリエ変換（ＩＦＦＴ）部１１０は、フレーム毎に、ポストフィルタリング部１０９から出力される雑音抑圧信号Ｙ(f,t)に対して、逆高速フーリエ変換処理を施す。この逆高速フーリエ変換部１１０は、上述のフーリエ変換部１０４とは逆の処理を行い、周波数領域信号を時間領域信号に変換して、フレーム化信号を得る。
【００７０】
波形合成部１１１は、逆高速フーリエ変換部１１０で得られた各フレームのフレーム化信号を合成して、時系列的に連続した音声信号に復元する。この波形合成部１１１は、フレーム合成部を構成している。この波形合成部１１１は、音声入力システム１００の出力として、雑音抑圧された音声信号ＳＡoutを出力する。
【００７１】
図１に示す音声入力システム１００の動作を簡単に説明する。所定の間隔をもって並べて配置されているマイクロホン１０１ａ，１０１ｂでは周囲音が集音されて観測信号が得られる。マイクロホン１０１ａ，１０１ｂで得られた観測信号は、Ａ／Ｄ変換器１０２でアナログ信号からデジタル信号に変換された後に、フレーム分割部１０３に供給される。そして、フレーム分割部１０３では、マイクロホン１０１ａ，１０１ｂからの観測信号が、所定時間長のフレームに分割されて、フレーム化される。
【００７２】
フレーム分割部１０３でフレーム化されて得られた各フレームのフレーム化信号は、高速フーリエ変換部１０４に順次供給される。高速フーリエ変換部１０４では、フレーム化信号に対して、高速フーリエ変換（ＦＦＴ）処理が施されて、周波数領域の信号として、マイクロホン１０１ａの観測信号Ｘ1(f,t)と、マイクロホン１０１ｂの観測信号をＸ2(f,t)が得られる。
【００７３】
高速フーリエ変換部１０４で得られた観測信号Ｘ1(f,t)，Ｘ2(f,t)は、目的音強調部１０５に供給される。この目的音強調部１０５では、観測信号Ｘ1(f,t)，Ｘ2(f,t)に、従来周知のＤＳ処理、あるいは適応ビームフォーマ処理などが施され、各フレームにおいて、周波数毎に目的音推定信号Ｚ(f,t)が得られる。例えば、ＤＳ処理が用いられる場合には、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)が加算処理された後に２で割られて目的音推定信号Ｚ(f,t)とされる（（３）式参照）。
【００７４】
また、高速フーリエ変換部１０４で得られた観測信号Ｘ1(f,t)，Ｘ2(f,t)は、雑音推定部１０６に供給される。この雑音推定部１０６では、観測信号Ｘ1(f,t)，Ｘ2(f,t)に、従来周知のＮＢＦ処理、あるいは適応ビームフォーマ処理などが施され、各フレームにおいて、周波数毎に雑音推定信号Ｎ(f,t)が得られる。例えば、ＮＢＦ処理が用いられる場合には、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)が減算処理された後に２で割られて雑音推定信号Ｎ(f,t)とされる（（４）式参照）。
【００７５】
目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)は、補正係数算出部１０７に供給される。補正係数算出部１０７では、目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)に基づいて、ポストフィルタリング処理を補正するための補正係数β(f,t)が、各フレームにおいて、周波数毎に算出される（（５）式参照）。
【００７６】
補正係数算出部１０７で算出された補正係数β(f,t)は、補正係数変更部１０８に供給される。補正係数変更部１０８では、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の係数が、特定の周波数にできるピークをつぶすように変更されて、変更後の補正係数β′(f,t)が得られる。
【００７７】
この補正係数変更部１０８では、補正係数算出部１０７で算出された補正係数β(f,t)がチェックされて、係数の値が落ち込んでいる低域側の最初の周波数Ｆａ(t)が見つけられ、Ｆａ(t)以上の帯域では空間エイリアシングを起こしていると判断される。そして、補正係数変更部１０８では、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の係数が、特定の周波数にできるピークをつぶすように変更される。
【００７８】
例えば、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の補正係数が、周波数方向に平滑化されて、各周波数の変更された補正係数β′(f,t)が得られる（図１２、図１３参照）。また、例えば、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の補正係数が１に置き換えられて、変更された補正係数β′(f,t)が得られる（図１４参照）。
【００７９】
目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)は、ポストフィルタリング部１０９に供給される。また、このポストフィルタリング部１０９には、補正係数変更部１０８で変更された補正係数β′(f,t)が供給される。このポストフィルタリング部１０９では、目的音推定信号Ｚ(f,t)に残留している雑音成分が、雑音推定信号Ｎ(f,t)を用いたポストフィルタリング処理によって除去される。補正係数β′(f,t)は、このポストフィルタリング処理を補正するため、つまり目的音推定信号Ｚ(f,t)に残留している雑音成分の利得と、雑音推定信号Ｎ(f,t)の利得を合わせるために用いられる。
【００８０】
このポストフィルタリング部１０９では、例えば、スペクトルサブトラクション法、ＭＭＳＥ−ＳＴＳＡ法などの公知技術が使用されて、雑音抑圧信号Ｙ(f,t)が得られる。例えば、スペクトルサブトラクション法が使用される場合、雑音抑圧信号Ｙ(f,t)は、以下の（７）式に基づいて求められる。
Ｙ(f,t)＝Ｚ(f,t)−β′(f,t)＊Ｎ(f,t) ・・・（７）
【００８１】
ポストフィルタリング部１０９からフレーム毎に出力される各周波数の雑音抑圧信号Ｙ(f,t)は、逆高速フーリエ変換部１１０に供給される。この逆高速フーリエ変換部１１０では、フレーム毎に、各周波数の雑音抑圧信号Ｙ(f,t)に対して、逆高速フーリエ変換処理が施され、時間領域信号に変換されたフレーム化信号が得られる。各フレームのフレーム化信号は、波形合成部１１１に順次供給される。この波形合成部１１１では、各フレームのフレーム化信号が合成されて、時系列的に連続した、音声入力システム１００の出力としての、雑音抑圧された音声信号ＳＡoutが得られる。
【００８２】
上述したように、図１に示す音声入力システム１００においては、補正係数算出部１０７で算出された補正係数β(f,t)が補正係数変更部１０８により変更される。この場合、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域（Ｆａ(t)以上の帯域）の係数が、特定の周波数にできるピークをつぶすように変更されて、変更された補正係数β′(f,t)が得られる。ポストフィルタリング部１０９では、この変更された補正係数β′(f,t)が用いられる。
【００８３】
そのため、空間エイリアシングを起こしている帯域の特定の周波数にできる係数のピークが出力音に及ぼす悪影響を軽減でき、音質の劣化を抑制できる。これにより、マイクロホン間隔に依存しない雑音除去処理が可能となる。したがって、マイクロホン１０１ａ，１０１ｂがヘッドホンに設置されているノイズキャンセル用のマイクロホンであって、マイクロホン間隔が広い場合にあっても、効率よく雑音の補正を行うことができ、歪みの少ない良好な雑音除去処理が行われる。
【００８４】
＜２．第２の実施の形態＞
［音声入力システムの構成例］
図１６は、第２の実施の形態としての音声入力システム１００Ａの構成例を示している。この音声入力システム１００Ａも、上述の図１に示す音声入力システム１００と同様に、ノイズキャンセルヘッドホンの左右のヘッドホンに設置されているノイズキャンセル用のマイクロホンを用いて音声入力を行うシステムである。この図１６において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【００８５】
この音声入力システム１００Ａは、マイクロホン１０１ａ，１０１ｂと、Ａ／Ｄ変換器１０２と、フレーム分割部１０３と、高速フーリエ変換（ＦＦＴ）部１０４と、目的音強調部１０５と、雑音推定部１０６を有している。また、この音声入力システム１００Ａは、補正係数算出部１０７と、ポストフィルタリング部１０９と、逆高速フーリエ変換（ＩＦＦＴ）部１１０と、波形合成部１１１と、周囲雑音状態推定部１１２と、補正係数変更部１１３を有している。
【００８６】
周囲雑音状態推定部１１２は、マイクロホン１０１ａ，１０１ｂの観測信号を処理して周囲雑音の音源数情報を得る。周囲雑音状態推定部１１２は、以下の（８）式に基づいて、フレーム毎に、マイクロホン１０１ａの観測信号およびマイクロホン１０１ｂの観測信号の相関係数corrを算出し、周囲雑音の音源数情報とする。この（８）式において、ｘ1(n)は、マイクロホン１０１ａの時間軸データを示し、ｘ2(n)は、マイクロホン１０１ｂの時間軸データを示し、Ｎはサンプル数を示している。
【００８７】
【数４】
【００８８】
図１７の棒グラフは、雑音の音源数と、相関係数corrとの関係の一例を示している。一般に、音源数が増えると、マイクロホン１０１ａ，１０１ｂの観測信号の相関が低下していく。理論的には、音源数が増えていくにつれて相関係数corrは０に近づいていく。そのため、相関係数corrにより周囲雑音の音源数を推定することができる。
【００８９】
図１６に戻って、補正係数変更部１１３は、各フレームにおいて、周囲雑音状態推定部１１２で得られた相関係数corr（周囲雑音の音源数情報）に基づいて、補正係数算出部１０７で算出された補正係数β(f,t)を変更する。すなわち、補正係数変更部１１３は、音源数が多い程平滑化フレーム数を大きくして、補正係数算出部１０７で算出された係数をフレーム方向に平滑化して、変更された補正係数β′(f,t)を得る。ポストフィルタリング部１０９は、実際には、補正係数算出部１０７で算出された補正係数β(f,t)そのものではなく、この変更後の補正係数β′(f,t)を用いる。
【００９０】
図１８は、図１９に示すように、４５°の方位に雑音が存在する場合の補正係数の一例（マイクロホン間隔ｄは２ｃｍ）を示している。これに対して、図２０は、図２１に示すように、複数の方位に雑音が存在する場合の補正係数の一例（マイクロホン間隔ｄは２ｃｍ）を示している。このようにマイクロホン間隔が空間エイリアシングを起こさないような適正な間隔であったとしても、雑音の音源数が増えると、補正係数が安定しなくなる。これにより、図２２に示すように、補正係数が、フレーム毎に、ランダムに変化する。この補正係数がそのまま使用されると、出力音に悪影響を及ぼし、音質を劣化させる。
【００９１】
補正係数変更部１１３は、各フレームにおいて、周囲雑音状態推定部１１２で得られた相関係数corr（周囲雑音の音源数情報）に基づいて、平滑化フレーム数γを計算する。補正係数変更部１１３は、例えば、図２３に示すような、平滑化フレーム数算出関数により、平滑化フレーム数γを求める。この場合、マイクロホン１０１ａ，１０１ｂの観測信号の相関が大きいとき、つまり相関係数corrの値が大きいときは、平滑化フレーム数γは小さく求められる。
【００９２】
一方、マイクロホン１０１ａ，１０１ｂの観測信号の相関が小さいとき、つまり相関係数corrの値が小さいときは、平滑化フレーム数γは大きく求められる。なお、補正係数変更部１１３は、実際に演算処理を行う必要はなく、相関係数corrと平滑化フレーム数γとの対応関係が記憶されたテーブルから、相関係数corrにより平滑化フレーム数γを読み出すようにしてもよい。
【００９３】
補正係数変更部１１３は、各フレームにおいて、補正係数算出部１０７で算出された補正係数β(f,t)を、図２４に示すように、フレーム方向（時間方向）に平滑化して、各フレームの変更された補正係数β′(f,t)を得る。この場合、上述したように求められた平滑化フレーム数γで平滑化が行われる。このように変更された各フレームの補正係数がβ′(f,t)は、フレーム方向（時間方向）になだらかに変化するものとなる。
【００９４】
図２５のフローチャートは、周囲雑音状態推定部１１２および補正係数変更部１１３における処理（１フレーム分）の手順を示している。各部は、ステップＳＴ１１において、処理を開始する。その後に、ステップＳＴ１２において、周囲雑音状態推定部１１２は、マイクロホン１０１ａ，１０１ｂの観測信号のデータフレームｘ1(t)，ｘ2(t)を取得する。そして、周囲雑音状態推定部１１２は、ステップＳＴ１３において、マイクロホン１０１ａ，１０１ｂの観測信号の相関の度合いを示す相関係数corr(t)を算出する（（８）式参照）。
【００９５】
次に、補正係数変更部１１３は、ステップＳＴ１４において、ステップＳＴ１３で周囲雑音状態推定部１１２で計算された相関係数corr(t)の値を用いて、平滑化フレーム数算出関数により（図２３参照）、平滑化フレーム数γを算出する。そして、補正係数変更部１１３は、ステップＳＴ１５において、補正係数算出部１０７で算出された補正係数β(f,t)を、ステップＳＴ１４で計算した平滑化フレーム数γで平滑化して、変更された補正係数β′(f,t)を得る。各部は、このステップＳＴ１５の処理の後、ステップＳＴ１６において、処理を終了する。
【００９６】
図１６に示す音声入力システム１００Ａのその他は、詳細説明は省略するが、図１に示す音声入力システム１００と同様に構成されている。
【００９７】
図１６に示す音声入力システム１００Ａの動作を簡単に説明する。所定の間隔をもって並べて配置されているマイクロホン１０１ａ，１０１ｂでは周囲音が集音されて観測信号が得られる。マイクロホン１０１ａ，１０１ｂで得られた観測信号は、Ａ／Ｄ変換器１０２でアナログ信号からデジタル信号に変換された後に、フレーム分割部１０３に供給される。そして、フレーム分割部１０３では、マイクロホン１０１ａ，１０１ｂからの観測信号が、所定時間長のフレームに分割されて、フレーム化される。
【００９８】
フレーム分割部１０３でフレーム化されて得られた各フレームのフレーム化信号は、高速フーリエ変換部１０４に順次供給される。高速フーリエ変換部１０４では、フレーム化信号に対して、高速フーリエ変換（ＦＦＴ）処理が施されて、周波数領域の信号として、マイクロホン１０１ａの観測信号Ｘ1(f,t)と、マイクロホン１０１ｂの観測信号をＸ2(f,t)が得られる。
【００９９】
高速フーリエ変換部１０４で得られた観測信号Ｘ1(f,t)，Ｘ2(f,t)は、目的音強調部１０５に供給される。この目的音強調部１０５では、観測信号Ｘ1(f,t)，Ｘ2(f,t)に、従来周知のＤＳ処理、あるいは適応ビームフォーマ処理などが施され、各フレームにおいて、周波数毎に目的音推定信号Ｚ(f,t)が得られる。例えば、ＤＳ処理が用いられる場合には、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)が加算処理された後に２で割られて目的音推定信号Ｚ(f,t)とされる（（３）式参照）。
【０１００】
また、高速フーリエ変換部１０４で得られた観測信号Ｘ1(f,t)，Ｘ2(f,t)は、雑音推定部１０６に供給される。この雑音推定部１０６では、観測信号Ｘ1(f,t)，Ｘ2(f,t)に、従来周知のＮＢＦ処理、あるいは適応ビームフォーマ処理などが施され、各フレームにおいて、周波数毎に雑音推定信号Ｎ(f,t)が得られる。例えば、ＮＢＦ処理が用いられる場合には、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)が減算処理された後に２で割られて雑音推定信号Ｎ(f,t)とされる（（４）式参照）。
【０１０１】
目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)は、補正係数算出部１０７に供給される。補正係数算出部１０７では、目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)に基づいて、ポストフィルタリング処理を補正するための補正係数β(f,t)が、各フレームにおいて、周波数毎に算出される（（５）式参照）。
【０１０２】
また、フレーム分割部１０３でフレーム化されて得られた各フレームのフレーム化信号、すなわちマイクロホン１０１ａ，１０１ｂの観測信号ｘ1(n)，ｘ2(n)は、周囲雑音状態推定部１１２に供給される。すなわち、周囲雑音状態推定部１１２では、マイクロホン１０１ａ，１０１ｂの観測信号ｘ1(n)，ｘ2(n)の相関係数corrが求められ、周囲雑音の音源数情報とされる（（８）式参照）。
【０１０３】
補正係数算出部１０７で算出された補正係数β(f,t)は、補正係数変更部１１３に供給される。また、この補正係数変更部１１３には、周囲雑音状態推定部１１２で得られた相関係数corrも供給される。補正係数変更部１１３では、各フレームにおいて、周囲雑音状態推定部１１２で得られた相関係数corr（周囲雑音の音源数情報）に基づいて、補正係数算出部１０７で算出された補正係数β(f,t)が変更される。
【０１０４】
まず、補正係数変更部１１３では、相関係数corrに基づいて、平滑化フレーム数が求められる。この場合、平滑化フレーム数γは、相関係数corrの値が大きいときは小さく求められ、相関係数corrの値が小さいときは大きく求められる（図２３参照）。次に、補正係数変更部１１３では、補正係数算出部１０７で算出された補正係数β(f,t)が、平滑化フレーム数γにより、フレーム方向（時間方向）に平滑化されて、各フレームの変更された補正係数β′(f,t)が得られる（図２４参照）。
【０１０５】
目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)は、ポストフィルタリング部１０９に供給される。また、このポストフィルタリング部１０９には、補正係数変更部１１３で変更された補正係数β′(f,t)が供給される。このポストフィルタリング部１０９では、目的音推定信号Ｚ(f,t)に残留している雑音成分が、雑音推定信号Ｎ(f,t)を用いたポストフィルタリング処理によって除去される。補正係数β′(f,t)は、このポストフィルタリング処理を補正するため、つまり目的音推定信号Ｚ(f,t)に残留している雑音成分の利得と、雑音推定信号Ｎ(f,t)の利得を合わせるために用いられる。
【０１０６】
このポストフィルタリング部１０９では、例えば、スペクトルサブトラクション法、ＭＭＳＥ−ＳＴＳＡ法などの公知技術が使用されて、雑音抑圧信号Ｙ(f,t)が得られる。例えば、スペクトルサブトラクション法が使用される場合、雑音抑圧信号Ｙ(f,t)は、以下の（９）式に基づいて求められる。
Ｙ(f,t)＝Ｚ(f,t)−β′(f,t)＊Ｎ(f,t) ・・・（９）
【０１０７】
ポストフィルタリング部１０９からフレーム毎に出力される各周波数の雑音抑圧信号Ｙ(f,t)は、逆高速フーリエ変換部１１０に供給される。この逆高速フーリエ変換部１１０では、フレーム毎に、各周波数の雑音抑圧信号Ｙ(f,t)に対して、逆高速フーリエ変換処理が施され、時間領域信号に変換されたフレーム化信号が得られる。各フレームのフレーム化信号は、波形合成部１１１に順次供給される。この波形合成部１１１では、各フレームのフレーム化信号が合成されて、時系列的に連続した、音声入力システム１００の出力としての、雑音抑圧された音声信号ＳＡoutが得られる。
【０１０８】
上述したように、図１６に示す音声入力システム１００Ａにおいては、補正係数算出部１０７で算出された補正係数β(f,t)が補正係数変更部１１３により変更される。この場合、周囲雑音状態推定部１１２では、マイクロホン１０１ａ，１０１ｂの観測信号ｘ1(n)，ｘ2(n)の相関係数corrが周囲雑音の音源数情報として得られる。そして、補正係数変更部１１３では、この音源数情報に基づいて、音源数が大きくなる程大きくなるように平滑化フレーム数γが求められ、補正係数β(f,t)がフレーム方向に平滑化されて、各フレームの変更された補正係数β′(f,t)が得られる。ポストフィルタリング部１０９では、この変更された補正係数β′(f,t)が用いられる。
【０１０９】
そのため、周囲に無数の雑音源がある状況において、補正係数のフレーム方向（時間方向）の変化を抑制して出力音に及ぼす影響を軽減できる。これにより、周囲の雑音の状況に合わせた雑音除去処理が可能となる。したがって、マイクロホン１０１ａ，１０１ｂがヘッドホンに設置されているノイズキャンセル用のマイクロホンであって、周囲に多くの雑音音源がある場合にあっても、効率よく雑音の補正を行うことができ、歪みの少ない良好な雑音除去処理が行われる。
【０１１０】
＜３．第３の実施の形態＞
［音声入力システムの構成例］
図２６は、第３の実施の形態としての音声入力システム１００Ｂの構成例を示している。この音声入力システム１００Ｂも、上述の図１、図１６に示す音声入力システム１００，１００Ａと同様に、ノイズキャンセルヘッドホンの左右のヘッドホンに設置されているノイズキャンセル用のマイクロホンを用いて音声入力を行うシステムである。この図２６において、図１、図１６と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１１１】
この音声入力システム１００Ｂは、マイクロホン１０１ａ，１０１ｂと、Ａ／Ｄ変換器１０２と、フレーム分割部１０３と、高速フーリエ変換（ＦＦＴ）部１０４と、目的音強調部１０５と、雑音推定部１０６と、補正係数算出部１０７を有している。また、この音声入力システム１００Ｂは、補正係数変更部１０８と、ポストフィルタリング部１０９と、逆高速フーリエ変換（ＩＦＦＴ）部１１０と、波形合成部１１１と、周囲雑音状態推定部１１２と、補正係数変更部１１３を有している。
【０１１２】
補正係数変更部１０８は、各フレームにおいて、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の係数を、特定の周波数にできるピークをつぶすように変更して、補正係数β′(f,t)を得る。詳細説明は省略するが、この補正係数変更部１０８は、図１に示す音声入力システム１００の補正係数変更部１０８と同様のものである。この補正係数変更部１０８は、第１の補正係数変更部を構成している。
【０１１３】
周囲雑音状態推定部１１２は、フレーム毎に、マイクロホン１０１ａの観測信号およびマイクロホン１０１ｂの観測信号の相関係数corrを算出し、周囲雑音の音源数情報とする。詳細説明は省略するが、この周囲雑音状態推定部１１２は、図１６に示す音声入力システム１００Ａの周囲雑音状態推定部１１２と同様のものである。
【０１１４】
補正係数変更部１１３は、各フレームにおいて、周囲雑音状態推定部１１２で得られた相関係数corr（周囲雑音の音源数情報）に基づいて、補正係数変更部１０８で変更された補正係数β′(f,t)をさらに変更して、補正係数β″(f,t)を得る。詳細説明は省略するが、この補正係数変更部１１３は、図１６に示す音声入力システム１００Ａの補正係数変更部１１３と同様のものである。この補正係数変更部１１３は、第２の補正係数変更部を構成している。ポストフィルタリング部１０９は、実際には、補正係数算出部１０７で算出された補正係数β(f,t)そのものではなく、この変更後の補正係数β″(f,t)を用いる。
【０１１５】
図２６に示す音声入力システム１００Ｂのその他は、詳細説明は省略するが、図１、図１６に示す音声入力システム１００，１００Ａと同様に構成されている。
【０１１６】
図２７のフローチャートは、補正係数変更部１０８、周囲雑音状態推定部１１２および補正係数変更部１１３における処理（１フレーム分）の手順を示している。各部は、ステップＳＴ２１において、処理を開始する。その後、ステップＳＴ２２において、補正係数変更部１０８は、補正係数算出部１０７から補正係数β(f,t)を取得する。そして、補正係数変更部１０８は、ステップＳＴ２３において、現在のフレームｔにおいて、各周波数ｆの係数を低域からサーチし、係数の値が落ち込んでいる低域側の最初の周波数Ｆａ(t)を見つける。
【０１１７】
次に、補正係数変更部１０８は、ステップＳＴ２４において、Ｆａ(t)以上の帯域、つまり、空間エイリアシングを起こしている帯域を平滑化するか否かのフラグをチェックする。なお、このフラグは、予めユーザ操作によって、設定されている。フラグオンのとき、補正係数変更部１０８は、ステップＳＴ２５において、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の係数を周波数方向に平滑化して、各周波数ｆの変更された補正係数β′(f,t)を得る。また、補正係数変更部１０８は、ステップＳＴ２４でフラグオフのとき、ステップＳＴ２７において、補正係数算出部１０７で算出された補正係数β(f,t)のうち、Ｆａ(t)以上の帯域の補正係数を「１」に置き換えて、補正係数β′(f,t)を得る。
【０１１８】
ステップＳＴ２５、あるいはステップＳＴ２６の処理の後、周囲雑音状態推定部１１２は、ステップＳＴ２７において、マイクロホン１０１ａ，１０１ｂの観測信号のデータフレームｘ1(t)，ｘ2(t)を取得する。そして、周囲雑音状態推定部１１２は、ステップＳＴ２８において、マイクロホン１０１ａ，１０１ｂの観測信号の相関の度合いを示す相関係数corr(t)を算出する（（８）式参照）。
【０１１９】
次に、補正係数変更部１１３は、ステップＳＴ２９において、ステップＳＴ２８で周囲雑音状態推定部１１２によって計算された相関係数corr(t)の値を用いて、平滑化フレーム数算出関数により（図２３参照）、平滑化フレーム数γを算出する。そして、補正係数変更部１１３は、ステップＳＴ３０において、補正係数変更部１０８で変更された補正係数β′(f,t)を、ステップＳＴ２９で計算した平滑化フレーム数γで平滑化して、変更された補正係数β″(f,t)を得る。各部は、このステップＳＴ３０の処理の後、ステップＳＴ３１において、処理を終了する。
【０１２０】
図２６に示す音声入力システム１００Ｂの動作を簡単に説明する。所定の間隔をもって並べて配置されているマイクロホン１０１ａ，１０１ｂでは周囲音が集音されて観測信号が得られる。マイクロホン１０１ａ，１０１ｂで得られた観測信号は、Ａ／Ｄ変換器１０２でアナログ信号からデジタル信号に変換された後に、フレーム分割部１０３に供給される。そして、フレーム分割部１０３では、マイクロホン１０１ａ，１０１ｂからの観測信号が、所定時間長のフレームに分割されて、フレーム化される。
【０１２１】
フレーム分割部１０３でフレーム化されて得られた各フレームのフレーム化信号は、高速フーリエ変換部１０４に順次供給される。高速フーリエ変換部１０４では、フレーム化信号に対して、高速フーリエ変換（ＦＦＴ）処理が施されて、周波数領域の信号として、マイクロホン１０１ａの観測信号Ｘ1(f,t)と、マイクロホン１０１ｂの観測信号をＸ2(f,t)が得られる。
【０１２２】
高速フーリエ変換部１０４で得られた観測信号Ｘ1(f,t)，Ｘ2(f,t)は、目的音強調部１０５に供給される。この目的音強調部１０５では、観測信号Ｘ1(f,t)，Ｘ2(f,t)に、従来周知のＤＳ処理、あるいは適応ビームフォーマ処理などが施され、各フレームにおいて、周波数毎に目的音推定信号Ｚ(f,t)が得られる。例えば、ＤＳ処理が用いられる場合には、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)が加算処理された後に２で割られて目的音推定信号Ｚ(f,t)とされる（（３）式参照）。
【０１２３】
また、高速フーリエ変換部１０４で得られた観測信号Ｘ1(f,t)，Ｘ2(f,t)は、雑音推定部１０６に供給される。この雑音推定部１０６では、観測信号Ｘ1(f,t)，Ｘ2(f,t)に、従来周知のＮＢＦ処理、あるいは適応ビームフォーマ処理などが施され、各フレームにおいて、周波数毎に雑音推定信号Ｎ(f,t)が得られる。例えば、ＮＢＦ処理が用いられる場合には、観測信号Ｘ1(f,t)および観測信号Ｘ2(f,t)が減算処理された後に２で割られて雑音推定信号Ｎ(f,t)とされる（（４）式参照）。
【０１２４】
目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)は、補正係数算出部１０７に供給される。補正係数算出部１０７では、目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)に基づいて、ポストフィルタリング処理を補正するための補正係数β(f,t)が、各フレームにおいて、周波数毎に算出される（（５）式参照）。
【０１２５】
補正係数算出部１０７で算出された補正係数β(f,t)は、補正係数変更部１０８に供給される。補正係数変更部１０８では、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域の係数が、特定の周波数にできるピークをつぶすように変更されて、変更後の補正係数β′(f,t)が得られる。
【０１２６】
また、フレーム分割部１０３でフレーム化されて得られた各フレームのフレーム化信号、すなわち、マイクロホン１０１ａ，１０１ｂの観測信号ｘ1(n)，ｘ2(n)は、周囲雑音状態推定部１１２に供給される。周囲雑音状態推定部１１２では、マイクロホン１０１ａ，１０１ｂの観測信号ｘ1(n)，ｘ2(n)の相関係数corrが求められ、周囲雑音の音源数情報としての相関係数corrが得られる（（８）式参照）。
【０１２７】
補正係数変更部１０８で得られた変更後の補正係数β′(f,t)は、さらに、補正係数変更部１１３に供給される。また、この補正係数変更部１１３には、周囲雑音状態推定部１１２で得られた相関係数corrも供給される。補正係数変更部１１３では、各フレームにおいて、周囲雑音状態推定部１１２で得られた相関係数corr（周囲雑音の音源数情報）に基づいて、補正係数算出部１０７で得られた補正係数β′(f,t)がさらに変更される。
【０１２８】
まず、補正係数変更部１１３では、相関係数corrに基づいて、平滑化フレーム数が求められる。この場合、平滑化フレーム数γは、相関係数corrの値が大きいときは小さく求められ、相関係数corrの値が小さいときは大きく求められる（図２３参照）。次に、補正係数変更部１１３では、補正係数算出部１０７で得られた補正係数β′(f,t)が、平滑化フレーム数γにより、フレーム方向（時間方向）に平滑化されて、各フレームの変更された補正係数β″(f,t)が得られる（図２４参照）。
【０１２９】
目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)は、ポストフィルタリング部１０９に供給される。また、このポストフィルタリング部１０９には、補正係数変更部１１３で変更された補正係数β″(f,t)が供給される。このポストフィルタリング部１０９では、目的音推定信号Ｚ(f,t)に残留している雑音成分が、雑音推定信号Ｎ(f,t)を用いたポストフィルタリング処理によって除去される。補正係数β″(f,t)は、このポストフィルタリング処理を補正するため、つまり目的音推定信号Ｚ(f,t)に残留している雑音成分の利得と、雑音推定信号Ｎ(f,t)の利得を合わせるために用いられる。
【０１３０】
このポストフィルタリング部１０９では、例えば、スペクトルサブトラクション法、ＭＭＳＥ−ＳＴＳＡ法などの公知技術が使用されて、雑音抑圧信号Ｙ(f,t)が得られる。例えば、スペクトルサブトラクション法が使用される場合、雑音抑圧信号Ｙ(f,t)は、以下の（１０）式に基づいて求められる。
Ｙ(f,t)＝Ｚ(f,t)−β″(f,t)＊Ｎ(f,t) ・・・（１０）
【０１３１】
ポストフィルタリング部１０９からフレーム毎に出力される各周波数の雑音抑圧信号Ｙ(f,t)は、逆高速フーリエ変換部１１０に供給される。この逆高速フーリエ変換部１１０では、フレーム毎に、各周波数の雑音抑圧信号Ｙ(f,t)に対して、逆高速フーリエ変換処理が施され、時間領域信号に変換されたフレーム化信号が得られる。各フレームのフレーム化信号は、波形合成部１１１に順次供給される。この波形合成部１１１では、各フレームのフレーム化信号が合成されて、時系列的に連続した、音声入力システム１００の出力としての、雑音抑圧された音声信号ＳＡoutが得られる。
【０１３２】
上述したように、図２６に示す音声入力システム１００Ｂにおいては、補正係数算出部１０７で算出された補正係数β(f,t)が補正係数変更部１０８により変更される。この場合、補正係数算出部１０７で算出された補正係数β(f,t)のうち、空間エイリアシングを起こしている帯域（Ｆａ(t)以上の帯域）の係数が、特定の周波数にできるピークをつぶすように変更されて、変更された補正係数β′(f,t)が得られる。
【０１３３】
また、図２６に示す音声入力システム１００Ｂにおいては、補正係数変更部１０８で変更された補正係数β′(f,t)が補正係数変更部１１３によりさらに変更される。この場合、周囲雑音状態推定部１１２では、マイクロホン１０１ａ，１０１ｂの観測信号ｘ1(n)，ｘ2(n)の相関係数corrが周囲雑音の音源数情報として得られる。そして、補正係数変更部１１３では、この音源数情報に基づいて、音源数が大きくなる程大きくなるように平滑化フレーム数γが求められ、補正係数β′(f,t)がフレーム方向に平滑化されて、各フレームの変更された補正係数β″(f,t)が得られる。ポストフィルタリング部１０９では、この変更された補正係数β″(f,t)が用いられる。
【０１３４】
そのため、空間エイリアシングを起こしている帯域の特定の周波数にできる係数のピークが出力音に及ぼす悪影響を軽減でき、音質の劣化を抑制できる。これにより、マイクロホン間隔に依存しない雑音除去処理が可能となる。したがって、マイクロホン１０１ａ，１０１ｂがヘッドホンに設置されているノイズキャンセル用のマイクロホンであって、マイクロホン間隔が広い場合にあっても、効率よく雑音の補正を行うことができ、歪みの少ない良好な雑音除去処理が行われる。
【０１３５】
また、周囲に無数の雑音源がある状況において、補正係数のフレーム方向（時間方向）の変化を抑制して出力音に及ぼす影響を軽減できる。これにより、周囲の雑音の状況に合わせた雑音除去処理が可能となる。したがって、マイクロホン１０１ａ，１０１ｂがヘッドホンに設置されているノイズキャンセル用のマイクロホンであって、周囲に多くの雑音音源がある場合にあっても、効率よく雑音の補正を行うことができ、歪みの少ない良好な雑音除去処理が行われる。
【０１３６】
＜４．第４の実施の形態＞
［音声入力システムの構成例］
図２８は、第４の実施の形態としての音声入力システム１００Ｃの構成例を示している。この音声入力システム１００Ｃも、図１、図１６、図２６に示す音声入力システム１００，１００Ａ，１００Ｂと同様に、ノイズキャンセルヘッドホンの左右のヘッドホンに設置されているノイズキャンセル用のマイクロホンを用いて音声入力を行うシステムである。この図２８において、図２６と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１３７】
この音声入力システム１００Ｃは、マイクロホン１０１ａ，１０１ｂと、Ａ／Ｄ変換器１０２と、フレーム分割部１０３と、高速フーリエ変換（ＦＦＴ）部１０４と、目的音強調部１０５と、雑音推定部１０６と、補正係数算出部１０７Ｃを有している。また、この音声入力システム１００Ｃは、補正係数変更部１０８，１１３と、ポストフィルタリング部１０９と、逆高速フーリエ変換（ＩＦＦＴ）部１１０と、波形合成部１１１と、周囲雑音状態推定部１１２と、目的音区間検出部１１４を有している。
【０１３８】
目的音区間検出部１１４は、目的音がある区間を検出する。目的音区間検出部１１４は、図２９に示すように、目的音強調部１０５で得られた目的音推定信号Ｚ(f,t)および雑音推定部１０６で得られた雑音推定信号Ｎ(f,t)に基づき、各フレームにおいて、目的音区間であるか判断して、目的音区間情報を出力する。
【０１３９】
目的音区間検出部１１４は、目的音推定信号Ｚ(f,t)と雑音推定信号Ｎ(f,t)のエネルギー比を求める。以下の（１１）式はエネルギー比を示している。
【数５】
【０１４０】
目的音区間検出部１１４は、このエネルギー比が閾値（threshould）より大きいか否かを判断する。そして、目的音区間検出部１１４は、以下の（１２）式に示すように、エネルギー比が閾値より大きいときは、目的音区間であると判断して目的音区間検出情報として“１”を出力し、それ以外のときは、目的音区間ではないと判断して“０”を出力する。
【０１４１】
【数６】
【０１４２】
この場合、目的音は図３０に示すように正面にあり、目的音がある場合には、目的音推定信号Ｚ(f,t)と雑音推定信号Ｎ(f,t)の利得の差が大きく、雑音だけの場合には、それらの利得の差が小さいこと、が利用されている。なお、マイクロホン間隔が既知で、目的音が正面でなくて任意の方向である場合も同様に処理できる。
【０１４３】
補正係数算出部１０７Ｃは、図１、図１６、図２６の音声入力システム１００，１００Ａ，１００Ｂの補正係数算出部１０７と同様にして、補正係数β(f,t)を算出する。ただし、補正係数算出部１０７Ｃは、補正係数算出部１０７とは異なり、目的音区間検出部１１４からの目的音区間情報に基づいて、補正係数β(f,t)を算出するか否かを決定する。すなわち、補正係数算出部１０７Ｃは、目的音がないフレームでは補正係数β(f,t)を新たに算出して出力し、その他のフレームでは補正係数β(f,t)を算出せずに、前のフレームと同じ補正係数β(f,t)をそのまま出力する。
【０１４４】
図２８に示す音声入力システム１００Ｃのその他は、詳細説明は省略するが、図２６に示す音声入力システム１００Ｂと同様に構成され、同様に動作をする。そのため、この音声入力システム１００Ｃにおいては、図２６に示す音声入力システム１００Ｂと同様の効果を得ることができる。
【０１４５】
また、この音声入力システム１００Ｃにおいては、さらに、補正係数算出部１０７Ｃで、目的音がない区間で補正係数β(f,t)の算出が行われる。この場合、目的音推定信号Ｚ(f,t)には雑音成分のみが含まれるため、目的音の影響を受けることなく、補正係数β(f,t)を精度よく算出でき、結果として、良好な雑音除去処理が行われる。
【０１４６】
＜５．変形例＞
なお、上述実施の形態において、マイクロホン１０１ａ，１０１ｂは、ノイズキャンセルヘッドホンの左右のヘッドホンにそれぞれ設置されているノイズキャンセル用のマイクロホンである場合を示した。しかし、このマイクロホン１０１ａ，１０１ｂが、パーソナルコンピュータ本体に設置されているマイクロホンなどであることも考えられる。
【０１４７】
また、図１、図１６に示す音声入力システム１００，１００Ａにおいても、図２８に示す音声入力システム１００Ｃと同様に目的音区間検出部１１４を設け、補正係数算出部１０７は目的音がないフレームでのみ補正係数β(f,t)の算出を行うようにしてもよい。
【産業上の利用可能性】
【０１４８】
この発明は、ノイズキャンセルヘッドホンに設置されたノイズキャンセル用のマイクロホン、あるいはパーソナルコンピュータに設置されたマイクロホン等を利用して通話をするシステムに適用できる。
【符号の説明】
【０１４９】
１００，１００Ａ，１００Ｂ，１００Ｃ・・・音声入力システム
１０１ａ，１０１ｂ・・・マイクロホン
１０２・・・Ａ／Ｄ変換器
１０３・・・フレーム分割部
１０４・・・高速フーリエ変換（ＦＦＴ）部
１０５・・・目的音強調部
１０６・・・雑音推定部（目的音抑圧部）
１０７，１０７Ｃ・・・補正係数算出部
１０８・・・補正係数変更部
１０９・・・ポストフィルタリング部
１１０・・・逆高速フーリエ変換（ＩＦＦＴ）部
１１１・・・波形合成部
１１２・・・周囲雑音状態推定部
１１３・・・補正係数変更部
１１４・・・目的音区間検出部
【特許請求の範囲】
【請求項１】
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定部と、
上記目的音強調部で得られた目的音推定信号に残留している雑音成分を、上記雑音推定部で得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリング部と、
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、上記ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出部と、
上記補正係数算出部で算出された補正係数のうち、空間エイリアシングを起こしている帯域の補正係数を、特定の周波数にできるピークをつぶすように変更する補正係数変更部と
を備える雑音除去装置。
【請求項２】
上記補正係数変更部は、
上記空間エイリアシングを起こしている帯域において、上記補正係数算出部で算出された補正係数を周波数方向に平滑化して各周波数の変更された補正係数を得る
請求項１に記載の雑音除去装置。
【請求項３】
上記補正係数変更部は、
上記空間エイリアシングを起こしている帯域において、各周波数の補正係数を１に変更する
請求項１に記載の雑音除去装置。
【請求項４】
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、目的音がある区間を検出する目的音区間検出部をさらに備え、
上記補正係数算出部は、
上記目的音区間検出部で得られた目的音区間情報に基づいて、目的音がない区間で上記補正係数の算出を行う
請求項１に記載の雑音除去装置。
【請求項５】
上記目的音検出部は、
上記目的音推定信号と上記雑音推定信号のエネルギー比を求め、該エネルギー比が閾値より大きいときは目的音区間と判断する
請求項４に記載の雑音除去装置。
【請求項６】
上記補正係数算出部は、
ｆ番目の周波数のフレームｔの補正係数β(f,t)を、該ｆ番目の周波数のフレームｔの目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)と、ｆ番目の周波数のフレームｔ−１の補正係数β(f,t-1)を用いて、
【数１】
の式で算出する
請求項１に記載の雑音除去装置。
【請求項７】
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調ステップと、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定ステップと、
上記目的音強調ステップで得られた目的音推定信号に残留している雑音成分を、上記雑音推定ステップで得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリングステップと、
上記目的音強調ステップで得られた目的音推定信号および上記雑音推定ステップで得られた雑音推定信号に基づいて、上記ポストフィルタリングステップで行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出ステップと、
上記補正係数算出ステップで算出された補正係数のうち、空間エイリアシングを起こしている帯域の補正係数を、特定の周波数にできるピークをつぶすように変更する補正係数変更ステップと
を備える雑音除去方法。
【請求項８】
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定部と、
上記目的音強調部で得られた目的音推定信号に残留している雑音成分を、上記雑音推定部で得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリング部と、
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、上記ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号を処理して周囲雑音の音源数情報を得る周囲雑音状態推定部と、
上記周囲雑音状態推定部で得られた周囲雑音の音源数情報に基づき、音源数が多い程平滑化フレーム数を大きくして、上記補正係数算出部で算出された補正係数をフレーム方向に平滑化して各フレームの変更された補正係数を得る補正係数変更部と
を備える雑音除去装置。
【請求項９】
上記周囲雑音状態推定部は、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号の相関係数を算出し、該算出された相関係数を上記周囲雑音の音源数情報とする
請求項８に記載の雑音除去装置。
【請求項１０】
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、目的音がある区間を検出する目的音区間検出部をさらに備え、
上記補正係数算出部は、
上記目的音区間検出部で得られた目的音区間情報に基づいて、目的音がない区間で上記補正係数の算出を行う
請求項８に記載の雑音除去装置。
【請求項１１】
上記目的音検出部は、
上記目的音推定信号と上記雑音推定信号のエネルギー比を求め、該エネルギー比が閾値より大きいときは目的音区間と判断する
請求項１０に記載の雑音除去装置。
【請求項１２】
上記補正係数算出部は、
ｆ番目の周波数のフレームｔの補正係数β(f,t)を、該ｆ番目の周波数のフレームｔの目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)と、ｆ番目の周波数のフレームｔ−１の補正係数β(f,t-1)を用いて、
【数２】
の式で算出する
請求項８に記載の雑音除去装置。
【請求項１３】
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調ステップと、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定ステップと、
上記目的音強調ステップで得られた目的音推定信号に残留している雑音成分を、上記雑音推定ステップで得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリング部と、
上記目的音強調ステップで得られた目的音推定信号および上記雑音推定ステップで得られた雑音推定信号に基づいて、上記ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出ステップと、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号を処理して周囲雑音の音源数情報を得る周囲雑音状態推定ステップと、
上記周囲雑音状態推定ステップで得られた周囲雑音の音源数情報に基づき、音源数が多い程平滑化フレーム数を大きくして、上記補正係数算出ステップで算出された補正係数をフレーム方向に平滑化して各フレームの変更された補正係数を得る補正係数変更ステップと
を備える雑音除去方法。
【請求項１４】
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定部と、
上記目的音強調部で得られた目的音推定信号に残留している雑音成分を、上記雑音推定部で得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリング部と、
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、上記ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出部と、
上記補正係数算出部で算出された補正係数のうち、空間エイリアシングを起こしている帯域の補正係数を、特定の周波数にできるピークをつぶすように変更する第１の補正係数変更部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号を処理して周囲雑音の音源数情報を得る周囲雑音状態推定部と、
上記周囲雑音状態推定部で得られた周囲雑音の音源数情報に基づき、音源数が多い程平滑化フレーム数を大きくして、上記補正係数算出部で算出された補正係数をフレーム方向に平滑化して各フレームの変更された補正係数を得るだい２の補正係数変更部と
を備える雑音除去装置。
【請求項１５】
上記第１の補正係数変更部は、
上記空間エイリアシングを起こしている帯域において、上記補正係数算出部で算出された補正係数を周波数方向に平滑化して各周波数の変更された補正係数を得る
請求項１４に記載の雑音除去装置。
【請求項１６】
上記第１の補正係数変更部は、
上記空間エイリアシングを起こしている帯域において、各周波数の補正係数を１に変更する
請求項１４に記載の雑音除去装置。
【請求項１７】
上記周囲雑音状態推定部は、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号の相関係数を算出し、該算出された相関係数を上記周囲雑音の音源数情報とする
請求項１４に記載の雑音除去装置。
【請求項１８】
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、目的音がある区間を検出する目的音区間検出部をさらに備え、
上記補正係数算出部は、
上記目的音区間検出部で得られた目的音区間情報に基づいて、目的音がない区間で上記補正係数の算出を行う
請求項１４に記載の雑音除去装置。
【請求項１９】
上記目的音検出部は、
上記目的音推定信号と上記雑音推定信号のエネルギー比を求め、該エネルギー比が閾値より大きいときは目的音区間と判断する
請求項１８に記載の雑音除去装置。
【請求項２０】
上記補正係数算出部は、
ｆ番目の周波数のフレームｔの補正係数β(f,t)を、該ｆ番目の周波数のフレームｔの目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)と、ｆ番目の周波数のフレームｔ−１の補正係数β(f,t-1)を用いて、
【数３】
の式で算出する
請求項１４に記載の雑音除去装置。
【請求項１】
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定部と、
上記目的音強調部で得られた目的音推定信号に残留している雑音成分を、上記雑音推定部で得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリング部と、
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、上記ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出部と、
上記補正係数算出部で算出された補正係数のうち、空間エイリアシングを起こしている帯域の補正係数を、特定の周波数にできるピークをつぶすように変更する補正係数変更部と
を備える雑音除去装置。
【請求項２】
上記補正係数変更部は、
上記空間エイリアシングを起こしている帯域において、上記補正係数算出部で算出された補正係数を周波数方向に平滑化して各周波数の変更された補正係数を得る
請求項１に記載の雑音除去装置。
【請求項３】
上記補正係数変更部は、
上記空間エイリアシングを起こしている帯域において、各周波数の補正係数を１に変更する
請求項１に記載の雑音除去装置。
【請求項４】
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、目的音がある区間を検出する目的音区間検出部をさらに備え、
上記補正係数算出部は、
上記目的音区間検出部で得られた目的音区間情報に基づいて、目的音がない区間で上記補正係数の算出を行う
請求項１に記載の雑音除去装置。
【請求項５】
上記目的音検出部は、
上記目的音推定信号と上記雑音推定信号のエネルギー比を求め、該エネルギー比が閾値より大きいときは目的音区間と判断する
請求項４に記載の雑音除去装置。
【請求項６】
上記補正係数算出部は、
ｆ番目の周波数のフレームｔの補正係数β(f,t)を、該ｆ番目の周波数のフレームｔの目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)と、ｆ番目の周波数のフレームｔ−１の補正係数β(f,t-1)を用いて、
【数１】
の式で算出する
請求項１に記載の雑音除去装置。
【請求項７】
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調ステップと、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定ステップと、
上記目的音強調ステップで得られた目的音推定信号に残留している雑音成分を、上記雑音推定ステップで得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリングステップと、
上記目的音強調ステップで得られた目的音推定信号および上記雑音推定ステップで得られた雑音推定信号に基づいて、上記ポストフィルタリングステップで行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出ステップと、
上記補正係数算出ステップで算出された補正係数のうち、空間エイリアシングを起こしている帯域の補正係数を、特定の周波数にできるピークをつぶすように変更する補正係数変更ステップと
を備える雑音除去方法。
【請求項８】
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定部と、
上記目的音強調部で得られた目的音推定信号に残留している雑音成分を、上記雑音推定部で得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリング部と、
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、上記ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号を処理して周囲雑音の音源数情報を得る周囲雑音状態推定部と、
上記周囲雑音状態推定部で得られた周囲雑音の音源数情報に基づき、音源数が多い程平滑化フレーム数を大きくして、上記補正係数算出部で算出された補正係数をフレーム方向に平滑化して各フレームの変更された補正係数を得る補正係数変更部と
を備える雑音除去装置。
【請求項９】
上記周囲雑音状態推定部は、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号の相関係数を算出し、該算出された相関係数を上記周囲雑音の音源数情報とする
請求項８に記載の雑音除去装置。
【請求項１０】
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、目的音がある区間を検出する目的音区間検出部をさらに備え、
上記補正係数算出部は、
上記目的音区間検出部で得られた目的音区間情報に基づいて、目的音がない区間で上記補正係数の算出を行う
請求項８に記載の雑音除去装置。
【請求項１１】
上記目的音検出部は、
上記目的音推定信号と上記雑音推定信号のエネルギー比を求め、該エネルギー比が閾値より大きいときは目的音区間と判断する
請求項１０に記載の雑音除去装置。
【請求項１２】
上記補正係数算出部は、
ｆ番目の周波数のフレームｔの補正係数β(f,t)を、該ｆ番目の周波数のフレームｔの目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)と、ｆ番目の周波数のフレームｔ−１の補正係数β(f,t-1)を用いて、
【数２】
の式で算出する
請求項８に記載の雑音除去装置。
【請求項１３】
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調ステップと、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定ステップと、
上記目的音強調ステップで得られた目的音推定信号に残留している雑音成分を、上記雑音推定ステップで得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリング部と、
上記目的音強調ステップで得られた目的音推定信号および上記雑音推定ステップで得られた雑音推定信号に基づいて、上記ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出ステップと、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号を処理して周囲雑音の音源数情報を得る周囲雑音状態推定ステップと、
上記周囲雑音状態推定ステップで得られた周囲雑音の音源数情報に基づき、音源数が多い程平滑化フレーム数を大きくして、上記補正係数算出ステップで算出された補正係数をフレーム方向に平滑化して各フレームの変更された補正係数を得る補正係数変更ステップと
を備える雑音除去方法。
【請求項１４】
所定の間隔をもって配置された第１のマイクロホンおよび第２のマイクロホンの観測信号に目的音強調処理を施して目的音推定信号を得る目的音強調部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号に雑音推定処理を施して雑音推定信号を得る雑音推定部と、
上記目的音強調部で得られた目的音推定信号に残留している雑音成分を、上記雑音推定部で得られた雑音推定信号を用いたポストフィルタリング処理によって除去するポストフィルタリング部と、
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、上記ポストフィルタリング部で行われるポストフィルタリング処理を補正するための補正係数を周波数毎に算出する補正係数算出部と、
上記補正係数算出部で算出された補正係数のうち、空間エイリアシングを起こしている帯域の補正係数を、特定の周波数にできるピークをつぶすように変更する第１の補正係数変更部と、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号を処理して周囲雑音の音源数情報を得る周囲雑音状態推定部と、
上記周囲雑音状態推定部で得られた周囲雑音の音源数情報に基づき、音源数が多い程平滑化フレーム数を大きくして、上記補正係数算出部で算出された補正係数をフレーム方向に平滑化して各フレームの変更された補正係数を得るだい２の補正係数変更部と
を備える雑音除去装置。
【請求項１５】
上記第１の補正係数変更部は、
上記空間エイリアシングを起こしている帯域において、上記補正係数算出部で算出された補正係数を周波数方向に平滑化して各周波数の変更された補正係数を得る
請求項１４に記載の雑音除去装置。
【請求項１６】
上記第１の補正係数変更部は、
上記空間エイリアシングを起こしている帯域において、各周波数の補正係数を１に変更する
請求項１４に記載の雑音除去装置。
【請求項１７】
上記周囲雑音状態推定部は、
上記第１のマイクロホンおよび上記第２のマイクロホンの観測信号の相関係数を算出し、該算出された相関係数を上記周囲雑音の音源数情報とする
請求項１４に記載の雑音除去装置。
【請求項１８】
上記目的音強調部で得られた目的音推定信号および上記雑音推定部で得られた雑音推定信号に基づいて、目的音がある区間を検出する目的音区間検出部をさらに備え、
上記補正係数算出部は、
上記目的音区間検出部で得られた目的音区間情報に基づいて、目的音がない区間で上記補正係数の算出を行う
請求項１４に記載の雑音除去装置。
【請求項１９】
上記目的音検出部は、
上記目的音推定信号と上記雑音推定信号のエネルギー比を求め、該エネルギー比が閾値より大きいときは目的音区間と判断する
請求項１８に記載の雑音除去装置。
【請求項２０】
上記補正係数算出部は、
ｆ番目の周波数のフレームｔの補正係数β(f,t)を、該ｆ番目の周波数のフレームｔの目的音推定信号Ｚ(f,t)および雑音推定信号Ｎ(f,t)と、ｆ番目の周波数のフレームｔ−１の補正係数β(f,t-1)を用いて、
【数３】
の式で算出する
請求項１４に記載の雑音除去装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【公開番号】特開２０１２−５８３６０（Ｐ２０１２−５８３６０Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−１９９５１７（Ｐ２０１０−１９９５１７）
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]