雑音及び残響抑圧装置及びその方法
【課題】環境の変化に適応して、雑音及び残響の両方を自動的に抑圧する。
【解決手段】周波数領域に変換された入力信号を用いて、各周波数での分離フィルタ行列を作成するフィルタ作成部と、推定雑音を算出する雑音推定部と、分離フィルタ行列の逆行列の各要素を時間領域に変換して推定空間伝達特性として取得し、推定空間伝達特性から音声の直接音声及び初期反射に相当する区間を切出し、当該切出した区間を周波数領域に変換して各周波数での直接音声及び初期反射フィルタ行列を作成し、推定直接音声及び初期反射音声を算出する直接音声・初期反射音声推定部と、与えられる空間の残響時間と、直接音声・初期反射音声推定部により切出した区間のパワー量と、から、各周波数での後期残響特性のフィルタ係数を算出し、擬似後期残響を算出する後期残響生成部と、を備え、混合観測信号中の雑音及び後期残響を抑圧する。
【解決手段】周波数領域に変換された入力信号を用いて、各周波数での分離フィルタ行列を作成するフィルタ作成部と、推定雑音を算出する雑音推定部と、分離フィルタ行列の逆行列の各要素を時間領域に変換して推定空間伝達特性として取得し、推定空間伝達特性から音声の直接音声及び初期反射に相当する区間を切出し、当該切出した区間を周波数領域に変換して各周波数での直接音声及び初期反射フィルタ行列を作成し、推定直接音声及び初期反射音声を算出する直接音声・初期反射音声推定部と、与えられる空間の残響時間と、直接音声・初期反射音声推定部により切出した区間のパワー量と、から、各周波数での後期残響特性のフィルタ係数を算出し、擬似後期残響を算出する後期残響生成部と、を備え、混合観測信号中の雑音及び後期残響を抑圧する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は雑音及び残響抑圧装置及びその方法に関する。
【背景技術】
【０００２】
ロボットに対してユーザが音声コマンド入力を行うハンズフリー音声コマンド認識システム（以下、単に音声認識システムと称する。）が開発されている。ここで、図７に示すように、実環境においてロボットＲにより収音される音は、ユーザＰの音声（以下、ユーザ音声と称する。）の直接音と、ユーザ音声の後期残響音と、雑音とを含んでいる。なお、図では、ユーザ音声の直接音を実線で示し、ユーザ音声の後期残響音を破線で示し、雑音を一転鎖線で示している。
【０００３】
音声認識システでは、ロボットは、マイクロホンによる観測信号からユーザの音声を認識するが、音声認識性能を劣化させる要因として、（１）ユーザ音声以外の混入雑音、（２）ユーザ音声の後期残響成分の影響、などが挙げられる。
【０００４】
なお、ユーザ音声の残響は音声認識性能の劣化要因となるが、後述する従来技術に示されるように、初期残響成分については、音声認識システム内の音響モデルにおいて「残響モデル」を用いることで、その影響が除去可能であることが知られている。
【０００５】
従来、雑音や残響が発生する環境下において、雑音のみ、或いは、残響のみのいずれかの抑圧を目的とする技術が開発されている。
例えば、非特許文献１、２には、後期残響成分の抑圧を目的とする技術が開示されている。図８に、非特許文献１、２に開示された音声認識システムの機能構成を示す。尚、図では、通常の太さの線は信号を伝送していることを意味しており、それよりも太い線はフィルタを伝送していることを意味している。
【０００６】
図８に示すように、後期残響推定部５０１は、マイクロホン１からの観測信号を受けて、予め測定しておいた環境の残響特性から後期残響成分を推定する。また、予め測定しておいた環境の残響特性から補正係数が求められており、ゲイン補正部５０２は、与えられる補正係数を用いて、推定した後期残響成分の振幅を補正する。残響抑圧処理部５０３は、振幅が補正された後期残響成分を用いて、マイクロホン１からの観測信号に含まれる後期残響を抑圧する。このように、観測された信号から後期残響成分を推定して、その推定した後期残響成分を減算することで、ユーザ音声の後期残響成分を抑圧する。
【０００７】
また、例えば、非特許文献３には、雑音の抑圧を目的とする技術が開示されている。図９に、非特許文献３に開示された音声認識システムの機能構成を示す。尚、図９においても、各太さの線は図８と同様のことを意味している。
【０００８】
図９において、ブラインド音原分離（ＢＳＳ）６０１、音声・雑音選択部６０２、及び多チャンネル雑音推定部６０３では、複数のマイクロホン素子からなるマイクロホンアレイ２からの観測信号を受けて、混合音を分離して雑音成分を推定する。マスク生成部６０４及び雑音抑圧処理部６０５では、推定した雑音成分からマスクを作成して、この作成したマスクを用いて観測信号に含まれる雑音を抑圧する。さらに、直接音声強調部６０６では、雑音抑圧後の観測信号に含まれるユーザ音声の直接音を強調する。このように、ブラインド音源分離（ＢＳＳ）（もしくは、ブラインド音源抽出（ＢＳＥ））アルゴリズムを用いて混入した雑音成分を推定し、観測信号と雑音推定量を入力としたＷｉｎｅｒ Ｆｉｌｔｅｒ処理を行ってユーザ音声を抽出することで、ハンズフリーのための音声強調処理を行う。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００３−０６６９８６号公報
【特許文献２】特開２００９−５０９６７３号公報
【特許文献３】特開２００３−３３４７８５号公報
【特許文献４】特開２００３−３０５６７０号公報
【特許文献５】特開２００４−０９８２５２号公報
【非特許文献】
【００１０】
【非特許文献１】Randy Gomez, Jani Even, Hiroshi Saruwatari, Kiyohiro Shikano, "Robustness in Microphone-speaker Location under Reverberant Conditions for Speech Recognition," 日本音響学会講演論文集, pp. 159-160, ２００８年３月.
【非特許文献２】Randy Gomez, Jani Even, Hiroshi Saruwatari, Kiyohiro Shikano, "DISTANT-TALKING ROBUST SPEECH RECOGNITION USING LATE REFLECTION COMPONENTS OF ROOM IMPULSE RESPONSE," ICASS, pp. 4581-4584, 2008.
【非特許文献３】Jani Even, Hiroshi Saruwatari, Kiyohiro Shikano, Tomoya Takatani, "Speech enhancement in presence of diffuse background noise using sparsity based blind signal extraction," 日本音響学会講演論文集, pp. 765-768, ２００９年９月.
【非特許文献４】Jani Even, Randy Gomez, Hiroshi Saruwatari, Kiyohiro Shikano, "Combining blind signal separation and spectral subtraction of late impulse response effect for dereverberation in noisy and highly reverberant environment," 日本音響学会講演論文集, pp. 839-842, ２００８年９月.
【非特許文献５】吉岡拓也、中谷智広、奥乃博、"重みつき予測誤差法におけるＭＩＭＯ残響除去フィルタの効率的最適化法"、日本音響学会講演論文集、ｐｐ．６５１−６５４、２００９年９月。
【非特許文献６】Takuya Yoshioka, Tomohiro Nakatani, and Masato Miyoshi, "FAST SLGORITHM FOR CONDITIONAL SEPARATION AND DEREVERBERATION," EURASIP, pp. 1432-1436, 2009.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
一方で、本願発明者は、雑音及び残響の両方を抑圧可能とするために、図１０に示す技術を創作した。
図１０に示す技術では、まず、ブラインド音源分離（ＢＳＳ）７０１、音声・雑音選択部７０２、多チャンネル雑音推定部７０３、マスク生成部７０４、雑音抑圧処理部７０５、直接音声強調部７０６では、図９に示した技術と同様にして雑音を抑圧した後に直接音声を強調する。そして、後期残響推定部７０７、ゲイン補正部７０８、及び残響抑圧処理部７０９では、図８に示した技術と同様に、予め測定しておいた環境の残響特性を用いて後期残響を抑圧する。これにより、雑音及び残響の両方を抑圧可能とするものである。
【００１２】
図１１は、図８、９、１０に示した各技術が備える機能を示す表である。図に示すように、図８に示した技術では雑音を抑圧することができず、図９に示した技術では後期残響を抑圧することができず、図１０に示した技術では、雑音及び後期残響の両方を抑圧できるが、ゲイン補正係数を求めるために事前に運用環境データの収集を行っておく必要があり、環境が変化した場合には、再度、運用環境データの収集が必要となる。なお、ゲイン補正係数は後期残響成分を抑圧するために用いるものであるため、図９に示した技術ではゲイン補正係数は不要である。
【００１３】
しかしながら、図１０に示した雑音及び残響の両方を抑圧可能とする技術においても、依然として、部屋などの空間の残響特性を示す空間伝達特性については、各空間において予め残響特性を測定しておき、空間に応じた残響特性をユーザがロボットに与える必要があった。
【００１４】
ロボットが音声認識に用いるモデルは、響のない理想的な環境下において作成したものであるため、響によりユーザ音声の直接音以外の他の音が混入すると、モデルとの間でミスマッチを引き起こしてしまう。
【００１５】
響のある環境下で予め必要なデータを取得しておいた上でモデルを作成すれば、このようなミスマッチを回避することが可能であるが、様々な環境に対して予めこのような準備を行うのは、経済的・時間的にもコストがかかり現実的ではない。このため、事前に運用環境データの収集を必要とせずに、環境の変化に適応して、雑音及び残響の両方を自動的に抑圧可能な技術が強く求められている。
【００１６】
なお、雑音及び残響の両方を抑圧することを目的とする技術としては、他にも非特許文献４乃至６に開示された技術があるが、いずれの技術においても、事前に運用環境データの収集を必要とするものであり、空間の残響特性を自動的に作成する点については開示されていない。
【００１７】
また、その他の雑音抑圧技術として特許文献１乃至５などに開示される技術があるが、例えば特許文献１や特許文献２に開示された技術では、雑音の抑圧のみを可能とするものにすぎない。
【００１８】
従って、本発明は、上述した課題を解決して、環境の変化に適応して、雑音及び残響の両方を自動的に抑圧可能な雑音及び残響抑圧装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の第一の態様に係る雑音及び残響抑圧装置は、音声及び雑音を含む混合観測信号が周波数領域に変換された入力信号を用いて、前記混合観測信号から前記音声を分離する各周波数での分離フィルタ行列を作成するフィルタ作成部と、前記入力信号と、前記分離フィルタ行列と、前記分離フィルタ行列の逆行列と、を用いて、推定雑音を算出する雑音推定部と、前記分離フィルタ行列の逆行列の各要素を時間領域に変換して推定空間伝達特性として取得し、前記推定空間伝達特性から前記音声の直接音声及び初期反射に相当する区間を切出し、当該切出した区間を周波数領域に変換して各周波数での直接音声及び初期反射フィルタ行列を作成し、前記入力信号と、前記分離フィルタ行列と、前記直接音声及び初期反射フィルタ行列と、を用いて、推定直接音声及び初期反射音声を算出する直接音声・初期反射音声推定部と、与えられる空間の残響時間と、前記直接音声・初期反射音声推定部により切出した区間のパワー量と、から、各周波数での後期残響特性のフィルタ係数を算出し、前記推定直接音声及び初期反射音声と、前記分離フィルタ行列と、前記後期残響特性のフィルタ係数と、を用いて、擬似後期残響を算出する後期残響生成部と、を備え、前記雑音推定部により算出した前記推定雑音と、前記後期残響生成部により算出した前記擬似後期残響と、を用いて、前記混合観測信号中の雑音及び後期残響を抑圧するものである。
【００２０】
これにより、環境が変化した場合においても、新たな空間の観測信号に基づいて推定直接音声及び初期反射音声を算出し、後期残響特性を自動的に作成して、算出した推定直接音声及び初期反射音声と、作成した後期残響特性と、から後期残響を算出することができるため、環境の変化に適応して、雑音及び残響の両方を自動的に抑圧することができる。
【００２１】
また、前記入力信号と、前記雑音推定部により算出した前記推定雑音と、を用いて、雑音抑圧マスクを算出する雑音抑圧マスク生成部と、前記雑音抑圧マスクを用いて、前記混合観測信号中の雑音を抑圧する雑音抑圧処理部と、前記雑音抑圧マスク生成部により算出した前記雑音抑圧マスクを用いて、前記後期残響生成部により算出した前記擬似後期残響の振幅を補正するゲイン補正部と、を更に備え、前記ゲイン補正部により振幅が補正された後の擬似後期残響を用いて、前記混合観測信号中の後期残響を抑圧するようにしてもよい。
【００２２】
さらにまた、前記入力信号と、前記ゲイン補正部により振幅が補正された後の擬似後期残響と、を用いて、後期残響音抑圧マスクを算出する後期残響音抑圧マスク生成部と、前記後期残響音抑圧マスクを用いて、前記混合観測信号中の残響を抑圧する後期残響音抑圧処理部と、を更に備えるようにしてもよい。
【００２３】
また、前記フィルタ作成部は、前記入力信号を用いて適応学習処理を行い、前記混合観測信号から前記音声を分離する各周波数での分離フィルタ行列を作成するブラインド音源分離と、前記ブラインド音源分離により作成した前記分離フィルタ行列の第一要素が前記音声となるように入れ替えを行う音声・雑音選択部と、前記音声雑音・選択部により入れ替えを行った後の分離フィルタ行列の逆行列を算出する逆行列演算部と、を備えるようにしてもよい。
【００２４】
また、前記雑音推定部により算出した前記推定雑音と、前記後期残響生成部により算出した前記擬似後期残響と、を用いて、前記混合観測信号中の雑音及び後期残響が抑圧された後の信号について、直接音声を強調する直接音声強調部を更に備えるようにしてもよい。
【００２５】
本発明の第二の態様に係る雑音及び残響の抑圧方法は、音声及び雑音を含む混合観測信号を周波数領域に変換して入力信号とするステップと、前記入力信号を用いて、前記混合観測信号から前記音声を分離する各周波数での分離フィルタ行列を作成するステップと、作成した前記分離フィルタ行列の逆行列を算出するステップと、前記入力信号と、作成した前記分離フィルタ行列と、作成した前記分離フィルタ行列の逆行列と、を用いて、推定雑音を算出するステップと、作成した前記分離フィルタ行列の逆行列の各要素を時間領域に変換して推定空間伝達特性として取得するステップと、取得した前記推定空間伝達特性から前記音声の直接音声及び初期反射に相当する区間を切出すステップと、切出した前記区間を周波数領域に変換して各周波数での直接音声及び初期反射フィルタ行列を作成するステップと、前記入力信号と、作成した前記分離フィルタ行列と、作成した前記直接音声及び初期反射フィルタ行列と、を用いて、推定直接音声及び初期反射音声を算出するステップと、与えられる空間の残響時間と、切出した前記区間のパワー量と、から、各周波数での後期残響特性のフィルタ係数を算出するステップと、算出した前記推定直接音声及び初期反射音声と、作成した前記分離フィルタ行列と、算出した前記後期残響特性のフィルタ係数と、を用いて、擬似後期残響を算出するステップと、算出した前記推定雑音と、算出した前記擬似後期残響と、を用いて、前記混合観測信号中の雑音及び後期残響を抑圧するステップと、を有するものである。
【発明の効果】
【００２６】
本発明によれば、環境の変化に適応して、雑音及び残響の両方を自動的に抑圧可能な雑音及び残響抑圧装置及びその方法を提供することができる。
【図面の簡単な説明】
【００２７】
【図１】実施の形態１にかかる雑音及び残響抑圧装置の機能構成図である。
【図２】実施の形態１にかかるフィルタ作成部の機能構成図である。
【図３】実施の形態１にかかる切出し処理を説明するための図である。
【図４】その他の実施の形態にかかる雑音及び残響抑圧装置の機能構成図である。
【図５】その他の実施の形態にかかる雑音及び残響抑圧装置の機能構成図である。
【図６】その他の実施の形態にかかる雑音及び残響抑圧装置の機能構成図である。
【図７】実環境において収音される音を示す図である。
【図８】本発明に関連する残響抑圧技術の機能構成図である。
【図９】本発明に関連する雑音抑圧技術の機能構成図である。
【図１０】本発明に関連する雑音及び残響抑圧技術の機能構成図である。
【図１１】本発明に関連する各技術の課題を示す表である。
【図１２】本発明において用いる行列を例示する図である。
【図１３】本発明において用いる行列を例示する図である。
【発明を実施するための形態】
【００２８】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１及び図２は、本発明の一実施形態に係る雑音及び残響抑圧装置のシステム構成を示すブロック図である。尚、図では、通常の太さの線は信号を伝送していることを意味しており、それよりも太い線はフィルタを伝送していることを意味している。
【００２９】
本実施の形態に係る雑音及び残響抑圧装置１００は、マイクロホンアレイ２と、フィルタ作成部１０と、雑音推定部２１と、雑音抑圧マスク生成部２２と、雑音抑圧処理部２３と、直接音声・初期反射音声推定部２４と、後期残響生成部２５と、ゲイン補正部２６と、後期残響音抑圧マスク生成部２７と、後期残響音抑圧処理部２８と、直接音声強調部２９と、を備えている。
【００３０】
なお、雑音及び残響抑圧装置１００は、主要なハードウェア構成として、制御処理、演算処理等を行うＣＰＵ（Central Processing Unit）と、ＣＰＵによって実行される制御プログラム、演算プログラム等が記憶されたＲＯＭ（Read Only Memory）と、処理データ等を一時的に記憶するＲＡＭ（Random Access Memory）と、を有するマイクロコンピュータにより構成されている。また、フィルタ作成部１０と、雑音推定部２１と、雑音抑圧マスク生成部２２と、雑音抑圧処理部２３と、直接音声・初期反射音声推定部２４と、後期残響生成部２５と、ゲイン補正部２６と、後期残響音抑圧マスク生成部２７と、後期残響音抑圧処理部２８と、直接音声強調部２９と、は、例えば、上記ＲＯＭに格納され、上記ＣＰＵによって実行されるプログラムにより実現されていてもよい。
【００３１】
雑音及び残響抑圧装置１００は、フィルタ作成部１０と、雑音推定部２１と、雑音抑圧マスク生成部２２と、雑音抑圧処理部２３と、を含む部分において、雑音抑圧に関する処理を行う。また、フィルタ作成部１０と、直接音声・初期反射音声推定部２４と、後期残響生成部２５と、ゲイン補正部２６と、後期残響音抑圧マスク生成部２７と、後期残響音抑圧処理部２８と、を含む部分において、後期残響音抑圧に関する処理を行う。また、直接音声強調部２９を含む部分において、直接音の強調に関する処理を行う。さらに、直接音声強調２９から出力される信号に基づいて、音声認識処理が行われる。
【００３２】
また、フィルタ作成部１０では、バッチ処理を行い、所定量の観測信号（音声データ）を蓄積した上で、蓄積した音声データを用いてフィルタ作成処理を行う。フィルタ作成部１０を除く雑音推定部２１などでは、フィルタ作成部１０で作成されたフィルタを利用して、リアルタイム処理を行う。
【００３３】
雑音及び残響抑圧装置１０による処理の概要を説明する。まず、マイクロホンアレイ２により観測される観測信号には、ユーザ音声と雑音が含まれている。そして、ユーザ音声には、直接音声と、初期反射音と、後期残響音と、が含まれている。フィルタ作成部１０では、観測信号からユーザ音声と雑音とを分離し、この際、分離フィルタを作成する。この分離フィルタにより分離される推定雑音を利用して、観測信号の雑音が抑圧される。一方で、直接音声・初期反射音声推定部２４では、この分離フィルタを利用して、観測信号から、ユーザ音声の直接音声及び初期反射音を推定する。そして、後期残響生成部２５では、人工的な後期残響特性を作成して、推定されたユーザ音声の直接音声及び初期反射音と作成した後期残響特性とから擬似後期残響を作成する。そして、この作成された擬似後期残響を利用して、観測信号のユーザ音声の後期残響が抑圧される。
【００３４】
マイクロホンアレイ２は、複数のマイクロホン素子から構成され、ユーザ音声及び雑音が混合された混合音を観測する。これら複数のマイクロホンは、例えばロボットＲの頭部に設けられており、水平方向に複数配置されている。各マイクロホンの観測信号が各チャネルｉに対応する。
【００３５】
各マイクロホンによる観測信号が、図示しないＡＤコンバータによりデジタルデータ（以下、音声データと称する。）に変換される。さらに、各マイクロホンの音声データは所定の時間分蓄積され、フレーム単位に分割される。そして、フレーム単位の音声データに対して離散フーリエ変換処理が行われ、時間・周波数領域の入力信号ベクトルＸ（ｆ，ｔ）に変換される。
【００３６】
フィルタ作成部１０は、図２に示すように、ブラインド音源分離（ＢＳＳ）１１と、音声・雑音選択部１２と、逆行列演算部１３と、を備えている。フィルタ作成部１０は、入力信号ベクトルＸ（ｆ，ｔ）を用いて、入力信号ベクトルＸ（ｆ，ｔ）からユーザ音声を分離するための、各周波数での分離フィルタ行列を作成する。以下、図２を参照して、ブラインド音源分離（ＢＳＳ）１１などについて説明する。
【００３７】
ブラインド音源分離（ＢＳＳ）１１は、入力信号ベクトルＸ（ｆ，ｔ）を用いて適応学習処理を行い、各周波数での分離フィルタ行列Ｗ（ｆ）を作成する。また、ブラインド音源分離（ＢＳＳ）１１は、作成した分離フィルタ行列Ｗ（ｆ）を用いて、出力信号ベクトルＹ（ｆ，ｔ）＝Ｗ（ｆ）Ｘ（ｆ，ｔ）を出力する。
なお、ブラインド音源分離（ＢＳＳ）１１は、ここでは、従来提案されている独立成分分析や主成分分析を用いて、事前情報を用いることなく適応学習が可能な処理を行う。
【００３８】
音声・雑音選択部１２は、出力信号ベクトルＹ（ｆ，ｔ）の第１要素（Ｙ（１）（ｆ，ｔ））が音声データとなるように、分離フィルタ行列Ｗ（ｆ，ｔ）の要素を入れ替える。
これは、ブラインド音源分離（ＢＳＳ）１１の出力信号は、ユーザ音声又は雑音というようにクラスタリングされており、これは周波数ビンごとのクラスタリング結果になっているが、ユーザ音声と雑音とが入れ替わっている可能性があるためである。
【００３９】
なお、音声・雑音選択部１２による処理は、入れ替わり（ｐｅｒｍｕａｔｉｏｎ）解法とも呼ばれ、例えば、従来提案されている解法（出力信号ベクトルＹ（ｆ，ｔ）間の結合密度確率分布を求め、この結合確率密度分布の形状に基づいて、ユーザ音声と雑音を振り分ける手法）を利用すればよい。また、ここで利用する解法は多数存在するため、その他の解法を用いてもよい。例えば、（１）周辺確率密度分布の尖度を利用する解法、（２）音源信号の分離信号の包絡線を利用する解法、（３）位相情報の連続性を利用する解法、（４）空間スペクトルを利用する解法、などを利用してもよい。
【００４０】
逆行列演算部１３は、出力信号ベクトルＹ（ｆ，ｔ）の算出に用いた分離フィルタ行列Ｗ（ｆ）について、その逆行列Ｈ（ｆ）＝Ｗ−１（ｆ）を算出する。求めた逆行列Ｈ（ｆ）は、空間伝達特性行列の推定値であり、部屋などの空間の残響特性を意味している。
【００４１】
ユーザ音声と雑音とが混合された観測信号が得られる関係は、ユーザ音声及び雑音の各音源から観測信号への写像に相当し、これに対して、雑音が混入された観測信号をユーザ音声と雑音とに分離することは、観測信号から各音源への写像に相当する。ブラインド音源分離（ＢＳＳ）１１において作成する分離行列フィルタ行列Ｗ（ｆ）が観測信号から各音源への写像を意味するため、分離行列フィルタ行列Ｗ（ｆ）の逆行列Ｈ（ｆ）を求めることは、ユーザ音声及び雑音の各音源から観測信号への写像を求めることを意味している。
【００４２】
図１に戻って説明を続ける。
雑音推定部２１は、以下の計算式を用いて、入力信号ベクトルＸ（ｆ，ｔ）と、分離フィルタ行列Ｗ（ｆ，ｔ）と、空間伝達特性行列の推定値Ｈ（ｆ）とから、観測信号（入力信号ベクトルＸ（ｆ，ｔ））に含まれる雑音信号ベクトルＸＮ（ｆ，ｔ）を算出する。すなわち、雑音推定部２１は、観測信号（入力信号）に含まれる雑音成分を推定する。
ＸＮ（ｆ，ｔ）＝Ｈ（ｆ）ＤＮ（ｆ）Ｗ（ｆ）Ｘ（ｆ，ｔ）
ただし、ＤＮ（ｆ）はｉ行ｉ列（１＜ｉ）目の要素が１である対角行列を示す。なお、一般的な対角行列では全ての対角要素が１であるが、ここで用いるＤＮ（ｆ）は、ユーザ音声を求めないようにするため、１行１列目の要素を０とし、残りの対角要素は全て１とする。このため、例えば３行３列の場合には図１２（ａ）に示す行列となり、４行４列の場合には、図１２（ｂ）に示す行列となる。
【００４３】
直接音声・初期反射音声推定部２４は、逆行列演算部１３により求めた行列Ｈ（ｆ）の各要素について逆高速フーリエ変換処理を行い、時間領域に変換後の空間伝達特性の推定値を得る。そして、この推定値の中から、各マイクロホンへの直接音声・初期反射音声に相当する区間を窓関数により切り出し、切り出した区間についてフーリエ変換処理を行って周波数領域へと変換することで、各周波数での直接音声・初期反射音声推定フィルタ行列を作成する。ここで得たフーリエ変換処理後の行列をＨＥ（ｆ）とする。なお、切り出しの際に用いる窓の長さｈＥはパラメータとして与えられ、例えば、非特許文献１のＦｉｇ．３で求められたｈＥの値（７０［ｔａｐｓ］）を用いればよい。直接音声・初期反射音声推定部２４による切り出し処理は、例えば、空間伝達特性の推定値を時間領域に変換後の波形を図３の左図に示した場合に、これをｈＥの長さの窓により、図３の右図に示すように切り出すことである。
【００４４】
さらに、直接音声・初期反射音声推定部２４は、以下の計算式を用いて、フーリエ変換後の直接音声・初期反射音声推定フィルタ行列ＨＥ（ｆ）と、分離行列フィルタ行列Ｗ（ｆ）と、観測信号（入力信号ベクトルＸ（ｆ，ｔ））とから、観測信号に含まれるユーザ音声の直接音・初期反射音信号ベクトルＸＥ（ｆ，ｔ）を算出する。すなわち、直接音声・初期反射音声推定部２４は、観測信号に含まれるユーザ音声の直接音・初期反射音成分を推定する。
ＸＥ（ｆ，ｔ）＝ＨＥ（ｆ）ＤＳ（ｆ）Ｗ（ｆ）Ｘ（ｆ，ｔ）
ただし、ＤＳ（ｆ）はｉ行ｉ列（１＜ｉ）目の要素のみが１で、他の要素は全て０である行列を示す。ここで用いるＤＳ（ｆ）は、雑音を求めないようにするため、１行１列目の要素のみを１とし、残りの要素は全て０とする。このため、例えば３行３列の場合には図１３（ａ）に示す行列となり、４行４列の場合には、図１３（ｂ）に示す行列となる。
【００４５】
後期残響生成部２５は、以下の計算式を用いて、ユーザ音声の直接音・初期反射音信号ベクトルＸＥ（ｆ，ｔ）と、後述するＨＥ（ｆ）とから、後期残響推定信号ベクトルＸＬ（ｆ，ｔ）を算出する。すなわち、後期残響生成部２５は、擬似的な後期残響成分を生成する。なお、ＸＬ（ｉ）（ｆ，ｔ）は、ベクトルＸＬ（ｆ，ｔ）のｉ番目の要素を示す。また、各マイクロホンに対して同じＨＬ（ｆ）を用いる。
ＸＬ（ｉ）（ｆ，ｔ）＝ＸＥ（ｉ）（ｆ，ｔ）ＨＬ（ｆ）
ここで、ＨＬ（ｆ）は後期残響特性のフィルタ係数を示し、ユーザにより与えられる部屋の残響時間（Ｔ６０）と、直接音声・初期反射音声推定部２５でカットしたパワー量（すなわち、切出した区間のパワー量）と、から決定される。より具体的には、直接音声及び初期反射音声のパワー量と後期残響のパワー量との比は、直接音声・初期反射音声推定部２５において切出した区間のパワー量とその他の切出されなかった区間のパワー量との比に相当するため、この比率に基づいて残響時間から求める後期残響の振幅を補正することで、後期残響特性のフィルタ係数を算出することができる。なお、ＨＬ（ｆ）の算出は、従来知られた公知の計算式を用いて行えばよいため、ここでは、その詳細な説明を省略する。
【００４６】
雑音抑圧マスク生成部２２は、以下の計算式を用いて、入力信号ベクトルＸ（ｆ，ｔ）と雑音信号ベクトルＸＮ（ｆ，ｔ）とから、雑音抑圧マスクベクトルＭＮ（ｆ，ｔ）を算出する。なお、ＭＮ（ｉ）（ｆ，ｔ）は、ベクトルＭＮ（ｆ，ｔ）のｉ番目の要素を示す。また、係数α１は、雑音抑圧の程度を調整するパラメータであり、ユーザにより適切な値が与えられる。
ＭＮ（ｉ）（ｆ，ｔ）＝ｓｑｒｔ（｜Ｘ（ｉ）（ｆ，ｔ）｜２／（｜Ｘ（ｉ）（ｆ，ｔ）｜２＋α１｜ＸＮ（ｉ）（ｆ，ｔ）｜２））
【００４７】
雑音抑圧処理部２３は、以下の計算式を用いて、観測信号（入力信号ベクトルＸ（ｆ，ｔ））と、雑音抑圧マスクベクトルＭＮ（ｆ，ｔ）と、から雑音抑圧後の中間出力信号ベクトルＶ（ｆ，ｔ）を算出する。すなわち、雑音抑圧処理部２３は、観測信号に含まれる環境の雑音を抑圧する。なお、Ｖ（ｉ）（ｆ，ｔ）は、ベクトルＶ（ｆ，ｔ）のｉ番目の要素を示す。
Ｖ（ｉ）（ｆ，ｔ）＝ＭＮ（ｉ）（ｆ，ｔ）Ｘ（ｉ）（ｆ，ｔ）
【００４８】
ゲイン補正部２６は、以下の計算式を用いて、後期残響推定信号ベクトルＸＬ（ｆ，ｔ）と、雑音抑圧マスクベクトルＭＮ（ｆ，ｔ）とから、中間出力信号ベクトルＶＬ（ｉ）（ｆ，ｔ）を算出する。すなわち、ゲイン補正部２６は、雑音抑圧マスクを用いて、後期残響推定成分の振幅を補正する。雑音抑圧マスク生成部２２により求められた雑音抑圧マスクベクトルＭＮ（ｆ，ｔ）を、雑音抑圧処理部２３と、ゲイン補正部２６とで共通して用いることで、雑音抑圧処理部２３での抑圧に応じて、ゲイン補正部２６において後期残響推定成分の振幅を補正することができる。なお、ＶＬ（ｉ）（ｆ，ｔ）は、ベクトルＶＬ（ｆ，ｔ）のｉ番目の要素を示す。
ＶＬ（ｉ）（ｆ，ｔ）＝ＭＮ（ｉ）（ｆ，ｔ）ＸＬ（ｉ）（ｆ，ｔ）
【００４９】
後期残響音抑圧マスク生成部２７は、以下の計算式を用いて、雑音抑圧後の中間出力信号ベクトルＶ（ｆ，ｔ）と、中間出力信号ベクトルＶＬ（ｆ，ｔ）とから、残響抑圧マスクベクトルＭＬ（ｆ，ｔ）を算出する。なお、ＭＬ（ｉ）（ｆ，ｔ）は、ベクトルＭＬ（ｆ，ｔ）のｉ番目の要素を示す。また、係数α２は、後期残響音抑圧の程度を調整するパラメータであり、ユーザにより適切な値が与えられる。
ＭＬ（ｉ）（ｆ，ｔ）＝ｓｑｒｔ（｜Ｖ（ｉ）（ｆ，ｔ）｜２／（｜Ｖ（ｉ）（ｆ，ｔ）｜２＋α２｜ＶＬ（ｉ）（ｆ，ｔ）｜２））
【００５０】
後期残響抑圧処理部２８は、以下の計算式を用いて、雑音抑圧後の中間出力信号ベクトルＶ（ｆ，ｔ）と、残響抑圧マスクベクトルＭＬ（ｆ，ｔ）と、から、後期残響抑圧後の出力信号ベクトルＹ（ｆ，ｔ）を算出する。すなわち、後期残響抑圧処理部２８は、残響抑圧マスクを用いて、雑音抑圧後の中間出力に含まれる後期残響を抑圧する。なお、Ｙ（ｉ）（ｆ，ｔ）は、ベクトルＹ（ｆ，ｔ）のｉ番目の要素を示す。
Ｙ（ｉ）（ｆ，ｔ）＝ＭＬ（ｉ）（ｆ，ｔ）Ｖ（ｉ）（ｆ，ｔ）
【００５１】
直接音声強調部２９は、以下の算出式を用いて、出力信号ベクトルＹ（ｆ，ｔ）から、直接音声強調後の出力信号ベクトルＯ（ｆ，ｔ）を算出する。すなわち、直接音声強調部２９は、ユーザ方位θにビームを向け、直接音声を強調する。なお、ユーザ方位θは、音声・雑音選択部１２で雑音成分を推定する際に得られる。
Ｏ（ｆ，ｔ）＝ΣｉＹ（ｉ）（ｆ，ｔ）ＨＤＳ（ｉ）（ｆ，ｔ）
なお、ＨＤＳ（ｉ）（ｆ，ｔ）は、Ｄｅｌａｙ ａｎｄ Ｓｕｍのフィルタ係数であり、Σｉは全てのチャネルｉ（全てのマイクロホン素子）についての平均化処理を行うことを示す。また、Ｄｅｌａｙ ａｎｄ Ｓｕｍは、出力信号ベクトルＹ（ｆ，ｔ）から推定されたユーザ方位θを用いてマイクロホン素子間の到来時間差を補正し、ユーザ方位にビームを形成する手法である。
【００５２】
以上説明したように、本実施の形態にかかる雑音及び残響抑圧装置１００によれば、新たな空間の観測信号に基づいて推定直接音声及び初期反射音声を算出し、後期残響特性を空間の残響特性から自動的に作成して、算出した推定直接音声及び初期反射音声と、作成した後期残響特性と、から後期残響を算出することができるため、環境が変化した場合においても、環境の変化に適応して、雑音及び残響の両方を自動的に抑圧することができる。
【００５３】
その他の実施の形態．
上述した実施の形態では、フィルタ作成部１０がブラインド音源分離（ＢＳＳ）を行う例を説明したが、本発明はこれに限定されない。例えば、図４に示すように、ブラインド音源分離（ＢＳＳ）に代えて、ブラインド信号抽出（ＢＳＥ）を適用するものとしてもよい。すなわち、図４に示すように、雑音及び残響抑圧装置２００は、マイクロホンアレイ２と、ブラインド信号抽出（ＢＳＥ）２０１と、射影ベクトル推定部２０２と、雑音推定部２０３と、雑音抑圧マスク生成部２０４と、雑音抑圧処理部２０５と、直接音声・初期反射音声推定部２０６と、後期残響生成部２０７と、ゲイン補正部２０８と、後期残響音抑圧マスク生成部２０９と、後期残響音抑圧処理部２１０と、直接音声強調部２１１と、を備える構成としてもよい。
【００５４】
図４に示したブラインド信号抽出（ＢＳＥ）２０１では、観測信号からユーザ音声を抽出して出力し、射影ベクトル推定部２０２では、これに基づいて、空間伝達特性行列の推定値を出力する。また、雑音推定部２０３で推定したユーザ方位θが、音声強調部２１１に出力される。なお、ブラインド信号抽出（ＢＳＥ）２０１や射影ベクトル推定部２０２で行う処理は公知であるため、ここではその詳細な説明を省略する。
【００５５】
また、上述した実施の形態では、雑音抑圧マスクと後期残響抑圧マスクとを別々のマスク生成部で生成する例を説明したが、本発明はこれに限定されない。例えば、図５に示すように、雑音抑圧マスクと後期残響抑圧マスクとを一つのマスク生成部で生成し、雑音抑圧処理と後期残響抑圧処理とを一つの抑圧処理部で行うものとしてもよい。すなわち、図５に示すように、雑音及び残響抑圧装置３００は、マイクロホンアレイ２と、ブラインド音源分離（ＢＳＳ）３０１と、音声・雑音選択部３０２と、逆行列演算部３０３と、雑音推定部３０４と、直接音声・初期反射音声推定部３０５と、後期残響生成部３０６と、雑音・後期残響音抑圧マスク生成部３０７と、雑音・後期残響音抑圧処理部３０８と、直接音声強調部３０９と、を備える構成としてもよい。
【００５６】
また、例えば、図６に示すように、ブラインド音源分離（ＢＳＳ）に代えて、ブラインド信号抽出（ＢＳＥ）を適用すると共に、雑音抑圧マスクと後期残響抑圧マスクとを一つのマスク生成部で生成し、雑音抑圧処理と後期残響抑圧処理とを一つの抑圧処理部で行うものとしてもよい。すなわち、図６に示すように、雑音及び残響抑圧装置４００は、マイクロホンアレイ２と、ブラインド信号抽出（ＢＳＥ）４０１と、射影ベクトル推定部４０２と、雑音推定部４０３と、直接音声・初期反射音声推定部４０４と、後期残響生成部４０５と、雑音・後期残響音抑圧マスク生成部４０６と、雑音・後期残響音抑圧処理部４０７と、直接音声強調部４０８と、を備える構成としてもよい。
【００５７】
ここで、図１０やなどに示した本発明に関連する技術と比較した場合に、本発明と相違する点及び有利な効果についてさらに説明する。
（１）後期残響特性について
図１０に示した技術では、空間の残響特性を予め与える必要がある。
これに対して本発明では、部屋などの残響時間から、自動的にその残響特性を作成することができる。
（２）残響音の推定方法について
図１０に示した技術では、ユーザ音声の直接音と、初期反射音と、後期残響音とが含まれた信号を対象として、残響音の推定を行っている。
これに対して本発明では、ユーザ音声の直接音と、初期反射音と、が含まれた信号を対象として残響音の推定を行っている。これは、直接音及び初期反射音の推定機能を更に備えたことで実現している。
（３）後期残響抑圧処理前のゲイン補正について
図１０に示した技術では、ゲイン補正係数は予め与えられ、補正係数を自動的に推定することができないため、予め部屋の特性を計測し、補正係数を求めておく必要がある。
これに対して本発明では、生成された後期残響は、自動的に補正される。本発明では、直接音声・初期反射音声を推定する際にカットされた伝達特性のパワー量（すなわち、切出されなかった区間のパワー量）と、作成する後期残響特性のパワー量とが、同量となるように補正する。
（４）直接音声強調処理による処理歪みの緩和について
図１０に示した技術及び本発明ともに、直接音声強調処理ではＤｅｌａｙ ａｎｄ Ｓｕｍ（ＤＳ）処理を採用している。ＤＳ処理には平均化処理が含まれており、その処理により各チャネルで生じていた抑圧処理歪みが緩和されるという副作用がある。
図１０に示した技術では、直接音声強調処理後に残響抑圧処理を行うため、各チャネルの残響抑圧処理の歪みは緩和されない。
これに対して本発明では、雑音及び残響の両方を抑圧した後に直接音声強調処理を実施するため、各チャネルの残響除去処理の歪みを緩和することができる。
【００５８】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００５９】
１００、２００、３００、４００ 雑音及び残響抑圧装置、
１ マイクロホン、 ２ マイクロホンアレイ、 １０ フィルタ作成部、
１１ ブラインド音源分離（ＢＳＳ）、 １２ 音声・雑音選択部、
１３ 逆行列演算部、 ２１ 雑音推定部、 ２２ 雑音抑圧マスク生成部、
２３ 雑音抑圧処理部、 ２４ 直接音声・初期反射音声推定部、
２５ 後期残響生成部、 ２６ ゲイン補正部、 ２７ 後期残響音抑圧マスク生成部、
２８ 後期残響音抑圧処理部、 ２９ 直接音声強調部、
２０１ ブラインド信号抽出（ＢＳＥ）、 ２０２ 射影ベクトル推定部、
２０３ 雑音推定部、 ２０４ 雑音抑圧マスク生成部、
２０５ 雑音抑圧処理部、 ２０６ 直接音声・初期反射音声推定部、
２０７ 後期残響生成部、 ２０８ ゲイン補正部、
２０９ 後期残響音抑圧マスク生成部、 ２１０ 後期残響音抑圧処理部、
２１１ 直接音声強調部、
３０１ ブラインド音源分離（ＢＳＳ）、 ３０２ 音声・雑音選択部、
３０３ 逆行列演算部、 ３０４ 雑音推定部、
３０５ 直接音声・初期反射音声推定部、 ３０６ 後期残響生成部、
３０７ 雑音・後期残響音抑圧マスク生成部、 ３０８ 雑音・後期残響音抑圧処理部、
３０９ 直接音声強調部、
４０１ ブラインド信号抽出（ＢＳＥ）、 ４０２ 射影ベクトル推定部、
４０３ 雑音推定部、 ４０４ 直接音声・初期反射音声推定部、
４０５ 後期残響生成部、 ４０６ 雑音・後期残響音抑圧マスク生成部、
４０７ 雑音・後期残響音抑圧処理部、 ４０８ 直接音声強調部、
５０１ 後期残響推定部、 ５０２ ゲイン補正部、 ５０３ 残響抑圧処理部、
６０１ ブラインド音原分離（ＢＳＳ）、 ６０２ 音声・雑音選択部、
６０３ 多チャンネル雑音推定部、 ６０４ マスク生成部、
６０５ 雑音抑圧処理部、 ６０６ 直接音声強調部、
７０１ ブラインド音源分離（ＢＳＳ）、 ７０２ 音声・雑音選択部、
７０３ 多チャンネル雑音推定部、 ７０４ マスク生成部、
７０５ 雑音抑圧処理部、 ７０６ 直接音声強調部、 ７０７ 後期残響推定部、
７０８ ゲイン補正部、 ７０９ 残響抑圧処理部、
Ｐ ユーザ、Ｒ ロボット
【技術分野】
【０００１】
本発明は雑音及び残響抑圧装置及びその方法に関する。
【背景技術】
【０００２】
ロボットに対してユーザが音声コマンド入力を行うハンズフリー音声コマンド認識システム（以下、単に音声認識システムと称する。）が開発されている。ここで、図７に示すように、実環境においてロボットＲにより収音される音は、ユーザＰの音声（以下、ユーザ音声と称する。）の直接音と、ユーザ音声の後期残響音と、雑音とを含んでいる。なお、図では、ユーザ音声の直接音を実線で示し、ユーザ音声の後期残響音を破線で示し、雑音を一転鎖線で示している。
【０００３】
音声認識システでは、ロボットは、マイクロホンによる観測信号からユーザの音声を認識するが、音声認識性能を劣化させる要因として、（１）ユーザ音声以外の混入雑音、（２）ユーザ音声の後期残響成分の影響、などが挙げられる。
【０００４】
なお、ユーザ音声の残響は音声認識性能の劣化要因となるが、後述する従来技術に示されるように、初期残響成分については、音声認識システム内の音響モデルにおいて「残響モデル」を用いることで、その影響が除去可能であることが知られている。
【０００５】
従来、雑音や残響が発生する環境下において、雑音のみ、或いは、残響のみのいずれかの抑圧を目的とする技術が開発されている。
例えば、非特許文献１、２には、後期残響成分の抑圧を目的とする技術が開示されている。図８に、非特許文献１、２に開示された音声認識システムの機能構成を示す。尚、図では、通常の太さの線は信号を伝送していることを意味しており、それよりも太い線はフィルタを伝送していることを意味している。
【０００６】
図８に示すように、後期残響推定部５０１は、マイクロホン１からの観測信号を受けて、予め測定しておいた環境の残響特性から後期残響成分を推定する。また、予め測定しておいた環境の残響特性から補正係数が求められており、ゲイン補正部５０２は、与えられる補正係数を用いて、推定した後期残響成分の振幅を補正する。残響抑圧処理部５０３は、振幅が補正された後期残響成分を用いて、マイクロホン１からの観測信号に含まれる後期残響を抑圧する。このように、観測された信号から後期残響成分を推定して、その推定した後期残響成分を減算することで、ユーザ音声の後期残響成分を抑圧する。
【０００７】
また、例えば、非特許文献３には、雑音の抑圧を目的とする技術が開示されている。図９に、非特許文献３に開示された音声認識システムの機能構成を示す。尚、図９においても、各太さの線は図８と同様のことを意味している。
【０００８】
図９において、ブラインド音原分離（ＢＳＳ）６０１、音声・雑音選択部６０２、及び多チャンネル雑音推定部６０３では、複数のマイクロホン素子からなるマイクロホンアレイ２からの観測信号を受けて、混合音を分離して雑音成分を推定する。マスク生成部６０４及び雑音抑圧処理部６０５では、推定した雑音成分からマスクを作成して、この作成したマスクを用いて観測信号に含まれる雑音を抑圧する。さらに、直接音声強調部６０６では、雑音抑圧後の観測信号に含まれるユーザ音声の直接音を強調する。このように、ブラインド音源分離（ＢＳＳ）（もしくは、ブラインド音源抽出（ＢＳＥ））アルゴリズムを用いて混入した雑音成分を推定し、観測信号と雑音推定量を入力としたＷｉｎｅｒ Ｆｉｌｔｅｒ処理を行ってユーザ音声を抽出することで、ハンズフリーのための音声強調処理を行う。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００３−０６６９８６号公報
【特許文献２】特開２００９−５０９６７３号公報
【特許文献３】特開２００３−３３４７８５号公報
【特許文献４】特開２００３−３０５６７０号公報
【特許文献５】特開２００４−０９８２５２号公報
【非特許文献】
【００１０】
【非特許文献１】Randy Gomez, Jani Even, Hiroshi Saruwatari, Kiyohiro Shikano, "Robustness in Microphone-speaker Location under Reverberant Conditions for Speech Recognition," 日本音響学会講演論文集, pp. 159-160, ２００８年３月.
【非特許文献２】Randy Gomez, Jani Even, Hiroshi Saruwatari, Kiyohiro Shikano, "DISTANT-TALKING ROBUST SPEECH RECOGNITION USING LATE REFLECTION COMPONENTS OF ROOM IMPULSE RESPONSE," ICASS, pp. 4581-4584, 2008.
【非特許文献３】Jani Even, Hiroshi Saruwatari, Kiyohiro Shikano, Tomoya Takatani, "Speech enhancement in presence of diffuse background noise using sparsity based blind signal extraction," 日本音響学会講演論文集, pp. 765-768, ２００９年９月.
【非特許文献４】Jani Even, Randy Gomez, Hiroshi Saruwatari, Kiyohiro Shikano, "Combining blind signal separation and spectral subtraction of late impulse response effect for dereverberation in noisy and highly reverberant environment," 日本音響学会講演論文集, pp. 839-842, ２００８年９月.
【非特許文献５】吉岡拓也、中谷智広、奥乃博、"重みつき予測誤差法におけるＭＩＭＯ残響除去フィルタの効率的最適化法"、日本音響学会講演論文集、ｐｐ．６５１−６５４、２００９年９月。
【非特許文献６】Takuya Yoshioka, Tomohiro Nakatani, and Masato Miyoshi, "FAST SLGORITHM FOR CONDITIONAL SEPARATION AND DEREVERBERATION," EURASIP, pp. 1432-1436, 2009.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
一方で、本願発明者は、雑音及び残響の両方を抑圧可能とするために、図１０に示す技術を創作した。
図１０に示す技術では、まず、ブラインド音源分離（ＢＳＳ）７０１、音声・雑音選択部７０２、多チャンネル雑音推定部７０３、マスク生成部７０４、雑音抑圧処理部７０５、直接音声強調部７０６では、図９に示した技術と同様にして雑音を抑圧した後に直接音声を強調する。そして、後期残響推定部７０７、ゲイン補正部７０８、及び残響抑圧処理部７０９では、図８に示した技術と同様に、予め測定しておいた環境の残響特性を用いて後期残響を抑圧する。これにより、雑音及び残響の両方を抑圧可能とするものである。
【００１２】
図１１は、図８、９、１０に示した各技術が備える機能を示す表である。図に示すように、図８に示した技術では雑音を抑圧することができず、図９に示した技術では後期残響を抑圧することができず、図１０に示した技術では、雑音及び後期残響の両方を抑圧できるが、ゲイン補正係数を求めるために事前に運用環境データの収集を行っておく必要があり、環境が変化した場合には、再度、運用環境データの収集が必要となる。なお、ゲイン補正係数は後期残響成分を抑圧するために用いるものであるため、図９に示した技術ではゲイン補正係数は不要である。
【００１３】
しかしながら、図１０に示した雑音及び残響の両方を抑圧可能とする技術においても、依然として、部屋などの空間の残響特性を示す空間伝達特性については、各空間において予め残響特性を測定しておき、空間に応じた残響特性をユーザがロボットに与える必要があった。
【００１４】
ロボットが音声認識に用いるモデルは、響のない理想的な環境下において作成したものであるため、響によりユーザ音声の直接音以外の他の音が混入すると、モデルとの間でミスマッチを引き起こしてしまう。
【００１５】
響のある環境下で予め必要なデータを取得しておいた上でモデルを作成すれば、このようなミスマッチを回避することが可能であるが、様々な環境に対して予めこのような準備を行うのは、経済的・時間的にもコストがかかり現実的ではない。このため、事前に運用環境データの収集を必要とせずに、環境の変化に適応して、雑音及び残響の両方を自動的に抑圧可能な技術が強く求められている。
【００１６】
なお、雑音及び残響の両方を抑圧することを目的とする技術としては、他にも非特許文献４乃至６に開示された技術があるが、いずれの技術においても、事前に運用環境データの収集を必要とするものであり、空間の残響特性を自動的に作成する点については開示されていない。
【００１７】
また、その他の雑音抑圧技術として特許文献１乃至５などに開示される技術があるが、例えば特許文献１や特許文献２に開示された技術では、雑音の抑圧のみを可能とするものにすぎない。
【００１８】
従って、本発明は、上述した課題を解決して、環境の変化に適応して、雑音及び残響の両方を自動的に抑圧可能な雑音及び残響抑圧装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の第一の態様に係る雑音及び残響抑圧装置は、音声及び雑音を含む混合観測信号が周波数領域に変換された入力信号を用いて、前記混合観測信号から前記音声を分離する各周波数での分離フィルタ行列を作成するフィルタ作成部と、前記入力信号と、前記分離フィルタ行列と、前記分離フィルタ行列の逆行列と、を用いて、推定雑音を算出する雑音推定部と、前記分離フィルタ行列の逆行列の各要素を時間領域に変換して推定空間伝達特性として取得し、前記推定空間伝達特性から前記音声の直接音声及び初期反射に相当する区間を切出し、当該切出した区間を周波数領域に変換して各周波数での直接音声及び初期反射フィルタ行列を作成し、前記入力信号と、前記分離フィルタ行列と、前記直接音声及び初期反射フィルタ行列と、を用いて、推定直接音声及び初期反射音声を算出する直接音声・初期反射音声推定部と、与えられる空間の残響時間と、前記直接音声・初期反射音声推定部により切出した区間のパワー量と、から、各周波数での後期残響特性のフィルタ係数を算出し、前記推定直接音声及び初期反射音声と、前記分離フィルタ行列と、前記後期残響特性のフィルタ係数と、を用いて、擬似後期残響を算出する後期残響生成部と、を備え、前記雑音推定部により算出した前記推定雑音と、前記後期残響生成部により算出した前記擬似後期残響と、を用いて、前記混合観測信号中の雑音及び後期残響を抑圧するものである。
【００２０】
これにより、環境が変化した場合においても、新たな空間の観測信号に基づいて推定直接音声及び初期反射音声を算出し、後期残響特性を自動的に作成して、算出した推定直接音声及び初期反射音声と、作成した後期残響特性と、から後期残響を算出することができるため、環境の変化に適応して、雑音及び残響の両方を自動的に抑圧することができる。
【００２１】
また、前記入力信号と、前記雑音推定部により算出した前記推定雑音と、を用いて、雑音抑圧マスクを算出する雑音抑圧マスク生成部と、前記雑音抑圧マスクを用いて、前記混合観測信号中の雑音を抑圧する雑音抑圧処理部と、前記雑音抑圧マスク生成部により算出した前記雑音抑圧マスクを用いて、前記後期残響生成部により算出した前記擬似後期残響の振幅を補正するゲイン補正部と、を更に備え、前記ゲイン補正部により振幅が補正された後の擬似後期残響を用いて、前記混合観測信号中の後期残響を抑圧するようにしてもよい。
【００２２】
さらにまた、前記入力信号と、前記ゲイン補正部により振幅が補正された後の擬似後期残響と、を用いて、後期残響音抑圧マスクを算出する後期残響音抑圧マスク生成部と、前記後期残響音抑圧マスクを用いて、前記混合観測信号中の残響を抑圧する後期残響音抑圧処理部と、を更に備えるようにしてもよい。
【００２３】
また、前記フィルタ作成部は、前記入力信号を用いて適応学習処理を行い、前記混合観測信号から前記音声を分離する各周波数での分離フィルタ行列を作成するブラインド音源分離と、前記ブラインド音源分離により作成した前記分離フィルタ行列の第一要素が前記音声となるように入れ替えを行う音声・雑音選択部と、前記音声雑音・選択部により入れ替えを行った後の分離フィルタ行列の逆行列を算出する逆行列演算部と、を備えるようにしてもよい。
【００２４】
また、前記雑音推定部により算出した前記推定雑音と、前記後期残響生成部により算出した前記擬似後期残響と、を用いて、前記混合観測信号中の雑音及び後期残響が抑圧された後の信号について、直接音声を強調する直接音声強調部を更に備えるようにしてもよい。
【００２５】
本発明の第二の態様に係る雑音及び残響の抑圧方法は、音声及び雑音を含む混合観測信号を周波数領域に変換して入力信号とするステップと、前記入力信号を用いて、前記混合観測信号から前記音声を分離する各周波数での分離フィルタ行列を作成するステップと、作成した前記分離フィルタ行列の逆行列を算出するステップと、前記入力信号と、作成した前記分離フィルタ行列と、作成した前記分離フィルタ行列の逆行列と、を用いて、推定雑音を算出するステップと、作成した前記分離フィルタ行列の逆行列の各要素を時間領域に変換して推定空間伝達特性として取得するステップと、取得した前記推定空間伝達特性から前記音声の直接音声及び初期反射に相当する区間を切出すステップと、切出した前記区間を周波数領域に変換して各周波数での直接音声及び初期反射フィルタ行列を作成するステップと、前記入力信号と、作成した前記分離フィルタ行列と、作成した前記直接音声及び初期反射フィルタ行列と、を用いて、推定直接音声及び初期反射音声を算出するステップと、与えられる空間の残響時間と、切出した前記区間のパワー量と、から、各周波数での後期残響特性のフィルタ係数を算出するステップと、算出した前記推定直接音声及び初期反射音声と、作成した前記分離フィルタ行列と、算出した前記後期残響特性のフィルタ係数と、を用いて、擬似後期残響を算出するステップと、算出した前記推定雑音と、算出した前記擬似後期残響と、を用いて、前記混合観測信号中の雑音及び後期残響を抑圧するステップと、を有するものである。
【発明の効果】
【００２６】
本発明によれば、環境の変化に適応して、雑音及び残響の両方を自動的に抑圧可能な雑音及び残響抑圧装置及びその方法を提供することができる。
【図面の簡単な説明】
【００２７】
【図１】実施の形態１にかかる雑音及び残響抑圧装置の機能構成図である。
【図２】実施の形態１にかかるフィルタ作成部の機能構成図である。
【図３】実施の形態１にかかる切出し処理を説明するための図である。
【図４】その他の実施の形態にかかる雑音及び残響抑圧装置の機能構成図である。
【図５】その他の実施の形態にかかる雑音及び残響抑圧装置の機能構成図である。
【図６】その他の実施の形態にかかる雑音及び残響抑圧装置の機能構成図である。
【図７】実環境において収音される音を示す図である。
【図８】本発明に関連する残響抑圧技術の機能構成図である。
【図９】本発明に関連する雑音抑圧技術の機能構成図である。
【図１０】本発明に関連する雑音及び残響抑圧技術の機能構成図である。
【図１１】本発明に関連する各技術の課題を示す表である。
【図１２】本発明において用いる行列を例示する図である。
【図１３】本発明において用いる行列を例示する図である。
【発明を実施するための形態】
【００２８】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１及び図２は、本発明の一実施形態に係る雑音及び残響抑圧装置のシステム構成を示すブロック図である。尚、図では、通常の太さの線は信号を伝送していることを意味しており、それよりも太い線はフィルタを伝送していることを意味している。
【００２９】
本実施の形態に係る雑音及び残響抑圧装置１００は、マイクロホンアレイ２と、フィルタ作成部１０と、雑音推定部２１と、雑音抑圧マスク生成部２２と、雑音抑圧処理部２３と、直接音声・初期反射音声推定部２４と、後期残響生成部２５と、ゲイン補正部２６と、後期残響音抑圧マスク生成部２７と、後期残響音抑圧処理部２８と、直接音声強調部２９と、を備えている。
【００３０】
なお、雑音及び残響抑圧装置１００は、主要なハードウェア構成として、制御処理、演算処理等を行うＣＰＵ（Central Processing Unit）と、ＣＰＵによって実行される制御プログラム、演算プログラム等が記憶されたＲＯＭ（Read Only Memory）と、処理データ等を一時的に記憶するＲＡＭ（Random Access Memory）と、を有するマイクロコンピュータにより構成されている。また、フィルタ作成部１０と、雑音推定部２１と、雑音抑圧マスク生成部２２と、雑音抑圧処理部２３と、直接音声・初期反射音声推定部２４と、後期残響生成部２５と、ゲイン補正部２６と、後期残響音抑圧マスク生成部２７と、後期残響音抑圧処理部２８と、直接音声強調部２９と、は、例えば、上記ＲＯＭに格納され、上記ＣＰＵによって実行されるプログラムにより実現されていてもよい。
【００３１】
雑音及び残響抑圧装置１００は、フィルタ作成部１０と、雑音推定部２１と、雑音抑圧マスク生成部２２と、雑音抑圧処理部２３と、を含む部分において、雑音抑圧に関する処理を行う。また、フィルタ作成部１０と、直接音声・初期反射音声推定部２４と、後期残響生成部２５と、ゲイン補正部２６と、後期残響音抑圧マスク生成部２７と、後期残響音抑圧処理部２８と、を含む部分において、後期残響音抑圧に関する処理を行う。また、直接音声強調部２９を含む部分において、直接音の強調に関する処理を行う。さらに、直接音声強調２９から出力される信号に基づいて、音声認識処理が行われる。
【００３２】
また、フィルタ作成部１０では、バッチ処理を行い、所定量の観測信号（音声データ）を蓄積した上で、蓄積した音声データを用いてフィルタ作成処理を行う。フィルタ作成部１０を除く雑音推定部２１などでは、フィルタ作成部１０で作成されたフィルタを利用して、リアルタイム処理を行う。
【００３３】
雑音及び残響抑圧装置１０による処理の概要を説明する。まず、マイクロホンアレイ２により観測される観測信号には、ユーザ音声と雑音が含まれている。そして、ユーザ音声には、直接音声と、初期反射音と、後期残響音と、が含まれている。フィルタ作成部１０では、観測信号からユーザ音声と雑音とを分離し、この際、分離フィルタを作成する。この分離フィルタにより分離される推定雑音を利用して、観測信号の雑音が抑圧される。一方で、直接音声・初期反射音声推定部２４では、この分離フィルタを利用して、観測信号から、ユーザ音声の直接音声及び初期反射音を推定する。そして、後期残響生成部２５では、人工的な後期残響特性を作成して、推定されたユーザ音声の直接音声及び初期反射音と作成した後期残響特性とから擬似後期残響を作成する。そして、この作成された擬似後期残響を利用して、観測信号のユーザ音声の後期残響が抑圧される。
【００３４】
マイクロホンアレイ２は、複数のマイクロホン素子から構成され、ユーザ音声及び雑音が混合された混合音を観測する。これら複数のマイクロホンは、例えばロボットＲの頭部に設けられており、水平方向に複数配置されている。各マイクロホンの観測信号が各チャネルｉに対応する。
【００３５】
各マイクロホンによる観測信号が、図示しないＡＤコンバータによりデジタルデータ（以下、音声データと称する。）に変換される。さらに、各マイクロホンの音声データは所定の時間分蓄積され、フレーム単位に分割される。そして、フレーム単位の音声データに対して離散フーリエ変換処理が行われ、時間・周波数領域の入力信号ベクトルＸ（ｆ，ｔ）に変換される。
【００３６】
フィルタ作成部１０は、図２に示すように、ブラインド音源分離（ＢＳＳ）１１と、音声・雑音選択部１２と、逆行列演算部１３と、を備えている。フィルタ作成部１０は、入力信号ベクトルＸ（ｆ，ｔ）を用いて、入力信号ベクトルＸ（ｆ，ｔ）からユーザ音声を分離するための、各周波数での分離フィルタ行列を作成する。以下、図２を参照して、ブラインド音源分離（ＢＳＳ）１１などについて説明する。
【００３７】
ブラインド音源分離（ＢＳＳ）１１は、入力信号ベクトルＸ（ｆ，ｔ）を用いて適応学習処理を行い、各周波数での分離フィルタ行列Ｗ（ｆ）を作成する。また、ブラインド音源分離（ＢＳＳ）１１は、作成した分離フィルタ行列Ｗ（ｆ）を用いて、出力信号ベクトルＹ（ｆ，ｔ）＝Ｗ（ｆ）Ｘ（ｆ，ｔ）を出力する。
なお、ブラインド音源分離（ＢＳＳ）１１は、ここでは、従来提案されている独立成分分析や主成分分析を用いて、事前情報を用いることなく適応学習が可能な処理を行う。
【００３８】
音声・雑音選択部１２は、出力信号ベクトルＹ（ｆ，ｔ）の第１要素（Ｙ（１）（ｆ，ｔ））が音声データとなるように、分離フィルタ行列Ｗ（ｆ，ｔ）の要素を入れ替える。
これは、ブラインド音源分離（ＢＳＳ）１１の出力信号は、ユーザ音声又は雑音というようにクラスタリングされており、これは周波数ビンごとのクラスタリング結果になっているが、ユーザ音声と雑音とが入れ替わっている可能性があるためである。
【００３９】
なお、音声・雑音選択部１２による処理は、入れ替わり（ｐｅｒｍｕａｔｉｏｎ）解法とも呼ばれ、例えば、従来提案されている解法（出力信号ベクトルＹ（ｆ，ｔ）間の結合密度確率分布を求め、この結合確率密度分布の形状に基づいて、ユーザ音声と雑音を振り分ける手法）を利用すればよい。また、ここで利用する解法は多数存在するため、その他の解法を用いてもよい。例えば、（１）周辺確率密度分布の尖度を利用する解法、（２）音源信号の分離信号の包絡線を利用する解法、（３）位相情報の連続性を利用する解法、（４）空間スペクトルを利用する解法、などを利用してもよい。
【００４０】
逆行列演算部１３は、出力信号ベクトルＹ（ｆ，ｔ）の算出に用いた分離フィルタ行列Ｗ（ｆ）について、その逆行列Ｈ（ｆ）＝Ｗ−１（ｆ）を算出する。求めた逆行列Ｈ（ｆ）は、空間伝達特性行列の推定値であり、部屋などの空間の残響特性を意味している。
【００４１】
ユーザ音声と雑音とが混合された観測信号が得られる関係は、ユーザ音声及び雑音の各音源から観測信号への写像に相当し、これに対して、雑音が混入された観測信号をユーザ音声と雑音とに分離することは、観測信号から各音源への写像に相当する。ブラインド音源分離（ＢＳＳ）１１において作成する分離行列フィルタ行列Ｗ（ｆ）が観測信号から各音源への写像を意味するため、分離行列フィルタ行列Ｗ（ｆ）の逆行列Ｈ（ｆ）を求めることは、ユーザ音声及び雑音の各音源から観測信号への写像を求めることを意味している。
【００４２】
図１に戻って説明を続ける。
雑音推定部２１は、以下の計算式を用いて、入力信号ベクトルＸ（ｆ，ｔ）と、分離フィルタ行列Ｗ（ｆ，ｔ）と、空間伝達特性行列の推定値Ｈ（ｆ）とから、観測信号（入力信号ベクトルＸ（ｆ，ｔ））に含まれる雑音信号ベクトルＸＮ（ｆ，ｔ）を算出する。すなわち、雑音推定部２１は、観測信号（入力信号）に含まれる雑音成分を推定する。
ＸＮ（ｆ，ｔ）＝Ｈ（ｆ）ＤＮ（ｆ）Ｗ（ｆ）Ｘ（ｆ，ｔ）
ただし、ＤＮ（ｆ）はｉ行ｉ列（１＜ｉ）目の要素が１である対角行列を示す。なお、一般的な対角行列では全ての対角要素が１であるが、ここで用いるＤＮ（ｆ）は、ユーザ音声を求めないようにするため、１行１列目の要素を０とし、残りの対角要素は全て１とする。このため、例えば３行３列の場合には図１２（ａ）に示す行列となり、４行４列の場合には、図１２（ｂ）に示す行列となる。
【００４３】
直接音声・初期反射音声推定部２４は、逆行列演算部１３により求めた行列Ｈ（ｆ）の各要素について逆高速フーリエ変換処理を行い、時間領域に変換後の空間伝達特性の推定値を得る。そして、この推定値の中から、各マイクロホンへの直接音声・初期反射音声に相当する区間を窓関数により切り出し、切り出した区間についてフーリエ変換処理を行って周波数領域へと変換することで、各周波数での直接音声・初期反射音声推定フィルタ行列を作成する。ここで得たフーリエ変換処理後の行列をＨＥ（ｆ）とする。なお、切り出しの際に用いる窓の長さｈＥはパラメータとして与えられ、例えば、非特許文献１のＦｉｇ．３で求められたｈＥの値（７０［ｔａｐｓ］）を用いればよい。直接音声・初期反射音声推定部２４による切り出し処理は、例えば、空間伝達特性の推定値を時間領域に変換後の波形を図３の左図に示した場合に、これをｈＥの長さの窓により、図３の右図に示すように切り出すことである。
【００４４】
さらに、直接音声・初期反射音声推定部２４は、以下の計算式を用いて、フーリエ変換後の直接音声・初期反射音声推定フィルタ行列ＨＥ（ｆ）と、分離行列フィルタ行列Ｗ（ｆ）と、観測信号（入力信号ベクトルＸ（ｆ，ｔ））とから、観測信号に含まれるユーザ音声の直接音・初期反射音信号ベクトルＸＥ（ｆ，ｔ）を算出する。すなわち、直接音声・初期反射音声推定部２４は、観測信号に含まれるユーザ音声の直接音・初期反射音成分を推定する。
ＸＥ（ｆ，ｔ）＝ＨＥ（ｆ）ＤＳ（ｆ）Ｗ（ｆ）Ｘ（ｆ，ｔ）
ただし、ＤＳ（ｆ）はｉ行ｉ列（１＜ｉ）目の要素のみが１で、他の要素は全て０である行列を示す。ここで用いるＤＳ（ｆ）は、雑音を求めないようにするため、１行１列目の要素のみを１とし、残りの要素は全て０とする。このため、例えば３行３列の場合には図１３（ａ）に示す行列となり、４行４列の場合には、図１３（ｂ）に示す行列となる。
【００４５】
後期残響生成部２５は、以下の計算式を用いて、ユーザ音声の直接音・初期反射音信号ベクトルＸＥ（ｆ，ｔ）と、後述するＨＥ（ｆ）とから、後期残響推定信号ベクトルＸＬ（ｆ，ｔ）を算出する。すなわち、後期残響生成部２５は、擬似的な後期残響成分を生成する。なお、ＸＬ（ｉ）（ｆ，ｔ）は、ベクトルＸＬ（ｆ，ｔ）のｉ番目の要素を示す。また、各マイクロホンに対して同じＨＬ（ｆ）を用いる。
ＸＬ（ｉ）（ｆ，ｔ）＝ＸＥ（ｉ）（ｆ，ｔ）ＨＬ（ｆ）
ここで、ＨＬ（ｆ）は後期残響特性のフィルタ係数を示し、ユーザにより与えられる部屋の残響時間（Ｔ６０）と、直接音声・初期反射音声推定部２５でカットしたパワー量（すなわち、切出した区間のパワー量）と、から決定される。より具体的には、直接音声及び初期反射音声のパワー量と後期残響のパワー量との比は、直接音声・初期反射音声推定部２５において切出した区間のパワー量とその他の切出されなかった区間のパワー量との比に相当するため、この比率に基づいて残響時間から求める後期残響の振幅を補正することで、後期残響特性のフィルタ係数を算出することができる。なお、ＨＬ（ｆ）の算出は、従来知られた公知の計算式を用いて行えばよいため、ここでは、その詳細な説明を省略する。
【００４６】
雑音抑圧マスク生成部２２は、以下の計算式を用いて、入力信号ベクトルＸ（ｆ，ｔ）と雑音信号ベクトルＸＮ（ｆ，ｔ）とから、雑音抑圧マスクベクトルＭＮ（ｆ，ｔ）を算出する。なお、ＭＮ（ｉ）（ｆ，ｔ）は、ベクトルＭＮ（ｆ，ｔ）のｉ番目の要素を示す。また、係数α１は、雑音抑圧の程度を調整するパラメータであり、ユーザにより適切な値が与えられる。
ＭＮ（ｉ）（ｆ，ｔ）＝ｓｑｒｔ（｜Ｘ（ｉ）（ｆ，ｔ）｜２／（｜Ｘ（ｉ）（ｆ，ｔ）｜２＋α１｜ＸＮ（ｉ）（ｆ，ｔ）｜２））
【００４７】
雑音抑圧処理部２３は、以下の計算式を用いて、観測信号（入力信号ベクトルＸ（ｆ，ｔ））と、雑音抑圧マスクベクトルＭＮ（ｆ，ｔ）と、から雑音抑圧後の中間出力信号ベクトルＶ（ｆ，ｔ）を算出する。すなわち、雑音抑圧処理部２３は、観測信号に含まれる環境の雑音を抑圧する。なお、Ｖ（ｉ）（ｆ，ｔ）は、ベクトルＶ（ｆ，ｔ）のｉ番目の要素を示す。
Ｖ（ｉ）（ｆ，ｔ）＝ＭＮ（ｉ）（ｆ，ｔ）Ｘ（ｉ）（ｆ，ｔ）
【００４８】
ゲイン補正部２６は、以下の計算式を用いて、後期残響推定信号ベクトルＸＬ（ｆ，ｔ）と、雑音抑圧マスクベクトルＭＮ（ｆ，ｔ）とから、中間出力信号ベクトルＶＬ（ｉ）（ｆ，ｔ）を算出する。すなわち、ゲイン補正部２６は、雑音抑圧マスクを用いて、後期残響推定成分の振幅を補正する。雑音抑圧マスク生成部２２により求められた雑音抑圧マスクベクトルＭＮ（ｆ，ｔ）を、雑音抑圧処理部２３と、ゲイン補正部２６とで共通して用いることで、雑音抑圧処理部２３での抑圧に応じて、ゲイン補正部２６において後期残響推定成分の振幅を補正することができる。なお、ＶＬ（ｉ）（ｆ，ｔ）は、ベクトルＶＬ（ｆ，ｔ）のｉ番目の要素を示す。
ＶＬ（ｉ）（ｆ，ｔ）＝ＭＮ（ｉ）（ｆ，ｔ）ＸＬ（ｉ）（ｆ，ｔ）
【００４９】
後期残響音抑圧マスク生成部２７は、以下の計算式を用いて、雑音抑圧後の中間出力信号ベクトルＶ（ｆ，ｔ）と、中間出力信号ベクトルＶＬ（ｆ，ｔ）とから、残響抑圧マスクベクトルＭＬ（ｆ，ｔ）を算出する。なお、ＭＬ（ｉ）（ｆ，ｔ）は、ベクトルＭＬ（ｆ，ｔ）のｉ番目の要素を示す。また、係数α２は、後期残響音抑圧の程度を調整するパラメータであり、ユーザにより適切な値が与えられる。
ＭＬ（ｉ）（ｆ，ｔ）＝ｓｑｒｔ（｜Ｖ（ｉ）（ｆ，ｔ）｜２／（｜Ｖ（ｉ）（ｆ，ｔ）｜２＋α２｜ＶＬ（ｉ）（ｆ，ｔ）｜２））
【００５０】
後期残響抑圧処理部２８は、以下の計算式を用いて、雑音抑圧後の中間出力信号ベクトルＶ（ｆ，ｔ）と、残響抑圧マスクベクトルＭＬ（ｆ，ｔ）と、から、後期残響抑圧後の出力信号ベクトルＹ（ｆ，ｔ）を算出する。すなわち、後期残響抑圧処理部２８は、残響抑圧マスクを用いて、雑音抑圧後の中間出力に含まれる後期残響を抑圧する。なお、Ｙ（ｉ）（ｆ，ｔ）は、ベクトルＹ（ｆ，ｔ）のｉ番目の要素を示す。
Ｙ（ｉ）（ｆ，ｔ）＝ＭＬ（ｉ）（ｆ，ｔ）Ｖ（ｉ）（ｆ，ｔ）
【００５１】
直接音声強調部２９は、以下の算出式を用いて、出力信号ベクトルＹ（ｆ，ｔ）から、直接音声強調後の出力信号ベクトルＯ（ｆ，ｔ）を算出する。すなわち、直接音声強調部２９は、ユーザ方位θにビームを向け、直接音声を強調する。なお、ユーザ方位θは、音声・雑音選択部１２で雑音成分を推定する際に得られる。
Ｏ（ｆ，ｔ）＝ΣｉＹ（ｉ）（ｆ，ｔ）ＨＤＳ（ｉ）（ｆ，ｔ）
なお、ＨＤＳ（ｉ）（ｆ，ｔ）は、Ｄｅｌａｙ ａｎｄ Ｓｕｍのフィルタ係数であり、Σｉは全てのチャネルｉ（全てのマイクロホン素子）についての平均化処理を行うことを示す。また、Ｄｅｌａｙ ａｎｄ Ｓｕｍは、出力信号ベクトルＹ（ｆ，ｔ）から推定されたユーザ方位θを用いてマイクロホン素子間の到来時間差を補正し、ユーザ方位にビームを形成する手法である。
【００５２】
以上説明したように、本実施の形態にかかる雑音及び残響抑圧装置１００によれば、新たな空間の観測信号に基づいて推定直接音声及び初期反射音声を算出し、後期残響特性を空間の残響特性から自動的に作成して、算出した推定直接音声及び初期反射音声と、作成した後期残響特性と、から後期残響を算出することができるため、環境が変化した場合においても、環境の変化に適応して、雑音及び残響の両方を自動的に抑圧することができる。
【００５３】
その他の実施の形態．
上述した実施の形態では、フィルタ作成部１０がブラインド音源分離（ＢＳＳ）を行う例を説明したが、本発明はこれに限定されない。例えば、図４に示すように、ブラインド音源分離（ＢＳＳ）に代えて、ブラインド信号抽出（ＢＳＥ）を適用するものとしてもよい。すなわち、図４に示すように、雑音及び残響抑圧装置２００は、マイクロホンアレイ２と、ブラインド信号抽出（ＢＳＥ）２０１と、射影ベクトル推定部２０２と、雑音推定部２０３と、雑音抑圧マスク生成部２０４と、雑音抑圧処理部２０５と、直接音声・初期反射音声推定部２０６と、後期残響生成部２０７と、ゲイン補正部２０８と、後期残響音抑圧マスク生成部２０９と、後期残響音抑圧処理部２１０と、直接音声強調部２１１と、を備える構成としてもよい。
【００５４】
図４に示したブラインド信号抽出（ＢＳＥ）２０１では、観測信号からユーザ音声を抽出して出力し、射影ベクトル推定部２０２では、これに基づいて、空間伝達特性行列の推定値を出力する。また、雑音推定部２０３で推定したユーザ方位θが、音声強調部２１１に出力される。なお、ブラインド信号抽出（ＢＳＥ）２０１や射影ベクトル推定部２０２で行う処理は公知であるため、ここではその詳細な説明を省略する。
【００５５】
また、上述した実施の形態では、雑音抑圧マスクと後期残響抑圧マスクとを別々のマスク生成部で生成する例を説明したが、本発明はこれに限定されない。例えば、図５に示すように、雑音抑圧マスクと後期残響抑圧マスクとを一つのマスク生成部で生成し、雑音抑圧処理と後期残響抑圧処理とを一つの抑圧処理部で行うものとしてもよい。すなわち、図５に示すように、雑音及び残響抑圧装置３００は、マイクロホンアレイ２と、ブラインド音源分離（ＢＳＳ）３０１と、音声・雑音選択部３０２と、逆行列演算部３０３と、雑音推定部３０４と、直接音声・初期反射音声推定部３０５と、後期残響生成部３０６と、雑音・後期残響音抑圧マスク生成部３０７と、雑音・後期残響音抑圧処理部３０８と、直接音声強調部３０９と、を備える構成としてもよい。
【００５６】
また、例えば、図６に示すように、ブラインド音源分離（ＢＳＳ）に代えて、ブラインド信号抽出（ＢＳＥ）を適用すると共に、雑音抑圧マスクと後期残響抑圧マスクとを一つのマスク生成部で生成し、雑音抑圧処理と後期残響抑圧処理とを一つの抑圧処理部で行うものとしてもよい。すなわち、図６に示すように、雑音及び残響抑圧装置４００は、マイクロホンアレイ２と、ブラインド信号抽出（ＢＳＥ）４０１と、射影ベクトル推定部４０２と、雑音推定部４０３と、直接音声・初期反射音声推定部４０４と、後期残響生成部４０５と、雑音・後期残響音抑圧マスク生成部４０６と、雑音・後期残響音抑圧処理部４０７と、直接音声強調部４０８と、を備える構成としてもよい。
【００５７】
ここで、図１０やなどに示した本発明に関連する技術と比較した場合に、本発明と相違する点及び有利な効果についてさらに説明する。
（１）後期残響特性について
図１０に示した技術では、空間の残響特性を予め与える必要がある。
これに対して本発明では、部屋などの残響時間から、自動的にその残響特性を作成することができる。
（２）残響音の推定方法について
図１０に示した技術では、ユーザ音声の直接音と、初期反射音と、後期残響音とが含まれた信号を対象として、残響音の推定を行っている。
これに対して本発明では、ユーザ音声の直接音と、初期反射音と、が含まれた信号を対象として残響音の推定を行っている。これは、直接音及び初期反射音の推定機能を更に備えたことで実現している。
（３）後期残響抑圧処理前のゲイン補正について
図１０に示した技術では、ゲイン補正係数は予め与えられ、補正係数を自動的に推定することができないため、予め部屋の特性を計測し、補正係数を求めておく必要がある。
これに対して本発明では、生成された後期残響は、自動的に補正される。本発明では、直接音声・初期反射音声を推定する際にカットされた伝達特性のパワー量（すなわち、切出されなかった区間のパワー量）と、作成する後期残響特性のパワー量とが、同量となるように補正する。
（４）直接音声強調処理による処理歪みの緩和について
図１０に示した技術及び本発明ともに、直接音声強調処理ではＤｅｌａｙ ａｎｄ Ｓｕｍ（ＤＳ）処理を採用している。ＤＳ処理には平均化処理が含まれており、その処理により各チャネルで生じていた抑圧処理歪みが緩和されるという副作用がある。
図１０に示した技術では、直接音声強調処理後に残響抑圧処理を行うため、各チャネルの残響抑圧処理の歪みは緩和されない。
これに対して本発明では、雑音及び残響の両方を抑圧した後に直接音声強調処理を実施するため、各チャネルの残響除去処理の歪みを緩和することができる。
【００５８】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００５９】
１００、２００、３００、４００ 雑音及び残響抑圧装置、
１ マイクロホン、 ２ マイクロホンアレイ、 １０ フィルタ作成部、
１１ ブラインド音源分離（ＢＳＳ）、 １２ 音声・雑音選択部、
１３ 逆行列演算部、 ２１ 雑音推定部、 ２２ 雑音抑圧マスク生成部、
２３ 雑音抑圧処理部、 ２４ 直接音声・初期反射音声推定部、
２５ 後期残響生成部、 ２６ ゲイン補正部、 ２７ 後期残響音抑圧マスク生成部、
２８ 後期残響音抑圧処理部、 ２９ 直接音声強調部、
２０１ ブラインド信号抽出（ＢＳＥ）、 ２０２ 射影ベクトル推定部、
２０３ 雑音推定部、 ２０４ 雑音抑圧マスク生成部、
２０５ 雑音抑圧処理部、 ２０６ 直接音声・初期反射音声推定部、
２０７ 後期残響生成部、 ２０８ ゲイン補正部、
２０９ 後期残響音抑圧マスク生成部、 ２１０ 後期残響音抑圧処理部、
２１１ 直接音声強調部、
３０１ ブラインド音源分離（ＢＳＳ）、 ３０２ 音声・雑音選択部、
３０３ 逆行列演算部、 ３０４ 雑音推定部、
３０５ 直接音声・初期反射音声推定部、 ３０６ 後期残響生成部、
３０７ 雑音・後期残響音抑圧マスク生成部、 ３０８ 雑音・後期残響音抑圧処理部、
３０９ 直接音声強調部、
４０１ ブラインド信号抽出（ＢＳＥ）、 ４０２ 射影ベクトル推定部、
４０３ 雑音推定部、 ４０４ 直接音声・初期反射音声推定部、
４０５ 後期残響生成部、 ４０６ 雑音・後期残響音抑圧マスク生成部、
４０７ 雑音・後期残響音抑圧処理部、 ４０８ 直接音声強調部、
５０１ 後期残響推定部、 ５０２ ゲイン補正部、 ５０３ 残響抑圧処理部、
６０１ ブラインド音原分離（ＢＳＳ）、 ６０２ 音声・雑音選択部、
６０３ 多チャンネル雑音推定部、 ６０４ マスク生成部、
６０５ 雑音抑圧処理部、 ６０６ 直接音声強調部、
７０１ ブラインド音源分離（ＢＳＳ）、 ７０２ 音声・雑音選択部、
７０３ 多チャンネル雑音推定部、 ７０４ マスク生成部、
７０５ 雑音抑圧処理部、 ７０６ 直接音声強調部、 ７０７ 後期残響推定部、
７０８ ゲイン補正部、 ７０９ 残響抑圧処理部、
Ｐ ユーザ、Ｒ ロボット
【特許請求の範囲】
【請求項１】
音声及び雑音を含む混合観測信号が周波数領域に変換された入力信号を用いて、前記混合観測信号から前記音声を分離する各周波数での分離フィルタ行列を作成するフィルタ作成部と、
前記入力信号と、前記分離フィルタ行列と、前記分離フィルタ行列の逆行列と、を用いて、推定雑音を算出する雑音推定部と、
前記分離フィルタ行列の逆行列の各要素を時間領域に変換して推定空間伝達特性として取得し、前記推定空間伝達特性から前記音声の直接音声及び初期反射に相当する区間を切出し、当該切出した区間を周波数領域に変換して各周波数での直接音声及び初期反射フィルタ行列を作成し、前記入力信号と、前記分離フィルタ行列と、前記直接音声及び初期反射フィルタ行列と、を用いて、推定直接音声及び初期反射音声を算出する直接音声・初期反射音声推定部と、
与えられる空間の残響時間と、前記直接音声・初期反射音声推定部により切出した区間のパワー量と、から、各周波数での後期残響特性のフィルタ係数を算出し、前記推定直接音声及び初期反射音声と、前記分離フィルタ行列と、前記後期残響特性のフィルタ係数と、を用いて、擬似後期残響を算出する後期残響生成部と、を備え、
前記雑音推定部により算出した前記推定雑音と、前記後期残響生成部により算出した前記擬似後期残響と、を用いて、前記混合観測信号中の雑音及び後期残響を抑圧する
ことを特徴とする雑音及び残響抑圧装置。
【請求項２】
前記入力信号と、前記雑音推定部により算出した前記推定雑音と、を用いて、雑音抑圧マスクを算出する雑音抑圧マスク生成部と、
前記雑音抑圧マスクを用いて、前記混合観測信号中の雑音を抑圧する雑音抑圧処理部と、
前記雑音抑圧マスク生成部により算出した前記雑音抑圧マスクを用いて、前記後期残響生成部により算出した前記擬似後期残響の振幅を補正するゲイン補正部と、を更に備え、
前記ゲイン補正部により振幅が補正された後の擬似後期残響を用いて、前記混合観測信号中の後期残響を抑圧する
ことを特徴とする請求項１に記載の雑音及び残響抑圧装置。
【請求項３】
前記入力信号と、前記ゲイン補正部により振幅が補正された後の擬似後期残響と、を用いて、後期残響音抑圧マスクを算出する後期残響音抑圧マスク生成部と、
前記後期残響音抑圧マスクを用いて、前記混合観測信号中の残響を抑圧する後期残響音抑圧処理部と、を更に備える
ことを特徴とする請求項２に記載の雑音及び残響抑圧装置。
【請求項４】
前記フィルタ作成部は、
前記入力信号を用いて適応学習処理を行い、前記混合観測信号から前記音声を分離する各周波数での分離フィルタ行列を作成するブラインド音源分離と、
前記ブラインド音源分離により作成した前記分離フィルタ行列の第一要素が前記音声となるように入れ替えを行う音声・雑音選択部と、
前記音声雑音・選択部により入れ替えを行った後の分離フィルタ行列の逆行列を算出する逆行列演算部と、を備える
ことを特徴とする請求項１乃至３いずれか１項に記載の雑音及び残響抑圧装置。
【請求項５】
前記雑音推定部により算出した前記推定雑音と、前記後期残響生成部により算出した前記擬似後期残響と、を用いて、前記混合観測信号中の雑音及び後期残響が抑圧された後の信号について、直接音声を強調する直接音声強調部を更に備える
ことを特徴とする請求項１乃至４いずれか１項に記載の雑音及び残響抑圧装置。
【請求項６】
音声及び雑音を含む混合観測信号を周波数領域に変換して入力信号とするステップと、
前記入力信号を用いて、前記混合観測信号から前記音声を分離する各周波数での分離フィルタ行列を作成するステップと、
作成した前記分離フィルタ行列の逆行列を算出するステップと、
前記入力信号と、作成した前記分離フィルタ行列と、作成した前記分離フィルタ行列の逆行列と、を用いて、推定雑音を算出するステップと、
作成した前記分離フィルタ行列の逆行列の各要素を時間領域に変換して推定空間伝達特性として取得するステップと、
取得した前記推定空間伝達特性から前記音声の直接音声及び初期反射に相当する区間を切出すステップと、
切出した前記区間を周波数領域に変換して各周波数での直接音声及び初期反射フィルタ行列を作成するステップと、
前記入力信号と、作成した前記分離フィルタ行列と、作成した前記直接音声及び初期反射フィルタ行列と、を用いて、推定直接音声及び初期反射音声を算出するステップと、
与えられる空間の残響時間と、切出した前記区間のパワー量と、から、各周波数での後期残響特性のフィルタ係数を算出するステップと、
算出した前記推定直接音声及び初期反射音声と、作成した前記分離フィルタ行列と、算出した前記後期残響特性のフィルタ係数と、を用いて、擬似後期残響を算出するステップと、
算出した前記推定雑音と、算出した前記擬似後期残響と、を用いて、前記混合観測信号中の雑音及び後期残響を抑圧するステップと、を有する
ことを特徴とする雑音及び残響の抑圧方法。
【請求項１】
音声及び雑音を含む混合観測信号が周波数領域に変換された入力信号を用いて、前記混合観測信号から前記音声を分離する各周波数での分離フィルタ行列を作成するフィルタ作成部と、
前記入力信号と、前記分離フィルタ行列と、前記分離フィルタ行列の逆行列と、を用いて、推定雑音を算出する雑音推定部と、
前記分離フィルタ行列の逆行列の各要素を時間領域に変換して推定空間伝達特性として取得し、前記推定空間伝達特性から前記音声の直接音声及び初期反射に相当する区間を切出し、当該切出した区間を周波数領域に変換して各周波数での直接音声及び初期反射フィルタ行列を作成し、前記入力信号と、前記分離フィルタ行列と、前記直接音声及び初期反射フィルタ行列と、を用いて、推定直接音声及び初期反射音声を算出する直接音声・初期反射音声推定部と、
与えられる空間の残響時間と、前記直接音声・初期反射音声推定部により切出した区間のパワー量と、から、各周波数での後期残響特性のフィルタ係数を算出し、前記推定直接音声及び初期反射音声と、前記分離フィルタ行列と、前記後期残響特性のフィルタ係数と、を用いて、擬似後期残響を算出する後期残響生成部と、を備え、
前記雑音推定部により算出した前記推定雑音と、前記後期残響生成部により算出した前記擬似後期残響と、を用いて、前記混合観測信号中の雑音及び後期残響を抑圧する
ことを特徴とする雑音及び残響抑圧装置。
【請求項２】
前記入力信号と、前記雑音推定部により算出した前記推定雑音と、を用いて、雑音抑圧マスクを算出する雑音抑圧マスク生成部と、
前記雑音抑圧マスクを用いて、前記混合観測信号中の雑音を抑圧する雑音抑圧処理部と、
前記雑音抑圧マスク生成部により算出した前記雑音抑圧マスクを用いて、前記後期残響生成部により算出した前記擬似後期残響の振幅を補正するゲイン補正部と、を更に備え、
前記ゲイン補正部により振幅が補正された後の擬似後期残響を用いて、前記混合観測信号中の後期残響を抑圧する
ことを特徴とする請求項１に記載の雑音及び残響抑圧装置。
【請求項３】
前記入力信号と、前記ゲイン補正部により振幅が補正された後の擬似後期残響と、を用いて、後期残響音抑圧マスクを算出する後期残響音抑圧マスク生成部と、
前記後期残響音抑圧マスクを用いて、前記混合観測信号中の残響を抑圧する後期残響音抑圧処理部と、を更に備える
ことを特徴とする請求項２に記載の雑音及び残響抑圧装置。
【請求項４】
前記フィルタ作成部は、
前記入力信号を用いて適応学習処理を行い、前記混合観測信号から前記音声を分離する各周波数での分離フィルタ行列を作成するブラインド音源分離と、
前記ブラインド音源分離により作成した前記分離フィルタ行列の第一要素が前記音声となるように入れ替えを行う音声・雑音選択部と、
前記音声雑音・選択部により入れ替えを行った後の分離フィルタ行列の逆行列を算出する逆行列演算部と、を備える
ことを特徴とする請求項１乃至３いずれか１項に記載の雑音及び残響抑圧装置。
【請求項５】
前記雑音推定部により算出した前記推定雑音と、前記後期残響生成部により算出した前記擬似後期残響と、を用いて、前記混合観測信号中の雑音及び後期残響が抑圧された後の信号について、直接音声を強調する直接音声強調部を更に備える
ことを特徴とする請求項１乃至４いずれか１項に記載の雑音及び残響抑圧装置。
【請求項６】
音声及び雑音を含む混合観測信号を周波数領域に変換して入力信号とするステップと、
前記入力信号を用いて、前記混合観測信号から前記音声を分離する各周波数での分離フィルタ行列を作成するステップと、
作成した前記分離フィルタ行列の逆行列を算出するステップと、
前記入力信号と、作成した前記分離フィルタ行列と、作成した前記分離フィルタ行列の逆行列と、を用いて、推定雑音を算出するステップと、
作成した前記分離フィルタ行列の逆行列の各要素を時間領域に変換して推定空間伝達特性として取得するステップと、
取得した前記推定空間伝達特性から前記音声の直接音声及び初期反射に相当する区間を切出すステップと、
切出した前記区間を周波数領域に変換して各周波数での直接音声及び初期反射フィルタ行列を作成するステップと、
前記入力信号と、作成した前記分離フィルタ行列と、作成した前記直接音声及び初期反射フィルタ行列と、を用いて、推定直接音声及び初期反射音声を算出するステップと、
与えられる空間の残響時間と、切出した前記区間のパワー量と、から、各周波数での後期残響特性のフィルタ係数を算出するステップと、
算出した前記推定直接音声及び初期反射音声と、作成した前記分離フィルタ行列と、算出した前記後期残響特性のフィルタ係数と、を用いて、擬似後期残響を算出するステップと、
算出した前記推定雑音と、算出した前記擬似後期残響と、を用いて、前記混合観測信号中の雑音及び後期残響を抑圧するステップと、を有する
ことを特徴とする雑音及び残響の抑圧方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２０３４１４（Ｐ２０１１−２０３４１４Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−６９５３１（Ｐ２０１０−６９５３１）
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
[ Back to top ]