音響モデル作成装置、音響モデル作成方法、及び音響モデル作成システム
【課題】本発明が解決しようとする課題は、任意の雑音抑圧方式で作成された雑音抑圧信号にマッチした音響モデルを作る技術を提供することにある。
【解決手段】本願発明は、雑音の無い環境で収録した音声であるクリーン信号に、リアルタイムで収録している雑音信号を付加して雑音付加信号を作成し、前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成し、前記作成した雑音抑圧信号を用いて計算したＧＭＭを、前記クリーン信号を学習したモデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成することを特徴とする。
【解決手段】本願発明は、雑音の無い環境で収録した音声であるクリーン信号に、リアルタイムで収録している雑音信号を付加して雑音付加信号を作成し、前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成し、前記作成した雑音抑圧信号を用いて計算したＧＭＭを、前記クリーン信号を学習したモデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響モデル作成装置、音響モデル作成方法、及び音響モデル作成システムに関する。
【背景技術】
【０００２】
一般に音声認識では、統計的手法が良く用いられている。これは大量の発話を記録した学習用データから音声の特徴を蓄積し、入力された音声信号(以下入力信号と記す)と蓄積された特徴とを比較しながら、最も特徴に近い言語系列を認識結果として出力する技術である。このような技術では、音声の音響的な特徴と言語的な特徴を分離して扱うことが多い。音響的な特徴とは、認識対象の音素がそれぞれどのような周波数特性を持っているかを表したもので、音響モデルと呼ばれる。音響モデルの表現としては、混合正規分布(以下GMMと記す)を出力確率とした隠れマルコフモデル(以下HMMと記す)が広く用いられている。
【０００３】
ここで、雑音環境下における音声認識を考える。雑音環境下において、入力信号と音響モデルとの間にミスマッチが生じる。このミスマッチが認識性能の劣化を招く。しかし、実運用で想定される雑音環境下で収録したデータを学習データとすれば、入力信号と音響モデルとの間のミスマッチを減らすことができ、雑音環境においても高い認識性能を実現できる。なお、この方法では、同じ環境雑音を含む学習データと入力信号の双方に対して雑音抑圧法を用いることでSN比を高くすることができる。特に、識別能力を低下させてしまうような低SN比のデータを扱う場合に効果がある。しかし、学習データから音響モデルを作成するには多大な計算量を必要とするため、周囲の雑音が変化する環境においては、入力信号と音響モデルの間のミスマッチの制御が間に合わない。
【０００４】
これに対して、雑音の変化に追従することを目的として、より少ないデータ量、少ない計算時間で、雑音に適応した音響モデルを作る方法、モデル適応法がある。これは、雑音のないクリーンな音声信号と雑音、入力信号の関係を数式で書き下すことで、クリーンモデル(雑音のないクリーンな環境で収録された音声信号を学習データとして学習した音響モデルとして以下、クリーンモデルと記す)から、雑音モデル(雑音を含む入力データにマッチした音響モデルとして以下雑音モデルと記す)に変換する。しかし、モデル適応法では、雑音抑圧モデル(雑音抑圧法によって得られる雑音抑圧信号にマッチした音響モデルとして、以下、雑音抑圧モデルと記す)を生成することは難しい。これは、クリーンな音声信号と雑音抑圧法における抑圧誤差と雑音抑圧信号の間の関係を数式によって書き下すことが難しいことによる。
【０００５】
これに対して、特許文献１や非特許文献１には、周囲の雑音の変化に追従しつつ雑音抑圧モデルを作成する方式が記されている。例えば、特許文献１の方法は、雑音パワースペクトルから平均雑音パワースペクトルを減算して、消し残りパワースペクトルを算出し、雑音モデルを消し残りのパワースペクトルから、消し残り雑音モデルを学習する。そして、この消し残り雑音モデルとクリーンモデルと合成する方法が紹介されている。
【０００６】
また、非特許文献１では、入力信号のそれぞれのフレームの特徴量に適した抑圧誤差の分散を計算し、尤度計算の際にこれらの抑圧誤差の分散をクリーンモデルの分散に反映させる方法が紹介されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０‐９７２７８号公報
【非特許文献】
【０００８】
【非特許文献１】Li Deng, Droppo, J, Acero, A, Dynamic compensation of HMM variancesusing the feature enhancement uncertainty computed from parametric model ofspeech distortion.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１の技術は、無音区間から得られる抑圧誤差から雑音モデルを作成し、クリーンモデルとHMM合成している。しかし、雑音抑圧信号の無音区間で学習されたガウシアンがHMMに加わるだけで発話に対応するガウシアンはクリーンのままである。従って、厳密には、雑音抑圧信号にマッチした音響モデルを作れていない。一方、非特許文献１では、限られた雑音抑圧方式で作成された雑音抑圧信号にマッチした音響モデルしか作ることができない。
【００１０】
そこで、本発明が解決しようとする課題は、上記問題点を解決することであり、任意の雑音抑圧方式で作成された雑音抑圧信号にマッチした音響モデルを作る技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するための本発明は、音響モデル作成装置であって、雑音の無い環境で収録され、さらにアライメント情報を有する音声であるクリーン信号に、雑音信号を付加して雑音付加信号を作成する雑音付加信号作成手段と、前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成する雑音抑圧手段と、前記作成した雑音抑圧信号と前記アライメント情報より計算したＧＭＭを、前記クリーン信号で学習した音響モデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成する雑音抑圧モデル作成手段と、を有することを特徴とする。
【００１２】
上記課題を解決するための本発明は、音響モデル作成方法であって、雑音の無い環境で収録され、さらにアライメント情報を有する音声であるクリーン信号に、雑音信号を付加して雑音付加信号を作成する雑音付加信号作成ステップと、前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成する雑音抑圧ステップと、前記作成した雑音抑圧信号と前記アライメント情報より計算したＧＭＭを、前記クリーン信号で学習した音響モデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成する雑音抑圧モデル作成ステップと、を有することを特徴とする。
【００１３】
上記課題を解決するための本発明は、音響モデル作成システムであって、雑音の無い環境で収録され、さらにアライメント情報を有する音声であるクリーン信号に、雑音信号を付加して雑音付加信号を作成する雑音付加信号作成手段と、前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成する雑音抑圧手段と、前記作成した雑音抑圧信号と前記アライメント情報より計算したＧＭＭを、前記クリーン信号で学習した音響モデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成する雑音抑圧モデル作成手段と、を有することを特徴とする。
【発明の効果】
【００１４】
本発明によると、任意の雑音抑圧方式によって得られる雑音抑圧信号にマッチした音響モデルを作成することが可能であることである。そして、雑音信号を学習データとしてモデル学習するよりも高速で作成することが可能であることである。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態の音響モデル生成システムのブロック図である。
【図２】第１の実施の形態のフロー図である。
【図３】第２の実施の形態の音響モデル生成システムのブロック図である。
【図４】第２の実施の形態のフロー図である。
【図５】第３の実施の形態の音響モデル生成システムのブロック図である。
【図６】第４の実施の形態の音響モデル生成システムのブロック図である。
【図７】第４の実施の形態のフロー図である。
【発明を実施するための形態】
【００１６】
本発明の特徴を説明するために、以下において、図面を参照して具体的に述べる。
〈第一の実施の形態〉
第一の実施の形態を、図１を参照して説明する。図１は本実施の形態における音響モデル生成システムのブロック図である。以下、第一の実施の形態における音響モデル適応装置１００が備える各構成要素、及び、音響モデル適応装置を動作させるために必要な要素について説明する。
【００１７】
本願の音響モデル生成システムは、音響モデル適応装置１００、クリーンモデル格納部００１、雑音抑圧モデル格納部００２、クリーン信号格納部００３、及び雑音信号格納部００４を有する。
【００１８】
音響モデル適応装置１００は、雑音付加信号作成部１０１、雑音抑圧部１０２、及び雑音モデル作成部１０３を有する。
【００１９】
雑音付加信号作成部１０１は、クリーン信号格納部００３のクリーン信号と雑音信号格納部００４の雑音信号とを入力とし、雑音付加信号を出力とする。雑音付加信号はクリーン信号と雑音信号とを足すことで作成される。
【００２０】
雑音抑圧部１０２は、雑音付加信号作成部１０１で作成された雑音付加信号を入力とし、雑音抑圧信号を出力する。雑音抑圧信号は、雑音付加信号を、雑音抑圧法によって雑音を抑圧することで作成される。尚、ここで用いられる雑音抑圧法は、特定な技術ではなく、いかなる技術であってもよい。
【００２１】
雑音抑圧信号ＨＭＭ作成部１０３は、雑音抑圧部１０２で作成された雑音抑圧信号と、クリーンモデル格納部００３のクリーンモデルと、クリーン信号のアライメント情報を入力とし、雑音抑圧モデルを出力する。雑音抑圧モデルは、雑音抑圧信号とアライメント情報を元にクリーンモデルのガウシアンを雑音抑圧信号に適応することで作成される。クリーン信号のアライメント情報とは、ある時刻での信号が、クリーンモデルのどのHMMのどの状態に由来するかを示す情報である。
【００２２】
クリーンモデル格納部００１には、クリーンな環境で収録したクリーン信号で学習したクリーンモデルが格納されている。なお、ここで格納されているクリーンモデルの各ＨＭＭの各状態におけるＧＭＭの各ガウシアンの平均と分散とを、
平均(μh,s,k, Δμh,s,k, ΔΔμh,s,k)、分散(Σh,s,k, ΔΣh,s,k, ΔΔΣh,s,k)
と表現する。平均と分散とは、音声の特徴量(メルケプストラムとその一次、二次動的成分)で計算されるため、平均は３９次元のベクトル、分散は３９×３９次元の対角行列の対角成分で作るベクトルとして格納される。Δ、ΔΔはそれぞれ一次、二次動的成分を示す。添え字である、ｈはＨＭＭ番号を示し、ｓは状態番号を示し、ｋはガウシアン番号を示す。そして、それぞれ、Ｈ個、Ｓ個、Ｋ個あるとする。
【００２３】
雑音抑圧モデル格納部００２には、雑音抑圧モデル作成部１０３で出力される雑音抑圧モデルが格納されている。なお、ここで格納されているクリーンモデルの各ＨＭＭの各状態におけるＧＭＭの各ガウシアンの平均と分散を、
と表現する。平均と分散とは、音声の特徴量(メルケプストラムとその一次、二次動的成分)で計算されるため、平均は３９次元のベクトル、分散は３９×３９次元の対角行列の対角成分で作るベクトルとして格納される。
【００２４】
クリーン信号格納部００３には、クリーン信号と、クリーン信号のアライメント情報とが格納されている。なお、クリーン信号のアライメント情報は、予め、クリーンモデル格納部００１のクリーンモデルを用いて、これらのクリーン信号を認識したときの認識結果としてもよい。クリーン信号のアライメント情報は、信号が、ある時刻においてクリーンモデルのどのＨＭＭのどの状態に由来するかを示す情報である。なお、ここで格納されるクリーン信号は、全I個とし、１個のクリーン信号には１発声から数発声が収録されているとする。これらのクリーン信号を以下、xi(t),i=0, …I−1t.=0, …, Nxi-1と表現する。iは、I個のクリーン信号の番号を示し、tはサンプル番号を示し、i番目のクリーン信号のサンプル数をNxiとする。クリーン信号のアライメント情報はクリーン信号と同じ数だけ存在し、li(τ),i=0…,I-1.τ=0,…,N’i,x-1と表現する。li(τ)は(h,s)を値としてもつ。また、τは、サンプル番号を示すが、ここでは、特徴量のサンプル番号を示す。そして、N’i,xは、xi(t)を特徴量変換した後のサンプル数を示す。
【００２５】
雑音信号格納部００４には、雑音信号が格納されている。雑音信号格納部００４に格納される雑音信号は常に更新される。なお、格納される雑音信号は、n(t),t=0,…,Nn-1と表現する。ここでは雑音信号のサンプル数はNnとする。なお、この雑音信号n(t),t=0,…,Nn-1は常に更新されるため、リングバッファに格納しているとする。
【００２６】
図２は本実施の形態における音響モデル適応装置１００の動作の概要を示すフローチャートである。図２を用いて、第一の実施の形態における動作の概要を説明する。
【００２７】
まず、雑音付加信号作成過程（Ｓ１０１）について説明する。
クリーン信号格納部に格納されているI個のクリーン信号xi(t),i=0, …I−1t.=0, …, Nxi-1と、雑音信号格納部００４に格納されている雑音信号n(t),t=0,…,Nn-1を取得し、これらを雑音付加信号作成部１０１に入力する。そして、雑音付加信号作成部１０１から雑音付加信号が出力される。なお、雑音付加信号作成部１０１では、全I個の雑音付加信号が作成され、yi(t),i=0,…,I-1,t=0,…,Nxi-1と表現する。なお、それぞれの雑音付加信号のサンプル数は、クリーン信号のサンプル数と変わらない。
【００２８】
ここで、雑音付加信号yi(t)は、例えば、数１のように計算される。
【数１】
続いて、雑音抑圧過程（Ｓ１０２）について説明する。
【００２９】
雑音付加信号作成部１０１が出力するI個の雑音付加信号yi(t),i=0,…,I-1,t=0,…,Nxi-1を雑音抑圧部１０２に入力する。そして、雑音抑圧部１０２から雑音付加信号が作成され、
と表現する。なお、それぞれの雑音付加信号のサンプル数は、クリーン信号のサンプル数と変わらない。ここでは、例えば、雑音抑圧法には、Wiener Filter法などの方法が考えられる。
【００３０】
次に、雑音抑圧モデル作成過程（Ｓ１０３）について説明する。
【００３１】
雑音抑圧部１０２が出力するI個の雑音抑圧信号
と、クリーンモデル格納部００１に格納されているクリーンモデルと、クリーン信号格納部００３に格納されているクリーン信号のアライメント情報li(τ),i=0…,I-1.τ=0,…,N’i,x-1を雑音抑圧モデル作成部１０３に入力し、雑音抑圧モデルを出力し、雑音抑圧モデル格納部００２に格納する。ここで、雑音抑圧モデルの作成法を述べる。
【００３２】
まず、I個の雑音抑圧信号
を特徴量に変換する。ここで、I個の雑音抑圧信号の特徴量を
と表現する。なお、特徴量のサンプル番号はτで表現し、特徴量変換後のサンプル数はN’xiで表現する。
【００３３】
次に、実際に、クリーンモデル格納部００１に格納されているクリーンモデルの全てのＨＭＭの、全ての状態のＧＭＭを雑音抑圧信号に適応するが、ここでは、h番目のＨＭＭ,S番目の状態についてのGMMの適応法を述べる。まず、アライメント情報li(τ)を参照して、h,sに対応するτを全て選び、これら全てのτに対応した雑音抑圧信号の特徴量
を集める。集められた特徴量の集合を
とし、その元を
とする。集合
の中の全ての
とについて、ＥＭアルゴリズムなどでＧＭＭを作成する。作成したＧＭＭをクリーンモデルのh番目のＨＭＭ, s番目の状態のＧＭＭと換える。クリーンモデルの全てのh,sでＧＭＭを換えて、雑音抑圧信号のモデルを作成する。
【００３４】
上記実施の形態の効果は、任意の雑音抑圧方式によって得られる雑音抑圧信号にマッチした音響モデルを作成することが可能である。そして、雑音信号を学習データとしてモデル学習するよりも高速で作成することが可能である。
【００３５】
〈第二の実施の形態〉
第二の実施の形態を、図３を参照して説明する。以下、第二の実施の形態における音響モデル適応装置２００が備える各構成要素、及び、音響モデル適応装置を動作させるために必要な要素について説明する。第一の実施の形態との違いは、第二の実施の形態ではクリーン信号格納部００３が存在せず、クリーンモデル格納部００１に格納されているＨＭＭのガウシアンの情報を用いて、クリーン信号作成部２０１によってクリーン信号が作られる。これにより、第二の実施の形態の雑音抑圧モデル作成部２０３は第一の実施の形態の抑圧モデル作成部１０３とは異なる。尚、上記実施の形態と同様の構成については同一番号を付して詳細な説明は省略し、ここでは、クリーン信号作成部と、雑音抑圧モデル作成部２０３の説明をする。
【００３６】
クリーン信号作成部２０１は、クリーンモデル格納部００１に格納されているクリーンモデルを入力とし、クリーン信号を出力とする。なお、出力されたクリーン信号には、クリーンモデルのどのＨＭＭのどの状態のどのガウシアンから作られたかの情報が残っているとする。
【００３７】
雑音抑圧モデル作成部２０３は、雑音抑圧部１０２が出力する雑音抑圧信号と、クリーンモデル格納部００１に格納されているクリーンモデルを入力とし、雑音抑圧モデルを出力とする。なお、入力とする雑音抑圧信号にはクリーン信号作成部２０１の出力であるクリーン信号により作成されるが(雑音信号作成部１０１，雑音抑圧部１０２によって作成される)、雑音抑圧信号にも、クリーン信号同様に、クリーンモデルのどのＨＭＭのどの状態のどのガウシアンから作られたかの情報が残っているとする。
【００３８】
図４は、本発明の第二の実施の形態における音響モデル適応装置１００の動作の概要を示すフローチャートである。図４を用いて、第二の実施の形態における動作の概要を説明する。なお、第一の実施の形態のフローチャートとの違いは、クリーン信号作成過程Ｓ２０１が加わったことと、第１の実施の形態の雑音抑圧モデル作成過程Ｓ１０３が雑音抑圧モデル作成過程Ｓ２０３に変わることである。したがって、クリーン信号作成過程Ｓ２０１及び雑音抑圧モデル作成過程Ｓ２０３について説明する。
【００３９】
まず、クリーン信号作成過程Ｓ２０１について説明する。
クリーンモデル格納部００１からH×S×K個のクリーンモデルのガウシアンの平均(μh,s,k, Δμh,s,k, ΔΔμh,s,k)、分散(Σh,s,k, ΔΣh,s,k, ΔΔΣh,s,k)を入力とする。H×S×K個の全てのガウシアンについて、それぞれのガウシアンに従うN個の正規乱数を生成する。ここで作られる乱数を
と記す。ここで上添え字nはN個の正規乱数の番号を示す。なお、Nが大きいと、後により精度の高い強調信号ＨＭＭを作成できるが、大きいと後の計算量に影響を与えるため、ＣＰＵなどの性能を顧慮して決めることが望ましい。次の処理(雑音付加信号作成部１０２)音声波形を入力とするため、一次動的成分、二次動的成分を入力できない。従って、このステップにて、一次動的成分、二次動的成分を静的成分の時系列で表現する。ここで解くべき問題は、Δxnh,s,k, ΔΔxnh,s,kに対応する、xnh,s,kの時系列xn,th,s,kを導出することである。まず、ΔΔxnh,s,kからΔxnh,s,kの時系列ΔΔxn,th,s,kを導出する一例を述べる。ΔΔxt, Δxtが与えられたときに、４つの未知数Δxt-2, Δxt-1, Δxt+1, Δxt+2を解く問題になる。制約付き最適化問題に帰着してこれら４つの未知数を求める。ここで考慮する点は、時間変化が最も小さくなる時系列を見つけることする。つまり、
【数２】
を解けばよい。
【００４０】
次に、xtとΔxt-2, Δxt-1, Δxt+1, Δxt+2が与えられたときに、xt-5, …,
xt-1, xt+1, …, xt+5を導出する。これも、Δxt-2, Δxt+1, Δxt+2を導出した要領と同様な制約付き最適化問題に帰着して解く。
【数３】
以上が、ガウシアンの正規乱数xnh,s,k, Δxnh,s,k,
ΔΔxnh,s,kから、メルケプストラムの時系列
を推定する方法である。この時系列
は一次動的成分xnh,s,k、二次動的成分ΔΔxnh,s,kの情報を持つ。
【００４１】
次にこの時系列
に特徴量逆変換を行い、合成クリーン信号
を作る。このとき、合成クリーン信号の長さはTになるとする。
クリーン信号作成部２０１は、H×S×K個の
を出力する。
【００４２】
雑音抑圧モデル作成過程Ｓ２０３について説明する。
Ｓ１０１及びＳ１０２を通して、H×S×K×N個の合成クリーン信号
は、雑音付加信号作成部１０１、雑音抑圧部１０２により、H×S×K×N個の雑音抑圧信号
になる。
【００４３】
雑音抑圧モデル作成過程Ｓ２０３では、まず、H×S×K×N個の雑音抑圧信号
と、クリーンモデル格納部００１が格納するクリーン音響モデルが雑音抑圧モデル作成部２０３に入力される。次に、H×S×K×N個の雑音抑圧信号
は全て特徴量変換され、雑音抑圧信号の特徴量時系列
が作成される。
【００４４】
時系列
から、静的成分、一次動的成分、二次動的成分
を計算する。そして、
の、(h,s,k)毎にnについて
及び
を計算する。最後にクリーンモデルのh番目の状態番号sのk番目のガウシアンの平均(μh,s,k, Δμh,s,k, ΔΔμh,s,k)、分散(Σh,s,k, ΔΣh,s,k, ΔΔΣh,s,k)を
及び
に書き換えることで、雑音抑圧モデルが作成される。最後に、雑音抑圧モデル格納部００２に雑音抑圧モデルが格納される。
【００４５】
第二の実施の形態によるとは、クリーンモデルに基づいて雑音抑圧モデルが作られることである。また、乱数の個数を任意に選ぶことが可能であることから、計算量を調整することが可能である。
【００４６】
〈第三の実施の形態〉
第三の実施の形態を、図５を参照して説明する。第三の実施の形態は、第二の実施の形態の構成に加えて雑音統計量計算部３０２をさらに備える。尚、上記実施の形態と同様の構成については説明を省略する。
【００４７】
雑音統計量計算部３０２は、雑音信号格納部００４の雑音の統計量(パワーなど)を計算し、雑音の性質を調べる。この性質の雑音から影響を受けやすいガウシアンのみを選び、これらのガウシアンのみ、雑音抑圧信号に適応する。
【００４８】
第三の実施の形態によると、計算量を削減できるという効果が得られる。
【００４９】
〈第四の実施の形態〉
第四の実施の形態を、図６を参照して説明する。以下、第四の実施の形態における音響モデル適応装置４００が備える各構成要素、及び、音響モデル適応装置を動作させるために必要な要素について説明し、上記実施の形態と同様の構成については同一番号を付し、詳細な説明は省略する。
【００５０】
第四の実施の形態では雑音抑圧モデル作成部４０３を有し、第一の実施の形態における雑音抑圧モデル作成部１０３と動作が異なる。
【００５１】
ここでは、第四の実施の形態におけるについて雑音抑圧モデル作成部４０３について説明する。
【００５２】
雑音抑圧モデル作成部４０３は、クリーン信号と、それに対応した雑音抑圧信号と、クリーンモデルを入力とし、雑音抑圧モデルを出力する。クリーンモデルのガウシアンの平均をある基準により複数のクラスに分類し、クラス毎に与えられた平均、分散の変換式でクリーンモデルを雑音抑圧モデルに変換する。クラス毎に与える平均、分散の変換式は、クリーン信号、前記雑音信号に基づいて作られる。
【００５３】
図７は本発明の第四の実施の形態における音響モデル適応装置４００の動作の概要を示すフローチャートである。図７を用いて、第四の実施の形態における動作の概要を説明する。なお、フローチャートとしては、第一の実施の形態におけるフローチャート（図１）と同じであるが、雑音抑圧モデル作成過程の代わりに、雑音抑圧信号ＨＭＭ作成過程ステップ４０３となる。ここでは、雑音抑圧信号HMM作成過程４０３の説明をする。なお、第四の実施の形態の説明をする上で、クリーン信号格納部００３(図６)にはN個の発声のクリーン信号xn(t), n=0, …, N-1が格納されているとし、これら全てを処理に使うとする。
【００５４】
雑音抑圧信号ＨＭＭ作成過程Ｓ４０３について説明する。
まず、図７のステップ１０１、ステップ１０２により、N個のクリーン信号xn(t), n=0, …, N-1から、それぞれ同じ長さのN個の雑音抑圧信号
が生成されたとする。
【００５５】
本ステップでは、N個のクリーン信号xn(t), n=0, …, N-1とN個の雑音抑圧信号
及び、クリーンモデル格納部００１(図６)に格納されているクリーンモデル(ガウシアンの平均(μh,s,k, Δμh,s,k, ΔΔμh,s,k)、分散(Σh,s,k, ΔΣh,s,k, ΔΔΣh,s,k)とする)を入力とする。
【００５６】
クリーンモデルのガウシアンを、N個のクリーン信号xn(t)とN個の雑音抑圧信号
の情報を用いて、雑音抑圧モデルのガウシアン（
)を作成し、雑音抑圧モデル格納部００２に格納する。この雑音抑圧モデルのガウシアンの導出は、クリーンモデルのガウシアンを静的平均μh,s,kの対数メルケプストラム
が、要素P毎にある基準を元に作ったQ個のクラス
のうちどのクラスに属するかを調べ、クラス毎に導出する。クラス作成の基準として、例えば、全ての静的平均対数メルスペクトルの
、
を用いて、
とするなど考えられる。
【００５７】
クリーンモデルのガウシアンから雑音抑圧モデルのガウシアンへの具体的な変換式を導出する。なお、ここでは、ガウシアンの静的平均μh,s,kの対数メルスペクトルの各要素は、
に属するとする。このとき、雑音抑圧モデルのガウシアン（
）は以下のように計算される。
ここで、
は、以下のように、N個のクリーン信号xn(t)とN個の雑音抑圧信号
の対数メルスペクトル
を用いて計算する。なお、τは、N個の波形をn=0, …, N-1の順番に並べてからフレーム処理したときのフレーム番号を示す。pは対数メルスペクトルの要素を示す。すなわちp=1, …, 23である。
また、
のＤＣＴ行列を示し、
でq=(q1, q2, …, q23)を示す。
ただし、
以上が、クリーンモデルのガウシアンから、雑音抑圧モデルのガウシアンへの変換式である。
【００５８】
第四の実施の形態の効果としては、少ない波形データでしかも、アライメント情報を必要としないで、計算量を抑えて、雑音抑圧モデルを作ることができる。
【００５９】
尚、上述した本発明の端末は、上記説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。このような構成の場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した実施の形態と同様の機能、動作を実現させる。尚、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
【００６０】
以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【符号の説明】
【００６１】
００１ クリーンモデル格納部
００２ 雑音抑圧モデル格納部
００３ クリーン信号格納部
００４ 雑音信号格納部
１０１ 雑音付加信号作成部
１０２ 雑音抑圧部
１０３ 雑音抑圧モデル作成部
３０２ 雑音統計量計算部
【技術分野】
【０００１】
本発明は、音響モデル作成装置、音響モデル作成方法、及び音響モデル作成システムに関する。
【背景技術】
【０００２】
一般に音声認識では、統計的手法が良く用いられている。これは大量の発話を記録した学習用データから音声の特徴を蓄積し、入力された音声信号(以下入力信号と記す)と蓄積された特徴とを比較しながら、最も特徴に近い言語系列を認識結果として出力する技術である。このような技術では、音声の音響的な特徴と言語的な特徴を分離して扱うことが多い。音響的な特徴とは、認識対象の音素がそれぞれどのような周波数特性を持っているかを表したもので、音響モデルと呼ばれる。音響モデルの表現としては、混合正規分布(以下GMMと記す)を出力確率とした隠れマルコフモデル(以下HMMと記す)が広く用いられている。
【０００３】
ここで、雑音環境下における音声認識を考える。雑音環境下において、入力信号と音響モデルとの間にミスマッチが生じる。このミスマッチが認識性能の劣化を招く。しかし、実運用で想定される雑音環境下で収録したデータを学習データとすれば、入力信号と音響モデルとの間のミスマッチを減らすことができ、雑音環境においても高い認識性能を実現できる。なお、この方法では、同じ環境雑音を含む学習データと入力信号の双方に対して雑音抑圧法を用いることでSN比を高くすることができる。特に、識別能力を低下させてしまうような低SN比のデータを扱う場合に効果がある。しかし、学習データから音響モデルを作成するには多大な計算量を必要とするため、周囲の雑音が変化する環境においては、入力信号と音響モデルの間のミスマッチの制御が間に合わない。
【０００４】
これに対して、雑音の変化に追従することを目的として、より少ないデータ量、少ない計算時間で、雑音に適応した音響モデルを作る方法、モデル適応法がある。これは、雑音のないクリーンな音声信号と雑音、入力信号の関係を数式で書き下すことで、クリーンモデル(雑音のないクリーンな環境で収録された音声信号を学習データとして学習した音響モデルとして以下、クリーンモデルと記す)から、雑音モデル(雑音を含む入力データにマッチした音響モデルとして以下雑音モデルと記す)に変換する。しかし、モデル適応法では、雑音抑圧モデル(雑音抑圧法によって得られる雑音抑圧信号にマッチした音響モデルとして、以下、雑音抑圧モデルと記す)を生成することは難しい。これは、クリーンな音声信号と雑音抑圧法における抑圧誤差と雑音抑圧信号の間の関係を数式によって書き下すことが難しいことによる。
【０００５】
これに対して、特許文献１や非特許文献１には、周囲の雑音の変化に追従しつつ雑音抑圧モデルを作成する方式が記されている。例えば、特許文献１の方法は、雑音パワースペクトルから平均雑音パワースペクトルを減算して、消し残りパワースペクトルを算出し、雑音モデルを消し残りのパワースペクトルから、消し残り雑音モデルを学習する。そして、この消し残り雑音モデルとクリーンモデルと合成する方法が紹介されている。
【０００６】
また、非特許文献１では、入力信号のそれぞれのフレームの特徴量に適した抑圧誤差の分散を計算し、尤度計算の際にこれらの抑圧誤差の分散をクリーンモデルの分散に反映させる方法が紹介されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０‐９７２７８号公報
【非特許文献】
【０００８】
【非特許文献１】Li Deng, Droppo, J, Acero, A, Dynamic compensation of HMM variancesusing the feature enhancement uncertainty computed from parametric model ofspeech distortion.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１の技術は、無音区間から得られる抑圧誤差から雑音モデルを作成し、クリーンモデルとHMM合成している。しかし、雑音抑圧信号の無音区間で学習されたガウシアンがHMMに加わるだけで発話に対応するガウシアンはクリーンのままである。従って、厳密には、雑音抑圧信号にマッチした音響モデルを作れていない。一方、非特許文献１では、限られた雑音抑圧方式で作成された雑音抑圧信号にマッチした音響モデルしか作ることができない。
【００１０】
そこで、本発明が解決しようとする課題は、上記問題点を解決することであり、任意の雑音抑圧方式で作成された雑音抑圧信号にマッチした音響モデルを作る技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するための本発明は、音響モデル作成装置であって、雑音の無い環境で収録され、さらにアライメント情報を有する音声であるクリーン信号に、雑音信号を付加して雑音付加信号を作成する雑音付加信号作成手段と、前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成する雑音抑圧手段と、前記作成した雑音抑圧信号と前記アライメント情報より計算したＧＭＭを、前記クリーン信号で学習した音響モデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成する雑音抑圧モデル作成手段と、を有することを特徴とする。
【００１２】
上記課題を解決するための本発明は、音響モデル作成方法であって、雑音の無い環境で収録され、さらにアライメント情報を有する音声であるクリーン信号に、雑音信号を付加して雑音付加信号を作成する雑音付加信号作成ステップと、前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成する雑音抑圧ステップと、前記作成した雑音抑圧信号と前記アライメント情報より計算したＧＭＭを、前記クリーン信号で学習した音響モデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成する雑音抑圧モデル作成ステップと、を有することを特徴とする。
【００１３】
上記課題を解決するための本発明は、音響モデル作成システムであって、雑音の無い環境で収録され、さらにアライメント情報を有する音声であるクリーン信号に、雑音信号を付加して雑音付加信号を作成する雑音付加信号作成手段と、前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成する雑音抑圧手段と、前記作成した雑音抑圧信号と前記アライメント情報より計算したＧＭＭを、前記クリーン信号で学習した音響モデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成する雑音抑圧モデル作成手段と、を有することを特徴とする。
【発明の効果】
【００１４】
本発明によると、任意の雑音抑圧方式によって得られる雑音抑圧信号にマッチした音響モデルを作成することが可能であることである。そして、雑音信号を学習データとしてモデル学習するよりも高速で作成することが可能であることである。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態の音響モデル生成システムのブロック図である。
【図２】第１の実施の形態のフロー図である。
【図３】第２の実施の形態の音響モデル生成システムのブロック図である。
【図４】第２の実施の形態のフロー図である。
【図５】第３の実施の形態の音響モデル生成システムのブロック図である。
【図６】第４の実施の形態の音響モデル生成システムのブロック図である。
【図７】第４の実施の形態のフロー図である。
【発明を実施するための形態】
【００１６】
本発明の特徴を説明するために、以下において、図面を参照して具体的に述べる。
〈第一の実施の形態〉
第一の実施の形態を、図１を参照して説明する。図１は本実施の形態における音響モデル生成システムのブロック図である。以下、第一の実施の形態における音響モデル適応装置１００が備える各構成要素、及び、音響モデル適応装置を動作させるために必要な要素について説明する。
【００１７】
本願の音響モデル生成システムは、音響モデル適応装置１００、クリーンモデル格納部００１、雑音抑圧モデル格納部００２、クリーン信号格納部００３、及び雑音信号格納部００４を有する。
【００１８】
音響モデル適応装置１００は、雑音付加信号作成部１０１、雑音抑圧部１０２、及び雑音モデル作成部１０３を有する。
【００１９】
雑音付加信号作成部１０１は、クリーン信号格納部００３のクリーン信号と雑音信号格納部００４の雑音信号とを入力とし、雑音付加信号を出力とする。雑音付加信号はクリーン信号と雑音信号とを足すことで作成される。
【００２０】
雑音抑圧部１０２は、雑音付加信号作成部１０１で作成された雑音付加信号を入力とし、雑音抑圧信号を出力する。雑音抑圧信号は、雑音付加信号を、雑音抑圧法によって雑音を抑圧することで作成される。尚、ここで用いられる雑音抑圧法は、特定な技術ではなく、いかなる技術であってもよい。
【００２１】
雑音抑圧信号ＨＭＭ作成部１０３は、雑音抑圧部１０２で作成された雑音抑圧信号と、クリーンモデル格納部００３のクリーンモデルと、クリーン信号のアライメント情報を入力とし、雑音抑圧モデルを出力する。雑音抑圧モデルは、雑音抑圧信号とアライメント情報を元にクリーンモデルのガウシアンを雑音抑圧信号に適応することで作成される。クリーン信号のアライメント情報とは、ある時刻での信号が、クリーンモデルのどのHMMのどの状態に由来するかを示す情報である。
【００２２】
クリーンモデル格納部００１には、クリーンな環境で収録したクリーン信号で学習したクリーンモデルが格納されている。なお、ここで格納されているクリーンモデルの各ＨＭＭの各状態におけるＧＭＭの各ガウシアンの平均と分散とを、
平均(μh,s,k, Δμh,s,k, ΔΔμh,s,k)、分散(Σh,s,k, ΔΣh,s,k, ΔΔΣh,s,k)
と表現する。平均と分散とは、音声の特徴量(メルケプストラムとその一次、二次動的成分)で計算されるため、平均は３９次元のベクトル、分散は３９×３９次元の対角行列の対角成分で作るベクトルとして格納される。Δ、ΔΔはそれぞれ一次、二次動的成分を示す。添え字である、ｈはＨＭＭ番号を示し、ｓは状態番号を示し、ｋはガウシアン番号を示す。そして、それぞれ、Ｈ個、Ｓ個、Ｋ個あるとする。
【００２３】
雑音抑圧モデル格納部００２には、雑音抑圧モデル作成部１０３で出力される雑音抑圧モデルが格納されている。なお、ここで格納されているクリーンモデルの各ＨＭＭの各状態におけるＧＭＭの各ガウシアンの平均と分散を、
と表現する。平均と分散とは、音声の特徴量(メルケプストラムとその一次、二次動的成分)で計算されるため、平均は３９次元のベクトル、分散は３９×３９次元の対角行列の対角成分で作るベクトルとして格納される。
【００２４】
クリーン信号格納部００３には、クリーン信号と、クリーン信号のアライメント情報とが格納されている。なお、クリーン信号のアライメント情報は、予め、クリーンモデル格納部００１のクリーンモデルを用いて、これらのクリーン信号を認識したときの認識結果としてもよい。クリーン信号のアライメント情報は、信号が、ある時刻においてクリーンモデルのどのＨＭＭのどの状態に由来するかを示す情報である。なお、ここで格納されるクリーン信号は、全I個とし、１個のクリーン信号には１発声から数発声が収録されているとする。これらのクリーン信号を以下、xi(t),i=0, …I−1t.=0, …, Nxi-1と表現する。iは、I個のクリーン信号の番号を示し、tはサンプル番号を示し、i番目のクリーン信号のサンプル数をNxiとする。クリーン信号のアライメント情報はクリーン信号と同じ数だけ存在し、li(τ),i=0…,I-1.τ=0,…,N’i,x-1と表現する。li(τ)は(h,s)を値としてもつ。また、τは、サンプル番号を示すが、ここでは、特徴量のサンプル番号を示す。そして、N’i,xは、xi(t)を特徴量変換した後のサンプル数を示す。
【００２５】
雑音信号格納部００４には、雑音信号が格納されている。雑音信号格納部００４に格納される雑音信号は常に更新される。なお、格納される雑音信号は、n(t),t=0,…,Nn-1と表現する。ここでは雑音信号のサンプル数はNnとする。なお、この雑音信号n(t),t=0,…,Nn-1は常に更新されるため、リングバッファに格納しているとする。
【００２６】
図２は本実施の形態における音響モデル適応装置１００の動作の概要を示すフローチャートである。図２を用いて、第一の実施の形態における動作の概要を説明する。
【００２７】
まず、雑音付加信号作成過程（Ｓ１０１）について説明する。
クリーン信号格納部に格納されているI個のクリーン信号xi(t),i=0, …I−1t.=0, …, Nxi-1と、雑音信号格納部００４に格納されている雑音信号n(t),t=0,…,Nn-1を取得し、これらを雑音付加信号作成部１０１に入力する。そして、雑音付加信号作成部１０１から雑音付加信号が出力される。なお、雑音付加信号作成部１０１では、全I個の雑音付加信号が作成され、yi(t),i=0,…,I-1,t=0,…,Nxi-1と表現する。なお、それぞれの雑音付加信号のサンプル数は、クリーン信号のサンプル数と変わらない。
【００２８】
ここで、雑音付加信号yi(t)は、例えば、数１のように計算される。
【数１】
続いて、雑音抑圧過程（Ｓ１０２）について説明する。
【００２９】
雑音付加信号作成部１０１が出力するI個の雑音付加信号yi(t),i=0,…,I-1,t=0,…,Nxi-1を雑音抑圧部１０２に入力する。そして、雑音抑圧部１０２から雑音付加信号が作成され、
と表現する。なお、それぞれの雑音付加信号のサンプル数は、クリーン信号のサンプル数と変わらない。ここでは、例えば、雑音抑圧法には、Wiener Filter法などの方法が考えられる。
【００３０】
次に、雑音抑圧モデル作成過程（Ｓ１０３）について説明する。
【００３１】
雑音抑圧部１０２が出力するI個の雑音抑圧信号
と、クリーンモデル格納部００１に格納されているクリーンモデルと、クリーン信号格納部００３に格納されているクリーン信号のアライメント情報li(τ),i=0…,I-1.τ=0,…,N’i,x-1を雑音抑圧モデル作成部１０３に入力し、雑音抑圧モデルを出力し、雑音抑圧モデル格納部００２に格納する。ここで、雑音抑圧モデルの作成法を述べる。
【００３２】
まず、I個の雑音抑圧信号
を特徴量に変換する。ここで、I個の雑音抑圧信号の特徴量を
と表現する。なお、特徴量のサンプル番号はτで表現し、特徴量変換後のサンプル数はN’xiで表現する。
【００３３】
次に、実際に、クリーンモデル格納部００１に格納されているクリーンモデルの全てのＨＭＭの、全ての状態のＧＭＭを雑音抑圧信号に適応するが、ここでは、h番目のＨＭＭ,S番目の状態についてのGMMの適応法を述べる。まず、アライメント情報li(τ)を参照して、h,sに対応するτを全て選び、これら全てのτに対応した雑音抑圧信号の特徴量
を集める。集められた特徴量の集合を
とし、その元を
とする。集合
の中の全ての
とについて、ＥＭアルゴリズムなどでＧＭＭを作成する。作成したＧＭＭをクリーンモデルのh番目のＨＭＭ, s番目の状態のＧＭＭと換える。クリーンモデルの全てのh,sでＧＭＭを換えて、雑音抑圧信号のモデルを作成する。
【００３４】
上記実施の形態の効果は、任意の雑音抑圧方式によって得られる雑音抑圧信号にマッチした音響モデルを作成することが可能である。そして、雑音信号を学習データとしてモデル学習するよりも高速で作成することが可能である。
【００３５】
〈第二の実施の形態〉
第二の実施の形態を、図３を参照して説明する。以下、第二の実施の形態における音響モデル適応装置２００が備える各構成要素、及び、音響モデル適応装置を動作させるために必要な要素について説明する。第一の実施の形態との違いは、第二の実施の形態ではクリーン信号格納部００３が存在せず、クリーンモデル格納部００１に格納されているＨＭＭのガウシアンの情報を用いて、クリーン信号作成部２０１によってクリーン信号が作られる。これにより、第二の実施の形態の雑音抑圧モデル作成部２０３は第一の実施の形態の抑圧モデル作成部１０３とは異なる。尚、上記実施の形態と同様の構成については同一番号を付して詳細な説明は省略し、ここでは、クリーン信号作成部と、雑音抑圧モデル作成部２０３の説明をする。
【００３６】
クリーン信号作成部２０１は、クリーンモデル格納部００１に格納されているクリーンモデルを入力とし、クリーン信号を出力とする。なお、出力されたクリーン信号には、クリーンモデルのどのＨＭＭのどの状態のどのガウシアンから作られたかの情報が残っているとする。
【００３７】
雑音抑圧モデル作成部２０３は、雑音抑圧部１０２が出力する雑音抑圧信号と、クリーンモデル格納部００１に格納されているクリーンモデルを入力とし、雑音抑圧モデルを出力とする。なお、入力とする雑音抑圧信号にはクリーン信号作成部２０１の出力であるクリーン信号により作成されるが(雑音信号作成部１０１，雑音抑圧部１０２によって作成される)、雑音抑圧信号にも、クリーン信号同様に、クリーンモデルのどのＨＭＭのどの状態のどのガウシアンから作られたかの情報が残っているとする。
【００３８】
図４は、本発明の第二の実施の形態における音響モデル適応装置１００の動作の概要を示すフローチャートである。図４を用いて、第二の実施の形態における動作の概要を説明する。なお、第一の実施の形態のフローチャートとの違いは、クリーン信号作成過程Ｓ２０１が加わったことと、第１の実施の形態の雑音抑圧モデル作成過程Ｓ１０３が雑音抑圧モデル作成過程Ｓ２０３に変わることである。したがって、クリーン信号作成過程Ｓ２０１及び雑音抑圧モデル作成過程Ｓ２０３について説明する。
【００３９】
まず、クリーン信号作成過程Ｓ２０１について説明する。
クリーンモデル格納部００１からH×S×K個のクリーンモデルのガウシアンの平均(μh,s,k, Δμh,s,k, ΔΔμh,s,k)、分散(Σh,s,k, ΔΣh,s,k, ΔΔΣh,s,k)を入力とする。H×S×K個の全てのガウシアンについて、それぞれのガウシアンに従うN個の正規乱数を生成する。ここで作られる乱数を
と記す。ここで上添え字nはN個の正規乱数の番号を示す。なお、Nが大きいと、後により精度の高い強調信号ＨＭＭを作成できるが、大きいと後の計算量に影響を与えるため、ＣＰＵなどの性能を顧慮して決めることが望ましい。次の処理(雑音付加信号作成部１０２)音声波形を入力とするため、一次動的成分、二次動的成分を入力できない。従って、このステップにて、一次動的成分、二次動的成分を静的成分の時系列で表現する。ここで解くべき問題は、Δxnh,s,k, ΔΔxnh,s,kに対応する、xnh,s,kの時系列xn,th,s,kを導出することである。まず、ΔΔxnh,s,kからΔxnh,s,kの時系列ΔΔxn,th,s,kを導出する一例を述べる。ΔΔxt, Δxtが与えられたときに、４つの未知数Δxt-2, Δxt-1, Δxt+1, Δxt+2を解く問題になる。制約付き最適化問題に帰着してこれら４つの未知数を求める。ここで考慮する点は、時間変化が最も小さくなる時系列を見つけることする。つまり、
【数２】
を解けばよい。
【００４０】
次に、xtとΔxt-2, Δxt-1, Δxt+1, Δxt+2が与えられたときに、xt-5, …,
xt-1, xt+1, …, xt+5を導出する。これも、Δxt-2, Δxt+1, Δxt+2を導出した要領と同様な制約付き最適化問題に帰着して解く。
【数３】
以上が、ガウシアンの正規乱数xnh,s,k, Δxnh,s,k,
ΔΔxnh,s,kから、メルケプストラムの時系列
を推定する方法である。この時系列
は一次動的成分xnh,s,k、二次動的成分ΔΔxnh,s,kの情報を持つ。
【００４１】
次にこの時系列
に特徴量逆変換を行い、合成クリーン信号
を作る。このとき、合成クリーン信号の長さはTになるとする。
クリーン信号作成部２０１は、H×S×K個の
を出力する。
【００４２】
雑音抑圧モデル作成過程Ｓ２０３について説明する。
Ｓ１０１及びＳ１０２を通して、H×S×K×N個の合成クリーン信号
は、雑音付加信号作成部１０１、雑音抑圧部１０２により、H×S×K×N個の雑音抑圧信号
になる。
【００４３】
雑音抑圧モデル作成過程Ｓ２０３では、まず、H×S×K×N個の雑音抑圧信号
と、クリーンモデル格納部００１が格納するクリーン音響モデルが雑音抑圧モデル作成部２０３に入力される。次に、H×S×K×N個の雑音抑圧信号
は全て特徴量変換され、雑音抑圧信号の特徴量時系列
が作成される。
【００４４】
時系列
から、静的成分、一次動的成分、二次動的成分
を計算する。そして、
の、(h,s,k)毎にnについて
及び
を計算する。最後にクリーンモデルのh番目の状態番号sのk番目のガウシアンの平均(μh,s,k, Δμh,s,k, ΔΔμh,s,k)、分散(Σh,s,k, ΔΣh,s,k, ΔΔΣh,s,k)を
及び
に書き換えることで、雑音抑圧モデルが作成される。最後に、雑音抑圧モデル格納部００２に雑音抑圧モデルが格納される。
【００４５】
第二の実施の形態によるとは、クリーンモデルに基づいて雑音抑圧モデルが作られることである。また、乱数の個数を任意に選ぶことが可能であることから、計算量を調整することが可能である。
【００４６】
〈第三の実施の形態〉
第三の実施の形態を、図５を参照して説明する。第三の実施の形態は、第二の実施の形態の構成に加えて雑音統計量計算部３０２をさらに備える。尚、上記実施の形態と同様の構成については説明を省略する。
【００４７】
雑音統計量計算部３０２は、雑音信号格納部００４の雑音の統計量(パワーなど)を計算し、雑音の性質を調べる。この性質の雑音から影響を受けやすいガウシアンのみを選び、これらのガウシアンのみ、雑音抑圧信号に適応する。
【００４８】
第三の実施の形態によると、計算量を削減できるという効果が得られる。
【００４９】
〈第四の実施の形態〉
第四の実施の形態を、図６を参照して説明する。以下、第四の実施の形態における音響モデル適応装置４００が備える各構成要素、及び、音響モデル適応装置を動作させるために必要な要素について説明し、上記実施の形態と同様の構成については同一番号を付し、詳細な説明は省略する。
【００５０】
第四の実施の形態では雑音抑圧モデル作成部４０３を有し、第一の実施の形態における雑音抑圧モデル作成部１０３と動作が異なる。
【００５１】
ここでは、第四の実施の形態におけるについて雑音抑圧モデル作成部４０３について説明する。
【００５２】
雑音抑圧モデル作成部４０３は、クリーン信号と、それに対応した雑音抑圧信号と、クリーンモデルを入力とし、雑音抑圧モデルを出力する。クリーンモデルのガウシアンの平均をある基準により複数のクラスに分類し、クラス毎に与えられた平均、分散の変換式でクリーンモデルを雑音抑圧モデルに変換する。クラス毎に与える平均、分散の変換式は、クリーン信号、前記雑音信号に基づいて作られる。
【００５３】
図７は本発明の第四の実施の形態における音響モデル適応装置４００の動作の概要を示すフローチャートである。図７を用いて、第四の実施の形態における動作の概要を説明する。なお、フローチャートとしては、第一の実施の形態におけるフローチャート（図１）と同じであるが、雑音抑圧モデル作成過程の代わりに、雑音抑圧信号ＨＭＭ作成過程ステップ４０３となる。ここでは、雑音抑圧信号HMM作成過程４０３の説明をする。なお、第四の実施の形態の説明をする上で、クリーン信号格納部００３(図６)にはN個の発声のクリーン信号xn(t), n=0, …, N-1が格納されているとし、これら全てを処理に使うとする。
【００５４】
雑音抑圧信号ＨＭＭ作成過程Ｓ４０３について説明する。
まず、図７のステップ１０１、ステップ１０２により、N個のクリーン信号xn(t), n=0, …, N-1から、それぞれ同じ長さのN個の雑音抑圧信号
が生成されたとする。
【００５５】
本ステップでは、N個のクリーン信号xn(t), n=0, …, N-1とN個の雑音抑圧信号
及び、クリーンモデル格納部００１(図６)に格納されているクリーンモデル(ガウシアンの平均(μh,s,k, Δμh,s,k, ΔΔμh,s,k)、分散(Σh,s,k, ΔΣh,s,k, ΔΔΣh,s,k)とする)を入力とする。
【００５６】
クリーンモデルのガウシアンを、N個のクリーン信号xn(t)とN個の雑音抑圧信号
の情報を用いて、雑音抑圧モデルのガウシアン（
)を作成し、雑音抑圧モデル格納部００２に格納する。この雑音抑圧モデルのガウシアンの導出は、クリーンモデルのガウシアンを静的平均μh,s,kの対数メルケプストラム
が、要素P毎にある基準を元に作ったQ個のクラス
のうちどのクラスに属するかを調べ、クラス毎に導出する。クラス作成の基準として、例えば、全ての静的平均対数メルスペクトルの
、
を用いて、
とするなど考えられる。
【００５７】
クリーンモデルのガウシアンから雑音抑圧モデルのガウシアンへの具体的な変換式を導出する。なお、ここでは、ガウシアンの静的平均μh,s,kの対数メルスペクトルの各要素は、
に属するとする。このとき、雑音抑圧モデルのガウシアン（
）は以下のように計算される。
ここで、
は、以下のように、N個のクリーン信号xn(t)とN個の雑音抑圧信号
の対数メルスペクトル
を用いて計算する。なお、τは、N個の波形をn=0, …, N-1の順番に並べてからフレーム処理したときのフレーム番号を示す。pは対数メルスペクトルの要素を示す。すなわちp=1, …, 23である。
また、
のＤＣＴ行列を示し、
でq=(q1, q2, …, q23)を示す。
ただし、
以上が、クリーンモデルのガウシアンから、雑音抑圧モデルのガウシアンへの変換式である。
【００５８】
第四の実施の形態の効果としては、少ない波形データでしかも、アライメント情報を必要としないで、計算量を抑えて、雑音抑圧モデルを作ることができる。
【００５９】
尚、上述した本発明の端末は、上記説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。このような構成の場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した実施の形態と同様の機能、動作を実現させる。尚、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
【００６０】
以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【符号の説明】
【００６１】
００１ クリーンモデル格納部
００２ 雑音抑圧モデル格納部
００３ クリーン信号格納部
００４ 雑音信号格納部
１０１ 雑音付加信号作成部
１０２ 雑音抑圧部
１０３ 雑音抑圧モデル作成部
３０２ 雑音統計量計算部
【特許請求の範囲】
【請求項１】
雑音の無い環境で収録され、さらにアライメント情報を有する音声であるクリーン信号に、雑音信号を付加して雑音付加信号を作成する雑音付加信号作成手段と、
前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成する雑音抑圧手段と、
前記作成した雑音抑圧信号と前記アライメント情報より計算したＧＭＭを、前記クリーン信号で学習した音響モデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成する雑音抑圧モデル作成手段と、
を有することを特徴とする音響モデル作成装置。
【請求項２】
雑音付加信号作成手段は、前記クリーン信号を学習したモデルであるクリーンモデルから生成されたクリーン信号に、前記雑音信号を付加することを特徴とする請求項１に記載の音響モデル作成装置。
【請求項３】
前記クリーンモデルのＨＭＭのガウシアンからクリーン信号を作成するクリーン信号作成手段を有することを特徴とする請求項２に記載の音響モデル作成装置。
【請求項４】
前記クリーン信号作成手段は、計算された雑音信号の統計量を用いて、前記雑音信号から影響を受けやすいガウシアンを選択し、前記選択されたガウシアンを用いてクリーン信号を生成することを特徴とする請求項３に記載の音響モデル作成装置。
【請求項５】
前記雑音抑圧モデル作成手段は、前記クリーンモデルのガウシアンをクラス分けし、クリーン信号と雑音抑圧信号との関係を元に、クラス毎に作った変換式を用いて、雑音抑圧モデルのガウシアンを作成することを特徴とする請求項４に記載の音響モデル適応装置。
【請求項６】
雑音の無い環境で収録され、さらにアライメント情報を有する音声であるクリーン信号に、雑音信号を付加して雑音付加信号を作成する雑音付加信号作成ステップと、
前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成する雑音抑圧ステップと、
前記作成した雑音抑圧信号と前記アライメント情報より計算したＧＭＭを、前記クリーン信号で学習した音響モデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成する雑音抑圧モデル作成ステップと、
を有することを特徴とする音響モデル作成方法。
【請求項７】
雑音の無い環境で収録され、さらにアライメント情報を有する音声であるクリーン信号に、雑音信号を付加して雑音付加信号を作成する雑音付加信号作成手段と、
前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成する雑音抑圧手段と、
前記作成した雑音抑圧信号と前記アライメント情報より計算したＧＭＭを、前記クリーン信号で学習した音響モデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成する雑音抑圧モデル作成手段と、
を有することを特徴とする音響モデル作成システム。
【請求項１】
雑音の無い環境で収録され、さらにアライメント情報を有する音声であるクリーン信号に、雑音信号を付加して雑音付加信号を作成する雑音付加信号作成手段と、
前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成する雑音抑圧手段と、
前記作成した雑音抑圧信号と前記アライメント情報より計算したＧＭＭを、前記クリーン信号で学習した音響モデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成する雑音抑圧モデル作成手段と、
を有することを特徴とする音響モデル作成装置。
【請求項２】
雑音付加信号作成手段は、前記クリーン信号を学習したモデルであるクリーンモデルから生成されたクリーン信号に、前記雑音信号を付加することを特徴とする請求項１に記載の音響モデル作成装置。
【請求項３】
前記クリーンモデルのＨＭＭのガウシアンからクリーン信号を作成するクリーン信号作成手段を有することを特徴とする請求項２に記載の音響モデル作成装置。
【請求項４】
前記クリーン信号作成手段は、計算された雑音信号の統計量を用いて、前記雑音信号から影響を受けやすいガウシアンを選択し、前記選択されたガウシアンを用いてクリーン信号を生成することを特徴とする請求項３に記載の音響モデル作成装置。
【請求項５】
前記雑音抑圧モデル作成手段は、前記クリーンモデルのガウシアンをクラス分けし、クリーン信号と雑音抑圧信号との関係を元に、クラス毎に作った変換式を用いて、雑音抑圧モデルのガウシアンを作成することを特徴とする請求項４に記載の音響モデル適応装置。
【請求項６】
雑音の無い環境で収録され、さらにアライメント情報を有する音声であるクリーン信号に、雑音信号を付加して雑音付加信号を作成する雑音付加信号作成ステップと、
前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成する雑音抑圧ステップと、
前記作成した雑音抑圧信号と前記アライメント情報より計算したＧＭＭを、前記クリーン信号で学習した音響モデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成する雑音抑圧モデル作成ステップと、
を有することを特徴とする音響モデル作成方法。
【請求項７】
雑音の無い環境で収録され、さらにアライメント情報を有する音声であるクリーン信号に、雑音信号を付加して雑音付加信号を作成する雑音付加信号作成手段と、
前記作成された雑音付加信号から雑音を取り除いて雑音抑圧信号を作成する雑音抑圧手段と、
前記作成した雑音抑圧信号と前記アライメント情報より計算したＧＭＭを、前記クリーン信号で学習した音響モデルであるクリーンモデルのＧＭＭと入れ替えることで、雑音抑圧モデルを作成する雑音抑圧モデル作成手段と、
を有することを特徴とする音響モデル作成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−６８８０１（Ｐ２０１３−６８８０１Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０７３６６（Ｐ２０１１−２０７３６６）
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]