音声認識方法、その装置およびプログラム、その記録媒体
【課題】 音声応答装置の音声認識においてガイダンス音（音声）がエコーとして混入しても高い認識率とする。
【解決手段】 システム音声生成部３２からのガイダンス音を用いてスピーカ３１からマイクロホン３４に回り込むエコー信号を、マイクロホン３４よりの入力信号に対し抑圧処理し、更に背景雑音の抑圧処理を行い、その後、残留エコーを抑圧する。エコー及び雑音抑圧された入力信号の特徴ベクトルを抽出し、特徴ベクトルより、入力信号が音声区間か雑音区間かの判定を行い、雑音区間であれば、その特徴ベクトルについて雑音モデルを学習し、雑音モデルとクリーン音声モデルとを合成して雑音重畳音声モデルとする。入力信号が音声区間と判定された特徴ベクトルに対し、雑音重畳音声モデルの尤度を計算し、尤度が最も高いモデルの認識カテゴリを認識結果として出力する。
【解決手段】 システム音声生成部３２からのガイダンス音を用いてスピーカ３１からマイクロホン３４に回り込むエコー信号を、マイクロホン３４よりの入力信号に対し抑圧処理し、更に背景雑音の抑圧処理を行い、その後、残留エコーを抑圧する。エコー及び雑音抑圧された入力信号の特徴ベクトルを抽出し、特徴ベクトルより、入力信号が音声区間か雑音区間かの判定を行い、雑音区間であれば、その特徴ベクトルについて雑音モデルを学習し、雑音モデルとクリーン音声モデルとを合成して雑音重畳音声モデルとする。入力信号が音声区間と判定された特徴ベクトルに対し、雑音重畳音声モデルの尤度を計算し、尤度が最も高いモデルの認識カテゴリを認識結果として出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば音声応答装置のように、マイクロホンに収音された音声信号に対し音声認識を行い、この認識結果に対応した音声合成信号をスピーカから放音する装置に用いられ、マイクロホンからの入力音声信号の特徴ベクトル系列に対して、各認識カテゴリごとの特徴ベクトルからモデル化した確率モデルの尤度を求めて、入力音声信号の認識を行う音声認識方法、その装置およびプログラム、その記録媒体に関する。
【背景技術】
【０００２】
従来の音声認識において、認識結果候補を構成する音素、音節、単語などの音声単位の認識カテゴリ毎に隠れマルコフモデル（Hidden Markov Model、以下ではＨＭＭと記す）などの確率モデルを用いてモデル化する手法は、認識性能が高く、現在の音声認識技術の主流となっている。従来のＨＭＭを用いた音声認識装置を図１を参照して簡単に説明する。入力端子１１から入力された音声信号は、Ａ／Ｄ変換部１２においてディジタル信号に変換される。そのディジタル信号から特徴ベクトル抽出部１３において音声特徴ベクトルを抽出する。予め、認識カテゴリごとに、音声単位について作成したＨＭＭを、モデルメモリ１４から読み出し、尤度計算部１５において、抽出された音声特徴ベクトルに対する各モデルの照合尤度を計算する。最も大きな照合尤度を示すモデルが表現する音声単位（認識カテゴリ）を認識結果とし出力部１６より出力する。なおこの明細書及び図面中で対応する部分は同一参照番号を付けて重複説明は省略する。
【０００３】
背景雑音などの加法性雑音が重畳した音声の認識方法を２つ説明する。その１つ目は、入力音声に重畳した雑音を抑圧した後に認識する方法である。雑音抑圧方法はいろいろと提案されているが、ここではスペクトルサブトラクション法（以下、ＳＳ法と記す）について説明する（例えば非特許文献１参照）。時間領域で加法性の２つの信号は、線形パワースペクトル上でも加法性であることから、ＳＳ法では、雑音重畳音声信号から、推定雑音成分を線形パワースペクトル上で減算して音声成分を抽出する。
【０００４】
ＳＳ法を用いた音声認識装置を図２を参照して簡単に説明する。ディジタル信号とされた入力音声信号は、雑音であるか、雑音重畳音声であるかを音声／雑音判定部２１で判定される。この判定部２１は、その判定が雑音であるならば、音声／雑音スイッチ２２を雑音端子２２ａ側に接続して、Ａ／Ｄ変換部１２の出力側を平均雑音パワースペクトル計算部２３に接続して入力音声信号中の雑音区間における平均パワースペクトルを計算する。判定部２１で認識対象である雑音重畳音声区間であると判定された場合は、音声／雑音スイッチ２２を音声端子２２ｂ側に切り替えて、Ａ／Ｄ変換部１２の出力側を雑音重畳音声パワースペクトル計算部２４に接続し、入力音声信号中の雑音重畳音声のパワースペクトルを計算する。抑圧処理部２５において、各時刻の雑音重畳音声のパワースペクトルから、平均雑音パワースペクトルを減算する。時刻ｔのパワースペクトルの周波数ｆの雑音抑圧後のパワースペクトルＹＤ（ｔ，ｆ）は、以下のように計算される。
【０００５】
Ｄ（Ｙ（ｔ，ｆ））＝Ｙ（ｔ，ｆ）−αＮ＾（ｆ）
ＹＤ（ｔ，ｆ）＝Ｄ（Ｙ（ｔ，ｆ））：Ｄ（Ｙ（ｔ，ｆ））＞βＹ（ｔ，ｆ）の場合
ＹＤ（ｔ，ｆ）＝βＹ（ｔ，ｆ） その他の場合 （１）
ここで、Ｙ（ｔ，ｆ）は、入力雑音重畳音声の時刻ｔ、周波数ｆのパワースペクトル、
Ｎ＾（ｆ）は推定された周波数ｆの時間平均雑音パワースペクトル、
αはサブストラクション係数であり、通常１より大きい。
βはフロアリング係数であり、１より小さい。
【０００６】
抑圧処理部２５から出力されるパワースペクトルから、音声認識の特徴パラメータ（例えば、１２次元のメル周波数・ケプストラム係数（Mel-Frequency Cepstrum Coefficient：ＭＦＣＣ））を特徴ベクトル抽出部１３で計算する。これ以後の処理は、図１で説明した通りである。
２つ目の例としてＨＭＭ合成法による雑音重畳音声の認識について説明する。認識対象音声信号に重畳されていると予想される雑音データを、雑音を含まないクリーンな音声の学習データセットに重畳し、ＨＭＭを作成し、得られたＨＭＭを用いて、雑音重畳音声信号に対し音声認識をすれば高い認識性能が得られる。
【０００７】
しかし、音声認識が利用される周囲環境の雑音は様々であり、予め予想することは難しい。さらに、ＨＭＭを作成するためのクリーン音声学習データセットのデータ量は膨大であり、従って重畳されていると思われる雑音データを重畳して、雑音重畳音声モデルを作成するために例えば、１００時間という長い計算時間がかかる。よって、音声認識が利用される周囲環境の雑音を認識時に収録し、ＨＭＭを作成して利用することは、ＨＭＭ作成に長い処理時間がかかるため現実的ではない。
そこで、例えば特許文献１に示すように、雑音のない大量のクリーン音声学習データセットをもとに予めクリーン音声ＨＭＭを作成しておき、認識時には背景雑音を観測して雑音ＨＭＭを作成し、クリーン音声ＨＭＭと合成する。得られた雑音重畳音声ＨＭＭは、認識時の背景雑音を含む音声モデルの近似であり、これを用いて認識する。雑音モデルの作成、モデルの合成にかかる処理時間は数秒から数十秒である。確率モデルであるＨＭＭを用いるので、音声の変動、雑音の変動を考慮することもできる。
【特許文献１】特許第３２４７７４６号公報
【非特許文献１】Steven F.Boll：“Suppression of Acoustic Noise in Speech Using Spectral Subtraction，”IEEE Transactions on Acoustics,Speech and Signal Processing,Vol.ASSP-27,No.2,pp.113-120,April 1979
【発明の開示】
【発明が解決しようとする課題】
【０００８】
例えば、音声認識方法を利用した人間と機械との音声応答装置においては、装置に設置されたスピーカから、ユーザに対するガイダンスのための音声や音を発することが多い。このような装置構成においては、装置に設置された音声認識用のマイクからは、周囲の背景雑音だけでなく、音声応答装置が自らが発するガイダンス音声も回り込んでエコーとして入力されてしまうことが多く、これも周囲雑音と同様に音声認識装置にとっての雑音となる。これらの雑音は、音声認識性能を劣化させる要因となる。
本発明は、上記に鑑みてなされたもので、その目的とするところは、周囲雑音のみならず、音声応答装置のように音声認識装置と共に用いられる音声合成装置が発する音声や音の回り込みエコーの存在に拘らず、認識性能が高い音声認識方法、その装置、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
この発明はマイクロホンにより音響信号を収音し、スピーカより音響信号を放音する装置における上記マイクロホンにより収音した音声信号を確率モデルを用いて音声認識を行う音声認識方法であって、
マイクロホンよりの入力信号中の、上記スピーカからの放音信号成分（以下エコー信号という）を、上記スピーカへの供給信号を用いて抑圧し、かつ入力信号中の雑音信号成分を抑圧し、これらの抑圧がなされた信号を特徴ベクトル系列に変換し、この特徴ベクトル系列が認識対象の音声信号を含む音声区間か否かを判定し、その判定が音声区間でなければその特徴ベクトル系列を用いて雑音モデルを学習し、その雑音モデルと、雑音がないクリーンな音声データを用いて予め作成されたクリーン音声モデルとを合成して雑音重畳音声モデルを生成し、上記判定が音声区間であればその特徴ベクトル系列と上記雑音重畳音声モデルとを用いて認識カテゴリに対する尤度を計算し、これら計算された尤度に基づき、認識結果を出力する。
【発明の効果】
【００１０】
この発明によれば、マイクロホンよりの入力信号中の雑音信号成分を抑圧するだけでなく、スピーカへの供給信号を用いてエコー信号をも抑圧し、これら両抑圧がなされた信号から雑音モデルを生成し、クリーン音声モデルと合成し、かつエコーおよび雑音抑圧され、Ｓ／Ｎ（信号対雑音比）が改善された雑音重畳音声信号に対し、前記合成モデルを用いて音声認識を行っているため、環境雑音のみならずエコーの影響を受け難く、高い認識率を得ることができる。しかも雑音モデルと、クリーン音声モデルを合成して雑音重畳音声モデルとしているため、雑音重畳音声モデルを短時間で作ることができる。
【発明を実施するための最良の形態】
【００１１】
［第１実施形態］
この発明の第１実施形態機能構成例を図３にその処理手順の例を図４にそれぞれ示す。この発明は例えば音声応答装置における音声認識に適用される。つまりこの音声応答装置の利用者に対し発話を誘導するためのガイダンス音声や利用者の発声を促す“ピッ”という音などのガイダンス音がスピーカ３１から放音される。このガイダンス音声やガイダンス音など（以下システム音声という）を放音するために、出力用システム音声生成部３２でディジタルシステム音声信号が音声合成され、このディジタルシステム音声信号が音声再生部３３でアナログのシステム音声信号に変換されてスピーカ３１へ供給される。
【００１２】
利用者より発声された音声はマイクロホン３４により収音され、その収音された音声信号は、入力端子１１を通じてＡ／Ｄ変換部１２へ入力される。マイクロホン３４には周囲雑音が収音されると共に、スピーカ３１から放音されたシステム音声の回り込みエコーが収音される。つまりマイクロホン３４から入力端子１１へ供給される入力信号は利用者の認識対象音声信号に周囲雑音信号およびエコー信号が重畳されたものである。
第１実施形態ではエコー・雑音抑圧部３５にＡ／Ｄ変換部１２よりのディジタル入力信号および出力用システム音声生成部３２からのディジタルシステム音声信号が入力され、エコー・雑音抑圧部３５で入力信号はこれに重畳している周囲雑音信号とエコー信号とが抑圧される（ステップＳ１）。この例ではエコー部３５ａにおいて、システム音声信号によりまずエコー信号が抑圧される（ステップＳ１ａ）。このエコー抑圧は、例えば電話会議システムやテレビ会議システムなどに利用されている反響消去装置（エコーキャンセラ）の方法を用いることができる。例えばスピーカ３１からマイクロホン３４を通じてエコー部３５ａに到る伝達特性を適応的に推定し、推定した伝達特性をシステム音声信号に対し畳み込み、疑似エコー信号を生成し、この疑似エコー信号を入力信号から差し引いてエコー抑圧された入力信号を得る。
【００１３】
次にこのエコー抑圧された入力信号が雑音部３５ｂに入力されて、入力信号に重畳している周囲（背景）雑音成分が抑圧される（ステップＳ１ｂ）。この雑音抑圧は例えば入力信号中の平均的な最低レベルを背景雑音レベルとみなし、このレベル以下の信号を除去する。
更にこの例ではこのエコー抑圧及び雑音抑圧処理された信号およびディジタルのシステム音声信号が残留エコー部３５ｃに入力され、背景雑音レベル以外のエコー信号など、背景雑音に影響されてエコー部Ｓ１ａにより除去できなかった残留エコー信号が、エコーおよび雑音抑圧された入力信号から除去される（ステップＳ１ｃ）。この残留エコー抑圧も、例えばテレビ会議システムに利用されているものと同様の手法を用いることができる。例えば特許第３４２０７０５号公報、特許第３５０７０２０号公報、特開２００３−２８４１８３号公報に示されているように、入力信号とシステム音声信号とから音響（エコー経路）結合量を求め、これに応じて、エコーおよび雑音抑圧された入力信号に対し抑圧、つまり損失を与えればよい。
【００１４】
エコー・雑音抑圧部３５よりのエコーおよび雑音抑圧処理された入力信号は特徴ベクトル抽出部３６に入力され、特徴ベクトルは確率モデル、この例ではＨＭＭの学習に必要な特徴ベクトル系列に変換される（ステップＳ２）。この特徴ベクトル系列は区間判定部３７に入力され、その特徴ベクトル系列より、現在の入力信号が雑音信号成分のみ、つまり周囲雑音信号又はこれとエコー信号のみの雑音区間であるか、あるいは雑音信号成分と音声信号とが重畳された雑音重畳音声信号の音声区間のいずれであるかの判定がなされる（ステップＳ３）。
【００１５】
区間判定部３７より判定結果出力が音声／雑音スイッチ３８に入力され、判定結果出力が雑音区間に対するものであれば、スイッチ３８は端子３８Ｎ側に切り替えられ、特徴ベクトル抽出部３６よりの特徴ベクトル系列が雑音モデル学習部３９へ入力される。雑音モデル学習部３９は入力された特徴ベクトルの複数の分析フレーム分を学習して雑音ＨＭＭが生成される（ステップＳ４）。この雑音ＨＭＭはエコーおよび雑音抑圧処理された周囲雑音信号又はこれとエコー信号と対応している。
クリーン音声モデルメモリ４１には、雑音がないクリーンな多数の音声データを基に、認識する音声単位で各認識カテゴリごとに学習されたクリーン音声ＨＭＭが格納されている。このクリーン音声ＨＭＭと雑音ＨＭＭがモデル合成部４２に入力され、これらＨＭＭが合成され、雑音重畳音声ＨＭＭとして、雑音重畳音声モデルメモリ４３に格納される（ステップＳ５）。
【００１６】
区間判定部３２よりの判定結果出力が音声区間に対するものであれば、音声／雑音スイッチ３８は端子３８Ｓ側に切り替えられ、特徴ベクトル抽出部３６よりの、エコーおよび雑音抑圧処理された雑音重畳音声信号の特徴ベクトル系列は尤度計算部４４に入力される。尤度計算部４４は、入力された特徴ベクトル系列に対する雑音重畳音声モデルメモリ４３内の各雑音重畳音声モデルの尤度を計算する（ステップＳ６）。各認識カテゴリについて計算された尤度が出力部１６へ入力され、入力された尤度中の最大のモデルの認識カテゴリが認識結果として出力される（ステップＳ７）。
【００１７】
雑音ＨＭＭの生成は、音声応答装置を動作させるための準備期間（アドリング中）に、システム音声を放音させて行ってもよいし、利用者が発声する前の区間に行ってもよい。後者においては、利用者の発声ごとの各直前に常に行うようにしてもよく、この場合は、モデル合成部４３で合成された雑音重畳音声モデルにより、雑音重畳音声モデルメモリ４３内の雑音重畳音声モデルが更新される（ステップＳ５）。このようにすると、利用者の音声応答装置に対する位置が変化してもＳ／Ｎ（信号対雑音比）の影響が少なく、かつ、エコー経路の推定により良好になり、認識率が向上する。
【００１８】
以上のようにこの第１実施形態によれば、エコー・雑音抑圧部３５により、エコー信号が抑圧され、しかも雑音区間においてエコーおよび雑音抑圧された入力信号の特徴ベクトル系列から雑音モデルを生成し、かつ音声区間においてエコーおよび雑音抑圧され、Ｓ／Ｎ（信号対雑音比）が改善された雑音重畳音声信号の特徴ベクトル系列に対し雑音重畳音声ＨＭＭの尤度を計算しているため、雑音モデルを学習しているため、予め使用される環境の雑音を予測して生成することなく、常にその場所での周囲（背景）雑音と対応した雑音モデルが生成でき、また周囲雑音の状態が変化してもこれに応じた雑音モデルが得られ、認識率が向上する。更に雑音モデルとクリーン音声モデルとを合成して雑音重畳音声モデルを生成しているため処理時間が短かい。
【００１９】
［第２実施形態］
この発明の第２実施形態の機能構成例を図５に、処理手順例を図６にそれぞれ示す。第１実施形態と異なる点を説明する。
特徴ベクトル抽出部３６よりの特徴ベクトル系列は区間判定部５１に入力され、この区間判定部５１には、出力用システム音声生成部３２からシステム音声を放音中であるか否かを示すエコー有無信号も入力される。区間判定部５１は入力された特徴ベクトル系列およびエコー有無信号により現在の入力信号が周囲（背景）雑音信号のみの雑音区間または周囲（背景）雑音信号およびエコー信号を含む雑音・エコー区間かあるいは周囲雑音信号もしくはこれとエコー信号とが重畳された雑音重畳音声信号の音声区間のいずれであるかが判定される。例えばステップＳ２の後、区間判定結果が音声区間であるか否かが判定され（ステップＳ１１）、音声区間でなければ雑音区間か否かが判定される（ステップＳ１２）。
【００２０】
雑音区間と判定された判定結果出力によりスイッチ５２が端子５２Ｓに切り替えられ、特徴ベクトル抽出部３６よりの特徴ベクトル系列が雑音モデル学習部５３に入力され、雑音モデル学習部５３は入力された特徴ベクトル系列に基づき雑音およびエコー抑圧処理された周囲雑音信号と対応する雑音ＨＭＭを学習する（ステップＳ１３）。
雑音・エコー区間と判定された判定結果出力によりスイッチ５２が端子５２Ｅに切り替えられ、特徴ベクトル抽出部３６よりの特徴ベクトル系列が雑音・エコーモデル学習部５４に入力され、雑音・エコー学習部５４は入力された特徴ベクトル系列に基づき雑音およびエコー抑圧処理された周囲雑音信号とエコー信号の重畳信号と対応する雑音・エコーＨＭＭを学習する（ステップＳ１４）。
【００２１】
雑音モデル学習部５３よりの雑音ＨＭＭと、雑音・エコーモデル学習部５４よりの雑音・エコーモデルとがモデル合成部５５に入力され、これらとクリーン音声モデルメモリ４１よりのクリーン音声ＨＭＭとがそれぞれ合成されて雑音重畳音声ＨＭＭが生成され、雑音重畳音声モデルメモリ４３へ格納され、またはその記憶内容の更新が行われる（ステップＳ１５）。
音声区間と判定された判定結果出力によりスイッチ５２が端子５２Ｓに切り替えられ、特徴ベクトル抽出部３６からの特徴ベクトル系列が尤度計算部４４へ入力される。その他は第１実施形態と同一である。
【００２２】
この構成によれば、利用者がシステム音声が放音されていない状態で発声した場合は、雑音ＨＭＭとクリーン音声ＨＭＭとを合成した雑音重畳音声ＨＭＭを用いた尤度が高くなり、利用者がシステム音声が放音されている状態で発声した場合は、雑音・エコーＨＭＭとクリーン音声ＨＭＭとを合成した雑音重畳音声ＨＭＭを用いた尤度が高くなり、入力信号と認識用のモデルとがより合致するため、より高い認識率が得られる。
［変形例］
第１実施形態および第２実施形態では入力信号をエコー抑圧処理した後、雑音抑圧処理を行い、更に残留エコー抑圧処理を行ったが、図３〜図６中に破線で示すように、残留エコー抑圧は省略してもよい。この場合はこれら図中に括弧書きで示すように、雑音抑圧処理を先に行い、その後、エコー抑圧処理を行ってもよい。
【００２３】
雑音抑圧法としては、例えば特許第３３０９８９５号公報、特許第３４５４４０２号公報、特許第３４５９３６３号公報などに示すように、入力信号を周波数領域信号に変換し、複数の周波数帯域に分割し、これら分割された周波数帯域ごとに雑音成分を推定しながら入力信号の対応周波数帯域の信号に対し雑音抑圧を行うようにしてもよい。このようにすれば、ある帯域について認識対象音声信号を必要以上に抑圧したり、逆に雑音抑圧が不十分であったりするおそれが少なくなり、Ｓ／Ｎが改善され、それだけ高い認識率が得られることになる。
【００２４】
エコー抑圧法および残留エコー抑圧法も周波数領域に変換して行うとより有効である。またモデルとしてはＨＭＭに限らず他の確率モデルでもよい。
図３及び図５に示した装置をコンピュータにより機能させてもよい。この場合は図４又は図６に示した処理手順の各過程をコンピュータに実行させるための音声認識プログラムを、コンピュータにＣＤ−ＲＯＭ、磁気ディスク装置、半導体記憶装置などの記録媒体からインストールし、あるいは通信回線を介してダウンロードして、このプログラムをコンピュータに実行させればよい。
【図面の簡単な説明】
【００２５】
【図１】従来の音声認識装置の機能構成を示すブロック図。
【図２】従来のスペクトルサブトラクション法を用いた音声認識装置の機能構成を示すブロック図。
【図３】この発明装置の第１実施形態の機能構成例を示すブロック図。
【図４】この発明方法の第１実施形態の処理手順例を示す流れ図。
【図５】この発明装置の第２実施形態の機能構成例を示すブロック図。
【図６】この発明方法の第２実施形態の処理手順例を示す流れ図。
【技術分野】
【０００１】
この発明は、例えば音声応答装置のように、マイクロホンに収音された音声信号に対し音声認識を行い、この認識結果に対応した音声合成信号をスピーカから放音する装置に用いられ、マイクロホンからの入力音声信号の特徴ベクトル系列に対して、各認識カテゴリごとの特徴ベクトルからモデル化した確率モデルの尤度を求めて、入力音声信号の認識を行う音声認識方法、その装置およびプログラム、その記録媒体に関する。
【背景技術】
【０００２】
従来の音声認識において、認識結果候補を構成する音素、音節、単語などの音声単位の認識カテゴリ毎に隠れマルコフモデル（Hidden Markov Model、以下ではＨＭＭと記す）などの確率モデルを用いてモデル化する手法は、認識性能が高く、現在の音声認識技術の主流となっている。従来のＨＭＭを用いた音声認識装置を図１を参照して簡単に説明する。入力端子１１から入力された音声信号は、Ａ／Ｄ変換部１２においてディジタル信号に変換される。そのディジタル信号から特徴ベクトル抽出部１３において音声特徴ベクトルを抽出する。予め、認識カテゴリごとに、音声単位について作成したＨＭＭを、モデルメモリ１４から読み出し、尤度計算部１５において、抽出された音声特徴ベクトルに対する各モデルの照合尤度を計算する。最も大きな照合尤度を示すモデルが表現する音声単位（認識カテゴリ）を認識結果とし出力部１６より出力する。なおこの明細書及び図面中で対応する部分は同一参照番号を付けて重複説明は省略する。
【０００３】
背景雑音などの加法性雑音が重畳した音声の認識方法を２つ説明する。その１つ目は、入力音声に重畳した雑音を抑圧した後に認識する方法である。雑音抑圧方法はいろいろと提案されているが、ここではスペクトルサブトラクション法（以下、ＳＳ法と記す）について説明する（例えば非特許文献１参照）。時間領域で加法性の２つの信号は、線形パワースペクトル上でも加法性であることから、ＳＳ法では、雑音重畳音声信号から、推定雑音成分を線形パワースペクトル上で減算して音声成分を抽出する。
【０００４】
ＳＳ法を用いた音声認識装置を図２を参照して簡単に説明する。ディジタル信号とされた入力音声信号は、雑音であるか、雑音重畳音声であるかを音声／雑音判定部２１で判定される。この判定部２１は、その判定が雑音であるならば、音声／雑音スイッチ２２を雑音端子２２ａ側に接続して、Ａ／Ｄ変換部１２の出力側を平均雑音パワースペクトル計算部２３に接続して入力音声信号中の雑音区間における平均パワースペクトルを計算する。判定部２１で認識対象である雑音重畳音声区間であると判定された場合は、音声／雑音スイッチ２２を音声端子２２ｂ側に切り替えて、Ａ／Ｄ変換部１２の出力側を雑音重畳音声パワースペクトル計算部２４に接続し、入力音声信号中の雑音重畳音声のパワースペクトルを計算する。抑圧処理部２５において、各時刻の雑音重畳音声のパワースペクトルから、平均雑音パワースペクトルを減算する。時刻ｔのパワースペクトルの周波数ｆの雑音抑圧後のパワースペクトルＹＤ（ｔ，ｆ）は、以下のように計算される。
【０００５】
Ｄ（Ｙ（ｔ，ｆ））＝Ｙ（ｔ，ｆ）−αＮ＾（ｆ）
ＹＤ（ｔ，ｆ）＝Ｄ（Ｙ（ｔ，ｆ））：Ｄ（Ｙ（ｔ，ｆ））＞βＹ（ｔ，ｆ）の場合
ＹＤ（ｔ，ｆ）＝βＹ（ｔ，ｆ） その他の場合 （１）
ここで、Ｙ（ｔ，ｆ）は、入力雑音重畳音声の時刻ｔ、周波数ｆのパワースペクトル、
Ｎ＾（ｆ）は推定された周波数ｆの時間平均雑音パワースペクトル、
αはサブストラクション係数であり、通常１より大きい。
βはフロアリング係数であり、１より小さい。
【０００６】
抑圧処理部２５から出力されるパワースペクトルから、音声認識の特徴パラメータ（例えば、１２次元のメル周波数・ケプストラム係数（Mel-Frequency Cepstrum Coefficient：ＭＦＣＣ））を特徴ベクトル抽出部１３で計算する。これ以後の処理は、図１で説明した通りである。
２つ目の例としてＨＭＭ合成法による雑音重畳音声の認識について説明する。認識対象音声信号に重畳されていると予想される雑音データを、雑音を含まないクリーンな音声の学習データセットに重畳し、ＨＭＭを作成し、得られたＨＭＭを用いて、雑音重畳音声信号に対し音声認識をすれば高い認識性能が得られる。
【０００７】
しかし、音声認識が利用される周囲環境の雑音は様々であり、予め予想することは難しい。さらに、ＨＭＭを作成するためのクリーン音声学習データセットのデータ量は膨大であり、従って重畳されていると思われる雑音データを重畳して、雑音重畳音声モデルを作成するために例えば、１００時間という長い計算時間がかかる。よって、音声認識が利用される周囲環境の雑音を認識時に収録し、ＨＭＭを作成して利用することは、ＨＭＭ作成に長い処理時間がかかるため現実的ではない。
そこで、例えば特許文献１に示すように、雑音のない大量のクリーン音声学習データセットをもとに予めクリーン音声ＨＭＭを作成しておき、認識時には背景雑音を観測して雑音ＨＭＭを作成し、クリーン音声ＨＭＭと合成する。得られた雑音重畳音声ＨＭＭは、認識時の背景雑音を含む音声モデルの近似であり、これを用いて認識する。雑音モデルの作成、モデルの合成にかかる処理時間は数秒から数十秒である。確率モデルであるＨＭＭを用いるので、音声の変動、雑音の変動を考慮することもできる。
【特許文献１】特許第３２４７７４６号公報
【非特許文献１】Steven F.Boll：“Suppression of Acoustic Noise in Speech Using Spectral Subtraction，”IEEE Transactions on Acoustics,Speech and Signal Processing,Vol.ASSP-27,No.2,pp.113-120,April 1979
【発明の開示】
【発明が解決しようとする課題】
【０００８】
例えば、音声認識方法を利用した人間と機械との音声応答装置においては、装置に設置されたスピーカから、ユーザに対するガイダンスのための音声や音を発することが多い。このような装置構成においては、装置に設置された音声認識用のマイクからは、周囲の背景雑音だけでなく、音声応答装置が自らが発するガイダンス音声も回り込んでエコーとして入力されてしまうことが多く、これも周囲雑音と同様に音声認識装置にとっての雑音となる。これらの雑音は、音声認識性能を劣化させる要因となる。
本発明は、上記に鑑みてなされたもので、その目的とするところは、周囲雑音のみならず、音声応答装置のように音声認識装置と共に用いられる音声合成装置が発する音声や音の回り込みエコーの存在に拘らず、認識性能が高い音声認識方法、その装置、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
この発明はマイクロホンにより音響信号を収音し、スピーカより音響信号を放音する装置における上記マイクロホンにより収音した音声信号を確率モデルを用いて音声認識を行う音声認識方法であって、
マイクロホンよりの入力信号中の、上記スピーカからの放音信号成分（以下エコー信号という）を、上記スピーカへの供給信号を用いて抑圧し、かつ入力信号中の雑音信号成分を抑圧し、これらの抑圧がなされた信号を特徴ベクトル系列に変換し、この特徴ベクトル系列が認識対象の音声信号を含む音声区間か否かを判定し、その判定が音声区間でなければその特徴ベクトル系列を用いて雑音モデルを学習し、その雑音モデルと、雑音がないクリーンな音声データを用いて予め作成されたクリーン音声モデルとを合成して雑音重畳音声モデルを生成し、上記判定が音声区間であればその特徴ベクトル系列と上記雑音重畳音声モデルとを用いて認識カテゴリに対する尤度を計算し、これら計算された尤度に基づき、認識結果を出力する。
【発明の効果】
【００１０】
この発明によれば、マイクロホンよりの入力信号中の雑音信号成分を抑圧するだけでなく、スピーカへの供給信号を用いてエコー信号をも抑圧し、これら両抑圧がなされた信号から雑音モデルを生成し、クリーン音声モデルと合成し、かつエコーおよび雑音抑圧され、Ｓ／Ｎ（信号対雑音比）が改善された雑音重畳音声信号に対し、前記合成モデルを用いて音声認識を行っているため、環境雑音のみならずエコーの影響を受け難く、高い認識率を得ることができる。しかも雑音モデルと、クリーン音声モデルを合成して雑音重畳音声モデルとしているため、雑音重畳音声モデルを短時間で作ることができる。
【発明を実施するための最良の形態】
【００１１】
［第１実施形態］
この発明の第１実施形態機能構成例を図３にその処理手順の例を図４にそれぞれ示す。この発明は例えば音声応答装置における音声認識に適用される。つまりこの音声応答装置の利用者に対し発話を誘導するためのガイダンス音声や利用者の発声を促す“ピッ”という音などのガイダンス音がスピーカ３１から放音される。このガイダンス音声やガイダンス音など（以下システム音声という）を放音するために、出力用システム音声生成部３２でディジタルシステム音声信号が音声合成され、このディジタルシステム音声信号が音声再生部３３でアナログのシステム音声信号に変換されてスピーカ３１へ供給される。
【００１２】
利用者より発声された音声はマイクロホン３４により収音され、その収音された音声信号は、入力端子１１を通じてＡ／Ｄ変換部１２へ入力される。マイクロホン３４には周囲雑音が収音されると共に、スピーカ３１から放音されたシステム音声の回り込みエコーが収音される。つまりマイクロホン３４から入力端子１１へ供給される入力信号は利用者の認識対象音声信号に周囲雑音信号およびエコー信号が重畳されたものである。
第１実施形態ではエコー・雑音抑圧部３５にＡ／Ｄ変換部１２よりのディジタル入力信号および出力用システム音声生成部３２からのディジタルシステム音声信号が入力され、エコー・雑音抑圧部３５で入力信号はこれに重畳している周囲雑音信号とエコー信号とが抑圧される（ステップＳ１）。この例ではエコー部３５ａにおいて、システム音声信号によりまずエコー信号が抑圧される（ステップＳ１ａ）。このエコー抑圧は、例えば電話会議システムやテレビ会議システムなどに利用されている反響消去装置（エコーキャンセラ）の方法を用いることができる。例えばスピーカ３１からマイクロホン３４を通じてエコー部３５ａに到る伝達特性を適応的に推定し、推定した伝達特性をシステム音声信号に対し畳み込み、疑似エコー信号を生成し、この疑似エコー信号を入力信号から差し引いてエコー抑圧された入力信号を得る。
【００１３】
次にこのエコー抑圧された入力信号が雑音部３５ｂに入力されて、入力信号に重畳している周囲（背景）雑音成分が抑圧される（ステップＳ１ｂ）。この雑音抑圧は例えば入力信号中の平均的な最低レベルを背景雑音レベルとみなし、このレベル以下の信号を除去する。
更にこの例ではこのエコー抑圧及び雑音抑圧処理された信号およびディジタルのシステム音声信号が残留エコー部３５ｃに入力され、背景雑音レベル以外のエコー信号など、背景雑音に影響されてエコー部Ｓ１ａにより除去できなかった残留エコー信号が、エコーおよび雑音抑圧された入力信号から除去される（ステップＳ１ｃ）。この残留エコー抑圧も、例えばテレビ会議システムに利用されているものと同様の手法を用いることができる。例えば特許第３４２０７０５号公報、特許第３５０７０２０号公報、特開２００３−２８４１８３号公報に示されているように、入力信号とシステム音声信号とから音響（エコー経路）結合量を求め、これに応じて、エコーおよび雑音抑圧された入力信号に対し抑圧、つまり損失を与えればよい。
【００１４】
エコー・雑音抑圧部３５よりのエコーおよび雑音抑圧処理された入力信号は特徴ベクトル抽出部３６に入力され、特徴ベクトルは確率モデル、この例ではＨＭＭの学習に必要な特徴ベクトル系列に変換される（ステップＳ２）。この特徴ベクトル系列は区間判定部３７に入力され、その特徴ベクトル系列より、現在の入力信号が雑音信号成分のみ、つまり周囲雑音信号又はこれとエコー信号のみの雑音区間であるか、あるいは雑音信号成分と音声信号とが重畳された雑音重畳音声信号の音声区間のいずれであるかの判定がなされる（ステップＳ３）。
【００１５】
区間判定部３７より判定結果出力が音声／雑音スイッチ３８に入力され、判定結果出力が雑音区間に対するものであれば、スイッチ３８は端子３８Ｎ側に切り替えられ、特徴ベクトル抽出部３６よりの特徴ベクトル系列が雑音モデル学習部３９へ入力される。雑音モデル学習部３９は入力された特徴ベクトルの複数の分析フレーム分を学習して雑音ＨＭＭが生成される（ステップＳ４）。この雑音ＨＭＭはエコーおよび雑音抑圧処理された周囲雑音信号又はこれとエコー信号と対応している。
クリーン音声モデルメモリ４１には、雑音がないクリーンな多数の音声データを基に、認識する音声単位で各認識カテゴリごとに学習されたクリーン音声ＨＭＭが格納されている。このクリーン音声ＨＭＭと雑音ＨＭＭがモデル合成部４２に入力され、これらＨＭＭが合成され、雑音重畳音声ＨＭＭとして、雑音重畳音声モデルメモリ４３に格納される（ステップＳ５）。
【００１６】
区間判定部３２よりの判定結果出力が音声区間に対するものであれば、音声／雑音スイッチ３８は端子３８Ｓ側に切り替えられ、特徴ベクトル抽出部３６よりの、エコーおよび雑音抑圧処理された雑音重畳音声信号の特徴ベクトル系列は尤度計算部４４に入力される。尤度計算部４４は、入力された特徴ベクトル系列に対する雑音重畳音声モデルメモリ４３内の各雑音重畳音声モデルの尤度を計算する（ステップＳ６）。各認識カテゴリについて計算された尤度が出力部１６へ入力され、入力された尤度中の最大のモデルの認識カテゴリが認識結果として出力される（ステップＳ７）。
【００１７】
雑音ＨＭＭの生成は、音声応答装置を動作させるための準備期間（アドリング中）に、システム音声を放音させて行ってもよいし、利用者が発声する前の区間に行ってもよい。後者においては、利用者の発声ごとの各直前に常に行うようにしてもよく、この場合は、モデル合成部４３で合成された雑音重畳音声モデルにより、雑音重畳音声モデルメモリ４３内の雑音重畳音声モデルが更新される（ステップＳ５）。このようにすると、利用者の音声応答装置に対する位置が変化してもＳ／Ｎ（信号対雑音比）の影響が少なく、かつ、エコー経路の推定により良好になり、認識率が向上する。
【００１８】
以上のようにこの第１実施形態によれば、エコー・雑音抑圧部３５により、エコー信号が抑圧され、しかも雑音区間においてエコーおよび雑音抑圧された入力信号の特徴ベクトル系列から雑音モデルを生成し、かつ音声区間においてエコーおよび雑音抑圧され、Ｓ／Ｎ（信号対雑音比）が改善された雑音重畳音声信号の特徴ベクトル系列に対し雑音重畳音声ＨＭＭの尤度を計算しているため、雑音モデルを学習しているため、予め使用される環境の雑音を予測して生成することなく、常にその場所での周囲（背景）雑音と対応した雑音モデルが生成でき、また周囲雑音の状態が変化してもこれに応じた雑音モデルが得られ、認識率が向上する。更に雑音モデルとクリーン音声モデルとを合成して雑音重畳音声モデルを生成しているため処理時間が短かい。
【００１９】
［第２実施形態］
この発明の第２実施形態の機能構成例を図５に、処理手順例を図６にそれぞれ示す。第１実施形態と異なる点を説明する。
特徴ベクトル抽出部３６よりの特徴ベクトル系列は区間判定部５１に入力され、この区間判定部５１には、出力用システム音声生成部３２からシステム音声を放音中であるか否かを示すエコー有無信号も入力される。区間判定部５１は入力された特徴ベクトル系列およびエコー有無信号により現在の入力信号が周囲（背景）雑音信号のみの雑音区間または周囲（背景）雑音信号およびエコー信号を含む雑音・エコー区間かあるいは周囲雑音信号もしくはこれとエコー信号とが重畳された雑音重畳音声信号の音声区間のいずれであるかが判定される。例えばステップＳ２の後、区間判定結果が音声区間であるか否かが判定され（ステップＳ１１）、音声区間でなければ雑音区間か否かが判定される（ステップＳ１２）。
【００２０】
雑音区間と判定された判定結果出力によりスイッチ５２が端子５２Ｓに切り替えられ、特徴ベクトル抽出部３６よりの特徴ベクトル系列が雑音モデル学習部５３に入力され、雑音モデル学習部５３は入力された特徴ベクトル系列に基づき雑音およびエコー抑圧処理された周囲雑音信号と対応する雑音ＨＭＭを学習する（ステップＳ１３）。
雑音・エコー区間と判定された判定結果出力によりスイッチ５２が端子５２Ｅに切り替えられ、特徴ベクトル抽出部３６よりの特徴ベクトル系列が雑音・エコーモデル学習部５４に入力され、雑音・エコー学習部５４は入力された特徴ベクトル系列に基づき雑音およびエコー抑圧処理された周囲雑音信号とエコー信号の重畳信号と対応する雑音・エコーＨＭＭを学習する（ステップＳ１４）。
【００２１】
雑音モデル学習部５３よりの雑音ＨＭＭと、雑音・エコーモデル学習部５４よりの雑音・エコーモデルとがモデル合成部５５に入力され、これらとクリーン音声モデルメモリ４１よりのクリーン音声ＨＭＭとがそれぞれ合成されて雑音重畳音声ＨＭＭが生成され、雑音重畳音声モデルメモリ４３へ格納され、またはその記憶内容の更新が行われる（ステップＳ１５）。
音声区間と判定された判定結果出力によりスイッチ５２が端子５２Ｓに切り替えられ、特徴ベクトル抽出部３６からの特徴ベクトル系列が尤度計算部４４へ入力される。その他は第１実施形態と同一である。
【００２２】
この構成によれば、利用者がシステム音声が放音されていない状態で発声した場合は、雑音ＨＭＭとクリーン音声ＨＭＭとを合成した雑音重畳音声ＨＭＭを用いた尤度が高くなり、利用者がシステム音声が放音されている状態で発声した場合は、雑音・エコーＨＭＭとクリーン音声ＨＭＭとを合成した雑音重畳音声ＨＭＭを用いた尤度が高くなり、入力信号と認識用のモデルとがより合致するため、より高い認識率が得られる。
［変形例］
第１実施形態および第２実施形態では入力信号をエコー抑圧処理した後、雑音抑圧処理を行い、更に残留エコー抑圧処理を行ったが、図３〜図６中に破線で示すように、残留エコー抑圧は省略してもよい。この場合はこれら図中に括弧書きで示すように、雑音抑圧処理を先に行い、その後、エコー抑圧処理を行ってもよい。
【００２３】
雑音抑圧法としては、例えば特許第３３０９８９５号公報、特許第３４５４４０２号公報、特許第３４５９３６３号公報などに示すように、入力信号を周波数領域信号に変換し、複数の周波数帯域に分割し、これら分割された周波数帯域ごとに雑音成分を推定しながら入力信号の対応周波数帯域の信号に対し雑音抑圧を行うようにしてもよい。このようにすれば、ある帯域について認識対象音声信号を必要以上に抑圧したり、逆に雑音抑圧が不十分であったりするおそれが少なくなり、Ｓ／Ｎが改善され、それだけ高い認識率が得られることになる。
【００２４】
エコー抑圧法および残留エコー抑圧法も周波数領域に変換して行うとより有効である。またモデルとしてはＨＭＭに限らず他の確率モデルでもよい。
図３及び図５に示した装置をコンピュータにより機能させてもよい。この場合は図４又は図６に示した処理手順の各過程をコンピュータに実行させるための音声認識プログラムを、コンピュータにＣＤ−ＲＯＭ、磁気ディスク装置、半導体記憶装置などの記録媒体からインストールし、あるいは通信回線を介してダウンロードして、このプログラムをコンピュータに実行させればよい。
【図面の簡単な説明】
【００２５】
【図１】従来の音声認識装置の機能構成を示すブロック図。
【図２】従来のスペクトルサブトラクション法を用いた音声認識装置の機能構成を示すブロック図。
【図３】この発明装置の第１実施形態の機能構成例を示すブロック図。
【図４】この発明方法の第１実施形態の処理手順例を示す流れ図。
【図５】この発明装置の第２実施形態の機能構成例を示すブロック図。
【図６】この発明方法の第２実施形態の処理手順例を示す流れ図。
【特許請求の範囲】
【請求項１】
マイクロホンにより音響信号を収音し、スピーカより音響信号を放音する装置における上記マイクロホンにより収音した音声信号を確率モデルを用いて音声認識を行う音声認識方法であって、
上記マイクロホンよりの入力信号中の、上記スピーカからの放音信号成分（以下エコー信号という）を、上記スピーカへの供給信号を用いて抑圧し、かつ上記入力信号中の周囲雑音信号を抑圧する雑音・エコー抑圧ステップと、
上記エコー信号および周囲雑音信号が抑圧された信号を特徴ベクトル系列に変換する特徴ベクトル抽出ステップと、
上記特徴ベクトル系列が認識対象の音声信号を含む音声区間のものか、それ以外の雑音区間のものかを判定する区間判定ステップと、
上記区間判定ステップで雑音区間と判定した上記特徴ベクトル系列を用いて雑音モデルを学習する雑音モデル学習ステップと、
上記雑音モデルと、雑音がないクリーンな音声データを用いて予め作成されたクリーン音声モデルとを合成して雑音重畳音声モデルを生成する雑音重畳音声モデル合成ステップと、
上記区間判定ステップで音声区間と判定された上記特徴ベクトル系列と上記雑音重畳音声モデルとを用いて認識カテゴリに対する尤度を計算する尤度計算ステップと、
上記計算された尤度に基づき、認識結果を出力する出力ステップと
を有することを特徴とする音声認識方法。
【請求項２】
マイクロホンにより音響信号を収音し、スピーカより音響信号を放音する装置における上記マイクロホンにより収音した音声信号を確率モデルを用いて音声認識を行う音声認識方法であって、
上記マイクロホンよりの入力信号中の、上記スピーカからの放音信号成分（以下エコー信号という）を、上記スピーカへの供給信号を用いて抑圧し、かつ上記入力信号中の周囲雑音信号を抑圧する雑音・エコー抑圧ステップと、
上記エコー信号および周囲雑音信号が抑圧された信号を特徴ベクトル系列に変換する特徴ベクトル抽出ステップと、
上記特徴ベクトル系列が認識対象の音声信号を含む音声区間のものか、周囲雑音信号のみの雑音区間のものか、上記周囲雑音信号及び上記エコー信号とが存在する雑音・エコー区間のものかのいずれであるかを判定する区間判定ステップと、
上記区間判定ステップで雑音区間であると判定した上記特徴ベクトル系列を用いて雑音モデルを学習する雑音モデル学習ステップと、
上記区間判定ステップで雑音・エコー区間であると判定された上記特徴ベクトル系列を用いて雑音・エコーモデルを学習する雑音エコーモデル学習ステップと、
上記雑音モデルおよび上記雑音・エコーモデルと、雑音信号やエコー信号がないクリーンな音声データを用いて予め作成されたクリーン音声モデルとをそれぞれ合成して雑音重畳音声モデルを生成する雑音重畳音声モデル合成ステップと、
上記区間判定ステップで音声区間と判定された上記特徴ベクトル系列と上記雑音重畳音声モデルとを用いて認識カテゴリに対する尤度を計算する尤度計算ステップと、
上記計算された尤度に基づき、認識結果を出力する出力ステップと
を有することを特徴とする音声認識方法。
【請求項３】
上記雑音・エコー抑圧ステップは、上記スピーカへの供給信号により入力信号中のエコー信号を抑圧するステップと、エコー信号が抑圧された入力信号中の周囲雑音信号を抑圧するステップと、上記エコー信号および周囲雑音信号が抑圧された入力信号中の残留しているエコー信号を抑圧するステップとを有することを特徴とする請求項１又は２記載の音声認識方法。
【請求項４】
マイクロホンにより音響信号を収音し、スピーカより音響信号を放音する装置に用いられ、上記マイクロホンにより収音した音声信号を確率モデルを用いて音声認識を行う音声認識装置であって、
上記マイクロホンよりの入力信号および上記スピーカへの供給信号が入力され、上記入力信号中の上記放音信号成分（以下エコー信号という）を抑圧し、かつ上記入力信号中の周囲雑音信号を抑圧する雑音・エコー抑圧部と、
上記エコー信号および上記周囲雑音信号が抑圧された入力信号が入力され、その信号を特徴ベクトル系列に変換する特徴ベクトル抽出部と、
上記特徴ベクトル系列が入力され、その特徴ベクトル系列が認識対象音声信号を含む音声区間のものであるか、それ以外の雑音区間のものであるかを判定する区間判定部と、
上記特徴ベクトル系列および上記判定結果出力が入力され、その判定結果出力に応じて上記特徴ベクトル系列を分離出力する音声／雑音スイッチと、
上記音声／雑音スイッチにより分離された上記雑音区間の特徴ベクトル系列が入力され、この特徴ベクトル系列について雑音モデルを学習する雑音モデル学習部と、
雑音のないクリーンな音声データを基に作成されたクリーン音声モデルを記憶するクリーン音声モデルメモリと、
上記雑音モデルおよび上記クリーン音声モデルが入力され、雑音重畳音声モデルを合成するモデル合成部と、
上記雑音重畳音声モデルが記憶される雑音重畳音声モデルメモリと、
上記音声／雑音スイッチにより分離された音声区間の特徴ベクトル系列および上記雑音重畳音声モデルが入力され、その特徴ベクトル系列の各認識カテゴリに対する尤度をその雑音重畳音声モデルに基づき計算する尤度計算部と、
上記各認識カテゴリごとの尤度が入力され、認識結果を出力する認識結果出力部と
を具備することを特徴とする音声認識装置。
【請求項５】
マイクロホンにより音響信号を収音し、スピーカより音響信号を放音する装置に用いられ、上記マイクロホンにより収音した音声信号を確率モデルを用いて音声認識を行う音声認識装置であって、
上記マイクロホンよりの入力信号および上記スピーカへの供給信号が入力され、上記入力信号中の上記放音信号成分（以下エコー信号という）を抑圧し、かつ上記入力信号中の周囲雑音信号を抑圧する雑音・エコー抑圧部と、
上記エコー信号および上記周囲雑音信号が抑圧された入力信号が入力され、その信号を特徴ベクトル系列に変換する特徴ベクトル抽出部と、
上記特徴ベクトル系列および上記スピーカへ放音信号を供給しているか否かを示す信号が入力され、その特徴ベクトル系列が認識対象音声信号を含む音声区間のものか、周囲雑音信号のみの雑音区間のものか、上記エコー信号および上記周囲雑音を含む雑音・エコー区間のもののいずれであるかを判定する区間判定部と、
上記特徴ベクトル系列および上記判定結果出力が入力され、その判定結果出力に応じて上記特徴ベクトル系列を３系列に分離出力するスイッチと、
上記スイッチにより分離された上記雑音区間の特徴ベクトル系列が入力され、この特徴ベクトル系列について雑音モデルを学習する雑音モデル学習部と、
上記スイッチにより分離された上記雑音・エコー区間の特徴ベクトル系列が入力され、この特徴ベクトルについて、雑音・エコーモデルを学習する雑音・エコーモデル学習部と、
雑音のないクリーンな音声データを基に作成されたクリーン音声モデルを記憶するクリーン音声モデルメモリと、
上記雑音モデル、上記雑音エコーモデルおよび上記クリーン音声モデルが入力され、雑音モデルおよび雑音エコーモデルとクリーン音声モデルとをそれぞれ合成して雑音重畳音声モデルを生成するモデル合成部と、
上記雑音重畳音声モデルが記憶される雑音重畳音声モデルメモリと、
上記スイッチにより分離された音声区間の特徴ベクトル系列および上記雑音重畳音声モデルが入力され、その特徴ベクトル系列の各認識カテゴリに対する尤度をその雑音重畳音声モデルに基づき計算する尤度計算部と、
上記各認識カテゴリごとの尤度が入力され、認識結果を出力する認識結果出力部と
を具備することを特徴とする音声認識装置。
【請求項６】
上記雑音・エコー抑圧部は、上記入力信号および上記スピーカへの供給信号が入力され、その入力信号中のエコー信号を抑圧するエコー部と、
上記エコー部の出力信号が入力され、上記エコー信号が抑圧された入力信号中の周囲雑音信号を抑圧する雑音部と、
上記雑音部の出力信号および上記スピーカへの供給信号が入力され、上記エコー信号および周囲雑音信号が抑圧された入力信号中の残留している上記エコー信号を抑圧する残留エコー部とを備えることを特徴とする請求項４又は５記載の音声認識装置。
【請求項７】
請求項１〜３のいずれかに記載した音声認識方法の各ステップをコンピュータに実行させるための音声認識プログラム。
【請求項８】
請求項７に記載した音声認識プログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項１】
マイクロホンにより音響信号を収音し、スピーカより音響信号を放音する装置における上記マイクロホンにより収音した音声信号を確率モデルを用いて音声認識を行う音声認識方法であって、
上記マイクロホンよりの入力信号中の、上記スピーカからの放音信号成分（以下エコー信号という）を、上記スピーカへの供給信号を用いて抑圧し、かつ上記入力信号中の周囲雑音信号を抑圧する雑音・エコー抑圧ステップと、
上記エコー信号および周囲雑音信号が抑圧された信号を特徴ベクトル系列に変換する特徴ベクトル抽出ステップと、
上記特徴ベクトル系列が認識対象の音声信号を含む音声区間のものか、それ以外の雑音区間のものかを判定する区間判定ステップと、
上記区間判定ステップで雑音区間と判定した上記特徴ベクトル系列を用いて雑音モデルを学習する雑音モデル学習ステップと、
上記雑音モデルと、雑音がないクリーンな音声データを用いて予め作成されたクリーン音声モデルとを合成して雑音重畳音声モデルを生成する雑音重畳音声モデル合成ステップと、
上記区間判定ステップで音声区間と判定された上記特徴ベクトル系列と上記雑音重畳音声モデルとを用いて認識カテゴリに対する尤度を計算する尤度計算ステップと、
上記計算された尤度に基づき、認識結果を出力する出力ステップと
を有することを特徴とする音声認識方法。
【請求項２】
マイクロホンにより音響信号を収音し、スピーカより音響信号を放音する装置における上記マイクロホンにより収音した音声信号を確率モデルを用いて音声認識を行う音声認識方法であって、
上記マイクロホンよりの入力信号中の、上記スピーカからの放音信号成分（以下エコー信号という）を、上記スピーカへの供給信号を用いて抑圧し、かつ上記入力信号中の周囲雑音信号を抑圧する雑音・エコー抑圧ステップと、
上記エコー信号および周囲雑音信号が抑圧された信号を特徴ベクトル系列に変換する特徴ベクトル抽出ステップと、
上記特徴ベクトル系列が認識対象の音声信号を含む音声区間のものか、周囲雑音信号のみの雑音区間のものか、上記周囲雑音信号及び上記エコー信号とが存在する雑音・エコー区間のものかのいずれであるかを判定する区間判定ステップと、
上記区間判定ステップで雑音区間であると判定した上記特徴ベクトル系列を用いて雑音モデルを学習する雑音モデル学習ステップと、
上記区間判定ステップで雑音・エコー区間であると判定された上記特徴ベクトル系列を用いて雑音・エコーモデルを学習する雑音エコーモデル学習ステップと、
上記雑音モデルおよび上記雑音・エコーモデルと、雑音信号やエコー信号がないクリーンな音声データを用いて予め作成されたクリーン音声モデルとをそれぞれ合成して雑音重畳音声モデルを生成する雑音重畳音声モデル合成ステップと、
上記区間判定ステップで音声区間と判定された上記特徴ベクトル系列と上記雑音重畳音声モデルとを用いて認識カテゴリに対する尤度を計算する尤度計算ステップと、
上記計算された尤度に基づき、認識結果を出力する出力ステップと
を有することを特徴とする音声認識方法。
【請求項３】
上記雑音・エコー抑圧ステップは、上記スピーカへの供給信号により入力信号中のエコー信号を抑圧するステップと、エコー信号が抑圧された入力信号中の周囲雑音信号を抑圧するステップと、上記エコー信号および周囲雑音信号が抑圧された入力信号中の残留しているエコー信号を抑圧するステップとを有することを特徴とする請求項１又は２記載の音声認識方法。
【請求項４】
マイクロホンにより音響信号を収音し、スピーカより音響信号を放音する装置に用いられ、上記マイクロホンにより収音した音声信号を確率モデルを用いて音声認識を行う音声認識装置であって、
上記マイクロホンよりの入力信号および上記スピーカへの供給信号が入力され、上記入力信号中の上記放音信号成分（以下エコー信号という）を抑圧し、かつ上記入力信号中の周囲雑音信号を抑圧する雑音・エコー抑圧部と、
上記エコー信号および上記周囲雑音信号が抑圧された入力信号が入力され、その信号を特徴ベクトル系列に変換する特徴ベクトル抽出部と、
上記特徴ベクトル系列が入力され、その特徴ベクトル系列が認識対象音声信号を含む音声区間のものであるか、それ以外の雑音区間のものであるかを判定する区間判定部と、
上記特徴ベクトル系列および上記判定結果出力が入力され、その判定結果出力に応じて上記特徴ベクトル系列を分離出力する音声／雑音スイッチと、
上記音声／雑音スイッチにより分離された上記雑音区間の特徴ベクトル系列が入力され、この特徴ベクトル系列について雑音モデルを学習する雑音モデル学習部と、
雑音のないクリーンな音声データを基に作成されたクリーン音声モデルを記憶するクリーン音声モデルメモリと、
上記雑音モデルおよび上記クリーン音声モデルが入力され、雑音重畳音声モデルを合成するモデル合成部と、
上記雑音重畳音声モデルが記憶される雑音重畳音声モデルメモリと、
上記音声／雑音スイッチにより分離された音声区間の特徴ベクトル系列および上記雑音重畳音声モデルが入力され、その特徴ベクトル系列の各認識カテゴリに対する尤度をその雑音重畳音声モデルに基づき計算する尤度計算部と、
上記各認識カテゴリごとの尤度が入力され、認識結果を出力する認識結果出力部と
を具備することを特徴とする音声認識装置。
【請求項５】
マイクロホンにより音響信号を収音し、スピーカより音響信号を放音する装置に用いられ、上記マイクロホンにより収音した音声信号を確率モデルを用いて音声認識を行う音声認識装置であって、
上記マイクロホンよりの入力信号および上記スピーカへの供給信号が入力され、上記入力信号中の上記放音信号成分（以下エコー信号という）を抑圧し、かつ上記入力信号中の周囲雑音信号を抑圧する雑音・エコー抑圧部と、
上記エコー信号および上記周囲雑音信号が抑圧された入力信号が入力され、その信号を特徴ベクトル系列に変換する特徴ベクトル抽出部と、
上記特徴ベクトル系列および上記スピーカへ放音信号を供給しているか否かを示す信号が入力され、その特徴ベクトル系列が認識対象音声信号を含む音声区間のものか、周囲雑音信号のみの雑音区間のものか、上記エコー信号および上記周囲雑音を含む雑音・エコー区間のもののいずれであるかを判定する区間判定部と、
上記特徴ベクトル系列および上記判定結果出力が入力され、その判定結果出力に応じて上記特徴ベクトル系列を３系列に分離出力するスイッチと、
上記スイッチにより分離された上記雑音区間の特徴ベクトル系列が入力され、この特徴ベクトル系列について雑音モデルを学習する雑音モデル学習部と、
上記スイッチにより分離された上記雑音・エコー区間の特徴ベクトル系列が入力され、この特徴ベクトルについて、雑音・エコーモデルを学習する雑音・エコーモデル学習部と、
雑音のないクリーンな音声データを基に作成されたクリーン音声モデルを記憶するクリーン音声モデルメモリと、
上記雑音モデル、上記雑音エコーモデルおよび上記クリーン音声モデルが入力され、雑音モデルおよび雑音エコーモデルとクリーン音声モデルとをそれぞれ合成して雑音重畳音声モデルを生成するモデル合成部と、
上記雑音重畳音声モデルが記憶される雑音重畳音声モデルメモリと、
上記スイッチにより分離された音声区間の特徴ベクトル系列および上記雑音重畳音声モデルが入力され、その特徴ベクトル系列の各認識カテゴリに対する尤度をその雑音重畳音声モデルに基づき計算する尤度計算部と、
上記各認識カテゴリごとの尤度が入力され、認識結果を出力する認識結果出力部と
を具備することを特徴とする音声認識装置。
【請求項６】
上記雑音・エコー抑圧部は、上記入力信号および上記スピーカへの供給信号が入力され、その入力信号中のエコー信号を抑圧するエコー部と、
上記エコー部の出力信号が入力され、上記エコー信号が抑圧された入力信号中の周囲雑音信号を抑圧する雑音部と、
上記雑音部の出力信号および上記スピーカへの供給信号が入力され、上記エコー信号および周囲雑音信号が抑圧された入力信号中の残留している上記エコー信号を抑圧する残留エコー部とを備えることを特徴とする請求項４又は５記載の音声認識装置。
【請求項７】
請求項１〜３のいずれかに記載した音声認識方法の各ステップをコンピュータに実行させるための音声認識プログラム。
【請求項８】
請求項７に記載した音声認識プログラムが記録されたコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−３６１７（Ｐ２００６−３６１７Ａ）
【公開日】平成１８年１月５日（２００６．１．５）
【国際特許分類】
【出願番号】特願２００４−１７９７２３（Ｐ２００４−１７９７２３）
【出願日】平成１６年６月１７日（２００４．６．１７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１８年１月５日（２００６．１．５）
【国際特許分類】
【出願日】平成１６年６月１７日（２００４．６．１７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]