音響モデル構築方法、音響モデル構築装置、音声認識方法、音声認識装置、音響モデル構築プログラム、音声認識プログラム、これらのプログラムを記録した記録媒体
【課題】反響を含む音声の音声認識精度を向上させる。
【解決手段】音声認識対象とは異なる環境において、観測された音声信号に対し、残響除去を施し、残響除去が施された音声信号の音響モデルパラメータを推定し、音響モデルパラメータの推定結果に従って音響モデルを構築すると共に、音声認識時は認識対象とする音声から残響を除去し、残響が除去された音声で音響モデルを適応化し、残響除去時に受けた歪みを除去して音声認識を実行し得るようにし、この結果として認識精度を高めた。
【解決手段】音声認識対象とは異なる環境において、観測された音声信号に対し、残響除去を施し、残響除去が施された音声信号の音響モデルパラメータを推定し、音響モデルパラメータの推定結果に従って音響モデルを構築すると共に、音声認識時は認識対象とする音声から残響を除去し、残響が除去された音声で音響モデルを適応化し、残響除去時に受けた歪みを除去して音声認識を実行し得るようにし、この結果として認識精度を高めた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続的に発話された音声信号に残響が付加された場合、高精度な音声認識を達成することを可能とした音響モデル構築方法及びこの音響モデル構築方法を実現するための装置と、更に、音響モデル構築方法で構築した音響モデルを利用して高精度な音声認識を達することができる音声認識方法及びこの音声認識方法を実現する音声認識装置に関するものであり、更には、これらの音響モデル構築装置及び音声認識装置をコンピュータで機能させるためのプログラムと、このプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
音声信号は、残響のある環境で収音されると、本来の音声信号に残響が重畳された信号として観測される。このため、本来の音声信号の性質を抽出することが困難となり、音声認識率も著しく低下してしまう。これに対し、残響除去処理は、重畳した残響を取り除くことで、音声本来の性質を抽出し易くするとともに、音声認識手法と組み合わせることにより高い音声認識率を回復することができる。これはほかのさまざまな残響信号処理システムの要素技術として用いることで、そのシステム全体の性能向上につながる技術である。連続発話された音声信号の残響除去処理、およびそれを用いた音声認識が要素技術として性能向上に寄与できるような音響信号処理技術は、例えば残響除去を前処理として用いる音声認識システムに用いることができる。
【０００３】
残響環境下での音声認識方法の従来例１を図６を参照して説明する。この従来手法は非特許文献１で提案されている手法である。従来例１では、複数のセンサ１０１〜１０ｎで測定された観測信号Ｓ１〜Ｓｎを入力としているデジタル信号処理装置２０により本来の音源の方向から来る音は通過させつつ、本来の音源から出た音が壁に反射する方向から来る音には死角を向けるような指向特性を形成することで残響除去を行い、次にその残響の除去された信号をもとに音声認識手段３０が音声認識を行なう。
このためにデジタル処理装置２０には目的音源位置推定手段２１と、残響反射位置推定手段２２と、死角型指向性形成手段２３とを備え、死角型指向性形成手段２３において、目的音源位置推定手段２１と、残響反射位置推定手段２２の各推定結果と、各観測信号Ｓ１〜Ｓｎとから死角指向性を求め、残響除去を実現する。
【０００４】
残響環境下での音声認識方法の従来例２を図７を参照して説明する。従来例２ではあらかじめ音源１１からセンサ１０までの伝達関数ＤＮを測定しておいて（非特許文献２）、観測信号に対してはその逆関数を適用することで残響除去を行なう。つまり、逆伝達関数データ格納手段５０にあらかじめ測定した音源１１とセンサ１０との間の伝達関数ＤＮを記憶しておく、音声認識対象となる観測信号に逆伝達関数乗算手段４０で逆伝達関数を乗算することにより、その乗算結果に残響が除去された音声信号を得ることができる。音声認識手段３０は、残響が除去された音声信号の音声認識を実行し、認識結果を出力する。
【０００５】
残響環境下での音声認識方法の従来例３を図８を参照して説明する。従来例３では特許文献１で提案されている調波構造に基づく残響除去方法を用いて音源１１からセンサ１０までの伝達関数ＤＮの逆フィルタを推定し、観測信号に対してはその逆フィルタを適用することで残響除去を行なう。図８に示す調波構造に基づく残響除去手段６０は音源１１からセンサ１０までの伝達関数ＤＮの逆フィルタを推定し、その逆フィルタを用いて残響除去を実行し、音声認識手段３０は残響除去手段６０が出力する残響が除去された出力信号の音声認識を実行し、認識結果を出力する。
【特許文献１】特開２００４−１０９７４２号公報
【非特許文献１】J.L. Flanagan, “Computer-steered Microphone Arrays for Sound Transduction in Large Rooms,” Journal of Acoustical Society of America, 78(11), pp. 1508-1518, Nov., 1985
【非特許文献２】M.Miyoshi and Y.Kaneda, “Inverse filtering of room acoustics,” IEEE Trans, on Acoustics, Speech and Signal Processing, 36(2), pp.145-152, 1988
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した残響環境下での音声認識法の従来例１では、デジタル信号処理により形成する死角の数をｎとすると、原理的にｎ＋１個以上のセンサが必要になる。したがって残響が周囲のいたるところから到来するような環境においては、非常に多数のセンサによる観測信号が必要になる。さらに、目的音と同じ方向から来る残響についてはこの方法では除去できない。そのため、特に長い残響時間を持つような残響環境下では、高い認識率を維持することはできない。
上述した残響環境下での音声認識法の従来例２では、少数のセンサによる観測音でいたるところから到来する残響を除去することができるが、あらかじめ伝達関数を測定しておく必要がある。
【０００７】
更に、上述した残響環境下での音声認識法の従来例３では、残響除去を施した音声には除去しきれなかった残響成分（乗法性歪み）が残っているため、高精度な音声認識を達成することができなかった。
このように、従来用いられてきた残響環境下の音声認識法では、観測信号のセンサが一つで、かつ音源からセンサへの伝達関数が既知でない場合には、高い認識精度を達成することができなかった。
因みに、従来技術で得られる音声認識精度を図９に示す。図９Ａは女性の単語正解精度、図９Ｂは男性の単語正解精度を示す。この図から明らかなように、従来技術によれば、残響を除去したとしても、正解精度は良くて４０％程度（男性の場合）、女性では２０％程度であり、音声認識精度は低い。尚、図９に示すベースラインは、クリーンな音声（残響を含まない音声）を音声認識した際の単語正解精度を示しており、音声認識システムの認識精度の上限である。図９から明らかなように、残響除去を施しただけでは単語正解精度を高く保つことが難しいことが見てとれる。
【０００８】
残響環境下で高精度な音声認識を達成できる理由の一つに、音響モデル構築時に用いた音声と、実際の認識対象となる音声の間にミスマッチがあることが挙げられる。特に従来では音響モデル構築時には残響を含まないクリーンな音声を用いて音響モデルを構築する方法を採るため、音響モデル構築時に用いた音声と残響環境下で入力される認識対象となる音声との間に大きなミスマッチが存在し、このミスマッチが認識精度の低減につながっているものと考えられる。
この発明の目的は音響モデル構築時に用いる音声と、残響環境下で入力される音声認識対象となる音声とのミスマッチを解消し、このミスマッチの解消により音声認識精度を向上させようとするものである。
【課題を解決するための手段】
【０００９】
音響モデル構築時に用いる音声と、残響環境下で入力される音声認識対象となる音声とのミスマッチを解消するために、本発明では音声認識対象とは別の環境において観測された音声信号に対し、残響除去を施し、残響除去が施された音声信号の音響モデルパラメータを推定し、音響モデルパラメータの推定結果に従って音響モデルを構築する音響モデル構築方法と、音声認識対象となる観測信号から残響を除去する残響除去処理と、残響が除去された信号を元に前記音響モデル構築方法で構築した音響モデルを音声認識対象となる観測信号に適応させる適応処理と、適応された音響モデルと残響除去処理で残響が除去された観測信号を用いて音声認識を行なう音声認識処理とを実行する音声認識方法を提案する。
【発明の効果】
【００１０】
本発明による音響モデル構築方法によれば、音響モデルの構築に用いる音声に対し、仮に音声がクリーンな音声であっても残響除去処理を施す。この残響除去処理によって音声には残響除去時に乗法性歪み（除去しきれなかった残響成分が存在すること）と呼ばれる歪みが付加される。この残響除去処理により音響モデルにあらかじめ残響除去後の乗法性歪みを学ばせておくことができる。
音声認識時に乗法性歪みを学習した音響モデルを用いることにより、音声認識時も音声認識対象となる音声にも残響除去を施すから、音声認識対象となる音声にも乗法性歪みが付加される。
【００１１】
この結果として、音響モデル構築時に用いる音声と音声認識対象となる音声とのミスマッチが解消され、音声認識精度を向上することができる。
更にこの発明では音声認識時に用いる音響モデルを残響除去処理を施した音声認識対象となる音声で適応処理し、適応処理を施した音響モデルを用いて音声認識を実行する。このように音声認識に用いる音響モデルを残響除去処理された音声で適応処理することにより、音響モデルに与えられた乗法性歪みを取り除くことができる。この点にに関しては「C.J. Leggetter and P.C. Woodland, “Maximun Likelihood Linear Regression for Speaker Adaptation of Continuous Density Hidden Markov Models,” Computer Speech and Language, vol.9, pp.171-185, 1995」を参照。以下この手法をＭＬＬＲと称す。
【００１２】
また、乗法性歪みを取り除く手法としては「B.S. Atal, “Effectiveness of Linear Prediction Characteristics of the Speech Wave for Automatic Speaker Identification and Verification,” Journal of Acoustical Society of America, 55(6), pp.1304-1312, 1974.」（以下この手法を「ＣＭＮ」と称す。）を組み合わせることも可能である。
【発明を実施するための最良の形態】
【００１３】
本発明による音響モデル構築方法及びこの方法を用いた装置、更には音声認識方法及び装置はハードウェアにより実現することができるが、現実には本発明で提案する音響モデル構築プログラム及び音声認識プログラムをコンピュータにインストールし、コンピュータに音響モデル構築装置及び音声認識装置として機能させる実施形態が最良の実施形態である。
コンピュータを音源モデル構築装置として機能させる場合、コンピュータには音声認識対象とは別の環境において観測された音声信号に対し、残響処理を施す残響除去手段と、残響除去手段で残響が除去された音声信号の音響モデルパラメータを推定処理する音響モデルパラメータ推定手段と、音響モデルパラメータ推定手段の推定結果に従って音響モデルを構築する音響モデル構築手段とが備えられ、残響除去処理によって乗法性歪みが付加された音声信号の音響パラメータを推定し、音響モデルを構築する。
【００１４】
この発明では更に、コンピュータを音声認識装置として機能させる場合、コンピュータには音声認識対象となる観測信号から残響を除去する残響除去手段と、残響が除去された信号を元に本発明で提案する音響モデル構築装置で構築した音響モデルを音声認識対象となる観測信号に適応させる適応手段と、適応された音響モデルと残響除去手段で残響が除去された観測信号を用いて音声認識を行なう音声認識手段とを備え、乗法性歪みを学習した音響モデルを認識対象となる音声に適応させ、適応された音響モデルを用いて、乗法性歪みが付加された認識対象となる音声信号の音声認識を実行する。これにより、高い音声認識精度が得られるとする本発明の効果が得られる。
【実施例１】
【００１５】
図１に本発明による音響モデル構築方法を適用して動作する音響モデル構築装置と、本発明による音声認識方法を適用して動作する音声認識装置の実施例を示す。
図中１００は本発明による音響モデル構築装置、２００は本発明による音声認識装置を示す。本発明による音響モデル構築装置１００は残響除去手段１０１と、音響モデルパラメータ推定手段１０２とによって構成される。残響除去手段１０１には予め、音声認識対象とは別の環境において観測された音声信号を入力する。音声認識対象とは別の環境とは残響環境であることは無論のこと、クリーンな音声が得られる環境であってもよい。
【００１６】
残響除去手段１０１及び２０１の実施例を図２を参照して説明する。図２に示す実施例では基本波推定法、調波構造抽出処理等、特許文献１で提案されている手法と同じ手法を用いた場合を示す。残響を含む連続的な信号（図中観測音信号）が入力されると、ステップＳＰ−１で入力信号は分析窓と呼ばれる短時間（数１０ミリ秒）の信号区間（フレーム）に分割される。ステップＳＰ−２ではそれぞれのフレーム内で基本周波数推定処理が実行され、基本周波数Ｆ０及び調波構造が含まれたフレーム（調波構造区間）を推定する。
次に、ステップＳＰ−３では求められた基本周波数と調波構造区間を元に、調波成分抽出処理が実行され、調波成分を抽出する。最後にステップＳＰ−４で逆伝達関数を推定し、ステップＳＰ−５でその逆伝達関数を適用し、残響除去信号を得る。その後、逆伝達関数推定の精度を上げるために、残響が除去された出力信号を元に基本波を推定し、ステップＳＰ−１〜ＳＰ−５を複数回繰り返す方法が提案されているが、本発明でも同様に繰り返し処理を施すことが可能である。
【００１７】
本発明による音響モデル構築装置１００は上述した動作を実行する残響除去手段１０１と音響モデルパラメータ推定手段１０２とから構成され、入力を音声信号とし、音響モデルが出力される。先ず、入力された音声信号は、残響除去手段１０１に入り、図２を用いて説明した残響除去処理が施された音声信号として出力される。
その出力された音声信号は、音響モデルパラメータ推定手段１０２に入力され、音響モデルという形で出力される。音響モデルのパラメータ推定はオフラインで行われる。音響モデルのパラメータを推定する手段としては、従来手法を用いる。例えば、ＥＭ（Expectation Maximization）アルゴリズム等を用いることが可能である。
【００１８】
パラメータ推定のために、いくつかの残響環境下で観測された信号を残響除去した信号を用意した。例えば、認識対象である未知の残響環境を１．０秒の環境とした場合、その外に０．１秒、０．２秒、０．５秒、の残響下で観測され残響除去が施された音声信号を音響モデルパラメータ推定に用いる。
音声認識装置２００は図１に示したように残響除去手段２０１と音響モデル適応手段２０２と、音声認識手段２０３とによって構成することができる。残響除去手段２０１は音響モデル構築装置１００を構成する残響除去手段２０１とほぼ同一の構成の残響除去手段を用いることができる。残響が除去された音声信号は音響モデル適応手段２０２で音声認識対象となる音声信号で音響モデルの適応処理を施し、適応処理された音響モデルを用いて音声認識手段２０３は残響除去手段２０１で残響が除去された認識対象となる音声信号の音声認識処理を実行し、認識結果を出力する。
【００１９】
図３に図１に示した音響モデル適応手段２０２の詳細を示す。音響モデル適応手段２０２は音声認識手段２０２Ａと歪み除去手段２０２Ｂとによって構成される。歪み除去手段２０２Ｂは先に説明したＭＬＬＲ手法を適用するか、又はＭＬＬＲ手法とＣＭＮ手法とを組み合わせた手法を適用することができる。まず、何も適応を行っていない音響モデルを用いて認識実験を行い、認識結果（トランスクリプションともいう）を出力させる。そして、残響除去された音声と認識結果を用いて、歪み除去手段２０２Ｂを構成するＭＬＬＲが音響モデルの適応化を行い、入力音声に適用した音響モデルを出力する。
【００２０】
音響モデルの中では、平均μ０、分散σ０で表されるガウス分布がいくつも重なったガウス混合分布で一つの音素が表されている。ＭＬＬＲ手法は、このガウス分布の平均値μ０に、次式で表される変形を加える手法である。
μ＝Ｗ×μ０＋β （１）
μ０は変換前のガウス分布の平均値で、μは変換後のガウス分布の平均値である。入力のトランスクリプションに最も適応するように、式１中の未知のパラメータでるＷとβを最尤推定（Maximum likelihood estimation）で決定することで、線形写像を行なうことが可能となる。実際は、この処理をひとつひとつのガウス分布に行なうことはほとんどなく、いくつかの音素をまとめた音素クラスのすべての混合ガウス分布に対して、共通のＷとβを計算し、線形写像を行なう。
【００２１】
また、短い乗法性歪みを取り除くことを目的として、ＣＭＮを併用することも可能である。時間領域での乗法性の歪みは、ケプストラム領域では加法性歪みとなることが一般的に知られている。音声の変動に対して乗法性歪みの変動は充分に緩やかであり、また、クリーンな音声のケプストラムの平均値はゼロであるとした場合、乗法性歪みの付加された音声のケプストラムの平均は、含まれる乗法性歪みのケプストラムの平均を示す。そのため、観測音からケプストラム領域でケプストラムの時間平均を減算する事により、含まれる乗法性歪みを低減することが出来る。ＣＭＮを併用する場合は、音響モデル構築に用いられる音声及び、残響除去後の認識対象の音声共に、ＣＭＮを施す必要がある。
【実施例２】
【００２２】
図４に本発明の有効性を実証するための実施例を示す。この実施例では環境Ａ、Ｂ、Ｃ、Ｄの４つの残響環境をシミュレートした例を示す。例えばそれぞれの環境を残響時間が０．１秒、０．２秒、０．５秒、１．０秒に対応させ、環境Ｄが認識対象の未知の環境とした場合、環境Ａで観測された残響音声、環境Ｂで観測された残響音声、環境Ｃで観測された残響音声はそれぞれ残響除去手段１０１Ａ、１０１Ｂ、１０１Ｃで残響が除去され、残響が除去された音声Ａ、Ｂ、Ｃを用いて音響モデルパラメータ推定手段１０２でそれぞれの音響モデルのパラメータを予め推定しておく。次にオンライン環境Ｄで残響音声を観測し、残響除去手段２０１で残響除去を施し、この残響除去された認識対象音声を用いて音響モデルを環境Ｄに適応し、その環境Ｄに適応された音響モデルを用いて最終的な認識結果を得た。
【００２３】
本発明の効果を実証すべく、以下の条件で単語正解率を求めた。連続発話データベースから、男女一名の各５０３文を音源信号とし、可変残響室で測定した４種類のインパルス応答（残響時間が０．１、０．２、０．５、１．０秒）を畳み込んで観測信号を合成した。
図５は、本発明を適用して音声認識率改善を試みたときの単語正解率を示している。女性、男性ともに、それぞれの残響環境下で非常に高い単語正解率を示していることが見てとれる。
【００２４】
以上説明した音響モデル構築装置１００Ａ及び音声認識装置２００はハードウェアによって構成することも可能であるが、それよりむしろコンピュータに本発明による音響モデル構築プログラム及び音声認識プログラムをインストールし、コンピュータに音響モデル構築装置及び音声認識装置として機能させる実施形態が最も望ましい実施形態である。
本発明による音響モデル構築プログラム及び音声認識プログラムはコンピュータが解読可能なプログラム言語によって記述され、コンピュータが読み取り可能な例えば磁気ディスク或はＣＤ−ＲＯＭのような記録媒体に記録され、これらの記録媒体からコンピュータにインストールするか、或は通信回線を通じてインストールされ、コンピュータに備えられたＣＰＵに解読されて実行される。
【産業上の利用可能性】
【００２５】
本発明による音響モデル構築装置及び音声認識装置は残響除去を前処理として用いる音声認識システム、或は、残響の含まれた講演録音から、音声認識を用いて講演議事録を作成するシステム、或は、人が発した声に反応して機械にコマンドをわたす機械制御インターフェース、及び機械と人間の対話装置などに活用される。
【図面の簡単な説明】
【００２６】
【図１】この発明の一実施例を説明するためのブロック図。
【図２】図１に示した実施例で用いた残響除去手段の処理手順を説明するためのフローチャート。
【図３】図１に示した実施例で用いる音響モデル適応手段の詳細を説明するためのブロック図。
【図４】本発明の効果を実証するために行なった実施例を説明するためのブロック図。
【図５】図４に示した実施例で得られた単語正解精度を説明するための図。
【図６】従来技術の一例を説明するためのブロック図。
【図７】従来技術の他の例を説明するためのブロック図。
【図８】従来技術の更に他の例を説明するためのブロック図。
【図９】従来技術で得られる単語正解精度を説明するための図。
【符号の説明】
【００２７】
１００ 音響モデル構築装置 ２０１ 残響除去手段
１０１ 残響除去手段 ２０２ 音響モデル適応手段
１０２ 音響モデルパラメータ推定手段 ２０３ 音声認識手段
２００ 音声認識装置
【技術分野】
【０００１】
本発明は、連続的に発話された音声信号に残響が付加された場合、高精度な音声認識を達成することを可能とした音響モデル構築方法及びこの音響モデル構築方法を実現するための装置と、更に、音響モデル構築方法で構築した音響モデルを利用して高精度な音声認識を達することができる音声認識方法及びこの音声認識方法を実現する音声認識装置に関するものであり、更には、これらの音響モデル構築装置及び音声認識装置をコンピュータで機能させるためのプログラムと、このプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
音声信号は、残響のある環境で収音されると、本来の音声信号に残響が重畳された信号として観測される。このため、本来の音声信号の性質を抽出することが困難となり、音声認識率も著しく低下してしまう。これに対し、残響除去処理は、重畳した残響を取り除くことで、音声本来の性質を抽出し易くするとともに、音声認識手法と組み合わせることにより高い音声認識率を回復することができる。これはほかのさまざまな残響信号処理システムの要素技術として用いることで、そのシステム全体の性能向上につながる技術である。連続発話された音声信号の残響除去処理、およびそれを用いた音声認識が要素技術として性能向上に寄与できるような音響信号処理技術は、例えば残響除去を前処理として用いる音声認識システムに用いることができる。
【０００３】
残響環境下での音声認識方法の従来例１を図６を参照して説明する。この従来手法は非特許文献１で提案されている手法である。従来例１では、複数のセンサ１０１〜１０ｎで測定された観測信号Ｓ１〜Ｓｎを入力としているデジタル信号処理装置２０により本来の音源の方向から来る音は通過させつつ、本来の音源から出た音が壁に反射する方向から来る音には死角を向けるような指向特性を形成することで残響除去を行い、次にその残響の除去された信号をもとに音声認識手段３０が音声認識を行なう。
このためにデジタル処理装置２０には目的音源位置推定手段２１と、残響反射位置推定手段２２と、死角型指向性形成手段２３とを備え、死角型指向性形成手段２３において、目的音源位置推定手段２１と、残響反射位置推定手段２２の各推定結果と、各観測信号Ｓ１〜Ｓｎとから死角指向性を求め、残響除去を実現する。
【０００４】
残響環境下での音声認識方法の従来例２を図７を参照して説明する。従来例２ではあらかじめ音源１１からセンサ１０までの伝達関数ＤＮを測定しておいて（非特許文献２）、観測信号に対してはその逆関数を適用することで残響除去を行なう。つまり、逆伝達関数データ格納手段５０にあらかじめ測定した音源１１とセンサ１０との間の伝達関数ＤＮを記憶しておく、音声認識対象となる観測信号に逆伝達関数乗算手段４０で逆伝達関数を乗算することにより、その乗算結果に残響が除去された音声信号を得ることができる。音声認識手段３０は、残響が除去された音声信号の音声認識を実行し、認識結果を出力する。
【０００５】
残響環境下での音声認識方法の従来例３を図８を参照して説明する。従来例３では特許文献１で提案されている調波構造に基づく残響除去方法を用いて音源１１からセンサ１０までの伝達関数ＤＮの逆フィルタを推定し、観測信号に対してはその逆フィルタを適用することで残響除去を行なう。図８に示す調波構造に基づく残響除去手段６０は音源１１からセンサ１０までの伝達関数ＤＮの逆フィルタを推定し、その逆フィルタを用いて残響除去を実行し、音声認識手段３０は残響除去手段６０が出力する残響が除去された出力信号の音声認識を実行し、認識結果を出力する。
【特許文献１】特開２００４−１０９７４２号公報
【非特許文献１】J.L. Flanagan, “Computer-steered Microphone Arrays for Sound Transduction in Large Rooms,” Journal of Acoustical Society of America, 78(11), pp. 1508-1518, Nov., 1985
【非特許文献２】M.Miyoshi and Y.Kaneda, “Inverse filtering of room acoustics,” IEEE Trans, on Acoustics, Speech and Signal Processing, 36(2), pp.145-152, 1988
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した残響環境下での音声認識法の従来例１では、デジタル信号処理により形成する死角の数をｎとすると、原理的にｎ＋１個以上のセンサが必要になる。したがって残響が周囲のいたるところから到来するような環境においては、非常に多数のセンサによる観測信号が必要になる。さらに、目的音と同じ方向から来る残響についてはこの方法では除去できない。そのため、特に長い残響時間を持つような残響環境下では、高い認識率を維持することはできない。
上述した残響環境下での音声認識法の従来例２では、少数のセンサによる観測音でいたるところから到来する残響を除去することができるが、あらかじめ伝達関数を測定しておく必要がある。
【０００７】
更に、上述した残響環境下での音声認識法の従来例３では、残響除去を施した音声には除去しきれなかった残響成分（乗法性歪み）が残っているため、高精度な音声認識を達成することができなかった。
このように、従来用いられてきた残響環境下の音声認識法では、観測信号のセンサが一つで、かつ音源からセンサへの伝達関数が既知でない場合には、高い認識精度を達成することができなかった。
因みに、従来技術で得られる音声認識精度を図９に示す。図９Ａは女性の単語正解精度、図９Ｂは男性の単語正解精度を示す。この図から明らかなように、従来技術によれば、残響を除去したとしても、正解精度は良くて４０％程度（男性の場合）、女性では２０％程度であり、音声認識精度は低い。尚、図９に示すベースラインは、クリーンな音声（残響を含まない音声）を音声認識した際の単語正解精度を示しており、音声認識システムの認識精度の上限である。図９から明らかなように、残響除去を施しただけでは単語正解精度を高く保つことが難しいことが見てとれる。
【０００８】
残響環境下で高精度な音声認識を達成できる理由の一つに、音響モデル構築時に用いた音声と、実際の認識対象となる音声の間にミスマッチがあることが挙げられる。特に従来では音響モデル構築時には残響を含まないクリーンな音声を用いて音響モデルを構築する方法を採るため、音響モデル構築時に用いた音声と残響環境下で入力される認識対象となる音声との間に大きなミスマッチが存在し、このミスマッチが認識精度の低減につながっているものと考えられる。
この発明の目的は音響モデル構築時に用いる音声と、残響環境下で入力される音声認識対象となる音声とのミスマッチを解消し、このミスマッチの解消により音声認識精度を向上させようとするものである。
【課題を解決するための手段】
【０００９】
音響モデル構築時に用いる音声と、残響環境下で入力される音声認識対象となる音声とのミスマッチを解消するために、本発明では音声認識対象とは別の環境において観測された音声信号に対し、残響除去を施し、残響除去が施された音声信号の音響モデルパラメータを推定し、音響モデルパラメータの推定結果に従って音響モデルを構築する音響モデル構築方法と、音声認識対象となる観測信号から残響を除去する残響除去処理と、残響が除去された信号を元に前記音響モデル構築方法で構築した音響モデルを音声認識対象となる観測信号に適応させる適応処理と、適応された音響モデルと残響除去処理で残響が除去された観測信号を用いて音声認識を行なう音声認識処理とを実行する音声認識方法を提案する。
【発明の効果】
【００１０】
本発明による音響モデル構築方法によれば、音響モデルの構築に用いる音声に対し、仮に音声がクリーンな音声であっても残響除去処理を施す。この残響除去処理によって音声には残響除去時に乗法性歪み（除去しきれなかった残響成分が存在すること）と呼ばれる歪みが付加される。この残響除去処理により音響モデルにあらかじめ残響除去後の乗法性歪みを学ばせておくことができる。
音声認識時に乗法性歪みを学習した音響モデルを用いることにより、音声認識時も音声認識対象となる音声にも残響除去を施すから、音声認識対象となる音声にも乗法性歪みが付加される。
【００１１】
この結果として、音響モデル構築時に用いる音声と音声認識対象となる音声とのミスマッチが解消され、音声認識精度を向上することができる。
更にこの発明では音声認識時に用いる音響モデルを残響除去処理を施した音声認識対象となる音声で適応処理し、適応処理を施した音響モデルを用いて音声認識を実行する。このように音声認識に用いる音響モデルを残響除去処理された音声で適応処理することにより、音響モデルに与えられた乗法性歪みを取り除くことができる。この点にに関しては「C.J. Leggetter and P.C. Woodland, “Maximun Likelihood Linear Regression for Speaker Adaptation of Continuous Density Hidden Markov Models,” Computer Speech and Language, vol.9, pp.171-185, 1995」を参照。以下この手法をＭＬＬＲと称す。
【００１２】
また、乗法性歪みを取り除く手法としては「B.S. Atal, “Effectiveness of Linear Prediction Characteristics of the Speech Wave for Automatic Speaker Identification and Verification,” Journal of Acoustical Society of America, 55(6), pp.1304-1312, 1974.」（以下この手法を「ＣＭＮ」と称す。）を組み合わせることも可能である。
【発明を実施するための最良の形態】
【００１３】
本発明による音響モデル構築方法及びこの方法を用いた装置、更には音声認識方法及び装置はハードウェアにより実現することができるが、現実には本発明で提案する音響モデル構築プログラム及び音声認識プログラムをコンピュータにインストールし、コンピュータに音響モデル構築装置及び音声認識装置として機能させる実施形態が最良の実施形態である。
コンピュータを音源モデル構築装置として機能させる場合、コンピュータには音声認識対象とは別の環境において観測された音声信号に対し、残響処理を施す残響除去手段と、残響除去手段で残響が除去された音声信号の音響モデルパラメータを推定処理する音響モデルパラメータ推定手段と、音響モデルパラメータ推定手段の推定結果に従って音響モデルを構築する音響モデル構築手段とが備えられ、残響除去処理によって乗法性歪みが付加された音声信号の音響パラメータを推定し、音響モデルを構築する。
【００１４】
この発明では更に、コンピュータを音声認識装置として機能させる場合、コンピュータには音声認識対象となる観測信号から残響を除去する残響除去手段と、残響が除去された信号を元に本発明で提案する音響モデル構築装置で構築した音響モデルを音声認識対象となる観測信号に適応させる適応手段と、適応された音響モデルと残響除去手段で残響が除去された観測信号を用いて音声認識を行なう音声認識手段とを備え、乗法性歪みを学習した音響モデルを認識対象となる音声に適応させ、適応された音響モデルを用いて、乗法性歪みが付加された認識対象となる音声信号の音声認識を実行する。これにより、高い音声認識精度が得られるとする本発明の効果が得られる。
【実施例１】
【００１５】
図１に本発明による音響モデル構築方法を適用して動作する音響モデル構築装置と、本発明による音声認識方法を適用して動作する音声認識装置の実施例を示す。
図中１００は本発明による音響モデル構築装置、２００は本発明による音声認識装置を示す。本発明による音響モデル構築装置１００は残響除去手段１０１と、音響モデルパラメータ推定手段１０２とによって構成される。残響除去手段１０１には予め、音声認識対象とは別の環境において観測された音声信号を入力する。音声認識対象とは別の環境とは残響環境であることは無論のこと、クリーンな音声が得られる環境であってもよい。
【００１６】
残響除去手段１０１及び２０１の実施例を図２を参照して説明する。図２に示す実施例では基本波推定法、調波構造抽出処理等、特許文献１で提案されている手法と同じ手法を用いた場合を示す。残響を含む連続的な信号（図中観測音信号）が入力されると、ステップＳＰ−１で入力信号は分析窓と呼ばれる短時間（数１０ミリ秒）の信号区間（フレーム）に分割される。ステップＳＰ−２ではそれぞれのフレーム内で基本周波数推定処理が実行され、基本周波数Ｆ０及び調波構造が含まれたフレーム（調波構造区間）を推定する。
次に、ステップＳＰ−３では求められた基本周波数と調波構造区間を元に、調波成分抽出処理が実行され、調波成分を抽出する。最後にステップＳＰ−４で逆伝達関数を推定し、ステップＳＰ−５でその逆伝達関数を適用し、残響除去信号を得る。その後、逆伝達関数推定の精度を上げるために、残響が除去された出力信号を元に基本波を推定し、ステップＳＰ−１〜ＳＰ−５を複数回繰り返す方法が提案されているが、本発明でも同様に繰り返し処理を施すことが可能である。
【００１７】
本発明による音響モデル構築装置１００は上述した動作を実行する残響除去手段１０１と音響モデルパラメータ推定手段１０２とから構成され、入力を音声信号とし、音響モデルが出力される。先ず、入力された音声信号は、残響除去手段１０１に入り、図２を用いて説明した残響除去処理が施された音声信号として出力される。
その出力された音声信号は、音響モデルパラメータ推定手段１０２に入力され、音響モデルという形で出力される。音響モデルのパラメータ推定はオフラインで行われる。音響モデルのパラメータを推定する手段としては、従来手法を用いる。例えば、ＥＭ（Expectation Maximization）アルゴリズム等を用いることが可能である。
【００１８】
パラメータ推定のために、いくつかの残響環境下で観測された信号を残響除去した信号を用意した。例えば、認識対象である未知の残響環境を１．０秒の環境とした場合、その外に０．１秒、０．２秒、０．５秒、の残響下で観測され残響除去が施された音声信号を音響モデルパラメータ推定に用いる。
音声認識装置２００は図１に示したように残響除去手段２０１と音響モデル適応手段２０２と、音声認識手段２０３とによって構成することができる。残響除去手段２０１は音響モデル構築装置１００を構成する残響除去手段２０１とほぼ同一の構成の残響除去手段を用いることができる。残響が除去された音声信号は音響モデル適応手段２０２で音声認識対象となる音声信号で音響モデルの適応処理を施し、適応処理された音響モデルを用いて音声認識手段２０３は残響除去手段２０１で残響が除去された認識対象となる音声信号の音声認識処理を実行し、認識結果を出力する。
【００１９】
図３に図１に示した音響モデル適応手段２０２の詳細を示す。音響モデル適応手段２０２は音声認識手段２０２Ａと歪み除去手段２０２Ｂとによって構成される。歪み除去手段２０２Ｂは先に説明したＭＬＬＲ手法を適用するか、又はＭＬＬＲ手法とＣＭＮ手法とを組み合わせた手法を適用することができる。まず、何も適応を行っていない音響モデルを用いて認識実験を行い、認識結果（トランスクリプションともいう）を出力させる。そして、残響除去された音声と認識結果を用いて、歪み除去手段２０２Ｂを構成するＭＬＬＲが音響モデルの適応化を行い、入力音声に適用した音響モデルを出力する。
【００２０】
音響モデルの中では、平均μ０、分散σ０で表されるガウス分布がいくつも重なったガウス混合分布で一つの音素が表されている。ＭＬＬＲ手法は、このガウス分布の平均値μ０に、次式で表される変形を加える手法である。
μ＝Ｗ×μ０＋β （１）
μ０は変換前のガウス分布の平均値で、μは変換後のガウス分布の平均値である。入力のトランスクリプションに最も適応するように、式１中の未知のパラメータでるＷとβを最尤推定（Maximum likelihood estimation）で決定することで、線形写像を行なうことが可能となる。実際は、この処理をひとつひとつのガウス分布に行なうことはほとんどなく、いくつかの音素をまとめた音素クラスのすべての混合ガウス分布に対して、共通のＷとβを計算し、線形写像を行なう。
【００２１】
また、短い乗法性歪みを取り除くことを目的として、ＣＭＮを併用することも可能である。時間領域での乗法性の歪みは、ケプストラム領域では加法性歪みとなることが一般的に知られている。音声の変動に対して乗法性歪みの変動は充分に緩やかであり、また、クリーンな音声のケプストラムの平均値はゼロであるとした場合、乗法性歪みの付加された音声のケプストラムの平均は、含まれる乗法性歪みのケプストラムの平均を示す。そのため、観測音からケプストラム領域でケプストラムの時間平均を減算する事により、含まれる乗法性歪みを低減することが出来る。ＣＭＮを併用する場合は、音響モデル構築に用いられる音声及び、残響除去後の認識対象の音声共に、ＣＭＮを施す必要がある。
【実施例２】
【００２２】
図４に本発明の有効性を実証するための実施例を示す。この実施例では環境Ａ、Ｂ、Ｃ、Ｄの４つの残響環境をシミュレートした例を示す。例えばそれぞれの環境を残響時間が０．１秒、０．２秒、０．５秒、１．０秒に対応させ、環境Ｄが認識対象の未知の環境とした場合、環境Ａで観測された残響音声、環境Ｂで観測された残響音声、環境Ｃで観測された残響音声はそれぞれ残響除去手段１０１Ａ、１０１Ｂ、１０１Ｃで残響が除去され、残響が除去された音声Ａ、Ｂ、Ｃを用いて音響モデルパラメータ推定手段１０２でそれぞれの音響モデルのパラメータを予め推定しておく。次にオンライン環境Ｄで残響音声を観測し、残響除去手段２０１で残響除去を施し、この残響除去された認識対象音声を用いて音響モデルを環境Ｄに適応し、その環境Ｄに適応された音響モデルを用いて最終的な認識結果を得た。
【００２３】
本発明の効果を実証すべく、以下の条件で単語正解率を求めた。連続発話データベースから、男女一名の各５０３文を音源信号とし、可変残響室で測定した４種類のインパルス応答（残響時間が０．１、０．２、０．５、１．０秒）を畳み込んで観測信号を合成した。
図５は、本発明を適用して音声認識率改善を試みたときの単語正解率を示している。女性、男性ともに、それぞれの残響環境下で非常に高い単語正解率を示していることが見てとれる。
【００２４】
以上説明した音響モデル構築装置１００Ａ及び音声認識装置２００はハードウェアによって構成することも可能であるが、それよりむしろコンピュータに本発明による音響モデル構築プログラム及び音声認識プログラムをインストールし、コンピュータに音響モデル構築装置及び音声認識装置として機能させる実施形態が最も望ましい実施形態である。
本発明による音響モデル構築プログラム及び音声認識プログラムはコンピュータが解読可能なプログラム言語によって記述され、コンピュータが読み取り可能な例えば磁気ディスク或はＣＤ−ＲＯＭのような記録媒体に記録され、これらの記録媒体からコンピュータにインストールするか、或は通信回線を通じてインストールされ、コンピュータに備えられたＣＰＵに解読されて実行される。
【産業上の利用可能性】
【００２５】
本発明による音響モデル構築装置及び音声認識装置は残響除去を前処理として用いる音声認識システム、或は、残響の含まれた講演録音から、音声認識を用いて講演議事録を作成するシステム、或は、人が発した声に反応して機械にコマンドをわたす機械制御インターフェース、及び機械と人間の対話装置などに活用される。
【図面の簡単な説明】
【００２６】
【図１】この発明の一実施例を説明するためのブロック図。
【図２】図１に示した実施例で用いた残響除去手段の処理手順を説明するためのフローチャート。
【図３】図１に示した実施例で用いる音響モデル適応手段の詳細を説明するためのブロック図。
【図４】本発明の効果を実証するために行なった実施例を説明するためのブロック図。
【図５】図４に示した実施例で得られた単語正解精度を説明するための図。
【図６】従来技術の一例を説明するためのブロック図。
【図７】従来技術の他の例を説明するためのブロック図。
【図８】従来技術の更に他の例を説明するためのブロック図。
【図９】従来技術で得られる単語正解精度を説明するための図。
【符号の説明】
【００２７】
１００ 音響モデル構築装置 ２０１ 残響除去手段
１０１ 残響除去手段 ２０２ 音響モデル適応手段
１０２ 音響モデルパラメータ推定手段 ２０３ 音声認識手段
２００ 音声認識装置
【特許請求の範囲】
【請求項１】
音声認識対象とは別の環境において観測された音声信号に対し、
残響除去を施し、残響除去が施された音声信号の音響モデルパラメータを推定し、音響モデルパラメータの推定結果に従って音響モデルを構築することを特徴とする音響モデル構築方法。
【請求項２】
請求項１記載の音響モデル構築方法において、前記音声信号は残響を含む音声信号か、残響を含まないクリーンな音声信号の何れかであることを特徴とする音響モデル構築方法。
【請求項３】
音声認識対象となる観測信号から残響を除去する残響除去処理と、
残響が除去された信号を元に前記請求項１又は２の何れかに記載の音響モデル構築方法で構築した音響モデルを前記音声認識対象となる観測信号に適応させる適応処理と、
適応された音響モデルと前記残響除去処理で残響が除去された観測信号を用いて音声認識を行なう音声認識処理と、
を含むことを特徴とする音声認識方法。
【請求項４】
音声認識対象とは別の環境において観測された音声信号に対し残響処理を施す残響除去手段と、
残響除去手段で残響が除去された音声信号の音響モデルパラメータを推定処理する音響モデルパラメータ推定手段と、
音響モデルパラメータ推定手段の推定結果に従って音響モデルを構築する音響モデル構築手段と、
を備えることを特徴とする音響モデル構築装置。
【請求項５】
音声認識対象となる観測信号から残響を除去する残響除去手段と、
残響が除去された信号を元に前記請求項４記載の音響モデル構築装置で構築した音響モデルを前記音声認識対象となる観測信号に適応させる適応手段と、
適応された音響モデルと前記残響除去手段で残響が除去された観測信号を用いて音声認識を行なう音声認識手段と、
を備えることを特徴とする音声認識装置。
【請求項６】
コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項４記載の音響モデル構築装置として機能させる音響モデル構築プログラム。
【請求項７】
コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項５記載の音声認識装置として機能させる音声認識プログラム。
【請求項８】
コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に少なくとも請求項６又は７の何れかに記載の音響モデル構築プログラム又は音声認識プログラムを記録した記録媒体。
【請求項１】
音声認識対象とは別の環境において観測された音声信号に対し、
残響除去を施し、残響除去が施された音声信号の音響モデルパラメータを推定し、音響モデルパラメータの推定結果に従って音響モデルを構築することを特徴とする音響モデル構築方法。
【請求項２】
請求項１記載の音響モデル構築方法において、前記音声信号は残響を含む音声信号か、残響を含まないクリーンな音声信号の何れかであることを特徴とする音響モデル構築方法。
【請求項３】
音声認識対象となる観測信号から残響を除去する残響除去処理と、
残響が除去された信号を元に前記請求項１又は２の何れかに記載の音響モデル構築方法で構築した音響モデルを前記音声認識対象となる観測信号に適応させる適応処理と、
適応された音響モデルと前記残響除去処理で残響が除去された観測信号を用いて音声認識を行なう音声認識処理と、
を含むことを特徴とする音声認識方法。
【請求項４】
音声認識対象とは別の環境において観測された音声信号に対し残響処理を施す残響除去手段と、
残響除去手段で残響が除去された音声信号の音響モデルパラメータを推定処理する音響モデルパラメータ推定手段と、
音響モデルパラメータ推定手段の推定結果に従って音響モデルを構築する音響モデル構築手段と、
を備えることを特徴とする音響モデル構築装置。
【請求項５】
音声認識対象となる観測信号から残響を除去する残響除去手段と、
残響が除去された信号を元に前記請求項４記載の音響モデル構築装置で構築した音響モデルを前記音声認識対象となる観測信号に適応させる適応手段と、
適応された音響モデルと前記残響除去手段で残響が除去された観測信号を用いて音声認識を行なう音声認識手段と、
を備えることを特徴とする音声認識装置。
【請求項６】
コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項４記載の音響モデル構築装置として機能させる音響モデル構築プログラム。
【請求項７】
コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項５記載の音声認識装置として機能させる音声認識プログラム。
【請求項８】
コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に少なくとも請求項６又は７の何れかに記載の音響モデル構築プログラム又は音声認識プログラムを記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−９１７４３（Ｐ２００６−９１７４３Ａ）
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願番号】特願２００４−２８０２２８（Ｐ２００４−２８０２２８）
【出願日】平成１６年９月２７日（２００４．９．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願日】平成１６年９月２７日（２００４．９．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]