音声認識装置
【課題】 音声認識性能の低下防止。
【解決手段】 音声入力モニター部８で入力信号の一部が音声認識に不適当か否か検出し、不適当であれば、音声モデル尤度計算部４では当該区間における音響モデルの出力確率を、本来の確率値ｂから、｛ｂ｝a （但し０≦ａ＜１）、例えば１（ａ＝０のとき）に切り換えて音声モデル尤度を計算する。
【解決手段】 音声入力モニター部８で入力信号の一部が音声認識に不適当か否か検出し、不適当であれば、音声モデル尤度計算部４では当該区間における音響モデルの出力確率を、本来の確率値ｂから、｛ｂ｝a （但し０≦ａ＜１）、例えば１（ａ＝０のとき）に切り換えて音声モデル尤度を計算する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は音声認識性能の低下を防ぐように改善した音声認識装置に関し、例えば電話回線、移動体通信網及びインターネット等の回線経由での音声認識、また、自動車内やオフイス環境等におけるマイク入力での音声認識に適用して有用である。
【０００２】
【従来の技術】図２に従来の音声認識装置の構成を示す。この装置は音声入力部２と、音響分析部３と、格納部５、７と、探索部６と、音響モデルの尤度計算部１０を備える。
【０００３】格納部５には音響モデルとして、ＨＭＭ（隠れマルコフモデル）を多数格納してある。格納部７には文法と、辞書として登録した語等を格納してある。
【０００４】音声入力部２は通信回線やマイク等の入力ライン１から音声を入力し、その音声信号２ａを音響分析部３に与える。
【０００５】音響分析部３は音声信号２ａに対して例えば１０ms毎に２５ms程度の窓かけを行った上で、ＭＦＣＣ（メル・フリケンシー・ケプストラム・コエフィシエンシィー）等の音響分析により、音声信号２ａを特徴ベクトル列３ａに変換し、尤度計算部１０に与える。
【０００６】ここで、特徴ベクトル列３ａを｛ｘ１，ｘ２，…，ｘｎ，…，ｘＮ｝と表記する。ｘｎ（ｎ＝１〜Ｎ）は窓毎の個々の特徴ベクトルである。
【０００７】尤度計算部１０は個々の特徴ベクトルｘｎ（ｎ＝１〜Ｎ）毎に、特徴ベクトルｘｎに対する各音響モデル（ＨＭＭ）のアーク毎の尤度１０ａを計算し、探索部６に与える。
【０００８】アークとは、音響モデルにおいて、或る状態からこれと同じ又は異なる状態への遷移可能な経路を意味する。
【０００９】音響モデルのアーク毎の尤度１０ａは、或る状態が特徴ベクトルｘｎを出力する出力確率と、その状態から当該アークを通るであろう遷移確率との積で表される。通常は、計算の都合上、確率値の対数をとって対数尤度とし、和として演算することが多い。
【００１０】従って、対数尤度で表すと、［或るアークの尤度＝特徴ベクトルｘｎに対する対数出力尤度＋遷移確率の対数］となる。
【００１１】探索部６は音響モデルのアーク毎に計算された尤度１０ａを用い、Ｖｉｔｅｒｂｉ（ビタビ）探索等により、格納部７の文法と辞書を用いて、各状態の累積出力尤度を計算する。そして、探索が最終フレームに到達した時点で最も累積尤度が高かった単語系列を、認識結果９として出力する。
【００１２】ところで、音声は入力ライン１から音声認識装置へ入力するため、移動体通信におけるハンドオーバーや、インターネット電話によるパケット紛失、等のために音声信号が途切れることがある。このような音声信号の途切れは音声認識にとって不適当であるが、従来は正常な音声信号と同様に音響分析後の処理を行っていた。
【００１３】しかし、音声信号が途切れた部分では情報量がゼロであり、それに基づいて音響モデルの尤度を計算し探索を行った場合は、結果として偽の情報が与えられたに等しく、認識誤りが増大する。
【００１４】
【発明が解決しようとする課題】本発明の課題は、音声信号の途切れ等に対し、音声認識性能の低下を防止することができる音声認識装置を提供することである。
【００１５】
【課題を解決するための手段】上記課題を解決する発明は、入力信号の一部が音声認識に適当か否かを検出する音声入力モニター部と、音声入力モニター部の検出結果に応じて、音響モデルの出力確率を本来の確率値ｂと、｛ｂ｝a 但し０≦ａ＜１とに切り換えて音声モデル尤度を計算する音声モデル尤度計算部を備えることを特徴とする音声認識装置であり、好ましくは、ａ＝０とすることができる。
【００１６】また、音声入力モニター部は、入力信号の途切れ、オーバーフロー、あるいは、突発的な雑音を音声認識に不適当であると検出することができる。
【００１７】
【発明の実施の形態】図１に本発明の実施形態例に係る音声認識装置の構成を示す。この装置は音声入力部２と、音響分析部３と、音響モデルの尤度計算部４と、格納部５、７と、探索部６と、音声入力モニター部８を備える。
【００１８】格納部５には音響モデルとして、ＨＭＭ（隠れマルコフモデル）を多数格納してある。格納部７には文法と、辞書として登録した語等を格納してある。
【００１９】音声入力部２は通信回線やマイク等の入力ライン１から音声を入力し、その音声信号２ａを音響分析部３に与える。
【００２０】音声入力モニター部８は入力ライン１から音声を入力し、その信号の一部が音声認識に適当か否かを検出し、検出結果を付加情報８ａとして尤度計算部４に与える。
【００２１】音響分析部３は音声信号２ａに対して例えば、図３に示すように、１０ms毎に２５ms程度の窓かけを行った上で、ＭＦＣＣ（メル・フリケンシー・ケプストラム・コエフィシエンシィー）等の音響分析により、音声信号２ａを特徴ベクトル列３ａに変換し、尤度計算部４に与える。
【００２２】ここで、特徴ベクトル列３ａを図３に示すように、｛ｘ１，ｘ２，…，ｘｎ，…，ｘＮ｝と表記する。ｘｎ（ｎ＝１〜Ｎ）は窓毎の個々の特徴ベクトルである。
【００２３】尤度計算部４は個々の特徴ベクトルｘｎ（ｎ＝１〜Ｎ）毎に、特徴ベクトルｘｎに対する各音響モデル（ＨＭＭ）のアーク毎の尤度４ａを計算し、探索部６に与える。その際、尤度計算部４は音声入力モニター部８からの付加情報８ａに応じて、音響モデルの出力確率を本来の確率値ｂと、｛ｂ｝a とに切り換えて音声モデル尤度を計算する。但し、０≦ａ＜１、好ましくはａ＝０とする。
【００２４】ａ＝０の場合は、｛ｂ｝a ＝１であり、対数出力尤度でいえばゼロである。
【００２５】例えば、図４に示す音素「あ」の音響モデル／あ／の場合、入力信号が正常で音声認識に適当であれば、特徴ベクトルｘが入力したとき、／あ／の１状態目から１状態目に遷移する確率はａ11・ｂ1(x)と計算し、／あ／の１状態目から２状態目に遷移する確率はａ12・ｂ1(x)と計算する。
【００２６】これに対して、入力信号にオーバーフローや途切れがあって特徴ベクトルｘが音声認識に不適当であれば、情報量がゼロなので、｛ｂ1(x)｝0 ＝１と計算する。従って、／あ／の１状態目から１状態目に遷移する確率はａ11（＝ａ11・ｂ1(x)＝ａ11・｛ｂ1(x)｝0 ＝ａ11・１）と計算し、／あ／の１状態目から２状態目に遷移する確率はａ12（＝ａ12・ｂ1(x)＝ａ12・｛ｂ1(x)｝0 ＝ａ12・１）と計算する。なお、対数尤度で表すと、［或るアークの尤度＝遷移確率の対数］となる。つまり、特徴ベクトルｘｎに対する対数出力尤度は０である。
【００２７】このように情報量が０の信号区間に対する音響モデルの出力確率の値ｂを、全ての音響モデルにおいて等確率１とすることにより、情報量が０の信号は全く使わずに探索を行うので、認識誤りの増大を防止することができる。なお、０＜ａ＜１の場合は、ａが０に近いほど｛ｂ｝a が１に近くなり、音響モデルの出力確率を使わないことになる。
【００２８】オーバーフローの場合も、情報量が小さいので、同様の処理、例えばｂ＝１、または、｛ｂ｝a （但し、０≦ａ＜１）とすることにより、認識誤りの増大を防止することができる。
【００２９】通常は、計算の都合上、確率値の対数をとって対数尤度とし、和として演算することが多い。従って、対数尤度で表すと、［或るアークの尤度＝特徴ベクトルｘｎに対する対数出力尤度＋遷移確率の対数］となる。
【００３０】探索部６は音響モデルのアーク毎に計算された尤度４ａを用い、Ｖｉｔｅｒｂｉ（ビタビ）探索等により、格納部７の文法と辞書を用いて、各状態の累積出力尤度を計算する。そして、探索が最終フレームに到達した時点で最も累積尤度が高かった単語系列を、認識結果９として出力する。この探索においては、上述したように、入力信号の或る区間にオーバーフローや途切れがあって特徴ベクトルが音声認識に不適当であればその区間の特徴ベクトルを使わずに、パターンマッチング等の探索を行う。これにより、入力音声が途切れたこと等により、その区間の情報を使って誤った探索を行うことを、防ぐことができる。
【００３１】音声入力モニター部８は音声認識に不適当な信号区間として、入力音声の途切れ、あるいは、オーバーフロー、或いは、突発的雑音を検出する。
【００３２】入力音声の途切れについては、通信網の局から音声信号とは別に得られるハンドオーバー情報を検出し、あるいは、ネットワークから得られるパケットロス情報を検出し、あるいは、ＩＳＤＮ回線や国際回線における連続した０信号を検出し、あるいは、ＩＳＤＮ回線や国際回線における連続した定数情報を検出し、あるいは、特定の雑音信号を挿入する回線ではその特定雑音信号を検出することにより、入力音声の途切れを検出することができる。
【００３３】オーバーフローについては、音声入力部２に備えられるＡＤコンバータから得られるオーバーフロー情報を検出し、あるいは、音声入力部２での量子化時に量子化最大値が連続したことを検出することにより、オーバーフローを検出することができる。
【００３４】突発的雑音については、音声入力とは別に雑音測定用マイク等を用意しておき、このマイク等からサイレン音や踏切の警報音を検出することにより、突発的雑音を検出することができる。
【００３５】このような音声認識によれば、例えば、「アメリカのニューヨークをお願いします」というような発生を認識する電話音声認識装置においては、「アメリカ」という発声の中程に音声の途切れが０．１秒程度存在した場合、従来はエラー率が２２．８％になってしまうものが、３．６％のエラー率に低減した。
【００３６】
【発明の効果】以上より、本発明によれば、通信路におけるバースト誤り、突発的な雑音、入力系のオーバーフロー等が生じた場合でも、音声認識性能の低下を防止することができる。
【図面の簡単な説明】
【図１】本発明の実施形態例に係る音声認識装置の構成を示す図。
【図２】従来の音声認識装置の構成を示す図。
【図３】特徴ベクトルの説明図。
【図４】音響モデルの例を示す図。
【符号の説明】
１ 入力ライン
２ 音声入力部
３ 音響分析部
４ 音響モデル尤度計算部
５ 音響モデル格納部
６ 探索部
７ 文法・辞書格納部
８ 音声入力モニター部
９ 認識結果
【０００１】
【発明の属する技術分野】本発明は音声認識性能の低下を防ぐように改善した音声認識装置に関し、例えば電話回線、移動体通信網及びインターネット等の回線経由での音声認識、また、自動車内やオフイス環境等におけるマイク入力での音声認識に適用して有用である。
【０００２】
【従来の技術】図２に従来の音声認識装置の構成を示す。この装置は音声入力部２と、音響分析部３と、格納部５、７と、探索部６と、音響モデルの尤度計算部１０を備える。
【０００３】格納部５には音響モデルとして、ＨＭＭ（隠れマルコフモデル）を多数格納してある。格納部７には文法と、辞書として登録した語等を格納してある。
【０００４】音声入力部２は通信回線やマイク等の入力ライン１から音声を入力し、その音声信号２ａを音響分析部３に与える。
【０００５】音響分析部３は音声信号２ａに対して例えば１０ms毎に２５ms程度の窓かけを行った上で、ＭＦＣＣ（メル・フリケンシー・ケプストラム・コエフィシエンシィー）等の音響分析により、音声信号２ａを特徴ベクトル列３ａに変換し、尤度計算部１０に与える。
【０００６】ここで、特徴ベクトル列３ａを｛ｘ１，ｘ２，…，ｘｎ，…，ｘＮ｝と表記する。ｘｎ（ｎ＝１〜Ｎ）は窓毎の個々の特徴ベクトルである。
【０００７】尤度計算部１０は個々の特徴ベクトルｘｎ（ｎ＝１〜Ｎ）毎に、特徴ベクトルｘｎに対する各音響モデル（ＨＭＭ）のアーク毎の尤度１０ａを計算し、探索部６に与える。
【０００８】アークとは、音響モデルにおいて、或る状態からこれと同じ又は異なる状態への遷移可能な経路を意味する。
【０００９】音響モデルのアーク毎の尤度１０ａは、或る状態が特徴ベクトルｘｎを出力する出力確率と、その状態から当該アークを通るであろう遷移確率との積で表される。通常は、計算の都合上、確率値の対数をとって対数尤度とし、和として演算することが多い。
【００１０】従って、対数尤度で表すと、［或るアークの尤度＝特徴ベクトルｘｎに対する対数出力尤度＋遷移確率の対数］となる。
【００１１】探索部６は音響モデルのアーク毎に計算された尤度１０ａを用い、Ｖｉｔｅｒｂｉ（ビタビ）探索等により、格納部７の文法と辞書を用いて、各状態の累積出力尤度を計算する。そして、探索が最終フレームに到達した時点で最も累積尤度が高かった単語系列を、認識結果９として出力する。
【００１２】ところで、音声は入力ライン１から音声認識装置へ入力するため、移動体通信におけるハンドオーバーや、インターネット電話によるパケット紛失、等のために音声信号が途切れることがある。このような音声信号の途切れは音声認識にとって不適当であるが、従来は正常な音声信号と同様に音響分析後の処理を行っていた。
【００１３】しかし、音声信号が途切れた部分では情報量がゼロであり、それに基づいて音響モデルの尤度を計算し探索を行った場合は、結果として偽の情報が与えられたに等しく、認識誤りが増大する。
【００１４】
【発明が解決しようとする課題】本発明の課題は、音声信号の途切れ等に対し、音声認識性能の低下を防止することができる音声認識装置を提供することである。
【００１５】
【課題を解決するための手段】上記課題を解決する発明は、入力信号の一部が音声認識に適当か否かを検出する音声入力モニター部と、音声入力モニター部の検出結果に応じて、音響モデルの出力確率を本来の確率値ｂと、｛ｂ｝a 但し０≦ａ＜１とに切り換えて音声モデル尤度を計算する音声モデル尤度計算部を備えることを特徴とする音声認識装置であり、好ましくは、ａ＝０とすることができる。
【００１６】また、音声入力モニター部は、入力信号の途切れ、オーバーフロー、あるいは、突発的な雑音を音声認識に不適当であると検出することができる。
【００１７】
【発明の実施の形態】図１に本発明の実施形態例に係る音声認識装置の構成を示す。この装置は音声入力部２と、音響分析部３と、音響モデルの尤度計算部４と、格納部５、７と、探索部６と、音声入力モニター部８を備える。
【００１８】格納部５には音響モデルとして、ＨＭＭ（隠れマルコフモデル）を多数格納してある。格納部７には文法と、辞書として登録した語等を格納してある。
【００１９】音声入力部２は通信回線やマイク等の入力ライン１から音声を入力し、その音声信号２ａを音響分析部３に与える。
【００２０】音声入力モニター部８は入力ライン１から音声を入力し、その信号の一部が音声認識に適当か否かを検出し、検出結果を付加情報８ａとして尤度計算部４に与える。
【００２１】音響分析部３は音声信号２ａに対して例えば、図３に示すように、１０ms毎に２５ms程度の窓かけを行った上で、ＭＦＣＣ（メル・フリケンシー・ケプストラム・コエフィシエンシィー）等の音響分析により、音声信号２ａを特徴ベクトル列３ａに変換し、尤度計算部４に与える。
【００２２】ここで、特徴ベクトル列３ａを図３に示すように、｛ｘ１，ｘ２，…，ｘｎ，…，ｘＮ｝と表記する。ｘｎ（ｎ＝１〜Ｎ）は窓毎の個々の特徴ベクトルである。
【００２３】尤度計算部４は個々の特徴ベクトルｘｎ（ｎ＝１〜Ｎ）毎に、特徴ベクトルｘｎに対する各音響モデル（ＨＭＭ）のアーク毎の尤度４ａを計算し、探索部６に与える。その際、尤度計算部４は音声入力モニター部８からの付加情報８ａに応じて、音響モデルの出力確率を本来の確率値ｂと、｛ｂ｝a とに切り換えて音声モデル尤度を計算する。但し、０≦ａ＜１、好ましくはａ＝０とする。
【００２４】ａ＝０の場合は、｛ｂ｝a ＝１であり、対数出力尤度でいえばゼロである。
【００２５】例えば、図４に示す音素「あ」の音響モデル／あ／の場合、入力信号が正常で音声認識に適当であれば、特徴ベクトルｘが入力したとき、／あ／の１状態目から１状態目に遷移する確率はａ11・ｂ1(x)と計算し、／あ／の１状態目から２状態目に遷移する確率はａ12・ｂ1(x)と計算する。
【００２６】これに対して、入力信号にオーバーフローや途切れがあって特徴ベクトルｘが音声認識に不適当であれば、情報量がゼロなので、｛ｂ1(x)｝0 ＝１と計算する。従って、／あ／の１状態目から１状態目に遷移する確率はａ11（＝ａ11・ｂ1(x)＝ａ11・｛ｂ1(x)｝0 ＝ａ11・１）と計算し、／あ／の１状態目から２状態目に遷移する確率はａ12（＝ａ12・ｂ1(x)＝ａ12・｛ｂ1(x)｝0 ＝ａ12・１）と計算する。なお、対数尤度で表すと、［或るアークの尤度＝遷移確率の対数］となる。つまり、特徴ベクトルｘｎに対する対数出力尤度は０である。
【００２７】このように情報量が０の信号区間に対する音響モデルの出力確率の値ｂを、全ての音響モデルにおいて等確率１とすることにより、情報量が０の信号は全く使わずに探索を行うので、認識誤りの増大を防止することができる。なお、０＜ａ＜１の場合は、ａが０に近いほど｛ｂ｝a が１に近くなり、音響モデルの出力確率を使わないことになる。
【００２８】オーバーフローの場合も、情報量が小さいので、同様の処理、例えばｂ＝１、または、｛ｂ｝a （但し、０≦ａ＜１）とすることにより、認識誤りの増大を防止することができる。
【００２９】通常は、計算の都合上、確率値の対数をとって対数尤度とし、和として演算することが多い。従って、対数尤度で表すと、［或るアークの尤度＝特徴ベクトルｘｎに対する対数出力尤度＋遷移確率の対数］となる。
【００３０】探索部６は音響モデルのアーク毎に計算された尤度４ａを用い、Ｖｉｔｅｒｂｉ（ビタビ）探索等により、格納部７の文法と辞書を用いて、各状態の累積出力尤度を計算する。そして、探索が最終フレームに到達した時点で最も累積尤度が高かった単語系列を、認識結果９として出力する。この探索においては、上述したように、入力信号の或る区間にオーバーフローや途切れがあって特徴ベクトルが音声認識に不適当であればその区間の特徴ベクトルを使わずに、パターンマッチング等の探索を行う。これにより、入力音声が途切れたこと等により、その区間の情報を使って誤った探索を行うことを、防ぐことができる。
【００３１】音声入力モニター部８は音声認識に不適当な信号区間として、入力音声の途切れ、あるいは、オーバーフロー、或いは、突発的雑音を検出する。
【００３２】入力音声の途切れについては、通信網の局から音声信号とは別に得られるハンドオーバー情報を検出し、あるいは、ネットワークから得られるパケットロス情報を検出し、あるいは、ＩＳＤＮ回線や国際回線における連続した０信号を検出し、あるいは、ＩＳＤＮ回線や国際回線における連続した定数情報を検出し、あるいは、特定の雑音信号を挿入する回線ではその特定雑音信号を検出することにより、入力音声の途切れを検出することができる。
【００３３】オーバーフローについては、音声入力部２に備えられるＡＤコンバータから得られるオーバーフロー情報を検出し、あるいは、音声入力部２での量子化時に量子化最大値が連続したことを検出することにより、オーバーフローを検出することができる。
【００３４】突発的雑音については、音声入力とは別に雑音測定用マイク等を用意しておき、このマイク等からサイレン音や踏切の警報音を検出することにより、突発的雑音を検出することができる。
【００３５】このような音声認識によれば、例えば、「アメリカのニューヨークをお願いします」というような発生を認識する電話音声認識装置においては、「アメリカ」という発声の中程に音声の途切れが０．１秒程度存在した場合、従来はエラー率が２２．８％になってしまうものが、３．６％のエラー率に低減した。
【００３６】
【発明の効果】以上より、本発明によれば、通信路におけるバースト誤り、突発的な雑音、入力系のオーバーフロー等が生じた場合でも、音声認識性能の低下を防止することができる。
【図面の簡単な説明】
【図１】本発明の実施形態例に係る音声認識装置の構成を示す図。
【図２】従来の音声認識装置の構成を示す図。
【図３】特徴ベクトルの説明図。
【図４】音響モデルの例を示す図。
【符号の説明】
１ 入力ライン
２ 音声入力部
３ 音響分析部
４ 音響モデル尤度計算部
５ 音響モデル格納部
６ 探索部
７ 文法・辞書格納部
８ 音声入力モニター部
９ 認識結果
【特許請求の範囲】
【請求項１】 入力信号の一部が音声認識に適当か否かを検出する音声入力モニター部と、音声入力モニター部の検出結果に応じて、音響モデルの出力確率を本来の確率値ｂと、｛ｂ｝a 但し０≦ａ＜１とに切り換えて音声モデル尤度を計算する音声モデル尤度計算部を備えることを特徴とする音声認識装置。
【請求項２】 ａ＝０である請求項１記載の音声認識装置。
【請求項３】 音声入力モニター部は入力信号の途切れが音声認識に不適当であると検出することを特徴とする請求項１記載の音声認識装置。
【請求項４】 音声入力モニター部は入力信号のオーバーフローが音声認識に不適当であると検出することを特徴とする請求項１記載の音声認識装置。
【請求項５】 音声入力モニター部は突発的な雑音が音声認識に不適当であると検出することを特徴とする請求項１記載の音声認識装置。
【請求項１】 入力信号の一部が音声認識に適当か否かを検出する音声入力モニター部と、音声入力モニター部の検出結果に応じて、音響モデルの出力確率を本来の確率値ｂと、｛ｂ｝a 但し０≦ａ＜１とに切り換えて音声モデル尤度を計算する音声モデル尤度計算部を備えることを特徴とする音声認識装置。
【請求項２】 ａ＝０である請求項１記載の音声認識装置。
【請求項３】 音声入力モニター部は入力信号の途切れが音声認識に不適当であると検出することを特徴とする請求項１記載の音声認識装置。
【請求項４】 音声入力モニター部は入力信号のオーバーフローが音声認識に不適当であると検出することを特徴とする請求項１記載の音声認識装置。
【請求項５】 音声入力モニター部は突発的な雑音が音声認識に不適当であると検出することを特徴とする請求項１記載の音声認識装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００１−１００７８２（Ｐ２００１−１００７８２Ａ）
【公開日】平成１３年４月１３日（２００１．４．１３）
【国際特許分類】
【出願番号】特願平１１−２７４２２３
【出願日】平成１１年９月２８日（１９９９．９．２８）
【出願人】（０００２０８８９１）株式会社ディーディーアイ (2,700)
【Ｆターム（参考）】
【公開日】平成１３年４月１３日（２００１．４．１３）
【国際特許分類】
【出願日】平成１１年９月２８日（１９９９．９．２８）
【出願人】（０００２０８８９１）株式会社ディーディーアイ (2,700)
【Ｆターム（参考）】
[ Back to top ]