音素認識装置および音素認識方法
【目的】入力音が極めて効率よく計算、分析され、精度よく音素認識されること。
【構成】図１は本発明の音素認識装置を示す構成図で、入力音の分析手段２、セグメンテーション(SG)・大分類ニューラルネットワーク（NN) ３、SG・大分類認識手段４、細分類選択・駆動手段５、細分類NN 6、細分類認識手段７、認識音素８とから成る。入力音の音素を認識するため、まず大分類NNのみを駆動してSGと大分類認識を同時に行い、大分類されたSG区間について細分類認識のために必要な細分類NNのみを選択・駆動して最終的な細かい音素認識を行う構成とする。
【構成】図１は本発明の音素認識装置を示す構成図で、入力音の分析手段２、セグメンテーション(SG)・大分類ニューラルネットワーク（NN) ３、SG・大分類認識手段４、細分類選択・駆動手段５、細分類NN 6、細分類認識手段７、認識音素８とから成る。入力音の音素を認識するため、まず大分類NNのみを駆動してSGと大分類認識を同時に行い、大分類されたSG区間について細分類認識のために必要な細分類NNのみを選択・駆動して最終的な細かい音素認識を行う構成とする。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は音素抽出手段により入力音声を音素単位で認識する音声認識装置に関し、特にニューラルネットワーク（神経回路網）を用いた音素認識装置に関するものであって、システムのボイスコマンド入力装置等に用いられる。
【０００２】
【従来の技術】近年、音声入力を音素単位で認識することにより、単語音声のみならず、連続した文音声を認識可能とする技術の開発が多数試みられている。特に、ニューラルネットワークを用いて音素認識する従来方式として、例えば特開平3-120600号公報に記載のものがある。これは、図６(a) に示すような入力層９１を共通としたＴＤＮＮ（Time Delay Neural Network ）と呼ばれる多数のニューラルネットワーク９２ａ〜９２ｉと、これを統合するニューラルネットワーク９３と、２４音素を識別出力できる出力層９４とから成る、全体ニューラルネットワークを図６(b) に示すように１フレーム周期で時間的にシフトさせながら駆動し、その出力値時系列によって入力音声中の音素（音韻）をスポッティング（特定）し、認識しようとするものである。
【０００３】
【発明が解決しようとする課題】しかしながら、前述ニューラルネットワークは、極めて大規模であり、一般に１フレームにつき10msec前後の周期毎に行うニューラルネットワークの計算・処理量は極めて膨大であり、１秒以内のリアルタイムで認識応答させようとしても困難である。これを達成するには大規模ニューラルネットワークを構築可能な極めて小型のニューロンチップのようなハードウエア素子を必要とするが、これはいまだ開発段階にあり、入手は不可能である。従って現段階では、例えば高速浮動小数点演算素子を複数個搭載したアクセラレータボードを多数枚用いて、分散・並列処理させるといった、極めて大規模なコンピュータハードウエアが必要となるという問題があった。本発明は上記問題点に鑑みてなされたものであり、音素抽出手段としてニューラルネットワークを用いた音素認識方式において、認識性能が同等以上でかつ音素認識のための計算・処理量が少なく、よって必要とするハードウエア規模が少なくて済む、より実用性の高い音素認識装置・方法を提供することを目的とするものである。
【０００４】
【課題を解決するための手段】上記の課題を解決するため第一発明の構成は、ニューラルネットワークを用いた音素認識装置において、入力音を所定のフレーム周期ごとに分析して複数個の特徴パラメータを求める分析手段と、前記特徴パラメータを時間的にフレーム単位でずらしながら、所定フレーム数分とった特徴パラメータ系列が入力されて、該入力音をセグメンテーションすると同時に、音素の大分類認識を行うのに必要な出力値を得るセグメンテーション・大分類ニューラルネットワークと、同じく前記特徴パラメータ系列が入力されて音素の細分類認識を行うのに必要な出力値を得る複数個の細分類ニューラルネットワークより成る細分類ニューラルネットワーク群と、前記セグメンテーション・大分類ニューラルネットワークの出力値をもとに該入力音をセグメンテーションすると同時に、音素の大分類を行うセグメンテーション・大分類認識手段と、このセグメンテーション・大分類結果に基づいて、該当する細分類ニューラルネットワーク群より逐次選択すると同時に、セグメンテーションされた区間について駆動する細分類ニューラルネットワーク選択・駆動手段と、前記細分類ニューラルネットワーク群の出力値をもとに該入力音に対応した認識音素列を得る細分類認識手段とから構成されることを特徴とする。
【０００５】また第二発明の構成は、ニューラルネットワークを用いた入力音の音素認識方法において、該入力音を所定のフレーム周期ごとに分析して複数個の該フレームの特徴パラメータを求め、前記特徴パラメータを時間的にフレーム単位でずらしながら、所定フレーム数分とった特徴パラメータ系列をセグメンテーション・大分類音素抽出手段に入力して該入力音をセグメンテーションすると同時に音素の大分類認識を行い、該セグメンテーション・大分類認識の結果に基づいて、該当する細分類音素抽出手段を逐次選択すると同時に、セグメンテーションされた区間について前記細分類音素抽出手段を駆動し、当該区間の前記特徴パラメータ系列を基に音素の細分類認識を行い、前記細分類認識の出力値をもとに該入力音に対応した認識音素列を得ることを特徴とする。
【０００６】
【作用】入力音は、まず分析手段において音素認識装置で分析可能な信号系列に変換され、次にその信号系列データ全体が大きい特徴に分類され、それによって把握された特徴を基にしてさらに細かく分類されて、個々の音素に特定される。
【０００７】
【発明の効果】上記構成により、本発明においては、セグメンテーション・大分類ニューラルネットワークのみを，入力音、とくに入力音声中の全区間に渡って駆動し、また大分類されたセグメンテーション区間について、細分類ニューラルネットワーク群の該当する一つの細分類ニューラルネットワークが逐次選択・駆動されるのみであることから、従来の、すべてのニューラルネットワークを全区間駆動して音素認識を行う場合に比べて、ニューラルネットワークの計算、処理量は大幅に低減され、必要とするハードウエア規模も小さくて済み、より実用性の高い音素を認識単位とした音声認識装置の実現を可能にするという優れた効果がある。またこの音素認識方法を採用することにより、効率的な音素認識が実現する。
【０００８】
【実施例】以下、本発明を具体的な実施例に基づいて説明する。図１は本発明の一実施例における音素認識方式の全体を示す構成図である。まず分析手段２に対して入力音声１が入力される。分析手段２では入力音声１を１フレーム10msec周期ごとに20msecの区間で１５次のＬＰＣ（線型予測）分析を行い、 線型予測係数α1,α2,…… ,α15と残差パワーＥを求める。そしてこのデータによりパワー項Ｃ0 を含むケプストラム係数Ｃn （０≦ｎ≦１５）を以下に示す数１式および数２式で算出する。
【数１】
【数２】Ｃ0 ＝ ｌｏｇ Ｅ
【０００９】続いて、このケプストラム係数Ｃn を−１から＋１までの範囲内に正規化して特徴パラメータＰn ( 0≦ｎ≦15）とし、この特徴パラメータＰn をフレームｆごとに求めた特徴パラメータＰnf系列を得る（分析手段２）。そして、この特徴パラメータＰnfを所定フレーム数ｍ分Ｐnf-m〜Ｐnfをセグメンテーション・大分類ニューラルネットワーク３に入力し、その出力としてＯVf' , ＯSf' , ……,ＯUf' を得る。
【００１０】ここで、ニューラルネットワーク３は図２(a) に示すような多層パーセプトロン型ニューラルネットワークで、入力層２１は所定フレーム数分の特徴パラメータ数に等しいニューロン数よりなり、中間１層２２、中間２層２３、出力層２４の４層構造で、各層のニューロンは前後層のニューロンと全結合した構造をしている。
【００１１】また、音素を図３の様に大分類し、その大分類音素記号を、Ｖ，Ｓ，Ｚ，Ｐ，Ｍ，Ｂ，Ｕの７つとする。この意味は例えば母音ａｉｕｅｏの５つの音素はひとまとめにＶとして大きく分類して取り扱うということである。その他各子音についても同様に大きく分類しておく。そして、図２(a) のニューラルネットワークの出力層２４は、この大分類音素Ｖ〜Ｕに対応した出力ＯV , ＯS , ……, ＯUを得るための出力ニューロンより構成されている。さらにこのニューラルネットワークは母音Ｖの特徴パラメータ系列が入力された時には、出力ＯV が１で、その他の出力が０となるように、また、大分類子音Ｓの特徴パラメータ系列が入力された時には、出力ＯS が１で、その他の出力が０となるように、同時に全ての音素および無音データによって予め内部の重み係数が学習されている。学習方法は多層パーセプトロン型ニューラルネットワークでよく用いられる周知のエラーバックプロパゲーション法またはその他の方法により行う。
【００１２】入力される特徴パラメータ系列のフレーム位置と、出力値を得るフレーム位置との関係は、図２(b) に示すように、入力フレーム幅のほぼ中間フレーム位置で出力値を得るように設定されている。これは着目しているフレームにおける抽出したい音素の特徴は、その音素の前後の音素との絡みがあると考えられるので前後のフレームも調べることに相当する。本実施例では入力フレーム数を１０フレームにとり、最新の入力フレームをｆとした場合、ｆ−４フレーム目に出力値が得られるようにしており、前述のニューラルネットワーク３の出力フレームｆ’はｆ−４を示している。
【００１３】図１において、このようにして得られたセグメンテーション・大分類ニューラルネットワーク３の出力値時系列に対して、セグメンテーション・大分類認識手段４で、フレームごとの各出力値を所定のしきい値と比較し、そのしきい値を越えたもの、あるいは最大出力となったものを選択して、その出力値に対応する大分類音素記号に置き換える。それで各フレームごとの大分類音素記号列が得られる。さらに、この大分類音素記号列に対してスムージング・整形処理を行ってセグメンテーション・大分類記号列を得る。つまり、時系列での同じ音素がまとまっていることを明確にするセグメント化（区分）が行われ、各区分の中身は音素が大雑把に区分けされている訳である。
【００１４】以上のようなセグメンテーション・大分類方式の音素認識方式を用いて、入力音声１の例として「ポプラ並木（ＰＯＰＵＲＡＮＡＭＩＫＩ）」を分析した結果を図４に示す。まず、入力音声の音声波形１ａを、前述したように10msecごとにＬＰＣ分析して、得られた特徴パラメータ系列の10フレーム分が１フレームずつシフトされながらニューラルネットワークに入力され、このときのフレームごとの出力値（０〜１の規格値範囲）が図４の３１〜３７として示されている。この各出力値は各々のしきい値３１ａ〜３７ａと比較され、しきい値を越えた出力について、対応する大分類音素記号に置き換えられ、出力選択後の大分類音素列４１として得られている。ここで、しきい値３１ａ〜３７ａは実験的に求められた値である。また各フレームにおいて、いずれの出力もしきい値を越えなかった場合を＊印にて示している。
【００１５】一般的に、ある音素から音素に遷移する場合、人間の発生器官は急激に変化することができず、いずれの音素とも特定しがたい過渡的な部分を伴って発声されるものであるが、この＊印フレームがそのような過渡的な部分を示すものである。また、音声の語尾には呼気音と呼ばれるものを伴うことが多いが、この呼気音部も＊印にて検出されている。ここで、前後は他の同一音素で、一箇所だけ単発的に生じているような、大分類音素列４１中の丸印で示したＭやＢは、前後の音素と同じものとみなして修正する等のスムージング・整形処理を行うことによって、セグメンテーション・大分類音素４２を得ている。即ち、この大分類音素列４２を見てわかるように、入力音声「ポプラ並木」が大分類音素記号Ｕ，Ｐ，Ｖ等の同一記号の並びによって音素区間が明確に区分（セグメンテーション）されると同時に音素の大分類認識が行われている。
【００１６】さらにこのセグメンテーション・大分類の結果を基に、図１に示す細分類ニューラルネットワーク選択・駆動手段５は、大分類音素記号で示される各フレーム区間をさらに細分類認識するための細分類ニューラルネットワーク６ａ〜６ｆより成る細分類ニューラルネットワーク群６の中から、対応する細分類ニューラルネットワークを選択し、対応するフレーム区間についてのみ、大分類ニューラルネットワークと同様に駆動、即ち、該当する区間の特徴パラメータを入力してニューラルネットワークの計算、処理を行わせる。つまり、図４の大分類音素記号列４２の、例えばＰと大分類された最初の区間は細分類ニューラルネットワークＰ（図１の６ｄ）を選択し、対応するフレームの特徴パラメータを入力して細分類ニューラルネットワークＰの出力値を得るように駆動する。
【００１７】ここで、細分類ニューラルネットワーク６ａ〜６ｆは、一例として図５に示した、母音Ｖを細分類するニューラルネットワークＶで示すように、図２(a) に示すセグメンテーション・大分類ニューラルネットワーク３と同種の構造の多層パーセプトロン型ニューラルネットワークを用いている。従って図３の一覧からわかるように、細分類の出力層の数は各ニューラルネットワークによって異なり、例えば大分類音素記号Ｚの細分類では、出力はＯz , Ｏh の２つしかない。
【００１８】そして、図１に示す細分類認識手段７は、前述したセグメンテーション・大分類認識手段４と同様にフレームの各出力値（この場合Ｏp , Ｏt , Ｏk ）と各々のしきい値を越えたもの、あるいは最大出力となったものを選択してその出力に対応した細分類音素記号６１（この場合ｐｐｐｔ……）を得、さらにこのｐ区間内で最多出現回数のｐをこの区間の最終的な認識音素８として出力する。以下同様に、次のＶと大分類された区間は細分類ニューラルネットワークＶ（図１の６ａ）を選択・駆動し、認識音素Ｏを出力する、という処理を行ってゆき、入力音声に対応した認識音素列８を得るというものである。
【００１９】なお、半母音音素ｙおよびｗは母音ｖとして大分類し、例えばその細分類認識結果が「ｉｅａ」または「ｅａ」といった連続母音列として出現した場合は、これを「ｙａ」と認識出力し、また他に「ｏａ」または「ｕａ」といった連続母音として出現した場合は、これを「ｗａ」として認識出力する、というような現実に対応させたルール処理を図１の細分類認識手段７にて行うようにしている。また、無音のデータに対しては細分類するまでもないので、大分類ニューラルネットワークの出力層２４より得られた出力ＯU のしきい値以上の結果をそのまま保持し、細分類データに無音時間のデータとして付加される。
【００２０】なお、上記実施例は本発明の一実施例を示すものであり、本発明はこれに限定されるものではない。例えば、特徴パラメータとしてケプストラム係数以外のものとして、所定周波数のスペクトル相当値を用いても良い。フレーム数もフレーム周期も必要とするシステムによって自由に設定、変更できる。個々のニューラルネットワークとしても全結合型の多層パーセプトロン以外の、例えば前述ＴＤＮＮ、あるいは他の構造のニューラルネットワークを用いても良い。
【００２１】以上説明したように、音素を認識するためのニューラルネットとして、まず大分類ニューラルネットワークを駆動してセグメンテーションと大分類認識を同時に行い、大分類されたセグメンテーション区間について細分類認識のために必要な細分類ニューラルネットワークのみを選択・駆動して最終的な細かい音素認識を行う構成とすることにより、計算・処理量の大きいニューラルネットワーク処理が極めて効率よく行えると同時に、精度よく音素認識されることがわかる。
【図面の簡単な説明】
【図１】本発明の音素認識方式の全体のブロック構成図。
【図２】大分類のニューラルネットワークの構成図。
【図３】大分類音素記号の対応図。
【図４】実際の分析しデータ一覧図。
【図５】細分類のニューラルネットワークの構成図。
【図６】従来の音素認識方式を示す構成図。
【符号の説明】
１ 入力音声（被分析音声データ）
２ 分析手段
３ セグメンテーション・大分類ニューラルネットワーク（セグメンテーション・大分類音素抽出手段）
４ セグメンテーション・大分類認識手段
５ 細分類ニューラルネットワーク選択・駆動手段
６ 細分類ニューラルネットワーク群（細分類音素抽出手段）
７ 細分類認識手段
８ 認識音素列（細分類結果、分析結果データ）
２１ 入力層
２２ 中間１層
２３ 中間２層
２４ 出力層
３１〜３７ セグメンテーション・大分類ニューラルネットワーク出力
４１、４２ セグメンテーション・大分類結果
６１ 細分類ニューラルネット出力選択結果
【０００１】
【産業上の利用分野】本発明は音素抽出手段により入力音声を音素単位で認識する音声認識装置に関し、特にニューラルネットワーク（神経回路網）を用いた音素認識装置に関するものであって、システムのボイスコマンド入力装置等に用いられる。
【０００２】
【従来の技術】近年、音声入力を音素単位で認識することにより、単語音声のみならず、連続した文音声を認識可能とする技術の開発が多数試みられている。特に、ニューラルネットワークを用いて音素認識する従来方式として、例えば特開平3-120600号公報に記載のものがある。これは、図６(a) に示すような入力層９１を共通としたＴＤＮＮ（Time Delay Neural Network ）と呼ばれる多数のニューラルネットワーク９２ａ〜９２ｉと、これを統合するニューラルネットワーク９３と、２４音素を識別出力できる出力層９４とから成る、全体ニューラルネットワークを図６(b) に示すように１フレーム周期で時間的にシフトさせながら駆動し、その出力値時系列によって入力音声中の音素（音韻）をスポッティング（特定）し、認識しようとするものである。
【０００３】
【発明が解決しようとする課題】しかしながら、前述ニューラルネットワークは、極めて大規模であり、一般に１フレームにつき10msec前後の周期毎に行うニューラルネットワークの計算・処理量は極めて膨大であり、１秒以内のリアルタイムで認識応答させようとしても困難である。これを達成するには大規模ニューラルネットワークを構築可能な極めて小型のニューロンチップのようなハードウエア素子を必要とするが、これはいまだ開発段階にあり、入手は不可能である。従って現段階では、例えば高速浮動小数点演算素子を複数個搭載したアクセラレータボードを多数枚用いて、分散・並列処理させるといった、極めて大規模なコンピュータハードウエアが必要となるという問題があった。本発明は上記問題点に鑑みてなされたものであり、音素抽出手段としてニューラルネットワークを用いた音素認識方式において、認識性能が同等以上でかつ音素認識のための計算・処理量が少なく、よって必要とするハードウエア規模が少なくて済む、より実用性の高い音素認識装置・方法を提供することを目的とするものである。
【０００４】
【課題を解決するための手段】上記の課題を解決するため第一発明の構成は、ニューラルネットワークを用いた音素認識装置において、入力音を所定のフレーム周期ごとに分析して複数個の特徴パラメータを求める分析手段と、前記特徴パラメータを時間的にフレーム単位でずらしながら、所定フレーム数分とった特徴パラメータ系列が入力されて、該入力音をセグメンテーションすると同時に、音素の大分類認識を行うのに必要な出力値を得るセグメンテーション・大分類ニューラルネットワークと、同じく前記特徴パラメータ系列が入力されて音素の細分類認識を行うのに必要な出力値を得る複数個の細分類ニューラルネットワークより成る細分類ニューラルネットワーク群と、前記セグメンテーション・大分類ニューラルネットワークの出力値をもとに該入力音をセグメンテーションすると同時に、音素の大分類を行うセグメンテーション・大分類認識手段と、このセグメンテーション・大分類結果に基づいて、該当する細分類ニューラルネットワーク群より逐次選択すると同時に、セグメンテーションされた区間について駆動する細分類ニューラルネットワーク選択・駆動手段と、前記細分類ニューラルネットワーク群の出力値をもとに該入力音に対応した認識音素列を得る細分類認識手段とから構成されることを特徴とする。
【０００５】また第二発明の構成は、ニューラルネットワークを用いた入力音の音素認識方法において、該入力音を所定のフレーム周期ごとに分析して複数個の該フレームの特徴パラメータを求め、前記特徴パラメータを時間的にフレーム単位でずらしながら、所定フレーム数分とった特徴パラメータ系列をセグメンテーション・大分類音素抽出手段に入力して該入力音をセグメンテーションすると同時に音素の大分類認識を行い、該セグメンテーション・大分類認識の結果に基づいて、該当する細分類音素抽出手段を逐次選択すると同時に、セグメンテーションされた区間について前記細分類音素抽出手段を駆動し、当該区間の前記特徴パラメータ系列を基に音素の細分類認識を行い、前記細分類認識の出力値をもとに該入力音に対応した認識音素列を得ることを特徴とする。
【０００６】
【作用】入力音は、まず分析手段において音素認識装置で分析可能な信号系列に変換され、次にその信号系列データ全体が大きい特徴に分類され、それによって把握された特徴を基にしてさらに細かく分類されて、個々の音素に特定される。
【０００７】
【発明の効果】上記構成により、本発明においては、セグメンテーション・大分類ニューラルネットワークのみを，入力音、とくに入力音声中の全区間に渡って駆動し、また大分類されたセグメンテーション区間について、細分類ニューラルネットワーク群の該当する一つの細分類ニューラルネットワークが逐次選択・駆動されるのみであることから、従来の、すべてのニューラルネットワークを全区間駆動して音素認識を行う場合に比べて、ニューラルネットワークの計算、処理量は大幅に低減され、必要とするハードウエア規模も小さくて済み、より実用性の高い音素を認識単位とした音声認識装置の実現を可能にするという優れた効果がある。またこの音素認識方法を採用することにより、効率的な音素認識が実現する。
【０００８】
【実施例】以下、本発明を具体的な実施例に基づいて説明する。図１は本発明の一実施例における音素認識方式の全体を示す構成図である。まず分析手段２に対して入力音声１が入力される。分析手段２では入力音声１を１フレーム10msec周期ごとに20msecの区間で１５次のＬＰＣ（線型予測）分析を行い、 線型予測係数α1,α2,…… ,α15と残差パワーＥを求める。そしてこのデータによりパワー項Ｃ0 を含むケプストラム係数Ｃn （０≦ｎ≦１５）を以下に示す数１式および数２式で算出する。
【数１】
【数２】Ｃ0 ＝ ｌｏｇ Ｅ
【０００９】続いて、このケプストラム係数Ｃn を−１から＋１までの範囲内に正規化して特徴パラメータＰn ( 0≦ｎ≦15）とし、この特徴パラメータＰn をフレームｆごとに求めた特徴パラメータＰnf系列を得る（分析手段２）。そして、この特徴パラメータＰnfを所定フレーム数ｍ分Ｐnf-m〜Ｐnfをセグメンテーション・大分類ニューラルネットワーク３に入力し、その出力としてＯVf' , ＯSf' , ……,ＯUf' を得る。
【００１０】ここで、ニューラルネットワーク３は図２(a) に示すような多層パーセプトロン型ニューラルネットワークで、入力層２１は所定フレーム数分の特徴パラメータ数に等しいニューロン数よりなり、中間１層２２、中間２層２３、出力層２４の４層構造で、各層のニューロンは前後層のニューロンと全結合した構造をしている。
【００１１】また、音素を図３の様に大分類し、その大分類音素記号を、Ｖ，Ｓ，Ｚ，Ｐ，Ｍ，Ｂ，Ｕの７つとする。この意味は例えば母音ａｉｕｅｏの５つの音素はひとまとめにＶとして大きく分類して取り扱うということである。その他各子音についても同様に大きく分類しておく。そして、図２(a) のニューラルネットワークの出力層２４は、この大分類音素Ｖ〜Ｕに対応した出力ＯV , ＯS , ……, ＯUを得るための出力ニューロンより構成されている。さらにこのニューラルネットワークは母音Ｖの特徴パラメータ系列が入力された時には、出力ＯV が１で、その他の出力が０となるように、また、大分類子音Ｓの特徴パラメータ系列が入力された時には、出力ＯS が１で、その他の出力が０となるように、同時に全ての音素および無音データによって予め内部の重み係数が学習されている。学習方法は多層パーセプトロン型ニューラルネットワークでよく用いられる周知のエラーバックプロパゲーション法またはその他の方法により行う。
【００１２】入力される特徴パラメータ系列のフレーム位置と、出力値を得るフレーム位置との関係は、図２(b) に示すように、入力フレーム幅のほぼ中間フレーム位置で出力値を得るように設定されている。これは着目しているフレームにおける抽出したい音素の特徴は、その音素の前後の音素との絡みがあると考えられるので前後のフレームも調べることに相当する。本実施例では入力フレーム数を１０フレームにとり、最新の入力フレームをｆとした場合、ｆ−４フレーム目に出力値が得られるようにしており、前述のニューラルネットワーク３の出力フレームｆ’はｆ−４を示している。
【００１３】図１において、このようにして得られたセグメンテーション・大分類ニューラルネットワーク３の出力値時系列に対して、セグメンテーション・大分類認識手段４で、フレームごとの各出力値を所定のしきい値と比較し、そのしきい値を越えたもの、あるいは最大出力となったものを選択して、その出力値に対応する大分類音素記号に置き換える。それで各フレームごとの大分類音素記号列が得られる。さらに、この大分類音素記号列に対してスムージング・整形処理を行ってセグメンテーション・大分類記号列を得る。つまり、時系列での同じ音素がまとまっていることを明確にするセグメント化（区分）が行われ、各区分の中身は音素が大雑把に区分けされている訳である。
【００１４】以上のようなセグメンテーション・大分類方式の音素認識方式を用いて、入力音声１の例として「ポプラ並木（ＰＯＰＵＲＡＮＡＭＩＫＩ）」を分析した結果を図４に示す。まず、入力音声の音声波形１ａを、前述したように10msecごとにＬＰＣ分析して、得られた特徴パラメータ系列の10フレーム分が１フレームずつシフトされながらニューラルネットワークに入力され、このときのフレームごとの出力値（０〜１の規格値範囲）が図４の３１〜３７として示されている。この各出力値は各々のしきい値３１ａ〜３７ａと比較され、しきい値を越えた出力について、対応する大分類音素記号に置き換えられ、出力選択後の大分類音素列４１として得られている。ここで、しきい値３１ａ〜３７ａは実験的に求められた値である。また各フレームにおいて、いずれの出力もしきい値を越えなかった場合を＊印にて示している。
【００１５】一般的に、ある音素から音素に遷移する場合、人間の発生器官は急激に変化することができず、いずれの音素とも特定しがたい過渡的な部分を伴って発声されるものであるが、この＊印フレームがそのような過渡的な部分を示すものである。また、音声の語尾には呼気音と呼ばれるものを伴うことが多いが、この呼気音部も＊印にて検出されている。ここで、前後は他の同一音素で、一箇所だけ単発的に生じているような、大分類音素列４１中の丸印で示したＭやＢは、前後の音素と同じものとみなして修正する等のスムージング・整形処理を行うことによって、セグメンテーション・大分類音素４２を得ている。即ち、この大分類音素列４２を見てわかるように、入力音声「ポプラ並木」が大分類音素記号Ｕ，Ｐ，Ｖ等の同一記号の並びによって音素区間が明確に区分（セグメンテーション）されると同時に音素の大分類認識が行われている。
【００１６】さらにこのセグメンテーション・大分類の結果を基に、図１に示す細分類ニューラルネットワーク選択・駆動手段５は、大分類音素記号で示される各フレーム区間をさらに細分類認識するための細分類ニューラルネットワーク６ａ〜６ｆより成る細分類ニューラルネットワーク群６の中から、対応する細分類ニューラルネットワークを選択し、対応するフレーム区間についてのみ、大分類ニューラルネットワークと同様に駆動、即ち、該当する区間の特徴パラメータを入力してニューラルネットワークの計算、処理を行わせる。つまり、図４の大分類音素記号列４２の、例えばＰと大分類された最初の区間は細分類ニューラルネットワークＰ（図１の６ｄ）を選択し、対応するフレームの特徴パラメータを入力して細分類ニューラルネットワークＰの出力値を得るように駆動する。
【００１７】ここで、細分類ニューラルネットワーク６ａ〜６ｆは、一例として図５に示した、母音Ｖを細分類するニューラルネットワークＶで示すように、図２(a) に示すセグメンテーション・大分類ニューラルネットワーク３と同種の構造の多層パーセプトロン型ニューラルネットワークを用いている。従って図３の一覧からわかるように、細分類の出力層の数は各ニューラルネットワークによって異なり、例えば大分類音素記号Ｚの細分類では、出力はＯz , Ｏh の２つしかない。
【００１８】そして、図１に示す細分類認識手段７は、前述したセグメンテーション・大分類認識手段４と同様にフレームの各出力値（この場合Ｏp , Ｏt , Ｏk ）と各々のしきい値を越えたもの、あるいは最大出力となったものを選択してその出力に対応した細分類音素記号６１（この場合ｐｐｐｔ……）を得、さらにこのｐ区間内で最多出現回数のｐをこの区間の最終的な認識音素８として出力する。以下同様に、次のＶと大分類された区間は細分類ニューラルネットワークＶ（図１の６ａ）を選択・駆動し、認識音素Ｏを出力する、という処理を行ってゆき、入力音声に対応した認識音素列８を得るというものである。
【００１９】なお、半母音音素ｙおよびｗは母音ｖとして大分類し、例えばその細分類認識結果が「ｉｅａ」または「ｅａ」といった連続母音列として出現した場合は、これを「ｙａ」と認識出力し、また他に「ｏａ」または「ｕａ」といった連続母音として出現した場合は、これを「ｗａ」として認識出力する、というような現実に対応させたルール処理を図１の細分類認識手段７にて行うようにしている。また、無音のデータに対しては細分類するまでもないので、大分類ニューラルネットワークの出力層２４より得られた出力ＯU のしきい値以上の結果をそのまま保持し、細分類データに無音時間のデータとして付加される。
【００２０】なお、上記実施例は本発明の一実施例を示すものであり、本発明はこれに限定されるものではない。例えば、特徴パラメータとしてケプストラム係数以外のものとして、所定周波数のスペクトル相当値を用いても良い。フレーム数もフレーム周期も必要とするシステムによって自由に設定、変更できる。個々のニューラルネットワークとしても全結合型の多層パーセプトロン以外の、例えば前述ＴＤＮＮ、あるいは他の構造のニューラルネットワークを用いても良い。
【００２１】以上説明したように、音素を認識するためのニューラルネットとして、まず大分類ニューラルネットワークを駆動してセグメンテーションと大分類認識を同時に行い、大分類されたセグメンテーション区間について細分類認識のために必要な細分類ニューラルネットワークのみを選択・駆動して最終的な細かい音素認識を行う構成とすることにより、計算・処理量の大きいニューラルネットワーク処理が極めて効率よく行えると同時に、精度よく音素認識されることがわかる。
【図面の簡単な説明】
【図１】本発明の音素認識方式の全体のブロック構成図。
【図２】大分類のニューラルネットワークの構成図。
【図３】大分類音素記号の対応図。
【図４】実際の分析しデータ一覧図。
【図５】細分類のニューラルネットワークの構成図。
【図６】従来の音素認識方式を示す構成図。
【符号の説明】
１ 入力音声（被分析音声データ）
２ 分析手段
３ セグメンテーション・大分類ニューラルネットワーク（セグメンテーション・大分類音素抽出手段）
４ セグメンテーション・大分類認識手段
５ 細分類ニューラルネットワーク選択・駆動手段
６ 細分類ニューラルネットワーク群（細分類音素抽出手段）
７ 細分類認識手段
８ 認識音素列（細分類結果、分析結果データ）
２１ 入力層
２２ 中間１層
２３ 中間２層
２４ 出力層
３１〜３７ セグメンテーション・大分類ニューラルネットワーク出力
４１、４２ セグメンテーション・大分類結果
６１ 細分類ニューラルネット出力選択結果
【特許請求の範囲】
【請求項１】ニューラルネットワークを用いた音素認識装置において、入力音を所定のフレーム周期ごとに分析して複数個の特徴パラメータを求める分析手段と、前記特徴パラメータを時間的にフレーム単位でずらしながら、所定フレーム数分とった特徴パラメータ系列が入力されて、該入力音をセグメンテーションすると同時に、音素の大分類認識を行うのに必要な出力値を得るセグメンテーション・大分類ニューラルネットワークと、同じく前記特徴パラメータ系列が入力されて音素の細分類認識を行うのに必要な出力値を得る複数個の細分類ニューラルネットワークより成る細分類ニューラルネットワーク群と、前記セグメンテーション・大分類ニューラルネットワークの出力値をもとに該入力音をセグメンテーションすると同時に、音素の大分類を行うセグメンテーション・大分類認識手段と、このセグメンテーション・大分類結果に基づいて、該当する細分類ニューラルネットワーク群より逐次選択すると同時に、セグメンテーションされた区間について駆動する細分類ニューラルネットワーク選択・駆動手段と、前記細分類ニューラルネットワーク群の出力値をもとに該入力音に対応した認識音素列を得る細分類認識手段とから構成されることを特徴とする音素認識装置。
【請求項２】前記セグメンテーション・大分類ニューラルネットワークは単一のニューラルネットワークであって、あらかじめ無音を含むすべての音素について同時に学習させてあることを特徴とする請求項１記載の音素認識装置。
【請求項３】ニューラルネットワークを用いた入力音の音素認識方法において、該入力音を所定のフレーム周期ごとに分析して複数個の該フレームの特徴パラメータを求め、前記特徴パラメータを時間的にフレーム単位でずらしながら、所定フレーム数分とった特徴パラメータ系列をセグメンテーション・大分類音素抽出手段に入力して該入力音をセグメンテーションすると同時に音素の大分類認識を行い、該セグメンテーション・大分類認識の結果に基づいて、該当する細分類音素抽出手段を逐次選択すると同時に、セグメンテーションされた区間について前記細分類音素抽出手段を駆動し、当該区間の前記特徴パラメータ系列を基に音素の細分類認識を行い、前記細分類認識の出力値をもとに該入力音に対応した認識音素列を得ることを特徴とする音素認識方法。
【請求項１】ニューラルネットワークを用いた音素認識装置において、入力音を所定のフレーム周期ごとに分析して複数個の特徴パラメータを求める分析手段と、前記特徴パラメータを時間的にフレーム単位でずらしながら、所定フレーム数分とった特徴パラメータ系列が入力されて、該入力音をセグメンテーションすると同時に、音素の大分類認識を行うのに必要な出力値を得るセグメンテーション・大分類ニューラルネットワークと、同じく前記特徴パラメータ系列が入力されて音素の細分類認識を行うのに必要な出力値を得る複数個の細分類ニューラルネットワークより成る細分類ニューラルネットワーク群と、前記セグメンテーション・大分類ニューラルネットワークの出力値をもとに該入力音をセグメンテーションすると同時に、音素の大分類を行うセグメンテーション・大分類認識手段と、このセグメンテーション・大分類結果に基づいて、該当する細分類ニューラルネットワーク群より逐次選択すると同時に、セグメンテーションされた区間について駆動する細分類ニューラルネットワーク選択・駆動手段と、前記細分類ニューラルネットワーク群の出力値をもとに該入力音に対応した認識音素列を得る細分類認識手段とから構成されることを特徴とする音素認識装置。
【請求項２】前記セグメンテーション・大分類ニューラルネットワークは単一のニューラルネットワークであって、あらかじめ無音を含むすべての音素について同時に学習させてあることを特徴とする請求項１記載の音素認識装置。
【請求項３】ニューラルネットワークを用いた入力音の音素認識方法において、該入力音を所定のフレーム周期ごとに分析して複数個の該フレームの特徴パラメータを求め、前記特徴パラメータを時間的にフレーム単位でずらしながら、所定フレーム数分とった特徴パラメータ系列をセグメンテーション・大分類音素抽出手段に入力して該入力音をセグメンテーションすると同時に音素の大分類認識を行い、該セグメンテーション・大分類認識の結果に基づいて、該当する細分類音素抽出手段を逐次選択すると同時に、セグメンテーションされた区間について前記細分類音素抽出手段を駆動し、当該区間の前記特徴パラメータ系列を基に音素の細分類認識を行い、前記細分類認識の出力値をもとに該入力音に対応した認識音素列を得ることを特徴とする音素認識方法。
【図２】
【図３】
【図５】
【図１】
【図４】
【図６】
【図３】
【図５】
【図１】
【図４】
【図６】
【公開番号】特開平６−３４８２９９
【公開日】平成６年（１９９４）１２月２２日
【国際特許分類】
【出願番号】特願平５−１６４２８４
【出願日】平成５年（１９９３）６月７日
【出願人】（０００００４２６０）日本電装株式会社 (27,639)
【公開日】平成６年（１９９４）１２月２２日
【国際特許分類】
【出願日】平成５年（１９９３）６月７日
【出願人】（０００００４２６０）日本電装株式会社 (27,639)
[ Back to top ]