音響モデル作成装置の制御方法、音響モデル作成装置
【課題】 多言語音声認識において、音響モデル作成に用いる音声データベースの言語ごとのサイズの違いに起因する言語間の音声認識の性能差を生じさせない音響モデルの作成方法を提供する。
【解決手段】 音声データベースから第一の音響モデルを作成するステップと、少なくとも２つ以上の言語からなる多言語音声データベースと前記第一の音響モデルから得られるデータを用いてデータを正規化するデータ正規化ステップと、前記正規化されたデータと前記多言語音声データベースを用いて第二の音響モデルを作成するステップとを有する。
【解決手段】 音声データベースから第一の音響モデルを作成するステップと、少なくとも２つ以上の言語からなる多言語音声データベースと前記第一の音響モデルから得られるデータを用いてデータを正規化するデータ正規化ステップと、前記正規化されたデータと前記多言語音声データベースを用いて第二の音響モデルを作成するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多言語音声認識システムにおける多言語音響モデルの作成に関する発明である。
【背景技術】
【０００２】
近年、音声認識技術およびこれを用いたサービスが一般的なものになってきている。複数言語の音声認識を行う多言語音声認識システムの構築に関しても、これまでに数々の検討がなされてきている。
【０００３】
多言語音響モデルの作成は、通常最も時間を要する処理であり、多言語音声認識システムを構築する上で重要である。しかしながら、音響モデル作成用データベースの収集および開発は、通常多大な費用と労力を要する。その結果、全世界には数千もの言語が存在するが、利用可能な大規模音声コーパスはその中の数十言語しかない。しかし、異言語の発音はある意味では類似しており、異なる言語の類似性や共通性に関する研究は長い間行われてきた。あらゆる言語の音声を文字で表記する方法として国際音声記号（ＩＰＡ）が定義された。理論的には、あらゆる言語の発音を表現するためにＩＰＡで定義された記号セットを利用することができる。更に、全てのＩＰＡ記号に対して音響モデルを作成できれば、この音響モデルのセットを様々な言語の音声認識に利用できる。つまり、このように多言語音響モデルを作成することが可能である。
【０００４】
近年、隠れマルコフモデルによる音響モデリングが一般的である。通常、音響モデルの基本単位には音素が用いられる。音響モデルの性能を改善するために、通常、音素に対して左と右（前後）の音素環境を考慮したトライフォンに拡張される。しかしながら、通常、トライフォンの数は非常に多くなる。ある言語がＮ個の音素を持つとすると、この言語のトライフォン数は、理論上はＮ×Ｎ×Ｎとなるため、音響モデルの数が劇的に大きくなる。トライフォンの音響モデルのサイズを減少させ、サイズと音声認識性能とのバランスを取るために、決定木に基づく方法が広く用いられている（
【特許文献１】参照）。これには、まず、対象とする複数の言語に出現する音素を網羅する多言語の音素セットを作成する。多言語音素セットに基づいて、多言語音響モデル作成のための多言語データベースを構築する。多言語データベースに出現するトライフォン数をカウントし、多言語のトライフォンリストを作成する。第一の音響モデル作成処理として、各トライフォンに対する多言語音響モデルを作成する。言語依存の音響モデル作成処理で行われる処理と共通の決定木処理を適用し、多言語トライフォンモデルをクラスタリングするための決定木を作成する。第二の音響モデル作成処理として、クラスタリングされた音響モデルを再学習し、最終的な多言語音響モデルを作成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許５７９４１９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
異なる言語に対して、利用可能なデータベースのサイズは通常異なる。英語などの主言語に関しては、大量のデータが利用可能である。一方、少数言語に関しては、少量のデータしか利用できない、もしくはデータが利用できない場合がある。多言語音響モデルを作成するために用いられる多言語の音声データベースに関しても、通常、言語ごとにデータの量が不均一である。このように不均一なデータで作成された多言語音響モデルは、データ量が多い言語の音声認識性能よりもデータ量が少ない言語の性能の方が平均的に劣る。主な理由は次のように説明できる。
【０００７】
（ａ）決定木の生成過程において、木の分割方法を決定する質問セットの中から最良の質問を選択するために用いられる統計情報（サンプル数と占有カウント）は多言語音声データベースから計算される。基本的に、これらの統計情報はデータ量が少ない言語よりもデータ量が多い言語を反映したものとなる。
【０００８】
（ｂ）決定木の生成にこれらの統計情報を利用した場合、決定木は、データ量の少ない言語よりもデータ量の多い言語に適合したものとなってしまう。すなわち、データ量の少ない言語は、十分なトライフォンのクラスタリングがなされない。その結果、多言語音響モデルは、データ量の少ない言語の音声認識性能は、データ量の多い言語よりも劣る。
【０００９】
本発明は、上記課題を鑑みてなされたものであり、多言語音声認識において、音響モデル作成に用いる音声データベースの言語ごとのサイズの違いに起因する言語間の音声認識の性能差を生じさせない音響モデルの作成方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために本発明に係る音響モデル作成方法は、以下のようなステップを有する。即ち、多言語音声認識のための音響モデル作成方法であって、音声データベースから第一の音響モデルを作成するステップと、少なくとも２つ以上の言語からなる多言語音声データベースと前記第一の音響モデルから得られるデータを用いてデータを正規化するデータ正規化ステップと、前記正規化されたデータと前記多言語音声データベースを用いて第二の音響モデルを作成するステップとを有することを特徴とする。
【発明の効果】
【００１１】
本発明により作成された多言語音響モデルは、データ量の多い言語に対してほとんど性能劣化を生じることなく、データ量の少ない言語の性能を大きく向上させることが可能である。
【図面の簡単な説明】
【００１２】
【図１】本発明の多言語音声認識システムのブロック図。
【図２】本発明の多言語音響モデル作成装置のブロック図。
【図３】本発明の多言語音響モデル作成処理の説明図。
【図４】図３のステップ３５の詳細フローチャート。
【図５】図３のステップ３７の詳細フローチャート。
【図６】図３のステップ３８の詳細フローチャート。
【図７】図６のステップ６３の詳細フローチャート。
【図８】本発明と従来法の音声認識性能の比較。
【発明を実施するための形態】
【００１３】
＜実施例１＞
図１は、多言語音声認識のシステム構成図である。多言語音声認識システムは、同じ多言語音響モデルを用いて、異なる言語の音声が認識できるものである。
【００１４】
Ａ／Ｄ変換部１１は、多言語音声信号を入力し、デジタル信号に変換する。特徴量抽出部１２は、変換された信号より、音声の特徴量を抽出する。探索部１３は、多言語音響モデル１５、単語辞書１６と言語モデル１７を用いて、特徴量から、複数の多言語テキストの候補を探索する。信頼度測定部１４は、多言語テキストの信頼度を測定し、信頼度の高い多言語テキストを出力する。単語辞書１６と言語モデル１７は、それぞれ、言語依存の単語辞書、言語依存の言語モデルで、言語毎に作成されている。多言語音響モデル１５は、言語非依存の音響モデルであり、本発明の多言語音響モデルの作成について、以降で説明する。
【００１５】
図２は、本発明による多言語音響モデル作成装置のブロック図である。
【００１６】
第一の音響モデル作成部９１は、音声データベースから、言語ごとに、第一の音響モデルを作成する。第一の音響モデル作成部９１は、第一の音響モデルの作成に必要な前処理も行う。音声データベースは、言語毎の音声データベースである。
【００１７】
データ正規化部９２は、少なくとも２つ以上の言語からなる多言語音声データベースと第一の音響モデルから得られるデータを用いて、データを正規化する。多言語音声データベースは、言語非依存の音声データベースである。
【００１８】
第二の音響モデル作成部９３は、正規化されたデータと多言語音声データベースを用いて、第二の音響モデルを作成する。第二の音響モデル作成部９３は、第二の音響モデル作成に関連する処理も行う。
【００１９】
図３は、本発明による多言語音響モデルの作成処理フローである。図２の多言語音響モデル作成装置を制御することによって、実行する。
【００２０】
ステップ３１は、第一の音響モデル作成部９１が、多言語音素セットを作成する。音素とは、ある言語に対して知覚的に区別可能な音の単位であり、例えば、英語では、”ｐａｄ”、”ｂａｄ”、”ｂａｔ”の’ｐ’、’ｂ’、’ｄ’、’ｔ’などである。作成対象となる全ての言語に対して、多言語音素セットを作成する。具体的には、全ての言語に現れる全ての音素を用い、次に、ＩＰＡ（国際音声信号）やＳＡＭＰＡ（Ｓｐｅｅｃｈ Ａｓｓｅｓｓｍｅｎｔ Ｍｅｔｈｏｄｓ Ｐｈｏｎｅｔｉｃ Ａｌｐｈａｂｅｔ）記号へ対応付ける。ここで、同じＩＰＡもしくはＳＡＭＰＡ記号に対応付けられた音素は、１つの音素として統合される。
【００２１】
ステップ３２は、第一の音響モデル作成部９１が、多言語音声データベースを作成する。多言語音声データベースは、多言語音響モデルを作成するために用いられる。このデータベースは、少なくとも２つ以上の言語からなる音声データと、ステップ３１で作成された多言語音素セットによって関連付けられるラベルデータを含む。
【００２２】
ステップ３３は、第一の音響モデル作成部９１が、ステップ３２で作成された多言語音声データベースから、トライフォンリストを作成する。音響モデルの性能を改善するために、音素に換えてトライフォンを基本的な音響単位として用いる。トライフォンとは、音素の左（先行）および右（後続）の音素を考慮したものである。例えば、先行音素がｂで後続音素がｄであるａ（”ｂ−ａ＋ｄ”と表現する）と、先行音素がｂで後続音素がｔであるａ（”ｂ−ａ＋ｔ”）は異なるトライフォンである。多言語音声データベースからトライフォンリストを作成するには、まず、多言語音声データベースに含まれるラベルデータから先行音素および後続音素を考慮したトライフォンラベルを作成する。次に、このトライフォンラベルから異なるトライフォンをトライフォンリストとする。
【００２３】
ステップ３４は、第一の音響モデル作成部９１が、決定木作成のための多言語質問セットを作成する。後述する決定木の作成において、音声学的もしくは言語学的な質問セットを全ての言語に対して作成する必要がある。例えば、質問の例としては、「中心音素が母音であるか？」や、「先行音素が英語の破裂音であるか？」などである。それぞれの質問に対しては、「はい」もしくは「いいえ」の２つの答えが用いられる。
【００２４】
ステップ３５は、第一の音響モデル作成部９１が、多言語音声データベースを用いて、各言語ごとのスケーリング係数を計算する処理である（スケーリング係数計算処理）。ステップ３４は、決定木作成のための多言語質問セットを作成する処理である。これらは、多言語音響モデルおよび決定木を作成するためのデータを準備するステップである。ステップ３５は、ステップ３７およびステップ３８で行われる正規化処理を行う際に必要となるデータ作成処理である。
【００２５】
ステップ３６は、第一の音響モデル作成部９１が、トライフォンリストに含まれるトライフォンごとに、トライフォンの音響モデル（第一の音響モデル）を作成する。隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：ＨＭＭ）を用いて音響モデルは作成される。ＨＭＭは複数の状態からなり、ＨＭＭの各状態は、混合ガウス分布モデルが用いられる。このステップ３６は、音響モデルをトライフォンＨＭＭとして作成する処理である。
【００２６】
ステップ３７は、データ正規化部９２が、トライフォンリストに含まれるトライフォンごとに、多言語音声データベースを用いて、トライフォンのサンプル数の計算および正規化を行う処理である（サンプル数正規化処理）。
【００２７】
ステップ３８は、データ正規化部９２が、多言語音声データベースを用いて、トライフォンのＨＭＭの状態ごとに、トライフォンのＨＭＭの各状態の占有カウントの計算および正規化を行う処理である（占有カウント正規化処理）。ステップ３７とステップ３８は、トライフォンの正規化サンプル数、およびトライフォンの各状態の正規化占有カウントを計算するためのものであり、ステップ３９の処理における最良の質問を選択する処理で用いられる。
【００２８】
ステップ３９は、第二の音響モデル作成部９３が、トライフォンのＨＭＭの状態ごとに、決定木の作成を行う。決定木は、質問セットを用いてトライフォンの状態を異なるクラスタに分割する。同じクラスタに属する状態は同じ音響モデルとして共有され、音響モデル全体のサイズは、クラスタ数を調整することによって変更することができる。更に、多言語音声データベースに存在しない未観測トライフォンは、決定木に対して質問に答えていくことにより、一つのクラスタに割り当てられる。
【００２９】
ステップ３１０は、第二の音響モデル作成部９３が、ステップ３８とステップ３９で処理すべきＨＭＭがないかを判定する。処理すべきＨＭＭなければ、ステップ３１１に進み、あれば、ステップ３８に戻り、次のＨＭＭについて、処理する。
【００３０】
ステップ３１１は、第二の音響モデル作成部９３が、ステップ３５、ステップ３７、ステップ３８、ステップ３９で処理すべきトライフォンがないかを判定する。処理すべきトライフォンがなければ、ステップ３１２に進み、あれば、ステップ３６に戻り、次のトライフォンについて、処理する。
【００３１】
ステップ３１２は、第二の音響モデル作成部９３が、クラスタリングされた音響モデルの作成を行う。決定木を作成した後、同じ木の終端ノードに属する状態は、同じモデルとして共有されるよう統合される。この結果、クラスタリングされた音響モデル（第二の音響モデル）が作成される。このステップ３１２は、ステップ３６で作成された第一の音響モデルをクラスタリングする決定木を作成するためのものである。
【００３２】
ステップ３１３は、第二の音響モデル作成部９３が、クラスタリングされた多言語音響モデルの再作成を行う。クラスタリングされた音響モデルは、多言語音声データベースを用いて再学習することにより作成される。なお、再学習とは、音響モデルの統計量（特徴量の平均および分散、ＨＭＭの遷移確率、混合ガウス分布の重み）を再計算する処理であり、ＥＭアルゴリズムなどの学習アルゴリズムによって計算される。そして、再作成後の多言語音響モデルが多言語音声認識に使用される。このステップ３１３は、クラスタリングされた多言語音響モデルを再作成し、多言語音響モデルを作成するためのものである。
【００３３】
以上のフローにより、トライフォンＨＭＭのサンプル数とＨＭＭの各状態の占有カウントからなる統計情報が異なる言語間で正規化され、その結果、本実施形態により得られる決定木は、全ての言語に対して最適化される。
【００３４】
図４は、ステップ３５の詳細フローチャートである。
【００３５】
ステップ４１は、ステップ３２の多言語音声データベースの合計サイズ“Ｓ”を計算する。音声データベースのサイズを測定する方法はいくつかあるが、一般的な方法としては、音声データベースの音声の継続時間や、音声データベースの発声数などがある。ステップ４２は、多言語音声データベースの各言語に対する処理である。全言語数をＬとし、現在の言語のインデックスをｉ （ｉ＝１， …， Ｌ）とすると、全言語に対してステップ４３および４４の処理が終了した場合、図４の処理を終了する。ステップ４３は、多言語音声データベースの言語内の音声データベースのサイズを計算する。言語ｉの音声データのサイズを“Ｓｉ”とする。ステップ４４は、言語ｉのスケーリング係数ＳＦ（ｉ）を多言語音声データベースの合計サイズに対する言語の音声データのサイズの比として次の式によって計算する。
【００３６】
ＳＦ（ｉ）＝ Ｓｉ ／ Ｓ
この式では、多言語音声データベースのサイズに対する言語ごとの音声データのサイズの割合としてスケーリング係数を計算している。
【００３７】
図５は、ステップ３７の詳細フローチャートである。
【００３８】
ステップ５１は、トライフォンＨＭＭ（通常、先行音素および後続音素の音素環境考慮した音素を３つの状態からなるＨＭＭとして表現されたもの）ごとの処理である。いま、全トライフォンＨＭＭの数をＴとし、ｋ番目のトライフォンＨＭＭをＭｋ （ｋ＝１， …， Ｔ）とするとき、全トライフォンに対してステップ５２から５５までの処理が終了した場合、図５の処理を終了する。ステップ５２は、多言語音声データベースの各言語に対する処理である。全言語数をＬとし、現在の言語のインデックスをｉ （ｉ＝１， …， Ｌ）とすると、全言語に対してステップ５３から５５の処理が終了した場合、ステップ５５の処理を行う。ステップ５３は、ｉ番目の言語におけるｋ番目のトライフォンＨＭＭのサンプル数Ｎ（ｋ，ｉ）を計算する。Ｎ（ｋ，ｉ）は、言語の音声データベースの中で、トライフォンが含まれる発声数の合計として求める。ステップ５４は、言語ｉにおけるトライフォンＭｋのスケーリングサンプル数Ｓｃａｌｅ（Ｎ（ｋ， ｉ））を次式により計算する。
【００３９】
Ｓｃａｌｅ（Ｎ（ｋ， ｉ）） ＝ Ｎ（ｋ， ｉ） ／ ＳＦ（ｉ）
ステップ５５は、全言語に対する（多言語音声データベース全体に対する）トライフォンＭｋの正規化サンプル数Ｎｏｒｍ（Ｎ（ｋ））を計算する。Ｎｏｒｍ（Ｎ（ｋ））は、次式のように、スケーリングサンプル数Ｓｃａｌｅ（Ｎ（ｋ， ｉ））を全ての言語に対して総和をとることによって計算する。
【００４０】
Ｎｏｒｍ（Ｎ（ｋ）） ＝ Σｉ（Ｓｃａｌｅ（Ｎ（ｋ， ｉ）） ） （ｉ＝１， …， Ｌ）
以上、説明したように、ステップ５２から５５の処理で、言語間のデータサイズの大きさの違いによる音響モデルのサンプル数に偏りを生じさせないよう正規化することができる。
【００４１】
図６は、ステップ３８の詳細フローチャートである。
【００４２】
ステップ６１は、トライフォンＨＭＭを構成する状態ごとの処理である。いま、全トライフォンＨＭＭの数をＴとし、ｋ番目のトライフォンＨＭＭをＭｋ （ｋ＝１， …， Ｔ）、Ｍｋを構成する状態をＳｋｊと（ｊ＝１，…，Ｊｋ）とする。全てのトライフォンの全ての状態に対してステップ６２から６５までの処理が終了した場合、図６の処理を終了する。ステップ６２は、多言語音声データベースの各言語に対する処理である。全言語数をＬとし、現在の言語のインデックスをｉ （ｉ＝１， …， Ｌ）とすると、全言語に対してステップ６３から６５の処理が終了した場合、ステップ６５の処理を行う。ステップ６３は、ｉ番目の言語におけるｋ番目のトライフォンＨＭＭのｊ番目の状態の占有カウントＯＣ（ｋ， ｊ， ｉ）を計算する。ＯＣ（ｋ， ｊ， ｉ）の計算方法は後述する。ステップ６４は、言語ｉにおけるトライフォンＭｋの状態Ｓｋｊのスケーリング占有カウントＳｃａｌｅｄ（ＯＣ（ｋ， ｊ， ｉ） ） をＯＣ（ｋ， ｊ， ｉ）および言語毎のスケーリング係数ＳＦ（ｉ）を用いて次式により計算する（データ重み付け処理）。
【００４３】
Ｓｃａｌｅｄ（ＯＣ（ｋ， ｊ， ｉ） ） ＝ ＯＣ（ｋ， ｊ， ｉ） ／ ＳＦ（ｉ）
この式では、スケーリング係数を用いて、重み付けを行っている。
【００４４】
ステップ６５は、全言語に対する（多言語音声データベース全体に対する）トライフォンＭｋの状態Ｓｋｊの正規化占有カウントＮｏｒｍ （ＯＣ（ｋ， ｊ）） を計算する。Ｎｏｒｍ （ＯＣ（ｋ， ｊ）） は、次式のように、スケーリング占有カウントＳｃａｌｅｄ（ＯＣ（ｋ， ｊ， ｉ） ） を全ての言語に対して総和をとることによって計算する。
【００４５】
Ｎｏｒｍ （ＯＣ（ｋ， ｊ）） ＝ Σｉ（Ｓｃａｌｅｄ（ＯＣ（ｋ， ｊ， ｉ） ） （ｉ＝１， …， Ｌ）
以上、説明したように、ステップ６２から６５の処理で、言語間のデータサイズの大きさの違いによる状態の占有カウントに偏りを生じさせないよう正規化することができる。
【００４６】
図７は、ステップ６３の詳細フローチャートである。
【００４７】
ステップ７１は、トライフォンＨＭＭを構成する状態ごとの処理である。いま、全トライフォンＨＭＭの数をＴとし、ｋ番目のトライフォンＨＭＭをＭｋ （ｋ＝１， …， Ｔ）、Ｍｋを構成する状態をＳｋｊと（ｊ＝１，…，Ｊｋ）とする。言語ｉの音声データベースに含まれる状態Ｓｋｊに関する全ての音声サンプルＯｒｉ （ｒ＝１， …， Ｎ（ｋ，ｉ）） （音声サンプル数をＮ（ｋ，ｉ） とする）に対して、ステップ７２から７５までの処理が終了した場合、図７の処理を終了する。ステップ７２は、音声サンプルＯｒｉ の発声内容に対する音素ラベル列を取得する。ステップ７３は、音素ラベル列に対するトライフォンＨＭＭを取得し、音素ラベル列の順にＨＭＭを連結する。ステップ７４は、トライフォンＭｋの状態 Ｓｋｊ に対する音声サンプルＯｒｉ の占有カウントＯＣ（ｋ， ｉ， ｒ， ｊ）の計算を行う。この計算は、良く知られた前向き後ろ向き確率の計算に基づき行う。具体的には、連結されたＨＭＭに対して、音声サンプルＯｒｉ を入力し、各ＨＭＭの状態の占有カウントを計算し、これらの計算結果から、現在着目している占有カウントＯＣ（ｋ， ｉ， ｒ， ｊ）を得る。ステップ７５は、全ての音声サンプルに対して、占有カウントの計算を行い、次式のように総和を求める。
【００４８】
ＯＣ （ｋ，ｉ， ｊ） ＝ Σｒ（ＯＣ（ｋ， ｉ， ｒ， ｊ ） ） （ｒ＝１， …， Ｎ（ｋ， ｉ））
図８は、従来技術と本発明によってそれぞれ作成した多言語音響モデルを用いた場合の音声認識性能の比較である。多言語音響モデルの作成に用いた多言語音声データベースは、２６言語からなる合計１６００時間である。このうち、９言語はデータ量が多く、合計で１４００時間であり、残りの１７言語は、データ量が少なく、合計で約２００時間である。音声認識性能の評価に用いた音声データは、２６言語で、各言語２０話者からなり、各話者１００種類の単語を発声している。また、ＳＮ比が１５ｄＢとなるように音声データに雑音を加えている。
【００４９】
図８から次の３点のことが分かる。まず、第一に、データ量の多い９言語の音声認識性能は、９０．４４％から９０．２２％にわずかに性能が劣化している。第二に、データ量の少ない１７言語の音声認識性能は、８４．８３％から８６．６１％と明らかに改善している。特に、アラビア語、オランダ語、ギリシア語については、４〜５％と大きく性能が改善できている。最後に、２６言語全体の平均認識率も、８６．５６％から８７．７２％に改善している。
【００５０】
以上、説明したように、本実施形態によれば、データ量の多い言語に対してほとんど性能劣化を生じることなく、データ量の少ない言語の性能を大きく向上させることができる。
【００５１】
＜その他の実施形態＞
本発明の目的は前述した実施例の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが記録媒体に格納されたプログラムを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラム自体が前述した実施形態の機能を実現することとなり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。
【００５２】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。
【００５３】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施例の機能が実現されるだけではない。そのプログラムの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。
【００５４】
さらに、記憶媒体から読み出されたプログラムが、コンピュータに接続された機能拡張ユニットのメモリに書きこまれた後、その機能拡張ユニットのＣＰＵが実際の処理の一部または全部を行い、前述した実施形態の機能が実現される場合も含まれる。
【技術分野】
【０００１】
本発明は、多言語音声認識システムにおける多言語音響モデルの作成に関する発明である。
【背景技術】
【０００２】
近年、音声認識技術およびこれを用いたサービスが一般的なものになってきている。複数言語の音声認識を行う多言語音声認識システムの構築に関しても、これまでに数々の検討がなされてきている。
【０００３】
多言語音響モデルの作成は、通常最も時間を要する処理であり、多言語音声認識システムを構築する上で重要である。しかしながら、音響モデル作成用データベースの収集および開発は、通常多大な費用と労力を要する。その結果、全世界には数千もの言語が存在するが、利用可能な大規模音声コーパスはその中の数十言語しかない。しかし、異言語の発音はある意味では類似しており、異なる言語の類似性や共通性に関する研究は長い間行われてきた。あらゆる言語の音声を文字で表記する方法として国際音声記号（ＩＰＡ）が定義された。理論的には、あらゆる言語の発音を表現するためにＩＰＡで定義された記号セットを利用することができる。更に、全てのＩＰＡ記号に対して音響モデルを作成できれば、この音響モデルのセットを様々な言語の音声認識に利用できる。つまり、このように多言語音響モデルを作成することが可能である。
【０００４】
近年、隠れマルコフモデルによる音響モデリングが一般的である。通常、音響モデルの基本単位には音素が用いられる。音響モデルの性能を改善するために、通常、音素に対して左と右（前後）の音素環境を考慮したトライフォンに拡張される。しかしながら、通常、トライフォンの数は非常に多くなる。ある言語がＮ個の音素を持つとすると、この言語のトライフォン数は、理論上はＮ×Ｎ×Ｎとなるため、音響モデルの数が劇的に大きくなる。トライフォンの音響モデルのサイズを減少させ、サイズと音声認識性能とのバランスを取るために、決定木に基づく方法が広く用いられている（
【特許文献１】参照）。これには、まず、対象とする複数の言語に出現する音素を網羅する多言語の音素セットを作成する。多言語音素セットに基づいて、多言語音響モデル作成のための多言語データベースを構築する。多言語データベースに出現するトライフォン数をカウントし、多言語のトライフォンリストを作成する。第一の音響モデル作成処理として、各トライフォンに対する多言語音響モデルを作成する。言語依存の音響モデル作成処理で行われる処理と共通の決定木処理を適用し、多言語トライフォンモデルをクラスタリングするための決定木を作成する。第二の音響モデル作成処理として、クラスタリングされた音響モデルを再学習し、最終的な多言語音響モデルを作成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許５７９４１９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
異なる言語に対して、利用可能なデータベースのサイズは通常異なる。英語などの主言語に関しては、大量のデータが利用可能である。一方、少数言語に関しては、少量のデータしか利用できない、もしくはデータが利用できない場合がある。多言語音響モデルを作成するために用いられる多言語の音声データベースに関しても、通常、言語ごとにデータの量が不均一である。このように不均一なデータで作成された多言語音響モデルは、データ量が多い言語の音声認識性能よりもデータ量が少ない言語の性能の方が平均的に劣る。主な理由は次のように説明できる。
【０００７】
（ａ）決定木の生成過程において、木の分割方法を決定する質問セットの中から最良の質問を選択するために用いられる統計情報（サンプル数と占有カウント）は多言語音声データベースから計算される。基本的に、これらの統計情報はデータ量が少ない言語よりもデータ量が多い言語を反映したものとなる。
【０００８】
（ｂ）決定木の生成にこれらの統計情報を利用した場合、決定木は、データ量の少ない言語よりもデータ量の多い言語に適合したものとなってしまう。すなわち、データ量の少ない言語は、十分なトライフォンのクラスタリングがなされない。その結果、多言語音響モデルは、データ量の少ない言語の音声認識性能は、データ量の多い言語よりも劣る。
【０００９】
本発明は、上記課題を鑑みてなされたものであり、多言語音声認識において、音響モデル作成に用いる音声データベースの言語ごとのサイズの違いに起因する言語間の音声認識の性能差を生じさせない音響モデルの作成方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために本発明に係る音響モデル作成方法は、以下のようなステップを有する。即ち、多言語音声認識のための音響モデル作成方法であって、音声データベースから第一の音響モデルを作成するステップと、少なくとも２つ以上の言語からなる多言語音声データベースと前記第一の音響モデルから得られるデータを用いてデータを正規化するデータ正規化ステップと、前記正規化されたデータと前記多言語音声データベースを用いて第二の音響モデルを作成するステップとを有することを特徴とする。
【発明の効果】
【００１１】
本発明により作成された多言語音響モデルは、データ量の多い言語に対してほとんど性能劣化を生じることなく、データ量の少ない言語の性能を大きく向上させることが可能である。
【図面の簡単な説明】
【００１２】
【図１】本発明の多言語音声認識システムのブロック図。
【図２】本発明の多言語音響モデル作成装置のブロック図。
【図３】本発明の多言語音響モデル作成処理の説明図。
【図４】図３のステップ３５の詳細フローチャート。
【図５】図３のステップ３７の詳細フローチャート。
【図６】図３のステップ３８の詳細フローチャート。
【図７】図６のステップ６３の詳細フローチャート。
【図８】本発明と従来法の音声認識性能の比較。
【発明を実施するための形態】
【００１３】
＜実施例１＞
図１は、多言語音声認識のシステム構成図である。多言語音声認識システムは、同じ多言語音響モデルを用いて、異なる言語の音声が認識できるものである。
【００１４】
Ａ／Ｄ変換部１１は、多言語音声信号を入力し、デジタル信号に変換する。特徴量抽出部１２は、変換された信号より、音声の特徴量を抽出する。探索部１３は、多言語音響モデル１５、単語辞書１６と言語モデル１７を用いて、特徴量から、複数の多言語テキストの候補を探索する。信頼度測定部１４は、多言語テキストの信頼度を測定し、信頼度の高い多言語テキストを出力する。単語辞書１６と言語モデル１７は、それぞれ、言語依存の単語辞書、言語依存の言語モデルで、言語毎に作成されている。多言語音響モデル１５は、言語非依存の音響モデルであり、本発明の多言語音響モデルの作成について、以降で説明する。
【００１５】
図２は、本発明による多言語音響モデル作成装置のブロック図である。
【００１６】
第一の音響モデル作成部９１は、音声データベースから、言語ごとに、第一の音響モデルを作成する。第一の音響モデル作成部９１は、第一の音響モデルの作成に必要な前処理も行う。音声データベースは、言語毎の音声データベースである。
【００１７】
データ正規化部９２は、少なくとも２つ以上の言語からなる多言語音声データベースと第一の音響モデルから得られるデータを用いて、データを正規化する。多言語音声データベースは、言語非依存の音声データベースである。
【００１８】
第二の音響モデル作成部９３は、正規化されたデータと多言語音声データベースを用いて、第二の音響モデルを作成する。第二の音響モデル作成部９３は、第二の音響モデル作成に関連する処理も行う。
【００１９】
図３は、本発明による多言語音響モデルの作成処理フローである。図２の多言語音響モデル作成装置を制御することによって、実行する。
【００２０】
ステップ３１は、第一の音響モデル作成部９１が、多言語音素セットを作成する。音素とは、ある言語に対して知覚的に区別可能な音の単位であり、例えば、英語では、”ｐａｄ”、”ｂａｄ”、”ｂａｔ”の’ｐ’、’ｂ’、’ｄ’、’ｔ’などである。作成対象となる全ての言語に対して、多言語音素セットを作成する。具体的には、全ての言語に現れる全ての音素を用い、次に、ＩＰＡ（国際音声信号）やＳＡＭＰＡ（Ｓｐｅｅｃｈ Ａｓｓｅｓｓｍｅｎｔ Ｍｅｔｈｏｄｓ Ｐｈｏｎｅｔｉｃ Ａｌｐｈａｂｅｔ）記号へ対応付ける。ここで、同じＩＰＡもしくはＳＡＭＰＡ記号に対応付けられた音素は、１つの音素として統合される。
【００２１】
ステップ３２は、第一の音響モデル作成部９１が、多言語音声データベースを作成する。多言語音声データベースは、多言語音響モデルを作成するために用いられる。このデータベースは、少なくとも２つ以上の言語からなる音声データと、ステップ３１で作成された多言語音素セットによって関連付けられるラベルデータを含む。
【００２２】
ステップ３３は、第一の音響モデル作成部９１が、ステップ３２で作成された多言語音声データベースから、トライフォンリストを作成する。音響モデルの性能を改善するために、音素に換えてトライフォンを基本的な音響単位として用いる。トライフォンとは、音素の左（先行）および右（後続）の音素を考慮したものである。例えば、先行音素がｂで後続音素がｄであるａ（”ｂ−ａ＋ｄ”と表現する）と、先行音素がｂで後続音素がｔであるａ（”ｂ−ａ＋ｔ”）は異なるトライフォンである。多言語音声データベースからトライフォンリストを作成するには、まず、多言語音声データベースに含まれるラベルデータから先行音素および後続音素を考慮したトライフォンラベルを作成する。次に、このトライフォンラベルから異なるトライフォンをトライフォンリストとする。
【００２３】
ステップ３４は、第一の音響モデル作成部９１が、決定木作成のための多言語質問セットを作成する。後述する決定木の作成において、音声学的もしくは言語学的な質問セットを全ての言語に対して作成する必要がある。例えば、質問の例としては、「中心音素が母音であるか？」や、「先行音素が英語の破裂音であるか？」などである。それぞれの質問に対しては、「はい」もしくは「いいえ」の２つの答えが用いられる。
【００２４】
ステップ３５は、第一の音響モデル作成部９１が、多言語音声データベースを用いて、各言語ごとのスケーリング係数を計算する処理である（スケーリング係数計算処理）。ステップ３４は、決定木作成のための多言語質問セットを作成する処理である。これらは、多言語音響モデルおよび決定木を作成するためのデータを準備するステップである。ステップ３５は、ステップ３７およびステップ３８で行われる正規化処理を行う際に必要となるデータ作成処理である。
【００２５】
ステップ３６は、第一の音響モデル作成部９１が、トライフォンリストに含まれるトライフォンごとに、トライフォンの音響モデル（第一の音響モデル）を作成する。隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：ＨＭＭ）を用いて音響モデルは作成される。ＨＭＭは複数の状態からなり、ＨＭＭの各状態は、混合ガウス分布モデルが用いられる。このステップ３６は、音響モデルをトライフォンＨＭＭとして作成する処理である。
【００２６】
ステップ３７は、データ正規化部９２が、トライフォンリストに含まれるトライフォンごとに、多言語音声データベースを用いて、トライフォンのサンプル数の計算および正規化を行う処理である（サンプル数正規化処理）。
【００２７】
ステップ３８は、データ正規化部９２が、多言語音声データベースを用いて、トライフォンのＨＭＭの状態ごとに、トライフォンのＨＭＭの各状態の占有カウントの計算および正規化を行う処理である（占有カウント正規化処理）。ステップ３７とステップ３８は、トライフォンの正規化サンプル数、およびトライフォンの各状態の正規化占有カウントを計算するためのものであり、ステップ３９の処理における最良の質問を選択する処理で用いられる。
【００２８】
ステップ３９は、第二の音響モデル作成部９３が、トライフォンのＨＭＭの状態ごとに、決定木の作成を行う。決定木は、質問セットを用いてトライフォンの状態を異なるクラスタに分割する。同じクラスタに属する状態は同じ音響モデルとして共有され、音響モデル全体のサイズは、クラスタ数を調整することによって変更することができる。更に、多言語音声データベースに存在しない未観測トライフォンは、決定木に対して質問に答えていくことにより、一つのクラスタに割り当てられる。
【００２９】
ステップ３１０は、第二の音響モデル作成部９３が、ステップ３８とステップ３９で処理すべきＨＭＭがないかを判定する。処理すべきＨＭＭなければ、ステップ３１１に進み、あれば、ステップ３８に戻り、次のＨＭＭについて、処理する。
【００３０】
ステップ３１１は、第二の音響モデル作成部９３が、ステップ３５、ステップ３７、ステップ３８、ステップ３９で処理すべきトライフォンがないかを判定する。処理すべきトライフォンがなければ、ステップ３１２に進み、あれば、ステップ３６に戻り、次のトライフォンについて、処理する。
【００３１】
ステップ３１２は、第二の音響モデル作成部９３が、クラスタリングされた音響モデルの作成を行う。決定木を作成した後、同じ木の終端ノードに属する状態は、同じモデルとして共有されるよう統合される。この結果、クラスタリングされた音響モデル（第二の音響モデル）が作成される。このステップ３１２は、ステップ３６で作成された第一の音響モデルをクラスタリングする決定木を作成するためのものである。
【００３２】
ステップ３１３は、第二の音響モデル作成部９３が、クラスタリングされた多言語音響モデルの再作成を行う。クラスタリングされた音響モデルは、多言語音声データベースを用いて再学習することにより作成される。なお、再学習とは、音響モデルの統計量（特徴量の平均および分散、ＨＭＭの遷移確率、混合ガウス分布の重み）を再計算する処理であり、ＥＭアルゴリズムなどの学習アルゴリズムによって計算される。そして、再作成後の多言語音響モデルが多言語音声認識に使用される。このステップ３１３は、クラスタリングされた多言語音響モデルを再作成し、多言語音響モデルを作成するためのものである。
【００３３】
以上のフローにより、トライフォンＨＭＭのサンプル数とＨＭＭの各状態の占有カウントからなる統計情報が異なる言語間で正規化され、その結果、本実施形態により得られる決定木は、全ての言語に対して最適化される。
【００３４】
図４は、ステップ３５の詳細フローチャートである。
【００３５】
ステップ４１は、ステップ３２の多言語音声データベースの合計サイズ“Ｓ”を計算する。音声データベースのサイズを測定する方法はいくつかあるが、一般的な方法としては、音声データベースの音声の継続時間や、音声データベースの発声数などがある。ステップ４２は、多言語音声データベースの各言語に対する処理である。全言語数をＬとし、現在の言語のインデックスをｉ （ｉ＝１， …， Ｌ）とすると、全言語に対してステップ４３および４４の処理が終了した場合、図４の処理を終了する。ステップ４３は、多言語音声データベースの言語内の音声データベースのサイズを計算する。言語ｉの音声データのサイズを“Ｓｉ”とする。ステップ４４は、言語ｉのスケーリング係数ＳＦ（ｉ）を多言語音声データベースの合計サイズに対する言語の音声データのサイズの比として次の式によって計算する。
【００３６】
ＳＦ（ｉ）＝ Ｓｉ ／ Ｓ
この式では、多言語音声データベースのサイズに対する言語ごとの音声データのサイズの割合としてスケーリング係数を計算している。
【００３７】
図５は、ステップ３７の詳細フローチャートである。
【００３８】
ステップ５１は、トライフォンＨＭＭ（通常、先行音素および後続音素の音素環境考慮した音素を３つの状態からなるＨＭＭとして表現されたもの）ごとの処理である。いま、全トライフォンＨＭＭの数をＴとし、ｋ番目のトライフォンＨＭＭをＭｋ （ｋ＝１， …， Ｔ）とするとき、全トライフォンに対してステップ５２から５５までの処理が終了した場合、図５の処理を終了する。ステップ５２は、多言語音声データベースの各言語に対する処理である。全言語数をＬとし、現在の言語のインデックスをｉ （ｉ＝１， …， Ｌ）とすると、全言語に対してステップ５３から５５の処理が終了した場合、ステップ５５の処理を行う。ステップ５３は、ｉ番目の言語におけるｋ番目のトライフォンＨＭＭのサンプル数Ｎ（ｋ，ｉ）を計算する。Ｎ（ｋ，ｉ）は、言語の音声データベースの中で、トライフォンが含まれる発声数の合計として求める。ステップ５４は、言語ｉにおけるトライフォンＭｋのスケーリングサンプル数Ｓｃａｌｅ（Ｎ（ｋ， ｉ））を次式により計算する。
【００３９】
Ｓｃａｌｅ（Ｎ（ｋ， ｉ）） ＝ Ｎ（ｋ， ｉ） ／ ＳＦ（ｉ）
ステップ５５は、全言語に対する（多言語音声データベース全体に対する）トライフォンＭｋの正規化サンプル数Ｎｏｒｍ（Ｎ（ｋ））を計算する。Ｎｏｒｍ（Ｎ（ｋ））は、次式のように、スケーリングサンプル数Ｓｃａｌｅ（Ｎ（ｋ， ｉ））を全ての言語に対して総和をとることによって計算する。
【００４０】
Ｎｏｒｍ（Ｎ（ｋ）） ＝ Σｉ（Ｓｃａｌｅ（Ｎ（ｋ， ｉ）） ） （ｉ＝１， …， Ｌ）
以上、説明したように、ステップ５２から５５の処理で、言語間のデータサイズの大きさの違いによる音響モデルのサンプル数に偏りを生じさせないよう正規化することができる。
【００４１】
図６は、ステップ３８の詳細フローチャートである。
【００４２】
ステップ６１は、トライフォンＨＭＭを構成する状態ごとの処理である。いま、全トライフォンＨＭＭの数をＴとし、ｋ番目のトライフォンＨＭＭをＭｋ （ｋ＝１， …， Ｔ）、Ｍｋを構成する状態をＳｋｊと（ｊ＝１，…，Ｊｋ）とする。全てのトライフォンの全ての状態に対してステップ６２から６５までの処理が終了した場合、図６の処理を終了する。ステップ６２は、多言語音声データベースの各言語に対する処理である。全言語数をＬとし、現在の言語のインデックスをｉ （ｉ＝１， …， Ｌ）とすると、全言語に対してステップ６３から６５の処理が終了した場合、ステップ６５の処理を行う。ステップ６３は、ｉ番目の言語におけるｋ番目のトライフォンＨＭＭのｊ番目の状態の占有カウントＯＣ（ｋ， ｊ， ｉ）を計算する。ＯＣ（ｋ， ｊ， ｉ）の計算方法は後述する。ステップ６４は、言語ｉにおけるトライフォンＭｋの状態Ｓｋｊのスケーリング占有カウントＳｃａｌｅｄ（ＯＣ（ｋ， ｊ， ｉ） ） をＯＣ（ｋ， ｊ， ｉ）および言語毎のスケーリング係数ＳＦ（ｉ）を用いて次式により計算する（データ重み付け処理）。
【００４３】
Ｓｃａｌｅｄ（ＯＣ（ｋ， ｊ， ｉ） ） ＝ ＯＣ（ｋ， ｊ， ｉ） ／ ＳＦ（ｉ）
この式では、スケーリング係数を用いて、重み付けを行っている。
【００４４】
ステップ６５は、全言語に対する（多言語音声データベース全体に対する）トライフォンＭｋの状態Ｓｋｊの正規化占有カウントＮｏｒｍ （ＯＣ（ｋ， ｊ）） を計算する。Ｎｏｒｍ （ＯＣ（ｋ， ｊ）） は、次式のように、スケーリング占有カウントＳｃａｌｅｄ（ＯＣ（ｋ， ｊ， ｉ） ） を全ての言語に対して総和をとることによって計算する。
【００４５】
Ｎｏｒｍ （ＯＣ（ｋ， ｊ）） ＝ Σｉ（Ｓｃａｌｅｄ（ＯＣ（ｋ， ｊ， ｉ） ） （ｉ＝１， …， Ｌ）
以上、説明したように、ステップ６２から６５の処理で、言語間のデータサイズの大きさの違いによる状態の占有カウントに偏りを生じさせないよう正規化することができる。
【００４６】
図７は、ステップ６３の詳細フローチャートである。
【００４７】
ステップ７１は、トライフォンＨＭＭを構成する状態ごとの処理である。いま、全トライフォンＨＭＭの数をＴとし、ｋ番目のトライフォンＨＭＭをＭｋ （ｋ＝１， …， Ｔ）、Ｍｋを構成する状態をＳｋｊと（ｊ＝１，…，Ｊｋ）とする。言語ｉの音声データベースに含まれる状態Ｓｋｊに関する全ての音声サンプルＯｒｉ （ｒ＝１， …， Ｎ（ｋ，ｉ）） （音声サンプル数をＮ（ｋ，ｉ） とする）に対して、ステップ７２から７５までの処理が終了した場合、図７の処理を終了する。ステップ７２は、音声サンプルＯｒｉ の発声内容に対する音素ラベル列を取得する。ステップ７３は、音素ラベル列に対するトライフォンＨＭＭを取得し、音素ラベル列の順にＨＭＭを連結する。ステップ７４は、トライフォンＭｋの状態 Ｓｋｊ に対する音声サンプルＯｒｉ の占有カウントＯＣ（ｋ， ｉ， ｒ， ｊ）の計算を行う。この計算は、良く知られた前向き後ろ向き確率の計算に基づき行う。具体的には、連結されたＨＭＭに対して、音声サンプルＯｒｉ を入力し、各ＨＭＭの状態の占有カウントを計算し、これらの計算結果から、現在着目している占有カウントＯＣ（ｋ， ｉ， ｒ， ｊ）を得る。ステップ７５は、全ての音声サンプルに対して、占有カウントの計算を行い、次式のように総和を求める。
【００４８】
ＯＣ （ｋ，ｉ， ｊ） ＝ Σｒ（ＯＣ（ｋ， ｉ， ｒ， ｊ ） ） （ｒ＝１， …， Ｎ（ｋ， ｉ））
図８は、従来技術と本発明によってそれぞれ作成した多言語音響モデルを用いた場合の音声認識性能の比較である。多言語音響モデルの作成に用いた多言語音声データベースは、２６言語からなる合計１６００時間である。このうち、９言語はデータ量が多く、合計で１４００時間であり、残りの１７言語は、データ量が少なく、合計で約２００時間である。音声認識性能の評価に用いた音声データは、２６言語で、各言語２０話者からなり、各話者１００種類の単語を発声している。また、ＳＮ比が１５ｄＢとなるように音声データに雑音を加えている。
【００４９】
図８から次の３点のことが分かる。まず、第一に、データ量の多い９言語の音声認識性能は、９０．４４％から９０．２２％にわずかに性能が劣化している。第二に、データ量の少ない１７言語の音声認識性能は、８４．８３％から８６．６１％と明らかに改善している。特に、アラビア語、オランダ語、ギリシア語については、４〜５％と大きく性能が改善できている。最後に、２６言語全体の平均認識率も、８６．５６％から８７．７２％に改善している。
【００５０】
以上、説明したように、本実施形態によれば、データ量の多い言語に対してほとんど性能劣化を生じることなく、データ量の少ない言語の性能を大きく向上させることができる。
【００５１】
＜その他の実施形態＞
本発明の目的は前述した実施例の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが記録媒体に格納されたプログラムを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラム自体が前述した実施形態の機能を実現することとなり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。
【００５２】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。
【００５３】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施例の機能が実現されるだけではない。そのプログラムの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。
【００５４】
さらに、記憶媒体から読み出されたプログラムが、コンピュータに接続された機能拡張ユニットのメモリに書きこまれた後、その機能拡張ユニットのＣＰＵが実際の処理の一部または全部を行い、前述した実施形態の機能が実現される場合も含まれる。
【特許請求の範囲】
【請求項１】
多言語音声認識のための音響モデル作成装置の制御方法であって、
第一の音響モデル作成手段が、音声データベースから第一の音響モデルを作成するステップと、
データ正規化手段が、少なくとも２つ以上の言語からなる多言語音声データベースと前記第一の音響モデルから得られるデータを用いて、データを正規化するステップと、
第二の音響モデル作成手段が、前記正規化されたデータと前記多言語音声データベースを用いて第二の音響モデルを作成するステップとを有することを特徴とする音響モデル作成装置の制御方法。
【請求項２】
前記データ正規化ステップは、
前記多言語音声データベースのサイズを用いて言語ごとにスケーリング係数を計算するスケーリング係数計算ステップと、
前記スケーリング係数を用いて第一の音響モデルから得られるデータを重み付けするデータ重み付けステップを有することを特徴とする請求項１に記載の音響モデル作成装置の制御方法。
【請求項３】
前記スケーリング係数計算ステップは、
前記多言語音声データベース全体のサイズを計算するステップと、
言語ごとに音声データベースのサイズを計算するステップと、
前記多言語音声データベースのサイズに対する前記言語ごとの音声データのサイズの割合としてスケーリング係数を計算するステップを有することを特徴とする請求項２に記載の音響モデル作成装置の制御方法。
【請求項４】
前記データ重み付けステップは、
多言語音声データベースの各言語に対して第一の音響モデルのサンプル数を計算するステップと、
多言語音声データベースの各言語に対して第一の音響モデルのサンプル数をスケーリングするステップと、
前記スケーリングサンプル数を全ての言語に対して総和を計算することにより第一の音響モデルのサンプル数を正規化するサンプル数正規化ステップを有することを特徴とする請求項２に記載の音響モデル作成装置の制御方法。
【請求項５】
多言語音声データベースの各言語に対して第一の音響モデルの占有カウントを計算するステップと、
前記言語ごとのスケーリング係数を用いて前記占有カウントをスケーリングするステップと、
前記スケーリング占有カウントを多言語音声データベースの全ての言語に対して総和を計算することにより第一の音響モデルの占有カウントを正規化する占有カウント正規化ステップを有することを特徴とする請求項２に記載の音響モデル作成装置の制御方法。
【請求項６】
多言語音声認識のための音響モデル作成装置であって、
音声データベースから第一の音響モデルを作成する第一の音響モデル作成手段と、
少なくとも２つ以上の言語からなる多言語音声データベースと前記第一の音響モデルから得られるデータを用いてデータを正規化するデータ正規化手段と、
前記正規化されたデータと前記多言語音声データベースを用いて第二の音響モデルを作成する第二の音響モデル作成手段を有することを特徴とする音響モデル作成装置。
【請求項７】
コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項６に記載の音響モデル作成装置の各手段として機能させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【請求項１】
多言語音声認識のための音響モデル作成装置の制御方法であって、
第一の音響モデル作成手段が、音声データベースから第一の音響モデルを作成するステップと、
データ正規化手段が、少なくとも２つ以上の言語からなる多言語音声データベースと前記第一の音響モデルから得られるデータを用いて、データを正規化するステップと、
第二の音響モデル作成手段が、前記正規化されたデータと前記多言語音声データベースを用いて第二の音響モデルを作成するステップとを有することを特徴とする音響モデル作成装置の制御方法。
【請求項２】
前記データ正規化ステップは、
前記多言語音声データベースのサイズを用いて言語ごとにスケーリング係数を計算するスケーリング係数計算ステップと、
前記スケーリング係数を用いて第一の音響モデルから得られるデータを重み付けするデータ重み付けステップを有することを特徴とする請求項１に記載の音響モデル作成装置の制御方法。
【請求項３】
前記スケーリング係数計算ステップは、
前記多言語音声データベース全体のサイズを計算するステップと、
言語ごとに音声データベースのサイズを計算するステップと、
前記多言語音声データベースのサイズに対する前記言語ごとの音声データのサイズの割合としてスケーリング係数を計算するステップを有することを特徴とする請求項２に記載の音響モデル作成装置の制御方法。
【請求項４】
前記データ重み付けステップは、
多言語音声データベースの各言語に対して第一の音響モデルのサンプル数を計算するステップと、
多言語音声データベースの各言語に対して第一の音響モデルのサンプル数をスケーリングするステップと、
前記スケーリングサンプル数を全ての言語に対して総和を計算することにより第一の音響モデルのサンプル数を正規化するサンプル数正規化ステップを有することを特徴とする請求項２に記載の音響モデル作成装置の制御方法。
【請求項５】
多言語音声データベースの各言語に対して第一の音響モデルの占有カウントを計算するステップと、
前記言語ごとのスケーリング係数を用いて前記占有カウントをスケーリングするステップと、
前記スケーリング占有カウントを多言語音声データベースの全ての言語に対して総和を計算することにより第一の音響モデルの占有カウントを正規化する占有カウント正規化ステップを有することを特徴とする請求項２に記載の音響モデル作成装置の制御方法。
【請求項６】
多言語音声認識のための音響モデル作成装置であって、
音声データベースから第一の音響モデルを作成する第一の音響モデル作成手段と、
少なくとも２つ以上の言語からなる多言語音声データベースと前記第一の音響モデルから得られるデータを用いてデータを正規化するデータ正規化手段と、
前記正規化されたデータと前記多言語音声データベースを用いて第二の音響モデルを作成する第二の音響モデル作成手段を有することを特徴とする音響モデル作成装置。
【請求項７】
コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項６に記載の音響モデル作成装置の各手段として機能させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−１５５７９（Ｐ２０１３−１５５７９Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４６５０３（Ｐ２０１１−１４６５０３）
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]