発音評定装置、およびプログラム
【課題】従来の発音評定装置においては、精度高く発音評定ができなかった、という課題があった。
【解決手段】受け付けた音声を、フレームに区分するフレーム区分部と、区分された各フレームの特徴ベクトルを取得する特徴ベクトル系列取得部と、特徴ベクトル系列と母語音素ＨＭＭを用いて第一の最適状態番号系列を取得する第一最適状態番号系列取得部と、特徴ベクトル系列と連結ＨＭＭを用いて第二の最適状態番号系列を取得する第二最適状態番号系列取得部と、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、フレームごとに最適状態に対する確率を算出し、フレームごとに発音の良し悪しを示すスコアを算出するフレーム状態最適パススコア算出部と、スコアを出力する出力部を具備する発音評定装置により、精度高く発音評定ができる。
【解決手段】受け付けた音声を、フレームに区分するフレーム区分部と、区分された各フレームの特徴ベクトルを取得する特徴ベクトル系列取得部と、特徴ベクトル系列と母語音素ＨＭＭを用いて第一の最適状態番号系列を取得する第一最適状態番号系列取得部と、特徴ベクトル系列と連結ＨＭＭを用いて第二の最適状態番号系列を取得する第二最適状態番号系列取得部と、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、フレームごとに最適状態に対する確率を算出し、フレームごとに発音の良し悪しを示すスコアを算出するフレーム状態最適パススコア算出部と、スコアを出力する出力部を具備する発音評定装置により、精度高く発音評定ができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された音声を評価する装置等に関し、例えば、語学学習等に利用できる発音評定装置等に関するものである。
【背景技術】
【０００２】
従来の技術として、以下の語学学習装置がある（特許文献１参照）。本語学学習装置は、学習者が選択した役割の発音をレファランスデータと比較して一致度によって点数化して表示し、点数によって適当な次の画面を自動に表示することにより、学習能率を向上させる装置である。本従来の語学学習装置は、入力された音声信号は音声認識技術により分析された後、学習者発音のスペクトルと抑揚とが学習者発音表示ボックスに表れるという構成になっている。そして、従来の技術においては、標準音データと学習者の発音のスペクトル、および抑揚が比較されて点数が表示される。
【特許文献１】特開２００３−２２８２７９（第１頁、第１図等）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来の技術においては、標準音データと学習者の発音のスペクトル、および抑揚が比較されて点数が表示される構成であるので、両者の類似度の評定の精度が低く、また、リアルタイムに高速に点数を表示するためには、処理能力が極めて高いＣＰＵ、多量のメモリが必要であった。
【課題を解決するための手段】
【０００４】
本第一の発明の発音評定装置は、音韻毎の隠れマルコフモデルに基づくデータである母語音素ＨＭＭを格納している母語音素ＨＭＭ格納部と、発音評定の対象である正解トランスクリプションに従ってＨＭＭに基づくデータを連結したデータである連結ＨＭＭを格納している連結ＨＭＭ格納部と、音声の入力を受け付ける音声受付部と、前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分部と、前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得部と、前記特徴ベクトル系列と前記母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得部と、前記特徴ベクトル系列と前記連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得部と、前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム状態最適パススコア算出部と、前記フレーム状態最適パススコア算出部が算出したフレームごとのスコアを出力する出力部を具備する発音評定装置である。
【０００５】
かかる構成により、音韻毎に連結した連結ＨＭＭとフレーム分割されたデータを用いて、比較対象の音声と入力音声の類似度を評定することができるので、両者の類似度の評定の精度を高く、高速に行うことができる。
【０００６】
また、本第二の発明の発音評定装置は、音韻毎の隠れマルコフモデルに基づくデータである母語音素ＨＭＭを格納している母語音素ＨＭＭ格納部と、発音評定の対象である正解トランスクリプションに従ってＨＭＭに基づくデータを連結したデータである連結ＨＭＭを格納している連結ＨＭＭ格納部と、音声の入力を受け付ける音声受付部と、前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分部と、前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得部と、前記特徴ベクトル系列と前記母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得部と、前記特徴ベクトル系列と前記連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得部と、前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム音素最適パススコア算出部と、前記フレーム音素最適パススコア算出部が算出したフレームごとのスコアを出力する出力部を具備する発音評定装置である。
【０００７】
かかる構成により、状態のもっともらしさではなく、母語音素のもっともらしさを評定するので、第一の発明と比較しても、精度高く発音評定ができる。
【０００８】
また、本第三の発明の発音評定装置は、第一、第二いずれかの発明に対して、前記音声受付部が受け付けた音声の発音区間を取得する発音区間取得部と、前記発音区間ごとに、当該発音区間に対応する１以上のフレームごとの１以上のスコアを用いて、当該発音区間の代表のスコアを算出する代表値演算部をさらに具備し、前記出力部は、少なくとも前記代表値演算部が算出した各発音区間の代表のスコアを出力する発音評定装置である。
【０００９】
かかる構成により、発音区間ごとのスコアを得ることができる。
【００１０】
また、本第四の発明の発音評定装置は、第一から第三いずれかの発明に対して、前記母語音素ＨＭＭ格納部の母語音素ＨＭＭから、発音評定の対象である正解トランスクリプションに従って連結ＨＭＭを構成する連結ＨＭＭ構成部をさらに具備し、前記連結ＨＭＭ格納部の連結ＨＭＭは、前記連結ＨＭＭ構成部が構成した連結ＨＭＭである発音評定装置である。
【００１１】
かかる構成により、予め連結ＨＭＭを取得する必要がなく、連結ＨＭＭを準備する手間を省くことができる。
【発明の効果】
【００１２】
本発明による発音評定装置によれば、精度高く発音評定ができる。
【発明を実施するための最良の形態】
【００１３】
以下、発音評定装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
【００１４】
本実施の形態において、比較対象の音声と入力音声の類似度の評定を精度高く、かつ高速にできる発音評定装置について説明する。本実施の形態における発音評定装置は、入力された音声が、比較対象の音声（例えば、ネイティブが発音した音声）と比較して、音声を構成する各フレームの状態の類似度を算定するものである。
【００１５】
図１は、本実施の形態における発音評定装置のブロック図である。
【００１６】
発音評定装置は、母語音素ＨＭＭ格納部１０１、連結ＨＭＭ格納部１０２、音声受付部１０３、フレーム区分部１０４、特徴ベクトル系列取得部１０５、第一最適状態番号系列取得部１０６、第二最適状態番号系列取得部１０７、フレーム状態最適パススコア算出部１０８、発音区間取得部１０９、代表値演算部１１０、出力部１１１、連結ＨＭＭ構成部１１２を具備する。
【００１７】
フレーム状態最適パススコア算出部１０８は、演算式格納手段１０８１、フレーム状態最適パススコア算出手段１０８２を具備する。
【００１８】
母語音素ＨＭＭ格納部１０１は、音韻毎の隠れマルコフモデル（ＨＭＭ）に基づくデータである母語音素ＨＭＭを格納している。母語音素ＨＭＭとは、ネイティブ発音の音声データベースから学習したネイティブ発音の音韻ＨＭＭである。ＨＭＭに基づくデータは、例えば、フレーム毎に、状態識別子と遷移確率の情報を有する。母語音素ＨＭＭ格納部１０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００１９】
連結ＨＭＭ格納部１０２は、発音評定の対象である正解トランスクリプションに従ってＨＭＭに基づくデータを連結したデータである連結ＨＭＭを格納している。連結ＨＭＭ格納部１０２の連結ＨＭＭは、後述する連結ＨＭＭ構成部１１２が構成したものであることが好適である。ただし、本発音評定装置で連結ＨＭＭを構成せず、他の装置で構成した連結ＨＭＭを、連結ＨＭＭ格納部１０２に記憶させても良い。連結ＨＭＭ格納部１０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２０】
音声受付部１０３は、音声の入力を受け付ける。音声の入力手段は、例えば、マイクや、記録媒体や、受信手段である。つまり、音声受付部１０３は、マイクからユーザの音声を受け付けても良いし、ハードディスクやＣＤ−ＲＯＭなどの記録媒体から音声データを読み出しても良いし、外部装置から音声データを受信しても良い。音声受付部１０３は、例えば、マイクと、そのデバイスドライバー等で実現され得る。また、音声をユーザから受け付ける場合、ユーザが発音すべき音声を、図示しない手段により、ディスプレイに文字列などで出力することは好適である。
【００２１】
フレーム区分部１０４は、音声受付部１０３が受け付けた音声を、フレームに区分する。音声をフレームに区分する技術は公知技術であるので、詳細な説明を省略する。フレーム区分部１０４は、通常、ＭＰＵやメモリ等から実現され得る。フレーム区分部１０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２２】
特徴ベクトル系列取得部１０５は、区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する。特徴ベクトル系列は、各フレームの特徴ベクトルの列である。なお、各フレームの特徴ベクトルを取得する技術は公知技術であるので、詳細な説明を省略する。例えば、特徴ベクトルは、三角型フィルタを用いたチャネル数２４のフィルタバンク出力を離散コサイン変換したＭＦＣＣであり、その静的パラメータ、デルタパラメータおよびデルタデルタパラメータをそれぞれ１２次元、さらに正規化されたパワーとデルタパワーおよびデルタデルタパワー（３９次元）を有する。特徴ベクトル系列取得部１０５は、通常、ＭＰＵやメモリ等から実現され得る。特徴ベクトル系列取得部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２３】
第一最適状態番号系列取得部１０６は、特徴ベクトル系列取得部１０５が取得した特徴ベクトル系列と、母語音素ＨＭＭ格納部１０１の母語音素ＨＭＭを読み出し、当該特徴ベクトル系列と当該母語音素ＨＭＭを用いて、ビタビアルゴリズムにより全フレームの最適状態を決定する。各フレームの特徴ベクトルと母語音素ＨＭＭを用いて、ビタビアルゴリズムにより、当該フレームの最適状態を決定する処理は公知技術であるので詳細な説明を省略する。第一最適状態番号系列取得部１０６が取得した全フレームの最適状態を、第一の最適状態番号系列という。第一最適状態番号系列取得部１０６は、通常、ＭＰＵやメモリ等から実現され得る。第一最適状態番号系列取得部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２４】
第二最適状態番号系列取得部１０７は、特徴ベクトル系列取得部１０５が取得した特徴ベクトル系列と、連結ＨＭＭ格納部１０２の連結ＨＭＭを読み出し、当該特徴ベクトル系列と当該連結ＨＭＭを用いて、ビタビアルゴリズムにより全フレームの最適状態を決定する。各フレームの特徴ベクトルと連結ＨＭＭを用いて、ビタビアルゴリズムにより、当該フレームの最適状態を決定する処理は公知技術であるので詳細な説明を省略する。第二最適状態番号系列取得部１０７が取得した全フレームの最適状態を、第二の最適状態番号系列という。第二最適状態番号系列取得部１０７は、通常、ＭＰＵやメモリ等から実現され得る。第二最適状態番号系列取得部１０７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２５】
フレーム状態最適パススコア算出部１０８は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、区分されたフレームごとに発音の良し悪しを示すスコアを算出する。フレーム状態最適パススコア算出部１０８は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに、状態らしさを算出することとなる。また、フレーム状態最適パススコア算出部１０８は、後述する演算式格納手段１０８１に格納されている演算式を用いて、状態らしさを算出するが、その演算式は後述の数式１に限られない。つまり、数式１のパラメータを若干、変更している演算式でも良い。また、フレーム状態最適パススコア算出部１０８は、例えば、数式１の「ａｑｔ−１（１）ｑｔ（２）」が「０」である場合に、予め決められた０でない値に変更して、「ＯＰＳ１（ｔ）」を算出しても良い。同様に、フレーム状態最適パススコア算出部１０８は、例えば、数式１の「ａｑｔ（２）ｑｔ＋１（１）」が「０」である場合に、予め決められた０でない値に変更して、「ＯＰＳ１（ｔ）」を算出しても良い。つまり、フレーム状態最適パススコア算出部１０８は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、区分されたフレームごとに発音の良し悪しを示すスコアを算出すれば、その算出に用いる演算式は問わない。フレーム状態最適パススコア算出部１０８は、通常、ＭＰＵやメモリ等から実現され得る。フレーム状態最適パススコア算出部１０８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２６】
演算式格納手段１０８１は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列をパラメータとして、フレーム状態最適パススコアを算出する演算式の情報を格納している。演算式格納手段１０８１は、例えば、以下の数式１の演算式の情報を格納している。
【数１】
【００２７】
数式１において、「ＯＰＳ１（ｔ）」は、ｔ番目のフレームのフレーム状態最適パススコアを示す関数である。「ｔ」はフレームを識別する番号であり、「ｔ」は、（ｔ＝１，２，...．，Ｔ，Ｔはフレーム総数）の範囲を取り得る。また、ｔ番目のフレームにおける特徴ベクトルを「ｏｔ」、ｔ番目分析フレームに対応するＨＭＭの状態（状態番号）をｑｔ、特徴ベクトル系列をＯ＝｛ｏ１，ｏ２，...．．，ｏＴ｝、ｔ番目フレームに対する状態ｑｔを除いた系列をＱ＼｛ｑｔ｝＝｛ｑ１，...，ｑｔ−１，ｑｔ＋１，...，ｑＴ｝、すべての母語音素モデルの（連結順序を考えない）集合をΛａｌｌ、母語音素モデルを評定対象の正解トランスクリプションに従って連結したモデル（連結モデル）をΛｃｏｒとする。また、Λａｌｌのもとで、音素系列の制約なしに求めた最適状態系列（第一の最適状態番号系列）をＱ１＝｛ｑ１（１），ｑ２（１），...．．，ｑＴ（１）｝、Λｃｏｒのもとで求めた最適パス（forced alignment 最適パス［第二の最適状態番号系列］）をＱ２＝｛ｑ１（２），ｑ２（２），...．．，ｑＴ（２）｝とする。また、ａｉｊは、ｉ番目状態からｊ番目状態へ遷移する確率、ｂｊ（ｏ）はｊ番目状態における特徴ベクトルｏの出力確率密度関数である。さらに、ｑＴ＋１は特徴ベクトルを出力しない最終状態であり、状態系列Ｑには含まれない便宜的に設定した状態である。なお、数式１において、ｔ＝１の場合、ａｑ０（１）ｊをπｊに置き換える（ｊ＝１，２，...，Ｎ）。なお、πｊは、ｊ番目状態に対する初期状態確率である。なお、数式１において、「ｑｔ（１）」の添え字の「ｔ」と「（１）」は上下に配置されているが、「ｑｔ（１）」と同意義である、とする。その他、本明細書の数式における添え字が上下に配置されているものと、「ｑｔ（１）」の「ｔ」と「（１）」のように横に並んで配置されているものとは同意義である、とする。また、「Ｎ」は、すべての母語音素モデルにわたる総状態数である。
【００２８】
演算式格納手段１０８１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２９】
フレーム状態最適パススコア算出手段１０８２は、演算式格納手段１０８１から演算式の情報を読み出し、当該演算式に従って、パラメータの値を取得し、当該パラメータの値を、読み出した演算式に代入し、スコアを算出する。さらに、具体的には、フレーム状態最適パススコア算出手段１０８２は、上記の数式１を読み出し、１番目のフレームから、Ｔ番目のフレームまで、フレームごとに、フレーム状態最適パススコアを算出する。フレーム状態最適パススコアは、各フレームの状態らしさを示すスコアである。フレーム状態最適パススコア算出手段１０８２は、フレームごとに、例えば、以下のように分母の値を算出する。つまり、まず、フレーム状態最適パススコア算出手段１０８２は、「ｊ＝１」から、「ａｑｔ−１（１）１」（ｑｔ−１（１）番目状態から１番目状態へ遷移する確率）を母語音素ＨＭＭ格納部１０１から読み出す（なお、ｔ＝１の場合は、「ａｑｔ−１（１）１」はπ１になる。）。また、フレーム状態最適パススコア算出手段１０８２は、「ａ１ｑｔ＋１（１）」（１番目状態からｑｔ＋１（１）番目状態へ遷移する確率）を母語音素ＨＭＭ格納部１０１から読み出す。そして、フレーム状態最適パススコア算出手段１０８２は、ｔ番目のフレームの特徴ベクトルを取得し、当該特徴ベクトルを出力密度関数に代入し、ｂ１（ｏｔ）を得る。そして、フレーム状態最適パススコア算出手段１０８２は、得た「ａｑｔ−１（１）１」、「ａ１ｑｔ＋１（１）」、およびｂ１（ｏｔ）を乗算し、その結果を一時的にメモリに記憶する。次に、フレーム状態最適パススコア算出手段１０８２は、「ｊ＝２」として、同様に演算し、その結果を一時的にメモリに記憶する。そして、フレーム状態最適パススコア算出手段１０８２は、以上の処理を「ｊ＝Ｎ」まで繰り返す。そして、フレーム状態最適パススコア算出手段１０８２は、メモリ上に一時記憶した乗算結果をすべて読み出し、それらの和を算出する。そして、フレーム状態最適パススコア算出手段１０８２は、数式１の分母の演算結果を得る。なお、「π１」とは、1番目の状態に対する初期状態確率であり、母語音素ＨＭＭ格納部１０１に予め格納されている。また、フレーム状態最適パススコア算出手段１０８２は、出力密度関数の情報を予め格納しており、かかる出力密度関数の情報を読み出し、パラメータを代入し、ｂ１（ｏｔ）を得る。
【００３０】
次に、フレーム状態最適パススコア算出手段１０８２は、フレームごとに、以下のように分子の値を算出する。つまり、フレーム状態最適パススコア算出手段１０８２は、「ａｑｔ−１（１）ｑｔ（２）」（ｑｔ−１（１）番目状態からｑｔ（２）番目状態へ遷移する確率）を母語音素ＨＭＭ格納部１０１から読み出す（なお、ｔ＝１の場合は、「ａｑｔ−１（１）ｑｔ（２）」はπｑｔ（２）になる。）。また、フレーム状態最適パススコア算出手段１０８２は、「ａｑｔ（２）ｑｔ＋１（１）」（ｑｔ（２）番目状態からｑｔ＋１（１）番目状態へ遷移する確率）を母語音素ＨＭＭ格納部１０１から読み出す。また、フレーム状態最適パススコア算出手段１０８２は、ｔ番目のフレームの特徴ベクトルを取得し、当該特徴ベクトルを出力密度関数に代入し、ｂｑｔ（２）（ｏｔ）を得る。そして、フレーム状態最適パススコア算出手段１０８２は、得た３つの値を乗算し、分子の値を取得し、メモリに一時記憶する。
【００３１】
次に、フレーム状態最適パススコア算出手段１０８２は、フレームごとに、分母の値と分子の値からフレーム状態最適パススコアを算出し、少なくとも、メモリ上に一時記憶する。
【００３２】
フレーム状態最適パススコア算出手段１０８２は、通常、ＭＰＵやメモリ等から実現され得る。フレーム状態最適パススコア算出手段１０８２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３３】
発音区間取得部１０９は、音声受付部１０３が受け付けた音声の発音区間を取得する。発音区間は、音素単位でも良いし、単語単位でも良いし、文単位等でも良い。発音区間取得部１０９が取得する発音区間は、フレームの番号列でも良いし、音声受付部１０３が受け付けた音声データを発音区間に分割した結果でも良い。発音区間取得部１０９は、通常、ＭＰＵやメモリ等から実現され得る。発音区間取得部１０９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３４】
代表値演算部１１０は、発音区間ごとに、当該発音区間に対応する１以上のフレームごとの１以上のスコアを用いて、当該発音区間の代表のスコアを算出する。代表値演算部１１０は、１以上のフレームごとの１以上のスコアの中央値を算出することが好適であるが、平均値や最大値などの他の代表値を算出するようにしても良い。代表値演算部１１０は、通常、ＭＰＵやメモリ等から実現され得る。代表値演算部１１０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３５】
出力部１１１は、フレーム状態最適パススコア算出部１０８が算出したフレームごとのスコアを出力する。出力部１１１は、代表値演算部１１０が算出した各発音区間の代表のスコアを出力しても良い。出力部１１１は、フレームごとのスコアと、各発音区間の代表のスコアの両方を出力しても良いし、どちらか一方を出力しても良い。ここで、出力とは、ディスプレイへの表示、プリンタへの印字、音声出力、外部の装置への送信、記録媒体への蓄積等を含む概念である。出力部１１１は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１１１は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００３６】
連結ＨＭＭ構成部１１２は、母語音素ＨＭＭ格納部１０１の母語音素ＨＭＭから、発音評定の対象である正解トランスクリプションに従って連結ＨＭＭを構成し、連結ＨＭＭ格納部１０２に少なくとも一時記憶する。母語音素ＨＭＭから、発音評定の対象である正解トランスクリプションに従って連結ＨＭＭを構成する技術は公知技術であるので詳細な説明を省略する。なお、正解トランスクリプションの情報は、連結ＨＭＭ構成部１１２が、予め保持していても良いし、ユーザが手動で与えても良い。連結ＨＭＭ構成部１１２は、通常、ＭＰＵやメモリ等から実現され得る。連結ＨＭＭ構成部１１２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３７】
次に、発音評定装置の動作について図２、図３のフローチャートを用いて説明する。
【００３８】
（ステップＳ２０１）音声受付部１０３は、ユーザから、発音評定の対象の音声を受け付けたか否かを判断する。なお、ユーザから音声を受け付ける前に、図示しない手段により、所定の単語や文の発音をユーザに促すようにしても良い。かかる処理は、例えば、「ｌｅａｒｎ と発音してください。」とディスプレイに表示したり、スピーカーで音声出力したりする処理である。音声受付部１０３が音声を受け付ければステップＳ２０２に行き、音声を受け付けなければステップＳ２０１に戻る。
【００３９】
（ステップＳ２０２）連結ＨＭＭ構成部１１２は、母語音素ＨＭＭ格納部１０１から母語音素ＨＭＭを読み出し、メモリ上に配置する。
【００４０】
（ステップＳ２０３）連結ＨＭＭ構成部１１２は、正解トランスクリプションを取得する。正解トランスクリプションは、例えば、図示しない記憶手段に予め格納されていても良いし、ユーザが入力して与えても良い。
【００４１】
（ステップＳ２０４）連結ＨＭＭ構成部１１２は、ステップＳ２０２で読み出した母語音素ＨＭＭから、ステップＳ２０３で取得した正解トランスクリプションに従って連結ＨＭＭを構成し、メモリ上に配置する。かかる場合、連結ＨＭＭ格納部１０２は、メモリである。
【００４２】
（ステップＳ２０５）フレーム区分部１０４は、ステップＳ２０１で受け付けた音声をフレームに区分し、１以上の各フレームに対応する１以上のフレーム音声データを取得する。
【００４３】
（ステップＳ２０６）特徴ベクトル系列取得部１０５は、ステップＳ２０５で取得された１以上の各フレーム音声データを音声分析し、１以上の各フレームに対応する１以上の特徴ベクトルを算出し、特徴ベクトル系列（Ｏ）を取得する。
【００４４】
（ステップＳ２０７）第一最適状態番号系列取得部１０６は、ステップＳ２０６で取得した特徴ベクトル系列と、母語音素ＨＭＭを用いて、ビタビアルゴリズムにより全フレームの最適状態を決定する。ここでの最適状態の集合は、第一最適状態番号系列（Ｑ１）である。
【００４５】
（ステップＳ２０８）第二最適状態番号系列取得部１０７は、ステップＳ２０６で取得した特徴ベクトル系列と、連結ＨＭＭを用いて、ビタビアルゴリズムにより全フレームの最適状態を決定する。ここでの最適状態の集合は、第二最適状態番号系列（Ｑ２）である。
【００４６】
（ステップＳ２０９）フレーム状態最適パススコア算出部１０８は、カウンタｔに１を代入する。ここで「ｔ」は、フレーム番号である。
【００４７】
（ステップＳ２１０）フレーム状態最適パススコア算出部１０８は、ｔ番目のフレームが存在するか否かを判断する。ｔ番目のフレームが存在すればステップＳ２１１に行き、存在しなければステップＳ２１３に行く。
【００４８】
（ステップＳ２１１）フレーム状態最適パススコア算出部１０８は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、ｔ番目のフレームの最適状態に対する確率を算出し、当該確率を用いて、ｔ番目のフレームについて、発音の良し悪しを示すスコアを算出する。フレーム状態最適パススコアを算出する詳細な処理例については、図３のフローチャートを用いて説明する。
【００４９】
（ステップＳ２１２）フレーム状態最適パススコア算出部１０８は、カウンタｔを１、インクリメントし、ステップＳ２１０に戻る。
【００５０】
（ステップＳ２１３）発音区間取得部１０９は、カウンタｉに１を代入する。
【００５１】
（ステップＳ２１４）発音区間取得部１０９は、ｉ番目の発音区間が存在するか否かを判断する。ｉ番目の発音区間が存在すればステップＳ２１５に行き、ｉ番目の発音区間が存在しばければ処理を終了する。
【００５２】
（ステップＳ２１５）発音区間取得部１０９は、ｉ番目の発音区間に対応する１以上のフレームを特定し、代表値演算部１１０は、当該発音区間に対応する１以上のフレームの１以上のスコアを読み出す。
【００５３】
（ステップＳ２１６）代表値演算部１１０は、代表値を得るための関数の情報を読み出し、当該関数に、ステップＳ２１５で読み出した１以上のスコアを代入し、関数を実行し、当該発音区間の代表のスコアを算出する。
【００５４】
（ステップＳ２１７）出力部１１１は、ステップＳ２１６で算出した代表のスコアを出力する。
【００５５】
（ステップＳ２１８）発音区間取得部１０９は、カウンタｉを１、インクリメントし、ステップＳ２１５に戻る。
【００５６】
次に、ステップＳ２１１のフレーム状態最適パススコア算出処理について、図３のフローチャートを用いて説明する。
【００５７】
（ステップＳ３０１）フレーム状態最適パススコア算出手段１０８２は、演算式格納手段１０８１からフレーム状態最適パススコアを算出するための演算式の情報を読み出す。
【００５８】
（ステップＳ３０２）フレーム状態最適パススコア算出手段１０８２は、カウンタｊに１を代入する。
【００５９】
（ステップＳ３０３）フレーム状態最適パススコア算出手段１０８２は、「ｊ＞Ｎ」であるか否かを判断する。
【００６０】
（ステップＳ３０４）フレーム状態最適パススコア算出手段１０８２は、母語音素ＨＭＭ格納部１０１から「ａｑｔ−１（１）ｊ」を読み出す。なお、「ｔ＝１」の場合、「ａｑｔ−１（１）ｊ」は、πｊ（ｊ番目状態に対する初期状態確率）である。
【００６１】
（ステップＳ３０５）フレーム状態最適パススコア算出手段１０８２は、母語音素ＨＭＭ格納部１０１から「ａｊｑｔ＋１（１）」を読み出す。
【００６２】
（ステップＳ３０６）フレーム状態最適パススコア算出手段１０８２は、特徴ベクトル（Ｏｔ）を読み出す。
【００６３】
（ステップＳ３０７）フレーム状態最適パススコア算出手段１０８２は、出力密度関数ｂｊ（）の情報を読み出し、当該関数に特徴ベクトル（Ｏｔ）を代入し、出力密度関数ｂｊ（ｏｔ）を実行し、その結果を得る。
【００６４】
（ステップＳ３０８）フレーム状態最適パススコア算出手段１０８２は、得た「ａｑｔ−１（１）ｊ」、「ａｊｑｔ＋１（１）」、およびｂｊ（ｏｔ）を乗算し、その結果を一時的にメモリに記憶する。
【００６５】
（ステップＳ３０９）フレーム状態最適パススコア算出手段１０８２は、カウンタｊを１、インクリメントし、ステップＳ３０３に戻る。
【００６６】
（ステップＳ３１０）フレーム状態最適パススコア算出手段１０８２は、ステップＳ３０８で一時格納したすべての乗算結果の和を算出し、その結果を一時的にメモリに記憶する。
【００６７】
（ステップＳ３１１）フレーム状態最適パススコア算出手段１０８２は、「ａｑｔ−１（１）ｑｔ（２）」を母語音素ＨＭＭ格納部１０１から読み出す。
【００６８】
（ステップＳ３１２）フレーム状態最適パススコア算出手段１０８２は、「ａｑｔ（２）ｑｔ＋１（１）」を母語音素ＨＭＭ格納部１０１から読み出す。
【００６９】
（ステップＳ３１３）フレーム状態最適パススコア算出手段１０８２は、ｔ番目のフレームの特徴ベクトルを取得し、当該特徴ベクトルを出力密度関数ｂｑｔ（２）（）に代入し、ｂｑｔ（２）（ｏｔ）を演算し、その結果を一時的にメモリに記憶する。
【００７０】
（ステップＳ３１４）フレーム状態最適パススコア算出手段１０８２は、ステップＳ３１１で得た「ａｑｔ−１（１）ｑｔ（２）」、ステップＳ３１２で得た「ａｑｔ（２）ｑｔ＋１（１）」、およびステップＳ３１３で得た「ｂｑｔ（２）（ｏｔ）」を乗算し、その結果を一時的にメモリに記憶する。
【００７１】
（ステップＳ３１５）フレーム状態最適パススコア算出手段１０８２は、ステップＳ３１４における演算結果を、ステップＳ３１０における演算結果で除算し、ｔ番目のフレームのフレーム状態最適パススコア（ＯＰＳ１（ｔ））を得る。
【００７２】
（ステップＳ３１６）フレーム状態最適パススコア算出手段１０８２は、ステップＳ３１５で得たｔ番目のフレームのフレーム状態最適パススコア（ＯＰＳ１（ｔ））を、一時的にメモリに記憶し、上位関数にリターンする。
【００７３】
以下、本実施の形態における発音評定装置の発音評定の方法について説明する。
【００７４】
まず、上記の数式１が導かれる過程について説明する。上述したように、ユーザ（学習者話者）音声のｔ番目分析フレーム（ｔ＝１，２，...．，Ｔ，Ｔはフレーム総数）における特徴ベクトルを「ｏｔ」、ｔ番目分析フレームに対応するＨＭＭの状態（状態番号）を「ｑｔ」、特徴ベクトル系列をＯ＝｛ｏ１，ｏ２，...．．，ｏＴ｝、状態（番号）系列をＱ＝｛ｑ１，ｑ２，...，ｑＴ｝、ｔ番目フレームに対する状態ｑｔを除いた系列をＱ＼｛ｑｔ｝＝｛ｑ１，...，ｑｔ−１，ｑｔ＋１，...，ｑＴ｝、すべての母語音素モデルの（連結順序を考えない）集合をΛａｌｌ、母語音素モデルを評定対象の正解トランスクリプションに従って連結したモデル（連結モデル）をΛｃｏｒとする。また、Λａｌｌのもとで、音素系列の制約なしに求めた最適状態系列（最適パス）をＱ１＝｛ｑ１（１），ｑ２（１），...．．，ｑＴ（１）｝、Λｃｏｒのもとで求めた最適パス（forced alignment 最適パス）をＱ２＝｛ｑ１（２），ｑ２（２），...．．，ｑＴ（２）｝とする。なお、「Ｑ１」は第一の最適状態番号系列、「Ｑ２」は第二の最適状態番号系列である。
【００７５】
かかる概念を図４に示す。図４において、縦は母語音素ＨＭＭの状態系列、横は学習者話者の音声特徴ベクトル系列である。
【００７６】
この場合、フレーム状態最適パススコアを以下の数式２で定義する。
【数２】
【００７７】
なお、Ｐ（Ａ｜Λａｌｌ）は、すべての音素モデルΛａｌｌが与えられたときの事象Ａが起こる確率（または確率密度）、ＮはΛａｌｌに含まれる総状態数である。数式２を変形すると以下の数式３となり、フレーム状態最適パススコアは、特徴ベクトル系列Ｏ，およびΛａｌｌの下で求まった最適パスからｔ番目フレームを除いた最適パス「Ｑ＼｛ｑｔ（１）｝＝｛ｑ１（１），...，ｑｔ−１（１），ｑｔ＋１（１），...，ｑＴ（１）｝」が与えられたという条件の下での、ｔ番目フレームに対する状態が「ｑｔ（２）」（forced alignmentで求めた最適状態）である事後確率を表わす。
【数３】
【００７８】
また、音素モデルがＨＭＭの場合、状態系列Ｑに沿った確率（確率密度）は、以下の数式４で与えられる。
【数４】
【００７９】
ここでπｉはｉ番目状態に対する初期状態確率、ａｉｊはｉ番目状態からｊ番目状態へ遷移する確率，ｂｊ（ｏ）はｊ番目状態における特徴ベクトルの出力確率密度関数である。また、ｑＴ＋１は特徴ベクトルを出力しない最終状態であり、状態系列Ｑには含まれない便宜的に設定した状態である。
【００８０】
かかる場合、確率密度関数は、数式５に示すように簡略され得る。
【数５】
【００８１】
数式５を数式２の分子と分母に代入して、約分することにより、ＨＭＭの場合のフレーム状態最適パススコアが数式１のように簡略化される。
【００８２】
数式１において、ｔ＝１の場合、ａｑ０（１）ｊをπｊに置き換える（ｊ＝１，２，...，Ｎ）。
【００８３】
また、数式１により算出されるフレーム状態最適パススコア（ＯＰＳ１（τ））を発音区間Ｔ（ｍ）で評価した発音区間フレーム状態最適パススコア（ＯＰＳ３（ｍ））は、数式６により算出される。かかる算出は、代表値演算部１１０が行う。
【数６】
【００８４】
数式６において、ｍは発音区間のインデクス、Ｍｅ｛・｝は集合｛・｝内の要素の中央値を表わす。ただし、中央値を算出する代表値演算は、平均値や最大値などの別の代表値演算に置き換えても良い。また、発音区間は、例えば、forced alignmentパスＱ２により定まる、音素区間、単語区間、フレーズ区間などである。
【００８５】
次に、数式１の性質、意義、つまり、上述したフレーム状態最適パススコアの性質、意義について説明する。
【００８６】
上述した数式２を詳細に記載すると、以下の数式７になる。
【数７】
【００８７】
数式７において、Ｑ１＝｛ｑ１（１），ｑ２（１），...．．，ｑＴ（１）｝が、Λａｌｌのもとでの最適状態系列、つまり、「Ｐ（Ｏ，ｑ１，ｑ２，...．．，ｑＴ｜Λａｌｌ）を最大にする｛ｑ１，ｑ２，...．．，ｑＴ｝であるので、数式７の分母における各ｊ（ｊ＝１，２，...．，Ｎ）：Ｐ（Ｏ，ｑ１（１），...，ｑｔ−１（１），ｊ，ｑｔ＋１（１），...，ｑＴ（１）｜Λａｌｌ）において、ｊ＝ｑｔ（１）で最大となる。もし、ユーザの発話がネイティブ発音らしければ、各フレームにおいてΛａｌｌの中のどれかの母語音素モデルと類似性が高く、Ｐ（Ｏ，ｑ１（１），...．，ｑｔ−１（１），ｊ，ｑｔ＋１（１），...．，ｑＴ（１）｜Λａｌｌ）は最適パス｛ｑ１（１），ｑ２（１），...．．，ｑＴ（１）｝での値が優勢となるので、Ｐ（Ｏ，ｑ１（１），...．，ｑｔ−１（１），ｊ，ｑｔ＋１（１），...．，ｑＴ（１）｜Λａｌｌ）の各ｊにおいて、「ｊ＝ｑｔ（１）」での値が大きくなって、他のｊでは値が大きくならない（確率値が、ｊ＝１，２，...，Ｎの中でｑｔ（１）の占める割合が高くなる）。すなわち、数式７の分母はΛａｌｌの下での最適状態系列Ｑ１における確率値に近くなる。つまり、以下の数式８がいえる。かかる状況を図５に示す。図５において、縦軸はスコア、横軸はｊ（状態番号）である。
【数８】
【００８８】
さらに正解トランスクリプションのネイティブ発音に近ければ、Λａｌｌのもとで求めた最適パスＱ１とΛｃｏｒのもとで求めた最適パスＱ２が類似するため、多くのｔにおいて「ｑｔ（１）＝ｑｔ（２）」となり、以下の数式９がいえる。
【数９】
【００８９】
つまり、「ＯＰＳ１（ｔ）」の値が最大値１に近くなる。
【００９０】
一方、正解トランスクリプションと異なるネイティブ発音であれば、Ｑ１とＱ２が大きく異なってくるため、「ＯＰＳ１（ｔ）」の値が小さくなる。また、元々発話がネイティブ発音に類似していなければ、数式７の分子の値、および分母の各ｊに対する値がいずれも小さくなり、Ｎの値が大きいことから「ＯＰＳ１（ｔ）」の値が小さくなる。フレーム状態最適パススコア算出部１０８が算出するフレーム状態最適パススコアは、以上のような性質を有する。
【００９１】
以上、本実施の形態によれば、音韻毎に連結した連結ＨＭＭとフレーム分割されたデータを用いて、比較対象の音声と入力音声の類似度を評定することができるので、両者の類似度の評定の精度を高く、高速に行うことができる。さらに具体的には、本実施の形態によれば、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、区分されたフレームごとに発音の良し悪しを示すスコアを算出できる。このスコアは、母語音素ＨＭＭが有する各状態と比較した、ユーザが入力した音声の各状態の状態らしさを示すスコアである。
【００９２】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、音声の入力を受け付ける音声受付ステップと、前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分ステップと、前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得ステップと、前記特徴ベクトル系列と格納している母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得ステップと、前記特徴ベクトル系列と格納している連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得ステップと、前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム状態最適パススコア算出ステップと、前記フレーム状態最適パススコア算出ステップで算出したフレームごとのスコアを出力する出力ステップを実行させるためのプログラム、である。
【００９３】
また、上記プログラムに対して、コンピュータに、前記音声受付部が受け付けた音声の発音区間を取得する発音区間取得ステップと、前記発音区間ごとに、当該発音区間に対応する１以上のフレームごとの１以上のスコアを用いて、当該発音区間の代表のスコアを算出する代表値演算ステップをさらに実行させ、前記出力ステップにおいて、少なくとも前記代表値演算ステップで算出した各発音区間の代表のスコアを出力する、ことは好適である。
【００９４】
また、上記プログラムに対して、コンピュータに、前記母語音素ＨＭＭから、発音評定の対象である正解トランスクリプションに従って連結ＨＭＭを構成する連結ＨＭＭ構成ステップをさらに実行させ、前記連結ＨＭＭは、前記連結ＨＭＭ構成ステップで構成した連結ＨＭＭである、ことは好適である。
（実施の形態２）
【００９５】
本実施の形態において、比較対象の音声と入力音声の類似度の評定を精度高く、かつ高速にできる発音評定装置について説明する。本実施の形態における発音評定装置は、入力された音声が、比較対象の音声（例えば、ネイティブが発音した音声）と比較して、音声を構成する各フレームの音素の類似度を算定するものである。
【００９６】
図６は、本実施の形態における発音評定装置のブロック図である。
【００９７】
発音評定装置は、母語音素ＨＭＭ格納部１０１、連結ＨＭＭ格納部１０２、音声受付部１０３、フレーム区分部１０４、特徴ベクトル系列取得部１０５、第一最適状態番号系列取得部１０６、第二最適状態番号系列取得部１０７、フレーム音素最適パススコア算出部６０８、発音区間取得部１０９、代表値演算部１１０、出力部１１１、連結ＨＭＭ構成部１１２を具備する。
【００９８】
フレーム音素最適パススコア算出部６０８は、演算式格納手段６０８１、フレーム音素最適パススコア算出手段６０８２を具備する。
【００９９】
フレーム音素最適パススコア算出部６０８は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、区分されたフレームごとに発音の良し悪しを示すスコアを算出する。また、フレーム音素最適パススコア算出部６０８は、後述する演算式格納手段６０８１に格納されている演算式を用いて、音素らしさを算出するが、その演算式は後述の数式１０に限られない。つまり、数式１０のパラメータを若干、変更している演算式でも良い。また、数式１０において、分子の値が「０」である場合に、予め決められた０でない値に変更して、「ＯＰＳ２（ｔ）」を算出しても良い。つまり、フレーム音素最適パススコア算出部６０８は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、区分されたフレームごとに発音の良し悪し（音素らしさ）を示すスコアを算出すれば、その算出に用いる演算式は問わない。フレーム音素最適パススコア算出部６０８は、通常、ＭＰＵやメモリ等から実現され得る。フレーム音素最適パススコア算出部６０８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１００】
演算式格納手段６０８１は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列をパラメータとして、フレーム音素最適パススコアを算出する演算式の情報を格納している。演算式格納手段６０８１は、例えば、以下の数式１０の演算式の情報を格納している。演算式格納手段６０８１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【数１０】
【０１０１】
数式１０において、「ＯＰＳ２（ｔ）」は、ｔ番目のフレームのフレーム音素最適パススコアを示す関数である。数式１０において、ｔ番目フレームの最適状態「ｑｔ（２）」を含む音素（「最適音素」という）をλ［ｑｔ（２）］とし（図４にその概念を記載している。）、λ［ｑｔ（２）］に含まれる状態番号の集合をＳ(λ［ｑｔ（２）］)とする。
【０１０２】
フレーム音素最適パススコア算出手段６０８２は、演算式格納手段６０８１から演算式の情報を読み出し、当該演算式に従って、パラメータの値を取得し、当該パラメータの値を、読み出した演算式に代入し、スコアを算出する。さらに、具体的には、フレーム音素最適パススコア算出手段６０８２は、上記の数式１０を読み出し、１番目のフレームから、Ｔ番目のフレームまで、フレームごとに、フレーム音素最適パススコアを算出する。つまり、フレーム音素最適パススコア算出手段６０８２は、フレームごとに、分母の値を算出する。フレーム音素最適パススコア算出手段６０８２が分母の値を算出する手順は、例えば、フレーム状態最適パススコア算出手段１０８２が数式１の分母の値を算出する手順と同様である。
【０１０３】
次に、フレーム音素最適パススコア算出手段６０８２は、フレームごとに、数式１０の分子の値を算出する。つまり、フレーム音素最適パススコア算出手段６０８２は、各フレームに対して、最適音素が有する１以上の状態（ｉ）について、母語音素ＨＭＭ格納部１０１から「ａｑｔ−１（１）ｉ」を読み出す。そして、フレーム音素最適パススコア算出手段６０８２は、母語音素ＨＭＭ格納部１０１から「ａｉｑｔ＋１（１）」を読み出す。そして、フレーム音素最適パススコア算出手段６０８２は、各フレームの特徴ベクトルを取得し、当該特徴ベクトルを出力密度関数に代入し、ｂｉ（ｏｔ）を得る。そして、フレーム音素最適パススコア算出手段６０８２は、得た「ａｑｔ−１（１）ｉ」、「ａｉｑｔ＋１（１）」、およびｂｉ（ｏｔ）を乗算し、その結果を一時的にメモリに記憶する。かかる処理を最適音素が有する各状態に対して行う。そして、フレーム音素最適パススコア算出手段６０８２は、一時的にメモリに記憶した値の和を算出し、数式１０の分子の値を得る。次に、フレーム音素最適パススコア算出手段６０８２は、一時記憶した分子の値から分母の値を除算し、フレームごとのフレーム状態最適パススコアを得る。
【０１０４】
次に、本発音評定装置の動作について説明する。本発音評定装置の処理は、実施の形態１の発音評定装置の図２のフローチャートにおける処理と比較して、ステップＳ２１１が「フレーム音素最適パススコアの算出」に変わるだけである。フレーム音素最適パススコアの算出処理について、図７のフローチャートを用いて説明する。図７のフローチャートにおいて、図３のフローチャートと同一のステップについて、説明を省略する。ただし、図３のフローチャートにおいてフレーム状態最適パススコア算出手段１０８２が行った処理は、図７のフローチャートにおいてはフレーム音素最適パススコア算出手段６０８２が行う。
【０１０５】
（ステップＳ７０１）フレーム音素最適パススコア算出手段６０８２は、カウンタｉに１を代入する。
【０１０６】
（ステップＳ７０２）フレーム音素最適パススコア算出手段６０８２は、ｉ番目の状態が存在するか否かを判断する。ｉ番目の状態が存在すればステップＳ７０３に行き、ｉ番目の状態が存在しなければステップＳ７０８に行く。
【０１０７】
（ステップＳ７０３）フレーム音素最適パススコア算出手段６０８２は、母語音素ＨＭＭ格納部１０１から「ａｑｔ−１（１）ｉ」を読み出す。
【０１０８】
（ステップＳ７０４）フレーム音素最適パススコア算出手段６０８２は、母語音素ＨＭＭ格納部１０１から「ａｉｑｔ＋１（１）」を読み出す。
【０１０９】
（ステップＳ７０５）フレーム音素最適パススコア算出手段６０８２は、対応するフレームの特徴ベクトルを取得し、当該特徴ベクトルを出力密度関数に代入し、ｂｉ（ｏｔ）を得る。なお、特徴ベクトルは、特徴ベクトル系列取得部１０５が取得した情報である。また、出力密度関数の情報は、予め保持されており、かかる出力密度関数の情報を、フレーム音素最適パススコア算出手段６０８２は、読み出す。
【０１１０】
（ステップＳ７０６）フレーム音素最適パススコア算出手段６０８２は、ステップＳ７０３、ステップＳ７０４、およびステップＳ７０５で得た値を乗算し、その結果をメモリ上に一時格納する。
【０１１１】
（ステップＳ７０７）フレーム音素最適パススコア算出手段６０８２は、カウンタｉを１、インクリメントし、ステップＳ７０２に戻る。
【０１１２】
（ステップＳ７０８）フレーム音素最適パススコア算出手段６０８２は、各状態に対応するステップＳ７０６における演算結果を、メモリから読み出し、和を求め、その結果をメモリ上に一時格納する。
【０１１３】
（ステップＳ７０９）フレーム音素最適パススコア算出手段６０８２は、ＯＰＳ２（ｔ）を算出する
【０１１４】
（ステップＳ７１０）フレーム音素最適パススコア算出手段６０８２は、ステップＳ７０９で算出したＯＰＳ２（ｔ）をメモリ上に一時格納し、上位関数にリターンする。
【０１１５】
以下、本実施の形態における発音評定装置の発音評定の方法について説明する。
【０１１６】
まず、上記の数式１０が導かれる過程について説明する。フレーム音素最適パススコアを以下の数式１１で定義する。
【数１１】
【０１１７】
そして、実施の形態１において数式２から数式１を算出した場合と同様に、分子と分母を約分すると、数式１０が導出される。
【０１１８】
また、数式１０により算出されるフレーム音素最適パススコア（ＯＰＳ２（τ））を発音区間Ｔ（ｍ）で評価した発音区間フレーム音素最適パススコア（ＯＰＳ４（ｍ））は、数式１２により算出される。かかる算出は、代表値演算部１１０が行う。
【数１２】
【０１１９】
数式１２において、ｍは発音区間のインデクス、Ｍｅ｛・｝は集合｛・｝内の要素の中央値を表わす。ただし中央値の代表値演算は、平均値や最大値などの別の代表値演算に置き換えても良い。また、発音区間は、例えば、forced alignmentパスＱ２により定まる、音素区間、単語区間、フレーズ区間などである。
【０１２０】
次に、数式１０の性質、意義、つまり、上述したフレーム音素最適パススコアの性質、意義について説明する。
【０１２１】
実施の形態１におけるフレーム状態最適パススコアの数式７において、最適状態（ｑｔ（２）)を含む音素（最適音素）の中の各状態に対し、確率密度関数があまり変わらず、数式７の分母の値に対して「ｊ＝１，２，...，Ｎ」の中で優勢となる状態が、最適状態のみならず、最適音素内の複数個の状態となる（図８参照）。
【０１２２】
かかる場合、特徴ベクトル系列Ｏが正しいトランスクリプションのネイティブ発音に類似している場合でも、状態１個からなる分子の確率値と比較して分母の確率値は複数状態の和となり（最適状態のみが優勢、とならなくなるため）、分子に対する分母の割合が大きくなる。そのため、以下の数式１３に示すように、スコアが高くならないことが生じる。
【数１３】
【０１２３】
そこで、最適状態（ｑｔ（２））のみならず、最適音素（λ［ｑｔ（２）］）内の複数状態で数式１あるいは数式２の分子の総和をとるフレーム音素最適パススコア（数式１０あるいは数式１１）が、安定かつ精度の高いスコアを提供するものとして有意義である。また、実施の形態１における状態のもっともらしさよりも、母語音素のもっともらしさを評定した方が、発音の良し悪しをより安定して、精度高く測れるものと考えられるため、この意味でもフレーム音素最適パススコアは優れている。
【０１２４】
以上、本実施の形態によれば、音韻毎に連結した連結ＨＭＭとフレーム分割されたデータを用いて、比較対象の音声と入力音声の類似度を評定することができ、両者の類似度の評定の極めて精度を高く、高速に行うことができる。さらに具体的には、本実施の形態によれば、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、区分されたフレームごとに発音の良し悪しを示すスコアを算出できる。このスコアは、母語音素ＨＭＭが有する1以上の状態を有する音素と比較した、ユーザが入力した音声の各音素の音素らしさを示すスコアである。
【０１２５】
なお、本実施の形態における発音評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、音声の入力を受け付ける音声受付ステップと、前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分ステップと、前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得ステップと、前記特徴ベクトル系列と格納している母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得ステップと、前記特徴ベクトル系列と格納している連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得ステップと、前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム音素最適パススコア算出ステップと、前記フレーム音素最適パススコア算出ステップで算出したフレームごとのスコアを出力する出力ステップを実行させるためのプログラム、である。
【０１２６】
また、上記プログラムに対して、コンピュータに、前記音声受付部が受け付けた音声の発音区間を取得する発音区間取得ステップと、前記発音区間ごとに、当該発音区間に対応する１以上のフレームごとの１以上のスコアを用いて、当該発音区間の代表のスコアを算出する代表値演算ステップをさらに実行させ、前記出力ステップにおいて、少なくとも前記代表値演算ステップで算出した各発音区間の代表のスコアを出力する、ことは好適である。
【０１２７】
また、上記プログラムに対して、コンピュータに、前記母語音素ＨＭＭから、発音評定の対象である正解トランスクリプションに従って連結ＨＭＭを構成する連結ＨＭＭ構成ステップをさらに実行させ、前記連結ＨＭＭは、前記連結ＨＭＭ構成ステップで構成した連結ＨＭＭである、ことは好適である。
【０１２８】
また、上記各実施の形態において述べた発音評定装置は、語学学習やカラオケにおける採点装置や物真似練習などに利用できる。
【０１２９】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１３０】
また、図９は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の発音評定装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図９は、このコンピュータシステム３４０の概観図であり、図１０は、コンピュータシステム３４０のブロック図である。
【０１３１】
図９において、コンピュータシステム３４０は、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４と、マイク３４５とを含む。
【０１３２】
図１０において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３４１３と、ＣＰＵ３４１３、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）３４１５と、ＣＰＵ３４１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１３３】
コンピュータシステム３４０に、上述した実施の形態の発音評定装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
【０１３４】
プログラムは、コンピュータ３４１に、上述した実施の形態の発音評定装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
【０１３５】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１３６】
以上のように、本発明にかかる発音評定装置は、精度高く発音評定ができるという効果を有し、語学学習装置等として有用である。
【図面の簡単な説明】
【０１３７】
【図１】実施の形態１における発音評定装置のブロック図
【図２】同発音評定装置の動作について説明するフローチャート
【図３】同フレーム状態最適パススコア算出処理について説明するフローチャート
【図４】同発音評定装置の処理の概念を示す図
【図５】同フレーム状態最適パススコアの概念を説明する図
【図６】実施の形態２における発音評定装置のブロック図
【図７】同フレーム音素最適パススコア算出処理について説明するフローチャート
【図８】同フレーム音素最適パススコアの概念を説明する図
【図９】同発音評定装置を実現するコンピュータの外観図
【図１０】同発音評定システムのブロック図
【符号の説明】
【０１３８】
１０１ 母語音素ＨＭＭ格納部
１０２ 連結ＨＭＭ格納部
１０３ 音声受付部
１０４ フレーム区分部
１０５ 特徴ベクトル系列取得部
１０６ 第一最適状態番号系列取得部
１０７ 第二最適状態番号系列取得部
１０８ フレーム状態最適パススコア算出部
１０９ 発音区間取得部
１１０ 代表値演算部
１１１ 出力部
１１２ 連結ＨＭＭ構成部
６０８ フレーム音素最適パススコア算出部
１０８１、６０８１ 演算式格納手段
１０８２ フレーム状態最適パススコア算出手段
６０８２ フレーム音素最適パススコア算出手段
【技術分野】
【０００１】
本発明は、入力された音声を評価する装置等に関し、例えば、語学学習等に利用できる発音評定装置等に関するものである。
【背景技術】
【０００２】
従来の技術として、以下の語学学習装置がある（特許文献１参照）。本語学学習装置は、学習者が選択した役割の発音をレファランスデータと比較して一致度によって点数化して表示し、点数によって適当な次の画面を自動に表示することにより、学習能率を向上させる装置である。本従来の語学学習装置は、入力された音声信号は音声認識技術により分析された後、学習者発音のスペクトルと抑揚とが学習者発音表示ボックスに表れるという構成になっている。そして、従来の技術においては、標準音データと学習者の発音のスペクトル、および抑揚が比較されて点数が表示される。
【特許文献１】特開２００３−２２８２７９（第１頁、第１図等）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来の技術においては、標準音データと学習者の発音のスペクトル、および抑揚が比較されて点数が表示される構成であるので、両者の類似度の評定の精度が低く、また、リアルタイムに高速に点数を表示するためには、処理能力が極めて高いＣＰＵ、多量のメモリが必要であった。
【課題を解決するための手段】
【０００４】
本第一の発明の発音評定装置は、音韻毎の隠れマルコフモデルに基づくデータである母語音素ＨＭＭを格納している母語音素ＨＭＭ格納部と、発音評定の対象である正解トランスクリプションに従ってＨＭＭに基づくデータを連結したデータである連結ＨＭＭを格納している連結ＨＭＭ格納部と、音声の入力を受け付ける音声受付部と、前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分部と、前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得部と、前記特徴ベクトル系列と前記母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得部と、前記特徴ベクトル系列と前記連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得部と、前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム状態最適パススコア算出部と、前記フレーム状態最適パススコア算出部が算出したフレームごとのスコアを出力する出力部を具備する発音評定装置である。
【０００５】
かかる構成により、音韻毎に連結した連結ＨＭＭとフレーム分割されたデータを用いて、比較対象の音声と入力音声の類似度を評定することができるので、両者の類似度の評定の精度を高く、高速に行うことができる。
【０００６】
また、本第二の発明の発音評定装置は、音韻毎の隠れマルコフモデルに基づくデータである母語音素ＨＭＭを格納している母語音素ＨＭＭ格納部と、発音評定の対象である正解トランスクリプションに従ってＨＭＭに基づくデータを連結したデータである連結ＨＭＭを格納している連結ＨＭＭ格納部と、音声の入力を受け付ける音声受付部と、前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分部と、前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得部と、前記特徴ベクトル系列と前記母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得部と、前記特徴ベクトル系列と前記連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得部と、前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム音素最適パススコア算出部と、前記フレーム音素最適パススコア算出部が算出したフレームごとのスコアを出力する出力部を具備する発音評定装置である。
【０００７】
かかる構成により、状態のもっともらしさではなく、母語音素のもっともらしさを評定するので、第一の発明と比較しても、精度高く発音評定ができる。
【０００８】
また、本第三の発明の発音評定装置は、第一、第二いずれかの発明に対して、前記音声受付部が受け付けた音声の発音区間を取得する発音区間取得部と、前記発音区間ごとに、当該発音区間に対応する１以上のフレームごとの１以上のスコアを用いて、当該発音区間の代表のスコアを算出する代表値演算部をさらに具備し、前記出力部は、少なくとも前記代表値演算部が算出した各発音区間の代表のスコアを出力する発音評定装置である。
【０００９】
かかる構成により、発音区間ごとのスコアを得ることができる。
【００１０】
また、本第四の発明の発音評定装置は、第一から第三いずれかの発明に対して、前記母語音素ＨＭＭ格納部の母語音素ＨＭＭから、発音評定の対象である正解トランスクリプションに従って連結ＨＭＭを構成する連結ＨＭＭ構成部をさらに具備し、前記連結ＨＭＭ格納部の連結ＨＭＭは、前記連結ＨＭＭ構成部が構成した連結ＨＭＭである発音評定装置である。
【００１１】
かかる構成により、予め連結ＨＭＭを取得する必要がなく、連結ＨＭＭを準備する手間を省くことができる。
【発明の効果】
【００１２】
本発明による発音評定装置によれば、精度高く発音評定ができる。
【発明を実施するための最良の形態】
【００１３】
以下、発音評定装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
【００１４】
本実施の形態において、比較対象の音声と入力音声の類似度の評定を精度高く、かつ高速にできる発音評定装置について説明する。本実施の形態における発音評定装置は、入力された音声が、比較対象の音声（例えば、ネイティブが発音した音声）と比較して、音声を構成する各フレームの状態の類似度を算定するものである。
【００１５】
図１は、本実施の形態における発音評定装置のブロック図である。
【００１６】
発音評定装置は、母語音素ＨＭＭ格納部１０１、連結ＨＭＭ格納部１０２、音声受付部１０３、フレーム区分部１０４、特徴ベクトル系列取得部１０５、第一最適状態番号系列取得部１０６、第二最適状態番号系列取得部１０７、フレーム状態最適パススコア算出部１０８、発音区間取得部１０９、代表値演算部１１０、出力部１１１、連結ＨＭＭ構成部１１２を具備する。
【００１７】
フレーム状態最適パススコア算出部１０８は、演算式格納手段１０８１、フレーム状態最適パススコア算出手段１０８２を具備する。
【００１８】
母語音素ＨＭＭ格納部１０１は、音韻毎の隠れマルコフモデル（ＨＭＭ）に基づくデータである母語音素ＨＭＭを格納している。母語音素ＨＭＭとは、ネイティブ発音の音声データベースから学習したネイティブ発音の音韻ＨＭＭである。ＨＭＭに基づくデータは、例えば、フレーム毎に、状態識別子と遷移確率の情報を有する。母語音素ＨＭＭ格納部１０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００１９】
連結ＨＭＭ格納部１０２は、発音評定の対象である正解トランスクリプションに従ってＨＭＭに基づくデータを連結したデータである連結ＨＭＭを格納している。連結ＨＭＭ格納部１０２の連結ＨＭＭは、後述する連結ＨＭＭ構成部１１２が構成したものであることが好適である。ただし、本発音評定装置で連結ＨＭＭを構成せず、他の装置で構成した連結ＨＭＭを、連結ＨＭＭ格納部１０２に記憶させても良い。連結ＨＭＭ格納部１０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２０】
音声受付部１０３は、音声の入力を受け付ける。音声の入力手段は、例えば、マイクや、記録媒体や、受信手段である。つまり、音声受付部１０３は、マイクからユーザの音声を受け付けても良いし、ハードディスクやＣＤ−ＲＯＭなどの記録媒体から音声データを読み出しても良いし、外部装置から音声データを受信しても良い。音声受付部１０３は、例えば、マイクと、そのデバイスドライバー等で実現され得る。また、音声をユーザから受け付ける場合、ユーザが発音すべき音声を、図示しない手段により、ディスプレイに文字列などで出力することは好適である。
【００２１】
フレーム区分部１０４は、音声受付部１０３が受け付けた音声を、フレームに区分する。音声をフレームに区分する技術は公知技術であるので、詳細な説明を省略する。フレーム区分部１０４は、通常、ＭＰＵやメモリ等から実現され得る。フレーム区分部１０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２２】
特徴ベクトル系列取得部１０５は、区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する。特徴ベクトル系列は、各フレームの特徴ベクトルの列である。なお、各フレームの特徴ベクトルを取得する技術は公知技術であるので、詳細な説明を省略する。例えば、特徴ベクトルは、三角型フィルタを用いたチャネル数２４のフィルタバンク出力を離散コサイン変換したＭＦＣＣであり、その静的パラメータ、デルタパラメータおよびデルタデルタパラメータをそれぞれ１２次元、さらに正規化されたパワーとデルタパワーおよびデルタデルタパワー（３９次元）を有する。特徴ベクトル系列取得部１０５は、通常、ＭＰＵやメモリ等から実現され得る。特徴ベクトル系列取得部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２３】
第一最適状態番号系列取得部１０６は、特徴ベクトル系列取得部１０５が取得した特徴ベクトル系列と、母語音素ＨＭＭ格納部１０１の母語音素ＨＭＭを読み出し、当該特徴ベクトル系列と当該母語音素ＨＭＭを用いて、ビタビアルゴリズムにより全フレームの最適状態を決定する。各フレームの特徴ベクトルと母語音素ＨＭＭを用いて、ビタビアルゴリズムにより、当該フレームの最適状態を決定する処理は公知技術であるので詳細な説明を省略する。第一最適状態番号系列取得部１０６が取得した全フレームの最適状態を、第一の最適状態番号系列という。第一最適状態番号系列取得部１０６は、通常、ＭＰＵやメモリ等から実現され得る。第一最適状態番号系列取得部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２４】
第二最適状態番号系列取得部１０７は、特徴ベクトル系列取得部１０５が取得した特徴ベクトル系列と、連結ＨＭＭ格納部１０２の連結ＨＭＭを読み出し、当該特徴ベクトル系列と当該連結ＨＭＭを用いて、ビタビアルゴリズムにより全フレームの最適状態を決定する。各フレームの特徴ベクトルと連結ＨＭＭを用いて、ビタビアルゴリズムにより、当該フレームの最適状態を決定する処理は公知技術であるので詳細な説明を省略する。第二最適状態番号系列取得部１０７が取得した全フレームの最適状態を、第二の最適状態番号系列という。第二最適状態番号系列取得部１０７は、通常、ＭＰＵやメモリ等から実現され得る。第二最適状態番号系列取得部１０７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２５】
フレーム状態最適パススコア算出部１０８は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、区分されたフレームごとに発音の良し悪しを示すスコアを算出する。フレーム状態最適パススコア算出部１０８は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに、状態らしさを算出することとなる。また、フレーム状態最適パススコア算出部１０８は、後述する演算式格納手段１０８１に格納されている演算式を用いて、状態らしさを算出するが、その演算式は後述の数式１に限られない。つまり、数式１のパラメータを若干、変更している演算式でも良い。また、フレーム状態最適パススコア算出部１０８は、例えば、数式１の「ａｑｔ−１（１）ｑｔ（２）」が「０」である場合に、予め決められた０でない値に変更して、「ＯＰＳ１（ｔ）」を算出しても良い。同様に、フレーム状態最適パススコア算出部１０８は、例えば、数式１の「ａｑｔ（２）ｑｔ＋１（１）」が「０」である場合に、予め決められた０でない値に変更して、「ＯＰＳ１（ｔ）」を算出しても良い。つまり、フレーム状態最適パススコア算出部１０８は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、区分されたフレームごとに発音の良し悪しを示すスコアを算出すれば、その算出に用いる演算式は問わない。フレーム状態最適パススコア算出部１０８は、通常、ＭＰＵやメモリ等から実現され得る。フレーム状態最適パススコア算出部１０８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２６】
演算式格納手段１０８１は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列をパラメータとして、フレーム状態最適パススコアを算出する演算式の情報を格納している。演算式格納手段１０８１は、例えば、以下の数式１の演算式の情報を格納している。
【数１】
【００２７】
数式１において、「ＯＰＳ１（ｔ）」は、ｔ番目のフレームのフレーム状態最適パススコアを示す関数である。「ｔ」はフレームを識別する番号であり、「ｔ」は、（ｔ＝１，２，...．，Ｔ，Ｔはフレーム総数）の範囲を取り得る。また、ｔ番目のフレームにおける特徴ベクトルを「ｏｔ」、ｔ番目分析フレームに対応するＨＭＭの状態（状態番号）をｑｔ、特徴ベクトル系列をＯ＝｛ｏ１，ｏ２，...．．，ｏＴ｝、ｔ番目フレームに対する状態ｑｔを除いた系列をＱ＼｛ｑｔ｝＝｛ｑ１，...，ｑｔ−１，ｑｔ＋１，...，ｑＴ｝、すべての母語音素モデルの（連結順序を考えない）集合をΛａｌｌ、母語音素モデルを評定対象の正解トランスクリプションに従って連結したモデル（連結モデル）をΛｃｏｒとする。また、Λａｌｌのもとで、音素系列の制約なしに求めた最適状態系列（第一の最適状態番号系列）をＱ１＝｛ｑ１（１），ｑ２（１），...．．，ｑＴ（１）｝、Λｃｏｒのもとで求めた最適パス（forced alignment 最適パス［第二の最適状態番号系列］）をＱ２＝｛ｑ１（２），ｑ２（２），...．．，ｑＴ（２）｝とする。また、ａｉｊは、ｉ番目状態からｊ番目状態へ遷移する確率、ｂｊ（ｏ）はｊ番目状態における特徴ベクトルｏの出力確率密度関数である。さらに、ｑＴ＋１は特徴ベクトルを出力しない最終状態であり、状態系列Ｑには含まれない便宜的に設定した状態である。なお、数式１において、ｔ＝１の場合、ａｑ０（１）ｊをπｊに置き換える（ｊ＝１，２，...，Ｎ）。なお、πｊは、ｊ番目状態に対する初期状態確率である。なお、数式１において、「ｑｔ（１）」の添え字の「ｔ」と「（１）」は上下に配置されているが、「ｑｔ（１）」と同意義である、とする。その他、本明細書の数式における添え字が上下に配置されているものと、「ｑｔ（１）」の「ｔ」と「（１）」のように横に並んで配置されているものとは同意義である、とする。また、「Ｎ」は、すべての母語音素モデルにわたる総状態数である。
【００２８】
演算式格納手段１０８１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２９】
フレーム状態最適パススコア算出手段１０８２は、演算式格納手段１０８１から演算式の情報を読み出し、当該演算式に従って、パラメータの値を取得し、当該パラメータの値を、読み出した演算式に代入し、スコアを算出する。さらに、具体的には、フレーム状態最適パススコア算出手段１０８２は、上記の数式１を読み出し、１番目のフレームから、Ｔ番目のフレームまで、フレームごとに、フレーム状態最適パススコアを算出する。フレーム状態最適パススコアは、各フレームの状態らしさを示すスコアである。フレーム状態最適パススコア算出手段１０８２は、フレームごとに、例えば、以下のように分母の値を算出する。つまり、まず、フレーム状態最適パススコア算出手段１０８２は、「ｊ＝１」から、「ａｑｔ−１（１）１」（ｑｔ−１（１）番目状態から１番目状態へ遷移する確率）を母語音素ＨＭＭ格納部１０１から読み出す（なお、ｔ＝１の場合は、「ａｑｔ−１（１）１」はπ１になる。）。また、フレーム状態最適パススコア算出手段１０８２は、「ａ１ｑｔ＋１（１）」（１番目状態からｑｔ＋１（１）番目状態へ遷移する確率）を母語音素ＨＭＭ格納部１０１から読み出す。そして、フレーム状態最適パススコア算出手段１０８２は、ｔ番目のフレームの特徴ベクトルを取得し、当該特徴ベクトルを出力密度関数に代入し、ｂ１（ｏｔ）を得る。そして、フレーム状態最適パススコア算出手段１０８２は、得た「ａｑｔ−１（１）１」、「ａ１ｑｔ＋１（１）」、およびｂ１（ｏｔ）を乗算し、その結果を一時的にメモリに記憶する。次に、フレーム状態最適パススコア算出手段１０８２は、「ｊ＝２」として、同様に演算し、その結果を一時的にメモリに記憶する。そして、フレーム状態最適パススコア算出手段１０８２は、以上の処理を「ｊ＝Ｎ」まで繰り返す。そして、フレーム状態最適パススコア算出手段１０８２は、メモリ上に一時記憶した乗算結果をすべて読み出し、それらの和を算出する。そして、フレーム状態最適パススコア算出手段１０８２は、数式１の分母の演算結果を得る。なお、「π１」とは、1番目の状態に対する初期状態確率であり、母語音素ＨＭＭ格納部１０１に予め格納されている。また、フレーム状態最適パススコア算出手段１０８２は、出力密度関数の情報を予め格納しており、かかる出力密度関数の情報を読み出し、パラメータを代入し、ｂ１（ｏｔ）を得る。
【００３０】
次に、フレーム状態最適パススコア算出手段１０８２は、フレームごとに、以下のように分子の値を算出する。つまり、フレーム状態最適パススコア算出手段１０８２は、「ａｑｔ−１（１）ｑｔ（２）」（ｑｔ−１（１）番目状態からｑｔ（２）番目状態へ遷移する確率）を母語音素ＨＭＭ格納部１０１から読み出す（なお、ｔ＝１の場合は、「ａｑｔ−１（１）ｑｔ（２）」はπｑｔ（２）になる。）。また、フレーム状態最適パススコア算出手段１０８２は、「ａｑｔ（２）ｑｔ＋１（１）」（ｑｔ（２）番目状態からｑｔ＋１（１）番目状態へ遷移する確率）を母語音素ＨＭＭ格納部１０１から読み出す。また、フレーム状態最適パススコア算出手段１０８２は、ｔ番目のフレームの特徴ベクトルを取得し、当該特徴ベクトルを出力密度関数に代入し、ｂｑｔ（２）（ｏｔ）を得る。そして、フレーム状態最適パススコア算出手段１０８２は、得た３つの値を乗算し、分子の値を取得し、メモリに一時記憶する。
【００３１】
次に、フレーム状態最適パススコア算出手段１０８２は、フレームごとに、分母の値と分子の値からフレーム状態最適パススコアを算出し、少なくとも、メモリ上に一時記憶する。
【００３２】
フレーム状態最適パススコア算出手段１０８２は、通常、ＭＰＵやメモリ等から実現され得る。フレーム状態最適パススコア算出手段１０８２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３３】
発音区間取得部１０９は、音声受付部１０３が受け付けた音声の発音区間を取得する。発音区間は、音素単位でも良いし、単語単位でも良いし、文単位等でも良い。発音区間取得部１０９が取得する発音区間は、フレームの番号列でも良いし、音声受付部１０３が受け付けた音声データを発音区間に分割した結果でも良い。発音区間取得部１０９は、通常、ＭＰＵやメモリ等から実現され得る。発音区間取得部１０９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３４】
代表値演算部１１０は、発音区間ごとに、当該発音区間に対応する１以上のフレームごとの１以上のスコアを用いて、当該発音区間の代表のスコアを算出する。代表値演算部１１０は、１以上のフレームごとの１以上のスコアの中央値を算出することが好適であるが、平均値や最大値などの他の代表値を算出するようにしても良い。代表値演算部１１０は、通常、ＭＰＵやメモリ等から実現され得る。代表値演算部１１０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３５】
出力部１１１は、フレーム状態最適パススコア算出部１０８が算出したフレームごとのスコアを出力する。出力部１１１は、代表値演算部１１０が算出した各発音区間の代表のスコアを出力しても良い。出力部１１１は、フレームごとのスコアと、各発音区間の代表のスコアの両方を出力しても良いし、どちらか一方を出力しても良い。ここで、出力とは、ディスプレイへの表示、プリンタへの印字、音声出力、外部の装置への送信、記録媒体への蓄積等を含む概念である。出力部１１１は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１１１は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００３６】
連結ＨＭＭ構成部１１２は、母語音素ＨＭＭ格納部１０１の母語音素ＨＭＭから、発音評定の対象である正解トランスクリプションに従って連結ＨＭＭを構成し、連結ＨＭＭ格納部１０２に少なくとも一時記憶する。母語音素ＨＭＭから、発音評定の対象である正解トランスクリプションに従って連結ＨＭＭを構成する技術は公知技術であるので詳細な説明を省略する。なお、正解トランスクリプションの情報は、連結ＨＭＭ構成部１１２が、予め保持していても良いし、ユーザが手動で与えても良い。連結ＨＭＭ構成部１１２は、通常、ＭＰＵやメモリ等から実現され得る。連結ＨＭＭ構成部１１２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３７】
次に、発音評定装置の動作について図２、図３のフローチャートを用いて説明する。
【００３８】
（ステップＳ２０１）音声受付部１０３は、ユーザから、発音評定の対象の音声を受け付けたか否かを判断する。なお、ユーザから音声を受け付ける前に、図示しない手段により、所定の単語や文の発音をユーザに促すようにしても良い。かかる処理は、例えば、「ｌｅａｒｎ と発音してください。」とディスプレイに表示したり、スピーカーで音声出力したりする処理である。音声受付部１０３が音声を受け付ければステップＳ２０２に行き、音声を受け付けなければステップＳ２０１に戻る。
【００３９】
（ステップＳ２０２）連結ＨＭＭ構成部１１２は、母語音素ＨＭＭ格納部１０１から母語音素ＨＭＭを読み出し、メモリ上に配置する。
【００４０】
（ステップＳ２０３）連結ＨＭＭ構成部１１２は、正解トランスクリプションを取得する。正解トランスクリプションは、例えば、図示しない記憶手段に予め格納されていても良いし、ユーザが入力して与えても良い。
【００４１】
（ステップＳ２０４）連結ＨＭＭ構成部１１２は、ステップＳ２０２で読み出した母語音素ＨＭＭから、ステップＳ２０３で取得した正解トランスクリプションに従って連結ＨＭＭを構成し、メモリ上に配置する。かかる場合、連結ＨＭＭ格納部１０２は、メモリである。
【００４２】
（ステップＳ２０５）フレーム区分部１０４は、ステップＳ２０１で受け付けた音声をフレームに区分し、１以上の各フレームに対応する１以上のフレーム音声データを取得する。
【００４３】
（ステップＳ２０６）特徴ベクトル系列取得部１０５は、ステップＳ２０５で取得された１以上の各フレーム音声データを音声分析し、１以上の各フレームに対応する１以上の特徴ベクトルを算出し、特徴ベクトル系列（Ｏ）を取得する。
【００４４】
（ステップＳ２０７）第一最適状態番号系列取得部１０６は、ステップＳ２０６で取得した特徴ベクトル系列と、母語音素ＨＭＭを用いて、ビタビアルゴリズムにより全フレームの最適状態を決定する。ここでの最適状態の集合は、第一最適状態番号系列（Ｑ１）である。
【００４５】
（ステップＳ２０８）第二最適状態番号系列取得部１０７は、ステップＳ２０６で取得した特徴ベクトル系列と、連結ＨＭＭを用いて、ビタビアルゴリズムにより全フレームの最適状態を決定する。ここでの最適状態の集合は、第二最適状態番号系列（Ｑ２）である。
【００４６】
（ステップＳ２０９）フレーム状態最適パススコア算出部１０８は、カウンタｔに１を代入する。ここで「ｔ」は、フレーム番号である。
【００４７】
（ステップＳ２１０）フレーム状態最適パススコア算出部１０８は、ｔ番目のフレームが存在するか否かを判断する。ｔ番目のフレームが存在すればステップＳ２１１に行き、存在しなければステップＳ２１３に行く。
【００４８】
（ステップＳ２１１）フレーム状態最適パススコア算出部１０８は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、ｔ番目のフレームの最適状態に対する確率を算出し、当該確率を用いて、ｔ番目のフレームについて、発音の良し悪しを示すスコアを算出する。フレーム状態最適パススコアを算出する詳細な処理例については、図３のフローチャートを用いて説明する。
【００４９】
（ステップＳ２１２）フレーム状態最適パススコア算出部１０８は、カウンタｔを１、インクリメントし、ステップＳ２１０に戻る。
【００５０】
（ステップＳ２１３）発音区間取得部１０９は、カウンタｉに１を代入する。
【００５１】
（ステップＳ２１４）発音区間取得部１０９は、ｉ番目の発音区間が存在するか否かを判断する。ｉ番目の発音区間が存在すればステップＳ２１５に行き、ｉ番目の発音区間が存在しばければ処理を終了する。
【００５２】
（ステップＳ２１５）発音区間取得部１０９は、ｉ番目の発音区間に対応する１以上のフレームを特定し、代表値演算部１１０は、当該発音区間に対応する１以上のフレームの１以上のスコアを読み出す。
【００５３】
（ステップＳ２１６）代表値演算部１１０は、代表値を得るための関数の情報を読み出し、当該関数に、ステップＳ２１５で読み出した１以上のスコアを代入し、関数を実行し、当該発音区間の代表のスコアを算出する。
【００５４】
（ステップＳ２１７）出力部１１１は、ステップＳ２１６で算出した代表のスコアを出力する。
【００５５】
（ステップＳ２１８）発音区間取得部１０９は、カウンタｉを１、インクリメントし、ステップＳ２１５に戻る。
【００５６】
次に、ステップＳ２１１のフレーム状態最適パススコア算出処理について、図３のフローチャートを用いて説明する。
【００５７】
（ステップＳ３０１）フレーム状態最適パススコア算出手段１０８２は、演算式格納手段１０８１からフレーム状態最適パススコアを算出するための演算式の情報を読み出す。
【００５８】
（ステップＳ３０２）フレーム状態最適パススコア算出手段１０８２は、カウンタｊに１を代入する。
【００５９】
（ステップＳ３０３）フレーム状態最適パススコア算出手段１０８２は、「ｊ＞Ｎ」であるか否かを判断する。
【００６０】
（ステップＳ３０４）フレーム状態最適パススコア算出手段１０８２は、母語音素ＨＭＭ格納部１０１から「ａｑｔ−１（１）ｊ」を読み出す。なお、「ｔ＝１」の場合、「ａｑｔ−１（１）ｊ」は、πｊ（ｊ番目状態に対する初期状態確率）である。
【００６１】
（ステップＳ３０５）フレーム状態最適パススコア算出手段１０８２は、母語音素ＨＭＭ格納部１０１から「ａｊｑｔ＋１（１）」を読み出す。
【００６２】
（ステップＳ３０６）フレーム状態最適パススコア算出手段１０８２は、特徴ベクトル（Ｏｔ）を読み出す。
【００６３】
（ステップＳ３０７）フレーム状態最適パススコア算出手段１０８２は、出力密度関数ｂｊ（）の情報を読み出し、当該関数に特徴ベクトル（Ｏｔ）を代入し、出力密度関数ｂｊ（ｏｔ）を実行し、その結果を得る。
【００６４】
（ステップＳ３０８）フレーム状態最適パススコア算出手段１０８２は、得た「ａｑｔ−１（１）ｊ」、「ａｊｑｔ＋１（１）」、およびｂｊ（ｏｔ）を乗算し、その結果を一時的にメモリに記憶する。
【００６５】
（ステップＳ３０９）フレーム状態最適パススコア算出手段１０８２は、カウンタｊを１、インクリメントし、ステップＳ３０３に戻る。
【００６６】
（ステップＳ３１０）フレーム状態最適パススコア算出手段１０８２は、ステップＳ３０８で一時格納したすべての乗算結果の和を算出し、その結果を一時的にメモリに記憶する。
【００６７】
（ステップＳ３１１）フレーム状態最適パススコア算出手段１０８２は、「ａｑｔ−１（１）ｑｔ（２）」を母語音素ＨＭＭ格納部１０１から読み出す。
【００６８】
（ステップＳ３１２）フレーム状態最適パススコア算出手段１０８２は、「ａｑｔ（２）ｑｔ＋１（１）」を母語音素ＨＭＭ格納部１０１から読み出す。
【００６９】
（ステップＳ３１３）フレーム状態最適パススコア算出手段１０８２は、ｔ番目のフレームの特徴ベクトルを取得し、当該特徴ベクトルを出力密度関数ｂｑｔ（２）（）に代入し、ｂｑｔ（２）（ｏｔ）を演算し、その結果を一時的にメモリに記憶する。
【００７０】
（ステップＳ３１４）フレーム状態最適パススコア算出手段１０８２は、ステップＳ３１１で得た「ａｑｔ−１（１）ｑｔ（２）」、ステップＳ３１２で得た「ａｑｔ（２）ｑｔ＋１（１）」、およびステップＳ３１３で得た「ｂｑｔ（２）（ｏｔ）」を乗算し、その結果を一時的にメモリに記憶する。
【００７１】
（ステップＳ３１５）フレーム状態最適パススコア算出手段１０８２は、ステップＳ３１４における演算結果を、ステップＳ３１０における演算結果で除算し、ｔ番目のフレームのフレーム状態最適パススコア（ＯＰＳ１（ｔ））を得る。
【００７２】
（ステップＳ３１６）フレーム状態最適パススコア算出手段１０８２は、ステップＳ３１５で得たｔ番目のフレームのフレーム状態最適パススコア（ＯＰＳ１（ｔ））を、一時的にメモリに記憶し、上位関数にリターンする。
【００７３】
以下、本実施の形態における発音評定装置の発音評定の方法について説明する。
【００７４】
まず、上記の数式１が導かれる過程について説明する。上述したように、ユーザ（学習者話者）音声のｔ番目分析フレーム（ｔ＝１，２，...．，Ｔ，Ｔはフレーム総数）における特徴ベクトルを「ｏｔ」、ｔ番目分析フレームに対応するＨＭＭの状態（状態番号）を「ｑｔ」、特徴ベクトル系列をＯ＝｛ｏ１，ｏ２，...．．，ｏＴ｝、状態（番号）系列をＱ＝｛ｑ１，ｑ２，...，ｑＴ｝、ｔ番目フレームに対する状態ｑｔを除いた系列をＱ＼｛ｑｔ｝＝｛ｑ１，...，ｑｔ−１，ｑｔ＋１，...，ｑＴ｝、すべての母語音素モデルの（連結順序を考えない）集合をΛａｌｌ、母語音素モデルを評定対象の正解トランスクリプションに従って連結したモデル（連結モデル）をΛｃｏｒとする。また、Λａｌｌのもとで、音素系列の制約なしに求めた最適状態系列（最適パス）をＱ１＝｛ｑ１（１），ｑ２（１），...．．，ｑＴ（１）｝、Λｃｏｒのもとで求めた最適パス（forced alignment 最適パス）をＱ２＝｛ｑ１（２），ｑ２（２），...．．，ｑＴ（２）｝とする。なお、「Ｑ１」は第一の最適状態番号系列、「Ｑ２」は第二の最適状態番号系列である。
【００７５】
かかる概念を図４に示す。図４において、縦は母語音素ＨＭＭの状態系列、横は学習者話者の音声特徴ベクトル系列である。
【００７６】
この場合、フレーム状態最適パススコアを以下の数式２で定義する。
【数２】
【００７７】
なお、Ｐ（Ａ｜Λａｌｌ）は、すべての音素モデルΛａｌｌが与えられたときの事象Ａが起こる確率（または確率密度）、ＮはΛａｌｌに含まれる総状態数である。数式２を変形すると以下の数式３となり、フレーム状態最適パススコアは、特徴ベクトル系列Ｏ，およびΛａｌｌの下で求まった最適パスからｔ番目フレームを除いた最適パス「Ｑ＼｛ｑｔ（１）｝＝｛ｑ１（１），...，ｑｔ−１（１），ｑｔ＋１（１），...，ｑＴ（１）｝」が与えられたという条件の下での、ｔ番目フレームに対する状態が「ｑｔ（２）」（forced alignmentで求めた最適状態）である事後確率を表わす。
【数３】
【００７８】
また、音素モデルがＨＭＭの場合、状態系列Ｑに沿った確率（確率密度）は、以下の数式４で与えられる。
【数４】
【００７９】
ここでπｉはｉ番目状態に対する初期状態確率、ａｉｊはｉ番目状態からｊ番目状態へ遷移する確率，ｂｊ（ｏ）はｊ番目状態における特徴ベクトルの出力確率密度関数である。また、ｑＴ＋１は特徴ベクトルを出力しない最終状態であり、状態系列Ｑには含まれない便宜的に設定した状態である。
【００８０】
かかる場合、確率密度関数は、数式５に示すように簡略され得る。
【数５】
【００８１】
数式５を数式２の分子と分母に代入して、約分することにより、ＨＭＭの場合のフレーム状態最適パススコアが数式１のように簡略化される。
【００８２】
数式１において、ｔ＝１の場合、ａｑ０（１）ｊをπｊに置き換える（ｊ＝１，２，...，Ｎ）。
【００８３】
また、数式１により算出されるフレーム状態最適パススコア（ＯＰＳ１（τ））を発音区間Ｔ（ｍ）で評価した発音区間フレーム状態最適パススコア（ＯＰＳ３（ｍ））は、数式６により算出される。かかる算出は、代表値演算部１１０が行う。
【数６】
【００８４】
数式６において、ｍは発音区間のインデクス、Ｍｅ｛・｝は集合｛・｝内の要素の中央値を表わす。ただし、中央値を算出する代表値演算は、平均値や最大値などの別の代表値演算に置き換えても良い。また、発音区間は、例えば、forced alignmentパスＱ２により定まる、音素区間、単語区間、フレーズ区間などである。
【００８５】
次に、数式１の性質、意義、つまり、上述したフレーム状態最適パススコアの性質、意義について説明する。
【００８６】
上述した数式２を詳細に記載すると、以下の数式７になる。
【数７】
【００８７】
数式７において、Ｑ１＝｛ｑ１（１），ｑ２（１），...．．，ｑＴ（１）｝が、Λａｌｌのもとでの最適状態系列、つまり、「Ｐ（Ｏ，ｑ１，ｑ２，...．．，ｑＴ｜Λａｌｌ）を最大にする｛ｑ１，ｑ２，...．．，ｑＴ｝であるので、数式７の分母における各ｊ（ｊ＝１，２，...．，Ｎ）：Ｐ（Ｏ，ｑ１（１），...，ｑｔ−１（１），ｊ，ｑｔ＋１（１），...，ｑＴ（１）｜Λａｌｌ）において、ｊ＝ｑｔ（１）で最大となる。もし、ユーザの発話がネイティブ発音らしければ、各フレームにおいてΛａｌｌの中のどれかの母語音素モデルと類似性が高く、Ｐ（Ｏ，ｑ１（１），...．，ｑｔ−１（１），ｊ，ｑｔ＋１（１），...．，ｑＴ（１）｜Λａｌｌ）は最適パス｛ｑ１（１），ｑ２（１），...．．，ｑＴ（１）｝での値が優勢となるので、Ｐ（Ｏ，ｑ１（１），...．，ｑｔ−１（１），ｊ，ｑｔ＋１（１），...．，ｑＴ（１）｜Λａｌｌ）の各ｊにおいて、「ｊ＝ｑｔ（１）」での値が大きくなって、他のｊでは値が大きくならない（確率値が、ｊ＝１，２，...，Ｎの中でｑｔ（１）の占める割合が高くなる）。すなわち、数式７の分母はΛａｌｌの下での最適状態系列Ｑ１における確率値に近くなる。つまり、以下の数式８がいえる。かかる状況を図５に示す。図５において、縦軸はスコア、横軸はｊ（状態番号）である。
【数８】
【００８８】
さらに正解トランスクリプションのネイティブ発音に近ければ、Λａｌｌのもとで求めた最適パスＱ１とΛｃｏｒのもとで求めた最適パスＱ２が類似するため、多くのｔにおいて「ｑｔ（１）＝ｑｔ（２）」となり、以下の数式９がいえる。
【数９】
【００８９】
つまり、「ＯＰＳ１（ｔ）」の値が最大値１に近くなる。
【００９０】
一方、正解トランスクリプションと異なるネイティブ発音であれば、Ｑ１とＱ２が大きく異なってくるため、「ＯＰＳ１（ｔ）」の値が小さくなる。また、元々発話がネイティブ発音に類似していなければ、数式７の分子の値、および分母の各ｊに対する値がいずれも小さくなり、Ｎの値が大きいことから「ＯＰＳ１（ｔ）」の値が小さくなる。フレーム状態最適パススコア算出部１０８が算出するフレーム状態最適パススコアは、以上のような性質を有する。
【００９１】
以上、本実施の形態によれば、音韻毎に連結した連結ＨＭＭとフレーム分割されたデータを用いて、比較対象の音声と入力音声の類似度を評定することができるので、両者の類似度の評定の精度を高く、高速に行うことができる。さらに具体的には、本実施の形態によれば、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、区分されたフレームごとに発音の良し悪しを示すスコアを算出できる。このスコアは、母語音素ＨＭＭが有する各状態と比較した、ユーザが入力した音声の各状態の状態らしさを示すスコアである。
【００９２】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、音声の入力を受け付ける音声受付ステップと、前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分ステップと、前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得ステップと、前記特徴ベクトル系列と格納している母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得ステップと、前記特徴ベクトル系列と格納している連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得ステップと、前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム状態最適パススコア算出ステップと、前記フレーム状態最適パススコア算出ステップで算出したフレームごとのスコアを出力する出力ステップを実行させるためのプログラム、である。
【００９３】
また、上記プログラムに対して、コンピュータに、前記音声受付部が受け付けた音声の発音区間を取得する発音区間取得ステップと、前記発音区間ごとに、当該発音区間に対応する１以上のフレームごとの１以上のスコアを用いて、当該発音区間の代表のスコアを算出する代表値演算ステップをさらに実行させ、前記出力ステップにおいて、少なくとも前記代表値演算ステップで算出した各発音区間の代表のスコアを出力する、ことは好適である。
【００９４】
また、上記プログラムに対して、コンピュータに、前記母語音素ＨＭＭから、発音評定の対象である正解トランスクリプションに従って連結ＨＭＭを構成する連結ＨＭＭ構成ステップをさらに実行させ、前記連結ＨＭＭは、前記連結ＨＭＭ構成ステップで構成した連結ＨＭＭである、ことは好適である。
（実施の形態２）
【００９５】
本実施の形態において、比較対象の音声と入力音声の類似度の評定を精度高く、かつ高速にできる発音評定装置について説明する。本実施の形態における発音評定装置は、入力された音声が、比較対象の音声（例えば、ネイティブが発音した音声）と比較して、音声を構成する各フレームの音素の類似度を算定するものである。
【００９６】
図６は、本実施の形態における発音評定装置のブロック図である。
【００９７】
発音評定装置は、母語音素ＨＭＭ格納部１０１、連結ＨＭＭ格納部１０２、音声受付部１０３、フレーム区分部１０４、特徴ベクトル系列取得部１０５、第一最適状態番号系列取得部１０６、第二最適状態番号系列取得部１０７、フレーム音素最適パススコア算出部６０８、発音区間取得部１０９、代表値演算部１１０、出力部１１１、連結ＨＭＭ構成部１１２を具備する。
【００９８】
フレーム音素最適パススコア算出部６０８は、演算式格納手段６０８１、フレーム音素最適パススコア算出手段６０８２を具備する。
【００９９】
フレーム音素最適パススコア算出部６０８は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、区分されたフレームごとに発音の良し悪しを示すスコアを算出する。また、フレーム音素最適パススコア算出部６０８は、後述する演算式格納手段６０８１に格納されている演算式を用いて、音素らしさを算出するが、その演算式は後述の数式１０に限られない。つまり、数式１０のパラメータを若干、変更している演算式でも良い。また、数式１０において、分子の値が「０」である場合に、予め決められた０でない値に変更して、「ＯＰＳ２（ｔ）」を算出しても良い。つまり、フレーム音素最適パススコア算出部６０８は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、区分されたフレームごとに発音の良し悪し（音素らしさ）を示すスコアを算出すれば、その算出に用いる演算式は問わない。フレーム音素最適パススコア算出部６０８は、通常、ＭＰＵやメモリ等から実現され得る。フレーム音素最適パススコア算出部６０８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１００】
演算式格納手段６０８１は、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列をパラメータとして、フレーム音素最適パススコアを算出する演算式の情報を格納している。演算式格納手段６０８１は、例えば、以下の数式１０の演算式の情報を格納している。演算式格納手段６０８１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【数１０】
【０１０１】
数式１０において、「ＯＰＳ２（ｔ）」は、ｔ番目のフレームのフレーム音素最適パススコアを示す関数である。数式１０において、ｔ番目フレームの最適状態「ｑｔ（２）」を含む音素（「最適音素」という）をλ［ｑｔ（２）］とし（図４にその概念を記載している。）、λ［ｑｔ（２）］に含まれる状態番号の集合をＳ(λ［ｑｔ（２）］)とする。
【０１０２】
フレーム音素最適パススコア算出手段６０８２は、演算式格納手段６０８１から演算式の情報を読み出し、当該演算式に従って、パラメータの値を取得し、当該パラメータの値を、読み出した演算式に代入し、スコアを算出する。さらに、具体的には、フレーム音素最適パススコア算出手段６０８２は、上記の数式１０を読み出し、１番目のフレームから、Ｔ番目のフレームまで、フレームごとに、フレーム音素最適パススコアを算出する。つまり、フレーム音素最適パススコア算出手段６０８２は、フレームごとに、分母の値を算出する。フレーム音素最適パススコア算出手段６０８２が分母の値を算出する手順は、例えば、フレーム状態最適パススコア算出手段１０８２が数式１の分母の値を算出する手順と同様である。
【０１０３】
次に、フレーム音素最適パススコア算出手段６０８２は、フレームごとに、数式１０の分子の値を算出する。つまり、フレーム音素最適パススコア算出手段６０８２は、各フレームに対して、最適音素が有する１以上の状態（ｉ）について、母語音素ＨＭＭ格納部１０１から「ａｑｔ−１（１）ｉ」を読み出す。そして、フレーム音素最適パススコア算出手段６０８２は、母語音素ＨＭＭ格納部１０１から「ａｉｑｔ＋１（１）」を読み出す。そして、フレーム音素最適パススコア算出手段６０８２は、各フレームの特徴ベクトルを取得し、当該特徴ベクトルを出力密度関数に代入し、ｂｉ（ｏｔ）を得る。そして、フレーム音素最適パススコア算出手段６０８２は、得た「ａｑｔ−１（１）ｉ」、「ａｉｑｔ＋１（１）」、およびｂｉ（ｏｔ）を乗算し、その結果を一時的にメモリに記憶する。かかる処理を最適音素が有する各状態に対して行う。そして、フレーム音素最適パススコア算出手段６０８２は、一時的にメモリに記憶した値の和を算出し、数式１０の分子の値を得る。次に、フレーム音素最適パススコア算出手段６０８２は、一時記憶した分子の値から分母の値を除算し、フレームごとのフレーム状態最適パススコアを得る。
【０１０４】
次に、本発音評定装置の動作について説明する。本発音評定装置の処理は、実施の形態１の発音評定装置の図２のフローチャートにおける処理と比較して、ステップＳ２１１が「フレーム音素最適パススコアの算出」に変わるだけである。フレーム音素最適パススコアの算出処理について、図７のフローチャートを用いて説明する。図７のフローチャートにおいて、図３のフローチャートと同一のステップについて、説明を省略する。ただし、図３のフローチャートにおいてフレーム状態最適パススコア算出手段１０８２が行った処理は、図７のフローチャートにおいてはフレーム音素最適パススコア算出手段６０８２が行う。
【０１０５】
（ステップＳ７０１）フレーム音素最適パススコア算出手段６０８２は、カウンタｉに１を代入する。
【０１０６】
（ステップＳ７０２）フレーム音素最適パススコア算出手段６０８２は、ｉ番目の状態が存在するか否かを判断する。ｉ番目の状態が存在すればステップＳ７０３に行き、ｉ番目の状態が存在しなければステップＳ７０８に行く。
【０１０７】
（ステップＳ７０３）フレーム音素最適パススコア算出手段６０８２は、母語音素ＨＭＭ格納部１０１から「ａｑｔ−１（１）ｉ」を読み出す。
【０１０８】
（ステップＳ７０４）フレーム音素最適パススコア算出手段６０８２は、母語音素ＨＭＭ格納部１０１から「ａｉｑｔ＋１（１）」を読み出す。
【０１０９】
（ステップＳ７０５）フレーム音素最適パススコア算出手段６０８２は、対応するフレームの特徴ベクトルを取得し、当該特徴ベクトルを出力密度関数に代入し、ｂｉ（ｏｔ）を得る。なお、特徴ベクトルは、特徴ベクトル系列取得部１０５が取得した情報である。また、出力密度関数の情報は、予め保持されており、かかる出力密度関数の情報を、フレーム音素最適パススコア算出手段６０８２は、読み出す。
【０１１０】
（ステップＳ７０６）フレーム音素最適パススコア算出手段６０８２は、ステップＳ７０３、ステップＳ７０４、およびステップＳ７０５で得た値を乗算し、その結果をメモリ上に一時格納する。
【０１１１】
（ステップＳ７０７）フレーム音素最適パススコア算出手段６０８２は、カウンタｉを１、インクリメントし、ステップＳ７０２に戻る。
【０１１２】
（ステップＳ７０８）フレーム音素最適パススコア算出手段６０８２は、各状態に対応するステップＳ７０６における演算結果を、メモリから読み出し、和を求め、その結果をメモリ上に一時格納する。
【０１１３】
（ステップＳ７０９）フレーム音素最適パススコア算出手段６０８２は、ＯＰＳ２（ｔ）を算出する
【０１１４】
（ステップＳ７１０）フレーム音素最適パススコア算出手段６０８２は、ステップＳ７０９で算出したＯＰＳ２（ｔ）をメモリ上に一時格納し、上位関数にリターンする。
【０１１５】
以下、本実施の形態における発音評定装置の発音評定の方法について説明する。
【０１１６】
まず、上記の数式１０が導かれる過程について説明する。フレーム音素最適パススコアを以下の数式１１で定義する。
【数１１】
【０１１７】
そして、実施の形態１において数式２から数式１を算出した場合と同様に、分子と分母を約分すると、数式１０が導出される。
【０１１８】
また、数式１０により算出されるフレーム音素最適パススコア（ＯＰＳ２（τ））を発音区間Ｔ（ｍ）で評価した発音区間フレーム音素最適パススコア（ＯＰＳ４（ｍ））は、数式１２により算出される。かかる算出は、代表値演算部１１０が行う。
【数１２】
【０１１９】
数式１２において、ｍは発音区間のインデクス、Ｍｅ｛・｝は集合｛・｝内の要素の中央値を表わす。ただし中央値の代表値演算は、平均値や最大値などの別の代表値演算に置き換えても良い。また、発音区間は、例えば、forced alignmentパスＱ２により定まる、音素区間、単語区間、フレーズ区間などである。
【０１２０】
次に、数式１０の性質、意義、つまり、上述したフレーム音素最適パススコアの性質、意義について説明する。
【０１２１】
実施の形態１におけるフレーム状態最適パススコアの数式７において、最適状態（ｑｔ（２）)を含む音素（最適音素）の中の各状態に対し、確率密度関数があまり変わらず、数式７の分母の値に対して「ｊ＝１，２，...，Ｎ」の中で優勢となる状態が、最適状態のみならず、最適音素内の複数個の状態となる（図８参照）。
【０１２２】
かかる場合、特徴ベクトル系列Ｏが正しいトランスクリプションのネイティブ発音に類似している場合でも、状態１個からなる分子の確率値と比較して分母の確率値は複数状態の和となり（最適状態のみが優勢、とならなくなるため）、分子に対する分母の割合が大きくなる。そのため、以下の数式１３に示すように、スコアが高くならないことが生じる。
【数１３】
【０１２３】
そこで、最適状態（ｑｔ（２））のみならず、最適音素（λ［ｑｔ（２）］）内の複数状態で数式１あるいは数式２の分子の総和をとるフレーム音素最適パススコア（数式１０あるいは数式１１）が、安定かつ精度の高いスコアを提供するものとして有意義である。また、実施の形態１における状態のもっともらしさよりも、母語音素のもっともらしさを評定した方が、発音の良し悪しをより安定して、精度高く測れるものと考えられるため、この意味でもフレーム音素最適パススコアは優れている。
【０１２４】
以上、本実施の形態によれば、音韻毎に連結した連結ＨＭＭとフレーム分割されたデータを用いて、比較対象の音声と入力音声の類似度を評定することができ、両者の類似度の評定の極めて精度を高く、高速に行うことができる。さらに具体的には、本実施の形態によれば、特徴ベクトル系列、母語音素ＨＭＭ、第一の最適状態番号系列、および第二の最適状態番号系列を用いて、区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、区分されたフレームごとに発音の良し悪しを示すスコアを算出できる。このスコアは、母語音素ＨＭＭが有する1以上の状態を有する音素と比較した、ユーザが入力した音声の各音素の音素らしさを示すスコアである。
【０１２５】
なお、本実施の形態における発音評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、音声の入力を受け付ける音声受付ステップと、前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分ステップと、前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得ステップと、前記特徴ベクトル系列と格納している母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得ステップと、前記特徴ベクトル系列と格納している連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得ステップと、前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム音素最適パススコア算出ステップと、前記フレーム音素最適パススコア算出ステップで算出したフレームごとのスコアを出力する出力ステップを実行させるためのプログラム、である。
【０１２６】
また、上記プログラムに対して、コンピュータに、前記音声受付部が受け付けた音声の発音区間を取得する発音区間取得ステップと、前記発音区間ごとに、当該発音区間に対応する１以上のフレームごとの１以上のスコアを用いて、当該発音区間の代表のスコアを算出する代表値演算ステップをさらに実行させ、前記出力ステップにおいて、少なくとも前記代表値演算ステップで算出した各発音区間の代表のスコアを出力する、ことは好適である。
【０１２７】
また、上記プログラムに対して、コンピュータに、前記母語音素ＨＭＭから、発音評定の対象である正解トランスクリプションに従って連結ＨＭＭを構成する連結ＨＭＭ構成ステップをさらに実行させ、前記連結ＨＭＭは、前記連結ＨＭＭ構成ステップで構成した連結ＨＭＭである、ことは好適である。
【０１２８】
また、上記各実施の形態において述べた発音評定装置は、語学学習やカラオケにおける採点装置や物真似練習などに利用できる。
【０１２９】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１３０】
また、図９は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の発音評定装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図９は、このコンピュータシステム３４０の概観図であり、図１０は、コンピュータシステム３４０のブロック図である。
【０１３１】
図９において、コンピュータシステム３４０は、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４と、マイク３４５とを含む。
【０１３２】
図１０において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３４１３と、ＣＰＵ３４１３、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）３４１５と、ＣＰＵ３４１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１３３】
コンピュータシステム３４０に、上述した実施の形態の発音評定装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
【０１３４】
プログラムは、コンピュータ３４１に、上述した実施の形態の発音評定装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
【０１３５】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１３６】
以上のように、本発明にかかる発音評定装置は、精度高く発音評定ができるという効果を有し、語学学習装置等として有用である。
【図面の簡単な説明】
【０１３７】
【図１】実施の形態１における発音評定装置のブロック図
【図２】同発音評定装置の動作について説明するフローチャート
【図３】同フレーム状態最適パススコア算出処理について説明するフローチャート
【図４】同発音評定装置の処理の概念を示す図
【図５】同フレーム状態最適パススコアの概念を説明する図
【図６】実施の形態２における発音評定装置のブロック図
【図７】同フレーム音素最適パススコア算出処理について説明するフローチャート
【図８】同フレーム音素最適パススコアの概念を説明する図
【図９】同発音評定装置を実現するコンピュータの外観図
【図１０】同発音評定システムのブロック図
【符号の説明】
【０１３８】
１０１ 母語音素ＨＭＭ格納部
１０２ 連結ＨＭＭ格納部
１０３ 音声受付部
１０４ フレーム区分部
１０５ 特徴ベクトル系列取得部
１０６ 第一最適状態番号系列取得部
１０７ 第二最適状態番号系列取得部
１０８ フレーム状態最適パススコア算出部
１０９ 発音区間取得部
１１０ 代表値演算部
１１１ 出力部
１１２ 連結ＨＭＭ構成部
６０８ フレーム音素最適パススコア算出部
１０８１、６０８１ 演算式格納手段
１０８２ フレーム状態最適パススコア算出手段
６０８２ フレーム音素最適パススコア算出手段
【特許請求の範囲】
【請求項１】
音韻毎の隠れマルコフモデルに基づくデータである母語音素ＨＭＭを格納している母語音素ＨＭＭ格納部と、
発音評定の対象である正解トランスクリプションに従ってＨＭＭに基づくデータを連結したデータである連結ＨＭＭを格納している連結ＨＭＭ格納部と、
音声の入力を受け付ける音声受付部と、
前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分部と、
前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得部と、
前記特徴ベクトル系列と前記母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得部と、
前記特徴ベクトル系列と前記連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得部と、
前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム状態最適パススコア算出部と、
前記フレーム状態最適パススコア算出部が算出したフレームごとのスコアを出力する出力部を具備する発音評定装置。
【請求項２】
音韻毎の隠れマルコフモデルに基づくデータである母語音素ＨＭＭを格納している母語音素ＨＭＭ格納部と、
発音評定の対象である正解トランスクリプションに従ってＨＭＭに基づくデータを連結したデータである連結ＨＭＭを格納している連結ＨＭＭ格納部と、
音声の入力を受け付ける音声受付部と、
前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分部と、
前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得部と、
前記特徴ベクトル系列と前記母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得部と、
前記特徴ベクトル系列と前記連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得部と、
前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム音素最適パススコア算出部と、
前記フレーム音素最適パススコア算出部が算出したフレームごとのスコアを出力する出力部を具備する発音評定装置。
【請求項３】
前記音声受付部が受け付けた音声の発音区間を取得する発音区間取得部と、
前記発音区間ごとに、当該発音区間に対応する１以上のフレームごとの１以上のスコアを用いて、当該発音区間の代表のスコアを算出する代表値演算部をさらに具備し、
前記出力部は、少なくとも前記代表値演算部が算出した各発音区間の代表のスコアを出力する請求項１または請求項２記載の発音評定装置。
【請求項４】
前記母語音素ＨＭＭ格納部の母語音素ＨＭＭから、発音評定の対象である正解トランスクリプションに従って連結ＨＭＭを構成する連結ＨＭＭ構成部をさらに具備し、
前記連結ＨＭＭ格納部の連結ＨＭＭは、前記連結ＨＭＭ構成部が構成した連結ＨＭＭである請求項１から請求項３いずれか記載の発音評定装置。
【請求項５】
コンピュータに、
音声の入力を受け付ける音声受付ステップと、
前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分ステップと、
前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得ステップと、
前記特徴ベクトル系列と格納している母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得ステップと、
前記特徴ベクトル系列と格納している連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得ステップと、
前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム状態最適パススコア算出ステップと、
前記フレーム状態最適パススコア算出ステップで算出したフレームごとのスコアを出力する出力ステップを実行させるためのプログラム。
【請求項６】
コンピュータに、
音声の入力を受け付ける音声受付ステップと、
前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分ステップと、
前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得ステップと、
前記特徴ベクトル系列と格納している母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得ステップと、
前記特徴ベクトル系列と格納している連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得ステップと、
前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム音素最適パススコア算出ステップと、
前記フレーム音素最適パススコア算出ステップで算出したフレームごとのスコアを出力する出力ステップを実行させるためのプログラム。
【請求項１】
音韻毎の隠れマルコフモデルに基づくデータである母語音素ＨＭＭを格納している母語音素ＨＭＭ格納部と、
発音評定の対象である正解トランスクリプションに従ってＨＭＭに基づくデータを連結したデータである連結ＨＭＭを格納している連結ＨＭＭ格納部と、
音声の入力を受け付ける音声受付部と、
前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分部と、
前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得部と、
前記特徴ベクトル系列と前記母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得部と、
前記特徴ベクトル系列と前記連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得部と、
前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム状態最適パススコア算出部と、
前記フレーム状態最適パススコア算出部が算出したフレームごとのスコアを出力する出力部を具備する発音評定装置。
【請求項２】
音韻毎の隠れマルコフモデルに基づくデータである母語音素ＨＭＭを格納している母語音素ＨＭＭ格納部と、
発音評定の対象である正解トランスクリプションに従ってＨＭＭに基づくデータを連結したデータである連結ＨＭＭを格納している連結ＨＭＭ格納部と、
音声の入力を受け付ける音声受付部と、
前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分部と、
前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得部と、
前記特徴ベクトル系列と前記母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得部と、
前記特徴ベクトル系列と前記連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得部と、
前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム音素最適パススコア算出部と、
前記フレーム音素最適パススコア算出部が算出したフレームごとのスコアを出力する出力部を具備する発音評定装置。
【請求項３】
前記音声受付部が受け付けた音声の発音区間を取得する発音区間取得部と、
前記発音区間ごとに、当該発音区間に対応する１以上のフレームごとの１以上のスコアを用いて、当該発音区間の代表のスコアを算出する代表値演算部をさらに具備し、
前記出力部は、少なくとも前記代表値演算部が算出した各発音区間の代表のスコアを出力する請求項１または請求項２記載の発音評定装置。
【請求項４】
前記母語音素ＨＭＭ格納部の母語音素ＨＭＭから、発音評定の対象である正解トランスクリプションに従って連結ＨＭＭを構成する連結ＨＭＭ構成部をさらに具備し、
前記連結ＨＭＭ格納部の連結ＨＭＭは、前記連結ＨＭＭ構成部が構成した連結ＨＭＭである請求項１から請求項３いずれか記載の発音評定装置。
【請求項５】
コンピュータに、
音声の入力を受け付ける音声受付ステップと、
前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分ステップと、
前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得ステップと、
前記特徴ベクトル系列と格納している母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得ステップと、
前記特徴ベクトル系列と格納している連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得ステップと、
前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適状態に対する確率を算出し、当該確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム状態最適パススコア算出ステップと、
前記フレーム状態最適パススコア算出ステップで算出したフレームごとのスコアを出力する出力ステップを実行させるためのプログラム。
【請求項６】
コンピュータに、
音声の入力を受け付ける音声受付ステップと、
前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分ステップと、
前記区分された各フレームの特徴ベクトルを算出し、特徴ベクトル系列を取得する特徴ベクトル系列取得ステップと、
前記特徴ベクトル系列と格納している母語音素ＨＭＭを取得し、前記特徴ベクトル系列と前記母語音素ＨＭＭを用いて、ビタビアルゴリズムにより第一の最適状態番号系列を取得する第一最適状態番号系列取得ステップと、
前記特徴ベクトル系列と格納している連結ＨＭＭを取得し、前記特徴ベクトル系列と前記連結ＨＭＭを用いて、ビタビアルゴリズムにより第二の最適状態番号系列を取得する第二最適状態番号系列取得ステップと、
前記特徴ベクトル系列、前記母語音素ＨＭＭ、前記第一の最適状態番号系列、および前記第二の最適状態番号系列を用いて、前記区分されたフレームごとに最適音素内の１以上の各状態に対する確率を算出し、当該１以上の確率を用いて、前記区分されたフレームごとに発音の良し悪しを示すスコアを算出するフレーム音素最適パススコア算出ステップと、
前記フレーム音素最適パススコア算出ステップで算出したフレームごとのスコアを出力する出力ステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図６】
【図７】
【図９】
【図１０】
【図４】
【図５】
【図８】
【図２】
【図３】
【図６】
【図７】
【図９】
【図１０】
【図４】
【図５】
【図８】
【公開番号】特開２００８−４００３５（Ｐ２００８−４００３５Ａ）
【公開日】平成２０年２月２１日（２００８．２．２１）
【国際特許分類】
【出願番号】特願２００６−２１２７０４（Ｐ２００６−２１２７０４）
【出願日】平成１８年８月４日（２００６．８．４）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究成果に係る特許出願（平成１８年度独立行政法人新エネルギー・産業技術総合開発機構、開発項目「半導体アプリケーションチッププロジェクト（情報家電用半導体アプリケーションチップ技術開発）マルチメディア多機能チップの研究開発」の「発音の評定を行うソフトウェアの多機能マルチメディアチップへの適応に関する研究開発」、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成２０年２月２１日（２００８．２．２１）
【国際特許分類】
【出願日】平成１８年８月４日（２００６．８．４）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究成果に係る特許出願（平成１８年度独立行政法人新エネルギー・産業技術総合開発機構、開発項目「半導体アプリケーションチッププロジェクト（情報家電用半導体アプリケーションチップ技術開発）マルチメディア多機能チップの研究開発」の「発音の評定を行うソフトウェアの多機能マルチメディアチップへの適応に関する研究開発」、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]