音声合成装置、方法及びプログラム
【課題】音声合成装置における処理量、特に、予備選択における処理量を削減し、高速に音声合成処理を行う音声合成装置を提供する。
【解決手段】所定基準で選択した音声素片系列を基準とし、ある合成目標情報に対し、ある音声素片を使用する条件の下で、前記所定基準で選択した音声素片系列での合成音声波形の劣化度合いを示す、前記合成目標情報に対する音声素片のコスト悪化値を、合成目標情報ごとに示すコスト悪化値データベースを有し、入力合成目標情報それぞれについて、コスト悪化値データベースに含まれている１つ以上の合成目標情報を選択し、選択した合成目標情報に対応する複数の音声素片から、コスト悪化値に基づき、入力合成目標情報に対する音声素片候補を選択し、一連の入力合成目標情報と、選択した各入力合成目標情報に対する音声素片候補から、出力する合成音声波形に使用する一連の音声素片を選択する。
【解決手段】所定基準で選択した音声素片系列を基準とし、ある合成目標情報に対し、ある音声素片を使用する条件の下で、前記所定基準で選択した音声素片系列での合成音声波形の劣化度合いを示す、前記合成目標情報に対する音声素片のコスト悪化値を、合成目標情報ごとに示すコスト悪化値データベースを有し、入力合成目標情報それぞれについて、コスト悪化値データベースに含まれている１つ以上の合成目標情報を選択し、選択した合成目標情報に対応する複数の音声素片から、コスト悪化値に基づき、入力合成目標情報に対する音声素片候補を選択し、一連の入力合成目標情報と、選択した各入力合成目標情報に対する音声素片候補から、出力する合成音声波形に使用する一連の音声素片を選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データベース化した音声素片から最適な音声素片を選択し、選択した音声素片を接続することで音声を合成する音声合成装置、方法及びプログラムに関する。
【背景技術】
【０００２】
音声合成技術の１つである素片接続型音声合成は、多数の音声素片をあらかじめデータベース化しておき、合成時には指定された合成目標情報の各パラメータに近く、かつ、前後の音声素片との接続関係の良好な音声素片を、素片データベースから選択して合成を行う方式である。各音声素片には、音素ラベル、音響パラメータ、音声コーパス内での出現環境等のパラメータが付されている。
【０００３】
素片接続型音声合成においては、指定された合成目標情報に基づき、使用する音声素片の選択（以後、素片選択と呼ぶ。）を行うが、この素片選択は、コストと呼ぶ歪み尺度、つまり、選択した音声素片により合成される音声波形の、目標とする合成音声波形からの劣化度合いを示す指標に基づき行われる。コストは、通常、合成目標情報と音声素片との誤差を示すターゲットコストと、音声素片間の不連続の程度を示す接続コストに分けることができ、素片選択は全体のコストを最小とするように行われる。
【０００４】
より自然性の高い合成音声を得るためには、大規模な素片データベースを使用する必要があるが、素片データベースの大規模化に伴い、考慮すべき音声素片の組合せ数が膨大なものとなり素片選択処理が困難になるという問題が発生する。この問題を解決するため、ターゲットコスト及び接続コストの両方を考慮した最終的な音声素片の選択を行う前に、ターゲットコストに基づき素片データベースに用意されている音声素片の絞込みを行う予備選択を行う構成が提案されている。
【０００５】
しかしながら、近年、素片データベースはますます大規模なものとなり、この結果、素片選択の処理量を減らすために行われる予備選択の処理量が無視できないものとなっている。このため、特許文献１には、予備選択を多段で行うことにより予備選択処理量を削減する構成が記載されている。特許文献１によると、予備選択に使用するターゲットコストを、基本周波数、持続時間、ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）といったサブコストに分割し、順次サブコストによる絞込みを行うことで全体の計算回数を削減している。
【０００６】
また、特許文献２には、テスト文による音声合成により各音声素片の選択頻度を調べ、選択頻度が少ない音声素片を素片データベースから削除することで選択処理の処理量を削減する構成が記載されている。
【０００７】
【特許文献１】特開２００５‐２６５８９５号公報
【特許文献２】特開２００４‐３７６０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の構成では、音声合成時に、総ての音声素片候補について評価を行わなければならない点で従来技術と同じであり、この構成による処理量の削減には限界がある。更に、予備選択と素片選択においては異なる選択基準を用いているため、予備選択で選択される音声素片候補が、素片選択での選択基準において最も好ましいものとは限らないという問題がある。この問題に対処するためには、予備選択で選択する音声素片候補数をできるだけ多くする必要があるが、予備選択での選択数を多くすると、素片選択の処理量が増大するという問題が発生する。
【０００９】
また、特許文献２に記載の構成では、テスト文が少ない場合、たまたまテスト文に含まれていなかった、使用頻度の高い音声素片が素片データベースから削除されてしまうことや、たまたまテスト文に含まれていた、使用頻度の低い音声素片が素片データベースに残ってしまうという問題が発生し得る。この問題に対処するためには、素片データベースと比較して、大量のテスト文を用意する必要があるが、素片データベースの大規模化に伴いテスト文を用意することが困難となる。
【００１０】
したがって、本発明は、音声合成装置における処理量、特に、予備選択における処理量を削減し、高速に音声合成処理を行う音声合成装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明における音声合成装置によれば、
一連の入力合成目標情報に基づき、素片データベースに用意されている複数の音声素片から一連の音声素片を選択し、選択した一連の音声素片それぞれに対応する音声波形を接続して合成音声波形を出力する音声合成装置であって、一連の試験合成目標情報に基づき、素片データベースから所定の基準で選択した音声素片系列を基準とし、ある試験合成目標情報に対してある音声素片を使用する条件の下、該所定の基準で選択した音声素片系列での合成音声波形の劣化度合いを示す、該試験合成目標情報に対する該音声素片のコスト悪化値を求め、各試験合成目標情報について、対応する音声素片のコスト悪化値を示すコスト悪化値データベースを生成するコスト悪化値計算手段と、入力合成目標情報それぞれについて、コスト悪化値データベースから１つ以上の試験合成目標情報を選択し、選択した試験合成目標情報に対応する音声素片から、コスト悪化値に基づき、入力合成目標情報に対する音声素片候補を選択する予備選択手段と、一連の入力合成目標情報に基づき、予備選択手段が選択した各入力合成目標情報に対する音声素片候補の中から、出力する合成音声波形に使用する一連の音声素片を選択する素片選択手段とを備えていることを特徴とする。
【００１２】
本発明の音声合成装置における他の実施形態によれば、
予備選択手段は、コスト悪化値データベースに含まれる試験合成目標情報をグループ化し、グループ化した試験合成目標情報それぞれに対応する音声素片から、コスト悪化値に基づき複数の音声素片を選択し、選択した音声素片をグループと対応させて記録する予備選択結果データベース生成手段と、各入力合成目標情報が属するグループを判定し、判定したグループに対応する音声素片を、該入力合成目標情報に対する音声素片候補として選択する選択手段とを備えていることも好ましい。
【００１３】
また、本発明の音声合成装置における他の実施形態によれば、
予備選択結果データベース生成手段は、同一単位音声に属する総ての試験合成目標情報を根ノードとし、該根ノードを順次分割することにより生成した決定木の葉ノードに含まれる試験合成目標情報を１つのグループとしてグループ化し、選択手段は、決定木に従い入力合成目標情報が属するグループを決定することも好ましい。
【００１４】
更に、本発明の音声合成装置における他の実施形態によれば、
予備選択結果データベース生成手段は、評価値を最小にする集合分割を繰り返すことにより決定木の生成を行い、評価値は、分割により生成した各葉ノードの評価値を、各葉ノードに含まれる試験合成目標情報の数に基づき重み付けした値の和であり、葉ノードの評価値は、該葉ノードに含まれる各試験合成目標情報に対応する音声素片から、コスト悪化値に基づき選択した所定数の音声素片の、コスト悪化値の平均値であることも好ましい。
【００１５】
更に、本発明の音声合成装置における他の実施形態によれば、
素片選択手段は、音声素片の接続による合成音声波形の劣化度合いのみを考慮して一連の音声素片の選択を行うことも好ましい。
【００１６】
更に、本発明の音声合成装置における他の実施形態によれば、
コスト悪化値計算手段は、一連の試験合成目標情報それぞれに対応する１つ以上の音声素片を素片データベースから選択し、選択した音声素片を、一連の試験合成目標情報と同一順序に並べ、各音声素片を探索グラフのノードに対応させて、先頭及び末尾それぞれから動的計画法により、合成音声波形の劣化度合いを示すコスト計算を行うことで、前記基準とする音声素片系列と、前記基準とする音声素片系列と、前記ある音声素片を使用する条件の下での音声素片系列のコストを取得し、前記取得した各音声素片系列のコストに基づき、各試験合成目標情報について、素片データベースから選択した音声素片のコスト悪化値を求めることも好ましい。
【００１７】
本発明における音声合成方法によれば、
一連の試験合成目標情報に基づき、素片データベースから所定の基準で選択した音声素片系列を基準とし、ある試験合成目標情報に対してある音声素片を使用する条件の下、該所定の基準で選択した音声素片系列での合成音声波形の劣化度合いを示す、該試験合成目標情報に対する該音声素片のコスト悪化値を有するコスト悪化値データベースを用い、一連の入力合成目標情報から合成音声波形を出力する音声合成方法であって、入力合成目標情報それぞれについて、コスト悪化値データベースから１つ以上の試験合成目標情報を選択し、選択した試験合成目標情報に対応する音声素片から、コスト悪化値に基づき、入力合成目標情報に対する音声素片候補を選択するステップと、一連の入力合成目標情報に基づき、各入力合成目標情報に対する音声素片候補の中から、出力する合成音声波形に使用する一連の音声素片を選択するステップと、選択された一連の音声素片それぞれに対応する音声波形を接続して合成音声波形を生成するステップとを有することを特徴とする。
【００１８】
本発明におけるプログラムによれば、コンピュータを前記音声合成装置として機能させることを特徴とする。
【発明の効果】
【００１９】
あらかじめ試験合成目標情報に対する各音声素片のコスト悪化値を示すコスト悪化値データベースを作成しておき、コスト悪化値に基づき予備選択を行う。ここで、試験合成目標情報に対する音声素片のコスト悪化値とは、所定基準で選択した音声素片系列での合成音声波形を基準とし、該試験合成目標情報に対して該音声素片を使用するとの条件の下、同じ所定基準で選択した音声素片系列での合成音声波形の劣化度合いを示す値であり、音声素片の接続も考慮されたものである。つまり、予備選択の選択基準は、素片選択の選択基準と同様であり、予備選択の精度が高くなる。よって、予備選択及び素片選択の処理量を増やすことなく、効率よく高速に音声合成処理を行うことが可能となる。
【００２０】
更に、予備選択の精度が高くなるため、予備選択での候補数を減らしたとしても、高品質の音声を合成することができる。また、コスト悪化値を用いることで、音声素片の利用可能性についての評価値が得られることから、素片選択結果の頻度情報を用いた従来技術と異なり、コスト悪化値データベースの作成のために大量のテスト文を用いることなく高品質な音声合成を行うことができる。
【００２１】
あらかじめ、コスト悪化値データベースに含まれる試験合成目標情報をグループ化し、各グループに対する音声素片を選択しておくことで、音声合成時における予備選択手段の処理は、入力合成目標情報が属するグループの判定のみとなり予備選択の処理量を削減することができる。グループの作成及び判定については決定木を用いることができ、試験合成目標情報とは異なる入力合成目標情報が与えられても、類似の試験合成目標情報に対する結果を反映させた適当な結果を素早く返すことができる。
【００２２】
また、音声素片の接続により生じる合成音声波形の劣化の度合いのみを考慮して一連の音声素片の選択を行うことで音響特徴量パラメータを必要とするターゲットコスト計算を省略でき、音声合成の処理量を削減することが可能となる。更に、コスト悪化値の計算を、各音声素片を探索グラフのノードに対応させた上で、先頭からの動的計画法によるコスト計算と、末尾からの動的計画法によりコスト計算により求めることで、コスト悪化値データベースの作成処理負担を削減することができる。
【発明を実施するための最良の形態】
【００２３】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。ここで、“単位音声”とは、本発明による音声合成装置の合成処理単位であり、１つの単位音声に対して複数の音声素片（以後、単に“素片”と呼ぶ。）が対応する。なお、単位音声の具体例としては、音素、音節、単語がある。また、各素片は、１つの単位音声とのみ対応することとしても、複数の単位音声と対応することとしてもよい。更に、合成目標情報とは、合成する音声波形のために使用すべき素片を選択するための指標であり、素片と同様に単位音声と対応関係がある。つまり、合成目標情報が与えられると、単位音声を介して、与えられた合成目標情報に対応する複数の素片が求まり、音声合成装置は、ターゲットコスト及び接続コストを考慮して、対応する複数の素片から最適な素片を選択して音声合成を行う。
【００２４】
図１は、本発明による音声合成装置のブロック図である。図１によると、音声合成装置は、前処理部１と、コスト悪化値計算部２と、予備選択部３と、素片選択部４と、音声波形接続部５と、コスト悪化値データベース６と、素片情報データベース７と、音声波形データベース８とを備えている。
【００２５】
素片情報データベース７は、素片を特定する素片ＩＤと、その素片の、例えば、基本周波数、ＭＦＣＣ、持続時間といった各パラメータについてのデータベースであり、音声波形データベース８は、素片ＩＤで特定される素片の実際の波形についてのデータベースであり、素片情報データベース７及び音声波形データベース８で素片データベースを構成している。
【００２６】
前処理部１は、入力テキストを、形態素解析、構文解析、単語辞書の参照等により単位音声に分割し、解析によって得られた韻律情報等を付し、テキスト解析情報として出力する。その後、テキスト解析情報に、ＭＦＣＣや基本周波数等の音響特徴量パラメータを付して一連の合成目標情報として出力する。
【００２７】
コスト悪化値計算部２は、前処理部１に入力された入力テキストから生成された一連の合成目標情報に基づき、素片情報データベース７を用いて、合成目標情報ごとに、対応する素片のコスト悪化値を示すコスト悪化値データベース６を生成する。なお、コスト悪化値データベース６は、入力テキストとして１つ以上のテスト文を使用して音声合成処理の開始前に作成しておく。
【００２８】
以下、入力したテスト文が４つの単位音声により構成される場合を例にして、コスト悪化値計算部２によるコスト悪化値データベース６の作成について説明する。前処理部１は、入力テキスト文を４つの単位音声に分割し、単位音声ごとに合成目標情報を生成する。コスト悪化値計算部２は、前処理部１が生成した４つの合成目標情報それぞれに対応する複数の素片の素片情報を素片情報データベース７から取得する。本例においては、各合成目標情報それぞれについて、素片情報データベース７には４つの対応する素片が用意されているものとする。
【００２９】
図４は、コスト悪化値計算のための探索グラフを示す図であり、ノードｎ１１〜ｎ１４は、第１の合成目標情報に対応する４つ素片を、ノードｎ２１〜ｎ２４は、第２の合成目標情報に対応する４つの素片を、ノードｎ３１〜ｎ３４は、第３の合成目標情報に対応する４つの素片を、ノードｎ４１〜ｎ４４は、第４の合成目標情報に対応する４つの素片を表す。ここでは、探索グラフを、これらの先頭及び末尾に無音を示すノードＸ及びノードＹを付加して作成する。
【００３０】
ノード間を結ぶ線は接続コストに、各ノードはターゲットコストに対応し、あるノードから他のノードへコストは、使用した経路の各接続コストと通過したノードのターゲットコストを順次加算することにより求める。なお、ノードＸ及びノードＹに対応するターゲットコストは０である。ここで、ノードＸからノードＹに至る複数経路のうち、そのコストが最小となる最適経路を、ノードｎ１１、ｎ２２、ｎ３２、ｎ４３であるものとし、第２の合成目標情報に対し、ノードｎ２３を使用するという条件の下でのコストが最小となる経路が、ノードｎ１４、ｎ２３、ｎ３４、ｎ４３であるものとする。このとき、ノードｎ１１、ｎ２２、ｎ３２、ｎ４３の経路でのコストを基準としたときの、ノードｎ１４、ｎ２３、ｎ３４、ｎ４３の経路でのコストの悪化度合いが、第２の合成目標情報についてのノードｎ２３に対応する素片のコスト悪化値である。つまり、テスト文で与えられる一連の合成目標情報から、所定の基準により最適なものとして選択した素片の系列を基準とし、ある合成目標情報に対してある素片を使用するとの条件の下、同じ所定の基準で選択した素片の系列での合成音声波形の劣化度合いを示す指標が、その合成目標情報に対するその素片のコスト悪化値であり、以下の説明においては、最適経路のコストと、ある素片を使用するとの条件の下でのコストとの差をコスト悪化値として用いる。
【００３１】
本実施形態においては、図４の探索グラフを用い動的計画法に基づき簡易な方法にて各素片のコスト悪化値を計算する。具体的には、ｔ＝１である各ノードに対しては、ノードＸとの接続コストと、そのノードのターゲットコストを加算したものを、そのノードのノードＸからの最小コストとして記録する。次に、ｔ＝２である各ノードに対し、それぞれ４つある１時点前のノードへの経路の接続コストと、その経路に接続されている１時点前のノードに記録されている最小コストを加算し、１番小さいものと、そのノードのターゲットコストを加算したものを、そのノードのノードＸからの最小コストとして記録する。以後、ノードＹに至るまで、時刻順に上記処理を繰り返す。この操作によりノードＸから探索グラフ内の任意のノードｎに至る最小コストｃ（Ｘ→ｎ）が記録される。
【００３２】
続いて、ノードＹを先頭とし、時間軸逆向きに同様の処理を行う。ただし、ノードｎの値としてｃ´（Ｙ→ｎ）＝ｃ（Ｙ→ｎ）−ｃｔ（ｎ）を求める。ここで、ｃｔ（ｎ）は、ノードｎのターゲットコストである。グラフ上の任意のノードｎについて、複数あるノードＸ→ｎ→Ｙの経路のうち、その最小コストは、ｃ（Ｘ→ｎ）＋ｃ（ｎ→Ｙ）−ｃｔ（ｎ）で与えられるが、ｃ（ｎ→Ｙ）＝ｃ（Ｙ→ｎ）であるため、
ｃ（Ｘ→ｎ）＋ｃ（ｎ→Ｙ）−ｃｔ（ｎ）＝ｃ（Ｘ→ｎ）＋ｃ´（Ｙ→ｎ）
であり、コスト悪化値ｄ（ｎ）を、
ｄ（ｎ）＝ｃ（Ｘ→ｎ）＋ｃ´（Ｙ→ｎ）−ｃ（Ｘ→Ｙ）
として求めることができる。本実施形態においては、ノードＸからの処理を１回、ノードＹからの処理を１回行うことで、総てのノードについて、各素片のコスト悪化値を求めることができ、各ノードから個別にノードＹまでの最小コストを探索する必要はない。
【００３３】
図５は、コスト悪化値データベース６を示す図であり、ある単位音声に属する合成目標情報Ａ１、Ａ２、Ａ３、Ａ４、Ａ５・・・それぞれについて、同じ単位音声に属する素片と、そのコスト悪化値を示している。例えば、ある単位音声を音素“あ”とすると、合成目標情報Ａ１、Ａ２、Ａ３、Ａ４、Ａ５は、テスト文から得られた単位音声“あ”に属する合成目標情報であり、素片ａ１、ａ２、ａ３・・・は、用意されている素片のうち、単位音声“あ”に属する素片である。実際には、各単位音声について、例えば図示しないが、単位音声“い”に属する合成目標情報Ｂ１、Ｂ２・・・に対しても、同じく用意されている素片ｂ１、ｂ２・・・ごとのコスト悪化値がコスト悪化値データベース６には含まれている。
【００３４】
予備選択部３は、実際の音声合成処理において、前処理部１によって入力テキストから生成された、一連の合成目標情報それぞれについて、コスト悪化値データベース６を参照して、各合成目標情報に対する素片候補を選択し、選択した素片候補の素片ＩＤを出力する。
【００３５】
予備選択部３による素片候補の選択方法の例として、前処理部１から入力された合成目標情報と同一の合成目標情報がコスト悪化値データベース６に存在する場合は、その合成目標情報に対応する素片うち、コスト悪化値の小さいものから所定数の素片を、又は、コスト悪化値が所定値より小さな素片を選択し、同一の合成目標情報がコスト悪化値データベース６に存在しない場合は、コスト悪化値データベース６に存在する一番近い合成目標情報から同様に素片候補を選択する方法がある。
【００３６】
予備選択部３による素片候補の選択方法の他の例として、前処理部１から入力された合成目標情報に近い所定数の合成目標情報をコスト悪化値データベース６から選択し、選択した各合成目標情報に対応する素片のうち、同一素片のコスト悪化値の平均値を求め、平均値の小さいものから所定数の素片を、又は、平均値が所定値より小さな素片を選択する方法がある。更に、前処理部１から入力された合成目標情報と同一の合成目標情報がコスト悪化値データベース６にある場合は、その合成目標情報から、同一の合成目標情報がコスト悪化値データベース６に存在しない場合は、所定数の合成目標情報をコスト悪化値データベース６から選択してコスト悪化値の平均を計算する方法により選択しても良い。
【００３７】
素片選択部４は、予備選択部３が選択した素片候補について、素片情報データベース７からパラメータを取得し、前処理部１からの一連の合成目標情報に基づき、素片候補の中から最適な組合せとなる素片を選択し、選択した素片の素片ＩＤを出力する。
【００３８】
音声波形接続部５は、素片選択部４が出力した素片ＩＤに基づき音声波形データベース８から対応する素片の波形情報を取得し、波形を接続して合成した音声波形を出力する。
【００３９】
本発明による音声合成装置においては、あらかじめテスト文に基づき、合成目標情報ごとに、その合成目標情報に属する素片のコスト悪化値を求めておき、コスト悪化値に基づき予備選択を行う。コスト悪化値は素片を強制的に選択したときの合成音声波形の劣化度合い、つまり、ターゲットコスト及び接続コスト両方が含まれる指標である。よって、本発明における予備選択は、素片データベースに用意されている素片を、ターゲットコスト及び接続コスト両方が含まれる指標により絞りこむものであり、予備選択を行わず素片選択部４が総ての素片から素片選択を行うとした場合に選択される素片が、素片候補に含まれる可能性が高くなる。つまり、予備選択の精度が高くなる。素片選択部４は、そのような素片候補から素片選択を行うため、予備選択部３及び素片選択部４での処理量を増やすことなく、効率よく高速に音声合成処理を行うことが可能となる。
【００４０】
更に、予備選択の精度が高くなるため、予備選択での候補数を減らしたとしても、高品質の音声を合成することができる。また、コスト悪化値を用いることで、テスト文に含まれる単位音声に対応する総ての素片候補に対して、その利用可能性についての評価値が得られることから、素片選択結果の頻度情報を用いた従来技術と異なり、大量のテスト文を用いることなく高品質な音声合成を行うことができる。
【００４１】
続いて、本発明による音声合成装置の他の実施形態について説明する。本実施形態の音声合成装置全体のブロック図は、図１と同じであるが、本実施形態において予備選択部３は、図２に示すように、予備選択結果データベース生成部３１と、選択部３２とを備えている。
【００４２】
予備選択結果データベース生成部３１は、コスト悪化値データベース６から、あらかじめ予備選択結果データベース９を作成しておく。図７は、予備選択結果データベース９を示す図である。図７に示すように予備選択結果データベース９とは、コスト悪化値データベース６のうち、同一単位音声に属する合成目標情報を後述するように所定の方法でグループ化し、グループ化した各合成目標情報それぞれに対応する複数の素片から、同じく後述するように所定数の素片をあらかじめ選択したものである。例えば、図７において、合成目標情報Ａ１、Ａ２、Ａ３がグループ化され、このグループには、素片ａ１、ａ５、ａ９・・・ａ３８のｋ個の素片が選択されている。
【００４３】
選択部３２は、前処理部１からの各合成目標情報がどのグループに属するかを判定し、判定したグループに対応するｋ個の素片の素片ＩＤを、素片候補として出力する。以下に、予備選択結果データベース生成部３１による予備選択結果データベース９の作成について説明する。
【００４４】
予備選択結果データベース生成部３１は、合成目標情報のグループ化のため、単位音声ごとに決定木を作成する。図６は、予備選択結果データベース９の作成のための決定木を示す図である。まず、同一の単位音声に属する総ての合成目標情報の集合をＴとし、これを決定木の根ノードとする。この集合Ｔを、質問ｑ０により質問ｑ０を満たす合成目標情報の集合Ｔ１と、質問ｑ０を満たさない合成目標情報の集合Ｔ２に分割する。更に、集合Ｔ１を質問ｑ１により、集合Ｔ２を質問ｑ２により分割することを再帰的に繰り返して木構造を構築する。ここで、合成目標情報ｔに対して素片ｕを用いた場合のコスト悪化値をｄ（ｕ、ｔ）、ｔ１及びｎ１を集合Ｔ１に属する合成目標情報及びその数、ｔ２及びｎ２を集合Ｔ２に属する合成目標情報及びその数とする。ここで、総てのｕに対して、総てのｔ１に対するｄ（ｕ、ｔ１）の平均値を計算し、その値の小さい方からｋ１個を選びその平均値をｍ１とする。同様に、総てのｕに対して、総てのｔ２に対するｄ（ｕ、ｔ２）の平均値を計算し、その値の小さい方からｋ２個を選びその平均値をｍ２とする。なお、ｋ１及びｋ２は、適当に定めたある整数とする。このとき、各質問ｑは、下記の式（１）
（ｎ１×ｍ１＋ｎ２×ｍ２）／（ｎ１＋ｎ２） （１）
を最小とし、かつ、Ｙｅｓ又はＮｏのいずれかで決まるものとする。つまり、集合分割を繰り返すことで決定木を構築する。また、Ｙｅｓ又はＮｏのいずれかで決まる質問とは、合成目標情報に含まれる離散量については、“中心音素は母音である”、合成目標情報に含まれる連続量については、“素片の時間長が５０ｍｓ未満である”といったような質問を言う。これら質問については、複数のものをあらかじめ合成目標情報に含まれる情報を参照して経験的に作成しておく。
【００４５】
なお、木構造が大きくなってしまうことを避けるために、例えば、次の分割停止条件を設定しておく。
（Ａ）根ノードからの段数が所定値（例えば３０段）以上となるとき。
（Ｂ）分割後の評価値の差がある閾値未満となるとき。ただし、分割前の評価値は、総てのｔに対するｄ（ｕ、ｔ）の平均値を総てのｕに対して計算し、その値の小さい方からｋ個選んだときの、その平均値ｍとする。また、分割後の評価値は、上記式（１）で与えられる値である。
（Ｃ）ノードに含まれる合成目標情報の数、つまりグループ内の合成目標情報ｔの数ｎが一定数以下となるとき。
【００４６】
分割停止条件を満たさない葉ノードについては分割処理を行い、分割停止条件を満たす場合には分割を停止する。続いて、各葉ノードに含まれる合成目標情報の集合をＴｍ、Ｔｍに属する各合成目標情報をｔｍ、Ｔｍに属する合成目標情報がＮ個あるとき、ある素片ｕに対するコスト悪化値の平均値
【００４７】
【数１】
を総ての素片について計算し、平均値の小さい方からｋ´個を、この葉ノードに対する予備選択結果として予備選択結果データベース９を生成する。
【００４８】
選択部３２は、前処理部１から合成目標情報が与えられたとき、与えられた合成目標情報に対応する単位音声のための決定木に基づき、与えられた合成目標情報の素片候補を選択する。具体的には、与えられた合成目標情報が、決定木の各質問ｑを満たすか否かを判定して、根ノードから順に葉ノード方向に辿り、葉ノードに達した場合、その葉ノードに対応するｋ´個の素片の素片ＩＤを素片候補として出力する。
【００４９】
本実施形態によれば、予備選択による素片候補を予備選択結果データベース９から決定木を用いて高速に取得することが可能となる。また、テスト文には含まれなかった合成目標情報が与えられても、類似の合成目標情報に対する結果を反映させた適当な結果を素早く返すことができ、よって、大量のテスト文を用いることなく高速な選択処理を行うことができる。なお、準備した総ての質問について評価を行い、質問に対する回答の一致度の最も高い合成目標情報に対する予備選択結果を出力する等、決定木を用いる方法でなくとも良い。
【００５０】
最後に、前処理部１について説明する。図３は前処理部１のブロック図である。図３によると、前処理部１は、テキスト処理部１１と、合成パラメータ生成部１２とを備えている。テキスト処理部１１は、入力テキストを、形態素解析、構文解析、単語辞書の参照等により単位音声に分割し、解析により得られた韻律情報等を付してテキスト情報として出力する。合成パラメータ生成部１２は、テキスト情報に音響特徴量パラメータを付して出力する。
【００５１】
ここで、前処理部１が出力する合成目標情報は、テキスト処理部１１の出力とすることも可能であり、合成パラメータ生成部１２の出力とすることも可能である。前者の場合には、音響特徴量パラメータが合成目標情報に含まれないこととなるため、素片選択部４は、ターゲットコストの算出ができず、よって、総ての素片候補についてターゲットコストを０と看做して処理を行う。つまり、素片の接続による合成音声波形の劣化を示す接続コストのみが考慮された素片選択が行われる。予備選択部３が出力する素片候補の各素片と、合成目標情報との誤差は、比較的小さいと考えられることから、その後の選択処理において、ターゲットコストを総て０と看做した素片選択を行っても、最終的なコストは比較的に小さくなると考えることができる。一方、接続コストの計算には合成目標情報に含まれる音響特徴量パラメータを必要としない。よって、前者の構成においては、合成パラメータ生成部１２を省略することができ、かつ、素片選択部４においては音響特徴量パラメータを必要とするターゲットコスト計算を省略でき、音声合成の処理量を削減することが可能となる。
【００５２】
なお、上記説明において、ある素片のコスト悪化値を、最適経路のコストと、その素片を強制的に選択したときの最適コストとの差として説明したが、強制的に選択したときのコストの、最適経路のコストに対する比とする等の方法であっても良い。また、コスト悪化値計算部２によるコスト悪化値データベース６の生成において計算対象とする素片を、素片情報データベース７に含まれる全素片としても、ターゲットコストにより絞込みを行い、ターゲットコスト値の小さい所定数の素片としても良い。ターゲットコストによる絞込みを行う場合は、コスト悪化値データベース６の生成処理負担の削減ができ、全素片を対象とする場合は、より正確なコスト悪化値データベース６を生成することができる。なお、ターゲットコストによる絞込みを行う場合、絞込みにより計算対象とされなかった素片のコスト悪化値については、当該合成目標情報について計算された素片のうち、最悪の値、又は、それ以上の値を使用する。
【００５３】
また、本発明による音声合成装置は、コンピュータに読み込まれることにより、そのコンピュータに図１、２、３に示す各機能ブロックの動作を行わせるプログラムにより実現することができる。
【図面の簡単な説明】
【００５４】
【図１】本発明による音声合成装置のブロック図である。
【図２】予備選択部のブロック図である。
【図３】前処理部のブロック図である。
【図４】コスト悪化値データベースの作成の説明図である。
【図５】コスト悪化値データベースを示す図である。
【図６】予備選択結果データベース作成のための決定木を示す図である。
【図７】予備選択結果データベースを示す図である。
【符号の説明】
【００５５】
１ 前処理部
１１ テキスト処理部
１２ 合成パラメータ生成部
２ コスト悪化値計算部
３ 予備選択部
３１ 予備選択結果データベース生成部
３２ 選択部
４ 素片選択部
５ 音声波形接続部
６ コスト悪化値データベース
７ 素片情報データベース
８ 音声波形データベース
９ 予備選択結果データベース
【技術分野】
【０００１】
本発明は、データベース化した音声素片から最適な音声素片を選択し、選択した音声素片を接続することで音声を合成する音声合成装置、方法及びプログラムに関する。
【背景技術】
【０００２】
音声合成技術の１つである素片接続型音声合成は、多数の音声素片をあらかじめデータベース化しておき、合成時には指定された合成目標情報の各パラメータに近く、かつ、前後の音声素片との接続関係の良好な音声素片を、素片データベースから選択して合成を行う方式である。各音声素片には、音素ラベル、音響パラメータ、音声コーパス内での出現環境等のパラメータが付されている。
【０００３】
素片接続型音声合成においては、指定された合成目標情報に基づき、使用する音声素片の選択（以後、素片選択と呼ぶ。）を行うが、この素片選択は、コストと呼ぶ歪み尺度、つまり、選択した音声素片により合成される音声波形の、目標とする合成音声波形からの劣化度合いを示す指標に基づき行われる。コストは、通常、合成目標情報と音声素片との誤差を示すターゲットコストと、音声素片間の不連続の程度を示す接続コストに分けることができ、素片選択は全体のコストを最小とするように行われる。
【０００４】
より自然性の高い合成音声を得るためには、大規模な素片データベースを使用する必要があるが、素片データベースの大規模化に伴い、考慮すべき音声素片の組合せ数が膨大なものとなり素片選択処理が困難になるという問題が発生する。この問題を解決するため、ターゲットコスト及び接続コストの両方を考慮した最終的な音声素片の選択を行う前に、ターゲットコストに基づき素片データベースに用意されている音声素片の絞込みを行う予備選択を行う構成が提案されている。
【０００５】
しかしながら、近年、素片データベースはますます大規模なものとなり、この結果、素片選択の処理量を減らすために行われる予備選択の処理量が無視できないものとなっている。このため、特許文献１には、予備選択を多段で行うことにより予備選択処理量を削減する構成が記載されている。特許文献１によると、予備選択に使用するターゲットコストを、基本周波数、持続時間、ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）といったサブコストに分割し、順次サブコストによる絞込みを行うことで全体の計算回数を削減している。
【０００６】
また、特許文献２には、テスト文による音声合成により各音声素片の選択頻度を調べ、選択頻度が少ない音声素片を素片データベースから削除することで選択処理の処理量を削減する構成が記載されている。
【０００７】
【特許文献１】特開２００５‐２６５８９５号公報
【特許文献２】特開２００４‐３７６０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の構成では、音声合成時に、総ての音声素片候補について評価を行わなければならない点で従来技術と同じであり、この構成による処理量の削減には限界がある。更に、予備選択と素片選択においては異なる選択基準を用いているため、予備選択で選択される音声素片候補が、素片選択での選択基準において最も好ましいものとは限らないという問題がある。この問題に対処するためには、予備選択で選択する音声素片候補数をできるだけ多くする必要があるが、予備選択での選択数を多くすると、素片選択の処理量が増大するという問題が発生する。
【０００９】
また、特許文献２に記載の構成では、テスト文が少ない場合、たまたまテスト文に含まれていなかった、使用頻度の高い音声素片が素片データベースから削除されてしまうことや、たまたまテスト文に含まれていた、使用頻度の低い音声素片が素片データベースに残ってしまうという問題が発生し得る。この問題に対処するためには、素片データベースと比較して、大量のテスト文を用意する必要があるが、素片データベースの大規模化に伴いテスト文を用意することが困難となる。
【００１０】
したがって、本発明は、音声合成装置における処理量、特に、予備選択における処理量を削減し、高速に音声合成処理を行う音声合成装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明における音声合成装置によれば、
一連の入力合成目標情報に基づき、素片データベースに用意されている複数の音声素片から一連の音声素片を選択し、選択した一連の音声素片それぞれに対応する音声波形を接続して合成音声波形を出力する音声合成装置であって、一連の試験合成目標情報に基づき、素片データベースから所定の基準で選択した音声素片系列を基準とし、ある試験合成目標情報に対してある音声素片を使用する条件の下、該所定の基準で選択した音声素片系列での合成音声波形の劣化度合いを示す、該試験合成目標情報に対する該音声素片のコスト悪化値を求め、各試験合成目標情報について、対応する音声素片のコスト悪化値を示すコスト悪化値データベースを生成するコスト悪化値計算手段と、入力合成目標情報それぞれについて、コスト悪化値データベースから１つ以上の試験合成目標情報を選択し、選択した試験合成目標情報に対応する音声素片から、コスト悪化値に基づき、入力合成目標情報に対する音声素片候補を選択する予備選択手段と、一連の入力合成目標情報に基づき、予備選択手段が選択した各入力合成目標情報に対する音声素片候補の中から、出力する合成音声波形に使用する一連の音声素片を選択する素片選択手段とを備えていることを特徴とする。
【００１２】
本発明の音声合成装置における他の実施形態によれば、
予備選択手段は、コスト悪化値データベースに含まれる試験合成目標情報をグループ化し、グループ化した試験合成目標情報それぞれに対応する音声素片から、コスト悪化値に基づき複数の音声素片を選択し、選択した音声素片をグループと対応させて記録する予備選択結果データベース生成手段と、各入力合成目標情報が属するグループを判定し、判定したグループに対応する音声素片を、該入力合成目標情報に対する音声素片候補として選択する選択手段とを備えていることも好ましい。
【００１３】
また、本発明の音声合成装置における他の実施形態によれば、
予備選択結果データベース生成手段は、同一単位音声に属する総ての試験合成目標情報を根ノードとし、該根ノードを順次分割することにより生成した決定木の葉ノードに含まれる試験合成目標情報を１つのグループとしてグループ化し、選択手段は、決定木に従い入力合成目標情報が属するグループを決定することも好ましい。
【００１４】
更に、本発明の音声合成装置における他の実施形態によれば、
予備選択結果データベース生成手段は、評価値を最小にする集合分割を繰り返すことにより決定木の生成を行い、評価値は、分割により生成した各葉ノードの評価値を、各葉ノードに含まれる試験合成目標情報の数に基づき重み付けした値の和であり、葉ノードの評価値は、該葉ノードに含まれる各試験合成目標情報に対応する音声素片から、コスト悪化値に基づき選択した所定数の音声素片の、コスト悪化値の平均値であることも好ましい。
【００１５】
更に、本発明の音声合成装置における他の実施形態によれば、
素片選択手段は、音声素片の接続による合成音声波形の劣化度合いのみを考慮して一連の音声素片の選択を行うことも好ましい。
【００１６】
更に、本発明の音声合成装置における他の実施形態によれば、
コスト悪化値計算手段は、一連の試験合成目標情報それぞれに対応する１つ以上の音声素片を素片データベースから選択し、選択した音声素片を、一連の試験合成目標情報と同一順序に並べ、各音声素片を探索グラフのノードに対応させて、先頭及び末尾それぞれから動的計画法により、合成音声波形の劣化度合いを示すコスト計算を行うことで、前記基準とする音声素片系列と、前記基準とする音声素片系列と、前記ある音声素片を使用する条件の下での音声素片系列のコストを取得し、前記取得した各音声素片系列のコストに基づき、各試験合成目標情報について、素片データベースから選択した音声素片のコスト悪化値を求めることも好ましい。
【００１７】
本発明における音声合成方法によれば、
一連の試験合成目標情報に基づき、素片データベースから所定の基準で選択した音声素片系列を基準とし、ある試験合成目標情報に対してある音声素片を使用する条件の下、該所定の基準で選択した音声素片系列での合成音声波形の劣化度合いを示す、該試験合成目標情報に対する該音声素片のコスト悪化値を有するコスト悪化値データベースを用い、一連の入力合成目標情報から合成音声波形を出力する音声合成方法であって、入力合成目標情報それぞれについて、コスト悪化値データベースから１つ以上の試験合成目標情報を選択し、選択した試験合成目標情報に対応する音声素片から、コスト悪化値に基づき、入力合成目標情報に対する音声素片候補を選択するステップと、一連の入力合成目標情報に基づき、各入力合成目標情報に対する音声素片候補の中から、出力する合成音声波形に使用する一連の音声素片を選択するステップと、選択された一連の音声素片それぞれに対応する音声波形を接続して合成音声波形を生成するステップとを有することを特徴とする。
【００１８】
本発明におけるプログラムによれば、コンピュータを前記音声合成装置として機能させることを特徴とする。
【発明の効果】
【００１９】
あらかじめ試験合成目標情報に対する各音声素片のコスト悪化値を示すコスト悪化値データベースを作成しておき、コスト悪化値に基づき予備選択を行う。ここで、試験合成目標情報に対する音声素片のコスト悪化値とは、所定基準で選択した音声素片系列での合成音声波形を基準とし、該試験合成目標情報に対して該音声素片を使用するとの条件の下、同じ所定基準で選択した音声素片系列での合成音声波形の劣化度合いを示す値であり、音声素片の接続も考慮されたものである。つまり、予備選択の選択基準は、素片選択の選択基準と同様であり、予備選択の精度が高くなる。よって、予備選択及び素片選択の処理量を増やすことなく、効率よく高速に音声合成処理を行うことが可能となる。
【００２０】
更に、予備選択の精度が高くなるため、予備選択での候補数を減らしたとしても、高品質の音声を合成することができる。また、コスト悪化値を用いることで、音声素片の利用可能性についての評価値が得られることから、素片選択結果の頻度情報を用いた従来技術と異なり、コスト悪化値データベースの作成のために大量のテスト文を用いることなく高品質な音声合成を行うことができる。
【００２１】
あらかじめ、コスト悪化値データベースに含まれる試験合成目標情報をグループ化し、各グループに対する音声素片を選択しておくことで、音声合成時における予備選択手段の処理は、入力合成目標情報が属するグループの判定のみとなり予備選択の処理量を削減することができる。グループの作成及び判定については決定木を用いることができ、試験合成目標情報とは異なる入力合成目標情報が与えられても、類似の試験合成目標情報に対する結果を反映させた適当な結果を素早く返すことができる。
【００２２】
また、音声素片の接続により生じる合成音声波形の劣化の度合いのみを考慮して一連の音声素片の選択を行うことで音響特徴量パラメータを必要とするターゲットコスト計算を省略でき、音声合成の処理量を削減することが可能となる。更に、コスト悪化値の計算を、各音声素片を探索グラフのノードに対応させた上で、先頭からの動的計画法によるコスト計算と、末尾からの動的計画法によりコスト計算により求めることで、コスト悪化値データベースの作成処理負担を削減することができる。
【発明を実施するための最良の形態】
【００２３】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。ここで、“単位音声”とは、本発明による音声合成装置の合成処理単位であり、１つの単位音声に対して複数の音声素片（以後、単に“素片”と呼ぶ。）が対応する。なお、単位音声の具体例としては、音素、音節、単語がある。また、各素片は、１つの単位音声とのみ対応することとしても、複数の単位音声と対応することとしてもよい。更に、合成目標情報とは、合成する音声波形のために使用すべき素片を選択するための指標であり、素片と同様に単位音声と対応関係がある。つまり、合成目標情報が与えられると、単位音声を介して、与えられた合成目標情報に対応する複数の素片が求まり、音声合成装置は、ターゲットコスト及び接続コストを考慮して、対応する複数の素片から最適な素片を選択して音声合成を行う。
【００２４】
図１は、本発明による音声合成装置のブロック図である。図１によると、音声合成装置は、前処理部１と、コスト悪化値計算部２と、予備選択部３と、素片選択部４と、音声波形接続部５と、コスト悪化値データベース６と、素片情報データベース７と、音声波形データベース８とを備えている。
【００２５】
素片情報データベース７は、素片を特定する素片ＩＤと、その素片の、例えば、基本周波数、ＭＦＣＣ、持続時間といった各パラメータについてのデータベースであり、音声波形データベース８は、素片ＩＤで特定される素片の実際の波形についてのデータベースであり、素片情報データベース７及び音声波形データベース８で素片データベースを構成している。
【００２６】
前処理部１は、入力テキストを、形態素解析、構文解析、単語辞書の参照等により単位音声に分割し、解析によって得られた韻律情報等を付し、テキスト解析情報として出力する。その後、テキスト解析情報に、ＭＦＣＣや基本周波数等の音響特徴量パラメータを付して一連の合成目標情報として出力する。
【００２７】
コスト悪化値計算部２は、前処理部１に入力された入力テキストから生成された一連の合成目標情報に基づき、素片情報データベース７を用いて、合成目標情報ごとに、対応する素片のコスト悪化値を示すコスト悪化値データベース６を生成する。なお、コスト悪化値データベース６は、入力テキストとして１つ以上のテスト文を使用して音声合成処理の開始前に作成しておく。
【００２８】
以下、入力したテスト文が４つの単位音声により構成される場合を例にして、コスト悪化値計算部２によるコスト悪化値データベース６の作成について説明する。前処理部１は、入力テキスト文を４つの単位音声に分割し、単位音声ごとに合成目標情報を生成する。コスト悪化値計算部２は、前処理部１が生成した４つの合成目標情報それぞれに対応する複数の素片の素片情報を素片情報データベース７から取得する。本例においては、各合成目標情報それぞれについて、素片情報データベース７には４つの対応する素片が用意されているものとする。
【００２９】
図４は、コスト悪化値計算のための探索グラフを示す図であり、ノードｎ１１〜ｎ１４は、第１の合成目標情報に対応する４つ素片を、ノードｎ２１〜ｎ２４は、第２の合成目標情報に対応する４つの素片を、ノードｎ３１〜ｎ３４は、第３の合成目標情報に対応する４つの素片を、ノードｎ４１〜ｎ４４は、第４の合成目標情報に対応する４つの素片を表す。ここでは、探索グラフを、これらの先頭及び末尾に無音を示すノードＸ及びノードＹを付加して作成する。
【００３０】
ノード間を結ぶ線は接続コストに、各ノードはターゲットコストに対応し、あるノードから他のノードへコストは、使用した経路の各接続コストと通過したノードのターゲットコストを順次加算することにより求める。なお、ノードＸ及びノードＹに対応するターゲットコストは０である。ここで、ノードＸからノードＹに至る複数経路のうち、そのコストが最小となる最適経路を、ノードｎ１１、ｎ２２、ｎ３２、ｎ４３であるものとし、第２の合成目標情報に対し、ノードｎ２３を使用するという条件の下でのコストが最小となる経路が、ノードｎ１４、ｎ２３、ｎ３４、ｎ４３であるものとする。このとき、ノードｎ１１、ｎ２２、ｎ３２、ｎ４３の経路でのコストを基準としたときの、ノードｎ１４、ｎ２３、ｎ３４、ｎ４３の経路でのコストの悪化度合いが、第２の合成目標情報についてのノードｎ２３に対応する素片のコスト悪化値である。つまり、テスト文で与えられる一連の合成目標情報から、所定の基準により最適なものとして選択した素片の系列を基準とし、ある合成目標情報に対してある素片を使用するとの条件の下、同じ所定の基準で選択した素片の系列での合成音声波形の劣化度合いを示す指標が、その合成目標情報に対するその素片のコスト悪化値であり、以下の説明においては、最適経路のコストと、ある素片を使用するとの条件の下でのコストとの差をコスト悪化値として用いる。
【００３１】
本実施形態においては、図４の探索グラフを用い動的計画法に基づき簡易な方法にて各素片のコスト悪化値を計算する。具体的には、ｔ＝１である各ノードに対しては、ノードＸとの接続コストと、そのノードのターゲットコストを加算したものを、そのノードのノードＸからの最小コストとして記録する。次に、ｔ＝２である各ノードに対し、それぞれ４つある１時点前のノードへの経路の接続コストと、その経路に接続されている１時点前のノードに記録されている最小コストを加算し、１番小さいものと、そのノードのターゲットコストを加算したものを、そのノードのノードＸからの最小コストとして記録する。以後、ノードＹに至るまで、時刻順に上記処理を繰り返す。この操作によりノードＸから探索グラフ内の任意のノードｎに至る最小コストｃ（Ｘ→ｎ）が記録される。
【００３２】
続いて、ノードＹを先頭とし、時間軸逆向きに同様の処理を行う。ただし、ノードｎの値としてｃ´（Ｙ→ｎ）＝ｃ（Ｙ→ｎ）−ｃｔ（ｎ）を求める。ここで、ｃｔ（ｎ）は、ノードｎのターゲットコストである。グラフ上の任意のノードｎについて、複数あるノードＸ→ｎ→Ｙの経路のうち、その最小コストは、ｃ（Ｘ→ｎ）＋ｃ（ｎ→Ｙ）−ｃｔ（ｎ）で与えられるが、ｃ（ｎ→Ｙ）＝ｃ（Ｙ→ｎ）であるため、
ｃ（Ｘ→ｎ）＋ｃ（ｎ→Ｙ）−ｃｔ（ｎ）＝ｃ（Ｘ→ｎ）＋ｃ´（Ｙ→ｎ）
であり、コスト悪化値ｄ（ｎ）を、
ｄ（ｎ）＝ｃ（Ｘ→ｎ）＋ｃ´（Ｙ→ｎ）−ｃ（Ｘ→Ｙ）
として求めることができる。本実施形態においては、ノードＸからの処理を１回、ノードＹからの処理を１回行うことで、総てのノードについて、各素片のコスト悪化値を求めることができ、各ノードから個別にノードＹまでの最小コストを探索する必要はない。
【００３３】
図５は、コスト悪化値データベース６を示す図であり、ある単位音声に属する合成目標情報Ａ１、Ａ２、Ａ３、Ａ４、Ａ５・・・それぞれについて、同じ単位音声に属する素片と、そのコスト悪化値を示している。例えば、ある単位音声を音素“あ”とすると、合成目標情報Ａ１、Ａ２、Ａ３、Ａ４、Ａ５は、テスト文から得られた単位音声“あ”に属する合成目標情報であり、素片ａ１、ａ２、ａ３・・・は、用意されている素片のうち、単位音声“あ”に属する素片である。実際には、各単位音声について、例えば図示しないが、単位音声“い”に属する合成目標情報Ｂ１、Ｂ２・・・に対しても、同じく用意されている素片ｂ１、ｂ２・・・ごとのコスト悪化値がコスト悪化値データベース６には含まれている。
【００３４】
予備選択部３は、実際の音声合成処理において、前処理部１によって入力テキストから生成された、一連の合成目標情報それぞれについて、コスト悪化値データベース６を参照して、各合成目標情報に対する素片候補を選択し、選択した素片候補の素片ＩＤを出力する。
【００３５】
予備選択部３による素片候補の選択方法の例として、前処理部１から入力された合成目標情報と同一の合成目標情報がコスト悪化値データベース６に存在する場合は、その合成目標情報に対応する素片うち、コスト悪化値の小さいものから所定数の素片を、又は、コスト悪化値が所定値より小さな素片を選択し、同一の合成目標情報がコスト悪化値データベース６に存在しない場合は、コスト悪化値データベース６に存在する一番近い合成目標情報から同様に素片候補を選択する方法がある。
【００３６】
予備選択部３による素片候補の選択方法の他の例として、前処理部１から入力された合成目標情報に近い所定数の合成目標情報をコスト悪化値データベース６から選択し、選択した各合成目標情報に対応する素片のうち、同一素片のコスト悪化値の平均値を求め、平均値の小さいものから所定数の素片を、又は、平均値が所定値より小さな素片を選択する方法がある。更に、前処理部１から入力された合成目標情報と同一の合成目標情報がコスト悪化値データベース６にある場合は、その合成目標情報から、同一の合成目標情報がコスト悪化値データベース６に存在しない場合は、所定数の合成目標情報をコスト悪化値データベース６から選択してコスト悪化値の平均を計算する方法により選択しても良い。
【００３７】
素片選択部４は、予備選択部３が選択した素片候補について、素片情報データベース７からパラメータを取得し、前処理部１からの一連の合成目標情報に基づき、素片候補の中から最適な組合せとなる素片を選択し、選択した素片の素片ＩＤを出力する。
【００３８】
音声波形接続部５は、素片選択部４が出力した素片ＩＤに基づき音声波形データベース８から対応する素片の波形情報を取得し、波形を接続して合成した音声波形を出力する。
【００３９】
本発明による音声合成装置においては、あらかじめテスト文に基づき、合成目標情報ごとに、その合成目標情報に属する素片のコスト悪化値を求めておき、コスト悪化値に基づき予備選択を行う。コスト悪化値は素片を強制的に選択したときの合成音声波形の劣化度合い、つまり、ターゲットコスト及び接続コスト両方が含まれる指標である。よって、本発明における予備選択は、素片データベースに用意されている素片を、ターゲットコスト及び接続コスト両方が含まれる指標により絞りこむものであり、予備選択を行わず素片選択部４が総ての素片から素片選択を行うとした場合に選択される素片が、素片候補に含まれる可能性が高くなる。つまり、予備選択の精度が高くなる。素片選択部４は、そのような素片候補から素片選択を行うため、予備選択部３及び素片選択部４での処理量を増やすことなく、効率よく高速に音声合成処理を行うことが可能となる。
【００４０】
更に、予備選択の精度が高くなるため、予備選択での候補数を減らしたとしても、高品質の音声を合成することができる。また、コスト悪化値を用いることで、テスト文に含まれる単位音声に対応する総ての素片候補に対して、その利用可能性についての評価値が得られることから、素片選択結果の頻度情報を用いた従来技術と異なり、大量のテスト文を用いることなく高品質な音声合成を行うことができる。
【００４１】
続いて、本発明による音声合成装置の他の実施形態について説明する。本実施形態の音声合成装置全体のブロック図は、図１と同じであるが、本実施形態において予備選択部３は、図２に示すように、予備選択結果データベース生成部３１と、選択部３２とを備えている。
【００４２】
予備選択結果データベース生成部３１は、コスト悪化値データベース６から、あらかじめ予備選択結果データベース９を作成しておく。図７は、予備選択結果データベース９を示す図である。図７に示すように予備選択結果データベース９とは、コスト悪化値データベース６のうち、同一単位音声に属する合成目標情報を後述するように所定の方法でグループ化し、グループ化した各合成目標情報それぞれに対応する複数の素片から、同じく後述するように所定数の素片をあらかじめ選択したものである。例えば、図７において、合成目標情報Ａ１、Ａ２、Ａ３がグループ化され、このグループには、素片ａ１、ａ５、ａ９・・・ａ３８のｋ個の素片が選択されている。
【００４３】
選択部３２は、前処理部１からの各合成目標情報がどのグループに属するかを判定し、判定したグループに対応するｋ個の素片の素片ＩＤを、素片候補として出力する。以下に、予備選択結果データベース生成部３１による予備選択結果データベース９の作成について説明する。
【００４４】
予備選択結果データベース生成部３１は、合成目標情報のグループ化のため、単位音声ごとに決定木を作成する。図６は、予備選択結果データベース９の作成のための決定木を示す図である。まず、同一の単位音声に属する総ての合成目標情報の集合をＴとし、これを決定木の根ノードとする。この集合Ｔを、質問ｑ０により質問ｑ０を満たす合成目標情報の集合Ｔ１と、質問ｑ０を満たさない合成目標情報の集合Ｔ２に分割する。更に、集合Ｔ１を質問ｑ１により、集合Ｔ２を質問ｑ２により分割することを再帰的に繰り返して木構造を構築する。ここで、合成目標情報ｔに対して素片ｕを用いた場合のコスト悪化値をｄ（ｕ、ｔ）、ｔ１及びｎ１を集合Ｔ１に属する合成目標情報及びその数、ｔ２及びｎ２を集合Ｔ２に属する合成目標情報及びその数とする。ここで、総てのｕに対して、総てのｔ１に対するｄ（ｕ、ｔ１）の平均値を計算し、その値の小さい方からｋ１個を選びその平均値をｍ１とする。同様に、総てのｕに対して、総てのｔ２に対するｄ（ｕ、ｔ２）の平均値を計算し、その値の小さい方からｋ２個を選びその平均値をｍ２とする。なお、ｋ１及びｋ２は、適当に定めたある整数とする。このとき、各質問ｑは、下記の式（１）
（ｎ１×ｍ１＋ｎ２×ｍ２）／（ｎ１＋ｎ２） （１）
を最小とし、かつ、Ｙｅｓ又はＮｏのいずれかで決まるものとする。つまり、集合分割を繰り返すことで決定木を構築する。また、Ｙｅｓ又はＮｏのいずれかで決まる質問とは、合成目標情報に含まれる離散量については、“中心音素は母音である”、合成目標情報に含まれる連続量については、“素片の時間長が５０ｍｓ未満である”といったような質問を言う。これら質問については、複数のものをあらかじめ合成目標情報に含まれる情報を参照して経験的に作成しておく。
【００４５】
なお、木構造が大きくなってしまうことを避けるために、例えば、次の分割停止条件を設定しておく。
（Ａ）根ノードからの段数が所定値（例えば３０段）以上となるとき。
（Ｂ）分割後の評価値の差がある閾値未満となるとき。ただし、分割前の評価値は、総てのｔに対するｄ（ｕ、ｔ）の平均値を総てのｕに対して計算し、その値の小さい方からｋ個選んだときの、その平均値ｍとする。また、分割後の評価値は、上記式（１）で与えられる値である。
（Ｃ）ノードに含まれる合成目標情報の数、つまりグループ内の合成目標情報ｔの数ｎが一定数以下となるとき。
【００４６】
分割停止条件を満たさない葉ノードについては分割処理を行い、分割停止条件を満たす場合には分割を停止する。続いて、各葉ノードに含まれる合成目標情報の集合をＴｍ、Ｔｍに属する各合成目標情報をｔｍ、Ｔｍに属する合成目標情報がＮ個あるとき、ある素片ｕに対するコスト悪化値の平均値
【００４７】
【数１】
を総ての素片について計算し、平均値の小さい方からｋ´個を、この葉ノードに対する予備選択結果として予備選択結果データベース９を生成する。
【００４８】
選択部３２は、前処理部１から合成目標情報が与えられたとき、与えられた合成目標情報に対応する単位音声のための決定木に基づき、与えられた合成目標情報の素片候補を選択する。具体的には、与えられた合成目標情報が、決定木の各質問ｑを満たすか否かを判定して、根ノードから順に葉ノード方向に辿り、葉ノードに達した場合、その葉ノードに対応するｋ´個の素片の素片ＩＤを素片候補として出力する。
【００４９】
本実施形態によれば、予備選択による素片候補を予備選択結果データベース９から決定木を用いて高速に取得することが可能となる。また、テスト文には含まれなかった合成目標情報が与えられても、類似の合成目標情報に対する結果を反映させた適当な結果を素早く返すことができ、よって、大量のテスト文を用いることなく高速な選択処理を行うことができる。なお、準備した総ての質問について評価を行い、質問に対する回答の一致度の最も高い合成目標情報に対する予備選択結果を出力する等、決定木を用いる方法でなくとも良い。
【００５０】
最後に、前処理部１について説明する。図３は前処理部１のブロック図である。図３によると、前処理部１は、テキスト処理部１１と、合成パラメータ生成部１２とを備えている。テキスト処理部１１は、入力テキストを、形態素解析、構文解析、単語辞書の参照等により単位音声に分割し、解析により得られた韻律情報等を付してテキスト情報として出力する。合成パラメータ生成部１２は、テキスト情報に音響特徴量パラメータを付して出力する。
【００５１】
ここで、前処理部１が出力する合成目標情報は、テキスト処理部１１の出力とすることも可能であり、合成パラメータ生成部１２の出力とすることも可能である。前者の場合には、音響特徴量パラメータが合成目標情報に含まれないこととなるため、素片選択部４は、ターゲットコストの算出ができず、よって、総ての素片候補についてターゲットコストを０と看做して処理を行う。つまり、素片の接続による合成音声波形の劣化を示す接続コストのみが考慮された素片選択が行われる。予備選択部３が出力する素片候補の各素片と、合成目標情報との誤差は、比較的小さいと考えられることから、その後の選択処理において、ターゲットコストを総て０と看做した素片選択を行っても、最終的なコストは比較的に小さくなると考えることができる。一方、接続コストの計算には合成目標情報に含まれる音響特徴量パラメータを必要としない。よって、前者の構成においては、合成パラメータ生成部１２を省略することができ、かつ、素片選択部４においては音響特徴量パラメータを必要とするターゲットコスト計算を省略でき、音声合成の処理量を削減することが可能となる。
【００５２】
なお、上記説明において、ある素片のコスト悪化値を、最適経路のコストと、その素片を強制的に選択したときの最適コストとの差として説明したが、強制的に選択したときのコストの、最適経路のコストに対する比とする等の方法であっても良い。また、コスト悪化値計算部２によるコスト悪化値データベース６の生成において計算対象とする素片を、素片情報データベース７に含まれる全素片としても、ターゲットコストにより絞込みを行い、ターゲットコスト値の小さい所定数の素片としても良い。ターゲットコストによる絞込みを行う場合は、コスト悪化値データベース６の生成処理負担の削減ができ、全素片を対象とする場合は、より正確なコスト悪化値データベース６を生成することができる。なお、ターゲットコストによる絞込みを行う場合、絞込みにより計算対象とされなかった素片のコスト悪化値については、当該合成目標情報について計算された素片のうち、最悪の値、又は、それ以上の値を使用する。
【００５３】
また、本発明による音声合成装置は、コンピュータに読み込まれることにより、そのコンピュータに図１、２、３に示す各機能ブロックの動作を行わせるプログラムにより実現することができる。
【図面の簡単な説明】
【００５４】
【図１】本発明による音声合成装置のブロック図である。
【図２】予備選択部のブロック図である。
【図３】前処理部のブロック図である。
【図４】コスト悪化値データベースの作成の説明図である。
【図５】コスト悪化値データベースを示す図である。
【図６】予備選択結果データベース作成のための決定木を示す図である。
【図７】予備選択結果データベースを示す図である。
【符号の説明】
【００５５】
１ 前処理部
１１ テキスト処理部
１２ 合成パラメータ生成部
２ コスト悪化値計算部
３ 予備選択部
３１ 予備選択結果データベース生成部
３２ 選択部
４ 素片選択部
５ 音声波形接続部
６ コスト悪化値データベース
７ 素片情報データベース
８ 音声波形データベース
９ 予備選択結果データベース
【特許請求の範囲】
【請求項１】
一連の入力合成目標情報に基づき、素片データベースに用意されている複数の音声素片から一連の音声素片を選択し、選択した一連の音声素片それぞれに対応する音声波形を接続して合成音声波形を出力する音声合成装置であって、
一連の試験合成目標情報に基づき、素片データベースから所定の基準で選択した音声素片系列を基準とし、ある試験合成目標情報に対してある音声素片を使用する条件の下、該所定の基準で選択した音声素片系列での合成音声波形の劣化度合いを示す、該試験合成目標情報に対する該音声素片のコスト悪化値を求め、各試験合成目標情報について、対応する音声素片のコスト悪化値を示すコスト悪化値データベースを生成するコスト悪化値計算手段と、
入力合成目標情報それぞれについて、コスト悪化値データベースから１つ以上の試験合成目標情報を選択し、選択した試験合成目標情報に対応する音声素片から、コスト悪化値に基づき、入力合成目標情報に対する音声素片候補を選択する予備選択手段と、
一連の入力合成目標情報に基づき、予備選択手段が選択した各入力合成目標情報に対する音声素片候補の中から、出力する合成音声波形に使用する一連の音声素片を選択する素片選択手段と、
を備えていることを特徴とする音声合成装置。
【請求項２】
予備選択手段は、
コスト悪化値データベースに含まれる試験合成目標情報をグループ化し、グループ化した試験合成目標情報それぞれに対応する音声素片から、コスト悪化値に基づき複数の音声素片を選択し、選択した音声素片をグループと対応させて記録する予備選択結果データベース生成手段と、
各入力合成目標情報が属するグループを判定し、判定したグループに対応する音声素片を、該入力合成目標情報に対する音声素片候補として選択する選択手段と、
を備えていることを特徴とする請求項１に記載の音声合成装置。
【請求項３】
予備選択結果データベース生成手段は、同一単位音声に属する総ての試験合成目標情報を根ノードとし、該根ノードを順次分割することにより生成した決定木の葉ノードに含まれる試験合成目標情報を１つのグループとしてグループ化し、
選択手段は、決定木に従い入力合成目標情報が属するグループを決定すること、
を特徴とする請求項２に記載の音声合成装置。
【請求項４】
予備選択結果データベース生成手段は、評価値を最小にする集合分割を繰り返すことにより決定木の生成を行い、
評価値は、分割により生成した各葉ノードの評価値を、各葉ノードに含まれる試験合成目標情報の数に基づき重み付けした値の和であり、
葉ノードの評価値は、該葉ノードに含まれる各試験合成目標情報に対応する音声素片から、コスト悪化値に基づき選択した所定数の音声素片の、コスト悪化値の平均値であること、
を特徴とする請求項３に記載の音声合成装置。
【請求項５】
素片選択手段は、音声素片の接続により生じる合成音声波形の劣化度合いのみを考慮して一連の音声素片の選択を行うこと、
を特徴とする請求項１から４のいずれか１項に記載の音声合成装置。
【請求項６】
コスト悪化値計算手段は、
一連の試験合成目標情報それぞれに対応する１つ以上の音声素片を素片データベースから選択し、
選択した音声素片を、一連の試験合成目標情報と同一順序に並べ、
各音声素片を探索グラフのノードに対応させて、先頭及び末尾それぞれから動的計画法により、合成音声波形の劣化度合いを示すコスト計算を行うことで、前記基準とする音声素片系列と、前記ある音声素片を使用する条件の下での音声素片系列のコストを取得し、
前記取得した各音声素片系列のコストに基づき、各試験合成目標情報について、素片データベースから選択した音声素片のコスト悪化値を求めること、
を特徴とする請求項１から５のいずれか１項に記載の音声合成装置。
【請求項７】
一連の試験合成目標情報に基づき、素片データベースから所定の基準で選択した音声素片系列を基準とし、ある試験合成目標情報に対してある音声素片を使用する条件の下、該所定の基準で選択した音声素片系列での合成音声波形の劣化度合いを示す、該試験合成目標情報に対する該音声素片のコスト悪化値を有するコスト悪化値データベースを用い、一連の入力合成目標情報から合成音声波形を出力する音声合成方法であって、
入力合成目標情報それぞれについて、コスト悪化値データベースから１つ以上の試験合成目標情報を選択し、選択した試験合成目標情報に対応する音声素片から、コスト悪化値に基づき、入力合成目標情報に対する音声素片候補を選択するステップと、
一連の入力合成目標情報に基づき、各入力合成目標情報に対する音声素片候補の中から、出力する合成音声波形に使用する一連の音声素片を選択するステップと、
選択された一連の音声素片それぞれに対応する音声波形を接続して合成音声波形を生成するステップと、
を有することを特徴とする音声合成方法。
【請求項８】
請求項１から６のいずれか１項に記載の音声合成装置としてコンピュータを機能させることを特徴とするプログラム。
【請求項１】
一連の入力合成目標情報に基づき、素片データベースに用意されている複数の音声素片から一連の音声素片を選択し、選択した一連の音声素片それぞれに対応する音声波形を接続して合成音声波形を出力する音声合成装置であって、
一連の試験合成目標情報に基づき、素片データベースから所定の基準で選択した音声素片系列を基準とし、ある試験合成目標情報に対してある音声素片を使用する条件の下、該所定の基準で選択した音声素片系列での合成音声波形の劣化度合いを示す、該試験合成目標情報に対する該音声素片のコスト悪化値を求め、各試験合成目標情報について、対応する音声素片のコスト悪化値を示すコスト悪化値データベースを生成するコスト悪化値計算手段と、
入力合成目標情報それぞれについて、コスト悪化値データベースから１つ以上の試験合成目標情報を選択し、選択した試験合成目標情報に対応する音声素片から、コスト悪化値に基づき、入力合成目標情報に対する音声素片候補を選択する予備選択手段と、
一連の入力合成目標情報に基づき、予備選択手段が選択した各入力合成目標情報に対する音声素片候補の中から、出力する合成音声波形に使用する一連の音声素片を選択する素片選択手段と、
を備えていることを特徴とする音声合成装置。
【請求項２】
予備選択手段は、
コスト悪化値データベースに含まれる試験合成目標情報をグループ化し、グループ化した試験合成目標情報それぞれに対応する音声素片から、コスト悪化値に基づき複数の音声素片を選択し、選択した音声素片をグループと対応させて記録する予備選択結果データベース生成手段と、
各入力合成目標情報が属するグループを判定し、判定したグループに対応する音声素片を、該入力合成目標情報に対する音声素片候補として選択する選択手段と、
を備えていることを特徴とする請求項１に記載の音声合成装置。
【請求項３】
予備選択結果データベース生成手段は、同一単位音声に属する総ての試験合成目標情報を根ノードとし、該根ノードを順次分割することにより生成した決定木の葉ノードに含まれる試験合成目標情報を１つのグループとしてグループ化し、
選択手段は、決定木に従い入力合成目標情報が属するグループを決定すること、
を特徴とする請求項２に記載の音声合成装置。
【請求項４】
予備選択結果データベース生成手段は、評価値を最小にする集合分割を繰り返すことにより決定木の生成を行い、
評価値は、分割により生成した各葉ノードの評価値を、各葉ノードに含まれる試験合成目標情報の数に基づき重み付けした値の和であり、
葉ノードの評価値は、該葉ノードに含まれる各試験合成目標情報に対応する音声素片から、コスト悪化値に基づき選択した所定数の音声素片の、コスト悪化値の平均値であること、
を特徴とする請求項３に記載の音声合成装置。
【請求項５】
素片選択手段は、音声素片の接続により生じる合成音声波形の劣化度合いのみを考慮して一連の音声素片の選択を行うこと、
を特徴とする請求項１から４のいずれか１項に記載の音声合成装置。
【請求項６】
コスト悪化値計算手段は、
一連の試験合成目標情報それぞれに対応する１つ以上の音声素片を素片データベースから選択し、
選択した音声素片を、一連の試験合成目標情報と同一順序に並べ、
各音声素片を探索グラフのノードに対応させて、先頭及び末尾それぞれから動的計画法により、合成音声波形の劣化度合いを示すコスト計算を行うことで、前記基準とする音声素片系列と、前記ある音声素片を使用する条件の下での音声素片系列のコストを取得し、
前記取得した各音声素片系列のコストに基づき、各試験合成目標情報について、素片データベースから選択した音声素片のコスト悪化値を求めること、
を特徴とする請求項１から５のいずれか１項に記載の音声合成装置。
【請求項７】
一連の試験合成目標情報に基づき、素片データベースから所定の基準で選択した音声素片系列を基準とし、ある試験合成目標情報に対してある音声素片を使用する条件の下、該所定の基準で選択した音声素片系列での合成音声波形の劣化度合いを示す、該試験合成目標情報に対する該音声素片のコスト悪化値を有するコスト悪化値データベースを用い、一連の入力合成目標情報から合成音声波形を出力する音声合成方法であって、
入力合成目標情報それぞれについて、コスト悪化値データベースから１つ以上の試験合成目標情報を選択し、選択した試験合成目標情報に対応する音声素片から、コスト悪化値に基づき、入力合成目標情報に対する音声素片候補を選択するステップと、
一連の入力合成目標情報に基づき、各入力合成目標情報に対する音声素片候補の中から、出力する合成音声波形に使用する一連の音声素片を選択するステップと、
選択された一連の音声素片それぞれに対応する音声波形を接続して合成音声波形を生成するステップと、
を有することを特徴とする音声合成方法。
【請求項８】
請求項１から６のいずれか１項に記載の音声合成装置としてコンピュータを機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２６４５２（Ｐ２００８−２６４５２Ａ）
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願番号】特願２００６−１９６６６２（Ｐ２００６−１９６６６２）
【出願日】平成１８年７月１９日（２００６．７．１９）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願日】平成１８年７月１９日（２００６．７．１９）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
[ Back to top ]