音声合成装置およびプログラム
【課題】目的話者の声質に違和感を与えない他話者の音声素片を利用し、高品質な合成音声を効率よく作成する音声合成装置を提供する。
【解決手段】音声合成装置が、複数の音声素片のそれぞれの特徴量に基づき、それら複数の音声素片の間の音素特徴量適合度を算出する音素特徴量適合度推定部と、前記表記データ記憶部から取得する表記データに基づいて、前記目的とする合成音声を構成する音声素片の候補を前記音声データベース記憶部の中から選択するとともに、選択された前記音声素片の候補のうち、他話者の音声素片と比較対象となる音声素片との間の音素特徴量適合度を前記音素特徴量適合度推定部に算出させ、当該音素特徴量適合度に基づいて当該音声素片の候補を採用するか否かを決定し、その結果採用された前記音声素片によって構成された前記合成音声を出力する音声素片選択部を具備する。
【解決手段】音声合成装置が、複数の音声素片のそれぞれの特徴量に基づき、それら複数の音声素片の間の音素特徴量適合度を算出する音素特徴量適合度推定部と、前記表記データ記憶部から取得する表記データに基づいて、前記目的とする合成音声を構成する音声素片の候補を前記音声データベース記憶部の中から選択するとともに、選択された前記音声素片の候補のうち、他話者の音声素片と比較対象となる音声素片との間の音素特徴量適合度を前記音素特徴量適合度推定部に算出させ、当該音素特徴量適合度に基づいて当該音声素片の候補を採用するか否かを決定し、その結果採用された前記音声素片によって構成された前記合成音声を出力する音声素片選択部を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成音声を生成する音声合成装置に関する。特に、本発明は、目的話者とは異なる他話者の音声を利用して合成音声を生成する音声合成装置に関する。
【背景技術】
【０００２】
目的話者の音声素片を用いて合成音声を構成する際に、目的話者の声質の適切な音声素片が存在しなければ、音声素片を変換して用いることが考えられる。特許文献１には声質の変換について記載されている。
【０００３】
しかしながら、変換量が大きいと、音声素片自体の音質が劣化してしまう場合がある。目的話者の音声素片のバリエーションが不足している場合に、他話者の音声素片を目的話者の声質に違和感を与えない範囲で、目的話者の音声素片と同等に利用できれば、音声素片の不足を補い、音声素片のバリエーションを拡大できることが考えられている。特許文献２には、他話者の音声素片のデータベースを用いて音声合成を行なう技術が記載されている。
【０００４】
一方、他話者の音声素片の利用する場合には、目的話者の音声素片による文章中に他話者の音声素片を存在させる形で合成音声を構成するため、全体として不自然な音声にならないようにすることが望ましい。非特許文献１には、そのような場合に、他話者の音声素片の時間長が短い場合、あるいは他話者の音声素片の部分の基本周波数が低く韻律として目立たない場合には、他話者であることを気付きにくく、全体として自然な音声が得られることが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１４８１７２号公報
【特許文献２】特開２００７−０２５０４２号公報
【非特許文献】
【０００６】
【非特許文献１】田高礼子，世木寛之，清山信正，都木徹，「別話者音素による部分置換音声の自然性とスペクトル特徴量について」，電子情報通信学会，電子情報通信学会技術研究報告．ＳＰ，音声，２００８年３月，ｖｏｌ．１０７，ｎｏ．５５１，ｐ．１２３−１２８
【発明の概要】
【発明が解決しようとする課題】
【０００７】
目的話者とは異なる他話者の音声素片を利用して合成音声を構成する場合に、利用する音声素片の特徴に応じて、全体としての音声における不自然さが目立つ場合と目立たない場合の両方が存在すると考えられる。しかしながら、総当り的なトライアンドエラーで他話者の音声素片を選択していては、合成音声を得るための効率が悪い。違和感なく利用できる他話者の音声素片を選択するにあたって、利用可能であるかどうかを所定の条件により効率よく選択できることが求められる。
【０００８】
本発明は上記のような課題を解決するために為されたものであり、主として目的話者の音声素片で構成する合成音声中に、目的話者の声質に違和感を与えない他話者の音声素片を利用し、高品質な合成音声を効率よく作成することのできる音声合成装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
［１］上記の課題を解決するため、本発明の一態様による音声合成装置は、目的話者および他話者の音声素片を記憶する音声データベース記憶部と、目的とする合成音声に対応する表記データを記憶する表記データ記憶部と、複数の音声素片のそれぞれの特徴量に基づき、それら複数の音声素片の間の音素特徴量適合度を算出する音素特徴量適合度推定部と、前記表記データ記憶部から取得する表記データに基づいて、前記目的とする合成音声を構成する音声素片の候補を前記音声データベース記憶部の中から選択するとともに、選択された前記音声素片の候補のうち、他話者の音声素片と比較対象となる音声素片との間の音素特徴量適合度を前記音素特徴量適合度推定部に算出させ、当該音素特徴量適合度に基づいて当該音声素片の候補を採用するか否かを決定し、その結果採用された前記音声素片によって構成された前記合成音声を出力する音声素片選択部と、を具備することを特徴とする。
この構成によれば、算出された音素特徴量適合度に基づき、適合度の高い音声素片を採用した合成音声が出力される。
【００１０】
［２］また、本発明の一態様による音声合成装置は、上記の音声合成装置において、前記音声素片の音素の種類と、前記合成音声における当該音声素片の前後の音声素片の音素の種類とに少なくとも基づいて音素環境適合度を算出する音素環境推定部を更に具備し、前記音声素片選択部は、前記音声素片の候補のうち、他話者の音声素片についての音素環境適合度を前記音素環境推定部に算出させ、当該音素環境適合度にも基づいて当該音声素片の候補を採用するか否かを決定する、ことを特徴とするものである。
この構成によれば、採用候補となる音声素片の前後音素環境を判別し、その判別結果に基づく音素環境適合度が計算される。そして、音素環境適合度の高い音声素片を採用した合成音声が出力される。
なお、音素環境推定部が、更に、音素種類判別に基づき音素環境適合度を算出するようにしてもよい。
また、音素環境推定部が、更に、韻律環境判別に基づき音素環境適合度を算出するようにしてもよい。
【００１１】
［３］また、本発明の一態様による音声合成装置は、上記の音声合成装置において、前記音素特徴量適合度推定部は、前記音声素片のスペクトル傾斜又はＦＦＴケプストラム係数の１次の係数又は声帯音源の特性を表わす特徴量のいずれかの値を前記特徴量とする、ことを特徴とするものである。
なお、ＦＦＴケプストラム係数とは、ＦＦＴ（高速フーリエ変換）を用いて求められたケプストラム係数である。この構成によれば、低周波数域から高周波数域にかけてのフォルマントの減衰度を特徴量として利用し、適合度の高い音声素片を採用した合成音声が出力される。
【００１２】
［４］また、本発明の一態様による音声合成装置は、上記の音声合成装置において、前記音素特徴量適合度推定部は、前記音声素片の音声スペクトルのうち所定の周波数帯域におけるスペクトル重心の周波数を前記特徴量とする、ことを特徴とするものである。
この構成によれば、所定の周波数低域（例えば低周波数帯域）におけるスペクトル重心を特徴量として利用し、適合度の高い音声素片を採用した合成音声が出力される。
【００１３】
［５］また、本発明の一態様による音声合成装置は、上記の音声合成装置において、前記音素特徴量適合度推定部は、前記音声素片のフォルマント周波数およびフォルマントバンド幅を前記特徴量とする、ことを特徴とするものである。
この構成によれば、フォルマント周波数およびフォルマントバンド幅を特徴量として利用し、適合度の高い音声素片を採用した合成音声が出力される。
【００１４】
［６］また、本発明の一態様による音声合成装置は、上記の音声合成装置において、他話者の音声素片の数の比率の設定値を記憶する他話者比率設定記憶部を更に具備し、前記音声素片選択部は、前記合成音声を構成する音声素片のうち他話者の音声素片の比率が前記他話者比率設定記憶部から読み出した前記設定値以下になるように、算出した前記音素環境適合度が上位の他話者の音声素片を採用するとともに、その他の他話者の音声素片については再選した目的話者の音声素片で置き換える、ことを特徴とするものである。
【００１５】
［７］また、本発明の一態様によるコンピュータプログラムは、目的話者および他話者の音声素片を記憶する音声データベース記憶部と、目的とする合成音声に対応する表記データを記憶する表記データ記憶部と、を具備するコンピュータに、複数の音声素片のそれぞれの特徴量に基づき、それら複数の音声素片の間の音素特徴量適合度を算出する音素特徴量適合度推定過程と、前記表記データ記憶部から取得する表記データに基づいて、前記目的とする合成音声を構成する音声素片の候補を前記音声データベース記憶部の中から選択するとともに、選択された前記音声素片の候補のうち、他話者の音声素片と比較対象となる音声素片との間の音素特徴量適合度を前記音素特徴量適合度推定過程で算出させ、当該音素特徴量適合度に基づいて当該音声素片の候補を採用するか否かを決定し、その結果採用された前記音声素片によって構成された前記合成音声を出力する音声素片選択過程と、の処理を実行させる。
【発明の効果】
【００１６】
本発明によれば、目的話者の音声素片の不足を補い、バリエーションを拡張するために、目的話者の音声素片と違和感なく利用できる他話者の音声素片を選択し利用することができ、合成音声の品質向上につながる。また、そのような他話者の音声素片の選択の処理の全部又は一部を自動的に行うことができ、他話者音声素片の選択の効率が上がる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態による音声合成装置の機能構成を示したブロック図である。
【図２】同実施形態による音声データベース（目的話者音声データベース，他話者音声データベース）の構成およびデータ例を示した概略図である。
【図３】同実施形態による合成音声記憶部の構成およびデータ例を示した概略図を示したブロック図である。
【図４】同実施形態による音素特徴量適合度推定部１１３が利用する特徴量のひとつであるスペクトル傾斜を説明するためのグラフである。
【図５】同実施形態による音素特徴量適合度推定部１１３が利用する特徴量のひとつである低域スペクトル重心を説明するためのグラフである。
【図６】同実施形態による音声合成装置全体の処理手順を示したフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態による音声合成装置の機能構成を示すブロック図である。図示するように、音声合成装置１０は、音声素片選択部１１０と、音素環境適合度推定部１１２と、音素特徴量適合度推定部１１３と、他話者音声素片箇所指定部１２０と、音声データベース記憶部１３０と、比較音素指定部１４０と、合成音声記憶部１５０と、テキスト記憶部１５５（表記データ記憶部）と、他話者比率設定記憶部１６０と、デフォルト設定記憶部１７０とを含んで構成される。
また、音声データベース記憶部１３０は、目的話者音声データベース１３１と他話者音声データベース１３２とを含む。
【００１９】
なお、音声素片選択部１１０、音素環境適合度推定部１１２、音素特徴量適合度推定部１１３、他話者音声素片箇所指定部１２０、比較音素指定部１４０は、電子回路等を用いた情報処理装置として実現される。また、音声データベース記憶部１３０、合成音声記憶部１５０、テキスト記憶部１５５、他話者比率設定記憶部１６０、デフォルト設定記憶部１７０は、例えば磁気ディスク装置や半導体メモリ等を用いて実現される。
これら各部の機能は、次に記載する通りである。
【００２０】
音声素片選択部１１０は、テキスト記憶部１５５に格納されている表記データ（平仮名文や、漢字・仮名混じり文や、音素ラベル表記）に基づいて、目的とする合成音声を構成する音声素片の候補を音声データベース記憶部１３０の中から選択する。なお、表記データが平仮名文や漢字・仮名混じり文で記憶されている場合には、音声素片選択部１１０は、その表記データを適宜音素ラベル表記に変換してから、音声データベース記憶部１３０に記憶されている音声素片の候補を選択する。また、音声素片選択部１１０は、合成音声を構成するための音声素片の候補のうち、他話者の音声素片と比較対象となる音声素片との間の音素特徴量適合度を音素特徴量適合度推定部１１３に算出させ、当該音素特徴量適合度に基づいて当該音声素片の候補を採用するか否かを決定する。また、音声素片選択部１１０は、音声素片の候補のうち、他話者の音声素片についての音素環境適合度を音素環境推定部に算出させ、当該音素環境適合度にも基づいて当該音声素片の候補を採用するか否かを決定する。そして、音声素片選択部１１０は、その結果採用することとなった音声素片を利用して構成した合成音声を出力する。また、音声素片選択部１１０は、合成音声を構成する音声素片のうち他話者の音声素片の比率が他話者比率設定記憶部１６０から読み出した設定値以下になるように、算出した音素環境適合度が上位の他話者の音声素片を採用するとともに、その他の他話者の音声素片については再選した目的話者の音声素片で置き換える。
【００２１】
音素環境適合度推定部１１２は、音声素片の音素の種類と、合成音声における当該音声素片の前後の音声素片の音素の種類とに少なくとも基づいて音素環境適合度を算出する。更に、音素環境適合度推定部１１２は、当該音素の音素種類の判別や、韻律環境の判別にも基づいて音素環境適合度を算出するようにしても良い。
なおここで、音素の種類とは、（１）音素が母音か子音か、（２）音素が有声音か無声音か、（３）音素の調音方式（例えば、鼻子音など）、の（１）〜（３）のいずれか、あるいはこれらの組み合わせによって分類される種類である。
音素特徴量適合度推定部１１３は、与えられる複数の音声素片のそれぞれの特徴量に基づき、それら複数の音声素片の間の音素特徴量適合度を算出する。ここで、音声素片の特徴量とは、スペクトル傾斜、低域スペクトル重心、フォルマント（ｆｏｒｍａｎｔ）周波数、フォルマントバンド幅などであるが、これらについては後で詳述する。
【００２２】
他話者音声素片箇所指定部１２０は、ユーザーからの入力等に基づき、合成音声中で他話者音声素片を利用する箇所の指定と、音声素片を選択する音声データベースの範囲の指定とを行う。
音声データベース記憶部１３０は、目的話者および他話者の音声素片を記憶する。
比較音素指定部１４０は、音素特徴量適合度推定部によって比較される対象となる音声素片、すなわち基準となる音声素片を指定する。
【００２３】
合成音声記憶部１５０は、合成音声を構成するための複数の音声素片に関するデータを記憶する。音声素片選択部１１０が音声素片を選択したり棄却したりするときに、この合成音声記憶部１５０も適宜書き換えられる。
テキスト記憶部１５５は、目的とする合成音声に対応する表記データのテキストを記憶する。この表記データは、例えば、日本語の平仮名等のデータである。なお、音素に対応するラベルの列として、例えば音素ラベル表記など、平仮名以外の形のデータを用いても良い。
他話者比率設定記憶部１６０は、他話者の音声素片の数の比率の設定値を記憶する。
デフォルト設定記憶部１７０は、デフォルト設定値を記憶する。デフォルト設定値とは、例えば、合成音声中で他話者音声素片を利用する箇所や、音声素片を選択する音声データベースの範囲などである。
【００２４】
なお、音素とは、言語において意味の弁別に用いられる最小の音の単位である。例えば日本語においては、「ａ」、「ｉ」、「ｕ」、「ｅ」、「ｏ」といった母音と、「ｋ」、「ｓ」、「ｔ」、「ｎ」、「ｈ」、「ｍ」、・・・などといった子音が、それぞれ音素に対応する。
また、音声素片とは、合成音声を構成するための構成要素であり、予め用意された短い単位の音声データである。音声素片は、単一の音素に対応していても良いし、複数の音素の列に対応していても良い。
【００２５】
また、基本周波数とは、音声信号の最も低い周期性のある周波数成分の周波数である。
また、フォルマントとは、音声の周波数スペクトルにおけるピークである。これらのピークのうち、周波数の低い方から順に第１フォルマント、第２フォルマント、第３フォルマント、・・・と呼ぶ。フォルマント周波数のパターンは、音素を特徴付ける要素である。
また、目的話者とは、合成音声を構成する際にターゲットとなる話者である。作成される合成音声を構成する音声素片の主要な話者は、目的話者である。
また、他話者とは、目的話者とは異なる話者である。本実施形態による音声合成装置１０は、他話者の音声素片も一部に混在させながら、全体としては目的話者の音声であるように人が認識できる合成音声を作成する。
【００２６】
図２は、音声データベース記憶部１３０に記憶される音声データベース（目的話者音声データベース１３１および他話者音声データベース１３２）のデータ構成とデータ例を示す概略図である。図示するように、この音声データベースは表形式のデータであり、話者識別情報と、音声素片識別情報と、音素ラベル表記と、トライフォン（ｔｒｉｐｈｏｎｅ）と、音声信号データと、スペクトル特徴量と、基本周波数情報の各項目を有している。
このデータの行は音声素片ごとに存在し、データの主キーは音声素片識別情報である。
話者識別情報は、話者を一意に識別するデータである。
【００２７】
音声素片識別情報は、音声素片を一意に識別する情報である。
音素ラベル表記は、ローマ字を用いて当該音声素片の発音を表記したデータである。ここで、大文字の「Ｑ」は促音を表わし、記号の「：」（コロン）は長音を表わす。従って、例えば、表中の音声素片識別情報が「Ｂ０００１」の行における音素ラベル表記「ｈｏＱｋａｉｄｏ：」は、「ほっかいどー」という発音を表わす。
トライフォンは、音素環境を表わす表記である。例えば、表中の音声素片識別情報が「Ｂ０００９」の行におけるトライフォン「ａ−ｏ＋ｉ」は、当該音声素片の音素「ｏ」に先行する音素が「ａ」であって、後続する音素が「ｉ」であることを表している。このトライフォンにおける表記「ｓｉｌ」は無音を表す。つまり、表中の音声素片識別情報が「Ｂ０００７」の行におけるトライフォン「ｏ−ｉ＋ｓｉｌ」は、当該音声素片の音素「ｉ」に先行する音素が「ｏ」であり、後続する音素が無音であることを表している。このように、例えば表中の音声素片識別情報が「Ｂ０００４」の行と「Ｂ０００５」の行とを比較すると、話者識別情報「Ａ００１」と音素ラベル表記「ａ」が共通であるが、トライフォンが異なっている。つまり、音声データベース記憶部１３０は、音素環境にも応じた音声素片を格納している。
音声信号データは、当該音声素片の音声信号そのものを表わすデータである。この音声信号データは、例えば、時系列の音圧レベルのデータとして表わされたり、所定の短い期間における周波数スペクトルのデータとして表わされたりする。
スペクトル特徴量は、当該音声素片の特徴量を表わすデータであり、例えばＭＦＣＣ（メル周波数ケプストラム係数，Mel-Frequency Cepstrum Coefficient）などを用いる。
基本周波数情報は、当該音声素片の基本周波数を表わすデータであり、当該音声素片における基本周波数の代表的な値、又は基本周波数の時系列の値などを用いる。あるいは、基本周波数の範囲をＨ（Ｈｉｇｈ、高周波数）とＬ（Ｌｏｗ、低周波数）で２値化し、この「Ｈ」または「Ｌ」の時系列の値を基本周波数情報としても良い。
なお、上記のスペクトル特徴量や基本周波数は、後述するように、音声素片の選択の際に用いられる。
【００２８】
なお、目的話者音声データベース１３１と他話者音声データベース１３２とを、個別のデータベーステーブルに格納しても良いし、共通のデータベーステーブルに格納しても良い。いずれの場合にも、話者識別情報をデータ内に保持しているため、目的話者の話者識別情報とデータベース上の話者識別情報を比較することにより、目的話者音声素片と他話者音声素片とを区別することができる。
また、図示したデータ項目のほかに、例えば音声ファイル番号や時間情報等を音声データベース記憶部上のテーブルの項目として保持するようにしても良い。ここで、音声ファイル番号は、テーブルの外部に記憶されており音声信号データ等を保持している音声ファイルを一意に識別するための番号である。また、時間情報は、音声信号データに含まれる対象の音素の時間情報（当該音素の開始点および終了点を先頭からの相対時刻で表した情報）である。
【００２９】
図３は、合成音声記憶部１５０に記憶される合成音声データのデータ構成とデータ例を示す概略図である。図示するように、この音声データベースは表形式のデータであり、合成音声識別情報と、順序と、話者識別情報と、音声素片識別情報と、音素ラベル表記と、音声信号データの各項目を有する。なお、このデータにおいて、合成音声を構成する個々の音声素片ごとに行が存在する。
【００３０】
合成音声識別情報は、合成音声を一意に識別するデータである。
順序は、ある合成音声内での音声素片の順序を示す値である。
話者識別情報は、音声素片の話者を一意に識別するデータであり、音声データベース記憶部１３０に記憶される話者識別情報と同様のものである。
音声素片識別情報は、音声素片を一意に識別するデータである。
音素ラベル表記は、その音声素片の音素ラベルを表わすデータであり、音声データベース記憶部１３０に記憶される音素ラベル表記と同様のものである。
音声信号データは、当該音声素片の音声信号そのものを表わすデータであり、音声データベース記憶部１３０に記憶される音声信号データと同様のものである。
なお、同図に示すデータ例では、合成音声識別情報「Ｃ０００１」によって識別される合成音声の１番目の音声素片の話者識別情報は「Ａ００１」であり、その音声素片識別情報は「Ｂ０００２」であり、その音素ラベル表記は「ｔｏ：ｋｙｏ：」である。また、同合成音声の２番目の音声素片の話者識別情報は「Ａ００２」であり、その音声素片識別情報は「Ｂ０７７７」であり、その音素ラベル表記は「ｋａｒａ」である。３番目以降の音声素片についても同様である。
【００３１】
次に、音声素片の適合度の推定について説明する。音声合成装置１０は、音声素片の適合度として、音素環境適合度と音素特徴量適合度とを用いる。
【００３２】
音素環境適合度推定部１１２は、音素環境適合度を推定する。そのため、音素環境適合度推定部１１２は、音素種類の判別と、前後音素環境の判別と、韻律環境判別とを行う。
【００３３】
音素種類の判別においては、音素環境適合度推定部１１２は、（１）母音か子音かの判別、（２）有声音か無声音かの判別、（３）調音方式による判別を行う。
（１）母音／子音の判別
音素環境適合度推定部１１２は、母音と子音のそれぞれに対して予め定められた指標を記憶しており、適合度推定の対象となる音声素片が母音あるいは子音のいずれであるかに応じて、その指標値を当該音声素片の音素環境適合度の算出に用いる。なお、母音よりも子音の方が、音素環境適合度が高い（適合しやすい）。
（２）有声音／無声音の判別
音素環境適合度推定部１１２は、有声音と無声音のそれぞれに対して予め定められた指標を記憶しており、適合度推定の対象となる音声素片が有声音あるいは無声音のいずれであるかに応じて、その指標値を当該音声素片の音素環境適合度の算出に用いる。なお、有声音よりも無声音の方が、音素環境適合度が高い（適合しやすい）。
（３）調音方式の判別
調音方式とは、音声器官によって声道に閉鎖又は狭まりを形成する方式のことである。例えば、鼻にかかる音である「ｍ」と「ｎ」とは、共通の調音方式に属する。また、一旦口を閉じてから破裂する音である「ｐ」と「ｔ」と「ｋ」とは、共通の調音方式に属する。音素環境適合度推定部１１２は、それぞれの調音方式に対して予め定められた指標を記憶しており、適合度推定の対象となる音声素片の調音方式がそれらのいずれであるかに応じて、その指標値を当該音声素片の音素環境適合度の算出に用いる。
【００３４】
前後音素環境の判別においては、音素環境適合度推定部１１２は、音素の種類ごと及びその話者ごとの前後音素環境の指標を予め記憶している。そして、音素環境適合度推定部１１２は、合成音声記憶部１５０に記憶されている順序のデータに基づいて対象の音声素片の前後の音声素片のデータを読み出し、当該対象の音声素片の前後の音素の種類およびその話者を判別する。そして、音素環境適合度推定部１１２は、判別した音素の種類およびその話者に応じた指標値を、音素環境適合度の算出に用いる。
上記の方法で算出される前後音素環境に基づく適合度は、前後の音のつながりの良さを表わす。
【００３５】
韻律環境の判別においては、音素環境適合度推定部１１２は、音素時間長と、その音素の基本周波数の相対的な高さに応じた指標を予め記憶している。そして、対象の音素の音素時間長と、その音素の基本周波数の相対的な高さのそれぞれに応じた指標値を、音素環境適合度の算出に用いる。
なお、音素時間長が短い程、音素環境適合度が高い（適合しやすい）。また、音素時間長が所定の閾値よりも長い場合には、音素環境適合度が極端に低くなる（利用できない）。また、音素の基本周波数が低い程、音素環境適合度が高い（適合しやすい）。
【００３６】
なお、複数の音素を含む音声素片については、音素環境適合度推定部１１２は、そのそれぞれの音素についての音素環境適合度を算出する。
そして、音素環境適合度推定部１１２は、上で得られた各指標値の重み付総和により音素環境適合度を算出する。
【００３７】
音素特徴量適合度推定部１１３は、音素特徴量適合度を推定する。そのため、音素特徴量適合度推定部１１３は、スペクトル特徴量を比較する処理を行う。ここで利用するスペクトル特徴量は、スペクトル傾斜、ＦＦＴケプストラム係数の１次の係数（Ｃ１）、声帯音源の特性（スペクトル特性）を表わす特徴量、スペクトルの低い周波数帯域のスペクトル重心（低域スペクトル重心）、フォルマント周波数、フォルマントバンド幅などである。
【００３８】
図４は、音素特徴量適合度推定部１１３が求めるスペクトル傾斜を説明するための音声スペクトル包絡を示すグラフである。
同図において、横軸は周波数（単位はヘルツ）、縦軸は強度（単位はデシベル）である。また、図示する音声スペクトル包絡に現れるピーク点が、周波数の低い側から点Ｐ１，Ｐ２，Ｐ３，・・・である。また、同グラフにおける点Ｐ１，Ｐ２，Ｐ３の座標が、それぞれ、（ｆ１、ｍ１），（ｆ２、ｍ２），（ｆ３、ｍ３）である。この周波数ｆ１，ｆ２，ｆ３は、それぞれ、第１、第２、第３フォルマント周波数である。
スペクトル傾斜とは、これら複数のピーク点のうちの所定の２つのピーク点を結ぶ直線の傾斜である。
スペクトル傾斜を算出するために、音素特徴量適合度推定部１１３は、音素の周波数スペクトルの包絡線を求め、その包絡線における複数のピーク点を求め、周波数の低い側から１番目のピークと３番目のピークとを結んだ直線の傾きを計算する。これがスペクトル傾斜であり、周波数の低域から高域にかけての減衰度合いを表わす特徴量である。
つまり、音素特徴量適合度推定部１１３は、下の式（１）によりスペクトル傾斜ｇを計算する。
【００３９】
【数１】
【００４０】
また、スペクトル傾斜を近似する値として、ＦＦＴケプストラム係数の１次の係数を特徴量として利用しても良い。
【００４１】
また、スペクトル傾斜は、声帯音源の特性と音声を発する時の放射特性の影響を受ける。そして、放射特性はほぼ一定と考えることができるため、スペクトル傾斜は声帯音源の特性によって変わると言える。そこで、この声帯音源の特性が影響する他の特徴量を、スペクトル傾斜の代わりに用いても良い。具体的には、声帯音源の特性を表わす特徴量としては、中高域の雑音成分の割合や、ＦＦＴスペクトルから得られる第１調波と第２調波のパワー（デシベル）差分や、ＦＦＴスペクトルから得られる第１調波とＦ３付近ピークのパワー（デシベル）差分のいずれかを用いることができる。
【００４２】
図５は、音素特徴量適合度推定部１１３が求める低域スペクトル重心を説明するための音声スペクトル包絡を示すグラフである。
同図においても同じく、横軸は周波数（単位はヘルツ）、縦軸は強度（単位はデシベル）である。また、Ｌは、スペクトルの低い周波数帯域であり、この帯域Ｌの範囲は予め定められている。
そして、音素特徴量適合度推定部１１３は、下の式（２）により、低域スペクトル重心ｆＷ（スペクトル重心の周波数）を計算する。
【００４３】
【数２】
【００４４】
なお、式（２）におけるｍ（ｆ）は、音声スペクトルにおける周波数ｆでの強度を表わす。
【００４５】
なお、フォルマント周波数は、音声スペクトルにおける複数のピーク（フォルマント）の周波数である。また、フォルマントバンド幅は、上記のフォルマントのバンド幅である。
【００４６】
音素特徴量適合度推定部１１３は、上記のような特徴量を用いて、下の式（３）により、音素間（音素１と音素２）の適合度Ｍを算出する。
【００４７】
【数３】
【００４８】
なお、式（３）において、ｔ１，ｉは音素１のｉ番目の特徴量（スカラー又はベクトル）であり、ｔ２，ｉは音素２のｉ番目の特徴量（スカラー又はベクトル）である。また、ｄ（ｔ１，ｉ，ｔ２，ｉ）は、両特徴量間の距離に応じて定まる値（スカラー）である。また、ｗｉは、ｉ番目の特徴量に対応する重み値であり、この値は予め定められ音素特徴量適合度推定部１１３が記憶している。
ｄ（ｔ１，ｉ，ｔ２，ｉ）の具体例としては、例えば、単純にこれら両特徴量間の距離を用いてよい。このときの適合度Ｍは、下の式（４）を用いて算出される。
【００４９】
【数４】
【００５０】
なお、複数の音素を含む音声素片については、音素特徴量適合度推定部１１３は、そのそれぞれの音素についての音素特徴量適合度を算出する。
なお、音素特徴量適合度推定部１１３が比較の都度、上記の各特徴量を計算する代わりに、予め音声素片の特徴量を計算しておいてその値を音声データベース記憶部１３０に記憶させておき、比較する際に読み出して用いるようにしても良い。
【００５１】
図６は、音声合成装置１０による音声合成の処理手順を示すフローチャートである。以下、このフローチャートに沿って、音声合成装置１０の処理手順を説明する。
【００５２】
なお、このフローチャートの処理に先立って、音声データベース１３０とテキスト記憶部１５５と他話者比率設定記憶部１６０とデフォルト設定記憶部１７０には所定のデータが記憶されている。
音声データベース１３０には、複数の話者の音声素片が予め蓄積されている。
テキスト記憶部１５５には、合成しようとする目的の音声に対応する表記のテキストが記憶されている。具体例としては、テキスト記憶部１５５には、「とーきょー から よこはま へ いきます」（平仮名文）や「東京 から 横浜 へ 行きます」（漢字・仮名混じり文）や「ｔｏ：ｋｙｏ ｋａｒａ ｙｏｋｏｈａｍａ ｅ ｉｋｉｍａｓｕ」（音素ラベル表記）などといったテキストデータが記憶されている。
他話者比率設定記憶部１６０には、合成音声中の全音声素片数のうちの他話者音声素片数の比率の値（例えば、「１５％」など）が設定値として記憶されている。
デフォルト設定記憶部１７０には、合成音声中で他話者音声素片を利用する箇所（例えば、「全箇所」。）、および音声素片を選択する音声データベースの範囲（選択対象とする話者の範囲。例えば、「全話者」。）が設定値として記憶されている。
【００５３】
そして、まずステップＳ１において、他話者音声素片箇所指定部１２０は、ユーザーの操作（入力）に基づき、合成音声中で他話者音声素片を利用する箇所と、音声素片を選択する音声データベースの範囲の指定を受け付け、それらの情報を音声素片選択部１１０に渡す。このとき、合成音声中で他話者音声素片を利用する箇所については、他話者音声素片箇所指定部１２０は、個々の音声素片の単位で指定を受け付ける。例えば、他話者音声素片箇所指定部１２０は、合成音声記憶部１５０に記憶されている合成音声識別情報と順序とを一組として、その一組あるいは複数組のデータにより、他話者音声素片を利用する箇所の指定を受け付ける。また、音声素片を選択する音声データベースの範囲の指定としては、他話者音声素片箇所指定部１２０は、「目的話者音声データベースと他話者音声データベースの両方」又は「他話者音声データベースのみ」のいずれかを表わす情報を受け付ける。またこのとき、特定の単数又は複数の他話者の音声素片のみを選択する場合には、他話者音声素片箇所指定部１２０は、対象とする話者の話者識別情報の指定を受け付けることもできる。
また、このとき、ユーザーの操作により、合成音声中で他話者音声素片を利用する箇所を「全箇所」と指定することができ、また音声素片を選択する音声データベースの範囲（選択対象とする話者の範囲）を「全話者」と指定することもできる。
【００５４】
なお、本ステップにおいて、ユーザーが具体的な指定を行う代わりに、デフォルト設定値を使用することを指定することもできる。デフォルト設定の使用が指定された場合には、音声素片選択部１１０は、デフォルト設定記憶部１７０から設定値を読み出して使用する。
例えば、デフォルト設定記憶部１７０に、合成音声中で他話者音声素片を利用する箇所が「全箇所」であり、また音声素片を選択する音声データベースの範囲（選択対象とする話者の範囲）が「全話者」であることが記憶されている場合には、音声素片選択部１１０は、その設定値を使用する。
【００５５】
なお、ユーザーの指定により、又はデフォルト設定記憶部１７０に設定されている値により、合成音声中で他話者音声素片を利用する箇所を「全箇所」とする場合には、つまり具体的な箇所の指定が行われない場合には、後述する方法により、他話者音声素片数が占める比率が他話者比率設定記憶部１６０に記憶されている比率より大きくならないように、他話者音声素片の適合度の上位の順に他話者音声素片を利用する箇所を決定する。
【００５６】
次にステップＳ２において、音声素片選択部１１０は、他話者比率設定記憶部１６０から比率値を読み出し、合成音声中で他話者音声素片を利用する箇所の比率が設定の範囲内か否かを確認する。具体的には、音声素片選択部１１０は、他話者音声素片箇所指定部１２０から渡された情報に基づき、（合成音声内で他話者音声素片を利用する音声素片数／当該合成音声内の全音声素片数）の値を計算し、この値が他話者比率設定記憶部１６０から読み出した比率値以下であるかどうかを確認する。計算された値が設定の比率値以下である場合（ステップＳ２：ＹＥＳ）には、次のステップＳ３に進む。計算された値が設定の比率値よりも大きい場合（ステップＳ２：ＮＯ）には、再度ユーザーからの操作に基づく指定を受けるためにステップＳ１に戻る。
なお、ステップＳ１において他話者音声素片を利用する箇所が具体的に指定されなかった場合には、本ステップにおける判定結果は常に「ＹＥＳ」となる。
【００５７】
次にステップＳ３において、音声素片選択部１１０は、音声データベース記憶部１３０内の目的話者音声データベース１３１又は他話者音声データベース１３２から、必要な音声素片を選択する。なお、前のステップにおいて特定の箇所（単数又は複数）のみが指定されている場合には、該当する箇所のみについて、利用する音声素片の選択を行う。また、前のステップにおいて特定の話者（単数又は複数）が指定されている場合には、該当するデータベースの当該話者の音声素片の中から選択を行う。ここでの音声素片の選択自体は、従来技術の方法によるものであり、音素ラベルなどのマッチングとともに、音声データベース記憶部１３０に保持されているスペクトル特徴量および基本周波数のマッチングにより行われる選択である。
【００５８】
次にステップＳ４において、音声素片選択部１１０は、選択された他話者音声素片の数をカウントし、その箇所の比率が他話者比率設定記憶部１６０に設定されている比率の範囲内か否かを判定する。設定の範囲内である場合（ステップＳ４：ＹＥＳ）にはステップＳ６に飛び、設定の範囲を超えている場合（ステップＳ５：ＮＯ）には次のステップＳ５に進む。
なお、本ステップで判定結果が「ＮＯ」となり得るのは、ステップＳ１において具体的な箇所の指定がなく、ユーザーの指定により、又はデフォルト設定記憶部１７０に設定されている値により、「全箇所」が指定されていた場合のみである。
【００５９】
ステップＳ５においては、音素環境適合度推定部１１２が他話者音声素片の音素環境の適合度を推定する。そして、音素環境適合度推定部１１２は、上で選択された音声素片について、適合度順に優先順位を決定する。そして、その結果、他話者比率設定記憶部１６０に設定されている比率の範囲内に入らなかった優先順位が下位の他話者音声素片については、その他話者音声素片を棄却し、音声素片選択部１１０が目的話者音声データベース１３１の中から代わりの目的話者音声素片を再選する。つまり、音声素片選択部は、優先順位が下位の他話者音声素片を、再選された目的話者音声素片で置き換える。なお、ここでの音声素片の再選の方法自体は、前述の通り、既存技術によるものである。
つまり、音素環境適合度推定部１１２は、他話者比率設定記憶部１６０に記憶されている設定値に基づいて、適合度が上位の音声素片のみを採用する。
【００６０】
次にステップＳ６において、音素特徴量適合度推定部１１３は、合成音声用に選択されている音声素片の特徴量と比較音素指定部１４０が指定する音声素片との特徴量とを比較し、合成音声用に選択されている音声素片の適合度を推定する。なおこのとき、比較音素指定部１４０が比較対象として指定する音声素片は、目標話者の任意の音素、又は音声素片選択部１１０によって選択されている音声素片のうちの、現在比較しようとしている当該音声素片以外のもののいずれかである。
【００６１】
そしてステップＳ７において、音声素片選択部１１０は、音素特徴量の適合度の低い音声素片が、選択されている音声素片の中に残っているか否かを判定する。この判定は、言い換えれば、比較すべきすべての他話者音声素片について、音素特徴量適合度推定部１１３による音素特徴量の適合度の推定が完了しており、且つその適合度が所定の閾値より低いものが存在するか否かによって行う。音素特徴量の適合度の低い音声素片が残っている場合（ステップＳ７：ＹＥＳ）にはステップＳ８へ進み、そのような音声素片が残っていない場合（ステップＳ７：ＮＯ）にはステップＳ９へ進む。
【００６２】
ステップＳ８に進んだ場合、同ステップにおいては、音声素片選択部１１０は、音素特徴量適合度推定部１１３によって推定された音素特徴量適合度の低い他話者音声素片を棄却し、他の音声素片を再選する。なお、ここでの音声素片の再選の方法自体は、前述の通り、既存技術によるものである。そして、ステップＳ６の処理に戻る。
つまり、すべての音声素片の音素特徴量の適合度が前記の閾値より高くなるまで、音声素片の選択を繰り返す。
つまり、音声素片選択部１１０は、音素特徴量の適合度が高い音声素片を採用する。
【００６３】
ステップＳ９に進んだ場合、音声素片選択部１１０は、選択（採用）された音声素片からなる合成音声を出力し、そしてこのフローチャート全体の処理を終了する。
【００６４】
なお、上述した実施形態における音声合成装置１０の一部又は全部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６５】
以上、実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
例えば、上で述べた適合度（種々の音素環境適合度、および種々の音素特徴量適合度）の全部を利用せず、それらのうちの一部だけを利用して、音声素片選択部が音声素片の採用あるいは棄却等を決定するようにしても良い。
【００６６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００６７】
本発明は、不自然さがなく高品質な合成音声を効率よく生成する目的で利用できる。例えば、本発明は、テレビやラジオ等の放送や、音声による情報提供等の目的で利用することができる。
【符号の説明】
【００６８】
１０…音声合成装置
１１０…音声素片選択部
１１２…音素環境適合度推定部
１１３…音素特徴量適合度推定部
１２０…他話者音声素片箇所指定部
１３０…音声データベース記憶部
１３１…目的話者音声データベース
１３２…他話者音声データベース
１４０…比較音素指定部
１５０…合成音声記憶部
１５５…テキスト記憶部（表記データ記憶部）
１６０…他話者比率設定記憶部
１７０…デフォルト設定記憶部
【技術分野】
【０００１】
本発明は、合成音声を生成する音声合成装置に関する。特に、本発明は、目的話者とは異なる他話者の音声を利用して合成音声を生成する音声合成装置に関する。
【背景技術】
【０００２】
目的話者の音声素片を用いて合成音声を構成する際に、目的話者の声質の適切な音声素片が存在しなければ、音声素片を変換して用いることが考えられる。特許文献１には声質の変換について記載されている。
【０００３】
しかしながら、変換量が大きいと、音声素片自体の音質が劣化してしまう場合がある。目的話者の音声素片のバリエーションが不足している場合に、他話者の音声素片を目的話者の声質に違和感を与えない範囲で、目的話者の音声素片と同等に利用できれば、音声素片の不足を補い、音声素片のバリエーションを拡大できることが考えられている。特許文献２には、他話者の音声素片のデータベースを用いて音声合成を行なう技術が記載されている。
【０００４】
一方、他話者の音声素片の利用する場合には、目的話者の音声素片による文章中に他話者の音声素片を存在させる形で合成音声を構成するため、全体として不自然な音声にならないようにすることが望ましい。非特許文献１には、そのような場合に、他話者の音声素片の時間長が短い場合、あるいは他話者の音声素片の部分の基本周波数が低く韻律として目立たない場合には、他話者であることを気付きにくく、全体として自然な音声が得られることが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１４８１７２号公報
【特許文献２】特開２００７−０２５０４２号公報
【非特許文献】
【０００６】
【非特許文献１】田高礼子，世木寛之，清山信正，都木徹，「別話者音素による部分置換音声の自然性とスペクトル特徴量について」，電子情報通信学会，電子情報通信学会技術研究報告．ＳＰ，音声，２００８年３月，ｖｏｌ．１０７，ｎｏ．５５１，ｐ．１２３−１２８
【発明の概要】
【発明が解決しようとする課題】
【０００７】
目的話者とは異なる他話者の音声素片を利用して合成音声を構成する場合に、利用する音声素片の特徴に応じて、全体としての音声における不自然さが目立つ場合と目立たない場合の両方が存在すると考えられる。しかしながら、総当り的なトライアンドエラーで他話者の音声素片を選択していては、合成音声を得るための効率が悪い。違和感なく利用できる他話者の音声素片を選択するにあたって、利用可能であるかどうかを所定の条件により効率よく選択できることが求められる。
【０００８】
本発明は上記のような課題を解決するために為されたものであり、主として目的話者の音声素片で構成する合成音声中に、目的話者の声質に違和感を与えない他話者の音声素片を利用し、高品質な合成音声を効率よく作成することのできる音声合成装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
［１］上記の課題を解決するため、本発明の一態様による音声合成装置は、目的話者および他話者の音声素片を記憶する音声データベース記憶部と、目的とする合成音声に対応する表記データを記憶する表記データ記憶部と、複数の音声素片のそれぞれの特徴量に基づき、それら複数の音声素片の間の音素特徴量適合度を算出する音素特徴量適合度推定部と、前記表記データ記憶部から取得する表記データに基づいて、前記目的とする合成音声を構成する音声素片の候補を前記音声データベース記憶部の中から選択するとともに、選択された前記音声素片の候補のうち、他話者の音声素片と比較対象となる音声素片との間の音素特徴量適合度を前記音素特徴量適合度推定部に算出させ、当該音素特徴量適合度に基づいて当該音声素片の候補を採用するか否かを決定し、その結果採用された前記音声素片によって構成された前記合成音声を出力する音声素片選択部と、を具備することを特徴とする。
この構成によれば、算出された音素特徴量適合度に基づき、適合度の高い音声素片を採用した合成音声が出力される。
【００１０】
［２］また、本発明の一態様による音声合成装置は、上記の音声合成装置において、前記音声素片の音素の種類と、前記合成音声における当該音声素片の前後の音声素片の音素の種類とに少なくとも基づいて音素環境適合度を算出する音素環境推定部を更に具備し、前記音声素片選択部は、前記音声素片の候補のうち、他話者の音声素片についての音素環境適合度を前記音素環境推定部に算出させ、当該音素環境適合度にも基づいて当該音声素片の候補を採用するか否かを決定する、ことを特徴とするものである。
この構成によれば、採用候補となる音声素片の前後音素環境を判別し、その判別結果に基づく音素環境適合度が計算される。そして、音素環境適合度の高い音声素片を採用した合成音声が出力される。
なお、音素環境推定部が、更に、音素種類判別に基づき音素環境適合度を算出するようにしてもよい。
また、音素環境推定部が、更に、韻律環境判別に基づき音素環境適合度を算出するようにしてもよい。
【００１１】
［３］また、本発明の一態様による音声合成装置は、上記の音声合成装置において、前記音素特徴量適合度推定部は、前記音声素片のスペクトル傾斜又はＦＦＴケプストラム係数の１次の係数又は声帯音源の特性を表わす特徴量のいずれかの値を前記特徴量とする、ことを特徴とするものである。
なお、ＦＦＴケプストラム係数とは、ＦＦＴ（高速フーリエ変換）を用いて求められたケプストラム係数である。この構成によれば、低周波数域から高周波数域にかけてのフォルマントの減衰度を特徴量として利用し、適合度の高い音声素片を採用した合成音声が出力される。
【００１２】
［４］また、本発明の一態様による音声合成装置は、上記の音声合成装置において、前記音素特徴量適合度推定部は、前記音声素片の音声スペクトルのうち所定の周波数帯域におけるスペクトル重心の周波数を前記特徴量とする、ことを特徴とするものである。
この構成によれば、所定の周波数低域（例えば低周波数帯域）におけるスペクトル重心を特徴量として利用し、適合度の高い音声素片を採用した合成音声が出力される。
【００１３】
［５］また、本発明の一態様による音声合成装置は、上記の音声合成装置において、前記音素特徴量適合度推定部は、前記音声素片のフォルマント周波数およびフォルマントバンド幅を前記特徴量とする、ことを特徴とするものである。
この構成によれば、フォルマント周波数およびフォルマントバンド幅を特徴量として利用し、適合度の高い音声素片を採用した合成音声が出力される。
【００１４】
［６］また、本発明の一態様による音声合成装置は、上記の音声合成装置において、他話者の音声素片の数の比率の設定値を記憶する他話者比率設定記憶部を更に具備し、前記音声素片選択部は、前記合成音声を構成する音声素片のうち他話者の音声素片の比率が前記他話者比率設定記憶部から読み出した前記設定値以下になるように、算出した前記音素環境適合度が上位の他話者の音声素片を採用するとともに、その他の他話者の音声素片については再選した目的話者の音声素片で置き換える、ことを特徴とするものである。
【００１５】
［７］また、本発明の一態様によるコンピュータプログラムは、目的話者および他話者の音声素片を記憶する音声データベース記憶部と、目的とする合成音声に対応する表記データを記憶する表記データ記憶部と、を具備するコンピュータに、複数の音声素片のそれぞれの特徴量に基づき、それら複数の音声素片の間の音素特徴量適合度を算出する音素特徴量適合度推定過程と、前記表記データ記憶部から取得する表記データに基づいて、前記目的とする合成音声を構成する音声素片の候補を前記音声データベース記憶部の中から選択するとともに、選択された前記音声素片の候補のうち、他話者の音声素片と比較対象となる音声素片との間の音素特徴量適合度を前記音素特徴量適合度推定過程で算出させ、当該音素特徴量適合度に基づいて当該音声素片の候補を採用するか否かを決定し、その結果採用された前記音声素片によって構成された前記合成音声を出力する音声素片選択過程と、の処理を実行させる。
【発明の効果】
【００１６】
本発明によれば、目的話者の音声素片の不足を補い、バリエーションを拡張するために、目的話者の音声素片と違和感なく利用できる他話者の音声素片を選択し利用することができ、合成音声の品質向上につながる。また、そのような他話者の音声素片の選択の処理の全部又は一部を自動的に行うことができ、他話者音声素片の選択の効率が上がる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態による音声合成装置の機能構成を示したブロック図である。
【図２】同実施形態による音声データベース（目的話者音声データベース，他話者音声データベース）の構成およびデータ例を示した概略図である。
【図３】同実施形態による合成音声記憶部の構成およびデータ例を示した概略図を示したブロック図である。
【図４】同実施形態による音素特徴量適合度推定部１１３が利用する特徴量のひとつであるスペクトル傾斜を説明するためのグラフである。
【図５】同実施形態による音素特徴量適合度推定部１１３が利用する特徴量のひとつである低域スペクトル重心を説明するためのグラフである。
【図６】同実施形態による音声合成装置全体の処理手順を示したフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態による音声合成装置の機能構成を示すブロック図である。図示するように、音声合成装置１０は、音声素片選択部１１０と、音素環境適合度推定部１１２と、音素特徴量適合度推定部１１３と、他話者音声素片箇所指定部１２０と、音声データベース記憶部１３０と、比較音素指定部１４０と、合成音声記憶部１５０と、テキスト記憶部１５５（表記データ記憶部）と、他話者比率設定記憶部１６０と、デフォルト設定記憶部１７０とを含んで構成される。
また、音声データベース記憶部１３０は、目的話者音声データベース１３１と他話者音声データベース１３２とを含む。
【００１９】
なお、音声素片選択部１１０、音素環境適合度推定部１１２、音素特徴量適合度推定部１１３、他話者音声素片箇所指定部１２０、比較音素指定部１４０は、電子回路等を用いた情報処理装置として実現される。また、音声データベース記憶部１３０、合成音声記憶部１５０、テキスト記憶部１５５、他話者比率設定記憶部１６０、デフォルト設定記憶部１７０は、例えば磁気ディスク装置や半導体メモリ等を用いて実現される。
これら各部の機能は、次に記載する通りである。
【００２０】
音声素片選択部１１０は、テキスト記憶部１５５に格納されている表記データ（平仮名文や、漢字・仮名混じり文や、音素ラベル表記）に基づいて、目的とする合成音声を構成する音声素片の候補を音声データベース記憶部１３０の中から選択する。なお、表記データが平仮名文や漢字・仮名混じり文で記憶されている場合には、音声素片選択部１１０は、その表記データを適宜音素ラベル表記に変換してから、音声データベース記憶部１３０に記憶されている音声素片の候補を選択する。また、音声素片選択部１１０は、合成音声を構成するための音声素片の候補のうち、他話者の音声素片と比較対象となる音声素片との間の音素特徴量適合度を音素特徴量適合度推定部１１３に算出させ、当該音素特徴量適合度に基づいて当該音声素片の候補を採用するか否かを決定する。また、音声素片選択部１１０は、音声素片の候補のうち、他話者の音声素片についての音素環境適合度を音素環境推定部に算出させ、当該音素環境適合度にも基づいて当該音声素片の候補を採用するか否かを決定する。そして、音声素片選択部１１０は、その結果採用することとなった音声素片を利用して構成した合成音声を出力する。また、音声素片選択部１１０は、合成音声を構成する音声素片のうち他話者の音声素片の比率が他話者比率設定記憶部１６０から読み出した設定値以下になるように、算出した音素環境適合度が上位の他話者の音声素片を採用するとともに、その他の他話者の音声素片については再選した目的話者の音声素片で置き換える。
【００２１】
音素環境適合度推定部１１２は、音声素片の音素の種類と、合成音声における当該音声素片の前後の音声素片の音素の種類とに少なくとも基づいて音素環境適合度を算出する。更に、音素環境適合度推定部１１２は、当該音素の音素種類の判別や、韻律環境の判別にも基づいて音素環境適合度を算出するようにしても良い。
なおここで、音素の種類とは、（１）音素が母音か子音か、（２）音素が有声音か無声音か、（３）音素の調音方式（例えば、鼻子音など）、の（１）〜（３）のいずれか、あるいはこれらの組み合わせによって分類される種類である。
音素特徴量適合度推定部１１３は、与えられる複数の音声素片のそれぞれの特徴量に基づき、それら複数の音声素片の間の音素特徴量適合度を算出する。ここで、音声素片の特徴量とは、スペクトル傾斜、低域スペクトル重心、フォルマント（ｆｏｒｍａｎｔ）周波数、フォルマントバンド幅などであるが、これらについては後で詳述する。
【００２２】
他話者音声素片箇所指定部１２０は、ユーザーからの入力等に基づき、合成音声中で他話者音声素片を利用する箇所の指定と、音声素片を選択する音声データベースの範囲の指定とを行う。
音声データベース記憶部１３０は、目的話者および他話者の音声素片を記憶する。
比較音素指定部１４０は、音素特徴量適合度推定部によって比較される対象となる音声素片、すなわち基準となる音声素片を指定する。
【００２３】
合成音声記憶部１５０は、合成音声を構成するための複数の音声素片に関するデータを記憶する。音声素片選択部１１０が音声素片を選択したり棄却したりするときに、この合成音声記憶部１５０も適宜書き換えられる。
テキスト記憶部１５５は、目的とする合成音声に対応する表記データのテキストを記憶する。この表記データは、例えば、日本語の平仮名等のデータである。なお、音素に対応するラベルの列として、例えば音素ラベル表記など、平仮名以外の形のデータを用いても良い。
他話者比率設定記憶部１６０は、他話者の音声素片の数の比率の設定値を記憶する。
デフォルト設定記憶部１７０は、デフォルト設定値を記憶する。デフォルト設定値とは、例えば、合成音声中で他話者音声素片を利用する箇所や、音声素片を選択する音声データベースの範囲などである。
【００２４】
なお、音素とは、言語において意味の弁別に用いられる最小の音の単位である。例えば日本語においては、「ａ」、「ｉ」、「ｕ」、「ｅ」、「ｏ」といった母音と、「ｋ」、「ｓ」、「ｔ」、「ｎ」、「ｈ」、「ｍ」、・・・などといった子音が、それぞれ音素に対応する。
また、音声素片とは、合成音声を構成するための構成要素であり、予め用意された短い単位の音声データである。音声素片は、単一の音素に対応していても良いし、複数の音素の列に対応していても良い。
【００２５】
また、基本周波数とは、音声信号の最も低い周期性のある周波数成分の周波数である。
また、フォルマントとは、音声の周波数スペクトルにおけるピークである。これらのピークのうち、周波数の低い方から順に第１フォルマント、第２フォルマント、第３フォルマント、・・・と呼ぶ。フォルマント周波数のパターンは、音素を特徴付ける要素である。
また、目的話者とは、合成音声を構成する際にターゲットとなる話者である。作成される合成音声を構成する音声素片の主要な話者は、目的話者である。
また、他話者とは、目的話者とは異なる話者である。本実施形態による音声合成装置１０は、他話者の音声素片も一部に混在させながら、全体としては目的話者の音声であるように人が認識できる合成音声を作成する。
【００２６】
図２は、音声データベース記憶部１３０に記憶される音声データベース（目的話者音声データベース１３１および他話者音声データベース１３２）のデータ構成とデータ例を示す概略図である。図示するように、この音声データベースは表形式のデータであり、話者識別情報と、音声素片識別情報と、音素ラベル表記と、トライフォン（ｔｒｉｐｈｏｎｅ）と、音声信号データと、スペクトル特徴量と、基本周波数情報の各項目を有している。
このデータの行は音声素片ごとに存在し、データの主キーは音声素片識別情報である。
話者識別情報は、話者を一意に識別するデータである。
【００２７】
音声素片識別情報は、音声素片を一意に識別する情報である。
音素ラベル表記は、ローマ字を用いて当該音声素片の発音を表記したデータである。ここで、大文字の「Ｑ」は促音を表わし、記号の「：」（コロン）は長音を表わす。従って、例えば、表中の音声素片識別情報が「Ｂ０００１」の行における音素ラベル表記「ｈｏＱｋａｉｄｏ：」は、「ほっかいどー」という発音を表わす。
トライフォンは、音素環境を表わす表記である。例えば、表中の音声素片識別情報が「Ｂ０００９」の行におけるトライフォン「ａ−ｏ＋ｉ」は、当該音声素片の音素「ｏ」に先行する音素が「ａ」であって、後続する音素が「ｉ」であることを表している。このトライフォンにおける表記「ｓｉｌ」は無音を表す。つまり、表中の音声素片識別情報が「Ｂ０００７」の行におけるトライフォン「ｏ−ｉ＋ｓｉｌ」は、当該音声素片の音素「ｉ」に先行する音素が「ｏ」であり、後続する音素が無音であることを表している。このように、例えば表中の音声素片識別情報が「Ｂ０００４」の行と「Ｂ０００５」の行とを比較すると、話者識別情報「Ａ００１」と音素ラベル表記「ａ」が共通であるが、トライフォンが異なっている。つまり、音声データベース記憶部１３０は、音素環境にも応じた音声素片を格納している。
音声信号データは、当該音声素片の音声信号そのものを表わすデータである。この音声信号データは、例えば、時系列の音圧レベルのデータとして表わされたり、所定の短い期間における周波数スペクトルのデータとして表わされたりする。
スペクトル特徴量は、当該音声素片の特徴量を表わすデータであり、例えばＭＦＣＣ（メル周波数ケプストラム係数，Mel-Frequency Cepstrum Coefficient）などを用いる。
基本周波数情報は、当該音声素片の基本周波数を表わすデータであり、当該音声素片における基本周波数の代表的な値、又は基本周波数の時系列の値などを用いる。あるいは、基本周波数の範囲をＨ（Ｈｉｇｈ、高周波数）とＬ（Ｌｏｗ、低周波数）で２値化し、この「Ｈ」または「Ｌ」の時系列の値を基本周波数情報としても良い。
なお、上記のスペクトル特徴量や基本周波数は、後述するように、音声素片の選択の際に用いられる。
【００２８】
なお、目的話者音声データベース１３１と他話者音声データベース１３２とを、個別のデータベーステーブルに格納しても良いし、共通のデータベーステーブルに格納しても良い。いずれの場合にも、話者識別情報をデータ内に保持しているため、目的話者の話者識別情報とデータベース上の話者識別情報を比較することにより、目的話者音声素片と他話者音声素片とを区別することができる。
また、図示したデータ項目のほかに、例えば音声ファイル番号や時間情報等を音声データベース記憶部上のテーブルの項目として保持するようにしても良い。ここで、音声ファイル番号は、テーブルの外部に記憶されており音声信号データ等を保持している音声ファイルを一意に識別するための番号である。また、時間情報は、音声信号データに含まれる対象の音素の時間情報（当該音素の開始点および終了点を先頭からの相対時刻で表した情報）である。
【００２９】
図３は、合成音声記憶部１５０に記憶される合成音声データのデータ構成とデータ例を示す概略図である。図示するように、この音声データベースは表形式のデータであり、合成音声識別情報と、順序と、話者識別情報と、音声素片識別情報と、音素ラベル表記と、音声信号データの各項目を有する。なお、このデータにおいて、合成音声を構成する個々の音声素片ごとに行が存在する。
【００３０】
合成音声識別情報は、合成音声を一意に識別するデータである。
順序は、ある合成音声内での音声素片の順序を示す値である。
話者識別情報は、音声素片の話者を一意に識別するデータであり、音声データベース記憶部１３０に記憶される話者識別情報と同様のものである。
音声素片識別情報は、音声素片を一意に識別するデータである。
音素ラベル表記は、その音声素片の音素ラベルを表わすデータであり、音声データベース記憶部１３０に記憶される音素ラベル表記と同様のものである。
音声信号データは、当該音声素片の音声信号そのものを表わすデータであり、音声データベース記憶部１３０に記憶される音声信号データと同様のものである。
なお、同図に示すデータ例では、合成音声識別情報「Ｃ０００１」によって識別される合成音声の１番目の音声素片の話者識別情報は「Ａ００１」であり、その音声素片識別情報は「Ｂ０００２」であり、その音素ラベル表記は「ｔｏ：ｋｙｏ：」である。また、同合成音声の２番目の音声素片の話者識別情報は「Ａ００２」であり、その音声素片識別情報は「Ｂ０７７７」であり、その音素ラベル表記は「ｋａｒａ」である。３番目以降の音声素片についても同様である。
【００３１】
次に、音声素片の適合度の推定について説明する。音声合成装置１０は、音声素片の適合度として、音素環境適合度と音素特徴量適合度とを用いる。
【００３２】
音素環境適合度推定部１１２は、音素環境適合度を推定する。そのため、音素環境適合度推定部１１２は、音素種類の判別と、前後音素環境の判別と、韻律環境判別とを行う。
【００３３】
音素種類の判別においては、音素環境適合度推定部１１２は、（１）母音か子音かの判別、（２）有声音か無声音かの判別、（３）調音方式による判別を行う。
（１）母音／子音の判別
音素環境適合度推定部１１２は、母音と子音のそれぞれに対して予め定められた指標を記憶しており、適合度推定の対象となる音声素片が母音あるいは子音のいずれであるかに応じて、その指標値を当該音声素片の音素環境適合度の算出に用いる。なお、母音よりも子音の方が、音素環境適合度が高い（適合しやすい）。
（２）有声音／無声音の判別
音素環境適合度推定部１１２は、有声音と無声音のそれぞれに対して予め定められた指標を記憶しており、適合度推定の対象となる音声素片が有声音あるいは無声音のいずれであるかに応じて、その指標値を当該音声素片の音素環境適合度の算出に用いる。なお、有声音よりも無声音の方が、音素環境適合度が高い（適合しやすい）。
（３）調音方式の判別
調音方式とは、音声器官によって声道に閉鎖又は狭まりを形成する方式のことである。例えば、鼻にかかる音である「ｍ」と「ｎ」とは、共通の調音方式に属する。また、一旦口を閉じてから破裂する音である「ｐ」と「ｔ」と「ｋ」とは、共通の調音方式に属する。音素環境適合度推定部１１２は、それぞれの調音方式に対して予め定められた指標を記憶しており、適合度推定の対象となる音声素片の調音方式がそれらのいずれであるかに応じて、その指標値を当該音声素片の音素環境適合度の算出に用いる。
【００３４】
前後音素環境の判別においては、音素環境適合度推定部１１２は、音素の種類ごと及びその話者ごとの前後音素環境の指標を予め記憶している。そして、音素環境適合度推定部１１２は、合成音声記憶部１５０に記憶されている順序のデータに基づいて対象の音声素片の前後の音声素片のデータを読み出し、当該対象の音声素片の前後の音素の種類およびその話者を判別する。そして、音素環境適合度推定部１１２は、判別した音素の種類およびその話者に応じた指標値を、音素環境適合度の算出に用いる。
上記の方法で算出される前後音素環境に基づく適合度は、前後の音のつながりの良さを表わす。
【００３５】
韻律環境の判別においては、音素環境適合度推定部１１２は、音素時間長と、その音素の基本周波数の相対的な高さに応じた指標を予め記憶している。そして、対象の音素の音素時間長と、その音素の基本周波数の相対的な高さのそれぞれに応じた指標値を、音素環境適合度の算出に用いる。
なお、音素時間長が短い程、音素環境適合度が高い（適合しやすい）。また、音素時間長が所定の閾値よりも長い場合には、音素環境適合度が極端に低くなる（利用できない）。また、音素の基本周波数が低い程、音素環境適合度が高い（適合しやすい）。
【００３６】
なお、複数の音素を含む音声素片については、音素環境適合度推定部１１２は、そのそれぞれの音素についての音素環境適合度を算出する。
そして、音素環境適合度推定部１１２は、上で得られた各指標値の重み付総和により音素環境適合度を算出する。
【００３７】
音素特徴量適合度推定部１１３は、音素特徴量適合度を推定する。そのため、音素特徴量適合度推定部１１３は、スペクトル特徴量を比較する処理を行う。ここで利用するスペクトル特徴量は、スペクトル傾斜、ＦＦＴケプストラム係数の１次の係数（Ｃ１）、声帯音源の特性（スペクトル特性）を表わす特徴量、スペクトルの低い周波数帯域のスペクトル重心（低域スペクトル重心）、フォルマント周波数、フォルマントバンド幅などである。
【００３８】
図４は、音素特徴量適合度推定部１１３が求めるスペクトル傾斜を説明するための音声スペクトル包絡を示すグラフである。
同図において、横軸は周波数（単位はヘルツ）、縦軸は強度（単位はデシベル）である。また、図示する音声スペクトル包絡に現れるピーク点が、周波数の低い側から点Ｐ１，Ｐ２，Ｐ３，・・・である。また、同グラフにおける点Ｐ１，Ｐ２，Ｐ３の座標が、それぞれ、（ｆ１、ｍ１），（ｆ２、ｍ２），（ｆ３、ｍ３）である。この周波数ｆ１，ｆ２，ｆ３は、それぞれ、第１、第２、第３フォルマント周波数である。
スペクトル傾斜とは、これら複数のピーク点のうちの所定の２つのピーク点を結ぶ直線の傾斜である。
スペクトル傾斜を算出するために、音素特徴量適合度推定部１１３は、音素の周波数スペクトルの包絡線を求め、その包絡線における複数のピーク点を求め、周波数の低い側から１番目のピークと３番目のピークとを結んだ直線の傾きを計算する。これがスペクトル傾斜であり、周波数の低域から高域にかけての減衰度合いを表わす特徴量である。
つまり、音素特徴量適合度推定部１１３は、下の式（１）によりスペクトル傾斜ｇを計算する。
【００３９】
【数１】
【００４０】
また、スペクトル傾斜を近似する値として、ＦＦＴケプストラム係数の１次の係数を特徴量として利用しても良い。
【００４１】
また、スペクトル傾斜は、声帯音源の特性と音声を発する時の放射特性の影響を受ける。そして、放射特性はほぼ一定と考えることができるため、スペクトル傾斜は声帯音源の特性によって変わると言える。そこで、この声帯音源の特性が影響する他の特徴量を、スペクトル傾斜の代わりに用いても良い。具体的には、声帯音源の特性を表わす特徴量としては、中高域の雑音成分の割合や、ＦＦＴスペクトルから得られる第１調波と第２調波のパワー（デシベル）差分や、ＦＦＴスペクトルから得られる第１調波とＦ３付近ピークのパワー（デシベル）差分のいずれかを用いることができる。
【００４２】
図５は、音素特徴量適合度推定部１１３が求める低域スペクトル重心を説明するための音声スペクトル包絡を示すグラフである。
同図においても同じく、横軸は周波数（単位はヘルツ）、縦軸は強度（単位はデシベル）である。また、Ｌは、スペクトルの低い周波数帯域であり、この帯域Ｌの範囲は予め定められている。
そして、音素特徴量適合度推定部１１３は、下の式（２）により、低域スペクトル重心ｆＷ（スペクトル重心の周波数）を計算する。
【００４３】
【数２】
【００４４】
なお、式（２）におけるｍ（ｆ）は、音声スペクトルにおける周波数ｆでの強度を表わす。
【００４５】
なお、フォルマント周波数は、音声スペクトルにおける複数のピーク（フォルマント）の周波数である。また、フォルマントバンド幅は、上記のフォルマントのバンド幅である。
【００４６】
音素特徴量適合度推定部１１３は、上記のような特徴量を用いて、下の式（３）により、音素間（音素１と音素２）の適合度Ｍを算出する。
【００４７】
【数３】
【００４８】
なお、式（３）において、ｔ１，ｉは音素１のｉ番目の特徴量（スカラー又はベクトル）であり、ｔ２，ｉは音素２のｉ番目の特徴量（スカラー又はベクトル）である。また、ｄ（ｔ１，ｉ，ｔ２，ｉ）は、両特徴量間の距離に応じて定まる値（スカラー）である。また、ｗｉは、ｉ番目の特徴量に対応する重み値であり、この値は予め定められ音素特徴量適合度推定部１１３が記憶している。
ｄ（ｔ１，ｉ，ｔ２，ｉ）の具体例としては、例えば、単純にこれら両特徴量間の距離を用いてよい。このときの適合度Ｍは、下の式（４）を用いて算出される。
【００４９】
【数４】
【００５０】
なお、複数の音素を含む音声素片については、音素特徴量適合度推定部１１３は、そのそれぞれの音素についての音素特徴量適合度を算出する。
なお、音素特徴量適合度推定部１１３が比較の都度、上記の各特徴量を計算する代わりに、予め音声素片の特徴量を計算しておいてその値を音声データベース記憶部１３０に記憶させておき、比較する際に読み出して用いるようにしても良い。
【００５１】
図６は、音声合成装置１０による音声合成の処理手順を示すフローチャートである。以下、このフローチャートに沿って、音声合成装置１０の処理手順を説明する。
【００５２】
なお、このフローチャートの処理に先立って、音声データベース１３０とテキスト記憶部１５５と他話者比率設定記憶部１６０とデフォルト設定記憶部１７０には所定のデータが記憶されている。
音声データベース１３０には、複数の話者の音声素片が予め蓄積されている。
テキスト記憶部１５５には、合成しようとする目的の音声に対応する表記のテキストが記憶されている。具体例としては、テキスト記憶部１５５には、「とーきょー から よこはま へ いきます」（平仮名文）や「東京 から 横浜 へ 行きます」（漢字・仮名混じり文）や「ｔｏ：ｋｙｏ ｋａｒａ ｙｏｋｏｈａｍａ ｅ ｉｋｉｍａｓｕ」（音素ラベル表記）などといったテキストデータが記憶されている。
他話者比率設定記憶部１６０には、合成音声中の全音声素片数のうちの他話者音声素片数の比率の値（例えば、「１５％」など）が設定値として記憶されている。
デフォルト設定記憶部１７０には、合成音声中で他話者音声素片を利用する箇所（例えば、「全箇所」。）、および音声素片を選択する音声データベースの範囲（選択対象とする話者の範囲。例えば、「全話者」。）が設定値として記憶されている。
【００５３】
そして、まずステップＳ１において、他話者音声素片箇所指定部１２０は、ユーザーの操作（入力）に基づき、合成音声中で他話者音声素片を利用する箇所と、音声素片を選択する音声データベースの範囲の指定を受け付け、それらの情報を音声素片選択部１１０に渡す。このとき、合成音声中で他話者音声素片を利用する箇所については、他話者音声素片箇所指定部１２０は、個々の音声素片の単位で指定を受け付ける。例えば、他話者音声素片箇所指定部１２０は、合成音声記憶部１５０に記憶されている合成音声識別情報と順序とを一組として、その一組あるいは複数組のデータにより、他話者音声素片を利用する箇所の指定を受け付ける。また、音声素片を選択する音声データベースの範囲の指定としては、他話者音声素片箇所指定部１２０は、「目的話者音声データベースと他話者音声データベースの両方」又は「他話者音声データベースのみ」のいずれかを表わす情報を受け付ける。またこのとき、特定の単数又は複数の他話者の音声素片のみを選択する場合には、他話者音声素片箇所指定部１２０は、対象とする話者の話者識別情報の指定を受け付けることもできる。
また、このとき、ユーザーの操作により、合成音声中で他話者音声素片を利用する箇所を「全箇所」と指定することができ、また音声素片を選択する音声データベースの範囲（選択対象とする話者の範囲）を「全話者」と指定することもできる。
【００５４】
なお、本ステップにおいて、ユーザーが具体的な指定を行う代わりに、デフォルト設定値を使用することを指定することもできる。デフォルト設定の使用が指定された場合には、音声素片選択部１１０は、デフォルト設定記憶部１７０から設定値を読み出して使用する。
例えば、デフォルト設定記憶部１７０に、合成音声中で他話者音声素片を利用する箇所が「全箇所」であり、また音声素片を選択する音声データベースの範囲（選択対象とする話者の範囲）が「全話者」であることが記憶されている場合には、音声素片選択部１１０は、その設定値を使用する。
【００５５】
なお、ユーザーの指定により、又はデフォルト設定記憶部１７０に設定されている値により、合成音声中で他話者音声素片を利用する箇所を「全箇所」とする場合には、つまり具体的な箇所の指定が行われない場合には、後述する方法により、他話者音声素片数が占める比率が他話者比率設定記憶部１６０に記憶されている比率より大きくならないように、他話者音声素片の適合度の上位の順に他話者音声素片を利用する箇所を決定する。
【００５６】
次にステップＳ２において、音声素片選択部１１０は、他話者比率設定記憶部１６０から比率値を読み出し、合成音声中で他話者音声素片を利用する箇所の比率が設定の範囲内か否かを確認する。具体的には、音声素片選択部１１０は、他話者音声素片箇所指定部１２０から渡された情報に基づき、（合成音声内で他話者音声素片を利用する音声素片数／当該合成音声内の全音声素片数）の値を計算し、この値が他話者比率設定記憶部１６０から読み出した比率値以下であるかどうかを確認する。計算された値が設定の比率値以下である場合（ステップＳ２：ＹＥＳ）には、次のステップＳ３に進む。計算された値が設定の比率値よりも大きい場合（ステップＳ２：ＮＯ）には、再度ユーザーからの操作に基づく指定を受けるためにステップＳ１に戻る。
なお、ステップＳ１において他話者音声素片を利用する箇所が具体的に指定されなかった場合には、本ステップにおける判定結果は常に「ＹＥＳ」となる。
【００５７】
次にステップＳ３において、音声素片選択部１１０は、音声データベース記憶部１３０内の目的話者音声データベース１３１又は他話者音声データベース１３２から、必要な音声素片を選択する。なお、前のステップにおいて特定の箇所（単数又は複数）のみが指定されている場合には、該当する箇所のみについて、利用する音声素片の選択を行う。また、前のステップにおいて特定の話者（単数又は複数）が指定されている場合には、該当するデータベースの当該話者の音声素片の中から選択を行う。ここでの音声素片の選択自体は、従来技術の方法によるものであり、音素ラベルなどのマッチングとともに、音声データベース記憶部１３０に保持されているスペクトル特徴量および基本周波数のマッチングにより行われる選択である。
【００５８】
次にステップＳ４において、音声素片選択部１１０は、選択された他話者音声素片の数をカウントし、その箇所の比率が他話者比率設定記憶部１６０に設定されている比率の範囲内か否かを判定する。設定の範囲内である場合（ステップＳ４：ＹＥＳ）にはステップＳ６に飛び、設定の範囲を超えている場合（ステップＳ５：ＮＯ）には次のステップＳ５に進む。
なお、本ステップで判定結果が「ＮＯ」となり得るのは、ステップＳ１において具体的な箇所の指定がなく、ユーザーの指定により、又はデフォルト設定記憶部１７０に設定されている値により、「全箇所」が指定されていた場合のみである。
【００５９】
ステップＳ５においては、音素環境適合度推定部１１２が他話者音声素片の音素環境の適合度を推定する。そして、音素環境適合度推定部１１２は、上で選択された音声素片について、適合度順に優先順位を決定する。そして、その結果、他話者比率設定記憶部１６０に設定されている比率の範囲内に入らなかった優先順位が下位の他話者音声素片については、その他話者音声素片を棄却し、音声素片選択部１１０が目的話者音声データベース１３１の中から代わりの目的話者音声素片を再選する。つまり、音声素片選択部は、優先順位が下位の他話者音声素片を、再選された目的話者音声素片で置き換える。なお、ここでの音声素片の再選の方法自体は、前述の通り、既存技術によるものである。
つまり、音素環境適合度推定部１１２は、他話者比率設定記憶部１６０に記憶されている設定値に基づいて、適合度が上位の音声素片のみを採用する。
【００６０】
次にステップＳ６において、音素特徴量適合度推定部１１３は、合成音声用に選択されている音声素片の特徴量と比較音素指定部１４０が指定する音声素片との特徴量とを比較し、合成音声用に選択されている音声素片の適合度を推定する。なおこのとき、比較音素指定部１４０が比較対象として指定する音声素片は、目標話者の任意の音素、又は音声素片選択部１１０によって選択されている音声素片のうちの、現在比較しようとしている当該音声素片以外のもののいずれかである。
【００６１】
そしてステップＳ７において、音声素片選択部１１０は、音素特徴量の適合度の低い音声素片が、選択されている音声素片の中に残っているか否かを判定する。この判定は、言い換えれば、比較すべきすべての他話者音声素片について、音素特徴量適合度推定部１１３による音素特徴量の適合度の推定が完了しており、且つその適合度が所定の閾値より低いものが存在するか否かによって行う。音素特徴量の適合度の低い音声素片が残っている場合（ステップＳ７：ＹＥＳ）にはステップＳ８へ進み、そのような音声素片が残っていない場合（ステップＳ７：ＮＯ）にはステップＳ９へ進む。
【００６２】
ステップＳ８に進んだ場合、同ステップにおいては、音声素片選択部１１０は、音素特徴量適合度推定部１１３によって推定された音素特徴量適合度の低い他話者音声素片を棄却し、他の音声素片を再選する。なお、ここでの音声素片の再選の方法自体は、前述の通り、既存技術によるものである。そして、ステップＳ６の処理に戻る。
つまり、すべての音声素片の音素特徴量の適合度が前記の閾値より高くなるまで、音声素片の選択を繰り返す。
つまり、音声素片選択部１１０は、音素特徴量の適合度が高い音声素片を採用する。
【００６３】
ステップＳ９に進んだ場合、音声素片選択部１１０は、選択（採用）された音声素片からなる合成音声を出力し、そしてこのフローチャート全体の処理を終了する。
【００６４】
なお、上述した実施形態における音声合成装置１０の一部又は全部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６５】
以上、実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
例えば、上で述べた適合度（種々の音素環境適合度、および種々の音素特徴量適合度）の全部を利用せず、それらのうちの一部だけを利用して、音声素片選択部が音声素片の採用あるいは棄却等を決定するようにしても良い。
【００６６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００６７】
本発明は、不自然さがなく高品質な合成音声を効率よく生成する目的で利用できる。例えば、本発明は、テレビやラジオ等の放送や、音声による情報提供等の目的で利用することができる。
【符号の説明】
【００６８】
１０…音声合成装置
１１０…音声素片選択部
１１２…音素環境適合度推定部
１１３…音素特徴量適合度推定部
１２０…他話者音声素片箇所指定部
１３０…音声データベース記憶部
１３１…目的話者音声データベース
１３２…他話者音声データベース
１４０…比較音素指定部
１５０…合成音声記憶部
１５５…テキスト記憶部（表記データ記憶部）
１６０…他話者比率設定記憶部
１７０…デフォルト設定記憶部
【特許請求の範囲】
【請求項１】
目的話者および他話者の音声素片を記憶する音声データベース記憶部と、
目的とする合成音声に対応する表記データを記憶する表記データ記憶部と、
複数の音声素片のそれぞれの特徴量に基づき、それら複数の音声素片の間の音素特徴量適合度を算出する音素特徴量適合度推定部と、
前記表記データ記憶部から取得する表記データに基づいて、前記目的とする合成音声を構成する音声素片の候補を前記音声データベース記憶部の中から選択するとともに、選択された前記音声素片の候補のうち、他話者の音声素片と比較対象となる音声素片との間の音素特徴量適合度を前記音素特徴量適合度推定部に算出させ、当該音素特徴量適合度に基づいて当該音声素片の候補を採用するか否かを決定し、その結果採用された前記音声素片によって構成された前記合成音声を出力する音声素片選択部と、
を具備することを特徴とする音声合成装置。
【請求項２】
前記音声素片の音素の種類と、前記合成音声における当該音声素片の前後の音声素片の音素の種類とに少なくとも基づいて音素環境適合度を算出する音素環境推定部を更に具備し、
前記音声素片選択部は、前記音声素片の候補のうち、他話者の音声素片についての音素環境適合度を前記音素環境推定部に算出させ、当該音素環境適合度にも基づいて当該音声素片の候補を採用するか否かを決定する、
ことを特徴とする請求項１に記載の音声合成装置。
【請求項３】
前記音素特徴量適合度推定部は、前記音声素片のスペクトル傾斜又はＦＦＴケプストラム係数の１次の係数又は声帯音源の特性を表わす特徴量のいずれかの値を前記特徴量とする、
ことを特徴とする請求項１または２のいずれか一項に記載の音声合成装置。
【請求項４】
前記音素特徴量適合度推定部は、前記音声素片の音声スペクトルのうち所定の周波数帯域におけるスペクトル重心の周波数を前記特徴量とする、
ことを特徴とする請求項１から3までのいずれか一項に記載の音声合成装置。
【請求項５】
前記音素特徴量適合度推定部は、前記音声素片のフォルマント周波数およびフォルマントバンド幅を前記特徴量とする、
ことを特徴とする請求項１から４までのいずれか一項に記載の音声合成装置。
【請求項６】
他話者の音声素片の数の比率の設定値を記憶する他話者比率設定記憶部を更に具備し、
前記音声素片選択部は、前記合成音声を構成する音声素片のうち他話者の音声素片の比率が前記他話者比率設定記憶部から読み出した前記設定値以下になるように、算出した前記音素環境適合度が上位の他話者の音声素片を採用するとともに、その他の他話者の音声素片については再選した目的話者の音声素片で置き換える、
ことを特徴とする請求項２に記載の音声合成装置。
【請求項７】
目的話者および他話者の音声素片を記憶する音声データベース記憶部と、
目的とする合成音声に対応する表記データを記憶する表記データ記憶部と、
を具備するコンピュータに、
複数の音声素片のそれぞれの特徴量に基づき、それら複数の音声素片の間の音素特徴量適合度を算出する音素特徴量適合度推定過程と、
前記表記データ記憶部から取得する表記データに基づいて、前記目的とする合成音声を構成する音声素片の候補を前記音声データベース記憶部の中から選択するとともに、選択された前記音声素片の候補のうち、他話者の音声素片と比較対象となる音声素片との間の音素特徴量適合度を前記音素特徴量適合度推定過程で算出させ、当該音素特徴量適合度に基づいて当該音声素片の候補を採用するか否かを決定し、その結果採用された前記音声素片によって構成された前記合成音声を出力する音声素片選択過程と、
の処理を実行させるプログラム。
【請求項１】
目的話者および他話者の音声素片を記憶する音声データベース記憶部と、
目的とする合成音声に対応する表記データを記憶する表記データ記憶部と、
複数の音声素片のそれぞれの特徴量に基づき、それら複数の音声素片の間の音素特徴量適合度を算出する音素特徴量適合度推定部と、
前記表記データ記憶部から取得する表記データに基づいて、前記目的とする合成音声を構成する音声素片の候補を前記音声データベース記憶部の中から選択するとともに、選択された前記音声素片の候補のうち、他話者の音声素片と比較対象となる音声素片との間の音素特徴量適合度を前記音素特徴量適合度推定部に算出させ、当該音素特徴量適合度に基づいて当該音声素片の候補を採用するか否かを決定し、その結果採用された前記音声素片によって構成された前記合成音声を出力する音声素片選択部と、
を具備することを特徴とする音声合成装置。
【請求項２】
前記音声素片の音素の種類と、前記合成音声における当該音声素片の前後の音声素片の音素の種類とに少なくとも基づいて音素環境適合度を算出する音素環境推定部を更に具備し、
前記音声素片選択部は、前記音声素片の候補のうち、他話者の音声素片についての音素環境適合度を前記音素環境推定部に算出させ、当該音素環境適合度にも基づいて当該音声素片の候補を採用するか否かを決定する、
ことを特徴とする請求項１に記載の音声合成装置。
【請求項３】
前記音素特徴量適合度推定部は、前記音声素片のスペクトル傾斜又はＦＦＴケプストラム係数の１次の係数又は声帯音源の特性を表わす特徴量のいずれかの値を前記特徴量とする、
ことを特徴とする請求項１または２のいずれか一項に記載の音声合成装置。
【請求項４】
前記音素特徴量適合度推定部は、前記音声素片の音声スペクトルのうち所定の周波数帯域におけるスペクトル重心の周波数を前記特徴量とする、
ことを特徴とする請求項１から3までのいずれか一項に記載の音声合成装置。
【請求項５】
前記音素特徴量適合度推定部は、前記音声素片のフォルマント周波数およびフォルマントバンド幅を前記特徴量とする、
ことを特徴とする請求項１から４までのいずれか一項に記載の音声合成装置。
【請求項６】
他話者の音声素片の数の比率の設定値を記憶する他話者比率設定記憶部を更に具備し、
前記音声素片選択部は、前記合成音声を構成する音声素片のうち他話者の音声素片の比率が前記他話者比率設定記憶部から読み出した前記設定値以下になるように、算出した前記音素環境適合度が上位の他話者の音声素片を採用するとともに、その他の他話者の音声素片については再選した目的話者の音声素片で置き換える、
ことを特徴とする請求項２に記載の音声合成装置。
【請求項７】
目的話者および他話者の音声素片を記憶する音声データベース記憶部と、
目的とする合成音声に対応する表記データを記憶する表記データ記憶部と、
を具備するコンピュータに、
複数の音声素片のそれぞれの特徴量に基づき、それら複数の音声素片の間の音素特徴量適合度を算出する音素特徴量適合度推定過程と、
前記表記データ記憶部から取得する表記データに基づいて、前記目的とする合成音声を構成する音声素片の候補を前記音声データベース記憶部の中から選択するとともに、選択された前記音声素片の候補のうち、他話者の音声素片と比較対象となる音声素片との間の音素特徴量適合度を前記音素特徴量適合度推定過程で算出させ、当該音素特徴量適合度に基づいて当該音声素片の候補を採用するか否かを決定し、その結果採用された前記音声素片によって構成された前記合成音声を出力する音声素片選択過程と、
の処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１３５３４（Ｐ２０１１−１３５３４Ａ）
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願番号】特願２００９−１５８６２６（Ｐ２００９−１５８６２６）
【出願日】平成２１年７月３日（２００９．７．３）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願日】平成２１年７月３日（２００９．７．３）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
[ Back to top ]