音声合成装置、音質修正方法およびプログラム
【課題】利用者の主観に合うように合成音声を修正することが可能な音声合成装置、音質修正方法およびプログラムを提供する。
【解決手段】音声合成装置は、合成音声取得部、範囲取得部と、劣化コスト算出部、劣化種別判定部、劣化種別取得部、修正情報生成部、および音声合成部を有する。音声合成部は、合成音声を取得する。範囲取得部は、音声における修正を行う第１の範囲を取得する。劣化コスト算出部は、第１の範囲における音質劣化に応じた劣化コストを算出する。劣化種別判別部は、修正候補劣化種別を、劣化コストに基づき判定する。劣化種別取得部は、判定された修正候補劣化種別の中から修正劣化種別を取得する。修正情報生成部は、修正劣化種別に基づき音声を修正するための修正情報を生成する。音声合成部は、修正情報に基づき音声の再合成を行うことにより、上記課題の解決を図る。
【解決手段】音声合成装置は、合成音声取得部、範囲取得部と、劣化コスト算出部、劣化種別判定部、劣化種別取得部、修正情報生成部、および音声合成部を有する。音声合成部は、合成音声を取得する。範囲取得部は、音声における修正を行う第１の範囲を取得する。劣化コスト算出部は、第１の範囲における音質劣化に応じた劣化コストを算出する。劣化種別判別部は、修正候補劣化種別を、劣化コストに基づき判定する。劣化種別取得部は、判定された修正候補劣化種別の中から修正劣化種別を取得する。修正情報生成部は、修正劣化種別に基づき音声を修正するための修正情報を生成する。音声合成部は、修正情報に基づき音声の再合成を行うことにより、上記課題の解決を図る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成装置および音質修正方法に関する。
【背景技術】
【０００２】
利用者が入力したテキストを解析して合成音声に変換して読み上げる、音声合成技術がある。例えば、入力されたテキストを解析して目標韻律を作成し、出力音声を組み立てるための情報を記載した波形辞書から目標韻律に応じた適切な波形を選択して接続することにより、合成音声を生成する音声合成技術が知られている。選択できる所望の波形がないときには、使用目的に合致するよう変形を施したり、新たに波形を生成するようにしたりして、自然な音声を出力することを目指している。
【０００３】
合成音声の品質向上のため、合成された音声の品質を予測する予測手段を設け、予測手段により品質が設定値範囲外であると判定された音素片を、利用者に提示する手法が知られている。また、所定の評価基準を用いて複数の合成単位の候補を選択する一次選択部と、選択された複数の候補から素片接続の歪が小さくなるように素片を選び出す二次選択部により素片選択を行う例もある。この例では、さらに、合成時に一定の品質が得られないと判定されると、代替素片処理を行う。
【０００４】
また、合成音声の韻律が自然であるかを、話速、イントネーションなど複数のパラメータについてそれぞれ判定し、判定結果に応じて、信号処理または再度音声素片系列探索を実施することもある。
【０００５】
一方、利用者が合成音声を聞いて品質が悪い箇所を入力し、品質が悪い箇所に対応する音素片に対してペナルティを与えて再合成することにより音質修正を行う方法も知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１−２８４８９８号公報
【特許文献２】特開２００６−３１３１７６号公報
【特許文献３】特開平８−２６３０９５号公報
【特許文献４】特許第３４２３２７６号公報
【特許文献５】特開２００８−１３９６３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記のような現状の合成音声の品質は、人の発声と比べると十分とは言えない。例えば、所々で合成音声の品質劣化が存在するため、利用者が簡便に品質劣化を修正したいという要望が多い。
【０００８】
しかし、予測手段により品質が設定範囲値外の音素片を利用者に提示する例では、提示された音質修正位置が利用者感覚とずれている場合があり、利用者の感覚どおりに音質を修正できないことがある。合成音声の品質を向上させるために音素等を選び直す例では、選びなおした音素等を単純に再合成するだけでは、新規に選ばれた音素または音素列が、利用者の希望する音質になるとは限らず、音質が修正できないことがある。
【０００９】
一方、利用者が品質の悪い箇所を指摘する例においては、利用者が音質修正箇所を的確に指定することは難しく、漠然と指定した場合に、利用者が望まない部分の音質修正を行ってしまう場合がある。
【００１０】
上記課題に鑑み、本発明は、利用者の主観に合うように合成音声を修正することが可能な音声合成装置、音質修正方法およびプログラムを提供する。
【課題を解決するための手段】
【００１１】
ひとつの態様である音声合成装置は、合成音声取得部、範囲取得部と、劣化コスト算出部、劣化種別判定部、劣化種別取得部、修正情報生成部、および音声合成部を有することを特徴としている。合成音声取得部は、合成された音声を取得する。範囲取得部は、前記音声における修正を行う第１の範囲を取得する。劣化コスト算出部は、前記第１の範囲における音質劣化に応じた情報である少なくとも一つの劣化コストを算出する。劣化種別判定部は、前記第１の範囲において修正を行う候補となる前記音質劣化の性質に応じた少なくとも一つの修正候補劣化種別を、少なくとも一つの前記劣化コストに基づき判定する。劣化種別取得部は、判定された前記修正候補劣化種別の中から修正を行うために選択される修正劣化種別を取得する。修正情報生成部は、前記修正劣化種別に基づき前記音声を修正するための修正情報を生成する。音声合成部は、前記修正情報に基づき前記音声の再合成を行う。
【００１２】
別の態様である音声修正方法は、合成された音声を取得し、前記音声における修正を行う第１の範囲を取得し、前記第１の範囲における音質劣化に応じた情報である少なくとも一つの劣化コストを算出する。また、音声修正方法は、前記第１の範囲において修正を行う候補となる前記音質劣化の性質に応じた少なくとも一つの修正候補劣化種別を、少なくとも一つの前記劣化コストに基づき判定する。さらに、音声修正方法は、判定された前記修正候補劣化種別の中から修正を行うために選択される修正劣化種別を取得し、前記修正劣化種別に基づき前記音声を修正するための修正情報を生成し、前記修正情報に基づき前記音声の再合成を行うことを特徴としている。
【００１３】
なお、上述した本発明に係る方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した本発明に係る方法と同様の作用・効果を奏するので、前述した課題が解決される。
【発明の効果】
【００１４】
上述した態様の音声合成装置、音声修正方法およびプログラムによれば、利用者の主観に合うように合成音声を修正することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態による音声合成装置の構成を示すブロック図である。
【図２】第１の実施の形態による音声合成装置の機能を示すブロック図である。
【図３】第１の実施の形態による素片選択ペナルティを示す図である。
【図４】第１の実施の形態による素片接続ペナルティを示す図である。
【図５】第１の実施の形態による「音素環境」について説明する図である。
【図６】第１の実施の形態による劣化コスト関数および劣化種別を示す図である。
【図７】第１の実施の形態による音声合成装置における劣化種別表示の動作を示すフローチャートである。
【図８】第１の実施の形態による表音テキストおよび連続音素列の表示例を示す図である。
【図９】第１の実施の形態による劣化種別判定の動作を示すフローチャートである。
【図１０】第１の実施の形態による劣化位置の例を示す図である。
【図１１】第１の実施の形態による劣化種別選択の動作を示すフローチャートである。
【図１２】第１の実施の形態の変形例による劣化種別判定の動作を示すフローチャートである。
【図１３】第２の実施の形態による音声合成装置の機能を示すブロック図である。
【図１４】第２の実施の形態による劣化範囲指定の動作を示すフローチャートである。
【図１５】第２の実施の形態による劣化種別指定の動作を示すフローチャートである。
【図１６】標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１６】
（第１の実施の形態）
以下、図面を参照しながら第１の実施の形態による音声合成装置について説明する。なお、本明細書において、音素とは、母音、撥音、促音、および子音の１つ１つに相当する文言である。モーラとは、母音、撥音、促音、または「子音＋母音」のような、日本語発声の１音に相当する文言である。
【００１７】
まず、図１および図２を参照しながら、第１の実施の形態による音声合成装置１の構成について説明する。図１は、第１の実施の形態による音声合成装置の構成を示すブロック図、図２は、第１の実施の形態による音声合成装置の機能を示すブロック図である。
【００１８】
図１に示すように、音声合成装置１は、入力部３、記憶部５、音声合成部７、音質修正決定部９、および出力部１１を有しており、互いにバス１３で接続されている。入力部３は、音声合成装置１の利用者により操作されると、その操作内容に対応付けられている利用者からの各種情報の入力を取得し、取得した入力情報を音声合成部７または音質修正決定部９に送付する装置であり、キーボード装置、マウス装置、タッチパネル装置等である。
【００１９】
記憶部５は、例えば、読出し可能な半導体記憶装置、随時書込み読出し可能な半導体記憶装置、および随時書込み読出し可能な可搬記憶媒体等である。記憶部５は、音声合成装置１の基本動作を制御するためのプログラムや、後述する音声合成を実行するために必要な情報を格納したり、音声合成の処理において必要に応じて作業領域として使用したりするための記憶装置である。
【００２０】
音声合成部７は、例えば、利用者が入力部３を介して入力した表音テキストに従って音声合成の際の目標韻律を生成し、目標韻律に従って適切な音声素片の選択を行い、選択した音声素片を互いに接続することにより、選択接続情報を生成する。さらに音声合成部７は、生成された選択接続情報に基づいて波形処理を行い、合成音声を生成する。
【００２１】
音質修正決定部９は、音声合成部７で生成された合成音声を取得し、利用者が入力した音質劣化を感じる音質劣化範囲を取得し、音質劣化範囲について、音質劣化の性質に応じた劣化種別を利用者に提示する。劣化種別としては、例えば「音（音質）が悪い」「抑揚が悪い」「滑舌が悪い」等が挙げられる。提示された劣化種別から利用者が修正すべき修正劣化種別を選択すると、音質修正決定部９は、選択された修正劣化種別を取得し、修正劣化種別に応じた修正を行うための修正情報を出力する。
【００２２】
出力部１１は、音声合成部７で合成される音声や音質修正決定部９から出力される修正情報に基づいて再合成される音声を出力するスピーカ、および音質修正決定部９で判定される劣化種別等を表示する表示装置等である。バス１３は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００２３】
次に、図２を参照しながら、音声合成装置１の構成についてさらに詳細に説明する。図２に示すように、音声合成部７は、言語処理部２３、韻律生成部２５、素片選択接続部２７、および波形処理部２９の機能を有している。記憶部５は、言語辞書３１、韻律辞書３３、および波形辞書３５を格納している。音質修正決定部９は、範囲取得部４１、劣化コスト算出部４３、劣化種別判定部４５、劣化位置取得部４７および修正手段決定部４９の機能を有している。音質修正Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＵＩ）部２１は、入力部３および出力部１１のインタフェース機能を代表して表したものである。
【００２４】
なお、音声合成部７、音質修正決定部９は、例えば不揮発性の記憶装置に予めそれぞれの機能を実現するためのプログラムを格納しておき、不図示の演算装置によりそれらのプログラムを読み込んで実行することにより実現される機能とすることができる。
【００２５】
音質修正ＵＩ部２１は、利用者と音声合成装置１との間で情報の入出力を行なうためのインタフェース装置であり、利用者から音声合成を行うための入力テキストを入力されるとともに、表音テキスト、合成音声波形を不図示の表示装置の画面などに提示する。また、音質修正ＵＩ部２１は、合成音声を音声として出力し、利用者が合成音声に音質劣化を感じた場合、音声合成波形または表音テキストにおいて指定する、劣化していると感じた音質劣化範囲を取得する。更に、利用者が範囲指定した領域内で判定した音質の劣化種別を、ポップアップメニューなどで利用者へ提示し、利用者はその中から自分の感じた音質劣化内容と一致する劣化種別を選択できるように構成する。
【００２６】
音声合成部７の言語処理部２３は、音質修正ＵＩ部２１を介して入力された入力テキストを、記憶部５に格納された言語辞書３１を参照しながら品詞分解等の解析を行い、表音テキストを生成する。入力テキストとは、例えば「今日の天気は晴れです。」等、音声合成の対象となる文章などである。表音テキストとは、入力テキストの読みをカタカナで表現し、アクセント位置などを記号で表現したもので、例えば「キョ’ーノ／テ’ンキハ／ハレ’デス．」などの文字列である。ここで、「’」はアクセントの位置を、「／」はアクセント句の区切りを、「．」は文末（句点）を示している。アクセント句とは、１アクセントを構成する文節境界単位、またはそれより細かい単位の区切りを意味する。上述の文例は３アクセント句で構成され、各アクセント句が文節境界単位と一致した例である。また、言語辞書３１とは、単語の読みや品詞、文法、更にはアクセント情報などを記録した情報である。
【００２７】
韻律生成部２５は、生成された表音テキストをさらに音素にし、韻律辞書３３を参照しながら、音声合成の目標とする目標韻律を生成する。ここで韻律は、例えば音の長さ、高さ、大きさ等を、音声の時間に対する周波数、および振幅の変化で表した情報である。韻律辞書３３には、例えばナレータやアナウンサ等の膨大な音声データから、様々な音の強弱や長短、高低によって構成されるリズムのバリエーションを抽出して統計処理した韻律情報が格納されている。目標韻律とは、入力テキストから合成音声を生成する際に目標とする韻律であり、前述の表音テキストに基づいて、韻律辞書３３に格納された韻律情報から生成した、適切な音の強弱、長短、高低変化のリズムである。
【００２８】
素片選択接続部２７は、生成された目標韻律に従って波形辞書３５の中から適切な音声素片の選択を行うとともに互いに接続するための選択接続情報を生成する。波形辞書３５には、収録したナレータ音声波形と様々な音素情報（音声形に対応した音素名、音素長、ピッチ周波数など）が格納されている。以下、素片とは、素片選択によって選択された音素列（１つ以上の連続する音素）、またはモーラ列（１つ以上の連続するモーラ）の１まとまりを指していう。なお、素片は、選択次第で、１音素にも、Ｎ音素にもなりうる。
【００２９】
素片選択接続部２７は、韻律生成部２５で生成された目標韻律になるべく近い素片を波形辞書３５から選択（素片選択）し、更に、選択した各素片の中から、素片同士の接続境界が自然な韻律となる素片を選択（素片接続）する。素片を選択する際には、後述する素片選択ペナルティおよび素片接続ペナルティを算出し、それらを用いて算出した素片選択ペナルティ評価値ＰＰおよび素片接続ペナルティ評価値ＰＣがなるべく小さい値となるように選択を行う。
【００３０】
素片選択接続部２７は、選択接続情報と、算出した素片選択ペナルティおよび素片接続ペナルティを中間情報として範囲取得部４１へ出力する。また、素片選択接続部２７は、後述の修正手段決定部４９から修正情報を受け取り、音声の再合成のための素片選択を再び行うとともに、素片接続情報を再生成する。
【００３１】
波形処理部２９では、素片選択接続部２７で生成された選択接続情報に基づいて、波形辞書３５から選択された素片波形を読出し、波形処理によって互いに接続し、合成音声を生成する。
【００３２】
音質修正決定部９の範囲取得部４１は、利用者が指定した音質劣化範囲と、音声合成部７の言語処理部２３、韻律生成部２５および素片選択接続部２７で生成された中間情報に基づいて、音質修正を行う範囲を取得する。すなわち、範囲取得部４１は、音質修正ＵＩ部２１を介して利用者が指定した音質劣化範囲に対応する、合成音声の範囲（以下、対象音素範囲という）を取得する。このとき、範囲取得部４１は、音質劣化範囲を完全に含んだ、音素単位、音素列単位、モーラ単位、およびモーラ列単位のいずれかの区切りを音声の再合成を行う再合成範囲として決定するように構成してもよい。
【００３３】
劣化コスト算出部４３は、音質劣化範囲に対応した対象音素範囲において、各劣化コストを算出する。劣化コストとその劣化コスト関数は、音声合成部７の中間情報の１つである素片選択ペナルティ、または素片接続ぺナルティを含む少なくとも１つの組み合わせによって定義される。劣化コスト算出部４３は、劣化コスト関数から劣化コストを算出する。劣化コストは、上述の音質劣化範囲における音素毎、またはモーラ毎に算出することが好ましいが、合成音素単位（音素列単位、モーラ列単位）毎であってもよい。以下、音素単位、モーラ単位、音素列単位、モーラ列単位を総称して、素片単位という。劣化コストの詳細は後述する。
【００３４】
なお、素片選択ペナルティとは、目標とする韻律（ピッチや音素長等）や、音響特徴量（音色等）に対し、波形辞書３５から選択した音声素片の韻律や音響特徴量との差異を定量化して、ペナルティとして定義したものである。素片接続ペナルティとは、選択した素片同士を接続する際に、その境界前後の韻律や音響特徴量の差異を定量化してペナルティとして定義したものである。素片選択ペナルティ、素片接続ペナルティとも差異が大きい程、目標の韻律や音響特徴量から外れて音質劣化となる。各ペナルティの組み合わせを劣化コスト関数の構成要素として定義することで、劣化種別を判定するのに適した劣化コストとなり、劣化種別の判定精度を向上することが可能となる。素片選択ペナルティ、素片接続ペナルティの詳細は後述する。
【００３５】
劣化種別判定部４５は、算出された劣化コストに基づき、音質の劣化種別を判定する。劣化種別判定部４５は、劣化種別を例えば「音（音質）、抑揚、滑舌」などの音質劣化の性質に分類する。各劣化種別は、少なくとも１つの劣化コストに基づいて分類される。劣化コストの中で、値の高い順から所定順位以上の劣化コストに対応する劣化種別、または、予め定められた所定の閾値を超えている劣化種別を、劣化種別判定部４５は、音質修正候補の劣化種別と判定する。以下、音質修正候補の劣化種別を、修正候補劣化種別という。以下、劣化コストの値が、値の高い順から所定順位以上の劣化コストを、劣化コスト上位という。劣化種別判定部４５は、判定された修正候補劣化種別を音質修正ＵＩ部２１を介して利用者に提示する。
【００３６】
このように、劣化種別判定部４５は、各劣化コストのうち、少なくとも１つの劣化コスト上位を含む劣化種別を、音質修正候補の劣化種別と判定するように構成する。これは、劣化コストが高いものは音質劣化の原因である可能性が高く、このように劣化コスト上位を含む劣化種別が音質の劣化原因である可能性が高いためである。
【００３７】
また、劣化種別判定部４５は、音質修正候補の有無に関わらず、全ての劣化種別を、音質修正ＵＩ部２１を介して利用者に提示してもよい。これは、利用者が感じた音質劣化の劣化種別が選択肢として無い場合、利用者が音質修正のための手段を失うことを回避するためである。音質修正候補でない劣化種別が利用者によって選択された場合は、例えば、その劣化種別の修正に最適な不図示の手動修正ＵＩを起動するように構成することが好ましい。
【００３８】
劣化位置取得部４７は、音質修正候補と判定された修正候補劣化種別について、劣化種別の劣化コスト値と、その劣化位置を取得し、保持する。利用者は、音質修正ＵＩ部２１上で、提示された修正候補劣化種別の中から、自らの感覚に合った劣化種別を選択する。利用者により選択され、音声合成装置１により取得された劣化種別を、以下、修正劣化種別という。
【００３９】
ただし、劣化位置取得部４７は、劣化種別が音質修正候補か否かに関わらず、全ての劣化種別の劣化コストとその劣化位置を取得、保持するように構成してもよい。これは、音質修正候補の劣化種別と判定できなくとも、利用者が音質劣化を感じる劣化種別として選択した場合に、その劣化種別と、対応する劣化コストを音質劣化修正候補とすることで、音質修正が可能となる。
【００４０】
修正手段決定部４９は、音質修正ＵＩ部２１を介して利用者が選択した修正劣化種別を取得し、劣化位置取得部４７から劣化種別に対応した劣化コストと劣化位置を取得し、範囲取得部４１から、音声の再合成を行う再合成範囲を取得する。修正手段決定部４９は、再合成範囲と、修正劣化種別に対応する各劣化コストとに基づいて音質劣化を改善するため、劣化コストに対応した素片選択ペナルティ、素片接続ペナルティを改善するための修正情報を生成し、素片選択接続部２７へ出力する。修正情報は、後述する素片選択ペナルティ評価値ＰＰおよび素片接続ペナルティ評価値ＰＣを含む。
【００４１】
以上の構成により、音声合成装置１は、利用者が指定した音質劣化範囲から音質劣化位置とその音質劣化種別を判定し、音質劣化種別を利用者へ提示する。利用者は提示された劣化種別の中から、自らの感覚に合った劣化種別を選択し、音声合成装置１は、劣化種別に応じた音質修正を行う。
【００４２】
以下、図３、図４を参照しながら、素片選択ペナルティ、素片選択ペナルティ評価値ＰＰ、素片接続ペナルティおよび素片接続ペナルティ評価値ＰＣについて説明する。図３は、素片選択ペナルティを示す図である。図３に示すように、素片選択ペナルティとは、合成する音声の目標韻律（ピッチ周波数、音素長、音響特徴量など）と、波形辞書３５から選択する素片の韻律の差異を定量化してペナルティとして与えることで、より目標韻律に近い素片を選び、合成音声の音質劣化を抑えるための変数である。なお、ペナルティとは、音声の劣化度合いに対応した参照値を意味する。
【００４３】
図３の表７５に示すように、素片選択ペナルティとしては、ピッチペナルティＰＰａａ、ＰＰａｂ、音素長ペナルティＰＰｂａ、ＰＰｂｂ、音色ペナルティＰＰｃａが例示されている。ピッチペナルティＰＰａａ、ＰＰａｂは、ピッチ周波数に関するペナルティである。ピッチペナルティＰＰａａは、目標韻律におけるピッチ周波数（以下、目標ピッチ周波数という。以下同様）が波形辞書３５から選択した素片のピッチ周波数（以下、波形辞書素片ピッチ周波数という。以下同様）以上である場合である。音素長ペナルティＰＰｂｂは、目標ピッチ周波数が波形辞書素片ピッチ周波数未満である場合である。
【００４４】
音素長ペナルティＰＰｂａ、ＰＰｂｂは、音素長に関するペナルティである。音素長ペナルティＰＰｂａは、目標音素長が波形辞書素片音素長以上の場合であり、音素長ペナルティＰＰｂｂは、目標音素長が波形辞書素片音素長未満の場合である。音色ペナルティＰＰｃａは、音色（音響特徴量）に関するペナルティである。音色ペナルティＰＰｃａは、目標音色が、波形辞書素片音色と有意な差がある場合である。
【００４５】
以下、素片選択ペナルティの定義の例を以下に示す。
ピッチペナルティＰＰａａ＝Σ（目標ピッチ周波数／波形辞書素片ピッチ周波数）・・・（式Ａ１−１）
式Ａ１−１において、Σは、対象音素範囲が単独音素である場合のピッチ比率の和を示す。
ピッチペナルティＰＰａａ＝Σ（Σ（目標ピッチ周波数／波形辞書素片ピッチ周波数））・・・（式Ｂ１−１）
式Ｂ１−１において、一つ目のΣは、対象音素範囲における全ての音素についての和を示し、二つ目のΣは、対象音素範囲における各音素の各ピッチ比率の和を示す。なお、式Ａ１−１、式Ｂ１−１においては、目標ピッチ周波数≧波形辞書素片ピッチ周波数について合算する。
【００４６】
ピッチペナルティＰＰａｂ=Σ（波形辞書素片ピッチ周波数／目標ピッチ周波数）・・・（式Ａ１−２）
ピッチペナルティＰＰａｂ=Σ（Σ（波形辞書素片ピッチ周波数／目標ピッチ周波数））・・・（式Ｂ１−２）
ここで、Σについては、式Ａ１−２は式Ａ１−１と同様であり、式Ｂ１−２は、式Ｂ１−１と同様である。なお、式Ａ１−２、式Ｂ１−２においては、目標ピッチ周波数＜波形辞書素片ピッチ周波数について合算する。
【００４７】
ピッチペナルティＰＰａａが高値であれば、「目標ピッチ周波数≧波形辞書素片ピッチ周波数」の傾向が強く、目標とする声の高さより合成音声が低い声である傾向が強いことを示す。また、ピッチペナルティＰＰａｂが高値であれば、「目標ピッチ周波数＜波形辞書素片ピッチ周波数」の傾向が強く、目標の声の高さよりも合成音声が高い声である傾向が強いことを示す。このように、ピッチペナルティＰＰａａ、ＰＰａｂのいずれに関しても、値が高い場合には、抑揚やアクセントが不自然な合成音声となる傾向が強い。
【００４８】
上記のように、（式Ａ１−１）、（式Ａ１−２）は、音素単位でピッチペナルティを積算し、１音素単位のピッチペナルティを算出する式である。（式Ｂ１−１）、（式Ｂ１−２）は、複数音素のピッチペナルティを積算し、音素列単位のピッチペナルティを算出する式である。両式のいずれも、目標と波形辞書素片の抑揚差を反映したペナルティとなり、抑揚の不自然さを知る手がかりとなる。算出された音素または音素列におけるピッチペナルティＰＰａａ、ＰＰａｂは、全て例えば記憶部５に保持され、必要に応じて読み出し可能であることが好ましい。
【００４９】
また、ピッチペナルティＰＰａａ、ＰＰａｂを音素単位で算出する代わりにモーラ単位で算出するようにしてもよく、音素列単位で算出する代わりにモーラ列単位で算出するようにしてもよい。
【００５０】
「音素長ペナルティ」は、目標音素長と波形辞書の音素長の差異をペナルティとして定量化したもので、例えば下式で定義される。
音素長ペナルティＰＰｂａ＝目標音素長／波形辞書音素長・・・（式Ａ２−１）
音素長ペナルティＰＰｂａ＝Σ（目標音素長／波形辞書音素長）・・・（式Ｂ２−１）
Σは、対象音素範囲における各音素の音素長比率の和を示す。ここでは、目標音素長≧波形辞書音素長である場合について合算する。
音素長ペナルティＰＰｂｂ＝波形辞書音素長／目標音素長・・・（式Ａ２−２）
音素長ペナルティＰＰｂｂ＝Σ（波形辞書音素長／目標音素長）・・・（式Ｂ２−２）
Σは、対象音素範囲における各音素の音素長比率の和を示す。ここでは、目標音素長≦波形辞書音素長である場合について合算する。
【００５１】
ここで、音素長ペナルティＰＰｂａが高値であれば「目標音素長≧波形辞書音素長」の傾向が強く、目標より早い（慌しい）合成音声である傾向が強いことを示す。音素長ペナルティＰＰｂｂが高値であれば「目標音素長＜波形辞書音素長」の傾向が強く、目標より遅い（たどたどしい）合成音声である傾向が強いことを示す。いずれの場合も、滑舌が不自然な合成音声となる傾向が強い。
【００５２】
なお、（式Ａ２−１）、（式Ａ２−２）は、音素単位で音素長ペナルティを積算し、１音素単位の音素長ペナルティを算出する。（式Ｂ２−２）（式Ｂ２−２）は、複数音素の音素長ペナルティを積算し、音素列単位の音素長ペナルティを算出する。両式のいずれも、目標と波形辞書素片の滑舌を反映したペナルティとなり、滑舌の不自然さを知る手がかりとなる。算出された音素または音素列における音素長ペナルティＰＰｂａ、ＰＰｂｂは、全て例えば記憶部５に保持され、必要に応じて読み出し可能であることが好ましい。
【００５３】
また、音素長ペナルティＰＰｂａ、ＰＰｂｂを音素単位で算出する代わりにモーラ単位で算出するようにしてもよく、音素列単位で算出する代わりにモーラ列単位で算出するようにしてもよい。
【００５４】
「音色ペナルティ」は、目標音色と波形辞書音素の音色との差異をペナルティとして定量化したもので、例えば下式で定義すればよい。
音色ペナルティＰＰｃａ=ｓｑｒｔ（Σ（目標ＭＦＣＣ（ｎ）−波形辞書ＭＦＣＣ（ｎ））２）・・・（式Ａ３−１）
式Ａ３−１において、Σは、対象音素範囲が単独音素である場合の音素音色の二乗和平均を示す。
【００５５】
音色ペナルティＰＰｃａ=Σ（ｓｑｒｔ（Σ（目標ＭＦＣＣ（ｎ）−波形辞書ＭＦＣＣ（ｎ））２））・・・（式Ｂ３−１）
式Ｂ３−１において、一つ目のΣは、対象音素範囲における全ての音素についての和を示し、二つ目のΣは、対象音素範囲が単独音素である場合の各音素音色の二乗和平均を示す。
【００５６】
音色ペナルティＰＰｃａでは、音色を表現する音響特徴量として、メル周波数ケプストラム係数（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｃｙ：ＭＦＣＣ）が利用される。式Ａ３−１、式Ｂ３−１は、Ｎ次元のＭＦＣＣを音色として採用した例である。目標のＭＦＣＣは、予め目的別かつ音素別に平均的なＭＦＣＣを算出しておけばよく、目標ＭＦＣＣと対象音素ＭＦＣＣのＮ次の二乗和平均を音色ペナルティと定義すればよい。なお、目的別とは、例えば、通常音声合成と、感情（喜・怒・哀・楽など）を表現した感情音声合成のような目的が異なる音声合成のことをいう。例えば、通常音声合成と感情音声合成とでは、同じ音素でも音色が異なるため、その目的別に、音素別の平均的なＭＦＣＣを予め算出しておくことが好ましい。
【００５７】
ここで、音色ペナルティＰＰｃａが高値であれば、波形辞書音素と目標の音色が異なる傾向が強いため、不自然な音（音質）となる傾向が強い。なお、式Ａ３−１は、音素単位で音色ペナルティを積算し、１音素単位の音色ペナルティを算出する。式Ｂ３−１は、複数音素の音色ペナルティを積算し、音素列単位の音色ペナルティを算出する。両式のいずれも、目標と波形辞書素片の音色を反映したペナルティとなり、音質の不自然さを知る手がかりとなる。算出された音素または音素列における音色ペナルティＰＰｃａは、全て例えば記憶部５に保持され、必要に応じて読み出し可能であることが好ましい。また、音色ペナルティＰＰｃａを音素単位で算出する代わりに、モーラ単位で算出してもよく、音素列単位で算出する代わりにモーラ列単位で算出することにしてもよい。
【００５８】
次に、図４を参照しながら、素片接続ペナルティについて説明する。図４は、素片接続ペナルティを示す図である。素片接続ペナルティとは、素片選択ペナルティで選択した素片列（音素列）同士を接続する際に、その接続境界における音響的特徴の差異を定量化してペナルティとして与えることで、より接続境界の音響特徴量が合う接続を選び、合成音声の音質劣化を抑えるための変数である。
【００５９】
「ピッチ変化ペナルティ」は、波形辞書から選択された素片列（音素列）同士を接続する場合に、接続境界前後のピッチ周波数の差異をペナルティとして定量化したもので、例えば下式で定義する。
【００６０】
ピッチ変化ペナルティＰＣａａ＝境界前ピッチ周波数／境界後ピッチ周波数・・・（式Ａ４−１）
ただし、境界前ピッチ周波数≧境界後ピッチ周波数となる場合について合算している。
【００６１】
ピッチ変化ペナルティＰＣａｂ=境界後ピッチ周波数／境界前ピッチ周波数・・・（式Ａ４−２）
ただし、境界前ピッチ周波数≦境界後ピッチ周波数となる場合について合算している。
【００６２】
ここで、ピッチ変化ペナルティＰＣａａの値が高値である程「境界前ピッチ周波数≧境界後ピッチ周波数」の傾向が強く、境界前から境界後に向かって、声の高さが急に低くなる合成音声となる。ピッチ変化ペナルティＰＣａｂの値が高値である程「境界前ピッチ周波数≦境界後ピッチ周波数」の傾向が強く、境界前から境界後に向かって、声の高さが高くなる合成音声となる。いずれの場合も、抑揚やアクセントが不自然な合成音声となる傾向が強い。
【００６３】
「音素環境ペナルティ」は、波形辞書から選択された素片列（音素列）同士を接続する場合、接続境界前後の音素環境の差異をペナルティとして定量化したもので、例えば下式で定義する。
音素環境ペナルティＰＣｂａ＝境界前音素環境スコア・・・（式Ａ５−１）
音素環境ペナルティＰＣｂｂ＝境界後音素環境スコア・・・（式Ａ５−２）
【００６４】
以下、音素環境ペナルティＰＣｂａ、ＰＣｂｂについて、図５を参照しながら説明する。図５は、「音素環境」について説明する図である。図５に示すように、例えば、接続境界３６２より前の境界前音素列３５０が「庵」で、表音テキスト３５２が「イオリ」、合成音素列３５４が「家」で、表音テキスト３５６が「イエ」、境界後音素列３５８が「上」で、表音テキスト３６２が「ウエ」であるとする。
【００６５】
上記の例では、音素列「庵」の先頭音素「イ」と、音素列「上」の終端音素「エ」を素片接続して「家(イエ)」を合成するが、このような場合、音質が劣化する傾向が強い。すなわち、通常「イエ」という発声は、「イ」の発声部分と、「エ」の発声部分と、「イからエ」へ変化する“渡り”と呼ばれる発声部分に分かれる。ところが、「庵」は「イからオ」に変化する「イ」、「上」は「ウからエ」に変化する「エ」であり、いずれも渡りの部分が、合成音素「家（イエ）」の渡りと全く一致しないため、渡り部分の音色が不自然となって音質劣化となる傾向が強い。
【００６６】
したがって、境界接続においては、少なくとも境界前後の２音素の一致（音素環境の一致）が重要であり、不一致の場合に音質劣化となりやすいため、不一致の場合は、音素環境スコアをペナルティとして採用する。よって、音素環境スコアは、合成音素と境界前または境界後の音素とが一致する場合はスコア０と定義し、不一致の場合は、合成音素と波形辞書音素の種類に応じて正スコアを加点するように構成する。よって、上記のように、音素環境ペナルティＰＣｂａ、ＰＣｂｂの値が高値である程、接続境界において不自然な音質の合成音声となる傾向が強い。
【００６７】
「音色変化ペナルティ」は、波形辞書３５から選択された素片列（音素列）同士を接続する場合、接続境界前後の音色の差異をペナルティとして定量化したもので、例えば下式で定義する。
音色変化ペナルティＰＣｃａ＝ｓｑｒｔ（Σ（境界前置音素ＭＦＣＣ（ｎ）−境界後置音素ＭＦＣＣ（ｎ））２）・・・（式Ａ６−１）
音色を表現する音響特徴量として、前述の「音色ペナルティ」で説明したメル周波数ケプストラム係数（ＭＦＣＣ）を利用し、境界前音素と境界後音素の音色差を音色変化ペナルティとして表現する。
【００６８】
例えば、長母音「アー」を「ア」と「ア」の音素境界で接続して合成する場合には、様々な音色の「ア」があるため、音色の異なる「ア」同士を接続すると、不自然な音質の音声となる。すなわち、音色変化ペナルティＰＣｃａの値が高値である程、接続境界において不自然な音（音質）の合成音声となる。
【００６９】
また、上記合成音声が「イエ」の場合のように、前置と後置の音素が異なる素片を用いた場合は、「イ」の後半の渡り部分と「エ」の前半の渡り部分のメル周波数ケプストラムを対象にして式Ａ６−１による音色変化ペナルティＰＣｃａを利用すれば、異なる音素同士であっても、その渡り部分の音色差に応じてペナルティを与えることが可能となる。
【００７０】
なお、上記式Ａ６−１は、Ｎ次元のＭＦＣＣを音色として採用した例である。目標のＭＦＣＣは、予め目的別かつ音素別に平均的なＭＦＣＣを算出しておけばよく、目標ＭＦＣＣと対象音素ＭＦＣＣのＮ次の二乗和平均を音色ペナルティと定義すればよい。
上記素片接続ペナルティの各算出値は、全て例えば記憶部５に記憶され、必要に応じて読み出し可能であることが好ましい。
【００７１】
素片選択接続部２７は、算出された各素片選択ペナルティおよび素片接続ペナルティにより算出される、以下の素片選択ペナルティ評価値ＰＰおよび素片接続ペナルティ評価値ＰＣが最小になるように、素片の選択および接続を行う。
素片選択ペナルティ評価値ＰＰ＝α１×ＰＰａａ＋α２×ＰＰａｂ＋α３×ＰＰｂａ＋α４×ＰＰｂｂ＋α５×ＰＰｃａ・・・式Ｃ１
素片接続ペナルティ評価値ＰＣ＝β１×ＰＣａａ＋β２×ＰＣａｂ＋β３×ＰＣｂａ＋β４×ＰＣｂｂ＋β５×ＰＣｃａ・・・式Ｃ２
ここで、αｌ、βｌ（ｌ＝１、２、・・・）は、算出された各素片選択ペナルティまたは素片接続ペナルティの音声合成に対する影響度に対応する重み係数である。
【００７２】
次に、図６を参照しながら、「音質の劣化種別と劣化コストの対応付け」および「劣化コスト関数」の説明を以下に示す。図６は、劣化コスト関数および劣化種別を示す図である。なお、図６における係数ｗ１０〜ｗ６７は、劣化コスト関数で構成される劣化コストを同一レンジで対比するための正規化係数であり、Ｗ００〜Ｗ２７は、劣化コストで構成される各劣化種別を同一レンジで対比するための正規化係数である。
【００７３】
まず、劣化種別の「音（音質）」（以下、単に「音」と記載する）について説明する。音声合成に精通しない一般利用者は、音質劣化を分類することができないケースが多く、抑揚の不自然さや、滑舌の不自然さ、誤アクセントなどを全て区別が不可能な音質の劣化と捕らえることが多い。このため、劣化種別の「音」では、素片選択ペナルイティと素片接続ペナルティの全てを含んだ劣化コスト、およびその劣化コスト関数を定義することが好ましい。
【００７４】
例えば、図６に示すように、「音」が音質劣化の劣化種別であるとする場合に、劣化コストＣ００〜Ｃ０５を以下のように定義することにより算出する。
Ｃ００＝Ｗ００×（ｗ１０×ＰＰａａ＋ｗ１１×ＰＰａｂ）・・・式（１−１）
なお、この場合、判別される劣化原因は「ピッチ差」である。
Ｃ０１＝Ｗ０１×（ｗ２０×ＰＰｂａ＋ｗ２１×ＰＰｂｂ）・・・式（２−１）
なお、この場合、判別される劣化原因は「音素長差」である。
Ｃ０２＝Ｗ０２×（ｗ３０×ＰＰｃａ）・・・式（３−１）
なお、この場合、判別される劣化原因は「音素音色差」である。
Ｃ０３＝Ｗ０３×（ｗ４０×ＰＣａａ＋ｗ４１×ＰＣａｂ）・・・式（４−１）
なお、この場合、判別される劣化原因は「境界ピッチ差」である。
Ｃ０４＝Ｗ０４×（ｗ５０×ＰＣｂａ＋ｗ５１×ＰＣｂｂ）・・・式（５−１）
なお、この場合、判別される劣化原因は「音素環境差」である。
Ｃ０５＝Ｗ０５×（ｗ６０×ＰＣｃａ）・・・式（６−１）
なお、この場合、判別される劣化原因は「境界音色差」である。
【００７５】
ここで上述のように、音声合成に精通しない一般利用者は、音質劣化を分類することができないケースが多く、抑揚の不自然さや、滑舌の不自然さ、誤アクセントなどを全て区別が不可能な音質の劣化と捕らえることが多い。このため、利用者が劣化種別の「音」を選択した場合は、劣化コストＣ００〜Ｃ０５までの各種コスト値に応じて、劣化種別を「音」以外の「抑揚」や「滑舌」に自動修正するように構成することが好ましい。このため、劣化コストＣ００〜Ｃ０５までの各種コスト値に応じて、予め劣化種別の修正方法を指定しておくようにしてもよい。
【００７６】
更に、不自然な音の１つとして、誤アクセントが存在する。誤アクセントは自動修正が困難であるため、利用者により劣化種別詳細として「誤アクセント」が選択された場合は、強制的に手動のアクセント修正ＵＩへ遷移するように構成することが好ましい。
【００７７】
次に、劣化種別８２欄の「抑揚」について説明する。抑揚の音質劣化は、主に以下の２種に起因する。
抑揚例１）目標に比べて合成音声の声の高さが高すぎたり低すぎたり、またはそれらが混在している場合
抑揚例２）接続境界の音色が急激に不自然に変化する場合
【００７８】
抑揚例１）は、素片選択ペナルティにおけるピッチペナルティＰＰａａ、ＰＰａｂの少なくともいずれかが大きい場合として表される。すなわち、合成音声が目標から外れた声の高さとなるため、抑揚が不自然となる。更に、素片接続ペナルティのピッチ変化ペナルティＰＣａａが大きい場合としても表される。すなわち、接続境界の前後でピッチが大きく変化してしまうため、抑揚が不自然となる。
【００７９】
抑揚例２）は、素片接続ペナルティの音色変化ペナルティＰＣｃａが大きい場合として現される。すなわち、境界前後の音色が不自然に変化するため、聴感上で抑揚が急激に変化したように感じる傾向となる。
【００８０】
以上の理由から、素片選択ペナルティの「ピッチペナルティＰＰａａ、ＰＰａｂ」、素片接続ペナルティの「ピッチ変化ペナルティＰＣａａ」「音色変化ペナルティＰＣｃａ」を用いて、図６に示すように劣化種別と、その劣化コスト、劣化コスト関数を定義する。
【００８１】
まず、例えば、図６の種別詳細欄８４に示すように、音質劣化の劣化種別詳細として「抑揚が大きい」と感じる場合は、目標より高い声で合成された場合であり、ピッチペナルティＰＰａｂに関係する。よって、劣化コストＣ１０とその劣化関数は、図６の式（１−２）に示すように、ピッチペナルティＰＰａｂの関数として以下のように定義する。
Ｃ１０＝Ｗ１０×（ｗ１２×ＰＰａｂ）・・・式（１−２）
なお、このとき判別される劣化原因は「ピッチ差」となる。
【００８２】
更に、接続境界の前後で不自然に声の高さが変化した場合、目標よりも声が高く変化しても、逆に低く変化しても、相対的に抑揚が大きく変化したと感じる傾向にある。よって、図６の式（４−２）に示すように、ピッチ変化ペナルティＰＣａａ、ＰＣａｂの関数として、劣化コストＣ１１とその劣化関数を定義する。
Ｃ１１＝Ｗ１１×（ｗ４２×ＰＣａａ＋ｗ４３×ＰＣａｂ）・・・式（４−２）
なお、このとき判別される劣化原因は、「境界ピッチ差」となる。
【００８３】
また、接続境界前後の音色差が大きい場合は、抑揚が急激に変化することで、聴感上、抑揚が大きく感じる傾向にある。よって、図６の式（６−２）に示すように、音色変化ペナルティＰＣｃａの関数として、劣化コストＣ１２とその劣化関数を定義する。
Ｃ１２＝Ｗ１２×（ｗ６１×ＰＣｃａ）・・・式（６−２）
なお、このとき判別される劣化原因は「境界音色差」となる。
【００８４】
次に、音質劣化の劣化種別詳細で「抑揚が小さい」と感じる場合は、ピッチペナルティにおいて、目標より低い声で合成された場合である。よって、図５の式（１−３）に示すように、ピッチペナルティＰＰａａの関数として劣化コストＣ１３とその劣化関数を定義する。
Ｃ１３＝Ｗ１３×（ｗ１３×ＰＰａａ）・・・式（１−３）
なお、このとき判別される劣化原因は「ピッチ差」となる。
【００８５】
更に、不自然な抑揚の１つとして、誤アクセントが存在する。誤アクセントは自動修正が困難であるため、利用者により劣化種別詳細として「誤アクセント」が選択された場合は、強制的に手動のアクセント修正ＵＩへ遷移するように構成することが好ましい。
【００８６】
次に、劣化種別の「滑舌」について説明する。滑舌の音質劣化は、主に以下の２種に起因する。
滑舌１）目標に比べて合成音声の声が慌しすぎたり、たどたどしすぎたり、またはそれらが混在している場合
滑舌２）接続境界の音色が不自然に変化する場合
【００８７】
滑舌１）は、素片選択ペナルティにおける音素長ペナルティＰＰｂａ、ＰＰｂｂのいずれか少なくとも一方が大きい場合である。このような場合、合成音声が慌しくなったり、たどたどしくなったりするため、滑舌が不自然となる。
【００８８】
滑舌２）は、素片接続ペナルティの音素環境ペナルティＰＣｂａ、ＰＣｂｂのいずれか少なくとも一方が大きい場合である。このような場合、素片同士の接続境界の音の渡りが不自然となって音色の変化に滑らかさが無くなり、滑舌が不自然となる。更に、音色変化ペナルティＰＣｃａが大きい場合もある。このような場合、境界前後の音色が不自然に変化するため、音色の変化に滑らかさが無くなり、滑舌が不自然となる。
【００８９】
よって、素片選択ペナルティの「音素長ペナルティＰＰｂａ、ＰＰｂｂ」、素片接続ペナルティの「音素環境ペナルティＰＣｂａ、ＰＣｂｂ」「音色変化ペナルティＰＣｃａ」を用いて、図３に示すように劣化種別と、その劣化コスト、劣化コスト関数を定義する。
【００９０】
まず、音質劣化の種別詳細として「滑舌が慌しい」と感じる場合は、目標より短い音素長で合成された場合である。よって、図６の式（２−２）に示すように、音素長ペナルティＰＰｂａを用いて、劣化コストＣ２０とその劣化関数を定義する。
Ｃ２０＝Ｗ２０×（ｗ２２×ＰＰｂａ）・・・式（２−２）
なお、このとき判別される劣化原因は、「音素長差」となる。
【００９１】
更に、接続境界の前後で音素環境が異なる場合、境界前後の音のつながりの滑らかさが無くなり、慌しく感じたり、たどたどしく感じたりする傾向にある。よって、図６の式（５−２）に示すように、音素環境ペナルティＰＣｂａ、ＰＣｂｂを用いて劣化コストＣ２１とその劣化関数を定義する。
Ｃ２１＝Ｗ２１×（ｗ５２×ＰＣｂａ＋ｗ５３×ＰＣｂｂ）・・・式（５−２）
なお、このとき判別される劣化原因は、「音素環境差」となる。
【００９２】
また、接続境界前後の音色差が大きい場合も、境界前後の音のつながりの滑らかさが無くなり、慌しく感じたり、たどたどしく感じたりする傾向にある。よって、図６の式（６−３）に示すように、音色変化ペナルティＰＣｃａを用いて劣化コストＣ２２とその劣化関数を定義する。
Ｃ２２＝Ｗ２２×（ｗ６２×ＰＣｃａ）・・・式（６−３）
なお、このとき判別される劣化原因は、「境界音色差」となる。
【００９３】
次に、音質劣化の劣化種別詳細で「滑舌がたどたどしい」と感じる場合は、目標より長い音素長で合成された場合である。よって、図６の式（２−３）に示すように、音素長ペナルティＰＰｂｂを用いて劣化コストＣ２３とその劣化関数を定義する。
Ｃ２３＝Ｗ２３×（ｗ２３×ＰＰｂｂ）・・・式（２−３）
なお、このとき判別される劣化原因は、「音素長差」である。
【００９４】
更に、接続境界の前後で音素環境が異なる場合、境界前後の音のつながりの滑らかさが無くなり、たどたどしく感じたり、慌しく感じたりする傾向にある。よって、図６の式（５−３）に示すように、音素環境ペナルティＰＣｂａ、ＰＣｂｂを用いて劣化コストＣ２４とその劣化関数を定義する。
Ｃ２４＝Ｗ２４×（ｗ５４×ＰＣｂａ＋ｗ５５×ＰＣｂｂ）・・・式（５−３）
なお、このとき判別される劣化原因は、「音素環境差」である。
【００９５】
また、接続境界前後の音色差が大きい場合も、境界前後の音のつながりの滑らかさが無くなり、たどたどしく感じたり、慌しく感じたりする傾向にある。よって、図６の式（６−４）にしめすように、音色ペナルティＰＰｃａを用いて劣化コストＣ２５とその劣化関数を定義する。
Ｃ２５＝Ｗ２５×（ｗ６３×ＰＣｃａ）・・・式（６−４）
なお、このとき判別される劣化原因は「境界音色差」となる。
【００９６】
利用者により劣化種別詳細として「誤アクセント」が選択された場合は、「抑揚」の場合と同様に、強制的に手動のアクセント修正ＵＩへ遷移するように構成することが好ましい。
【００９７】
以上の構成により、音声合成時の中間情報に含まれる素片選択ペナルティ、素片接続ペナルティが音質劣化を量的に表す情報である点を利用し、各ペナルティの組み合わせを劣化コストおよび劣化コスト関数として定義する。これにより、劣化コストは、劣化種別を正しく判定するのに適した指標となり、劣化種別の判定精度を向上させることができる。更に、劣化種別は、劣化コストと１対１で対応するものではなく、複数の劣化コストの組み合わせとしているので、劣化種別の判定精度を向上させることが可能となる。
【００９８】
以下、図７から図１１を参照しながら、第１の実施の形態による音声合成装置１の動作について説明する。図７は、音声合成装置１における劣化種別表示の動作を示すフローチャート、図８は、表音テキストおよび連続音素列の表示例を示す図である。
【００９９】
図７に示すように、まず、音声合成装置１では、利用者により、音質修正ＵＩ部２１を介して日本語テキストが入力テキストとして入力される。音声合成部７の言語処理部２３は、入力テキストを変換することにより、表音テキストを取得する（Ｓ１０１）。表音テキストは、日本語テキストの読みをカタカナ表記したものであり、更には音声合成に必要なアクセント情報等の付加情報が存在する場合もある。
【０１００】
また、音質修正ＵＩ部２１は、音声合成部７で合成された音声を取得し、利用者が、合成音声を再生して、音声が劣化していると感じる範囲を音質劣化範囲として指定するための画面を表示する（Ｓ１０２）。
【０１０１】
音声合成部７では、韻律生成部２５が読みテキスト５４に従って目標韻律を生成し、素片選択接続部２７が、目標韻律に応じて波形辞書３５から選択した音声素片および素片同士の接続に関する選択接続情報を生成する。波形処理部２９では、選択接続情報に基づいて、波形辞書３５から選択された音声素片に対して波形処理を行い、例えば図８の合成音声波形７０を生成し、再生する。
【０１０２】
この際に、音質修正ＵＩ部２１は、図８に示すように、入力テキスト５２、読みテキスト５４、合成音声波形７０等を不図示の表示部に表示例５０のように提示する。表示例５０のように、入力テキスト５２が「今日の天気は晴れです。」である場合、その読みテキスト５４は「キョーノ／テンキワ／ハレデス．」等と表わされる。また、合成音声波形７０は、横軸が時間、縦軸は振幅として表される。
【０１０３】
ここで表示例５０は、合成音声を再生させるための再生ボタン６２、停止させるための停止ボタン６４、合成音声を保存するための保存ボタン６６を表示するように構成されている。
【０１０４】
利用者が出力された合成音声に音質劣化を感じた場合、利用者は、表示部に提示された読みテキスト５４、または合成音声波形７０の中から、音質劣化範囲５６を指定する。図８では、読みテキスト５４上で、音質劣化範囲５６を指定した例を示している。音質劣化範囲５６は、「キハ／ハレ」として指定されている。
【０１０５】
すなわち、図７に戻って、範囲取得部４１は、読みテキスト５４において、利用者が指定した音質劣化範囲５６を取得する（Ｓ１０３）。このとき例えば、音声合成装置１において、図示せぬマウス装置等により利用者が「キワ／ハレ」の部分を選択することにより、範囲取得部４１は、音質修正ＵＩ部２１を介して音質劣化範囲５６を取得する。
【０１０６】
また、範囲取得部４１は、利用者が指定した音質劣化範囲５６と、音声合成部７からの中間情報に基づいて、利用者指定の音質劣化範囲５６に一致する合成音声の対象音素の範囲を取得する。
【０１０７】
劣化コスト算出部４３は、素片選択接続部２７から中間情報を取得し（Ｓ１０４）、取得した中間情報と音質劣化範囲５６に基づき、音質劣化範囲５６に相当する対象音素範囲における劣化コストを算出する（Ｓ１０５）。劣化コストは、上述のように音声合成部７の中間情報の１つである素片選択ペナルティや素片接続のペナルティに基づき算出する。このとき、算出された劣化コストは、例えば、記憶部５に格納される。
【０１０８】
ところで、劣化コストと劣化種別については、音声合成方式によって、劣化種別と劣化コストの対応付けと、劣化コスト関数の定義方法が異なるため、以下に第１から第３の３種類の音声合成方式を簡単に説明する。
【０１０９】
第１の音声合成方式は、ピッチ変換や音素長変換等の波形処理によって波形辞書から選択した素片を目標韻律に合わせ、合成音声を生成する波形変換方式である。波形辞書から選択した素片に対し波形変換処理を行うので、波形辞書規模は比較的小規模で済み、目標韻律通りの合成音声が生成できる利点がある。しかし、波形処理で音質が劣化することがある。
【０１１０】
第２の音声合成方式は、波形変換処理を行わず、目標韻律に近い素片を波形辞書から選択し、そのままつなぎ合わせる波形無変換方式である。波形変換処理を行わないので肉声感の高い合成音声が生成できる利点があるが、必ずしも目標韻律通りとならずに韻律が破綻する欠点を持つ。また、波形辞書を大規模化することで韻律破綻を抑制しているが、完全ではない。
【０１１１】
第３の音声合成方式は、波形変換方式と波形無変換方式の混在方式である。波形無変換方式がベースとなるが、韻律が破綻する箇所に限って波形変換方式を利用することで、必要最小限の波形変換により、肉声感を保ちつつ韻律が安定した合成音声を生成できる利点があるが、肉声感の高い部分と肉声感を損なった部分が混在し、違和感が高くなることがある。
【０１１２】
第１の実施の形態においては、上記第１から第３の音声合成方式のいずれの方式においても、劣化種別と劣化コストの対応付けと、劣化コスト関数の定義方法を調整することで劣化種別に応じた音質修正が可能である。ただし、本明細書中では説明の便宜上、第２の音声合成方式である波形無変換方式に限定して、図３から図６に示した「各種ペナルティ」と、図６に示した「劣化種別と劣化コストの対応付け」と「劣化コスト関数の定義」を説明した。
【０１１３】
図７に戻って、劣化コスト算出部４３が、音質劣化範囲に相当する対象音素範囲において、各劣化コストを算出すると、劣化種別判定部４５は、対象音素範囲における音質劣化を劣化コストに基づいて「音、抑揚、滑舌」の劣化種別を判定する（Ｓ１０６）。
【０１１４】
ここで、図９を参照しながら、劣化種別判定の動作について説明する。図９は、音声合成装置１における劣化種別判定の動作を示すフローチャートである。図９に示すように、劣化種別判定部４５は、所定個数Ｍ個の劣化コスト上位ＨＣ（ｍ）（ｍ＝０〜Ｍ−１）を初期化する（Ｓ１２１）。なお、整数Ｍは、劣化種別を選択する際の修正候補劣化種別を決定するために参照する、劣化コストＣｎの数である。劣化コストＣｎとは、図６に示した劣化コストＣ００〜Ｃ２５の総称である。ここで、ｎ＝００〜２５である。
【０１１５】
劣化種別判定部４５は、劣化コスト算出部４３が算出した劣化コストＣｎを取得する（Ｓ１２２）。劣化種別判定部４５は、劣化コストＣｎ＞劣化コスト上位ＨＣ（ｍ）であるか否か判別する（Ｓ１２３）。劣化種別判定部４５は、劣化コストＣｎが劣化コスト上位ＨＣ（ｍ）を超えた場合（Ｓ１２３：ＹＥＳ）、Ｓ１２４に処理を進め、劣化コスト上位ＨＣ（ｍ）＝劣化コストＣｎとする。劣化種別判定部４５は、劣化コストＣｎ≦劣化コスト上位ＨＣであれば（Ｓ１２３：ＮＯ）、Ｓ１２５に処理を進める。劣化種別判定部４５は、Ｓ１２３、Ｓ１２４をｍ＝０〜Ｍ−１について繰り返し実行することにより、劣化コストＣｎをソート処理し、例えば記憶部５に登録する。
【０１１６】
劣化種別判定部４５は、次の劣化コストＣｎが存在するか否か判別し（Ｓ１２５）、次の劣化コストＣｎが存在する間（Ｓ１２５：ＹＥＳ）、劣化コストＣｎを劣化コストＣｎの値が高い順にソートを繰り返す。この結果、劣化種別判定部４５は、Ｍ個のソートされた劣化コスト上位ＨＣ（ｍ）を得る。
【０１１７】
劣化種別判定部４５は、未処理の劣化コストＣｎが存在しなくなると（Ｓ１２５：ＮＯ）、Ｍ個以下の劣化コスト上位ＨＣ（ｍ）に登録された劣化コストＣｎから、劣化種別を選定する。すなわち、劣化種別判定部４５は、ｍ＝０とし（Ｓ１２６）、ｍ＜Ｍであれば（Ｓ１２７：ＹＥＳ）、０≦ｎ≦０５であるか否か判別する（Ｓ１２８）。０≦ｎ≦０５である場合には（Ｓ１２８：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「音」とし、種別詳細は表示せず（Ｓ１２９）、ｍ＝ｍ＋１（Ｓ１３０）に更新してＳ１２７に戻る。
【０１１８】
０≦ｎ≦０５でない場合には（Ｓ１２８：ＮＯ）、Ｓ１３１に進み、劣化種別判定部４５は、１０≦ｎ≦１２であるか否か判別する。１０≦ｎ≦１２である場合には（Ｓ１３１：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「抑揚」とし、種別詳細は「大」とし（Ｓ１３２）、ｍ＝ｍ＋１（Ｓ１３０）に更新してＳ１２７に戻る。
【０１１９】
１０≦ｎ≦１２でない場合には（Ｓ１３１：ＮＯ）、Ｓ１３３に進み、劣化種別判定部４５は、ｎ＝１３であるか否か判別する。ｎ＝１３である場合には（Ｓ１３３：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「抑揚」とし、種別詳細は「小」とし（Ｓ１３４）、ｍ＝ｍ＋１（Ｓ１３０）に更新Ｓ１２７に戻る。
【０１２０】
ｎ＝１３でない場合には（Ｓ１３３：ＮＯ）、Ｓ１３５に進み、劣化種別判定部４５は、２０≦ｎ≦２２であるか否か判別する。２０≦ｎ≦２２である場合には（Ｓ１３５：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「滑舌」とし、種別詳細は「慌しい」とし（Ｓ１３６）、ｍ＝ｍ＋１（Ｓ１３０）に更新してＳ１２７に戻る。
【０１２１】
２０≦ｎ≦２２でない場合には（Ｓ１３５：ＮＯ）、Ｓ１３７に進み、劣化種別判定部４５は、２３≦ｎ≦２５であるか否か判別する。２３≦ｎ≦２５である場合には（Ｓ１３７：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「滑舌」とし、種別詳細は「たどたどしい」とし（Ｓ１３８）、ｍ＝ｍ＋１（Ｓ１３０）に更新してＳ１２７に戻る。
【０１２２】
２３≦ｎ≦２５でない場合には、劣化種別判定部４５は、エラーを出力する。劣化種別判定部４５は、ｍ＞Ｍとなった場合には、図７のＳ１０６に戻る。
【０１２３】
上述のように、各劣化種別は、少なくとも１つの劣化コストに基づいて分類される。劣化種別判別部４５は、分類された劣化種別に含まれる劣化コストの値が、他の劣化コストに比べて高値であるか否かを、本実施形態においては、劣化コスト上位ＨＣ（ｍ）を抽出することにより判別している。劣化コストＣｎが高値であると判別されると、すなわち、劣化コスト上位ＨＣ（ｍ）に対応する劣化コストＣｎを、劣化種別判定部４５は、音質修正候補の劣化種別と判定する。
【０１２４】
図７に処理に戻って、劣化位置取得部４７は、音質修正候補と判定された劣化種別について、劣化種別の劣化コスト値と、その劣化位置を取得および保持する（Ｓ１０７）。図１０は、劣化位置の例を示す図である。図１０に示すように、音素列１６０は、読みテキスト５４において指定された音質劣化範囲５６に対応する再合成範囲の一例である。音質劣化範囲５６の中の「キワ／」は、音素列１６２の「Ｋ|Ｉ|Ｗ|Ａ」に対応し、「ハレ」は、音素列１６３の「Ｈ|Ａ|Ｒ|Ｅ」に対応している。ここで、「|」は音素境界を示す。
【０１２５】
例えば、図９の劣化種別判定処理において、劣化コスト上位ＨＣ（ｍ）として劣化コストＣ２０が判別されているとする。このとき、劣化位置取得部４７は、劣化コストＣ２０が音素長ペナルティＰＰｂａの関数であることを判別し、さらに、算出された音素長ペナルティＰＰｂａを記憶部５で参照し、値が高値の箇所を劣化位置として特定する。劣化位置は、選択された素片に対応することが好ましい。図１０においては、音素列「ＷＡ」が、劣化コストＣ２０に対応する劣化位置１６５と取得される。
【０１２６】
別の例として、劣化コスト上位ＨＣ（ｍ）として劣化コストＣ０５が判別されているとする。このとき、劣化位置取得部４７は、劣化コストＣ０５が音色変化ペナルティＰＣｃａの関数であることを判別し、さらに、算出された音色変化ペナルティＰＣｃａを記憶部５で参照し、値が高値の箇所を劣化位置として特定する。この例では、図１０における音素列「ＷＡ−ＨＡ」が、劣化コストＣ０５に対応する劣化位置１６７と取得される。
【０１２７】
音声合成装置１は、音質修正ＵＩ部２１を介して、修正候補の劣化種別を利用者に提示する。図８は、「音」と「抑揚」と「滑舌」および「誤アクセント」の４種が修正候補の劣化種別５８として提示された例である。図８では、さらに、劣化種別詳細６０として「慌しい」と「たどたどしい」が選択肢として表示されている。以上で、劣化種別表示の処理を終了する。
【０１２８】
次に、図１１を参照しながら、劣化種別選択の動作について説明する。図１１は、劣化種別選択の動作を示すフローチャートである。利用者は、音質修正ＵＩ部２１を介して、提示された劣化種別５８およびその種別詳細６０等の中から、自らの感覚に合った劣化種別を選択する。図１１に示すように、修正手段決定部４９は、音質修正ＵＩ部２１を介して利用者が選択した劣化種別を取得し、劣化位置取得部４７から選択された劣化種別に対応した劣化コストと劣化位置を取得する（Ｓ１５１）。また、修正手段決定部４９は、範囲取得部４１から再合成範囲を受け取り、再合成する範囲と、劣化種別の各劣化コストに基づいて音質劣化を改善するため、劣化コストに対応した素片選択ペナルティ、素片接続ペナルティを改善するための修正情報を生成し、素片選択接続部２７へ出力する（Ｓ１５２）。
【０１２９】
修正情報とは、選択された劣化種別または劣化種別詳細に応じた劣化コストを表す劣化関数に含まれる各素片選択ペナルティの、式Ｃ１における係数αｌ（ｌ＝１、２、・・・）、または各素片接続ペナルティの式Ｃ２における係数βｌ（ｌ＝１、２、・・・）である。
【０１３０】
図８に戻って、利用者が、音質劣化範囲５６において、劣化種別５８として「音質が不自然」であること、「滑舌が不自然」であることを選択し、劣化種別詳細６０で「慌しい」と選択したとする。修正手段決定部４９は、選択された劣化種別「滑舌（慌しい）」に対応する劣化コスト劣化コストＣ２０であり、「音」に対応する劣化コストが、劣化コストＣ０５であると判別したとする。このとき、修正手段決定部４９は、劣化コストＣ２０に音素長ペナルティＰＰｂａが対応していると判別する。また、劣化コストＣ０５に音色変化ペナルティＰＣｃａ対応していると判別する。
【０１３１】
そして、修正手段決定部４９は、図１０の例で、音素列１６２において、音素長ペナルティＰＰｂａに対応する係数α３の重みを加重し、音素列１６３において、音色変化ペナルティＰＣｃａに対応する係数β５の重みを加重した修正情報を生成する。
【０１３２】
素片選択接続部２７は、修正情報を受け取ると、再合成範囲の素片選択および素片接続を再度行い、選択接続情報を再度生成する。ここで、再合成範囲は、図１０に示すように、少なくとも音質劣化範囲５６を含む再合成範囲１６９として設定されるようにしてもよい。すなわち、範囲取得部４１は、利用者が指定した音質劣化範囲５６の全てを含んだ音素単位、音素列単位、モーラ単位、モーラ列単位のいずれかの区切りを、再合成範囲として決定するように構成する。
【０１３３】
図１０の例では、読みテキスト５４「キョーノ／テンキワ／ハレデス．」に対し、利用者が「キワ／ハレ」の部分を音質劣化範囲５６として選択している。このとき、利用者の指定範囲は音素列１６２と音素列１６３を足し合わせた「Ｋ|Ｉ|Ｗ|Ａ|Ｈ|Ａ|Ｒ|Ｅ」を再合成範囲１６８として、音声合成部７は再合成を行っても良い。また、利用者の指定範囲を含む音素列単位「Ｋ|Ｉ|Ｗ|Ａ」と音素列単位「Ｈ|Ａ|Ｒ|Ｅ|Ｄ|Ｅ|Ｓ|Ｕ」を再合成範囲１６９としてもよい。再合成範囲１６９は、２つの音素列単位がそれぞれ、合成音声の２つの素片単位と一致する例であり、再合成範囲を素片単位で区切ることで、利用者が指定した範囲外に音質劣化があった場合でも、音質改善効果を得ることが可能となる。
【０１３４】
図１１に戻って、波形処理部２９は、再生成された選択接続情報をもとに音声を再合成する。すなわち、再合成範囲１６８のみ、または再合成範囲１６９のみ、もしくは再合成範囲１６８または再合成範囲１６９を含む入力テキスト５２に対応する音声全てを再合成して合成音声の音声波形を再生成する（Ｓ１５３）。このように、音声合成装置１は、利用者が選択した劣化種別に対応する各素片選択ペナルティまたは素片接続ペナルティに対応する重みを加重する修正情報を生成する。そして、音質劣化の原因となっている対象の素片選択ペナルティや素片接続ペナルティに加重した素片選択ペナルティＰＰおよび素片接続ペナルティＰＣが最小となるように、上記の再合成範囲について音声を再合成することにより、再合成時の音声を修正する。
【０１３５】
以上詳細に説明したように、音声合成装置１は、利用者が指定した音質劣化範囲５６における劣化コストを算出することにより、音質劣化位置とその音質劣化種別を判定し、音質劣化種別を利用者へ提示する。利用者は提示された劣化種別の中から、自らの感覚に合った劣化種別を選択する。音声合成装置１は、選択された劣化種別を取得し、取得した劣化種別に対応した素片選択ペナルティまたは素片接続ペナルティに対応する重み係数を更新した修正情報を生成し、修正情報に基づき音声の再合成を行うことにより、音声を修正する。
【０１３６】
以上の構成により、音声合成装置１においては、利用者が指定した音質劣化範囲から音質劣化位置とその音質劣化種別を判定し、音質劣化種別を利用者へ提示する。よって、利用者は提示された劣化種別の中から、自らの感覚に合った劣化種別を選択することができ、劣化種別に応じた音質修正が可能となる。
【０１３７】
上述の音声合成技術では、波形辞書から素片を選択する際、および選択した素片を接続する際に、目標韻律に合わない素片選択にはペナルティを大きく、音質劣化しやすい素片接続にもペナルティを大きく与える。そして、素片選択ペナルティ評価値ＰＰ、素片接続ペナルティ評価値ＰＣが最小となる素片選択、素片接続を行うことで、合成音声の音質向上を図っている。したがって、上述のように利用者が選択した劣化種別に対応した素片選択ペナルティ、または素片接続ペナルティに対するペナルティの重みに荷重して再合成することで、より目標韻律に近い音声となる素片選択と素片接続が行われる。これにより、利用者が指定した劣化種別に対応した音質劣化を改善することができる。
【０１３８】
また、音声合成時の中間情報の一つである素片選択ペナルティ、素片接続ペナルティは、音質劣化に関与するペナルティであり、各ペナルティを用いて劣化コストを定義する。これにより、劣化種別を判定するのに適した劣化コストとなり、劣化種別の判定精度を向上することができる。これらの劣化種別は、各劣化コストと１対１で対応するものではなく、複数の劣化コストの組み合わせに応じて劣化種別が正しく判定される。よって、劣化種別の判定精度を向上させることが可能となる。
【０１３９】
修正候補劣化種別は、音質劣化原因となっている可能性の高い劣化コスト上位から劣化種別を選定することで、劣化種別の判定精度を向上させることができる。すなわち、劣化コストが高いものは音質劣化原因となっている可能性が高く、このような劣化コスト上位を含む劣化種別も音質劣化原因である可能性が高いため、劣化種別の判定精度を向上させることが可能となる。
【０１４０】
なお、音質劣化範囲を指定する場合には、利用者は音質劣化を感じる範囲を含むおよその範囲で指定すればよく、音質劣化が生じている箇所に限定して範囲指定する必要はない。また、範囲取得部４１は、利用者が指定した音質劣化範囲５６を完全に含み、音素単位、またはモーラ単位を区切りとした範囲を音質劣化範囲として取得すればよい。このとき、音素単位、モーラ単位の代替として、合成音声の素片単位に一致した音素列単位、モーラ列単位としてもよい。音質劣化範囲を取得する際には、範囲取得部４１は、利用者が指定した音質劣化範囲５６と、音声合成部７で得られた読みテキスト５４、または音声合成部７の中間情報を照合することが好ましい。
【０１４１】
また、音声合成は、１音素または１モーラ単位で合成するとは限らず、連続した複数音素（音素列）または複数モーラ（モーラ列）が混在して合成される。したがって、上記で取得した音質劣化範囲が、必ずしも合成音声の素片単位の境界と一致するとは限らない。よって、音質劣化範囲を完全に含んだ素片単位の区切りを再合成範囲と設定することで、音質劣化の生じていない合成音声部分の音質を保持しつつ、指定範囲外に音質劣化があった場合でも、必要最小限範囲の再合成によって音質改善を図ることができる。
【０１４２】
劣化種別が取得する際の方法は、上記に限定されない。例えば、劣化コストの高い順に劣化種別を利用者へ提示してもよく、更には、音質劣化の可能性の低い劣化種別を提示しない、または、提示しても再合成時に反映されない非アクティブで提示するように構成してもよい。
【０１４３】
（第１の実施の形態の変形例）
以下、図１２を参照しながら、第１の実施の形態の変形例による音声合成装置１について説明する。本変形例は、第１の実施の形態による音声合成装置１における劣化種別判定に関する変形例である。よって本変形例において、第１の実施の形態による音声合成装置１の構成および動作と同一の部分は詳細な説明を省略し、劣化種別判定動作に関してのみ説明する。
【０１４４】
図１２は、本変形例における劣化種別判定の動作を示すフローチャートである。本変形例では、修正候補の劣化種別を予め定められた閾値を超えたか否かにより判別する。図１２に示すように、劣化種別判定部４５は、劣化コスト算出部４３が算出した劣化コストＣｎを取得する（Ｓ１８１）。続いて、劣化種別判定部４５は、まずｎ＝０と設定する（Ｓ１８２）。劣化種別判定部４５は、ｎ＜２６であるか否か判別し、ｎ＜２６であれば、Ｃ００〜Ｃ２５のそれぞれについて、予め設定されたそれぞれの閾値Ｓ００〜Ｓ２５よりも値が高値であるか否か判別する（Ｓ１８３）。そして、Ｓ１８３において、閾値よりも高値であると判別された劣化コストＣｎについて、Ｓ１８４以下の判別を行う。
【０１４５】
Ｓ１８４では、劣化種別判定部４５は、劣化コストＣｎ＜閾値Ｓｎであるか否か判別し、Ｃｎ＜閾値Ｓｎでない場合には（Ｓ１８４：ＮＯ）、ｎ＝ｎ＋１とし（Ｓ１８５）、Ｓ１８３に戻る。Ｃｎ＜閾値Ｓｎである場合には（Ｓ１８４：ＹＥＳ）、処理はＳ１８６に進む。
【０１４６】
劣化種別判定部４５は、０≦ｎ≦０５であるか否か判別する（Ｓ１８６）。０≦ｎ≦０５である場合には（Ｓ１８６：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「音」とし、種別詳細は表示せず（Ｓ１８７）、ｎ＝ｎ＋１（Ｓ１８５）に更新してＳ１２７に戻る。
【０１４７】
０≦ｎ≦０５でない場合には（Ｓ１８６：ＮＯ）、Ｓ１８８に進み、劣化種別判定部４５は、１０≦ｎ≦１２であるか否か判別する。１０≦ｎ≦１２である場合には（Ｓ１８８：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「抑揚」とし、種別詳細は「大」とし（Ｓ１８９）、ｎ＝ｎ＋１（Ｓ１８５）に更新してＳ１８３に戻る。
【０１４８】
１０≦ｎ≦１２でない場合には（Ｓ１８８：ＮＯ）、Ｓ１９０に進み、劣化種別判定部４５は、ｎ＝１３であるか否か判別する。ｎ＝１３である場合には（Ｓ１９０：ＹＥＳ）、劣化種別判定部４５は、劣化種別を「抑揚」とし、種別詳細は「小」とし（Ｓ１９１）、ｎ＝ｎ＋１（Ｓ１８５）に更新Ｓ１８３に戻る。
【０１４９】
ｎ＝１３でない場合には（Ｓ１９０：ＮＯ）、Ｓ１９２に進み、劣化種別判定部４５は、２０≦ｎ≦２２であるか否か判別する。２０≦ｎ≦２２である場合には（Ｓ１９２：ＹＥＳ）、劣化種別判定部４５は、劣化種別を「滑舌」とし、種別詳細は「慌しい」とし（Ｓ１９３）、ｎ＝ｎ＋１（Ｓ１８５）に更新してＳ１８３に戻る。
【０１５０】
２０≦ｎ≦２２でない場合には（Ｓ１９２：ＮＯ）、Ｓ１９４に進み、劣化種別判定部４５は、劣化種別を「滑舌」とし、種別詳細は「たどたどしい」とし、ｎ＝ｎ＋１（Ｓ１８５）に更新してＳ１８３に戻る。Ｓ１８３においてｎ＜２６でない場合には、劣化種別判定部４５は、処理を図７のＳ１０６に戻す。
【０１５１】
例えば、劣化コスト算出部４３が算出した劣化コストＣ２０とＣ０５が所定の閾値を超えた例では、劣化種別５８として「音質が不自然」であること、「滑舌が不自然」であることを選択可能に表示し、劣化種別詳細６０で「慌しい」を選択可能に表示することができる。
【０１５２】
以上説明したように、本変形例によれば、劣化種別判定部４５は、劣化コスト算出部４３で算出した劣化コストＣｎが、予め劣化コスト毎に設定された所定閾値Ｓｎ（ｎ：００〜２５）を超えた場合、修正候補劣化種別として劣化コストＣｎの劣化種別を選定する。
【０１５３】
よって、本変形例によれば、所定の閾値を設定することで、音質劣化が生じていないにも関わらず、劣化種別を判定して利用者へ誤提示してしまうリスクを回避することができる。
【０１５４】
さらに、本変形例において各劣化コストが所定の閾値を超えない場合、第１の実施の形態による図９に記載の動作に切り替えて、各劣化コストから所定個数の劣化コスト上位を選定し、各劣化コスト上位の劣化種別を選定するように構成するようにしてもよい。このような構成により、全ての劣化コストがそれぞれの所定の閾値を超えない場合に「劣化種別無し」となってしまい、利用者の音質劣化を修正できなくなる問題を回避し、劣化コスト上位を含む劣化種別を利用者へ提示することで、音質劣化改善が可能となる。
【０１５５】
また、劣化算出部４３が算出した各劣化コストが所定の閾値を超えない場合、全ての劣化種別を利用者へ提示し、修正手段決定部４９が、音質修正ＵＩ部２１を介して、利用者が選択した劣化種別に対応した手動修正ＵＩを起動するように構成することもできる。例えば、誤アクセントなどの自動修正が困難な劣化種別の場合も、アクセント手動修正ＵＩを起動するように構成するようにしてもよい。
【０１５６】
通常、判定した音質の劣化種別が利用者の感じる劣化種別と一致しない場合があるため、音質の劣化種別は全て提示することが好ましいが、この場合には、利用者が選択した劣化種別の音質劣化を自動修正することは困難である。しかし、利用者選択の劣化種別に応じた手動修正ＵＩを起動することで、利用者自身が起動する手動修正ＵＩの選択を行わなくても最適な手動修正ＵＩが自動起動し、手動操作により音質修正を可能とすることができる。
【０１５７】
（第２の実施の形態）
以下、図１３〜図１５を参照しながら、第２の実施の形態による音声合成装置について説明する。なお、第２の実施の形態において、第１の実施の形態による音声合成装置１と同一の構成および動作については、重複説明を省略する。
【０１５８】
図１３は、第２の実施の形態による音声合成装置の機能を示すブロック図、図１４は、第２の実施の形態による劣化範囲指定の動作を示すフローチャート、図１５は、第２の実施の形態による劣化種別指定の動作を示すフローチャートである。第２の実施の形態による音声合成装置は、第１の実施の形態による音声合成装置１における音声修正決定部９に代えて音声修正決定部２３０を有する構成である。以下、第２の実施の形態による音声合成装置を、音声合成装置２００ということにする。
【０１５９】
図１３に示すように、音声合成装置２００の音声修正決定部２３０は、音声修正決定部９の構成に加えて、修正履歴データベース２３２を有している。修正履歴データベース２３２は、利用者が選択した劣化種別を格納する記憶装置である。
【０１６０】
図１４に示すように、まず、範囲取得部４１は、利用者により指定された音質劣化範囲５６を取得する（Ｓ２０１）。範囲取得部４１は、取得した音質劣化範囲５６に基づき、上述のように再合成範囲を、例えば図１０の再合成範囲１６９などと決定するとともに、再合成回数ｉを初期化する（Ｓ２０２）。劣化コスト算出部４３は、音質劣化範囲５６について上述の方法で劣化コストを算出する（Ｓ２０３）。
【０１６１】
劣化種別判定部４５は、算出された劣化コストに基づき、例えば、第１の実施形態またはその変形例に記載した方法で劣化種別を判定する。また、劣化位置取得部４７は、判定された劣化種別に対応する劣化位置を取得する（Ｓ２０４）。さらに、劣化種別判定部４５は、音質修正ＵＩ部２１を介して劣化種別を提示する（Ｓ２０５）。
【０１６２】
図１５に示すように、修正手段決定部４９は、音質修正ＵＩ部２１を介して、劣化種別が「誤アクセント」であると取得されたか否かを判別する（Ｓ２１１）。「誤アクセント」であると取得された場合は（Ｓ２１１：ＹＥＳ）、手動修正ＵＩを起動する（Ｓ２１６）。
【０１６３】
「誤アクセント」であると取得されない場合には（Ｓ２１１：ＮＯ）、修正手段決定部４９は、選択された劣化種別に対応する素片選択ペナルティまたは素片接続ペナルティの加重を行う修正情報を生成する（Ｓ２１２）。音声合成部７は、生成された修正情報に基づき音声を再合成するが、その際、修正手段決定部４９は、再合成回数ｉ＝ｉ＋１とインクリメントし、対象の劣化種別と再合成回数ｉを修正履歴データベース２３２に格納する（Ｓ２１３）。
【０１６４】
劣化種別判定部４５は、全劣化コストＣｎがそれぞれ予め定められた閾値未満であるか否かを判別する（Ｓ２１４）。一つでも閾値以上の劣化コストＣｎがある場合には（Ｓ２１４：ＮＯ）、修正手段決定部４９は、劣化コストＣｎが閾値未満でない劣化種別について、再合成がＮ回以下であるか否か判別する（Ｓ２１５）。再合成がＮ回以下の場合には（Ｓ２１５：ＹＥＳ）、処理はＳ２０３に戻る。再合成がＮ回を超えた場合には（Ｓ２１５：ＮＯ）、手動修正ＵＩを起動する。手動修正ＵＩにより、再合成がＮ回を越えた劣化種別に対応付けて記憶された修正情報を生成し、生成された修正情報に基づき音声を修正する。このとき、修正情報は、対応する劣化種別に関連付けて例えば記憶部５に格納することが好ましい。
【０１６５】
Ｓ２１４において、全劣化コストＣｎがすべて閾値未満であれば（Ｓ２１４：ＹＥＳ）、修正手段決定部４９は、音質修正ＵＩ部２１を介して利用者に修正終了確認画面を提示し（Ｓ２１７）、音質修正終了か否かを判別する（Ｓ２１８）。音質修正終了が確認されない場合には（Ｓ２１８：ＮＯ）、手動修正ＵＩを起動し、音質修正終了が確認された場合には（Ｓ２１８：ＹＥＳ）、音声合成処理を終了する。
【０１６６】
以上説明したように、第２の実施の形態による音声合成装置２００によれば、修正履歴データベース２３２に同一劣化種別に関する再合成回数ｉを格納する。修正手段決定部４９は、利用者が同一の劣化種別を所定回数選択した場合、利用者が望む音質の自動修正が困難と判断し、音質修正ＵＩ部２１を介して、利用者が選択した劣化種別に対応した手動修正ＵＩを起動するように構成する。
【０１６７】
このように、利用者が選択した劣化種別の音質劣化を自動修正しても、利用者希望の音質にならないケースが連続した場合、不必要に自動修正を繰り返すより最適な手動修正ＵＩによって利用者が手動操作することで音質修正が可能となる。
【０１６８】
なお、第２の実施の形態において、修正劣化種別として選択された回数がいずれの劣化種別も所定のＮ回を超えない場合に、最も選択された回数の多い劣化種別に関連付けて記憶された修正情報により音声を修正するようにしてもよい。
【０１６９】
（第２の実施の形態による変形例）
以下、図１３を参照しながら、第２の実施の形態の変形例による音声合成装置２００について説明する。本変形例は、第２の実施の形態による音声合成装置２００における再合成実行判断処理に関する変形例である。よって本変形例において、第２の実施の形態による音声合成装置２００の構成および動作と同一の部分は詳細な説明を省略し、再合成実行判断に関してのみ説明する。
【０１７０】
本変形例において、修正手段決定部４９は、利用者が音質修正を行った際の劣化種別の選択頻度を積算し、例えばその積算値が所定の閾値を超えた劣化種別を修正履歴データベース２３２に登録するように構成する。更に、修正手段決定部４９は、通常の音声合成処理を行う際に、以下のように修正情報を生成する。すなわち、修正手段決定部４９は、修正履歴データベース２３２の劣化種別に対応する劣化コストの劣化コスト関数を構成する素片選択ペナルティまたは素片接続ペナルティの各種ペナルティに対し、ペナルティの重みを強化する修正情報を生成する。音声合成部７の素片選択接続部２７は、この修正情報に基づいて合成音声を生成する。
【０１７１】
以上説明したように、本変形例によれば、修正履歴データベース２３２に格納された修正履歴を参照することにより、利用者が選択した音質の劣化種別の頻度が高いものが、利用者の音質修正の傾向と判断される。そして、音声合成時に、予め対象の劣化種別の音質劣化を抑えるために、劣化種別の劣化コストを算出する劣化コスト関数の構成要素である素片選択ペナルティ、素片接続ペナルティを改善する音声合成処理を行う。これにより、利用者の音質劣化修正の負担を軽減することが可能となる。
【０１７２】
一般に、音質劣化の感じ方は個人差が強いため、利用者個人の音質修正の傾向を把握し、合成音声生成時に予め利用者嗜好の音質修正を施した合成音声を生成することで、利用者の音質劣化修正の負担を軽減することが可能となる。さらに、利用者が選択した劣化種別の音質劣化を自動修正しても、利用者希望の音質にならないケースが連続した場合、劣化種別に応じた音質自動修正のみでなく、最適な手動修正ＵＩを起動させることで、利用者は手動操作により音質修正が可能となる。
【０１７３】
上記第１の実施の形態、第２の実施の形態およびそれぞれの変形例において、修正手段決定部４９は、修正情報生成部、取得回数係数部の一例であり、素片選択ペナルティおよび素片接続ペナルティは、劣化情報の一例である。特に、素片選択ペナルティは、第１の劣化情報の一例であり、素片接続ペナルティは、第２の劣化情報の一例である。
【０１７４】
さらに、ピッチペナルティＰＰａａ、ＰＰａｂは、第１の差分情報の一例であり、音素長ペナルティＰＰｂａ、ＰＰｂｂは、第２の差分情報の一例であり、音色ペナルティＰＰｃａは、第３の差分情報の一例である。また、ピッチ変化ペナルティＰＣａａ、ＰＣａｂは、第４の差分情報の一例であり、音素環境ペナルティＰＣｂａ、ＰＣｂｂは、第５の差分情報の一例であり、音色変化ペナルティＰＣｃａは、第６の差分情報の一例である。第１の範囲は、音質劣化範囲５６は、第１の範囲の一例であり、再合成範囲１６８、１６９は、第２の範囲の一例である。
【０１７５】
ここで、上記第１または第２の実施の形態およびそれぞれの変形例による音声合成装置の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１６は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１６に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。
【０１７６】
ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。
【０１７７】
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【０１７８】
上記第１または第２の実施の形態およびそれぞれの変形例による音声合成装置をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、コンピュータ３００に音声合成の動作を行なわせる。このとき、まず、音声合成の処理をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。
【０１７９】
なお、本発明は、以上に述べた実施の形態および変形例に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、劣化位置取得部４７は、修正候補劣化種別に対応する劣化位置を取得するようにしたが、少なくとも修正劣化種別に対応する劣化位置を取得すればよい。また、修正情報は、劣化種別と劣化位置とに基づき生成する例について説明したが、例えば、音質劣化範囲が非常に短く設定されている例などでは、必ずしも劣化位置に基づき生成しなくてもよい。
【符号の説明】
【０１８０】
１ 音声合成装置
３ 入力部
５ 記憶部
７ 音声合成部
９ 音声修正決定部
１１ 出力部
２１ 音質修正ＵＩ部
２３ 言語処理部
２５ 韻律生成部
２７ 素片選択接続部
２９ 波形処理部
３１ 言語辞書
３３ 韻律辞書
３５ 波形辞書
４１ 範囲取得部
４３ 劣化コスト算出部
４５ 劣化種別判定部
４７ 劣化位置取得部
４９ 修正手段決定部
【技術分野】
【０００１】
本発明は、音声合成装置および音質修正方法に関する。
【背景技術】
【０００２】
利用者が入力したテキストを解析して合成音声に変換して読み上げる、音声合成技術がある。例えば、入力されたテキストを解析して目標韻律を作成し、出力音声を組み立てるための情報を記載した波形辞書から目標韻律に応じた適切な波形を選択して接続することにより、合成音声を生成する音声合成技術が知られている。選択できる所望の波形がないときには、使用目的に合致するよう変形を施したり、新たに波形を生成するようにしたりして、自然な音声を出力することを目指している。
【０００３】
合成音声の品質向上のため、合成された音声の品質を予測する予測手段を設け、予測手段により品質が設定値範囲外であると判定された音素片を、利用者に提示する手法が知られている。また、所定の評価基準を用いて複数の合成単位の候補を選択する一次選択部と、選択された複数の候補から素片接続の歪が小さくなるように素片を選び出す二次選択部により素片選択を行う例もある。この例では、さらに、合成時に一定の品質が得られないと判定されると、代替素片処理を行う。
【０００４】
また、合成音声の韻律が自然であるかを、話速、イントネーションなど複数のパラメータについてそれぞれ判定し、判定結果に応じて、信号処理または再度音声素片系列探索を実施することもある。
【０００５】
一方、利用者が合成音声を聞いて品質が悪い箇所を入力し、品質が悪い箇所に対応する音素片に対してペナルティを与えて再合成することにより音質修正を行う方法も知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１−２８４８９８号公報
【特許文献２】特開２００６−３１３１７６号公報
【特許文献３】特開平８−２６３０９５号公報
【特許文献４】特許第３４２３２７６号公報
【特許文献５】特開２００８−１３９６３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記のような現状の合成音声の品質は、人の発声と比べると十分とは言えない。例えば、所々で合成音声の品質劣化が存在するため、利用者が簡便に品質劣化を修正したいという要望が多い。
【０００８】
しかし、予測手段により品質が設定範囲値外の音素片を利用者に提示する例では、提示された音質修正位置が利用者感覚とずれている場合があり、利用者の感覚どおりに音質を修正できないことがある。合成音声の品質を向上させるために音素等を選び直す例では、選びなおした音素等を単純に再合成するだけでは、新規に選ばれた音素または音素列が、利用者の希望する音質になるとは限らず、音質が修正できないことがある。
【０００９】
一方、利用者が品質の悪い箇所を指摘する例においては、利用者が音質修正箇所を的確に指定することは難しく、漠然と指定した場合に、利用者が望まない部分の音質修正を行ってしまう場合がある。
【００１０】
上記課題に鑑み、本発明は、利用者の主観に合うように合成音声を修正することが可能な音声合成装置、音質修正方法およびプログラムを提供する。
【課題を解決するための手段】
【００１１】
ひとつの態様である音声合成装置は、合成音声取得部、範囲取得部と、劣化コスト算出部、劣化種別判定部、劣化種別取得部、修正情報生成部、および音声合成部を有することを特徴としている。合成音声取得部は、合成された音声を取得する。範囲取得部は、前記音声における修正を行う第１の範囲を取得する。劣化コスト算出部は、前記第１の範囲における音質劣化に応じた情報である少なくとも一つの劣化コストを算出する。劣化種別判定部は、前記第１の範囲において修正を行う候補となる前記音質劣化の性質に応じた少なくとも一つの修正候補劣化種別を、少なくとも一つの前記劣化コストに基づき判定する。劣化種別取得部は、判定された前記修正候補劣化種別の中から修正を行うために選択される修正劣化種別を取得する。修正情報生成部は、前記修正劣化種別に基づき前記音声を修正するための修正情報を生成する。音声合成部は、前記修正情報に基づき前記音声の再合成を行う。
【００１２】
別の態様である音声修正方法は、合成された音声を取得し、前記音声における修正を行う第１の範囲を取得し、前記第１の範囲における音質劣化に応じた情報である少なくとも一つの劣化コストを算出する。また、音声修正方法は、前記第１の範囲において修正を行う候補となる前記音質劣化の性質に応じた少なくとも一つの修正候補劣化種別を、少なくとも一つの前記劣化コストに基づき判定する。さらに、音声修正方法は、判定された前記修正候補劣化種別の中から修正を行うために選択される修正劣化種別を取得し、前記修正劣化種別に基づき前記音声を修正するための修正情報を生成し、前記修正情報に基づき前記音声の再合成を行うことを特徴としている。
【００１３】
なお、上述した本発明に係る方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した本発明に係る方法と同様の作用・効果を奏するので、前述した課題が解決される。
【発明の効果】
【００１４】
上述した態様の音声合成装置、音声修正方法およびプログラムによれば、利用者の主観に合うように合成音声を修正することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態による音声合成装置の構成を示すブロック図である。
【図２】第１の実施の形態による音声合成装置の機能を示すブロック図である。
【図３】第１の実施の形態による素片選択ペナルティを示す図である。
【図４】第１の実施の形態による素片接続ペナルティを示す図である。
【図５】第１の実施の形態による「音素環境」について説明する図である。
【図６】第１の実施の形態による劣化コスト関数および劣化種別を示す図である。
【図７】第１の実施の形態による音声合成装置における劣化種別表示の動作を示すフローチャートである。
【図８】第１の実施の形態による表音テキストおよび連続音素列の表示例を示す図である。
【図９】第１の実施の形態による劣化種別判定の動作を示すフローチャートである。
【図１０】第１の実施の形態による劣化位置の例を示す図である。
【図１１】第１の実施の形態による劣化種別選択の動作を示すフローチャートである。
【図１２】第１の実施の形態の変形例による劣化種別判定の動作を示すフローチャートである。
【図１３】第２の実施の形態による音声合成装置の機能を示すブロック図である。
【図１４】第２の実施の形態による劣化範囲指定の動作を示すフローチャートである。
【図１５】第２の実施の形態による劣化種別指定の動作を示すフローチャートである。
【図１６】標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１６】
（第１の実施の形態）
以下、図面を参照しながら第１の実施の形態による音声合成装置について説明する。なお、本明細書において、音素とは、母音、撥音、促音、および子音の１つ１つに相当する文言である。モーラとは、母音、撥音、促音、または「子音＋母音」のような、日本語発声の１音に相当する文言である。
【００１７】
まず、図１および図２を参照しながら、第１の実施の形態による音声合成装置１の構成について説明する。図１は、第１の実施の形態による音声合成装置の構成を示すブロック図、図２は、第１の実施の形態による音声合成装置の機能を示すブロック図である。
【００１８】
図１に示すように、音声合成装置１は、入力部３、記憶部５、音声合成部７、音質修正決定部９、および出力部１１を有しており、互いにバス１３で接続されている。入力部３は、音声合成装置１の利用者により操作されると、その操作内容に対応付けられている利用者からの各種情報の入力を取得し、取得した入力情報を音声合成部７または音質修正決定部９に送付する装置であり、キーボード装置、マウス装置、タッチパネル装置等である。
【００１９】
記憶部５は、例えば、読出し可能な半導体記憶装置、随時書込み読出し可能な半導体記憶装置、および随時書込み読出し可能な可搬記憶媒体等である。記憶部５は、音声合成装置１の基本動作を制御するためのプログラムや、後述する音声合成を実行するために必要な情報を格納したり、音声合成の処理において必要に応じて作業領域として使用したりするための記憶装置である。
【００２０】
音声合成部７は、例えば、利用者が入力部３を介して入力した表音テキストに従って音声合成の際の目標韻律を生成し、目標韻律に従って適切な音声素片の選択を行い、選択した音声素片を互いに接続することにより、選択接続情報を生成する。さらに音声合成部７は、生成された選択接続情報に基づいて波形処理を行い、合成音声を生成する。
【００２１】
音質修正決定部９は、音声合成部７で生成された合成音声を取得し、利用者が入力した音質劣化を感じる音質劣化範囲を取得し、音質劣化範囲について、音質劣化の性質に応じた劣化種別を利用者に提示する。劣化種別としては、例えば「音（音質）が悪い」「抑揚が悪い」「滑舌が悪い」等が挙げられる。提示された劣化種別から利用者が修正すべき修正劣化種別を選択すると、音質修正決定部９は、選択された修正劣化種別を取得し、修正劣化種別に応じた修正を行うための修正情報を出力する。
【００２２】
出力部１１は、音声合成部７で合成される音声や音質修正決定部９から出力される修正情報に基づいて再合成される音声を出力するスピーカ、および音質修正決定部９で判定される劣化種別等を表示する表示装置等である。バス１３は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００２３】
次に、図２を参照しながら、音声合成装置１の構成についてさらに詳細に説明する。図２に示すように、音声合成部７は、言語処理部２３、韻律生成部２５、素片選択接続部２７、および波形処理部２９の機能を有している。記憶部５は、言語辞書３１、韻律辞書３３、および波形辞書３５を格納している。音質修正決定部９は、範囲取得部４１、劣化コスト算出部４３、劣化種別判定部４５、劣化位置取得部４７および修正手段決定部４９の機能を有している。音質修正Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＵＩ）部２１は、入力部３および出力部１１のインタフェース機能を代表して表したものである。
【００２４】
なお、音声合成部７、音質修正決定部９は、例えば不揮発性の記憶装置に予めそれぞれの機能を実現するためのプログラムを格納しておき、不図示の演算装置によりそれらのプログラムを読み込んで実行することにより実現される機能とすることができる。
【００２５】
音質修正ＵＩ部２１は、利用者と音声合成装置１との間で情報の入出力を行なうためのインタフェース装置であり、利用者から音声合成を行うための入力テキストを入力されるとともに、表音テキスト、合成音声波形を不図示の表示装置の画面などに提示する。また、音質修正ＵＩ部２１は、合成音声を音声として出力し、利用者が合成音声に音質劣化を感じた場合、音声合成波形または表音テキストにおいて指定する、劣化していると感じた音質劣化範囲を取得する。更に、利用者が範囲指定した領域内で判定した音質の劣化種別を、ポップアップメニューなどで利用者へ提示し、利用者はその中から自分の感じた音質劣化内容と一致する劣化種別を選択できるように構成する。
【００２６】
音声合成部７の言語処理部２３は、音質修正ＵＩ部２１を介して入力された入力テキストを、記憶部５に格納された言語辞書３１を参照しながら品詞分解等の解析を行い、表音テキストを生成する。入力テキストとは、例えば「今日の天気は晴れです。」等、音声合成の対象となる文章などである。表音テキストとは、入力テキストの読みをカタカナで表現し、アクセント位置などを記号で表現したもので、例えば「キョ’ーノ／テ’ンキハ／ハレ’デス．」などの文字列である。ここで、「’」はアクセントの位置を、「／」はアクセント句の区切りを、「．」は文末（句点）を示している。アクセント句とは、１アクセントを構成する文節境界単位、またはそれより細かい単位の区切りを意味する。上述の文例は３アクセント句で構成され、各アクセント句が文節境界単位と一致した例である。また、言語辞書３１とは、単語の読みや品詞、文法、更にはアクセント情報などを記録した情報である。
【００２７】
韻律生成部２５は、生成された表音テキストをさらに音素にし、韻律辞書３３を参照しながら、音声合成の目標とする目標韻律を生成する。ここで韻律は、例えば音の長さ、高さ、大きさ等を、音声の時間に対する周波数、および振幅の変化で表した情報である。韻律辞書３３には、例えばナレータやアナウンサ等の膨大な音声データから、様々な音の強弱や長短、高低によって構成されるリズムのバリエーションを抽出して統計処理した韻律情報が格納されている。目標韻律とは、入力テキストから合成音声を生成する際に目標とする韻律であり、前述の表音テキストに基づいて、韻律辞書３３に格納された韻律情報から生成した、適切な音の強弱、長短、高低変化のリズムである。
【００２８】
素片選択接続部２７は、生成された目標韻律に従って波形辞書３５の中から適切な音声素片の選択を行うとともに互いに接続するための選択接続情報を生成する。波形辞書３５には、収録したナレータ音声波形と様々な音素情報（音声形に対応した音素名、音素長、ピッチ周波数など）が格納されている。以下、素片とは、素片選択によって選択された音素列（１つ以上の連続する音素）、またはモーラ列（１つ以上の連続するモーラ）の１まとまりを指していう。なお、素片は、選択次第で、１音素にも、Ｎ音素にもなりうる。
【００２９】
素片選択接続部２７は、韻律生成部２５で生成された目標韻律になるべく近い素片を波形辞書３５から選択（素片選択）し、更に、選択した各素片の中から、素片同士の接続境界が自然な韻律となる素片を選択（素片接続）する。素片を選択する際には、後述する素片選択ペナルティおよび素片接続ペナルティを算出し、それらを用いて算出した素片選択ペナルティ評価値ＰＰおよび素片接続ペナルティ評価値ＰＣがなるべく小さい値となるように選択を行う。
【００３０】
素片選択接続部２７は、選択接続情報と、算出した素片選択ペナルティおよび素片接続ペナルティを中間情報として範囲取得部４１へ出力する。また、素片選択接続部２７は、後述の修正手段決定部４９から修正情報を受け取り、音声の再合成のための素片選択を再び行うとともに、素片接続情報を再生成する。
【００３１】
波形処理部２９では、素片選択接続部２７で生成された選択接続情報に基づいて、波形辞書３５から選択された素片波形を読出し、波形処理によって互いに接続し、合成音声を生成する。
【００３２】
音質修正決定部９の範囲取得部４１は、利用者が指定した音質劣化範囲と、音声合成部７の言語処理部２３、韻律生成部２５および素片選択接続部２７で生成された中間情報に基づいて、音質修正を行う範囲を取得する。すなわち、範囲取得部４１は、音質修正ＵＩ部２１を介して利用者が指定した音質劣化範囲に対応する、合成音声の範囲（以下、対象音素範囲という）を取得する。このとき、範囲取得部４１は、音質劣化範囲を完全に含んだ、音素単位、音素列単位、モーラ単位、およびモーラ列単位のいずれかの区切りを音声の再合成を行う再合成範囲として決定するように構成してもよい。
【００３３】
劣化コスト算出部４３は、音質劣化範囲に対応した対象音素範囲において、各劣化コストを算出する。劣化コストとその劣化コスト関数は、音声合成部７の中間情報の１つである素片選択ペナルティ、または素片接続ぺナルティを含む少なくとも１つの組み合わせによって定義される。劣化コスト算出部４３は、劣化コスト関数から劣化コストを算出する。劣化コストは、上述の音質劣化範囲における音素毎、またはモーラ毎に算出することが好ましいが、合成音素単位（音素列単位、モーラ列単位）毎であってもよい。以下、音素単位、モーラ単位、音素列単位、モーラ列単位を総称して、素片単位という。劣化コストの詳細は後述する。
【００３４】
なお、素片選択ペナルティとは、目標とする韻律（ピッチや音素長等）や、音響特徴量（音色等）に対し、波形辞書３５から選択した音声素片の韻律や音響特徴量との差異を定量化して、ペナルティとして定義したものである。素片接続ペナルティとは、選択した素片同士を接続する際に、その境界前後の韻律や音響特徴量の差異を定量化してペナルティとして定義したものである。素片選択ペナルティ、素片接続ペナルティとも差異が大きい程、目標の韻律や音響特徴量から外れて音質劣化となる。各ペナルティの組み合わせを劣化コスト関数の構成要素として定義することで、劣化種別を判定するのに適した劣化コストとなり、劣化種別の判定精度を向上することが可能となる。素片選択ペナルティ、素片接続ペナルティの詳細は後述する。
【００３５】
劣化種別判定部４５は、算出された劣化コストに基づき、音質の劣化種別を判定する。劣化種別判定部４５は、劣化種別を例えば「音（音質）、抑揚、滑舌」などの音質劣化の性質に分類する。各劣化種別は、少なくとも１つの劣化コストに基づいて分類される。劣化コストの中で、値の高い順から所定順位以上の劣化コストに対応する劣化種別、または、予め定められた所定の閾値を超えている劣化種別を、劣化種別判定部４５は、音質修正候補の劣化種別と判定する。以下、音質修正候補の劣化種別を、修正候補劣化種別という。以下、劣化コストの値が、値の高い順から所定順位以上の劣化コストを、劣化コスト上位という。劣化種別判定部４５は、判定された修正候補劣化種別を音質修正ＵＩ部２１を介して利用者に提示する。
【００３６】
このように、劣化種別判定部４５は、各劣化コストのうち、少なくとも１つの劣化コスト上位を含む劣化種別を、音質修正候補の劣化種別と判定するように構成する。これは、劣化コストが高いものは音質劣化の原因である可能性が高く、このように劣化コスト上位を含む劣化種別が音質の劣化原因である可能性が高いためである。
【００３７】
また、劣化種別判定部４５は、音質修正候補の有無に関わらず、全ての劣化種別を、音質修正ＵＩ部２１を介して利用者に提示してもよい。これは、利用者が感じた音質劣化の劣化種別が選択肢として無い場合、利用者が音質修正のための手段を失うことを回避するためである。音質修正候補でない劣化種別が利用者によって選択された場合は、例えば、その劣化種別の修正に最適な不図示の手動修正ＵＩを起動するように構成することが好ましい。
【００３８】
劣化位置取得部４７は、音質修正候補と判定された修正候補劣化種別について、劣化種別の劣化コスト値と、その劣化位置を取得し、保持する。利用者は、音質修正ＵＩ部２１上で、提示された修正候補劣化種別の中から、自らの感覚に合った劣化種別を選択する。利用者により選択され、音声合成装置１により取得された劣化種別を、以下、修正劣化種別という。
【００３９】
ただし、劣化位置取得部４７は、劣化種別が音質修正候補か否かに関わらず、全ての劣化種別の劣化コストとその劣化位置を取得、保持するように構成してもよい。これは、音質修正候補の劣化種別と判定できなくとも、利用者が音質劣化を感じる劣化種別として選択した場合に、その劣化種別と、対応する劣化コストを音質劣化修正候補とすることで、音質修正が可能となる。
【００４０】
修正手段決定部４９は、音質修正ＵＩ部２１を介して利用者が選択した修正劣化種別を取得し、劣化位置取得部４７から劣化種別に対応した劣化コストと劣化位置を取得し、範囲取得部４１から、音声の再合成を行う再合成範囲を取得する。修正手段決定部４９は、再合成範囲と、修正劣化種別に対応する各劣化コストとに基づいて音質劣化を改善するため、劣化コストに対応した素片選択ペナルティ、素片接続ペナルティを改善するための修正情報を生成し、素片選択接続部２７へ出力する。修正情報は、後述する素片選択ペナルティ評価値ＰＰおよび素片接続ペナルティ評価値ＰＣを含む。
【００４１】
以上の構成により、音声合成装置１は、利用者が指定した音質劣化範囲から音質劣化位置とその音質劣化種別を判定し、音質劣化種別を利用者へ提示する。利用者は提示された劣化種別の中から、自らの感覚に合った劣化種別を選択し、音声合成装置１は、劣化種別に応じた音質修正を行う。
【００４２】
以下、図３、図４を参照しながら、素片選択ペナルティ、素片選択ペナルティ評価値ＰＰ、素片接続ペナルティおよび素片接続ペナルティ評価値ＰＣについて説明する。図３は、素片選択ペナルティを示す図である。図３に示すように、素片選択ペナルティとは、合成する音声の目標韻律（ピッチ周波数、音素長、音響特徴量など）と、波形辞書３５から選択する素片の韻律の差異を定量化してペナルティとして与えることで、より目標韻律に近い素片を選び、合成音声の音質劣化を抑えるための変数である。なお、ペナルティとは、音声の劣化度合いに対応した参照値を意味する。
【００４３】
図３の表７５に示すように、素片選択ペナルティとしては、ピッチペナルティＰＰａａ、ＰＰａｂ、音素長ペナルティＰＰｂａ、ＰＰｂｂ、音色ペナルティＰＰｃａが例示されている。ピッチペナルティＰＰａａ、ＰＰａｂは、ピッチ周波数に関するペナルティである。ピッチペナルティＰＰａａは、目標韻律におけるピッチ周波数（以下、目標ピッチ周波数という。以下同様）が波形辞書３５から選択した素片のピッチ周波数（以下、波形辞書素片ピッチ周波数という。以下同様）以上である場合である。音素長ペナルティＰＰｂｂは、目標ピッチ周波数が波形辞書素片ピッチ周波数未満である場合である。
【００４４】
音素長ペナルティＰＰｂａ、ＰＰｂｂは、音素長に関するペナルティである。音素長ペナルティＰＰｂａは、目標音素長が波形辞書素片音素長以上の場合であり、音素長ペナルティＰＰｂｂは、目標音素長が波形辞書素片音素長未満の場合である。音色ペナルティＰＰｃａは、音色（音響特徴量）に関するペナルティである。音色ペナルティＰＰｃａは、目標音色が、波形辞書素片音色と有意な差がある場合である。
【００４５】
以下、素片選択ペナルティの定義の例を以下に示す。
ピッチペナルティＰＰａａ＝Σ（目標ピッチ周波数／波形辞書素片ピッチ周波数）・・・（式Ａ１−１）
式Ａ１−１において、Σは、対象音素範囲が単独音素である場合のピッチ比率の和を示す。
ピッチペナルティＰＰａａ＝Σ（Σ（目標ピッチ周波数／波形辞書素片ピッチ周波数））・・・（式Ｂ１−１）
式Ｂ１−１において、一つ目のΣは、対象音素範囲における全ての音素についての和を示し、二つ目のΣは、対象音素範囲における各音素の各ピッチ比率の和を示す。なお、式Ａ１−１、式Ｂ１−１においては、目標ピッチ周波数≧波形辞書素片ピッチ周波数について合算する。
【００４６】
ピッチペナルティＰＰａｂ=Σ（波形辞書素片ピッチ周波数／目標ピッチ周波数）・・・（式Ａ１−２）
ピッチペナルティＰＰａｂ=Σ（Σ（波形辞書素片ピッチ周波数／目標ピッチ周波数））・・・（式Ｂ１−２）
ここで、Σについては、式Ａ１−２は式Ａ１−１と同様であり、式Ｂ１−２は、式Ｂ１−１と同様である。なお、式Ａ１−２、式Ｂ１−２においては、目標ピッチ周波数＜波形辞書素片ピッチ周波数について合算する。
【００４７】
ピッチペナルティＰＰａａが高値であれば、「目標ピッチ周波数≧波形辞書素片ピッチ周波数」の傾向が強く、目標とする声の高さより合成音声が低い声である傾向が強いことを示す。また、ピッチペナルティＰＰａｂが高値であれば、「目標ピッチ周波数＜波形辞書素片ピッチ周波数」の傾向が強く、目標の声の高さよりも合成音声が高い声である傾向が強いことを示す。このように、ピッチペナルティＰＰａａ、ＰＰａｂのいずれに関しても、値が高い場合には、抑揚やアクセントが不自然な合成音声となる傾向が強い。
【００４８】
上記のように、（式Ａ１−１）、（式Ａ１−２）は、音素単位でピッチペナルティを積算し、１音素単位のピッチペナルティを算出する式である。（式Ｂ１−１）、（式Ｂ１−２）は、複数音素のピッチペナルティを積算し、音素列単位のピッチペナルティを算出する式である。両式のいずれも、目標と波形辞書素片の抑揚差を反映したペナルティとなり、抑揚の不自然さを知る手がかりとなる。算出された音素または音素列におけるピッチペナルティＰＰａａ、ＰＰａｂは、全て例えば記憶部５に保持され、必要に応じて読み出し可能であることが好ましい。
【００４９】
また、ピッチペナルティＰＰａａ、ＰＰａｂを音素単位で算出する代わりにモーラ単位で算出するようにしてもよく、音素列単位で算出する代わりにモーラ列単位で算出するようにしてもよい。
【００５０】
「音素長ペナルティ」は、目標音素長と波形辞書の音素長の差異をペナルティとして定量化したもので、例えば下式で定義される。
音素長ペナルティＰＰｂａ＝目標音素長／波形辞書音素長・・・（式Ａ２−１）
音素長ペナルティＰＰｂａ＝Σ（目標音素長／波形辞書音素長）・・・（式Ｂ２−１）
Σは、対象音素範囲における各音素の音素長比率の和を示す。ここでは、目標音素長≧波形辞書音素長である場合について合算する。
音素長ペナルティＰＰｂｂ＝波形辞書音素長／目標音素長・・・（式Ａ２−２）
音素長ペナルティＰＰｂｂ＝Σ（波形辞書音素長／目標音素長）・・・（式Ｂ２−２）
Σは、対象音素範囲における各音素の音素長比率の和を示す。ここでは、目標音素長≦波形辞書音素長である場合について合算する。
【００５１】
ここで、音素長ペナルティＰＰｂａが高値であれば「目標音素長≧波形辞書音素長」の傾向が強く、目標より早い（慌しい）合成音声である傾向が強いことを示す。音素長ペナルティＰＰｂｂが高値であれば「目標音素長＜波形辞書音素長」の傾向が強く、目標より遅い（たどたどしい）合成音声である傾向が強いことを示す。いずれの場合も、滑舌が不自然な合成音声となる傾向が強い。
【００５２】
なお、（式Ａ２−１）、（式Ａ２−２）は、音素単位で音素長ペナルティを積算し、１音素単位の音素長ペナルティを算出する。（式Ｂ２−２）（式Ｂ２−２）は、複数音素の音素長ペナルティを積算し、音素列単位の音素長ペナルティを算出する。両式のいずれも、目標と波形辞書素片の滑舌を反映したペナルティとなり、滑舌の不自然さを知る手がかりとなる。算出された音素または音素列における音素長ペナルティＰＰｂａ、ＰＰｂｂは、全て例えば記憶部５に保持され、必要に応じて読み出し可能であることが好ましい。
【００５３】
また、音素長ペナルティＰＰｂａ、ＰＰｂｂを音素単位で算出する代わりにモーラ単位で算出するようにしてもよく、音素列単位で算出する代わりにモーラ列単位で算出するようにしてもよい。
【００５４】
「音色ペナルティ」は、目標音色と波形辞書音素の音色との差異をペナルティとして定量化したもので、例えば下式で定義すればよい。
音色ペナルティＰＰｃａ=ｓｑｒｔ（Σ（目標ＭＦＣＣ（ｎ）−波形辞書ＭＦＣＣ（ｎ））２）・・・（式Ａ３−１）
式Ａ３−１において、Σは、対象音素範囲が単独音素である場合の音素音色の二乗和平均を示す。
【００５５】
音色ペナルティＰＰｃａ=Σ（ｓｑｒｔ（Σ（目標ＭＦＣＣ（ｎ）−波形辞書ＭＦＣＣ（ｎ））２））・・・（式Ｂ３−１）
式Ｂ３−１において、一つ目のΣは、対象音素範囲における全ての音素についての和を示し、二つ目のΣは、対象音素範囲が単独音素である場合の各音素音色の二乗和平均を示す。
【００５６】
音色ペナルティＰＰｃａでは、音色を表現する音響特徴量として、メル周波数ケプストラム係数（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｃｙ：ＭＦＣＣ）が利用される。式Ａ３−１、式Ｂ３−１は、Ｎ次元のＭＦＣＣを音色として採用した例である。目標のＭＦＣＣは、予め目的別かつ音素別に平均的なＭＦＣＣを算出しておけばよく、目標ＭＦＣＣと対象音素ＭＦＣＣのＮ次の二乗和平均を音色ペナルティと定義すればよい。なお、目的別とは、例えば、通常音声合成と、感情（喜・怒・哀・楽など）を表現した感情音声合成のような目的が異なる音声合成のことをいう。例えば、通常音声合成と感情音声合成とでは、同じ音素でも音色が異なるため、その目的別に、音素別の平均的なＭＦＣＣを予め算出しておくことが好ましい。
【００５７】
ここで、音色ペナルティＰＰｃａが高値であれば、波形辞書音素と目標の音色が異なる傾向が強いため、不自然な音（音質）となる傾向が強い。なお、式Ａ３−１は、音素単位で音色ペナルティを積算し、１音素単位の音色ペナルティを算出する。式Ｂ３−１は、複数音素の音色ペナルティを積算し、音素列単位の音色ペナルティを算出する。両式のいずれも、目標と波形辞書素片の音色を反映したペナルティとなり、音質の不自然さを知る手がかりとなる。算出された音素または音素列における音色ペナルティＰＰｃａは、全て例えば記憶部５に保持され、必要に応じて読み出し可能であることが好ましい。また、音色ペナルティＰＰｃａを音素単位で算出する代わりに、モーラ単位で算出してもよく、音素列単位で算出する代わりにモーラ列単位で算出することにしてもよい。
【００５８】
次に、図４を参照しながら、素片接続ペナルティについて説明する。図４は、素片接続ペナルティを示す図である。素片接続ペナルティとは、素片選択ペナルティで選択した素片列（音素列）同士を接続する際に、その接続境界における音響的特徴の差異を定量化してペナルティとして与えることで、より接続境界の音響特徴量が合う接続を選び、合成音声の音質劣化を抑えるための変数である。
【００５９】
「ピッチ変化ペナルティ」は、波形辞書から選択された素片列（音素列）同士を接続する場合に、接続境界前後のピッチ周波数の差異をペナルティとして定量化したもので、例えば下式で定義する。
【００６０】
ピッチ変化ペナルティＰＣａａ＝境界前ピッチ周波数／境界後ピッチ周波数・・・（式Ａ４−１）
ただし、境界前ピッチ周波数≧境界後ピッチ周波数となる場合について合算している。
【００６１】
ピッチ変化ペナルティＰＣａｂ=境界後ピッチ周波数／境界前ピッチ周波数・・・（式Ａ４−２）
ただし、境界前ピッチ周波数≦境界後ピッチ周波数となる場合について合算している。
【００６２】
ここで、ピッチ変化ペナルティＰＣａａの値が高値である程「境界前ピッチ周波数≧境界後ピッチ周波数」の傾向が強く、境界前から境界後に向かって、声の高さが急に低くなる合成音声となる。ピッチ変化ペナルティＰＣａｂの値が高値である程「境界前ピッチ周波数≦境界後ピッチ周波数」の傾向が強く、境界前から境界後に向かって、声の高さが高くなる合成音声となる。いずれの場合も、抑揚やアクセントが不自然な合成音声となる傾向が強い。
【００６３】
「音素環境ペナルティ」は、波形辞書から選択された素片列（音素列）同士を接続する場合、接続境界前後の音素環境の差異をペナルティとして定量化したもので、例えば下式で定義する。
音素環境ペナルティＰＣｂａ＝境界前音素環境スコア・・・（式Ａ５−１）
音素環境ペナルティＰＣｂｂ＝境界後音素環境スコア・・・（式Ａ５−２）
【００６４】
以下、音素環境ペナルティＰＣｂａ、ＰＣｂｂについて、図５を参照しながら説明する。図５は、「音素環境」について説明する図である。図５に示すように、例えば、接続境界３６２より前の境界前音素列３５０が「庵」で、表音テキスト３５２が「イオリ」、合成音素列３５４が「家」で、表音テキスト３５６が「イエ」、境界後音素列３５８が「上」で、表音テキスト３６２が「ウエ」であるとする。
【００６５】
上記の例では、音素列「庵」の先頭音素「イ」と、音素列「上」の終端音素「エ」を素片接続して「家(イエ)」を合成するが、このような場合、音質が劣化する傾向が強い。すなわち、通常「イエ」という発声は、「イ」の発声部分と、「エ」の発声部分と、「イからエ」へ変化する“渡り”と呼ばれる発声部分に分かれる。ところが、「庵」は「イからオ」に変化する「イ」、「上」は「ウからエ」に変化する「エ」であり、いずれも渡りの部分が、合成音素「家（イエ）」の渡りと全く一致しないため、渡り部分の音色が不自然となって音質劣化となる傾向が強い。
【００６６】
したがって、境界接続においては、少なくとも境界前後の２音素の一致（音素環境の一致）が重要であり、不一致の場合に音質劣化となりやすいため、不一致の場合は、音素環境スコアをペナルティとして採用する。よって、音素環境スコアは、合成音素と境界前または境界後の音素とが一致する場合はスコア０と定義し、不一致の場合は、合成音素と波形辞書音素の種類に応じて正スコアを加点するように構成する。よって、上記のように、音素環境ペナルティＰＣｂａ、ＰＣｂｂの値が高値である程、接続境界において不自然な音質の合成音声となる傾向が強い。
【００６７】
「音色変化ペナルティ」は、波形辞書３５から選択された素片列（音素列）同士を接続する場合、接続境界前後の音色の差異をペナルティとして定量化したもので、例えば下式で定義する。
音色変化ペナルティＰＣｃａ＝ｓｑｒｔ（Σ（境界前置音素ＭＦＣＣ（ｎ）−境界後置音素ＭＦＣＣ（ｎ））２）・・・（式Ａ６−１）
音色を表現する音響特徴量として、前述の「音色ペナルティ」で説明したメル周波数ケプストラム係数（ＭＦＣＣ）を利用し、境界前音素と境界後音素の音色差を音色変化ペナルティとして表現する。
【００６８】
例えば、長母音「アー」を「ア」と「ア」の音素境界で接続して合成する場合には、様々な音色の「ア」があるため、音色の異なる「ア」同士を接続すると、不自然な音質の音声となる。すなわち、音色変化ペナルティＰＣｃａの値が高値である程、接続境界において不自然な音（音質）の合成音声となる。
【００６９】
また、上記合成音声が「イエ」の場合のように、前置と後置の音素が異なる素片を用いた場合は、「イ」の後半の渡り部分と「エ」の前半の渡り部分のメル周波数ケプストラムを対象にして式Ａ６−１による音色変化ペナルティＰＣｃａを利用すれば、異なる音素同士であっても、その渡り部分の音色差に応じてペナルティを与えることが可能となる。
【００７０】
なお、上記式Ａ６−１は、Ｎ次元のＭＦＣＣを音色として採用した例である。目標のＭＦＣＣは、予め目的別かつ音素別に平均的なＭＦＣＣを算出しておけばよく、目標ＭＦＣＣと対象音素ＭＦＣＣのＮ次の二乗和平均を音色ペナルティと定義すればよい。
上記素片接続ペナルティの各算出値は、全て例えば記憶部５に記憶され、必要に応じて読み出し可能であることが好ましい。
【００７１】
素片選択接続部２７は、算出された各素片選択ペナルティおよび素片接続ペナルティにより算出される、以下の素片選択ペナルティ評価値ＰＰおよび素片接続ペナルティ評価値ＰＣが最小になるように、素片の選択および接続を行う。
素片選択ペナルティ評価値ＰＰ＝α１×ＰＰａａ＋α２×ＰＰａｂ＋α３×ＰＰｂａ＋α４×ＰＰｂｂ＋α５×ＰＰｃａ・・・式Ｃ１
素片接続ペナルティ評価値ＰＣ＝β１×ＰＣａａ＋β２×ＰＣａｂ＋β３×ＰＣｂａ＋β４×ＰＣｂｂ＋β５×ＰＣｃａ・・・式Ｃ２
ここで、αｌ、βｌ（ｌ＝１、２、・・・）は、算出された各素片選択ペナルティまたは素片接続ペナルティの音声合成に対する影響度に対応する重み係数である。
【００７２】
次に、図６を参照しながら、「音質の劣化種別と劣化コストの対応付け」および「劣化コスト関数」の説明を以下に示す。図６は、劣化コスト関数および劣化種別を示す図である。なお、図６における係数ｗ１０〜ｗ６７は、劣化コスト関数で構成される劣化コストを同一レンジで対比するための正規化係数であり、Ｗ００〜Ｗ２７は、劣化コストで構成される各劣化種別を同一レンジで対比するための正規化係数である。
【００７３】
まず、劣化種別の「音（音質）」（以下、単に「音」と記載する）について説明する。音声合成に精通しない一般利用者は、音質劣化を分類することができないケースが多く、抑揚の不自然さや、滑舌の不自然さ、誤アクセントなどを全て区別が不可能な音質の劣化と捕らえることが多い。このため、劣化種別の「音」では、素片選択ペナルイティと素片接続ペナルティの全てを含んだ劣化コスト、およびその劣化コスト関数を定義することが好ましい。
【００７４】
例えば、図６に示すように、「音」が音質劣化の劣化種別であるとする場合に、劣化コストＣ００〜Ｃ０５を以下のように定義することにより算出する。
Ｃ００＝Ｗ００×（ｗ１０×ＰＰａａ＋ｗ１１×ＰＰａｂ）・・・式（１−１）
なお、この場合、判別される劣化原因は「ピッチ差」である。
Ｃ０１＝Ｗ０１×（ｗ２０×ＰＰｂａ＋ｗ２１×ＰＰｂｂ）・・・式（２−１）
なお、この場合、判別される劣化原因は「音素長差」である。
Ｃ０２＝Ｗ０２×（ｗ３０×ＰＰｃａ）・・・式（３−１）
なお、この場合、判別される劣化原因は「音素音色差」である。
Ｃ０３＝Ｗ０３×（ｗ４０×ＰＣａａ＋ｗ４１×ＰＣａｂ）・・・式（４−１）
なお、この場合、判別される劣化原因は「境界ピッチ差」である。
Ｃ０４＝Ｗ０４×（ｗ５０×ＰＣｂａ＋ｗ５１×ＰＣｂｂ）・・・式（５−１）
なお、この場合、判別される劣化原因は「音素環境差」である。
Ｃ０５＝Ｗ０５×（ｗ６０×ＰＣｃａ）・・・式（６−１）
なお、この場合、判別される劣化原因は「境界音色差」である。
【００７５】
ここで上述のように、音声合成に精通しない一般利用者は、音質劣化を分類することができないケースが多く、抑揚の不自然さや、滑舌の不自然さ、誤アクセントなどを全て区別が不可能な音質の劣化と捕らえることが多い。このため、利用者が劣化種別の「音」を選択した場合は、劣化コストＣ００〜Ｃ０５までの各種コスト値に応じて、劣化種別を「音」以外の「抑揚」や「滑舌」に自動修正するように構成することが好ましい。このため、劣化コストＣ００〜Ｃ０５までの各種コスト値に応じて、予め劣化種別の修正方法を指定しておくようにしてもよい。
【００７６】
更に、不自然な音の１つとして、誤アクセントが存在する。誤アクセントは自動修正が困難であるため、利用者により劣化種別詳細として「誤アクセント」が選択された場合は、強制的に手動のアクセント修正ＵＩへ遷移するように構成することが好ましい。
【００７７】
次に、劣化種別８２欄の「抑揚」について説明する。抑揚の音質劣化は、主に以下の２種に起因する。
抑揚例１）目標に比べて合成音声の声の高さが高すぎたり低すぎたり、またはそれらが混在している場合
抑揚例２）接続境界の音色が急激に不自然に変化する場合
【００７８】
抑揚例１）は、素片選択ペナルティにおけるピッチペナルティＰＰａａ、ＰＰａｂの少なくともいずれかが大きい場合として表される。すなわち、合成音声が目標から外れた声の高さとなるため、抑揚が不自然となる。更に、素片接続ペナルティのピッチ変化ペナルティＰＣａａが大きい場合としても表される。すなわち、接続境界の前後でピッチが大きく変化してしまうため、抑揚が不自然となる。
【００７９】
抑揚例２）は、素片接続ペナルティの音色変化ペナルティＰＣｃａが大きい場合として現される。すなわち、境界前後の音色が不自然に変化するため、聴感上で抑揚が急激に変化したように感じる傾向となる。
【００８０】
以上の理由から、素片選択ペナルティの「ピッチペナルティＰＰａａ、ＰＰａｂ」、素片接続ペナルティの「ピッチ変化ペナルティＰＣａａ」「音色変化ペナルティＰＣｃａ」を用いて、図６に示すように劣化種別と、その劣化コスト、劣化コスト関数を定義する。
【００８１】
まず、例えば、図６の種別詳細欄８４に示すように、音質劣化の劣化種別詳細として「抑揚が大きい」と感じる場合は、目標より高い声で合成された場合であり、ピッチペナルティＰＰａｂに関係する。よって、劣化コストＣ１０とその劣化関数は、図６の式（１−２）に示すように、ピッチペナルティＰＰａｂの関数として以下のように定義する。
Ｃ１０＝Ｗ１０×（ｗ１２×ＰＰａｂ）・・・式（１−２）
なお、このとき判別される劣化原因は「ピッチ差」となる。
【００８２】
更に、接続境界の前後で不自然に声の高さが変化した場合、目標よりも声が高く変化しても、逆に低く変化しても、相対的に抑揚が大きく変化したと感じる傾向にある。よって、図６の式（４−２）に示すように、ピッチ変化ペナルティＰＣａａ、ＰＣａｂの関数として、劣化コストＣ１１とその劣化関数を定義する。
Ｃ１１＝Ｗ１１×（ｗ４２×ＰＣａａ＋ｗ４３×ＰＣａｂ）・・・式（４−２）
なお、このとき判別される劣化原因は、「境界ピッチ差」となる。
【００８３】
また、接続境界前後の音色差が大きい場合は、抑揚が急激に変化することで、聴感上、抑揚が大きく感じる傾向にある。よって、図６の式（６−２）に示すように、音色変化ペナルティＰＣｃａの関数として、劣化コストＣ１２とその劣化関数を定義する。
Ｃ１２＝Ｗ１２×（ｗ６１×ＰＣｃａ）・・・式（６−２）
なお、このとき判別される劣化原因は「境界音色差」となる。
【００８４】
次に、音質劣化の劣化種別詳細で「抑揚が小さい」と感じる場合は、ピッチペナルティにおいて、目標より低い声で合成された場合である。よって、図５の式（１−３）に示すように、ピッチペナルティＰＰａａの関数として劣化コストＣ１３とその劣化関数を定義する。
Ｃ１３＝Ｗ１３×（ｗ１３×ＰＰａａ）・・・式（１−３）
なお、このとき判別される劣化原因は「ピッチ差」となる。
【００８５】
更に、不自然な抑揚の１つとして、誤アクセントが存在する。誤アクセントは自動修正が困難であるため、利用者により劣化種別詳細として「誤アクセント」が選択された場合は、強制的に手動のアクセント修正ＵＩへ遷移するように構成することが好ましい。
【００８６】
次に、劣化種別の「滑舌」について説明する。滑舌の音質劣化は、主に以下の２種に起因する。
滑舌１）目標に比べて合成音声の声が慌しすぎたり、たどたどしすぎたり、またはそれらが混在している場合
滑舌２）接続境界の音色が不自然に変化する場合
【００８７】
滑舌１）は、素片選択ペナルティにおける音素長ペナルティＰＰｂａ、ＰＰｂｂのいずれか少なくとも一方が大きい場合である。このような場合、合成音声が慌しくなったり、たどたどしくなったりするため、滑舌が不自然となる。
【００８８】
滑舌２）は、素片接続ペナルティの音素環境ペナルティＰＣｂａ、ＰＣｂｂのいずれか少なくとも一方が大きい場合である。このような場合、素片同士の接続境界の音の渡りが不自然となって音色の変化に滑らかさが無くなり、滑舌が不自然となる。更に、音色変化ペナルティＰＣｃａが大きい場合もある。このような場合、境界前後の音色が不自然に変化するため、音色の変化に滑らかさが無くなり、滑舌が不自然となる。
【００８９】
よって、素片選択ペナルティの「音素長ペナルティＰＰｂａ、ＰＰｂｂ」、素片接続ペナルティの「音素環境ペナルティＰＣｂａ、ＰＣｂｂ」「音色変化ペナルティＰＣｃａ」を用いて、図３に示すように劣化種別と、その劣化コスト、劣化コスト関数を定義する。
【００９０】
まず、音質劣化の種別詳細として「滑舌が慌しい」と感じる場合は、目標より短い音素長で合成された場合である。よって、図６の式（２−２）に示すように、音素長ペナルティＰＰｂａを用いて、劣化コストＣ２０とその劣化関数を定義する。
Ｃ２０＝Ｗ２０×（ｗ２２×ＰＰｂａ）・・・式（２−２）
なお、このとき判別される劣化原因は、「音素長差」となる。
【００９１】
更に、接続境界の前後で音素環境が異なる場合、境界前後の音のつながりの滑らかさが無くなり、慌しく感じたり、たどたどしく感じたりする傾向にある。よって、図６の式（５−２）に示すように、音素環境ペナルティＰＣｂａ、ＰＣｂｂを用いて劣化コストＣ２１とその劣化関数を定義する。
Ｃ２１＝Ｗ２１×（ｗ５２×ＰＣｂａ＋ｗ５３×ＰＣｂｂ）・・・式（５−２）
なお、このとき判別される劣化原因は、「音素環境差」となる。
【００９２】
また、接続境界前後の音色差が大きい場合も、境界前後の音のつながりの滑らかさが無くなり、慌しく感じたり、たどたどしく感じたりする傾向にある。よって、図６の式（６−３）に示すように、音色変化ペナルティＰＣｃａを用いて劣化コストＣ２２とその劣化関数を定義する。
Ｃ２２＝Ｗ２２×（ｗ６２×ＰＣｃａ）・・・式（６−３）
なお、このとき判別される劣化原因は、「境界音色差」となる。
【００９３】
次に、音質劣化の劣化種別詳細で「滑舌がたどたどしい」と感じる場合は、目標より長い音素長で合成された場合である。よって、図６の式（２−３）に示すように、音素長ペナルティＰＰｂｂを用いて劣化コストＣ２３とその劣化関数を定義する。
Ｃ２３＝Ｗ２３×（ｗ２３×ＰＰｂｂ）・・・式（２−３）
なお、このとき判別される劣化原因は、「音素長差」である。
【００９４】
更に、接続境界の前後で音素環境が異なる場合、境界前後の音のつながりの滑らかさが無くなり、たどたどしく感じたり、慌しく感じたりする傾向にある。よって、図６の式（５−３）に示すように、音素環境ペナルティＰＣｂａ、ＰＣｂｂを用いて劣化コストＣ２４とその劣化関数を定義する。
Ｃ２４＝Ｗ２４×（ｗ５４×ＰＣｂａ＋ｗ５５×ＰＣｂｂ）・・・式（５−３）
なお、このとき判別される劣化原因は、「音素環境差」である。
【００９５】
また、接続境界前後の音色差が大きい場合も、境界前後の音のつながりの滑らかさが無くなり、たどたどしく感じたり、慌しく感じたりする傾向にある。よって、図６の式（６−４）にしめすように、音色ペナルティＰＰｃａを用いて劣化コストＣ２５とその劣化関数を定義する。
Ｃ２５＝Ｗ２５×（ｗ６３×ＰＣｃａ）・・・式（６−４）
なお、このとき判別される劣化原因は「境界音色差」となる。
【００９６】
利用者により劣化種別詳細として「誤アクセント」が選択された場合は、「抑揚」の場合と同様に、強制的に手動のアクセント修正ＵＩへ遷移するように構成することが好ましい。
【００９７】
以上の構成により、音声合成時の中間情報に含まれる素片選択ペナルティ、素片接続ペナルティが音質劣化を量的に表す情報である点を利用し、各ペナルティの組み合わせを劣化コストおよび劣化コスト関数として定義する。これにより、劣化コストは、劣化種別を正しく判定するのに適した指標となり、劣化種別の判定精度を向上させることができる。更に、劣化種別は、劣化コストと１対１で対応するものではなく、複数の劣化コストの組み合わせとしているので、劣化種別の判定精度を向上させることが可能となる。
【００９８】
以下、図７から図１１を参照しながら、第１の実施の形態による音声合成装置１の動作について説明する。図７は、音声合成装置１における劣化種別表示の動作を示すフローチャート、図８は、表音テキストおよび連続音素列の表示例を示す図である。
【００９９】
図７に示すように、まず、音声合成装置１では、利用者により、音質修正ＵＩ部２１を介して日本語テキストが入力テキストとして入力される。音声合成部７の言語処理部２３は、入力テキストを変換することにより、表音テキストを取得する（Ｓ１０１）。表音テキストは、日本語テキストの読みをカタカナ表記したものであり、更には音声合成に必要なアクセント情報等の付加情報が存在する場合もある。
【０１００】
また、音質修正ＵＩ部２１は、音声合成部７で合成された音声を取得し、利用者が、合成音声を再生して、音声が劣化していると感じる範囲を音質劣化範囲として指定するための画面を表示する（Ｓ１０２）。
【０１０１】
音声合成部７では、韻律生成部２５が読みテキスト５４に従って目標韻律を生成し、素片選択接続部２７が、目標韻律に応じて波形辞書３５から選択した音声素片および素片同士の接続に関する選択接続情報を生成する。波形処理部２９では、選択接続情報に基づいて、波形辞書３５から選択された音声素片に対して波形処理を行い、例えば図８の合成音声波形７０を生成し、再生する。
【０１０２】
この際に、音質修正ＵＩ部２１は、図８に示すように、入力テキスト５２、読みテキスト５４、合成音声波形７０等を不図示の表示部に表示例５０のように提示する。表示例５０のように、入力テキスト５２が「今日の天気は晴れです。」である場合、その読みテキスト５４は「キョーノ／テンキワ／ハレデス．」等と表わされる。また、合成音声波形７０は、横軸が時間、縦軸は振幅として表される。
【０１０３】
ここで表示例５０は、合成音声を再生させるための再生ボタン６２、停止させるための停止ボタン６４、合成音声を保存するための保存ボタン６６を表示するように構成されている。
【０１０４】
利用者が出力された合成音声に音質劣化を感じた場合、利用者は、表示部に提示された読みテキスト５４、または合成音声波形７０の中から、音質劣化範囲５６を指定する。図８では、読みテキスト５４上で、音質劣化範囲５６を指定した例を示している。音質劣化範囲５６は、「キハ／ハレ」として指定されている。
【０１０５】
すなわち、図７に戻って、範囲取得部４１は、読みテキスト５４において、利用者が指定した音質劣化範囲５６を取得する（Ｓ１０３）。このとき例えば、音声合成装置１において、図示せぬマウス装置等により利用者が「キワ／ハレ」の部分を選択することにより、範囲取得部４１は、音質修正ＵＩ部２１を介して音質劣化範囲５６を取得する。
【０１０６】
また、範囲取得部４１は、利用者が指定した音質劣化範囲５６と、音声合成部７からの中間情報に基づいて、利用者指定の音質劣化範囲５６に一致する合成音声の対象音素の範囲を取得する。
【０１０７】
劣化コスト算出部４３は、素片選択接続部２７から中間情報を取得し（Ｓ１０４）、取得した中間情報と音質劣化範囲５６に基づき、音質劣化範囲５６に相当する対象音素範囲における劣化コストを算出する（Ｓ１０５）。劣化コストは、上述のように音声合成部７の中間情報の１つである素片選択ペナルティや素片接続のペナルティに基づき算出する。このとき、算出された劣化コストは、例えば、記憶部５に格納される。
【０１０８】
ところで、劣化コストと劣化種別については、音声合成方式によって、劣化種別と劣化コストの対応付けと、劣化コスト関数の定義方法が異なるため、以下に第１から第３の３種類の音声合成方式を簡単に説明する。
【０１０９】
第１の音声合成方式は、ピッチ変換や音素長変換等の波形処理によって波形辞書から選択した素片を目標韻律に合わせ、合成音声を生成する波形変換方式である。波形辞書から選択した素片に対し波形変換処理を行うので、波形辞書規模は比較的小規模で済み、目標韻律通りの合成音声が生成できる利点がある。しかし、波形処理で音質が劣化することがある。
【０１１０】
第２の音声合成方式は、波形変換処理を行わず、目標韻律に近い素片を波形辞書から選択し、そのままつなぎ合わせる波形無変換方式である。波形変換処理を行わないので肉声感の高い合成音声が生成できる利点があるが、必ずしも目標韻律通りとならずに韻律が破綻する欠点を持つ。また、波形辞書を大規模化することで韻律破綻を抑制しているが、完全ではない。
【０１１１】
第３の音声合成方式は、波形変換方式と波形無変換方式の混在方式である。波形無変換方式がベースとなるが、韻律が破綻する箇所に限って波形変換方式を利用することで、必要最小限の波形変換により、肉声感を保ちつつ韻律が安定した合成音声を生成できる利点があるが、肉声感の高い部分と肉声感を損なった部分が混在し、違和感が高くなることがある。
【０１１２】
第１の実施の形態においては、上記第１から第３の音声合成方式のいずれの方式においても、劣化種別と劣化コストの対応付けと、劣化コスト関数の定義方法を調整することで劣化種別に応じた音質修正が可能である。ただし、本明細書中では説明の便宜上、第２の音声合成方式である波形無変換方式に限定して、図３から図６に示した「各種ペナルティ」と、図６に示した「劣化種別と劣化コストの対応付け」と「劣化コスト関数の定義」を説明した。
【０１１３】
図７に戻って、劣化コスト算出部４３が、音質劣化範囲に相当する対象音素範囲において、各劣化コストを算出すると、劣化種別判定部４５は、対象音素範囲における音質劣化を劣化コストに基づいて「音、抑揚、滑舌」の劣化種別を判定する（Ｓ１０６）。
【０１１４】
ここで、図９を参照しながら、劣化種別判定の動作について説明する。図９は、音声合成装置１における劣化種別判定の動作を示すフローチャートである。図９に示すように、劣化種別判定部４５は、所定個数Ｍ個の劣化コスト上位ＨＣ（ｍ）（ｍ＝０〜Ｍ−１）を初期化する（Ｓ１２１）。なお、整数Ｍは、劣化種別を選択する際の修正候補劣化種別を決定するために参照する、劣化コストＣｎの数である。劣化コストＣｎとは、図６に示した劣化コストＣ００〜Ｃ２５の総称である。ここで、ｎ＝００〜２５である。
【０１１５】
劣化種別判定部４５は、劣化コスト算出部４３が算出した劣化コストＣｎを取得する（Ｓ１２２）。劣化種別判定部４５は、劣化コストＣｎ＞劣化コスト上位ＨＣ（ｍ）であるか否か判別する（Ｓ１２３）。劣化種別判定部４５は、劣化コストＣｎが劣化コスト上位ＨＣ（ｍ）を超えた場合（Ｓ１２３：ＹＥＳ）、Ｓ１２４に処理を進め、劣化コスト上位ＨＣ（ｍ）＝劣化コストＣｎとする。劣化種別判定部４５は、劣化コストＣｎ≦劣化コスト上位ＨＣであれば（Ｓ１２３：ＮＯ）、Ｓ１２５に処理を進める。劣化種別判定部４５は、Ｓ１２３、Ｓ１２４をｍ＝０〜Ｍ−１について繰り返し実行することにより、劣化コストＣｎをソート処理し、例えば記憶部５に登録する。
【０１１６】
劣化種別判定部４５は、次の劣化コストＣｎが存在するか否か判別し（Ｓ１２５）、次の劣化コストＣｎが存在する間（Ｓ１２５：ＹＥＳ）、劣化コストＣｎを劣化コストＣｎの値が高い順にソートを繰り返す。この結果、劣化種別判定部４５は、Ｍ個のソートされた劣化コスト上位ＨＣ（ｍ）を得る。
【０１１７】
劣化種別判定部４５は、未処理の劣化コストＣｎが存在しなくなると（Ｓ１２５：ＮＯ）、Ｍ個以下の劣化コスト上位ＨＣ（ｍ）に登録された劣化コストＣｎから、劣化種別を選定する。すなわち、劣化種別判定部４５は、ｍ＝０とし（Ｓ１２６）、ｍ＜Ｍであれば（Ｓ１２７：ＹＥＳ）、０≦ｎ≦０５であるか否か判別する（Ｓ１２８）。０≦ｎ≦０５である場合には（Ｓ１２８：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「音」とし、種別詳細は表示せず（Ｓ１２９）、ｍ＝ｍ＋１（Ｓ１３０）に更新してＳ１２７に戻る。
【０１１８】
０≦ｎ≦０５でない場合には（Ｓ１２８：ＮＯ）、Ｓ１３１に進み、劣化種別判定部４５は、１０≦ｎ≦１２であるか否か判別する。１０≦ｎ≦１２である場合には（Ｓ１３１：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「抑揚」とし、種別詳細は「大」とし（Ｓ１３２）、ｍ＝ｍ＋１（Ｓ１３０）に更新してＳ１２７に戻る。
【０１１９】
１０≦ｎ≦１２でない場合には（Ｓ１３１：ＮＯ）、Ｓ１３３に進み、劣化種別判定部４５は、ｎ＝１３であるか否か判別する。ｎ＝１３である場合には（Ｓ１３３：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「抑揚」とし、種別詳細は「小」とし（Ｓ１３４）、ｍ＝ｍ＋１（Ｓ１３０）に更新Ｓ１２７に戻る。
【０１２０】
ｎ＝１３でない場合には（Ｓ１３３：ＮＯ）、Ｓ１３５に進み、劣化種別判定部４５は、２０≦ｎ≦２２であるか否か判別する。２０≦ｎ≦２２である場合には（Ｓ１３５：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「滑舌」とし、種別詳細は「慌しい」とし（Ｓ１３６）、ｍ＝ｍ＋１（Ｓ１３０）に更新してＳ１２７に戻る。
【０１２１】
２０≦ｎ≦２２でない場合には（Ｓ１３５：ＮＯ）、Ｓ１３７に進み、劣化種別判定部４５は、２３≦ｎ≦２５であるか否か判別する。２３≦ｎ≦２５である場合には（Ｓ１３７：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「滑舌」とし、種別詳細は「たどたどしい」とし（Ｓ１３８）、ｍ＝ｍ＋１（Ｓ１３０）に更新してＳ１２７に戻る。
【０１２２】
２３≦ｎ≦２５でない場合には、劣化種別判定部４５は、エラーを出力する。劣化種別判定部４５は、ｍ＞Ｍとなった場合には、図７のＳ１０６に戻る。
【０１２３】
上述のように、各劣化種別は、少なくとも１つの劣化コストに基づいて分類される。劣化種別判別部４５は、分類された劣化種別に含まれる劣化コストの値が、他の劣化コストに比べて高値であるか否かを、本実施形態においては、劣化コスト上位ＨＣ（ｍ）を抽出することにより判別している。劣化コストＣｎが高値であると判別されると、すなわち、劣化コスト上位ＨＣ（ｍ）に対応する劣化コストＣｎを、劣化種別判定部４５は、音質修正候補の劣化種別と判定する。
【０１２４】
図７に処理に戻って、劣化位置取得部４７は、音質修正候補と判定された劣化種別について、劣化種別の劣化コスト値と、その劣化位置を取得および保持する（Ｓ１０７）。図１０は、劣化位置の例を示す図である。図１０に示すように、音素列１６０は、読みテキスト５４において指定された音質劣化範囲５６に対応する再合成範囲の一例である。音質劣化範囲５６の中の「キワ／」は、音素列１６２の「Ｋ|Ｉ|Ｗ|Ａ」に対応し、「ハレ」は、音素列１６３の「Ｈ|Ａ|Ｒ|Ｅ」に対応している。ここで、「|」は音素境界を示す。
【０１２５】
例えば、図９の劣化種別判定処理において、劣化コスト上位ＨＣ（ｍ）として劣化コストＣ２０が判別されているとする。このとき、劣化位置取得部４７は、劣化コストＣ２０が音素長ペナルティＰＰｂａの関数であることを判別し、さらに、算出された音素長ペナルティＰＰｂａを記憶部５で参照し、値が高値の箇所を劣化位置として特定する。劣化位置は、選択された素片に対応することが好ましい。図１０においては、音素列「ＷＡ」が、劣化コストＣ２０に対応する劣化位置１６５と取得される。
【０１２６】
別の例として、劣化コスト上位ＨＣ（ｍ）として劣化コストＣ０５が判別されているとする。このとき、劣化位置取得部４７は、劣化コストＣ０５が音色変化ペナルティＰＣｃａの関数であることを判別し、さらに、算出された音色変化ペナルティＰＣｃａを記憶部５で参照し、値が高値の箇所を劣化位置として特定する。この例では、図１０における音素列「ＷＡ−ＨＡ」が、劣化コストＣ０５に対応する劣化位置１６７と取得される。
【０１２７】
音声合成装置１は、音質修正ＵＩ部２１を介して、修正候補の劣化種別を利用者に提示する。図８は、「音」と「抑揚」と「滑舌」および「誤アクセント」の４種が修正候補の劣化種別５８として提示された例である。図８では、さらに、劣化種別詳細６０として「慌しい」と「たどたどしい」が選択肢として表示されている。以上で、劣化種別表示の処理を終了する。
【０１２８】
次に、図１１を参照しながら、劣化種別選択の動作について説明する。図１１は、劣化種別選択の動作を示すフローチャートである。利用者は、音質修正ＵＩ部２１を介して、提示された劣化種別５８およびその種別詳細６０等の中から、自らの感覚に合った劣化種別を選択する。図１１に示すように、修正手段決定部４９は、音質修正ＵＩ部２１を介して利用者が選択した劣化種別を取得し、劣化位置取得部４７から選択された劣化種別に対応した劣化コストと劣化位置を取得する（Ｓ１５１）。また、修正手段決定部４９は、範囲取得部４１から再合成範囲を受け取り、再合成する範囲と、劣化種別の各劣化コストに基づいて音質劣化を改善するため、劣化コストに対応した素片選択ペナルティ、素片接続ペナルティを改善するための修正情報を生成し、素片選択接続部２７へ出力する（Ｓ１５２）。
【０１２９】
修正情報とは、選択された劣化種別または劣化種別詳細に応じた劣化コストを表す劣化関数に含まれる各素片選択ペナルティの、式Ｃ１における係数αｌ（ｌ＝１、２、・・・）、または各素片接続ペナルティの式Ｃ２における係数βｌ（ｌ＝１、２、・・・）である。
【０１３０】
図８に戻って、利用者が、音質劣化範囲５６において、劣化種別５８として「音質が不自然」であること、「滑舌が不自然」であることを選択し、劣化種別詳細６０で「慌しい」と選択したとする。修正手段決定部４９は、選択された劣化種別「滑舌（慌しい）」に対応する劣化コスト劣化コストＣ２０であり、「音」に対応する劣化コストが、劣化コストＣ０５であると判別したとする。このとき、修正手段決定部４９は、劣化コストＣ２０に音素長ペナルティＰＰｂａが対応していると判別する。また、劣化コストＣ０５に音色変化ペナルティＰＣｃａ対応していると判別する。
【０１３１】
そして、修正手段決定部４９は、図１０の例で、音素列１６２において、音素長ペナルティＰＰｂａに対応する係数α３の重みを加重し、音素列１６３において、音色変化ペナルティＰＣｃａに対応する係数β５の重みを加重した修正情報を生成する。
【０１３２】
素片選択接続部２７は、修正情報を受け取ると、再合成範囲の素片選択および素片接続を再度行い、選択接続情報を再度生成する。ここで、再合成範囲は、図１０に示すように、少なくとも音質劣化範囲５６を含む再合成範囲１６９として設定されるようにしてもよい。すなわち、範囲取得部４１は、利用者が指定した音質劣化範囲５６の全てを含んだ音素単位、音素列単位、モーラ単位、モーラ列単位のいずれかの区切りを、再合成範囲として決定するように構成する。
【０１３３】
図１０の例では、読みテキスト５４「キョーノ／テンキワ／ハレデス．」に対し、利用者が「キワ／ハレ」の部分を音質劣化範囲５６として選択している。このとき、利用者の指定範囲は音素列１６２と音素列１６３を足し合わせた「Ｋ|Ｉ|Ｗ|Ａ|Ｈ|Ａ|Ｒ|Ｅ」を再合成範囲１６８として、音声合成部７は再合成を行っても良い。また、利用者の指定範囲を含む音素列単位「Ｋ|Ｉ|Ｗ|Ａ」と音素列単位「Ｈ|Ａ|Ｒ|Ｅ|Ｄ|Ｅ|Ｓ|Ｕ」を再合成範囲１６９としてもよい。再合成範囲１６９は、２つの音素列単位がそれぞれ、合成音声の２つの素片単位と一致する例であり、再合成範囲を素片単位で区切ることで、利用者が指定した範囲外に音質劣化があった場合でも、音質改善効果を得ることが可能となる。
【０１３４】
図１１に戻って、波形処理部２９は、再生成された選択接続情報をもとに音声を再合成する。すなわち、再合成範囲１６８のみ、または再合成範囲１６９のみ、もしくは再合成範囲１６８または再合成範囲１６９を含む入力テキスト５２に対応する音声全てを再合成して合成音声の音声波形を再生成する（Ｓ１５３）。このように、音声合成装置１は、利用者が選択した劣化種別に対応する各素片選択ペナルティまたは素片接続ペナルティに対応する重みを加重する修正情報を生成する。そして、音質劣化の原因となっている対象の素片選択ペナルティや素片接続ペナルティに加重した素片選択ペナルティＰＰおよび素片接続ペナルティＰＣが最小となるように、上記の再合成範囲について音声を再合成することにより、再合成時の音声を修正する。
【０１３５】
以上詳細に説明したように、音声合成装置１は、利用者が指定した音質劣化範囲５６における劣化コストを算出することにより、音質劣化位置とその音質劣化種別を判定し、音質劣化種別を利用者へ提示する。利用者は提示された劣化種別の中から、自らの感覚に合った劣化種別を選択する。音声合成装置１は、選択された劣化種別を取得し、取得した劣化種別に対応した素片選択ペナルティまたは素片接続ペナルティに対応する重み係数を更新した修正情報を生成し、修正情報に基づき音声の再合成を行うことにより、音声を修正する。
【０１３６】
以上の構成により、音声合成装置１においては、利用者が指定した音質劣化範囲から音質劣化位置とその音質劣化種別を判定し、音質劣化種別を利用者へ提示する。よって、利用者は提示された劣化種別の中から、自らの感覚に合った劣化種別を選択することができ、劣化種別に応じた音質修正が可能となる。
【０１３７】
上述の音声合成技術では、波形辞書から素片を選択する際、および選択した素片を接続する際に、目標韻律に合わない素片選択にはペナルティを大きく、音質劣化しやすい素片接続にもペナルティを大きく与える。そして、素片選択ペナルティ評価値ＰＰ、素片接続ペナルティ評価値ＰＣが最小となる素片選択、素片接続を行うことで、合成音声の音質向上を図っている。したがって、上述のように利用者が選択した劣化種別に対応した素片選択ペナルティ、または素片接続ペナルティに対するペナルティの重みに荷重して再合成することで、より目標韻律に近い音声となる素片選択と素片接続が行われる。これにより、利用者が指定した劣化種別に対応した音質劣化を改善することができる。
【０１３８】
また、音声合成時の中間情報の一つである素片選択ペナルティ、素片接続ペナルティは、音質劣化に関与するペナルティであり、各ペナルティを用いて劣化コストを定義する。これにより、劣化種別を判定するのに適した劣化コストとなり、劣化種別の判定精度を向上することができる。これらの劣化種別は、各劣化コストと１対１で対応するものではなく、複数の劣化コストの組み合わせに応じて劣化種別が正しく判定される。よって、劣化種別の判定精度を向上させることが可能となる。
【０１３９】
修正候補劣化種別は、音質劣化原因となっている可能性の高い劣化コスト上位から劣化種別を選定することで、劣化種別の判定精度を向上させることができる。すなわち、劣化コストが高いものは音質劣化原因となっている可能性が高く、このような劣化コスト上位を含む劣化種別も音質劣化原因である可能性が高いため、劣化種別の判定精度を向上させることが可能となる。
【０１４０】
なお、音質劣化範囲を指定する場合には、利用者は音質劣化を感じる範囲を含むおよその範囲で指定すればよく、音質劣化が生じている箇所に限定して範囲指定する必要はない。また、範囲取得部４１は、利用者が指定した音質劣化範囲５６を完全に含み、音素単位、またはモーラ単位を区切りとした範囲を音質劣化範囲として取得すればよい。このとき、音素単位、モーラ単位の代替として、合成音声の素片単位に一致した音素列単位、モーラ列単位としてもよい。音質劣化範囲を取得する際には、範囲取得部４１は、利用者が指定した音質劣化範囲５６と、音声合成部７で得られた読みテキスト５４、または音声合成部７の中間情報を照合することが好ましい。
【０１４１】
また、音声合成は、１音素または１モーラ単位で合成するとは限らず、連続した複数音素（音素列）または複数モーラ（モーラ列）が混在して合成される。したがって、上記で取得した音質劣化範囲が、必ずしも合成音声の素片単位の境界と一致するとは限らない。よって、音質劣化範囲を完全に含んだ素片単位の区切りを再合成範囲と設定することで、音質劣化の生じていない合成音声部分の音質を保持しつつ、指定範囲外に音質劣化があった場合でも、必要最小限範囲の再合成によって音質改善を図ることができる。
【０１４２】
劣化種別が取得する際の方法は、上記に限定されない。例えば、劣化コストの高い順に劣化種別を利用者へ提示してもよく、更には、音質劣化の可能性の低い劣化種別を提示しない、または、提示しても再合成時に反映されない非アクティブで提示するように構成してもよい。
【０１４３】
（第１の実施の形態の変形例）
以下、図１２を参照しながら、第１の実施の形態の変形例による音声合成装置１について説明する。本変形例は、第１の実施の形態による音声合成装置１における劣化種別判定に関する変形例である。よって本変形例において、第１の実施の形態による音声合成装置１の構成および動作と同一の部分は詳細な説明を省略し、劣化種別判定動作に関してのみ説明する。
【０１４４】
図１２は、本変形例における劣化種別判定の動作を示すフローチャートである。本変形例では、修正候補の劣化種別を予め定められた閾値を超えたか否かにより判別する。図１２に示すように、劣化種別判定部４５は、劣化コスト算出部４３が算出した劣化コストＣｎを取得する（Ｓ１８１）。続いて、劣化種別判定部４５は、まずｎ＝０と設定する（Ｓ１８２）。劣化種別判定部４５は、ｎ＜２６であるか否か判別し、ｎ＜２６であれば、Ｃ００〜Ｃ２５のそれぞれについて、予め設定されたそれぞれの閾値Ｓ００〜Ｓ２５よりも値が高値であるか否か判別する（Ｓ１８３）。そして、Ｓ１８３において、閾値よりも高値であると判別された劣化コストＣｎについて、Ｓ１８４以下の判別を行う。
【０１４５】
Ｓ１８４では、劣化種別判定部４５は、劣化コストＣｎ＜閾値Ｓｎであるか否か判別し、Ｃｎ＜閾値Ｓｎでない場合には（Ｓ１８４：ＮＯ）、ｎ＝ｎ＋１とし（Ｓ１８５）、Ｓ１８３に戻る。Ｃｎ＜閾値Ｓｎである場合には（Ｓ１８４：ＹＥＳ）、処理はＳ１８６に進む。
【０１４６】
劣化種別判定部４５は、０≦ｎ≦０５であるか否か判別する（Ｓ１８６）。０≦ｎ≦０５である場合には（Ｓ１８６：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「音」とし、種別詳細は表示せず（Ｓ１８７）、ｎ＝ｎ＋１（Ｓ１８５）に更新してＳ１２７に戻る。
【０１４７】
０≦ｎ≦０５でない場合には（Ｓ１８６：ＮＯ）、Ｓ１８８に進み、劣化種別判定部４５は、１０≦ｎ≦１２であるか否か判別する。１０≦ｎ≦１２である場合には（Ｓ１８８：ＹＥＳ）、劣化種別判定部４５は、劣化種別は「抑揚」とし、種別詳細は「大」とし（Ｓ１８９）、ｎ＝ｎ＋１（Ｓ１８５）に更新してＳ１８３に戻る。
【０１４８】
１０≦ｎ≦１２でない場合には（Ｓ１８８：ＮＯ）、Ｓ１９０に進み、劣化種別判定部４５は、ｎ＝１３であるか否か判別する。ｎ＝１３である場合には（Ｓ１９０：ＹＥＳ）、劣化種別判定部４５は、劣化種別を「抑揚」とし、種別詳細は「小」とし（Ｓ１９１）、ｎ＝ｎ＋１（Ｓ１８５）に更新Ｓ１８３に戻る。
【０１４９】
ｎ＝１３でない場合には（Ｓ１９０：ＮＯ）、Ｓ１９２に進み、劣化種別判定部４５は、２０≦ｎ≦２２であるか否か判別する。２０≦ｎ≦２２である場合には（Ｓ１９２：ＹＥＳ）、劣化種別判定部４５は、劣化種別を「滑舌」とし、種別詳細は「慌しい」とし（Ｓ１９３）、ｎ＝ｎ＋１（Ｓ１８５）に更新してＳ１８３に戻る。
【０１５０】
２０≦ｎ≦２２でない場合には（Ｓ１９２：ＮＯ）、Ｓ１９４に進み、劣化種別判定部４５は、劣化種別を「滑舌」とし、種別詳細は「たどたどしい」とし、ｎ＝ｎ＋１（Ｓ１８５）に更新してＳ１８３に戻る。Ｓ１８３においてｎ＜２６でない場合には、劣化種別判定部４５は、処理を図７のＳ１０６に戻す。
【０１５１】
例えば、劣化コスト算出部４３が算出した劣化コストＣ２０とＣ０５が所定の閾値を超えた例では、劣化種別５８として「音質が不自然」であること、「滑舌が不自然」であることを選択可能に表示し、劣化種別詳細６０で「慌しい」を選択可能に表示することができる。
【０１５２】
以上説明したように、本変形例によれば、劣化種別判定部４５は、劣化コスト算出部４３で算出した劣化コストＣｎが、予め劣化コスト毎に設定された所定閾値Ｓｎ（ｎ：００〜２５）を超えた場合、修正候補劣化種別として劣化コストＣｎの劣化種別を選定する。
【０１５３】
よって、本変形例によれば、所定の閾値を設定することで、音質劣化が生じていないにも関わらず、劣化種別を判定して利用者へ誤提示してしまうリスクを回避することができる。
【０１５４】
さらに、本変形例において各劣化コストが所定の閾値を超えない場合、第１の実施の形態による図９に記載の動作に切り替えて、各劣化コストから所定個数の劣化コスト上位を選定し、各劣化コスト上位の劣化種別を選定するように構成するようにしてもよい。このような構成により、全ての劣化コストがそれぞれの所定の閾値を超えない場合に「劣化種別無し」となってしまい、利用者の音質劣化を修正できなくなる問題を回避し、劣化コスト上位を含む劣化種別を利用者へ提示することで、音質劣化改善が可能となる。
【０１５５】
また、劣化算出部４３が算出した各劣化コストが所定の閾値を超えない場合、全ての劣化種別を利用者へ提示し、修正手段決定部４９が、音質修正ＵＩ部２１を介して、利用者が選択した劣化種別に対応した手動修正ＵＩを起動するように構成することもできる。例えば、誤アクセントなどの自動修正が困難な劣化種別の場合も、アクセント手動修正ＵＩを起動するように構成するようにしてもよい。
【０１５６】
通常、判定した音質の劣化種別が利用者の感じる劣化種別と一致しない場合があるため、音質の劣化種別は全て提示することが好ましいが、この場合には、利用者が選択した劣化種別の音質劣化を自動修正することは困難である。しかし、利用者選択の劣化種別に応じた手動修正ＵＩを起動することで、利用者自身が起動する手動修正ＵＩの選択を行わなくても最適な手動修正ＵＩが自動起動し、手動操作により音質修正を可能とすることができる。
【０１５７】
（第２の実施の形態）
以下、図１３〜図１５を参照しながら、第２の実施の形態による音声合成装置について説明する。なお、第２の実施の形態において、第１の実施の形態による音声合成装置１と同一の構成および動作については、重複説明を省略する。
【０１５８】
図１３は、第２の実施の形態による音声合成装置の機能を示すブロック図、図１４は、第２の実施の形態による劣化範囲指定の動作を示すフローチャート、図１５は、第２の実施の形態による劣化種別指定の動作を示すフローチャートである。第２の実施の形態による音声合成装置は、第１の実施の形態による音声合成装置１における音声修正決定部９に代えて音声修正決定部２３０を有する構成である。以下、第２の実施の形態による音声合成装置を、音声合成装置２００ということにする。
【０１５９】
図１３に示すように、音声合成装置２００の音声修正決定部２３０は、音声修正決定部９の構成に加えて、修正履歴データベース２３２を有している。修正履歴データベース２３２は、利用者が選択した劣化種別を格納する記憶装置である。
【０１６０】
図１４に示すように、まず、範囲取得部４１は、利用者により指定された音質劣化範囲５６を取得する（Ｓ２０１）。範囲取得部４１は、取得した音質劣化範囲５６に基づき、上述のように再合成範囲を、例えば図１０の再合成範囲１６９などと決定するとともに、再合成回数ｉを初期化する（Ｓ２０２）。劣化コスト算出部４３は、音質劣化範囲５６について上述の方法で劣化コストを算出する（Ｓ２０３）。
【０１６１】
劣化種別判定部４５は、算出された劣化コストに基づき、例えば、第１の実施形態またはその変形例に記載した方法で劣化種別を判定する。また、劣化位置取得部４７は、判定された劣化種別に対応する劣化位置を取得する（Ｓ２０４）。さらに、劣化種別判定部４５は、音質修正ＵＩ部２１を介して劣化種別を提示する（Ｓ２０５）。
【０１６２】
図１５に示すように、修正手段決定部４９は、音質修正ＵＩ部２１を介して、劣化種別が「誤アクセント」であると取得されたか否かを判別する（Ｓ２１１）。「誤アクセント」であると取得された場合は（Ｓ２１１：ＹＥＳ）、手動修正ＵＩを起動する（Ｓ２１６）。
【０１６３】
「誤アクセント」であると取得されない場合には（Ｓ２１１：ＮＯ）、修正手段決定部４９は、選択された劣化種別に対応する素片選択ペナルティまたは素片接続ペナルティの加重を行う修正情報を生成する（Ｓ２１２）。音声合成部７は、生成された修正情報に基づき音声を再合成するが、その際、修正手段決定部４９は、再合成回数ｉ＝ｉ＋１とインクリメントし、対象の劣化種別と再合成回数ｉを修正履歴データベース２３２に格納する（Ｓ２１３）。
【０１６４】
劣化種別判定部４５は、全劣化コストＣｎがそれぞれ予め定められた閾値未満であるか否かを判別する（Ｓ２１４）。一つでも閾値以上の劣化コストＣｎがある場合には（Ｓ２１４：ＮＯ）、修正手段決定部４９は、劣化コストＣｎが閾値未満でない劣化種別について、再合成がＮ回以下であるか否か判別する（Ｓ２１５）。再合成がＮ回以下の場合には（Ｓ２１５：ＹＥＳ）、処理はＳ２０３に戻る。再合成がＮ回を超えた場合には（Ｓ２１５：ＮＯ）、手動修正ＵＩを起動する。手動修正ＵＩにより、再合成がＮ回を越えた劣化種別に対応付けて記憶された修正情報を生成し、生成された修正情報に基づき音声を修正する。このとき、修正情報は、対応する劣化種別に関連付けて例えば記憶部５に格納することが好ましい。
【０１６５】
Ｓ２１４において、全劣化コストＣｎがすべて閾値未満であれば（Ｓ２１４：ＹＥＳ）、修正手段決定部４９は、音質修正ＵＩ部２１を介して利用者に修正終了確認画面を提示し（Ｓ２１７）、音質修正終了か否かを判別する（Ｓ２１８）。音質修正終了が確認されない場合には（Ｓ２１８：ＮＯ）、手動修正ＵＩを起動し、音質修正終了が確認された場合には（Ｓ２１８：ＹＥＳ）、音声合成処理を終了する。
【０１６６】
以上説明したように、第２の実施の形態による音声合成装置２００によれば、修正履歴データベース２３２に同一劣化種別に関する再合成回数ｉを格納する。修正手段決定部４９は、利用者が同一の劣化種別を所定回数選択した場合、利用者が望む音質の自動修正が困難と判断し、音質修正ＵＩ部２１を介して、利用者が選択した劣化種別に対応した手動修正ＵＩを起動するように構成する。
【０１６７】
このように、利用者が選択した劣化種別の音質劣化を自動修正しても、利用者希望の音質にならないケースが連続した場合、不必要に自動修正を繰り返すより最適な手動修正ＵＩによって利用者が手動操作することで音質修正が可能となる。
【０１６８】
なお、第２の実施の形態において、修正劣化種別として選択された回数がいずれの劣化種別も所定のＮ回を超えない場合に、最も選択された回数の多い劣化種別に関連付けて記憶された修正情報により音声を修正するようにしてもよい。
【０１６９】
（第２の実施の形態による変形例）
以下、図１３を参照しながら、第２の実施の形態の変形例による音声合成装置２００について説明する。本変形例は、第２の実施の形態による音声合成装置２００における再合成実行判断処理に関する変形例である。よって本変形例において、第２の実施の形態による音声合成装置２００の構成および動作と同一の部分は詳細な説明を省略し、再合成実行判断に関してのみ説明する。
【０１７０】
本変形例において、修正手段決定部４９は、利用者が音質修正を行った際の劣化種別の選択頻度を積算し、例えばその積算値が所定の閾値を超えた劣化種別を修正履歴データベース２３２に登録するように構成する。更に、修正手段決定部４９は、通常の音声合成処理を行う際に、以下のように修正情報を生成する。すなわち、修正手段決定部４９は、修正履歴データベース２３２の劣化種別に対応する劣化コストの劣化コスト関数を構成する素片選択ペナルティまたは素片接続ペナルティの各種ペナルティに対し、ペナルティの重みを強化する修正情報を生成する。音声合成部７の素片選択接続部２７は、この修正情報に基づいて合成音声を生成する。
【０１７１】
以上説明したように、本変形例によれば、修正履歴データベース２３２に格納された修正履歴を参照することにより、利用者が選択した音質の劣化種別の頻度が高いものが、利用者の音質修正の傾向と判断される。そして、音声合成時に、予め対象の劣化種別の音質劣化を抑えるために、劣化種別の劣化コストを算出する劣化コスト関数の構成要素である素片選択ペナルティ、素片接続ペナルティを改善する音声合成処理を行う。これにより、利用者の音質劣化修正の負担を軽減することが可能となる。
【０１７２】
一般に、音質劣化の感じ方は個人差が強いため、利用者個人の音質修正の傾向を把握し、合成音声生成時に予め利用者嗜好の音質修正を施した合成音声を生成することで、利用者の音質劣化修正の負担を軽減することが可能となる。さらに、利用者が選択した劣化種別の音質劣化を自動修正しても、利用者希望の音質にならないケースが連続した場合、劣化種別に応じた音質自動修正のみでなく、最適な手動修正ＵＩを起動させることで、利用者は手動操作により音質修正が可能となる。
【０１７３】
上記第１の実施の形態、第２の実施の形態およびそれぞれの変形例において、修正手段決定部４９は、修正情報生成部、取得回数係数部の一例であり、素片選択ペナルティおよび素片接続ペナルティは、劣化情報の一例である。特に、素片選択ペナルティは、第１の劣化情報の一例であり、素片接続ペナルティは、第２の劣化情報の一例である。
【０１７４】
さらに、ピッチペナルティＰＰａａ、ＰＰａｂは、第１の差分情報の一例であり、音素長ペナルティＰＰｂａ、ＰＰｂｂは、第２の差分情報の一例であり、音色ペナルティＰＰｃａは、第３の差分情報の一例である。また、ピッチ変化ペナルティＰＣａａ、ＰＣａｂは、第４の差分情報の一例であり、音素環境ペナルティＰＣｂａ、ＰＣｂｂは、第５の差分情報の一例であり、音色変化ペナルティＰＣｃａは、第６の差分情報の一例である。第１の範囲は、音質劣化範囲５６は、第１の範囲の一例であり、再合成範囲１６８、１６９は、第２の範囲の一例である。
【０１７５】
ここで、上記第１または第２の実施の形態およびそれぞれの変形例による音声合成装置の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１６は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１６に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。
【０１７６】
ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。
【０１７７】
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【０１７８】
上記第１または第２の実施の形態およびそれぞれの変形例による音声合成装置をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、コンピュータ３００に音声合成の動作を行なわせる。このとき、まず、音声合成の処理をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。
【０１７９】
なお、本発明は、以上に述べた実施の形態および変形例に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、劣化位置取得部４７は、修正候補劣化種別に対応する劣化位置を取得するようにしたが、少なくとも修正劣化種別に対応する劣化位置を取得すればよい。また、修正情報は、劣化種別と劣化位置とに基づき生成する例について説明したが、例えば、音質劣化範囲が非常に短く設定されている例などでは、必ずしも劣化位置に基づき生成しなくてもよい。
【符号の説明】
【０１８０】
１ 音声合成装置
３ 入力部
５ 記憶部
７ 音声合成部
９ 音声修正決定部
１１ 出力部
２１ 音質修正ＵＩ部
２３ 言語処理部
２５ 韻律生成部
２７ 素片選択接続部
２９ 波形処理部
３１ 言語辞書
３３ 韻律辞書
３５ 波形辞書
４１ 範囲取得部
４３ 劣化コスト算出部
４５ 劣化種別判定部
４７ 劣化位置取得部
４９ 修正手段決定部
【特許請求の範囲】
【請求項１】
合成された音声を取得する合成音声取得部と、
前記音声における修正を行う第１の範囲を取得する範囲取得部と、
前記第１の範囲における音質劣化に応じた情報である少なくとも一つの劣化コストを算出する劣化コスト算出部と、
前記第１の範囲において修正を行う候補となる前記音質劣化の性質に応じた少なくとも一つの修正候補劣化種別を、少なくとも一つの前記劣化コストに基づき判定する劣化種別判定部と、
判定された前記修正候補劣化種別の中から修正を行うために選択される修正劣化種別を取得する劣化種別取得部と、
前記修正劣化種別に基づき前記音声を修正するための修正情報を生成する修正情報生成部と、
前記修正情報に基づき前記音声の再合成を行う音声合成部と、
を有することを特徴とする音声合成装置。
【請求項２】
前記劣化コスト算出部は、
前記第１の範囲における音声の音素、音素列、モーラおよびモーラ列のいずれか毎に算出される前記音質劣化に応じた劣化情報に基づき前記劣化コストを算出することを特徴とする請求項１に記載の音声合成装置。
【請求項３】
取得された前記修正劣化種別と対応する劣化位置を取得する劣化位置取得部、
をさらに有し、
前記修正情報生成部は、
前記修正劣化種別および前記劣化位置に基づき前記音声を修正するための修正情報を生成することを特徴とする請求項２に記載の音声合成装置。
【請求項４】
前記劣化位置取得部は、
前記劣化位置を前記劣化情報に基づき取得することを特徴とする請求項３に記載の音声合成装置。
【請求項５】
前記音声合成部は、
前記音声を合成する際の目標となる目標韻律を生成する韻律生成部と、
前記目標韻律に基づき前記音声を合成するための素片を選択し、選択した前記素片を互いに接続する素片選択接続部と、
を有し、
前記劣化情報は、
選択された一つの前記素片と対応する前記目標韻律との差に応じた第１の劣化情報、および前記素片同士を接続する際の接続部分における前記素片と対応する前記目標韻律との差に応じた第２の劣化情報の少なくとも一方を含むことを特徴とする請求項２から請求項４のいずれかに記載の音声合成装置。
【請求項６】
前記第１の劣化情報は、
前記目標韻律と選択された前記素片とのピッチ周波数比率に応じた第１の比率情報、
前記目標韻律と選択された前記素片との音素長比率に応じた第２の比率情報、および前記目標韻律と選択された前記素片との音色の差に応じた第１の差分情報のいずれか少なくとも一つを含むことを特徴とする請求項５に記載の音声合成装置。
【請求項７】
前記第２の劣化情報は、
前記接続部分前後のピッチ周波数比率に応じた第３の比率情報、前記接続部分前後の前記素片の音素環境差に応じた第２の差分情報、および前記接続部分前後の音色差に応じた第３の差分情報のいずれか少なくとも一つを含むことを特徴とする請求項５または請求項６に記載の音声合成装置。
【請求項８】
前記劣化種別判定部は、
前記少なくとも一つの劣化コストのうち、値が高い順の所定順位以上である、少なくとも一つの前記劣化コストに応じた劣化種別を前記修正候補劣化種別と判定する
ことを特徴とする請求項１から請求項７のいずれかに記載の音声合成装置。
【請求項９】
前記劣化種別判定部は、
前記劣化コストに応じて予め定められた第１の閾値を超えた前記劣化コストに応じた劣化種別を前記修正候補劣化種別と判定することを特徴とする請求項１から請求項７のいずれかに記載の音声合成装置。
【請求項１０】
前記音声合成部は、
前記第１の範囲を含み、前記第１の範囲以上の範囲である前記第２の範囲について前記音声の再合成を実行することを特徴とする請求項１から請求項９に記載の音声合成装置。
【請求項１１】
前記劣化種別取得部が、取得した前記修正劣化種別に対応する前記劣化コストの少なくとも一つが、前記劣化コストに応じて予め定められた前記第２の閾値を超えないと判別した場合に、
前記修正情報生成部は、
前記第２の閾値を超えない前記劣化コストに対応する前記劣化種別に関連付けて記憶された修正情報を、前記音声を修正するための前記修正情報として生成することを特徴とする請求項１から請求項１０に記載の音声合成装置。
【請求項１２】
前記劣化種別取得部が取得した各修正劣化種別が取得された回数をそれぞれ計数する取得回数計数部、
をさらに有し、
前記修正情報生成部は、
前記回数のいずれかが所定回数を超えると、前記所定回数を超えて取得された前記修正劣化種別に関連付けて記憶された修正情報を、前記音声を修正するための修正情報として生成することを特徴とする請求項１から請求項１０に記載の音声合成装置。
【請求項１３】
前記劣化種別取得部が取得した各修正劣化種別が取得された回数を計数する取得回数計数部、
をさらに有し、
前記修正情報生成部は、
前記回数を解析し、前記回数が他の修正劣化種別よりも大きい修正劣化種別に関連付けて記憶された修正情報を、前記音声を修正するための修正情報として生成する、
ことを特徴とする請求項１から請求項１０のいずれかに記載の音声合成装置。
【請求項１４】
合成された音声を取得し、
前記音声における修正を行う第１の範囲を取得し、
前記第１の範囲における音質劣化に応じた情報である少なくとも一つの劣化コストを算出し、
前記第１の範囲において修正を行う候補となる前記音質劣化の性質に応じた少なくとも一つの修正候補劣化種別を、少なくとも一つの前記劣化コストに基づき判定し、
判定された前記修正候補劣化種別の中から修正を行うために選択される修正劣化種別を取得し、
前記修正劣化種別に基づき前記音声を修正するための修正情報を生成し、
前記修正情報に基づき前記音声の再合成を行う、
ことを特徴とする音声修正方法。
【請求項１５】
合成された音声を取得し、
前記音声における修正を行う第１の範囲を取得し、
前記第１の範囲における音質劣化に応じた情報である少なくとも一つの劣化コストを算出し、
前記第１の範囲において修正を行う候補となる前記音質劣化の性質に応じた少なくとも一つの修正候補劣化種別を、少なくとも一つの前記劣化コストに基づき判定し、
判定された前記修正候補劣化種別の中から修正を行うために選択される修正劣化種別を取得し、
前記修正劣化種別に基づき前記音声を修正するための修正情報を生成し、
前記修正情報に基づき前記音声の再合成を行う、
処理をコンピュータに実行させるプログラム。
【請求項１】
合成された音声を取得する合成音声取得部と、
前記音声における修正を行う第１の範囲を取得する範囲取得部と、
前記第１の範囲における音質劣化に応じた情報である少なくとも一つの劣化コストを算出する劣化コスト算出部と、
前記第１の範囲において修正を行う候補となる前記音質劣化の性質に応じた少なくとも一つの修正候補劣化種別を、少なくとも一つの前記劣化コストに基づき判定する劣化種別判定部と、
判定された前記修正候補劣化種別の中から修正を行うために選択される修正劣化種別を取得する劣化種別取得部と、
前記修正劣化種別に基づき前記音声を修正するための修正情報を生成する修正情報生成部と、
前記修正情報に基づき前記音声の再合成を行う音声合成部と、
を有することを特徴とする音声合成装置。
【請求項２】
前記劣化コスト算出部は、
前記第１の範囲における音声の音素、音素列、モーラおよびモーラ列のいずれか毎に算出される前記音質劣化に応じた劣化情報に基づき前記劣化コストを算出することを特徴とする請求項１に記載の音声合成装置。
【請求項３】
取得された前記修正劣化種別と対応する劣化位置を取得する劣化位置取得部、
をさらに有し、
前記修正情報生成部は、
前記修正劣化種別および前記劣化位置に基づき前記音声を修正するための修正情報を生成することを特徴とする請求項２に記載の音声合成装置。
【請求項４】
前記劣化位置取得部は、
前記劣化位置を前記劣化情報に基づき取得することを特徴とする請求項３に記載の音声合成装置。
【請求項５】
前記音声合成部は、
前記音声を合成する際の目標となる目標韻律を生成する韻律生成部と、
前記目標韻律に基づき前記音声を合成するための素片を選択し、選択した前記素片を互いに接続する素片選択接続部と、
を有し、
前記劣化情報は、
選択された一つの前記素片と対応する前記目標韻律との差に応じた第１の劣化情報、および前記素片同士を接続する際の接続部分における前記素片と対応する前記目標韻律との差に応じた第２の劣化情報の少なくとも一方を含むことを特徴とする請求項２から請求項４のいずれかに記載の音声合成装置。
【請求項６】
前記第１の劣化情報は、
前記目標韻律と選択された前記素片とのピッチ周波数比率に応じた第１の比率情報、
前記目標韻律と選択された前記素片との音素長比率に応じた第２の比率情報、および前記目標韻律と選択された前記素片との音色の差に応じた第１の差分情報のいずれか少なくとも一つを含むことを特徴とする請求項５に記載の音声合成装置。
【請求項７】
前記第２の劣化情報は、
前記接続部分前後のピッチ周波数比率に応じた第３の比率情報、前記接続部分前後の前記素片の音素環境差に応じた第２の差分情報、および前記接続部分前後の音色差に応じた第３の差分情報のいずれか少なくとも一つを含むことを特徴とする請求項５または請求項６に記載の音声合成装置。
【請求項８】
前記劣化種別判定部は、
前記少なくとも一つの劣化コストのうち、値が高い順の所定順位以上である、少なくとも一つの前記劣化コストに応じた劣化種別を前記修正候補劣化種別と判定する
ことを特徴とする請求項１から請求項７のいずれかに記載の音声合成装置。
【請求項９】
前記劣化種別判定部は、
前記劣化コストに応じて予め定められた第１の閾値を超えた前記劣化コストに応じた劣化種別を前記修正候補劣化種別と判定することを特徴とする請求項１から請求項７のいずれかに記載の音声合成装置。
【請求項１０】
前記音声合成部は、
前記第１の範囲を含み、前記第１の範囲以上の範囲である前記第２の範囲について前記音声の再合成を実行することを特徴とする請求項１から請求項９に記載の音声合成装置。
【請求項１１】
前記劣化種別取得部が、取得した前記修正劣化種別に対応する前記劣化コストの少なくとも一つが、前記劣化コストに応じて予め定められた前記第２の閾値を超えないと判別した場合に、
前記修正情報生成部は、
前記第２の閾値を超えない前記劣化コストに対応する前記劣化種別に関連付けて記憶された修正情報を、前記音声を修正するための前記修正情報として生成することを特徴とする請求項１から請求項１０に記載の音声合成装置。
【請求項１２】
前記劣化種別取得部が取得した各修正劣化種別が取得された回数をそれぞれ計数する取得回数計数部、
をさらに有し、
前記修正情報生成部は、
前記回数のいずれかが所定回数を超えると、前記所定回数を超えて取得された前記修正劣化種別に関連付けて記憶された修正情報を、前記音声を修正するための修正情報として生成することを特徴とする請求項１から請求項１０に記載の音声合成装置。
【請求項１３】
前記劣化種別取得部が取得した各修正劣化種別が取得された回数を計数する取得回数計数部、
をさらに有し、
前記修正情報生成部は、
前記回数を解析し、前記回数が他の修正劣化種別よりも大きい修正劣化種別に関連付けて記憶された修正情報を、前記音声を修正するための修正情報として生成する、
ことを特徴とする請求項１から請求項１０のいずれかに記載の音声合成装置。
【請求項１４】
合成された音声を取得し、
前記音声における修正を行う第１の範囲を取得し、
前記第１の範囲における音質劣化に応じた情報である少なくとも一つの劣化コストを算出し、
前記第１の範囲において修正を行う候補となる前記音質劣化の性質に応じた少なくとも一つの修正候補劣化種別を、少なくとも一つの前記劣化コストに基づき判定し、
判定された前記修正候補劣化種別の中から修正を行うために選択される修正劣化種別を取得し、
前記修正劣化種別に基づき前記音声を修正するための修正情報を生成し、
前記修正情報に基づき前記音声の再合成を行う、
ことを特徴とする音声修正方法。
【請求項１５】
合成された音声を取得し、
前記音声における修正を行う第１の範囲を取得し、
前記第１の範囲における音質劣化に応じた情報である少なくとも一つの劣化コストを算出し、
前記第１の範囲において修正を行う候補となる前記音質劣化の性質に応じた少なくとも一つの修正候補劣化種別を、少なくとも一つの前記劣化コストに基づき判定し、
判定された前記修正候補劣化種別の中から修正を行うために選択される修正劣化種別を取得し、
前記修正劣化種別に基づき前記音声を修正するための修正情報を生成し、
前記修正情報に基づき前記音声の再合成を行う、
処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図８】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図８】
【図１０】
【公開番号】特開２０１３−１１８２８（Ｐ２０１３−１１８２８Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４６０３３（Ｐ２０１１−１４６０３３）
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
[ Back to top ]