はなし言葉分析装置とその方法とプログラム
【課題】学習データを用いずに音声データから卓立区間を抽出するはなし言葉分析装置を提供する。
【解決手段】言語ラベルが付与された卓立区間を抽出する対象の卓立区間抽出対象音声を入力とし、その言語ラベルを持つ読み上げ口調の合成音声を合成する。そして、卓立区間抽出対象音声と合成音声とを入力として、卓立区間抽出対象音声の基本周波数列である基本周波数列Ｘ１と、上記合成音声の基本周波数列である基本周波数列Ｘ２を抽出し、卓立区間抽出部が、基本周波数列Ｘ１とＸ２と上記言語ラベルを入力として、アクセント句間での基本周波数の変動方向についての基本周波数列Ｘ１と基本周波数列Ｘ２との間の相関と、当該アクセント句間での基本周波数の変動量についての基本周波数系列Ｘ１とＸ２との間での比較と、に基づいて上記卓立区間抽出対象音声の卓立区間を抽出して卓立区間情報を出力する。
【解決手段】言語ラベルが付与された卓立区間を抽出する対象の卓立区間抽出対象音声を入力とし、その言語ラベルを持つ読み上げ口調の合成音声を合成する。そして、卓立区間抽出対象音声と合成音声とを入力として、卓立区間抽出対象音声の基本周波数列である基本周波数列Ｘ１と、上記合成音声の基本周波数列である基本周波数列Ｘ２を抽出し、卓立区間抽出部が、基本周波数列Ｘ１とＸ２と上記言語ラベルを入力として、アクセント句間での基本周波数の変動方向についての基本周波数列Ｘ１と基本周波数列Ｘ２との間の相関と、当該アクセント句間での基本周波数の変動量についての基本周波数系列Ｘ１とＸ２との間での比較と、に基づいて上記卓立区間抽出対象音声の卓立区間を抽出して卓立区間情報を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、発話音声中の強調と抑制という卓立（prominence）に該当する音声区間を自動抽出するはなし言葉分析装置とその方法と、プログラムに関する。
【背景技術】
【０００２】
例えば、映画のシーンに応じた台詞を発話する場面、童話の語り聞かせの場面、テレビなどのメディアを通じた商品宣伝の場面、及び、コールセンタなどでの電話応対場面などにおいて自然に発せられた「表現豊かな音声」において、強調や抑制という卓立は頻繁に用いられている。このような卓立は、何らかの基準と比較して明らかになる相対的なものである。よって、基準が不明な状態で、与えられた音声だけから卓立を自動抽出することは困難である。これまでは、卓立区間を予め指定しておき、その区間に卓立を伴って発話された音声を収録して利用されてきた。
【０００３】
従来の卓立自動付与では、「強調」か「強調では無い（非強調）」かの自動付与を、２値判別問題として定式化し、２値判別器を用いて「強調」の箇所を抽出していた。その方法は、非特許文献１に開示されている。非特許文献１では、予め人手で強調区間にラベル付けされた学習用音声データを必要とする。学習用音声には、強調区間へのラベル付けと同時に強調のない箇所には非強調を示すラベルが付与される。
【０００４】
２値判別器は、「音節などの音声単位を表すカテゴリラベルの並び」、「その音声単位のフレーズや文内での位置を示す数値」、「フレーズの有するアクセント核の位置などの韻律に関する言語特徴を表すカテゴリラベル」、「それらを用いて通常の音声合成器によって合成された合成音と学習用音声データ原音のそれぞれの基本周波数間の差分値」、を入力変数とし、強調または非強調という２値のラベルを出力変数として構築される。この構築された２値判別器を用いて、学習データ以外の新たな音声データに対して、強調か非強調かの２値判別を行い、強調という卓立の区間を音声データから抽出する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】J. Xu and L.・H. Cai, “Automatic emphasis labeling for emotional speech by measuring prosody generation error”, Proceedings of ICIC, 2009, pp. 177-186, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の手法では、卓立区間の抽出のために強調・非強調のラベルが付与された学習データを必要とした。高い精度で卓立区間を判別する２値判別器を構成するためには、正確にラベル付けされた学習データを大量に必要とする。この正確にラベル付けされた音声データを用意するには、人手に頼る他なく、コストが高く付く。
【０００７】
このように、卓立区間の自動抽出は困難であり、非特許文献１以前の研究の多くでは、卓立のラベルをテキストに予め付けておき、そのラベルの付けられた箇所で人間が卓立をつけた発話を行うことによって音声を収録していた。しかし、その方法では、自然な発話データ、且つ、そのような強調や非強調を含む発話が自然な割合で含まれる音声データベースを構築することは困難となる。
【０００８】
この発明は、このような課題に鑑みてなされたものであり、人手で予め強調・非強調ラベルを付与した音声データを用意することなく、音声データから効率的に卓立区間を抽出することが可能な、はなし言葉分析装置とその方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明のはなし言葉分析装置は、言語ラベルが付与された卓立区間抽出対象音声を入力とし、音声合成部と、基本周波数系列抽出部と、卓立区間抽出部と、を具備する。音声合成部は、上記言語ラベルを入力として、その言語ラベルを持つ読み上げ口調の合成音声を合成する。基本周波数列抽出部は、合成音声と卓立区間抽出対象音声を入力として、卓立区間抽出対象音声の基本周波数列である基本周波数列Ｘ１と、合成音声の基本周波数列である基本周波数列Ｘ２を抽出する。卓立区間抽出部は、基本周波数系列Ｘ１とＸ２と上記言語ラベルを入力として、アクセント句間での基本周波数の変動方向についての基本周波数系列Ｘ１とＸ２との間の相関と、当該アクセント句間での基本周波数の変動量についての基本周波数系列Ｘ１とＸ２との間での比較と、に基づいて卓立区間抽出対象音声の卓立区間を抽出して卓立区間情報を出力する。
【発明の効果】
【００１０】
この発明のはなし言葉分析装置によれば、正確な強調・非強調ラベルが付与された大量の学習データを必要とせずに、卓立区間抽出対象音声から、卓立区間情報を得ることが出来る。よって、学習データを用意する人間の稼働にかかる高いコストを排除することが出来る。また、自然に発話された音声データから正確な卓立区間を抽出することが可能になるので、この発明のはなし言葉分析装置は、自然な卓立を有する音声に基づく研究開発を、大幅に加速することに貢献する。また、言語ラベルから生成した合成音声は、変動範囲が小さな読み上げ音声となるので、それを基準とした定義の明確な卓立区間情報を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】この発明のはなし言葉分析装置１００の機能構成例を示す図。
【図２】はなし言葉分析装置１００の動作フローを示す図。
【図３】卓立区間抽出部３０の機能構成例を示す図。
【図４】卓立区間抽出部３０の動作フローを示す図。
【図５】卓立判定手段３４の判定フローを示す図。
【図６】具体的なアクセント句平均Ｍ１ｉ，Ｍ２ｉの動きの一例を示す図。
【発明を実施するための形態】
【００１２】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００１３】
図１に、この発明のはなし言葉分析装置１００の機能構成例を示す。その動作フローを図２に示す。はなし言葉分析装置１００は、音声合成部１０と、基本周波数系列抽出部２０と、卓立区間抽出部３０と、制御部４０と、を具備する。はなし言葉分析装置１００の各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００１４】
実施例の説明の前に、強調や抑制の箇所について定義する。強調や抑制の箇所とは、１つの発話又は複数の発話系列の中での相対的な変化として定義できる。相対的な変化として測る際に必要となる基準を、この実施例では、強調や抑制の無い読み上げ口調で発話された音声とし、その読み上げ口調の音声と、表現豊かに発話された音声とを比較して変化が生じている箇所を抽出対象とする。この変化は、基本周波数変動や発話時間長や声質などのさまざまな物理量の違いとなって現れるが、この実施例では基本周波数の変動によるものに焦点を当てる。つまり、基本周波数が相対的に高くなっているところを「強調」、相対的に低くなっているところを「抑制」と定義する。また、強調と抑制の箇所の単位は、この実施例ではアクセント句の単位と定義する。
【００１５】
音声合成部１０は、卓立区間抽出対象音声に付与された言語ラベルを入力として、その言語ラベルを持つ読み上げ口調の合成音声を合成する（ステップＳ１０）。
【００１６】
言語ラベルには、「音素、音節などの各音声区間の種別とそれらの音声区間の開始・終了時刻」、「ポーズ区間の開始終了の時刻」、「アクセント句境界とその開始・終了時刻及びアクセント句のアクセント型」、がある。これらの情報から、「アクセント句の長さ」、「アクセント句の中での各音声単位の位置」を自動計算して付与することが可能である。
【００１７】
音声合成部１０が合成する合成音声は、従来の音声合成器（参考文献：T. Yoshimura, K. Tokuda, T. Masuko, T. Kobayashi, and T. Kitamura, “Simultaneous modeling of spectrum, pitch and duration in HMM-based speech synthesis,” Proceedings of EUROSPEECH, pp.2347-2350, 1999.）で合成することが出来る。音声合成部１０の態様によっては、合成音声と一緒にその基本周波数列Ｘ２を同時に出力できる場合がある。
【００１８】
基本周波数系列抽出部２０は、卓立区間抽出対象音声と音声合成部１０で合成した合成音声を入力として、卓立区間抽出対象音声の基本周波数系列である基本周波数系列Ｘ１と、合成音声の基本周波数系列である基本周波数系列Ｘ２を抽出する（ステップＳ２０）。音声合成部１０が、合成音声とその基本周波数列Ｘ２を同時に出力する場合（図１の破線を参照）は、基本周波数系列抽出部２０は卓立区間抽出対象音声の基本周波数系列である基本周波数系列Ｘ１のみを抽出する。基本周波数は、周期信号の周期の最短のものとして定義され、聴覚上では声の高さとして感じ取られるものである。音声の場合には、声帯の開閉時間間隔も波形も一定では無いため、厳密な意味での基本周波数は存在しないが、基本波の瞬時周波数を基本周波数とする。基本周波数は、例えば１ｍｓごとに得ることが出来る。基本周波数の単位は元々Ｈｚであるが、そのままの値でも、底をｅ（ネイピア数）とする自然対数に変換した値でも良い。
【００１９】
基本周波数は、例えば基本波だけを取り出すことの出来る帯域フィルタを設計し、そのインパルス応答をマザーウェーブレットとするwavelet変換を行うことで、基本波成分を抽出する方法が知られている（参考文献：H. Katayose, A. de Cheveigne and R. D. Patterson, “Fixed point analysis of frequency to instantaneous frequency mapping for accurate estimation of F0 and periodicity,” Eurospeech ’99, pp. 2781-2784 (1999).）。基本周波数を抽出する方法は、これ以外にも時間領域の自己相関係数から求める方法など複数の方法が存在する。基本周波数を求めること自体は、従来技術であり、その詳しい説明は省略する。
【００２０】
卓立区間抽出部３０は、基本周波数系列抽出部２０が抽出した基本周波数系列Ｘ１と基本周波数系列Ｘ２と言語ラベルを入力として、それぞれの基本周波数系列を比較する。上記したように基本周波数系列Ｘ２は、音声合成部１０から直接入力される場合もある。卓立区間抽出対象音声の基本周波数系列Ｘ１と合成音声の基本周波数系列Ｘ２との間では、言語ラベル情報が一致しているので、２つの基本周波数系列を比較することが可能である。卓立句間抽出部３０は、基本周波数系列Ｘ１とＸ２の基本周波数を比較して、卓立区間抽出対象音声の卓立区間を抽出して卓立区間情報を出力する（ステップＳ３０）。制御部４０は、上記した各部間の時系列的な動作等を制御するものである。
【００２１】
以上述べたようにこの発明のはなし言葉分析装置１００は、表現豊かな口調で自然に発話された卓立区間抽出対象音声に付与された言語ラベルから合成音声を合成する。そして、卓立区間抽出対象音声の基本周波数系列Ｘ１と、合成音声の基本周波数系列Ｘ２の言語ラベルが一致する基本周波数を比較することで卓立区間を抽出する。したがって、従来法のように、学習用の音声データを使用しないで、対象音声から卓立区間を抽出することが出来る。なお、上記したように音声合成部１０と、基本周波数系列抽出部２０は、従来技術で実現することが可能であるが、この発明のはなし言葉分析装置１００は、図１に示すその装置全体の構成自体が新しい。特に新しい部分は、２つの基本周波数系列から卓立区間を抽出する卓立区間抽出部３０である。
【００２２】
図３に、卓立区間抽出部３０の更に詳しい機能構成例を示してその動作を説明する。卓立区間抽出部３０は、平均値・標準偏差算出手段３１と、正規化手段３２と、アクセント句平均系列抽出手段３３と、卓立判定手段３４と、を備える。図４に、卓立区間抽出部３０の動作フローを示す。
【００２３】
平均値・標準偏差算出手段３１は、基本周波数系列抽出部２０が出力する基本周波数系列Ｘ１と基本周波数系列Ｘ２を入力として、それぞれの発話全体にわたる基本周波数の平均値である発話平均μ１と発話平均μ２と、その標準偏差である発話標準偏差σ１と発話標準偏差σ２と、を算出する（ステップＳ３１）。
【００２４】
正規化手段３２は、基本周波数系列Ｘ１とＸ２から発話平均μ１，μ２を減算した値を発話標準偏差σ１，σ２で除した発話正規化系列である発話正規化系列Ｍ１と発話正規化系列Ｍ２を求める（ステップＳ３２、式（１））。
【００２５】
【数１】
【００２６】
この正規化処理によって、発話者の個人差を除去することが可能であり、卓立区間抽出の精度を向上させることが出来る。
【００２７】
アクセント句平均系列抽出手段３３は、発話正規化系列Ｍ１と発話正規化系列Ｍ２と言語ラベルを入力として、それぞれの発話正規化系列Ｍ１，Ｍ２をアクセント句ｉごとに分割してｉ番目のアクセント句の正規化値の平均値であるアクセント句平均Ｍ１ｉ，Ｍ２ｉを計算する（ステップＳ３３）。ｉは１〜ｎ。
【００２８】
卓立判定手段３４は、アクセント句平均Ｍ１ｉ，Ｍ２ｉを入力として、最後のアクセント句ｎまでの隣り合うアクセント句の組に対して変動の方向の相関と変動量の比較に基づいて卓立区間を表す卓立区間情報を出力する（ステップＳ３４）。
【００２９】
卓立判定手段３４は、アクセント句平均Ｍ１ｉ，Ｍ２ｉを入力として、隣り合うアクセント句の組の平均値μ１ｉ（式（２））とμ２ｉ（式（３））を計算すると共に、それぞれの相関係数ρ１２ｉと、それぞれの変動量Δ１ｉとΔ２ｉと変動量Δ１ｉを変動量Δ２ｉで除した変動量比率ｒｉとを求め、アクセント句ｉの強調と抑制及び、強調も抑制もない卓立区間を表す卓立区間情報を出力する。
【００３０】
相関係数ρ１２ｉを求める式を式（４）に示す。
【００３１】
【数２】
【００３２】
【数３】
【００３３】
変動量Δ１ｉ，Δ２ｉと変動量比率ｒｉを求める式を、式（５）と式（６）と、式（７）に示す。
【００３４】
【数４】
【００３５】
図５に、卓立判定手段３４の動作フローを示して、その判定の流れを説明する。図５の動作フローは、アクセント句の番号をｉ、文内の最初のアクセント句の番号を１、最後のアクセント句の番号をｎとして、ｉ及びｉ＋１のアクセント句を用いて、ｉ＋１のアクセント句が強調なのか抑制なのか、又は強調も抑制も無い卓立区間に分類する以下の処理を最後のアクセント句ｎまで繰り返すものである（ステップＳ３４０）。
【００３６】
卓立判定手段３４は、アクセント句ｉごとに相関係数ρ１２ｉを求める（ステップＳ３４１）。そして、隣接するアクセント句ｉとｉ＋１間の変動量Δ１ｉ，Δ２ｉと、変動量比率ｒｉを求める（ステップＳ３４２）。
【００３７】
相関係数ρ１２ｉが正の相関の場合（ステップＳ３４３のＹＥＳ）、変動量Δ１ｉ＞変動量Δ２ｉで、且つ変動量比率ｒｉが閾値区間外である場合、アクセント句ｉ＋１は強調区間と判定される（ステップＳ３４４のＹＥＳ）。変動量比率ｒｉが、例えば１２０％を超える場合に強調と判定する。ステップＳ３４４でＮＯと判定された場合、変動量Δ１ｉ＜変動量Δ２ｉで、且つ変動量比率ｒｉが閾値区間外である場合、アクセント句ｉ＋１は抑制区間と判定される（ステップＳ３４５のＹＥＳ）。変動量比率ｒｉが、例えば８０％未満の場合に抑制と判定する。ステップＳ３４５でＮＯと判定された場合、アクセント句ｉ＋１は強調も抑制もないと判定される。
【００３８】
ステップＳ３４３で正の相関が無いと判定された場合（ステップＳ３４３のＮＯ）、負の相関であるか否かを判定する（ステップＳ３４６）。ステップＳ３４６において、負の相関も無いと判定された場合、アクセント句ｉ＋１は強調も抑制もないと判定される（ステップＳ３４６のＮＯ）。
【００３９】
ステップＳ３４３で負の相関があると判定された場合（ステップＳ３４６のＹＥＳ）、変動量Δ１ｉが正方向で且つ変動量Δ２ｉが負方向の場合（ステップＳ３４７のＹＥＳ）、アクセント句ｉ＋１は強調と判定される。ステップＳ３４７でＮＯと判定された場合、変動量Δ１ｉが負方向で且つ変動量Δ２ｉが正方向の場合（ステップＳ３４８のＹＥＳ）、アクセント句ｉ＋１は抑制と判定される。ステップＳ３４８でＮＯと判定された場合、アクセント句ｉ＋１は強調も抑制もないと判定される。
【００４０】
図６に、具体的なアクセント句平均系列Ｍ１ｉとＭ２ｉの動きを示して卓立判定手段３４の動作を更に説明する。図６の横方向はアクセント句の変化であり経過時間を表し、縦方向は正規化値を表す。図６の、アクセント句ｉとｉ＋１のアクセント句平均系列の動きは、卓立区間抽出対象音声のアクセント句ｉ＋１が強調と判定される場合の一例を示している。アクセント句間の平均値μ１ｉの変化がプラス方向で、アクセント句間の平均値μ２ｉの変化がマイナス方向であるので相関係数ρ１２ｉは負の相関である。この場合、図５の動作フローでは、ステップＳ３４６でＹＥＳ、変動量Δ１ｉが正方向で且つ変動量Δ２ｉが負方向なのでステップＳ３４７でＹＥＳと判定され、アクセント句ｉ＋１は強調と判定される。
【００４１】
次に、ｉ＋１とｉ＋２のアクセント句間の平均値μ１ｉ+1の変化はマイナス方向、アクセント句間の平均値μ２ｉ+1の変化はマイナス方向であるので相関係数ρ１２ｉ+1は正の相関である（ステップＳ３４３のＹＥＳ）。そして、この場合、変動量比率ｒｉ+1が明らかに閾値区間内である。つまり、変動量比率ｒｉ+1が８０％〜１２０％の範囲内であるのでアクセント句ｉ＋２は強調も抑制もないと判定される（ステップＳ３４５のＮＯ）。
【００４２】
以上述べたように、卓立区間抽出対象音声由来のアクセント句平均系列Ｍ１ｉと、言語ラベルから合成した合成音声由来のアクセント句平均系列Ｍ２ｉの変化の相関係数と、それぞれの変動量Δ１ｉ，Δ２ｉと、変動量比率ｒｉとを用いることでアクセント句の卓立を判定することが出来る。このように、この発明のはなし言葉分析装置１００によれば、正確な強調・非強調ラベルが付与された大量の学習データを不要としながら、音声データから卓立区間情報を得ることを可能にする。また、言語ラベルから生成した合成音声は、変動範囲が小さな読み上げ音声となるので、それを基準とした定義の明確な卓立区間情報を得ることができる。
【００４３】
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００４４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００４５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４６】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【技術分野】
【０００１】
この発明は、発話音声中の強調と抑制という卓立（prominence）に該当する音声区間を自動抽出するはなし言葉分析装置とその方法と、プログラムに関する。
【背景技術】
【０００２】
例えば、映画のシーンに応じた台詞を発話する場面、童話の語り聞かせの場面、テレビなどのメディアを通じた商品宣伝の場面、及び、コールセンタなどでの電話応対場面などにおいて自然に発せられた「表現豊かな音声」において、強調や抑制という卓立は頻繁に用いられている。このような卓立は、何らかの基準と比較して明らかになる相対的なものである。よって、基準が不明な状態で、与えられた音声だけから卓立を自動抽出することは困難である。これまでは、卓立区間を予め指定しておき、その区間に卓立を伴って発話された音声を収録して利用されてきた。
【０００３】
従来の卓立自動付与では、「強調」か「強調では無い（非強調）」かの自動付与を、２値判別問題として定式化し、２値判別器を用いて「強調」の箇所を抽出していた。その方法は、非特許文献１に開示されている。非特許文献１では、予め人手で強調区間にラベル付けされた学習用音声データを必要とする。学習用音声には、強調区間へのラベル付けと同時に強調のない箇所には非強調を示すラベルが付与される。
【０００４】
２値判別器は、「音節などの音声単位を表すカテゴリラベルの並び」、「その音声単位のフレーズや文内での位置を示す数値」、「フレーズの有するアクセント核の位置などの韻律に関する言語特徴を表すカテゴリラベル」、「それらを用いて通常の音声合成器によって合成された合成音と学習用音声データ原音のそれぞれの基本周波数間の差分値」、を入力変数とし、強調または非強調という２値のラベルを出力変数として構築される。この構築された２値判別器を用いて、学習データ以外の新たな音声データに対して、強調か非強調かの２値判別を行い、強調という卓立の区間を音声データから抽出する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】J. Xu and L.・H. Cai, “Automatic emphasis labeling for emotional speech by measuring prosody generation error”, Proceedings of ICIC, 2009, pp. 177-186, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の手法では、卓立区間の抽出のために強調・非強調のラベルが付与された学習データを必要とした。高い精度で卓立区間を判別する２値判別器を構成するためには、正確にラベル付けされた学習データを大量に必要とする。この正確にラベル付けされた音声データを用意するには、人手に頼る他なく、コストが高く付く。
【０００７】
このように、卓立区間の自動抽出は困難であり、非特許文献１以前の研究の多くでは、卓立のラベルをテキストに予め付けておき、そのラベルの付けられた箇所で人間が卓立をつけた発話を行うことによって音声を収録していた。しかし、その方法では、自然な発話データ、且つ、そのような強調や非強調を含む発話が自然な割合で含まれる音声データベースを構築することは困難となる。
【０００８】
この発明は、このような課題に鑑みてなされたものであり、人手で予め強調・非強調ラベルを付与した音声データを用意することなく、音声データから効率的に卓立区間を抽出することが可能な、はなし言葉分析装置とその方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明のはなし言葉分析装置は、言語ラベルが付与された卓立区間抽出対象音声を入力とし、音声合成部と、基本周波数系列抽出部と、卓立区間抽出部と、を具備する。音声合成部は、上記言語ラベルを入力として、その言語ラベルを持つ読み上げ口調の合成音声を合成する。基本周波数列抽出部は、合成音声と卓立区間抽出対象音声を入力として、卓立区間抽出対象音声の基本周波数列である基本周波数列Ｘ１と、合成音声の基本周波数列である基本周波数列Ｘ２を抽出する。卓立区間抽出部は、基本周波数系列Ｘ１とＸ２と上記言語ラベルを入力として、アクセント句間での基本周波数の変動方向についての基本周波数系列Ｘ１とＸ２との間の相関と、当該アクセント句間での基本周波数の変動量についての基本周波数系列Ｘ１とＸ２との間での比較と、に基づいて卓立区間抽出対象音声の卓立区間を抽出して卓立区間情報を出力する。
【発明の効果】
【００１０】
この発明のはなし言葉分析装置によれば、正確な強調・非強調ラベルが付与された大量の学習データを必要とせずに、卓立区間抽出対象音声から、卓立区間情報を得ることが出来る。よって、学習データを用意する人間の稼働にかかる高いコストを排除することが出来る。また、自然に発話された音声データから正確な卓立区間を抽出することが可能になるので、この発明のはなし言葉分析装置は、自然な卓立を有する音声に基づく研究開発を、大幅に加速することに貢献する。また、言語ラベルから生成した合成音声は、変動範囲が小さな読み上げ音声となるので、それを基準とした定義の明確な卓立区間情報を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】この発明のはなし言葉分析装置１００の機能構成例を示す図。
【図２】はなし言葉分析装置１００の動作フローを示す図。
【図３】卓立区間抽出部３０の機能構成例を示す図。
【図４】卓立区間抽出部３０の動作フローを示す図。
【図５】卓立判定手段３４の判定フローを示す図。
【図６】具体的なアクセント句平均Ｍ１ｉ，Ｍ２ｉの動きの一例を示す図。
【発明を実施するための形態】
【００１２】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００１３】
図１に、この発明のはなし言葉分析装置１００の機能構成例を示す。その動作フローを図２に示す。はなし言葉分析装置１００は、音声合成部１０と、基本周波数系列抽出部２０と、卓立区間抽出部３０と、制御部４０と、を具備する。はなし言葉分析装置１００の各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００１４】
実施例の説明の前に、強調や抑制の箇所について定義する。強調や抑制の箇所とは、１つの発話又は複数の発話系列の中での相対的な変化として定義できる。相対的な変化として測る際に必要となる基準を、この実施例では、強調や抑制の無い読み上げ口調で発話された音声とし、その読み上げ口調の音声と、表現豊かに発話された音声とを比較して変化が生じている箇所を抽出対象とする。この変化は、基本周波数変動や発話時間長や声質などのさまざまな物理量の違いとなって現れるが、この実施例では基本周波数の変動によるものに焦点を当てる。つまり、基本周波数が相対的に高くなっているところを「強調」、相対的に低くなっているところを「抑制」と定義する。また、強調と抑制の箇所の単位は、この実施例ではアクセント句の単位と定義する。
【００１５】
音声合成部１０は、卓立区間抽出対象音声に付与された言語ラベルを入力として、その言語ラベルを持つ読み上げ口調の合成音声を合成する（ステップＳ１０）。
【００１６】
言語ラベルには、「音素、音節などの各音声区間の種別とそれらの音声区間の開始・終了時刻」、「ポーズ区間の開始終了の時刻」、「アクセント句境界とその開始・終了時刻及びアクセント句のアクセント型」、がある。これらの情報から、「アクセント句の長さ」、「アクセント句の中での各音声単位の位置」を自動計算して付与することが可能である。
【００１７】
音声合成部１０が合成する合成音声は、従来の音声合成器（参考文献：T. Yoshimura, K. Tokuda, T. Masuko, T. Kobayashi, and T. Kitamura, “Simultaneous modeling of spectrum, pitch and duration in HMM-based speech synthesis,” Proceedings of EUROSPEECH, pp.2347-2350, 1999.）で合成することが出来る。音声合成部１０の態様によっては、合成音声と一緒にその基本周波数列Ｘ２を同時に出力できる場合がある。
【００１８】
基本周波数系列抽出部２０は、卓立区間抽出対象音声と音声合成部１０で合成した合成音声を入力として、卓立区間抽出対象音声の基本周波数系列である基本周波数系列Ｘ１と、合成音声の基本周波数系列である基本周波数系列Ｘ２を抽出する（ステップＳ２０）。音声合成部１０が、合成音声とその基本周波数列Ｘ２を同時に出力する場合（図１の破線を参照）は、基本周波数系列抽出部２０は卓立区間抽出対象音声の基本周波数系列である基本周波数系列Ｘ１のみを抽出する。基本周波数は、周期信号の周期の最短のものとして定義され、聴覚上では声の高さとして感じ取られるものである。音声の場合には、声帯の開閉時間間隔も波形も一定では無いため、厳密な意味での基本周波数は存在しないが、基本波の瞬時周波数を基本周波数とする。基本周波数は、例えば１ｍｓごとに得ることが出来る。基本周波数の単位は元々Ｈｚであるが、そのままの値でも、底をｅ（ネイピア数）とする自然対数に変換した値でも良い。
【００１９】
基本周波数は、例えば基本波だけを取り出すことの出来る帯域フィルタを設計し、そのインパルス応答をマザーウェーブレットとするwavelet変換を行うことで、基本波成分を抽出する方法が知られている（参考文献：H. Katayose, A. de Cheveigne and R. D. Patterson, “Fixed point analysis of frequency to instantaneous frequency mapping for accurate estimation of F0 and periodicity,” Eurospeech ’99, pp. 2781-2784 (1999).）。基本周波数を抽出する方法は、これ以外にも時間領域の自己相関係数から求める方法など複数の方法が存在する。基本周波数を求めること自体は、従来技術であり、その詳しい説明は省略する。
【００２０】
卓立区間抽出部３０は、基本周波数系列抽出部２０が抽出した基本周波数系列Ｘ１と基本周波数系列Ｘ２と言語ラベルを入力として、それぞれの基本周波数系列を比較する。上記したように基本周波数系列Ｘ２は、音声合成部１０から直接入力される場合もある。卓立区間抽出対象音声の基本周波数系列Ｘ１と合成音声の基本周波数系列Ｘ２との間では、言語ラベル情報が一致しているので、２つの基本周波数系列を比較することが可能である。卓立句間抽出部３０は、基本周波数系列Ｘ１とＸ２の基本周波数を比較して、卓立区間抽出対象音声の卓立区間を抽出して卓立区間情報を出力する（ステップＳ３０）。制御部４０は、上記した各部間の時系列的な動作等を制御するものである。
【００２１】
以上述べたようにこの発明のはなし言葉分析装置１００は、表現豊かな口調で自然に発話された卓立区間抽出対象音声に付与された言語ラベルから合成音声を合成する。そして、卓立区間抽出対象音声の基本周波数系列Ｘ１と、合成音声の基本周波数系列Ｘ２の言語ラベルが一致する基本周波数を比較することで卓立区間を抽出する。したがって、従来法のように、学習用の音声データを使用しないで、対象音声から卓立区間を抽出することが出来る。なお、上記したように音声合成部１０と、基本周波数系列抽出部２０は、従来技術で実現することが可能であるが、この発明のはなし言葉分析装置１００は、図１に示すその装置全体の構成自体が新しい。特に新しい部分は、２つの基本周波数系列から卓立区間を抽出する卓立区間抽出部３０である。
【００２２】
図３に、卓立区間抽出部３０の更に詳しい機能構成例を示してその動作を説明する。卓立区間抽出部３０は、平均値・標準偏差算出手段３１と、正規化手段３２と、アクセント句平均系列抽出手段３３と、卓立判定手段３４と、を備える。図４に、卓立区間抽出部３０の動作フローを示す。
【００２３】
平均値・標準偏差算出手段３１は、基本周波数系列抽出部２０が出力する基本周波数系列Ｘ１と基本周波数系列Ｘ２を入力として、それぞれの発話全体にわたる基本周波数の平均値である発話平均μ１と発話平均μ２と、その標準偏差である発話標準偏差σ１と発話標準偏差σ２と、を算出する（ステップＳ３１）。
【００２４】
正規化手段３２は、基本周波数系列Ｘ１とＸ２から発話平均μ１，μ２を減算した値を発話標準偏差σ１，σ２で除した発話正規化系列である発話正規化系列Ｍ１と発話正規化系列Ｍ２を求める（ステップＳ３２、式（１））。
【００２５】
【数１】
【００２６】
この正規化処理によって、発話者の個人差を除去することが可能であり、卓立区間抽出の精度を向上させることが出来る。
【００２７】
アクセント句平均系列抽出手段３３は、発話正規化系列Ｍ１と発話正規化系列Ｍ２と言語ラベルを入力として、それぞれの発話正規化系列Ｍ１，Ｍ２をアクセント句ｉごとに分割してｉ番目のアクセント句の正規化値の平均値であるアクセント句平均Ｍ１ｉ，Ｍ２ｉを計算する（ステップＳ３３）。ｉは１〜ｎ。
【００２８】
卓立判定手段３４は、アクセント句平均Ｍ１ｉ，Ｍ２ｉを入力として、最後のアクセント句ｎまでの隣り合うアクセント句の組に対して変動の方向の相関と変動量の比較に基づいて卓立区間を表す卓立区間情報を出力する（ステップＳ３４）。
【００２９】
卓立判定手段３４は、アクセント句平均Ｍ１ｉ，Ｍ２ｉを入力として、隣り合うアクセント句の組の平均値μ１ｉ（式（２））とμ２ｉ（式（３））を計算すると共に、それぞれの相関係数ρ１２ｉと、それぞれの変動量Δ１ｉとΔ２ｉと変動量Δ１ｉを変動量Δ２ｉで除した変動量比率ｒｉとを求め、アクセント句ｉの強調と抑制及び、強調も抑制もない卓立区間を表す卓立区間情報を出力する。
【００３０】
相関係数ρ１２ｉを求める式を式（４）に示す。
【００３１】
【数２】
【００３２】
【数３】
【００３３】
変動量Δ１ｉ，Δ２ｉと変動量比率ｒｉを求める式を、式（５）と式（６）と、式（７）に示す。
【００３４】
【数４】
【００３５】
図５に、卓立判定手段３４の動作フローを示して、その判定の流れを説明する。図５の動作フローは、アクセント句の番号をｉ、文内の最初のアクセント句の番号を１、最後のアクセント句の番号をｎとして、ｉ及びｉ＋１のアクセント句を用いて、ｉ＋１のアクセント句が強調なのか抑制なのか、又は強調も抑制も無い卓立区間に分類する以下の処理を最後のアクセント句ｎまで繰り返すものである（ステップＳ３４０）。
【００３６】
卓立判定手段３４は、アクセント句ｉごとに相関係数ρ１２ｉを求める（ステップＳ３４１）。そして、隣接するアクセント句ｉとｉ＋１間の変動量Δ１ｉ，Δ２ｉと、変動量比率ｒｉを求める（ステップＳ３４２）。
【００３７】
相関係数ρ１２ｉが正の相関の場合（ステップＳ３４３のＹＥＳ）、変動量Δ１ｉ＞変動量Δ２ｉで、且つ変動量比率ｒｉが閾値区間外である場合、アクセント句ｉ＋１は強調区間と判定される（ステップＳ３４４のＹＥＳ）。変動量比率ｒｉが、例えば１２０％を超える場合に強調と判定する。ステップＳ３４４でＮＯと判定された場合、変動量Δ１ｉ＜変動量Δ２ｉで、且つ変動量比率ｒｉが閾値区間外である場合、アクセント句ｉ＋１は抑制区間と判定される（ステップＳ３４５のＹＥＳ）。変動量比率ｒｉが、例えば８０％未満の場合に抑制と判定する。ステップＳ３４５でＮＯと判定された場合、アクセント句ｉ＋１は強調も抑制もないと判定される。
【００３８】
ステップＳ３４３で正の相関が無いと判定された場合（ステップＳ３４３のＮＯ）、負の相関であるか否かを判定する（ステップＳ３４６）。ステップＳ３４６において、負の相関も無いと判定された場合、アクセント句ｉ＋１は強調も抑制もないと判定される（ステップＳ３４６のＮＯ）。
【００３９】
ステップＳ３４３で負の相関があると判定された場合（ステップＳ３４６のＹＥＳ）、変動量Δ１ｉが正方向で且つ変動量Δ２ｉが負方向の場合（ステップＳ３４７のＹＥＳ）、アクセント句ｉ＋１は強調と判定される。ステップＳ３４７でＮＯと判定された場合、変動量Δ１ｉが負方向で且つ変動量Δ２ｉが正方向の場合（ステップＳ３４８のＹＥＳ）、アクセント句ｉ＋１は抑制と判定される。ステップＳ３４８でＮＯと判定された場合、アクセント句ｉ＋１は強調も抑制もないと判定される。
【００４０】
図６に、具体的なアクセント句平均系列Ｍ１ｉとＭ２ｉの動きを示して卓立判定手段３４の動作を更に説明する。図６の横方向はアクセント句の変化であり経過時間を表し、縦方向は正規化値を表す。図６の、アクセント句ｉとｉ＋１のアクセント句平均系列の動きは、卓立区間抽出対象音声のアクセント句ｉ＋１が強調と判定される場合の一例を示している。アクセント句間の平均値μ１ｉの変化がプラス方向で、アクセント句間の平均値μ２ｉの変化がマイナス方向であるので相関係数ρ１２ｉは負の相関である。この場合、図５の動作フローでは、ステップＳ３４６でＹＥＳ、変動量Δ１ｉが正方向で且つ変動量Δ２ｉが負方向なのでステップＳ３４７でＹＥＳと判定され、アクセント句ｉ＋１は強調と判定される。
【００４１】
次に、ｉ＋１とｉ＋２のアクセント句間の平均値μ１ｉ+1の変化はマイナス方向、アクセント句間の平均値μ２ｉ+1の変化はマイナス方向であるので相関係数ρ１２ｉ+1は正の相関である（ステップＳ３４３のＹＥＳ）。そして、この場合、変動量比率ｒｉ+1が明らかに閾値区間内である。つまり、変動量比率ｒｉ+1が８０％〜１２０％の範囲内であるのでアクセント句ｉ＋２は強調も抑制もないと判定される（ステップＳ３４５のＮＯ）。
【００４２】
以上述べたように、卓立区間抽出対象音声由来のアクセント句平均系列Ｍ１ｉと、言語ラベルから合成した合成音声由来のアクセント句平均系列Ｍ２ｉの変化の相関係数と、それぞれの変動量Δ１ｉ，Δ２ｉと、変動量比率ｒｉとを用いることでアクセント句の卓立を判定することが出来る。このように、この発明のはなし言葉分析装置１００によれば、正確な強調・非強調ラベルが付与された大量の学習データを不要としながら、音声データから卓立区間情報を得ることを可能にする。また、言語ラベルから生成した合成音声は、変動範囲が小さな読み上げ音声となるので、それを基準とした定義の明確な卓立区間情報を得ることができる。
【００４３】
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００４４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００４５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４６】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【特許請求の範囲】
【請求項１】
言語ラベルが付与された卓立区間抽出対象音声を入力とし、
上記言語ラベルを持つ読み上げ口調の合成音声を合成する音声合成部と、
上記合成音声と上記卓立区間抽出対象音声とを入力として、上記卓立区間抽出対象音声の基本周波数列である基本周波数列Ｘ１と、上記合成音声の基本周波数列である基本周波数列Ｘ２を抽出する基本周波数列抽出部と、
上記基本周波数系列Ｘ１とＸ２と上記言語ラベルを入力として、アクセント句間での基本周波数の変動方向についての基本周波数系列Ｘ１とＸ２との間の相関と、当該アクセント句間での上記基本周波数の変動量についての上記基本周波数系列Ｘ１とＸ２との間での比較と、に基づいて上記卓立区間抽出対象音声の卓立区間を抽出して卓立区間情報を出力する卓立区間抽出部と、
を具備するはなし言葉分析装置。
【請求項２】
請求項１に記載したはなし言葉分析装置において、
上記卓立区間抽出部は、
上記基本周波数系列Ｘ１と上記基本周波数系列Ｘ２を入力として、それぞれの発話全体にわたる基本周波数の平均値である発話平均μ１と発話平均μ２と、標準偏差である発話標準偏差σ１と発話標準偏差σ２を算出する平均値・標準偏差算出手段と、
上記基本周波数系列Ｘ１とＸ２から発話平均を減算した値を発話標準偏差で除した発話正規化系列である発話正規化系列Ｍ１と発話正規化系列Ｍ２を求める正規化手段と、
上記発話正規化系列Ｍ１と上記発話正規化系列Ｍ２と上記言語ラベルを入力として、それぞれの系列をアクセント句ｉに分割し、各アクセント句ｉ（ｉ：１〜ｎ）における発話正規化系列のアクセント句平均Ｍ１ｉ，Ｍ２ｉを得るアクセント句平均系列抽出手段と、
上記アクセント句平均Ｍ１ｉとＭ２ｉを入力として、最後のアクセント句ｎまでの隣り合うアクセント句平均の組に対して変動の方向の相関と変動量の比較に基づいて卓立区間を表す卓立区間情報を出力する卓立判定手段と、
を備えることを特徴とするはなし言葉分析装置。
【請求項３】
言語ラベルが付与された卓立区間抽出対象音声を入力とし、
上記言語ラベルを持つ読み上げ口調の合成音声を合成する音声合成過程と、
上記合成音声と上記卓立区間抽出対象音声とを入力として、上記卓立区間抽出対象音声の基本周波数列である基本周波数列Ｘ１と、上記合成音声の基本周波数列である基本周波数列Ｘ２を抽出する基本周波数列抽出過程と、
上記基本周波数系列Ｘ１とＸ２と上記言語ラベルを入力として、アクセント句間での基本周波数の変動方向についての基本周波数系列Ｘ１とＸ２との間の相関と、当該アクセント句間での上記基本周波数の変動量についての上記基本周波数系列Ｘ１とＸ２との間での比較と、に基づいて上記卓立区間抽出対象音声の卓立区間を抽出して卓立区間情報を出力する卓立区間抽出過程と、
を備えるはなし言葉分析方法。
【請求項４】
請求項３に記載したはなし言葉分析方法において、
上記卓立区間抽出過程は、
上記基本周波数系列Ｘ１と上記基本周波数系列Ｘ２を入力として、それぞれの発話全体にわたる基本周波数の平均値である発話平均μ１と発話平均μ２と、標準偏差である発話標準偏差σ１と発話標準偏差σ２を算出する平均値・標準偏差算出ステップと、
上記基本周波数系列Ｘ１とＸ２から発話平均を減算した値を発話標準偏差で除した発話正規化系列である発話正規化系列Ｍ１と発話正規化系列Ｍ２を求める正規化ステップと、
上記発話正規化系列Ｍ１と上記発話正規化系列Ｍ２と上記言語ラベルを入力として、それぞれの系列をアクセント句ｉに分割し、各アクセント句ｉ（ｉ：１〜ｎ）における発話正規化系列のアクセント句平均Ｍ１ｉ，Ｍ２ｉを得るアクセント句平均系列抽出ステップと、
上記アクセント句平均Ｍ１ｉとＭ２ｉを入力として、最後のアクセント句ｎまでの隣り合うアクセント句平均の組に対して変動の方向の相関と変動量の比較に基づいて卓立区間を表す卓立区間情報を出力する卓立判定ステップと、
を含むことを特徴とするはなし言葉分析方法。
【請求項５】
請求項１又は２に記載したはなし言葉分析装置としてコンピュータを機能させるためのプログラム。
【請求項１】
言語ラベルが付与された卓立区間抽出対象音声を入力とし、
上記言語ラベルを持つ読み上げ口調の合成音声を合成する音声合成部と、
上記合成音声と上記卓立区間抽出対象音声とを入力として、上記卓立区間抽出対象音声の基本周波数列である基本周波数列Ｘ１と、上記合成音声の基本周波数列である基本周波数列Ｘ２を抽出する基本周波数列抽出部と、
上記基本周波数系列Ｘ１とＸ２と上記言語ラベルを入力として、アクセント句間での基本周波数の変動方向についての基本周波数系列Ｘ１とＸ２との間の相関と、当該アクセント句間での上記基本周波数の変動量についての上記基本周波数系列Ｘ１とＸ２との間での比較と、に基づいて上記卓立区間抽出対象音声の卓立区間を抽出して卓立区間情報を出力する卓立区間抽出部と、
を具備するはなし言葉分析装置。
【請求項２】
請求項１に記載したはなし言葉分析装置において、
上記卓立区間抽出部は、
上記基本周波数系列Ｘ１と上記基本周波数系列Ｘ２を入力として、それぞれの発話全体にわたる基本周波数の平均値である発話平均μ１と発話平均μ２と、標準偏差である発話標準偏差σ１と発話標準偏差σ２を算出する平均値・標準偏差算出手段と、
上記基本周波数系列Ｘ１とＸ２から発話平均を減算した値を発話標準偏差で除した発話正規化系列である発話正規化系列Ｍ１と発話正規化系列Ｍ２を求める正規化手段と、
上記発話正規化系列Ｍ１と上記発話正規化系列Ｍ２と上記言語ラベルを入力として、それぞれの系列をアクセント句ｉに分割し、各アクセント句ｉ（ｉ：１〜ｎ）における発話正規化系列のアクセント句平均Ｍ１ｉ，Ｍ２ｉを得るアクセント句平均系列抽出手段と、
上記アクセント句平均Ｍ１ｉとＭ２ｉを入力として、最後のアクセント句ｎまでの隣り合うアクセント句平均の組に対して変動の方向の相関と変動量の比較に基づいて卓立区間を表す卓立区間情報を出力する卓立判定手段と、
を備えることを特徴とするはなし言葉分析装置。
【請求項３】
言語ラベルが付与された卓立区間抽出対象音声を入力とし、
上記言語ラベルを持つ読み上げ口調の合成音声を合成する音声合成過程と、
上記合成音声と上記卓立区間抽出対象音声とを入力として、上記卓立区間抽出対象音声の基本周波数列である基本周波数列Ｘ１と、上記合成音声の基本周波数列である基本周波数列Ｘ２を抽出する基本周波数列抽出過程と、
上記基本周波数系列Ｘ１とＸ２と上記言語ラベルを入力として、アクセント句間での基本周波数の変動方向についての基本周波数系列Ｘ１とＸ２との間の相関と、当該アクセント句間での上記基本周波数の変動量についての上記基本周波数系列Ｘ１とＸ２との間での比較と、に基づいて上記卓立区間抽出対象音声の卓立区間を抽出して卓立区間情報を出力する卓立区間抽出過程と、
を備えるはなし言葉分析方法。
【請求項４】
請求項３に記載したはなし言葉分析方法において、
上記卓立区間抽出過程は、
上記基本周波数系列Ｘ１と上記基本周波数系列Ｘ２を入力として、それぞれの発話全体にわたる基本周波数の平均値である発話平均μ１と発話平均μ２と、標準偏差である発話標準偏差σ１と発話標準偏差σ２を算出する平均値・標準偏差算出ステップと、
上記基本周波数系列Ｘ１とＸ２から発話平均を減算した値を発話標準偏差で除した発話正規化系列である発話正規化系列Ｍ１と発話正規化系列Ｍ２を求める正規化ステップと、
上記発話正規化系列Ｍ１と上記発話正規化系列Ｍ２と上記言語ラベルを入力として、それぞれの系列をアクセント句ｉに分割し、各アクセント句ｉ（ｉ：１〜ｎ）における発話正規化系列のアクセント句平均Ｍ１ｉ，Ｍ２ｉを得るアクセント句平均系列抽出ステップと、
上記アクセント句平均Ｍ１ｉとＭ２ｉを入力として、最後のアクセント句ｎまでの隣り合うアクセント句平均の組に対して変動の方向の相関と変動量の比較に基づいて卓立区間を表す卓立区間情報を出力する卓立判定ステップと、
を含むことを特徴とするはなし言葉分析方法。
【請求項５】
請求項１又は２に記載したはなし言葉分析装置としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−１５６９３（Ｐ２０１３−１５６９３Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４８８１７（Ｐ２０１１−１４８８１７）
【出願日】平成２３年７月５日（２０１１．７．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月５日（２０１１．７．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
[ Back to top ]