話速調整装置、音声合成システム、およびプログラム
【課題】複数の音声データベースから合成された合成音声データに対して、１回の話速変換で合成音声データ全体の話速を均一に揃え、かつ、合成音声データ全体の時間長と番組放送時間とを一致させることができる話速調整装置およびプログラムを提供する。
【解決手段】複数の音声データベースから合成された合成音声データの話速の平均値を、識別番号ｊに基づいて合成音声データの生成源の音声データベースごとに算出する話速平均値算出手段１１と、合成音声データの時間長の累計値を、合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段１２と、該平均値、該累計値、および、番組放送時間に基づいて、合成音声データの時間長の伸縮倍率を、合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段１４と、該倍率で前記合成音声データの話速を変換する話速変換手段１５と、を含む。
【解決手段】複数の音声データベースから合成された合成音声データの話速の平均値を、識別番号ｊに基づいて合成音声データの生成源の音声データベースごとに算出する話速平均値算出手段１１と、合成音声データの時間長の累計値を、合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段１２と、該平均値、該累計値、および、番組放送時間に基づいて、合成音声データの時間長の伸縮倍率を、合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段１４と、該倍率で前記合成音声データの話速を変換する話速変換手段１５と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話速調整装置、音声合成システム、およびプログラムに関し、特に、放送番組に用いられる音声の話速を変換し、音声全体の時間長を既定の番組放送時間内に収めるための話速調整装置、音声合成システム、およびプログラムに関する。
【背景技術】
【０００２】
近年、放送番組用の原稿を自動的に音声に変換して放送する自動音声放送が注目されている。例えば、天気予報番組など同じ定型文を繰り返し用いる放送を自動音声放送とすることが徐々に実用段階に至っている。
【０００３】
一般に、自動音声化の方法としてコンピュータが発生した単語音声を合成する方法があるが、この方法では放送番組で使用できる品質の合成音声を得ることが容易ではない。このため、予めアナウンサが発話した音声を収録して音声データベースを作成しておき、該音声データベースから放送番組用の原稿に対応した音声データを切り出して音声合成を行うことが現実的である。
【０００４】
このように放送番組用の原稿に含まれ得る音声データを予め取得し、それらを接続することにより音声合成を行う録音編集方式による音声合成装置は、例えば特許文献１、２に開示されている。
【０００５】
特許文献１に開示された装置は、複数の項目シナリオファイルからなる台本ファイルに従って複数の音声データを繋ぎ合わせることにより、合成音声データを生成するようになっている。
【０００６】
さらに、特許文献１に開示された装置は、番組全体の放送時間（以下、番組放送時間と記す）と合成音声データ全体の再生時間とが一致するように、台本ファイルの項目シナリオファイルごとに合成音声データの再生時間を伸縮する話速変換手段を備えている。なお、この話速変換手段が用いている話速変換技術は公知である。
【０００７】
一方、特許文献２に開示された装置は、録音編集方式の音声合成処理において、複数の音声データを接続する際に、自然な聴感が得られる音声データ間の休止時間長を算出するものである。ここで、各音声データの話速は、音声データに予め設定されている拍数（モーラ数）を、音声データの音声区間長で除することにより算出される。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第４５３７８８６号明細書
【特許文献２】特開２００８−１１６８２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述のように、天気予報番組用などの定められた用途での音声合成を目的として音声を収録して音声データベースを構築する場合、合成音声データの品質を保つために一定の話速で発話された音声を収録することが多い。しかしながら、異なる時期に収録した音声で構築した音声データベースでは、同一話者であっても音声データベースごとに音声データの話速が異なる場合が少なくない。
【００１０】
複数の異なる音声データベースを用いて高品質な音声合成を行うためには、それぞれの音声データベースから合成された合成音声データを連続して再生する際に、話速の不一致による違和感が生じないように、話速を調整して再生（もしくは生成）する方法が必要である。
【００１１】
しかしながら、特許文献１に開示された装置は、番組放送時間と合成音声データ全体の再生時間とが一致するまで、順次各項目シナリオファイルに対応する音声データの再生時間を伸縮するものであり、合成音声データ全体の話速を一定とするものではない。また、特許文献２に開示された装置も、合成音声データの話速を一定とすることを目的とするものではない。
【００１２】
従来より、番組放送時間と合成音声データ全体の再生時間とを一致させ、かつ、合成音声データ全体の話速を一定に揃えるためには、例えば、音声合成処理の前に話速変換を用いて複数の音声データベースの話速を揃える方法が用いられるが、最終的に合成音声データ全体の長さを番組放送時間に合わせるために再度話速変換を行う必要があり、処理を重ねることにより音質劣化が生じてしまうという問題があった。
【００１３】
本発明は、このような従来の課題を解決するためになされたものであって、複数の音声データベースから合成された合成音声データに対して、１回の話速変換で合成音声データ全体の話速を均一に揃え、かつ、合成音声データ全体の時間長と番組放送時間とを一致させることができる話速調整装置、音声合成システム、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の話速調整装置は、複数の音声データベースから合成された合成音声データの話速の平均値を、該合成音声データの生成源の音声データベースごとに算出する話速平均値算出手段と、前記合成音声データの時間長の累計値を、該合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段と、前記話速平均値算出手段で算出された前記平均値、前記時間長累計値算出手段で算出された前記累計値、および、番組放送時間に基づいて、前記合成音声データ全体の時間長を該番組放送時間と一致させ、かつ、該合成音声データの生成源の音声データベースごとの話速の平均値を互いに等しくする該合成音声データの伸縮倍率を、該合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段と、前記伸縮倍率算出手段で算出された前記伸縮倍率で前記合成音声データの話速を変換する話速変換手段と、前記話速変換手段により話速が変換された合成音声データを記憶する記憶手段と、を備える構成を有している。
【００１５】
この構成により、複数の音声データベースから合成された合成音声データに対して、１回の話速変換で合成音声データ全体の話速を均一に揃え、かつ、合成音声データ全体の時間長と番組放送時間とを一致させることができる。即ち、話速変換が１回で済むため、音質の劣化を抑制することができる。
また、この構成により、各音声データベースから合成された合成音声データの話速を用いて合成音声データの時間長の伸縮倍率を算出するため、実態に即した精緻な話速調整を行うことができる。
【００１６】
また、本発明の話速調整装置は、複数の音声データベースが有する音声データの話速の平均値を、該音声データベースごとに算出する話速平均値算出手段と、前記合成音声データの時間長の累計値を、該合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段と、前記話速平均値算出手段で算出された前記平均値、前記時間長累計値算出手段で算出された前記累計値、および、番組放送時間に基づいて、前記合成音声データ全体の時間長を該番組放送時間と一致させ、かつ、該合成音声データの生成源の音声データベースごとの話速の平均値を互いに等しくする該合成音声データの伸縮倍率を、該合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段と、前記伸縮倍率算出手段で算出された前記伸縮倍率で前記合成音声データの話速を変換する話速変換手段と、前記話速変換手段により話速が変換された合成音声データを記憶する記憶手段と、を備える構成を有している。
【００１７】
この構成により、複数の音声データベースから合成された合成音声データに対して、１回の話速変換で合成音声データ全体の話速を均一に揃え、かつ、合成音声データ全体の時間長と番組放送時間とを一致させることができる。
また、この構成により、各音声データベースを構成する音声データの話速を用いて合成音声データの時間長の伸縮倍率を算出するため、計算処理が簡易となり、効率的に話速調整を行うことができる。
【００１８】
また、本発明の話速調整装置は、前記伸縮倍率算出手段が、前記伸縮倍率を以下の式（１）に従って算出する構成を有していてもよい。
【数１】
【００１９】
本発明の音声合成システムは、音声データと、該音声データに対応するテキストおよびその音素表記と、を有する複数の音声データベースを備え、放送内容に応じた放送用テキストと、該放送用テキストに対応する音声データが蓄積されている前記音声データベースの識別情報と、に基づいて前記複数の音声データベースから合成音声データを生成し、生成した該合成音声データ、該合成音声データの時間長、および、該合成音声データまたは該音声データの話速、を出力する音声合成装置と、上記の話速調整装置と、を備える構成を有していてもよい。
【発明の効果】
【００２０】
本発明は、複数の音声データベースから合成された合成音声データの時間長の伸縮倍率を、識別情報に基づいて合成音声データの生成源の音声データベースごとに算出することにより、複数の音声データベースから合成された合成音声データに対して、１回の話速変換で合成音声データ全体の話速を均一に揃え、かつ、合成音声データ全体の時間長と番組放送時間とを一致させることができる話速調整装置、音声合成システム、およびプログラムを提供するものである。
【図面の簡単な説明】
【００２１】
【図１】複数の音声データベースから合成音声データを作成する音声合成装置の構成を示す概略図
【図２】放送用テキストと音声データベースの内容の一例を示す説明図
【図３】放送用テキストと複数の音声データベースとの対応関係を示す説明図
【図４】複数の音声データベースから合成音声データを作成する音声合成装置の他の構成を示す概略図
【図５】本発明に係る話速調整装置の構成を示すブロック図
【図６】本発明に係る話速調整装置のハードウエア構成を示すブロック図
【図７】本発明に係る話速調整装置のＣＰＵが実行する話速調整プログラムのフローチャート
【図８】本発明に係る話速調整装置の他の構成を示すブロック図
【発明を実施するための形態】
【００２２】
以下、本発明に係る話速調整装置、音声合成システム、およびプログラムの実施形態について、図面を用いて説明する。本発明に係る話速調整装置は、複数の音声データベースから合成された合成音声データの話速を調整するものである。まず、本発明に係る話速調整装置に入力される合成音声データの作成方法についてその概要を述べる。
【００２３】
図１は、複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎ（Ｎは２以上の自然数）から合成音声データを作成する音声合成装置６０の構成の一例を示すブロック図である。
【００２４】
音声データベースＤＢ−１、・・・、ＤＢ−Ｎは、音声データと、該音声データに対応するテキストおよびその音素表記と、を蓄積しており、音声データを任意の単位（例えば、一文単位、形態素単位）に切り出して出力できるようになっている。
【００２５】
図１の構成において、放送内容に応じた漢字仮名交じり文の放送用テキストと、該放送用テキストに対応する音声データが蓄積されている音声データベースの識別情報と、が音声合成エンジン５０に入力される。ここで、識別情報は識別番号ｊ（ｊ＝１，・・・，Ｎ）であるとする。
【００２６】
音声合成エンジン５０は、識別番号ｊにより指定された音声データベースを用いて合成音声データを作成する。図２に放送用テキストと音声データベースＤＢ−１、・・・、ＤＢ−Ｎの内容の一例を示し、図３に図２の例における放送用テキストと音声データベースＤＢ−１、・・・、ＤＢ−Ｎとの対応関係を示す。なお、図２、３に示した音声データベースの構成はあくまでも説明上の一例であり、実際の音声データベースの構成はこれに限定されない。
【００２７】
例えば、図２、３に示した例では、音声合成エンジン５０は、放送用テキストの「石垣島では、東の風、風力２、天気は、にわか雨、気圧は、１０１０ヘクトパスカル、気温は、２７度。」との一文に相当する合成音声データの作成に当たって、識別番号１に対応する音声データベースＤＢ−１から８個の音声データ（「では、」、「の風、」、「風力」、「天気は、」、「気圧は、」、「ヘクトパスカル、」、「気温は、」、「度。」）、識別番号２に対応する音声データベースＤＢ−２から３個の音声データ（「２」、「１０１０」、「２７」）、識別番号３〜５に対応する音声データベースＤＢ−３、ＤＢ−４、ＤＢ−５からそれぞれ１個の音声データ（「石垣島」、「東」、「にわか雨」）を用いる。
【００２８】
ここで、識別番号ｊ（ｊ＝１，・・・，Ｎ）に対応する各音声データベースＤＢ−１、・・・、ＤＢ−Ｎにおける音声合成に用いられた音声データの累積番号をｉ（ｉ＝１，・・・，Ｍj）、放送用テキストに対応する合成音声データをＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）とする。即ち、音声合成エンジン５０は、図３に示すように、合成音声データをＳ31、Ｓ11、Ｓ41、Ｓ12、Ｓ13、Ｓ21、Ｓ14、Ｓ51、Ｓ15、Ｓ22、Ｓ16、Ｓ17、Ｓ23、Ｓ18、の順に繋ぎ合わせた合成音声データを生成する。なお、各合成音声データＳ11〜Ｓ18、Ｓ21〜Ｓ23、Ｓ31、Ｓ41、Ｓ51の話速は、音声合成の過程で、音声合成前の音声データの話速から変化している場合がある。
【００２９】
また、音声合成エンジン５０は、例えば特許第３９５８９０８号明細書に開示されているような公知の方法で、放送用テキストから音素表記を求め、求めた音素表記の母音、撥音、促音をカウントしてモーラ数を求める。さらに、音声合成エンジン５０は、合成音声データのファイルサイズから時間長を求め、モーラ数を時間長で除算して１秒あたりのモーラ数を求めることにより話速を算出する。
【００３０】
音声合成エンジン５０は、このようにして得られた放送用テキストに対応する合成音声データＳjiと、合成音声データＳjiの時間長Ｔjiと話速Ｒjiを、合成音声データの生成源の音声データベースＤＢ−１、・・・、ＤＢ−Ｎの識別番号ｊ（ｊ＝１，・・・，Ｎ）、および、各音声データベースＤＢ−１、・・・、ＤＢ−Ｎにおける累積番号ｉ（ｉ＝１，・・・，Ｍj）に対応づけて出力する。例えば、図２、３に示した例では、Ｍ1＝８、Ｍ2＝３、Ｍ3〜Ｍ5＝１であり、「風力」に対応する合成音声データはＳ13であり、「にわか雨」に対応する合成音声データはＳ51である。
【００３１】
図４に、複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎから合成音声データを作成する音声合成装置の他の構成例を示す。ここでは、音声合成装置に符号７０を付して図１に示した音声合成装置６０と区別する。
【００３２】
図４の構成は、音声合成エンジン５０が合成音声データＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）とその時間長Ｔjiを出力する点は図１の構成と同様であるが、各音声データベースＤＢ−１、・・・、ＤＢ−Ｎを構成する文章（あるいは、文、形態素）ｋ（ｋ＝１，・・・，Ｌj）に対応した音声データＷjkの話速Ｒjkを各音声データベースＤＢ−１、・・・、ＤＢ−Ｎから直接出力可能である点が図１の構成と異なる。ここで、Ｌjは、各音声データベースＤＢ−１、・・・、ＤＢ−Ｎを構成する全ての文章ｋの総数を示すパラメータである。
【００３３】
（第１の実施形態）
本発明に係る話速調整装置の第１の実施形態を図１、図５〜図７を参照しながら説明する。本実施形態の話速調整装置１は、図１の構成で作成された合成音声データの話速を調整するものである。
【００３４】
本実施形態の話速調整装置１は、図５に示すように、複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎから合成された合成音声データＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）の話速Ｒjiの平均値を、識別情報（識別番号ｊ）に基づいて合成音声データの生成源の複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎごとに算出する話速平均値算出手段１１と、合成音声データの時間長の累計値Ｔjを、合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段１２と、番組放送時間ＴPを設定する番組放送時間設定手段１３と、話速平均値算出手段１１で算出された平均値、時間長累計値算出手段１２で算出された累計値Ｔj、および、番組放送時間ＴPに基づいて、合成音声データ全体の時間長を番組放送時間ＴPと一致させ、かつ、合成音声データの生成源の複数の音声データベースごとの話速の平均値を互いに等しくする合成音声データＳjiの伸縮倍率Ｐjを、合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段１４と、伸縮倍率算出手段１４で算出された伸縮倍率Ｐjで合成音声データＳjiの話速を変換する話速変換手段１５と、話速変換手段１５により話速が変換された合成音声データ（以下、話速調整音声データＳと記す）を記憶する記憶手段１６と、を備える。
【００３５】
ここで、話速調整装置１には、複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎから合成された合成音声データＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）とその時間長Ｔjiおよび話速Ｒjiが図１に示した音声合成エンジン５０から入力されるようになっている。合成音声データＳji、時間長Ｔji、話速Ｒjiはいずれも生成源の音声データベースＤＢ−１、・・・、ＤＢ−Ｎの識別番号ｊ（ｊ＝１，・・・，Ｎ）に対応づけられている。
【００３６】
図６は、本実施形態の話速調整装置１のハードウエア構成を示すブロック図である。図６に示すように、本実施形態の話速調整装置１は、表示パネル３１、キーボード３２、およびマウス３３等のインターフェイスと、パーソナルコンピュータ等の演算装置３４と、を含む。
【００３７】
演算装置３４は、合成音声データＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）とその時間長Ｔjiおよび話速Ｒjiが入力される入力インターフェイス（Ｉ／Ｆ）３５、話速調整音声データＳを出力する出力Ｉ／Ｆ３６、ＣＰＵ（Central Processing Unit）３７、メモリ３８、話速調整音声データＳを記憶する記憶手段１６を構成するハードディスク（ＨＤＤ）３９、および周辺機器Ｉ／Ｆ４０がバス４１を介して相互に結合された構成を有する。表示パネル３１、キーボード３２、およびマウス３３等のインターフェイスは周辺機器Ｉ／Ｆ４０に接続される。
【００３８】
入力Ｉ／Ｆ３５には音声合成エンジン５０が接続される。さらに、入力Ｉ／Ｆ３５に、音声データベースＤＢ−１、・・・、ＤＢ−Ｎからの音声データを直接入力できる構成としてもよい。音声データベースＤＢ−１、・・・、ＤＢ−Ｎは、ハードディスク、光磁気ディスク、半導体メモリ、ＣＤ−ＲＯＭ等の記録媒体により構成される。
【００３９】
出力Ｉ／Ｆ３６は、例えば、増幅器（図示せず）を介してスピーカ（図示せず）を接続可能な構成であるとよい。また、出力Ｉ／Ｆ３６は、ＣＰＵ３７からの制御指令に応じて、ＨＤＤ３９に蓄積された話速調整音声データＳを出力できるようになっている。
【００４０】
なお、話速平均値算出手段１１、時間長累計値算出手段１２、伸縮倍率算出手段１４、および話速変換手段１５は、メモリ３８にプログラムをインストールすることにより、演算装置３４内にソフトウエア的に構成される。また、番組放送時間設定手段１３は、例えば、予め作成された台本ファイルから番組放送時間ＴPを取得するようになっていてもよく、あるいは、操作者がキーボード３２またはマウス３３を介して番組放送時間ＴPを手動で入力できる構成になっていてもよい。
【００４１】
図７は、ＣＰＵ３７が実行する話速調整プログラムのフローチャートである。ＣＰＵ３７は、話速平均値算出手段１１に対応する話速平均値算出処理（ステップＳ１００）と、時間長累計値算出手段１２に対応する時間長累計値算出処理（ステップＳ１０１）と、伸縮倍率算出手段１４に対応する伸縮倍率算出処理（ステップＳ１０２）と、話速変換手段１５に対応する話速変換処理（ステップＳ１０３）と、を実行するようになっている。
【００４２】
まず、ＣＰＵ３７は話速平均値算出処理（ステップＳ１００）において、各音声データベースＤＢ−１、・・・、ＤＢ−Ｎから作成された合成音声データＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）の話速Ｒjiの平均値を、合成音声データの生成源の音声データベースごとに［数２］より算出する。なお、以下の数式中では、「Ｒj」にアッパーラインを付したものをＲjiの平均値としている。
【数２】
【００４３】
次に、ＣＰＵ３７は、時間長累計値算出処理（ステップＳ１０１）において、合成音声データの時間長の累計値Ｔjを、合成音声データの生成源の音声データベースごとに次式に従って算出する。
【数３】
【００４４】
次に、ＣＰＵ３７は、伸縮倍率算出処理（ステップＳ１０２）において、話速平均値算出処理（ステップＳ１００）の［数２］で得られた平均値を、全ての生成源の音声データベースＤＢ−１、・・・、ＤＢ−Ｎに亘って［数４］のように平均する。即ち、［数４］で得られる平均値は合成音声データ全体の平均話速である。
【数４】
【００４５】
さらに、ＣＰＵ３７は、伸縮倍率算出処理（ステップＳ１０２）において、［数２］で算出した合成音声データの話速の平均値を［数４］で算出した合成音声データ全体の平均話速に合わせるように、合成音声データＳjiを伸縮した場合の時間長の累計値Ｔj'を、合成音声データの生成源の音声データベースごとに次式に従って算出する。なお、ここでは実際に合成音声データの時間長を伸縮するわけではない。
【数５】
【００４６】
このとき、合成音声データ全体の時間長ＴSは次式で表わされる。
【数６】
【００４７】
さらに、ＣＰＵ３７は、伸縮倍率算出処理（ステップＳ１０２）において、上述のように話速を一定とした場合の合成音声データ全体の時間長ＴSを番組放送時間ＴPに合わせるための合成音声データ全体の伸縮倍率Ｐを次式に従って算出する。
【数７】
【００４８】
さらに、ＣＰＵ３７は、伸縮倍率算出処理（ステップＳ１０２）において、合成音声データＳjiの時間長Ｔjiを伸縮する伸縮倍率Ｐjを、合成音声データの生成源の音声データベースごとに次式に従って算出する。
【数８】
【００４９】
最後に、ＣＰＵ３７は、話速変換処理（ステップＳ１０３）において、合成音声データＳjiを伸縮倍率Ｐj（ｊ＝１，・・・，Ｎ）で伸縮し、話速調整音声データＳとしてＨＤＤ３９に蓄積する。さらに、ＣＰＵ３７は、出力Ｉ／Ｆ３６を介して、ＨＤＤ３９に蓄積された話速調整音声データＳを出力する。なお、個々の話速の調整方法としては公知の話速変換技術を用いればよい。
【００５０】
以上の説明では、ＣＰＵ３７は、話速平均値算出処理（ステップＳ１００）で［数２］の計算処理、時間長累計値算出処理（ステップＳ１０１）で［数３］の計算処理、伸縮倍率算出処理（ステップＳ１０２）で［数４］〜［数８］の計算処理をそれぞれ行うとした。なお、［数８］は、［数７］、［数６］、［数５］を順次代入することにより、次式のように整理できる。
【数９】
従って、ＣＰＵ３７が、伸縮倍率算出処理（ステップＳ１０２）において［数４］〜［数８］の計算処理の代わりに［数９］の計算処理を行う構成としてもよい。
【００５１】
以上説明したように、本実施形態の話速調整装置およびプログラムは、複数の音声データベースから合成された合成音声データに対して、１回の話速変換で合成音声データ全体の話速を均一に揃え、かつ、合成音声データ全体の時間長と番組放送時間とを一致させることができる。即ち、話速変換が１回で済むため音質の劣化を抑制することができる。
【００５２】
また、本実施形態の話速調整装置およびプログラムは、各音声データベースから合成された合成音声データの話速を用いて合成音声データの時間長を伸縮する伸縮倍率を算出するため、実態に即した精緻な話速調整を行うことができる。
【００５３】
なお、本実施形態の話速調整装置と、図１に示した合成音声データを作成する音声合成装置と、を組み合わせることにより、話速調整機能を有する音声合成システムを実現することもできる。
【００５４】
（第２の実施形態）
本発明に係る話速調整装置の第２の実施形態を図４、図８を参照しながら説明する。本実施形態の話速調整装置２は、図４の構成で作成された合成音声データの話速を調整するものである。なお、第１の実施形態と同様の構成については説明を省略する。
【００５５】
本実施形態の話速調整装置２は、図８に示すように、話速平均値算出手段が、複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎが有する音声データＷjk（ｊ＝１，・・・，Ｎ、ｋ＝１，・・・，Ｌj）の話速Ｒjkの平均値を、識別情報（識別番号ｊ）に基づいて合成音声データの生成源の音声データベースごとに算出する点が第１の実施形態と異なる。このため、本実施形態においては、話速平均値算出手段に符号２１を付して第１の実施形態の話速平均値算出手段１１と区別する。
【００５６】
ここで、話速調整装置２には、複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎから合成された合成音声データＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）とその時間長Ｔjiが音声合成エンジン５０から入力されるとともに、音声データＷjk（ｊ＝１，・・・，Ｎ、ｋ＝１，・・・，Ｌj）の話速Ｒjkが各音声データベースＤＢ−１、・・・、ＤＢ−Ｎから直接入力されるようになっている。合成音声データＳji、時間長Ｔji、音声データＷjk、話速Ｒjkはいずれも音声データベースＤＢ−１、・・・、ＤＢ−Ｎの識別番号ｊ（ｊ＝１，・・・，Ｎ）に対応づけられている。
【００５７】
本実施形態の話速調整装置２のハードウエア構成は、図６に示した第１の実施形態における構成と同様である。話速平均値算出手段２１、時間長累計値算出手段１２、伸縮倍率算出手段１４、および話速変換手段１５は、メモリ３８にプログラムをインストールすることにより、演算装置３４内にソフトウエア的に構成される。
【００５８】
ＣＰＵ３７は、第１の実施形態における話速平均値算出処理（ステップＳ１００）の代わりに、各音声データベースＤＢ−１、・・・、ＤＢ−Ｎから直接入力される音声データＷjk（ｊ＝１，・・・，Ｎ、ｋ＝１，・・・，Ｌj）の話速Ｒjkの平均値を、識別番号ｊに基づいて合成音声データの生成源の音声データベースごとに次式に従って算出する処理を行う。
【数１０】
【００５９】
この処理は、各音声データベースＤＢ−１、・・・、ＤＢ−Ｎを構成する全ての文章ｋ（ｋ＝１，・・・，Ｌj）に対応する音声データＷjkの話速Ｒjkの平均値を算出するものである。即ち、この処理は、実際の放送用テキストの内容に含まれない音声データの話速も含めて平均値を算出することになるが、第１の実施形態における話速平均値算出処理（ステップＳ１００）と比較して計算処理を簡易化できる。
【００６０】
以上説明したように、本実施形態の話速調整装置およびプログラムは、各音声データベースを構成する音声データの話速を用いて合成音声データの時間長を伸縮する伸縮倍率を算出するため、計算処理が簡易となり、効率的に話速調整を行うことができる。
【００６１】
なお、本実施形態の話速調整装置と、図４に示した合成音声データを作成する音声合成装置と、を組み合わせることにより、話速調整機能を有する音声合成システムを実現することもできる。
【産業上の利用可能性】
【００６２】
本発明に係る話速調整装置、音声合成システム、およびプログラムは、音声合成技術により放送番組に用いられる合成音声データを制作する番組音声制作装置や、合成音声データを再生する音声再生装置に適用可能な話速調整装置、音声合成システム、およびプログラムとして有用である。
【符号の説明】
【００６３】
１、２ 話速調整装置
１１、２１ 話速平均値算出手段
１２ 時間長累計値算出手段
１３ 番組放送時間設定手段
１４ 伸縮倍率算出手段
１５ 話速変換手段
１６ 記憶手段
５０ 音声合成エンジン
６０、７０ 音声合成装置
ＤＢ−１、・・・、ＤＢ−Ｎ 音声データベース
【技術分野】
【０００１】
本発明は、話速調整装置、音声合成システム、およびプログラムに関し、特に、放送番組に用いられる音声の話速を変換し、音声全体の時間長を既定の番組放送時間内に収めるための話速調整装置、音声合成システム、およびプログラムに関する。
【背景技術】
【０００２】
近年、放送番組用の原稿を自動的に音声に変換して放送する自動音声放送が注目されている。例えば、天気予報番組など同じ定型文を繰り返し用いる放送を自動音声放送とすることが徐々に実用段階に至っている。
【０００３】
一般に、自動音声化の方法としてコンピュータが発生した単語音声を合成する方法があるが、この方法では放送番組で使用できる品質の合成音声を得ることが容易ではない。このため、予めアナウンサが発話した音声を収録して音声データベースを作成しておき、該音声データベースから放送番組用の原稿に対応した音声データを切り出して音声合成を行うことが現実的である。
【０００４】
このように放送番組用の原稿に含まれ得る音声データを予め取得し、それらを接続することにより音声合成を行う録音編集方式による音声合成装置は、例えば特許文献１、２に開示されている。
【０００５】
特許文献１に開示された装置は、複数の項目シナリオファイルからなる台本ファイルに従って複数の音声データを繋ぎ合わせることにより、合成音声データを生成するようになっている。
【０００６】
さらに、特許文献１に開示された装置は、番組全体の放送時間（以下、番組放送時間と記す）と合成音声データ全体の再生時間とが一致するように、台本ファイルの項目シナリオファイルごとに合成音声データの再生時間を伸縮する話速変換手段を備えている。なお、この話速変換手段が用いている話速変換技術は公知である。
【０００７】
一方、特許文献２に開示された装置は、録音編集方式の音声合成処理において、複数の音声データを接続する際に、自然な聴感が得られる音声データ間の休止時間長を算出するものである。ここで、各音声データの話速は、音声データに予め設定されている拍数（モーラ数）を、音声データの音声区間長で除することにより算出される。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第４５３７８８６号明細書
【特許文献２】特開２００８−１１６８２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述のように、天気予報番組用などの定められた用途での音声合成を目的として音声を収録して音声データベースを構築する場合、合成音声データの品質を保つために一定の話速で発話された音声を収録することが多い。しかしながら、異なる時期に収録した音声で構築した音声データベースでは、同一話者であっても音声データベースごとに音声データの話速が異なる場合が少なくない。
【００１０】
複数の異なる音声データベースを用いて高品質な音声合成を行うためには、それぞれの音声データベースから合成された合成音声データを連続して再生する際に、話速の不一致による違和感が生じないように、話速を調整して再生（もしくは生成）する方法が必要である。
【００１１】
しかしながら、特許文献１に開示された装置は、番組放送時間と合成音声データ全体の再生時間とが一致するまで、順次各項目シナリオファイルに対応する音声データの再生時間を伸縮するものであり、合成音声データ全体の話速を一定とするものではない。また、特許文献２に開示された装置も、合成音声データの話速を一定とすることを目的とするものではない。
【００１２】
従来より、番組放送時間と合成音声データ全体の再生時間とを一致させ、かつ、合成音声データ全体の話速を一定に揃えるためには、例えば、音声合成処理の前に話速変換を用いて複数の音声データベースの話速を揃える方法が用いられるが、最終的に合成音声データ全体の長さを番組放送時間に合わせるために再度話速変換を行う必要があり、処理を重ねることにより音質劣化が生じてしまうという問題があった。
【００１３】
本発明は、このような従来の課題を解決するためになされたものであって、複数の音声データベースから合成された合成音声データに対して、１回の話速変換で合成音声データ全体の話速を均一に揃え、かつ、合成音声データ全体の時間長と番組放送時間とを一致させることができる話速調整装置、音声合成システム、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の話速調整装置は、複数の音声データベースから合成された合成音声データの話速の平均値を、該合成音声データの生成源の音声データベースごとに算出する話速平均値算出手段と、前記合成音声データの時間長の累計値を、該合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段と、前記話速平均値算出手段で算出された前記平均値、前記時間長累計値算出手段で算出された前記累計値、および、番組放送時間に基づいて、前記合成音声データ全体の時間長を該番組放送時間と一致させ、かつ、該合成音声データの生成源の音声データベースごとの話速の平均値を互いに等しくする該合成音声データの伸縮倍率を、該合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段と、前記伸縮倍率算出手段で算出された前記伸縮倍率で前記合成音声データの話速を変換する話速変換手段と、前記話速変換手段により話速が変換された合成音声データを記憶する記憶手段と、を備える構成を有している。
【００１５】
この構成により、複数の音声データベースから合成された合成音声データに対して、１回の話速変換で合成音声データ全体の話速を均一に揃え、かつ、合成音声データ全体の時間長と番組放送時間とを一致させることができる。即ち、話速変換が１回で済むため、音質の劣化を抑制することができる。
また、この構成により、各音声データベースから合成された合成音声データの話速を用いて合成音声データの時間長の伸縮倍率を算出するため、実態に即した精緻な話速調整を行うことができる。
【００１６】
また、本発明の話速調整装置は、複数の音声データベースが有する音声データの話速の平均値を、該音声データベースごとに算出する話速平均値算出手段と、前記合成音声データの時間長の累計値を、該合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段と、前記話速平均値算出手段で算出された前記平均値、前記時間長累計値算出手段で算出された前記累計値、および、番組放送時間に基づいて、前記合成音声データ全体の時間長を該番組放送時間と一致させ、かつ、該合成音声データの生成源の音声データベースごとの話速の平均値を互いに等しくする該合成音声データの伸縮倍率を、該合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段と、前記伸縮倍率算出手段で算出された前記伸縮倍率で前記合成音声データの話速を変換する話速変換手段と、前記話速変換手段により話速が変換された合成音声データを記憶する記憶手段と、を備える構成を有している。
【００１７】
この構成により、複数の音声データベースから合成された合成音声データに対して、１回の話速変換で合成音声データ全体の話速を均一に揃え、かつ、合成音声データ全体の時間長と番組放送時間とを一致させることができる。
また、この構成により、各音声データベースを構成する音声データの話速を用いて合成音声データの時間長の伸縮倍率を算出するため、計算処理が簡易となり、効率的に話速調整を行うことができる。
【００１８】
また、本発明の話速調整装置は、前記伸縮倍率算出手段が、前記伸縮倍率を以下の式（１）に従って算出する構成を有していてもよい。
【数１】
【００１９】
本発明の音声合成システムは、音声データと、該音声データに対応するテキストおよびその音素表記と、を有する複数の音声データベースを備え、放送内容に応じた放送用テキストと、該放送用テキストに対応する音声データが蓄積されている前記音声データベースの識別情報と、に基づいて前記複数の音声データベースから合成音声データを生成し、生成した該合成音声データ、該合成音声データの時間長、および、該合成音声データまたは該音声データの話速、を出力する音声合成装置と、上記の話速調整装置と、を備える構成を有していてもよい。
【発明の効果】
【００２０】
本発明は、複数の音声データベースから合成された合成音声データの時間長の伸縮倍率を、識別情報に基づいて合成音声データの生成源の音声データベースごとに算出することにより、複数の音声データベースから合成された合成音声データに対して、１回の話速変換で合成音声データ全体の話速を均一に揃え、かつ、合成音声データ全体の時間長と番組放送時間とを一致させることができる話速調整装置、音声合成システム、およびプログラムを提供するものである。
【図面の簡単な説明】
【００２１】
【図１】複数の音声データベースから合成音声データを作成する音声合成装置の構成を示す概略図
【図２】放送用テキストと音声データベースの内容の一例を示す説明図
【図３】放送用テキストと複数の音声データベースとの対応関係を示す説明図
【図４】複数の音声データベースから合成音声データを作成する音声合成装置の他の構成を示す概略図
【図５】本発明に係る話速調整装置の構成を示すブロック図
【図６】本発明に係る話速調整装置のハードウエア構成を示すブロック図
【図７】本発明に係る話速調整装置のＣＰＵが実行する話速調整プログラムのフローチャート
【図８】本発明に係る話速調整装置の他の構成を示すブロック図
【発明を実施するための形態】
【００２２】
以下、本発明に係る話速調整装置、音声合成システム、およびプログラムの実施形態について、図面を用いて説明する。本発明に係る話速調整装置は、複数の音声データベースから合成された合成音声データの話速を調整するものである。まず、本発明に係る話速調整装置に入力される合成音声データの作成方法についてその概要を述べる。
【００２３】
図１は、複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎ（Ｎは２以上の自然数）から合成音声データを作成する音声合成装置６０の構成の一例を示すブロック図である。
【００２４】
音声データベースＤＢ−１、・・・、ＤＢ−Ｎは、音声データと、該音声データに対応するテキストおよびその音素表記と、を蓄積しており、音声データを任意の単位（例えば、一文単位、形態素単位）に切り出して出力できるようになっている。
【００２５】
図１の構成において、放送内容に応じた漢字仮名交じり文の放送用テキストと、該放送用テキストに対応する音声データが蓄積されている音声データベースの識別情報と、が音声合成エンジン５０に入力される。ここで、識別情報は識別番号ｊ（ｊ＝１，・・・，Ｎ）であるとする。
【００２６】
音声合成エンジン５０は、識別番号ｊにより指定された音声データベースを用いて合成音声データを作成する。図２に放送用テキストと音声データベースＤＢ−１、・・・、ＤＢ−Ｎの内容の一例を示し、図３に図２の例における放送用テキストと音声データベースＤＢ−１、・・・、ＤＢ−Ｎとの対応関係を示す。なお、図２、３に示した音声データベースの構成はあくまでも説明上の一例であり、実際の音声データベースの構成はこれに限定されない。
【００２７】
例えば、図２、３に示した例では、音声合成エンジン５０は、放送用テキストの「石垣島では、東の風、風力２、天気は、にわか雨、気圧は、１０１０ヘクトパスカル、気温は、２７度。」との一文に相当する合成音声データの作成に当たって、識別番号１に対応する音声データベースＤＢ−１から８個の音声データ（「では、」、「の風、」、「風力」、「天気は、」、「気圧は、」、「ヘクトパスカル、」、「気温は、」、「度。」）、識別番号２に対応する音声データベースＤＢ−２から３個の音声データ（「２」、「１０１０」、「２７」）、識別番号３〜５に対応する音声データベースＤＢ−３、ＤＢ−４、ＤＢ−５からそれぞれ１個の音声データ（「石垣島」、「東」、「にわか雨」）を用いる。
【００２８】
ここで、識別番号ｊ（ｊ＝１，・・・，Ｎ）に対応する各音声データベースＤＢ−１、・・・、ＤＢ−Ｎにおける音声合成に用いられた音声データの累積番号をｉ（ｉ＝１，・・・，Ｍj）、放送用テキストに対応する合成音声データをＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）とする。即ち、音声合成エンジン５０は、図３に示すように、合成音声データをＳ31、Ｓ11、Ｓ41、Ｓ12、Ｓ13、Ｓ21、Ｓ14、Ｓ51、Ｓ15、Ｓ22、Ｓ16、Ｓ17、Ｓ23、Ｓ18、の順に繋ぎ合わせた合成音声データを生成する。なお、各合成音声データＳ11〜Ｓ18、Ｓ21〜Ｓ23、Ｓ31、Ｓ41、Ｓ51の話速は、音声合成の過程で、音声合成前の音声データの話速から変化している場合がある。
【００２９】
また、音声合成エンジン５０は、例えば特許第３９５８９０８号明細書に開示されているような公知の方法で、放送用テキストから音素表記を求め、求めた音素表記の母音、撥音、促音をカウントしてモーラ数を求める。さらに、音声合成エンジン５０は、合成音声データのファイルサイズから時間長を求め、モーラ数を時間長で除算して１秒あたりのモーラ数を求めることにより話速を算出する。
【００３０】
音声合成エンジン５０は、このようにして得られた放送用テキストに対応する合成音声データＳjiと、合成音声データＳjiの時間長Ｔjiと話速Ｒjiを、合成音声データの生成源の音声データベースＤＢ−１、・・・、ＤＢ−Ｎの識別番号ｊ（ｊ＝１，・・・，Ｎ）、および、各音声データベースＤＢ−１、・・・、ＤＢ−Ｎにおける累積番号ｉ（ｉ＝１，・・・，Ｍj）に対応づけて出力する。例えば、図２、３に示した例では、Ｍ1＝８、Ｍ2＝３、Ｍ3〜Ｍ5＝１であり、「風力」に対応する合成音声データはＳ13であり、「にわか雨」に対応する合成音声データはＳ51である。
【００３１】
図４に、複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎから合成音声データを作成する音声合成装置の他の構成例を示す。ここでは、音声合成装置に符号７０を付して図１に示した音声合成装置６０と区別する。
【００３２】
図４の構成は、音声合成エンジン５０が合成音声データＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）とその時間長Ｔjiを出力する点は図１の構成と同様であるが、各音声データベースＤＢ−１、・・・、ＤＢ−Ｎを構成する文章（あるいは、文、形態素）ｋ（ｋ＝１，・・・，Ｌj）に対応した音声データＷjkの話速Ｒjkを各音声データベースＤＢ−１、・・・、ＤＢ−Ｎから直接出力可能である点が図１の構成と異なる。ここで、Ｌjは、各音声データベースＤＢ−１、・・・、ＤＢ−Ｎを構成する全ての文章ｋの総数を示すパラメータである。
【００３３】
（第１の実施形態）
本発明に係る話速調整装置の第１の実施形態を図１、図５〜図７を参照しながら説明する。本実施形態の話速調整装置１は、図１の構成で作成された合成音声データの話速を調整するものである。
【００３４】
本実施形態の話速調整装置１は、図５に示すように、複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎから合成された合成音声データＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）の話速Ｒjiの平均値を、識別情報（識別番号ｊ）に基づいて合成音声データの生成源の複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎごとに算出する話速平均値算出手段１１と、合成音声データの時間長の累計値Ｔjを、合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段１２と、番組放送時間ＴPを設定する番組放送時間設定手段１３と、話速平均値算出手段１１で算出された平均値、時間長累計値算出手段１２で算出された累計値Ｔj、および、番組放送時間ＴPに基づいて、合成音声データ全体の時間長を番組放送時間ＴPと一致させ、かつ、合成音声データの生成源の複数の音声データベースごとの話速の平均値を互いに等しくする合成音声データＳjiの伸縮倍率Ｐjを、合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段１４と、伸縮倍率算出手段１４で算出された伸縮倍率Ｐjで合成音声データＳjiの話速を変換する話速変換手段１５と、話速変換手段１５により話速が変換された合成音声データ（以下、話速調整音声データＳと記す）を記憶する記憶手段１６と、を備える。
【００３５】
ここで、話速調整装置１には、複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎから合成された合成音声データＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）とその時間長Ｔjiおよび話速Ｒjiが図１に示した音声合成エンジン５０から入力されるようになっている。合成音声データＳji、時間長Ｔji、話速Ｒjiはいずれも生成源の音声データベースＤＢ−１、・・・、ＤＢ−Ｎの識別番号ｊ（ｊ＝１，・・・，Ｎ）に対応づけられている。
【００３６】
図６は、本実施形態の話速調整装置１のハードウエア構成を示すブロック図である。図６に示すように、本実施形態の話速調整装置１は、表示パネル３１、キーボード３２、およびマウス３３等のインターフェイスと、パーソナルコンピュータ等の演算装置３４と、を含む。
【００３７】
演算装置３４は、合成音声データＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）とその時間長Ｔjiおよび話速Ｒjiが入力される入力インターフェイス（Ｉ／Ｆ）３５、話速調整音声データＳを出力する出力Ｉ／Ｆ３６、ＣＰＵ（Central Processing Unit）３７、メモリ３８、話速調整音声データＳを記憶する記憶手段１６を構成するハードディスク（ＨＤＤ）３９、および周辺機器Ｉ／Ｆ４０がバス４１を介して相互に結合された構成を有する。表示パネル３１、キーボード３２、およびマウス３３等のインターフェイスは周辺機器Ｉ／Ｆ４０に接続される。
【００３８】
入力Ｉ／Ｆ３５には音声合成エンジン５０が接続される。さらに、入力Ｉ／Ｆ３５に、音声データベースＤＢ−１、・・・、ＤＢ−Ｎからの音声データを直接入力できる構成としてもよい。音声データベースＤＢ−１、・・・、ＤＢ−Ｎは、ハードディスク、光磁気ディスク、半導体メモリ、ＣＤ−ＲＯＭ等の記録媒体により構成される。
【００３９】
出力Ｉ／Ｆ３６は、例えば、増幅器（図示せず）を介してスピーカ（図示せず）を接続可能な構成であるとよい。また、出力Ｉ／Ｆ３６は、ＣＰＵ３７からの制御指令に応じて、ＨＤＤ３９に蓄積された話速調整音声データＳを出力できるようになっている。
【００４０】
なお、話速平均値算出手段１１、時間長累計値算出手段１２、伸縮倍率算出手段１４、および話速変換手段１５は、メモリ３８にプログラムをインストールすることにより、演算装置３４内にソフトウエア的に構成される。また、番組放送時間設定手段１３は、例えば、予め作成された台本ファイルから番組放送時間ＴPを取得するようになっていてもよく、あるいは、操作者がキーボード３２またはマウス３３を介して番組放送時間ＴPを手動で入力できる構成になっていてもよい。
【００４１】
図７は、ＣＰＵ３７が実行する話速調整プログラムのフローチャートである。ＣＰＵ３７は、話速平均値算出手段１１に対応する話速平均値算出処理（ステップＳ１００）と、時間長累計値算出手段１２に対応する時間長累計値算出処理（ステップＳ１０１）と、伸縮倍率算出手段１４に対応する伸縮倍率算出処理（ステップＳ１０２）と、話速変換手段１５に対応する話速変換処理（ステップＳ１０３）と、を実行するようになっている。
【００４２】
まず、ＣＰＵ３７は話速平均値算出処理（ステップＳ１００）において、各音声データベースＤＢ−１、・・・、ＤＢ−Ｎから作成された合成音声データＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）の話速Ｒjiの平均値を、合成音声データの生成源の音声データベースごとに［数２］より算出する。なお、以下の数式中では、「Ｒj」にアッパーラインを付したものをＲjiの平均値としている。
【数２】
【００４３】
次に、ＣＰＵ３７は、時間長累計値算出処理（ステップＳ１０１）において、合成音声データの時間長の累計値Ｔjを、合成音声データの生成源の音声データベースごとに次式に従って算出する。
【数３】
【００４４】
次に、ＣＰＵ３７は、伸縮倍率算出処理（ステップＳ１０２）において、話速平均値算出処理（ステップＳ１００）の［数２］で得られた平均値を、全ての生成源の音声データベースＤＢ−１、・・・、ＤＢ−Ｎに亘って［数４］のように平均する。即ち、［数４］で得られる平均値は合成音声データ全体の平均話速である。
【数４】
【００４５】
さらに、ＣＰＵ３７は、伸縮倍率算出処理（ステップＳ１０２）において、［数２］で算出した合成音声データの話速の平均値を［数４］で算出した合成音声データ全体の平均話速に合わせるように、合成音声データＳjiを伸縮した場合の時間長の累計値Ｔj'を、合成音声データの生成源の音声データベースごとに次式に従って算出する。なお、ここでは実際に合成音声データの時間長を伸縮するわけではない。
【数５】
【００４６】
このとき、合成音声データ全体の時間長ＴSは次式で表わされる。
【数６】
【００４７】
さらに、ＣＰＵ３７は、伸縮倍率算出処理（ステップＳ１０２）において、上述のように話速を一定とした場合の合成音声データ全体の時間長ＴSを番組放送時間ＴPに合わせるための合成音声データ全体の伸縮倍率Ｐを次式に従って算出する。
【数７】
【００４８】
さらに、ＣＰＵ３７は、伸縮倍率算出処理（ステップＳ１０２）において、合成音声データＳjiの時間長Ｔjiを伸縮する伸縮倍率Ｐjを、合成音声データの生成源の音声データベースごとに次式に従って算出する。
【数８】
【００４９】
最後に、ＣＰＵ３７は、話速変換処理（ステップＳ１０３）において、合成音声データＳjiを伸縮倍率Ｐj（ｊ＝１，・・・，Ｎ）で伸縮し、話速調整音声データＳとしてＨＤＤ３９に蓄積する。さらに、ＣＰＵ３７は、出力Ｉ／Ｆ３６を介して、ＨＤＤ３９に蓄積された話速調整音声データＳを出力する。なお、個々の話速の調整方法としては公知の話速変換技術を用いればよい。
【００５０】
以上の説明では、ＣＰＵ３７は、話速平均値算出処理（ステップＳ１００）で［数２］の計算処理、時間長累計値算出処理（ステップＳ１０１）で［数３］の計算処理、伸縮倍率算出処理（ステップＳ１０２）で［数４］〜［数８］の計算処理をそれぞれ行うとした。なお、［数８］は、［数７］、［数６］、［数５］を順次代入することにより、次式のように整理できる。
【数９】
従って、ＣＰＵ３７が、伸縮倍率算出処理（ステップＳ１０２）において［数４］〜［数８］の計算処理の代わりに［数９］の計算処理を行う構成としてもよい。
【００５１】
以上説明したように、本実施形態の話速調整装置およびプログラムは、複数の音声データベースから合成された合成音声データに対して、１回の話速変換で合成音声データ全体の話速を均一に揃え、かつ、合成音声データ全体の時間長と番組放送時間とを一致させることができる。即ち、話速変換が１回で済むため音質の劣化を抑制することができる。
【００５２】
また、本実施形態の話速調整装置およびプログラムは、各音声データベースから合成された合成音声データの話速を用いて合成音声データの時間長を伸縮する伸縮倍率を算出するため、実態に即した精緻な話速調整を行うことができる。
【００５３】
なお、本実施形態の話速調整装置と、図１に示した合成音声データを作成する音声合成装置と、を組み合わせることにより、話速調整機能を有する音声合成システムを実現することもできる。
【００５４】
（第２の実施形態）
本発明に係る話速調整装置の第２の実施形態を図４、図８を参照しながら説明する。本実施形態の話速調整装置２は、図４の構成で作成された合成音声データの話速を調整するものである。なお、第１の実施形態と同様の構成については説明を省略する。
【００５５】
本実施形態の話速調整装置２は、図８に示すように、話速平均値算出手段が、複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎが有する音声データＷjk（ｊ＝１，・・・，Ｎ、ｋ＝１，・・・，Ｌj）の話速Ｒjkの平均値を、識別情報（識別番号ｊ）に基づいて合成音声データの生成源の音声データベースごとに算出する点が第１の実施形態と異なる。このため、本実施形態においては、話速平均値算出手段に符号２１を付して第１の実施形態の話速平均値算出手段１１と区別する。
【００５６】
ここで、話速調整装置２には、複数の音声データベースＤＢ−１、・・・、ＤＢ−Ｎから合成された合成音声データＳji（ｊ＝１，・・・，Ｎ、ｉ＝１，・・・，Ｍj）とその時間長Ｔjiが音声合成エンジン５０から入力されるとともに、音声データＷjk（ｊ＝１，・・・，Ｎ、ｋ＝１，・・・，Ｌj）の話速Ｒjkが各音声データベースＤＢ−１、・・・、ＤＢ−Ｎから直接入力されるようになっている。合成音声データＳji、時間長Ｔji、音声データＷjk、話速Ｒjkはいずれも音声データベースＤＢ−１、・・・、ＤＢ−Ｎの識別番号ｊ（ｊ＝１，・・・，Ｎ）に対応づけられている。
【００５７】
本実施形態の話速調整装置２のハードウエア構成は、図６に示した第１の実施形態における構成と同様である。話速平均値算出手段２１、時間長累計値算出手段１２、伸縮倍率算出手段１４、および話速変換手段１５は、メモリ３８にプログラムをインストールすることにより、演算装置３４内にソフトウエア的に構成される。
【００５８】
ＣＰＵ３７は、第１の実施形態における話速平均値算出処理（ステップＳ１００）の代わりに、各音声データベースＤＢ−１、・・・、ＤＢ−Ｎから直接入力される音声データＷjk（ｊ＝１，・・・，Ｎ、ｋ＝１，・・・，Ｌj）の話速Ｒjkの平均値を、識別番号ｊに基づいて合成音声データの生成源の音声データベースごとに次式に従って算出する処理を行う。
【数１０】
【００５９】
この処理は、各音声データベースＤＢ−１、・・・、ＤＢ−Ｎを構成する全ての文章ｋ（ｋ＝１，・・・，Ｌj）に対応する音声データＷjkの話速Ｒjkの平均値を算出するものである。即ち、この処理は、実際の放送用テキストの内容に含まれない音声データの話速も含めて平均値を算出することになるが、第１の実施形態における話速平均値算出処理（ステップＳ１００）と比較して計算処理を簡易化できる。
【００６０】
以上説明したように、本実施形態の話速調整装置およびプログラムは、各音声データベースを構成する音声データの話速を用いて合成音声データの時間長を伸縮する伸縮倍率を算出するため、計算処理が簡易となり、効率的に話速調整を行うことができる。
【００６１】
なお、本実施形態の話速調整装置と、図４に示した合成音声データを作成する音声合成装置と、を組み合わせることにより、話速調整機能を有する音声合成システムを実現することもできる。
【産業上の利用可能性】
【００６２】
本発明に係る話速調整装置、音声合成システム、およびプログラムは、音声合成技術により放送番組に用いられる合成音声データを制作する番組音声制作装置や、合成音声データを再生する音声再生装置に適用可能な話速調整装置、音声合成システム、およびプログラムとして有用である。
【符号の説明】
【００６３】
１、２ 話速調整装置
１１、２１ 話速平均値算出手段
１２ 時間長累計値算出手段
１３ 番組放送時間設定手段
１４ 伸縮倍率算出手段
１５ 話速変換手段
１６ 記憶手段
５０ 音声合成エンジン
６０、７０ 音声合成装置
ＤＢ−１、・・・、ＤＢ−Ｎ 音声データベース
【特許請求の範囲】
【請求項１】
複数の音声データベースから合成された合成音声データの話速の平均値を、該合成音声データの生成源の音声データベースごとに算出する話速平均値算出手段と、
前記合成音声データの時間長の累計値を、該合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段と、
前記話速平均値算出手段で算出された前記平均値、前記時間長累計値算出手段で算出された前記累計値、および、番組放送時間に基づいて、前記合成音声データ全体の時間長を該番組放送時間と一致させ、かつ、該合成音声データの生成源の音声データベースごとの話速の平均値を互いに等しくする該合成音声データの伸縮倍率を、該合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段と、
前記伸縮倍率算出手段で算出された前記伸縮倍率で前記合成音声データの話速を変換する話速変換手段と、
前記話速変換手段により話速が変換された合成音声データを記憶する記憶手段と、を備える話速調整装置。
【請求項２】
複数の音声データベースが有する音声データの話速の平均値を、該音声データベースごとに算出する話速平均値算出手段と、
前記合成音声データの時間長の累計値を、該合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段と、
前記話速平均値算出手段で算出された前記平均値、前記時間長累計値算出手段で算出された前記累計値、および、番組放送時間に基づいて、前記合成音声データ全体の時間長を該番組放送時間と一致させ、かつ、該合成音声データの生成源の音声データベースごとの話速の平均値を互いに等しくする該合成音声データの伸縮倍率を、該合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段と、
前記伸縮倍率算出手段で算出された前記伸縮倍率で前記合成音声データの話速を変換する話速変換手段と、
前記話速変換手段により話速が変換された合成音声データを記憶する記憶手段と、を備える話速調整装置。
【請求項３】
前記伸縮倍率算出手段が、前記伸縮倍率を以下の式（１）に従って算出する請求項１または請求項２に記載の話速調整装置。
【数１１】
【請求項４】
音声データと、該音声データに対応するテキストおよびその音素表記と、を有する複数の音声データベースを備え、放送内容に応じた放送用テキストと、該放送用テキストに対応する音声データが蓄積されている前記音声データベースの識別情報と、に基づいて前記複数の音声データベースから合成音声データを生成し、生成した該合成音声データ、該合成音声データの時間長、および、該合成音声データまたは該音声データの話速、を出力する音声合成装置と、
請求項１から請求項３のいずれか一項に記載の話速調整装置と、を備える音声合成システム。
【請求項５】
コンピュータに、
複数の音声データベースから合成された合成音声データの話速の平均値を、該合成音声データの生成源の音声データベースごとに算出する話速平均値算出手段と、
前記合成音声データの時間長の累計値を、該合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段と、
前記話速平均値算出手段で算出された前記平均値、前記時間長累計値算出手段で算出された前記累計値、および、番組放送時間に基づいて、前記合成音声データ全体の時間長を該番組放送時間と一致させ、かつ、該合成音声データの生成源の音声データベースごとの話速の平均値を互いに等しくする該合成音声データの伸縮倍率を、該合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段と、
前記伸縮倍率算出手段で算出された前記伸縮倍率で前記合成音声データの話速を変換する話速変換手段と、
前記話速変換手段により話速が変換された合成音声データを記憶する記憶手段と、を実現させるプログラム。
【請求項６】
コンピュータに、
複数の音声データベースが有する音声データの話速の平均値を、該音声データベースごとに算出する話速平均値算出手段と、
前記合成音声データの時間長の累計値を、該合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段と、
前記話速平均値算出手段で算出された前記平均値、前記時間長累計値算出手段で算出された前記累計値、および、番組放送時間に基づいて、前記合成音声データ全体の時間長を該番組放送時間と一致させ、かつ、該合成音声データの生成源の音声データベースごとの話速の平均値を互いに等しくする該合成音声データの伸縮倍率を、該合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段と、
前記伸縮倍率算出手段で算出された前記伸縮倍率で前記合成音声データの話速を変換する話速変換手段と、
前記話速変換手段により話速が変換された合成音声データを記憶する記憶手段と、を実現させるプログラム。
【請求項１】
複数の音声データベースから合成された合成音声データの話速の平均値を、該合成音声データの生成源の音声データベースごとに算出する話速平均値算出手段と、
前記合成音声データの時間長の累計値を、該合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段と、
前記話速平均値算出手段で算出された前記平均値、前記時間長累計値算出手段で算出された前記累計値、および、番組放送時間に基づいて、前記合成音声データ全体の時間長を該番組放送時間と一致させ、かつ、該合成音声データの生成源の音声データベースごとの話速の平均値を互いに等しくする該合成音声データの伸縮倍率を、該合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段と、
前記伸縮倍率算出手段で算出された前記伸縮倍率で前記合成音声データの話速を変換する話速変換手段と、
前記話速変換手段により話速が変換された合成音声データを記憶する記憶手段と、を備える話速調整装置。
【請求項２】
複数の音声データベースが有する音声データの話速の平均値を、該音声データベースごとに算出する話速平均値算出手段と、
前記合成音声データの時間長の累計値を、該合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段と、
前記話速平均値算出手段で算出された前記平均値、前記時間長累計値算出手段で算出された前記累計値、および、番組放送時間に基づいて、前記合成音声データ全体の時間長を該番組放送時間と一致させ、かつ、該合成音声データの生成源の音声データベースごとの話速の平均値を互いに等しくする該合成音声データの伸縮倍率を、該合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段と、
前記伸縮倍率算出手段で算出された前記伸縮倍率で前記合成音声データの話速を変換する話速変換手段と、
前記話速変換手段により話速が変換された合成音声データを記憶する記憶手段と、を備える話速調整装置。
【請求項３】
前記伸縮倍率算出手段が、前記伸縮倍率を以下の式（１）に従って算出する請求項１または請求項２に記載の話速調整装置。
【数１１】
【請求項４】
音声データと、該音声データに対応するテキストおよびその音素表記と、を有する複数の音声データベースを備え、放送内容に応じた放送用テキストと、該放送用テキストに対応する音声データが蓄積されている前記音声データベースの識別情報と、に基づいて前記複数の音声データベースから合成音声データを生成し、生成した該合成音声データ、該合成音声データの時間長、および、該合成音声データまたは該音声データの話速、を出力する音声合成装置と、
請求項１から請求項３のいずれか一項に記載の話速調整装置と、を備える音声合成システム。
【請求項５】
コンピュータに、
複数の音声データベースから合成された合成音声データの話速の平均値を、該合成音声データの生成源の音声データベースごとに算出する話速平均値算出手段と、
前記合成音声データの時間長の累計値を、該合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段と、
前記話速平均値算出手段で算出された前記平均値、前記時間長累計値算出手段で算出された前記累計値、および、番組放送時間に基づいて、前記合成音声データ全体の時間長を該番組放送時間と一致させ、かつ、該合成音声データの生成源の音声データベースごとの話速の平均値を互いに等しくする該合成音声データの伸縮倍率を、該合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段と、
前記伸縮倍率算出手段で算出された前記伸縮倍率で前記合成音声データの話速を変換する話速変換手段と、
前記話速変換手段により話速が変換された合成音声データを記憶する記憶手段と、を実現させるプログラム。
【請求項６】
コンピュータに、
複数の音声データベースが有する音声データの話速の平均値を、該音声データベースごとに算出する話速平均値算出手段と、
前記合成音声データの時間長の累計値を、該合成音声データの生成源の音声データベースごとに算出する時間長累計値算出手段と、
前記話速平均値算出手段で算出された前記平均値、前記時間長累計値算出手段で算出された前記累計値、および、番組放送時間に基づいて、前記合成音声データ全体の時間長を該番組放送時間と一致させ、かつ、該合成音声データの生成源の音声データベースごとの話速の平均値を互いに等しくする該合成音声データの伸縮倍率を、該合成音声データの生成源の音声データベースごとに算出する伸縮倍率算出手段と、
前記伸縮倍率算出手段で算出された前記伸縮倍率で前記合成音声データの話速を変換する話速変換手段と、
前記話速変換手段により話速が変換された合成音声データを記憶する記憶手段と、を実現させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−７８７５５（Ｐ２０１２−７８７５５Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２６６８０（Ｐ２０１０−２２６６８０）
【出願日】平成２２年１０月６日（２０１０．１０．６）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月６日（２０１０．１０．６）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
[ Back to top ]