基本周波数情報を分析する方法、ならびに、この分析方法を実装した音声変換方法及びシステム
音声サンプル内に含まれている基本周波数情報を分析する方法であって、それぞれのサンプルフレームごとに、スペクトル関連情報と基本周波数関連情報を取得するべく、フレームとして１つにグループ化された音声サンプルを分析する少なくとも１つのステップ（２）と、すべてのサンプルのスペクトルおよび基本周波数の共通特性を表すモデルを判定するステップ（２０）と、このモデルと音声サンプルに基づいて、スペクトル関連情報にのみ従って基本周波数予測関数を判定するステップ（３０）と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声サンプル内に含まれている基本周波数情報を分析する方法、ならびに、この分析方法を実装した音声変換方法およびシステムに関する。
【背景技術】
【０００２】
生成しようとする音の特性に応じて、発話、特に、発声音の生成には、基本周期（この逆数を基本周波数又はピッチと呼ぶ）を有する発話信号内の周期的構造の存在を通じて表れる声帯の振動が伴っている。
【０００３】
音声変換などの特定のアプリケーションにおいては、聴覚レンダリングが極めて大きな重要性を有しており、満足できる品質を得るには、基本周波数を含む韻律にリンクしたパラメータを効果的に制御することが必要である。
【０００４】
このため、音声サンプル内に含まれている基本周波数情報を分析する方法として、現在、多数のものが存在している。
【０００５】
これらの分析法によれば、基本周波数特性を判定しモデル化することが可能である。例えば、音声サンプルのデータベース全体にわたって基本周波数のスロープや振幅スケールを判定可能な方法が存在している。
【０００６】
このようなパラメータを知ることにより、例えば、ターゲット発話者の基本周波数の平均値および変動に対して全体的に留意した方式で、ソース発話者とターゲット発話者と間において基本周波数をスケーリングすることにより、発話信号を変更可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、これらの分析法によって得られるのは、パラメータを定義可能な基本周波数の表現ではなく、概略的な表現のみであり、従って、これらは、特に、発話スタイルが異なる発話者に関しては、適切なものではない。
【０００８】
本発明の目的は、音声サンプルの基本周波数情報を分析する方法を定義し、パラメータを定義可能な基本周波数の表現を定義できるようにすることにより、この問題を克服することにある。
【課題を解決するための手段】
【０００９】
この目的を実現するべく、本発明の主題は、音声サンプル内に含まれている基本周波数情報を分析する分析方法であり、この分析方法は、
それぞれのサンプルフレームごとに、スペクトル関連情報および基本周波数関連情報を取得するべくフレームとして１つにグループ化された音声サンプルを分析するステップと、
すべてのサンプルのスペクトルおよび基本周波数の共通特性を表すモデルを判定するステップと、
このモデルおよび音声サンプルに基づいて、スペクトル関連情報のみに従って基本周波数予測関数を判定するステップと、
を少なくとも備えることを特徴としている。
【００１０】
この分析方法の更なる特徴によれば、
前述の音声サンプルを分析するステップは、スペクトル関連情報をケプストラム係数の形態で供給するべく適合されており、
この分析ステップは、高調波信号と雑音信号との合計に従って音声サンプルをモデル化するサブステップと、
音声サンプルの周波数パラメータおよび少なくとも基本周波数を推定するサブステップと、
それぞれのサンプルフレームの基本周波数を同期分析するサブステップと、
各サンプルフレームのスペクトルパラメータを推定するサブステップと、
を備え、
かつ、この分析方法は、分析対象のサンプルの基本周波数の平均値との関係において、それぞれのサンプルフレームの基本周波数を正規化する段階をさらに備え、
モデルを判定するステップは、ガウス密度の混合によるモデルの判定に対応しており、
このモデルを判定するステップは、
ガウス密度の混合に対応するモデルを判定するサブステップと、
サンプルおよびモデルのスペクトル情報とサンプルおよびモデルの基本周波数情報との間における最大類似性の推定に基づいて、ガウス密度の混合のパラメータを推定するサブステップと、
を備え、
予測関数を判定するステップは、サンプルのスペクトル情報を知ることによって基本周波数を実現する推定値に基づいて実現されており、
基本周波数予測関数を判定するステップは、モデルに基づいてスペクトル情報が得られる事後確率に基づいて、スペクトル情報を知ることによって基本周波数を実現する条件付きの期待値を判定するサブステップを備えており、この条件付きの期待値が推定値を形成している。
【００１１】
また、本発明は、ソース発話者によって発音された音声信号を、特性がターゲット発話者の特性に類似している変換済みの音声信号に変換する方法にも関し、この方法は、
ソース発話者およびターゲット発話者の音声サンプルに基づいて実現され、ソース発話者のスペクトル特性をターゲット発話者のスペクトル特性に変換する関数を判定するステップと、
この変換関数を使用して、変換対象のソース発話者の音声信号のスペクトル情報を変換するステップと、
を少なくとも備える方法であって、
ターゲット発話者のスペクトル関連情報にのみ従って基本周波数予測関数を判定するステップ（この予測関数は、上記で定義した分析方法を使用して得られるものである）と、
この基本周波数予測関数をソース発話者の音声信号の変換済みのスペクトル情報に適用することにより、変換対象の音声信号の基本周波数を予測するステップと、
をさらに備えることを特徴とする。
【００１２】
この変換方法のその他の特性によれば、
変換関数を判定するステップは、ソーススペクトル特性を知ることによってターゲットスペクトル特性を実現する推定値に基づいて実現されており、
この変換関数を判定するステップは、
高調波信号と雑音信号の合計モデルに従ってソースおよびターゲット音声サンプルをモデル化するサブステップと、
ソースおよびターゲットサンプルをアライメントするサブステップと、
ソーススペクトル特性の実現を知ることによってターゲットスペクトル特性を実現する条件付き期待値の算出値に基づいて変換関数を判定するサブステップ（この条件付き期待値が推定値を形成している）と、を備え、
この変換関数は、スペクトルエンベロープ変換関数であり、
この方法は、スペクトル関連情報および基本周波数関連情報を供給するべく適合された変換対象の音声信号を分析するステップをさらに備え、
この方法は、変換済みのスペクトル情報と予測基本周波数情報に少なくとも基づいて変換済みの音声信号を形成可能な合成段階をさらに備える。
【００１３】
また、本発明は、ソース発話者によって発音された音声信号を、特性がターゲット発話者のものに類似している変換済みの音声信号に変換するシステムにも関係し、このシステムは、
ソース発話者およびターゲット発話者の音声サンプルを入力として受信し、ソース発話者のスペクトル特性をターゲット発話者のスペクトル特性に変換する関数を判定する手段と、
この手段によって供給される変換関数を適用することにより、変換対象であるソース発話者の音声信号のスペクトル情報を変換する手段と、
を少なくとも備えるシステムであって、
ターゲット発話者の音声サンプルに基づいた分析方法を実現するべく適合され、ターゲット発話者のスペクトル関連情報にのみ従って基本周波数予測関数を判定する手段と、
この予測関数を判定する手段によって判定される予測関数を、スペクトル情報を変換する手段によって供給される変換済みのスペクトル情報に適用することにより、変換対象の音声信号の基本周波数を予測する手段と、
をさらに備えることを特徴とする。
【００１４】
このシステムのその他の特徴によれば、
このシステムは、変換対象の音声信号のスペクトル関連情報および基本周波数関連情報を出力として供給するべく適合された変換対象の音声信号を分析する手段と、
前述の手段によって供給される変換済みのスペクトル情報と前述の手段によって供給される予測基本周波数情報とに少なくとも基づいて変換済みの音声信号を形成可能な合成手段と、を更に備え、
変換関数を判定する手段は、スペクトルエンベロープ変換関数を供給するべく適合されており、これは、上記で定義した音声変換方法を実現するべく適合されている。
【００１５】
純粋に一例として提供されている以下の説明と添付の図面を参照することにより、本発明についてさらに容易に理解することができよう。
【発明を実施するための最良の形態】
【００１６】
図１に示されている本発明による方法は、一連の自然発話を含む音声サンプルのデータベースに基づいて実現される。
【００１７】
この方法は、それぞれのサンプルフレームごとに、スペクトル関連情報（特に、スペクトルエンベロープ関連情報）および基本周波数関連情報を取得するべく、フレームとして１つにグループ化することによってサンプルを分析するステップ２から始まっている。
【００１８】
なお、この説明対象の実施例においては、この分析ステップ２は、一般に「ＨＮＭ（Ｈａｒｍｏｎｉｃ ｐｌｕｓ Ｎｏｉｓｅ Ｍｏｄｅｌ）」と呼ばれるモデルによる高調波信号と雑音信号との合計の形態の音響信号のモデルを使用することに基づいている。
【００１９】
また、この説明対象の実施例は、離散ケプストラムによるスペクトルエンベロープの表現にも基づいている。
【００２０】
実際に、ケプストラム表現によれば、発話信号内において、結果的に得られる声帯の振動に対応しかつ基本周波数によって特徴付けられているソース成分から、声道に関連する成分を分離可能である。
【００２１】
従って、この分析ステップ２は、それぞれの音声信号フレームを、振幅Ａl及び位相φlのＬ個の高調波正弦波の合計から構成された信号の周期的成分を表す高調波部分と摩擦雑音および声門励起変動を表す雑音部分とにモデル化するサブステップ４を備える。
【００２２】
従って、これは、次のように定式化可能である。
【００２３】
【数１】
【００２４】
従って、項ｈ（ｎ）は、信号ｓ（ｎ）の高調波近似を表している。
【００２５】
次いで、このステップ２は、例えば、自己相関法により、それぞれのフレームごとに、周波数パラメータ（特に、基本周波数）を推定するサブステップ５を有している。
【００２６】
従来同様に、このＨＮＭ分析により、最大発声周波数が得られる。なお、変形として、この周波数を任意に定義することも可能であり、あるいは、その他の既知の手段によって推定することも可能である。
【００２７】
このサブステップ５の後には、それぞれのフレームの基本周波数を同期分析し、高調波部分のパラメータと信号雑音のパラメータを推定可能なサブステップ６が続いている。
【００２８】
この説明対象の実施例においては、この同期分析は、完全な信号と（この説明対象の実施例においては推定雑音信号に対応している）その高調波部分との間における加重最小二乗基準の極小化による高調波パラメータの判定に対応しており、Ｅと表記されるこの基準は、次式のとおりである。
【００２９】
【数２】
【００３０】
この式において、ｗ（ｎ）は、分析ウィンドウであり、Ｔiは、現在のフレームの基本周期である。
【００３１】
従って、この分析ウィンドウは、基本周期マーカーを中心としており、その持続時間は、この周期の２倍になっている。
【００３２】
そして、この分析ステップ２は、可能な限り忠実に人間の耳の特性を再現するべく、例えば、正規化離散ケプストラム法（ｒｅｇｕｌａｒｉｚｅｄ ｄｉｓｃｒｅｔｅ ｃｅｐｓｔｒｕｍ ｍｅｔｈｏｄ）およびＢａｒｋ尺度変換（Ｂａｒｋ−ｓｃａｌｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を使用して、信号のスペクトルエンベロープの成分パラメータを推定するサブステップ７を最後に備えている。
【００３３】
従って、この分析ステップ２は、発話信号サンプルの次数ｎのそれぞれのフレームごとに、基本周波数情報を有するスカラー（これは、ｘnと表記される）と、一連のケプストラム係数の形態のスペクトル情報を有するベクトル（これは、ｙnと表記される）とを供給する。
【００３４】
有利なことに、この分析ステップ２の後には、それぞれの音声サンプルフレーム内の基本周波数情報の値を、次の式に従って正規化された基本周波数値によって置換するべく、平均基本周波数との関係において、それぞれのフレームの基本周波数の値を正規化するステップ１０が続いている。
【００３５】
【数３】
【００３６】
尚、この式において、Ｆomoyは、分析対象のデータベース全体における基本周波数値の平均値に対応している。
【００３７】
この正規化により、基本周波数スカラーの変動スケールを変更して、ケプストラム係数の変動スケールと一致させることが可能になる。
【００３８】
そして、この正規化段階１０の後には、分析対象のすべてのサンプルの共通的なケプストラムおよび基本周波数特性を表すモデルを判定するステップ２０が続いている。
【００３９】
この説明対象の実施例には、一般に「ＧＭＭ」と呼ばれるガウス密度混合モデルによる基本周波数および離散ケプストラムの確率モデルが伴っており、このＧＭＭのパラメータを、正規化された基本周波数および離散ケプストラムの同時密度に基づいて推定している。
【００４０】
従来同様に、ガウス密度混合モデルＧＭＭに従って、ｐ（ｚ）と一般的に表記されるランダム変数の確率密度は、数学的に次のように表記される。
【００４１】
【数４】
【００４２】
この式において、Ｎ（ｚ：μi；Σi）は、平均値μiの正規則（Ｎｏｒｍａｌ ｌａｗ）と共分散Σiの確率密度であり、係数αiは、混合の係数である。
【００４３】
従って、係数αiは、ランダム変数ｚが混合のｉ次ガウスによって生成される事前確率に対応している。
【００４４】
さらに詳しくは、このモデルを判定するステップ２０は、ｙとして表記されるケプストラムと、ｘとして表記される正規化された基本周波数の同時密度を次式のようにモデル化するサブステップ２２を備える。
【００４５】
【数５】
【００４６】
これらの式において、ｘ＝［ｘ1，ｘ2，．．．，ｘN］は、Ｎ個の音声サンプルフレームの正規化された基本周波数情報を含む一連のスカラーに対応しており、ｙ＝［ｙ1，ｙ2，．．．，ｙn］は、対応する一連のケプストラム係数ベクトルに対応している。
【００４７】
次いで、このステップ２０は、密度ｐ（ｚ）のＧＭＭパラメータ（α，μ，Σ）を推定するサブステップ２４を備える。この推定は、例えば、発話サンプルデータとガウス混合モデルとの間の最大類似性の推定値を取得可能な反復的方法に対応した「ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）」と呼ばれるタイプの従来のアルゴリズムを使用して実現可能である。
【００４８】
ＧＭＭモデルの初期パラメータの判定は、従来のベクトル量子化法を使用して実行することができる。
【００４９】
従って、このモデル判定ステップ２０は、ケプストラム係数によって表される共通スペクトル特性を表すガウス密度の混合のパラメータと分析済の音声サンプルの基本周波数を供給する。
【００５０】
次いで、この方法は、モデルおよび音声サンプルに基づいて、信号ケプストラムによって供給されるスペクトル情報のみに従って基本周波数予測関数を判定するステップ３０を有している。
【００５１】
この予測関数は、音声サンプルのケプストラムが与えられた場合に、基本周波数を実現する推定値に基づいて判定される。これは、この説明対象の実施例においては、条件付き期待値によって形成されている。
【００５２】
このために、このステップ３０は、ケプストラムによって供給されるスペクトル関連情報を知ることによって基本周波数の条件付きの期待値を判定するサブステップ３２を有している。この条件付き期待値は、Ｆ（ｙ）と表記され、次の式に基づいて判定される。
【００５３】
【数６】
【００５４】
これらの式において、ｐi（ｙ）は、共分散行列Σiと正規則（ｎｏｒｍａｌ ｌａｗ）μiによってステップ２０において定義されたモデルのガウス混合のｉ次成分によってケプストラムベクトルｙが生成される事後確率に対応している。
【００５５】
従って、この条件付き期待値の判定により、ケプストラム情報から基本周波数予測関数を取得可能である。
【００５６】
なお、変形として、このステップ３０において実現される推定値は、「ＭＡＰ」と呼ばれる事後最大基準であってもよく、これは、ソースベクトルを最も良好に表すモデルのみの期待値計算の実現に対応している。
【００５７】
従って、本発明による分析方法により、（この説明対象の実施例においては、ケプストラムによって供給される）スペクトル情報のみに従い、モデルと音声サンプルとに基づいて基本周波数予測関数を取得可能であることが明らかである。
【００５８】
次いで、このタイプの予測関数により、この信号のスペクトル情報のみに基づいて、発話信号の基本周波数の値を判定可能であり、これにより、特に、分析済の音声サンプル内に存在しない音の基本周波数を適切に予測することができる。
【００５９】
次に、図２を参照し、音声変換の文脈において、本発明によるこの分析方法の使用法について説明することとする。
【００６０】
音声変換は、生成された信号が、「ターゲット発話者」と呼ばれる別の発話者が発音したものとして聞こえるように、「ソース発話者」と呼ばれる基準発話者の音声信号を変換するステップを有している。
【００６１】
そして、この方法は、ソース発話者およびターゲット発話者によって発音された音声サンプルのデータベースを使用して実現される。
【００６２】
従来同様に、このタイプの方法は、ソース発話者の音声サンプルのスペクトル特性がターゲット発話者のものに類似するようにするソース発話者の音声サンプルのスペクトル特性の変換関数を判定するステップ５０を備える。
【００６３】
この説明対象の実施例においては、このステップ５０は、ソース発話者およびターゲット発話者の音声信号のスペクトルエンベロープの特性間の関係を判定可能なＨＮＭ分析法に基づいている。
【００６４】
このためには、同一の音声シーケンスを音響的に実現するソースおよびターゲットの音声録音が必要である。
【００６５】
このステップ５０は、高調波および雑音信号のＨＮＭ合計モデルに従って音声サンプルをモデル化するサブステップ５２を有している。
【００６６】
そして、このサブステップ５２の後には、例えば、「ＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）」と呼ばれる従来のアライメントアルゴリズムを使用してソースおよびターゲット信号をアライメント可能なサブステップ５４が続いている。
【００６７】
次いで、このステップ５０は、ソース発話者およびターゲット発話者の音声サンプルスペクトルの共通的特性を表すＧＭＭモデルなどのモデルを判定するサブステップ５６を備える。
【００６８】
なお、この説明対象の実施例においては、「ｓ」と表記されているソーススペクトルパラメータを知ることにによって、「ｔ」と表記されているターゲットスペクトルパラメータを実現する推定値に対応したスペクトル変換関数を定義できるように、ソースおよびターゲットの６４個の成分とケプストラムパラメータを含む単一のベクトルとを有するＧＭＭモデルを使用している。
【００６９】
この説明対象の実施例においては、Ｆ（ｓ）と表記されるこの変換関数は、次式によって得られる条件付き期待値の形態で表記される。
【００７０】
【数７】
【００７１】
この関数の正確な判定は、ＥＭアルゴリズムによって得られるソースおよびターゲットのパラメータ間における類似性の極大化によって実行可能である。
【００７２】
なお、変形として、推定値は、事後最大基準から形成することも可能である。
【００７３】
従って、このように定義された関数により、ターゲット発話者のスペクトルエンベロープに類似するようにソース発話者からの発話信号のスペクトルエンベロープを変更することができる。
【００７４】
この極大化の前に、ソースおよびターゲットの共通スペクトル特性を表すＧＭＭモデルのパラメータを、例えば、ベクトル量子化アルゴリズムを使用して初期化する。
【００７５】
そして、これと並行し、本発明による分析方法においては、ターゲット発話者の音声サンプルのみを分析するステップ６０を実行している。
【００７６】
図１を参照して説明したように、本発明によるこの分析ステップ６０により、スペクトル情報のみに基づいて、ターゲット発話者の基本周波数予測関数を取得することが可能である。
【００７７】
次いで、この変換方法は、ソース発話者が発音した変換対象の音声信号を分析するステップ６５を備えており、この変換対象の信号は、ステップ５０およびステップ６０において使用された音声信号とは異なっている。
【００７８】
この分析ステップ６５は、例えば、ケプストラム係数、基本周波数情報、ならびに最大周波数および位相発声情報の形態のスペクトル情報を提供可能なＨＮＭモデルによるブレークダウンを使用して実行される。
【００７９】
そして、このステップ６５の後には、ステップ５０において判定された変換関数を、ステップ６５において定義されたケプストラム係数に対して適用することにより、変換対象の音声信号のスペクトル特性を変換するステップ７０が続いている。
【００８０】
このステップ７０においては、特に、変換対象の音声信号のスペクトルエンベロープを変更する。
【００８１】
従って、このステップ７０の終了時点においては、変換対象であるソース発話者の信号サンプルのそれぞれのフレームが、特性がターゲット発話者のサンプルのスペクトル特性に類似している変換済みのスペクトル情報に関連付けられている。
【００８２】
次いで、この変換方法は、段階６０において本発明による方法を使用して判定された予測関数を、変換対象のソース発話者の音声信号と関連付けられている変換済みのスペクトル情報にのみ適用することにより、ソース発話者の音声サンプルの基本周波数を予測するステップ８０を備える。
【００８３】
実際に、ソース発話者の音声サンプルが、特性がターゲット発話者のものに類似している変換済みのスペクトル情報に関連付けられているため、ステップ６０において定義された予測関数により、基本周波数を適切に予測可能である。
【００８４】
次いで、従来同様に、この変換方法は、出力信号合成ステップ９０を備えており、このステップは、この説明対象の実施例においては、ステップ７０において供給される変換済みのスペクトルエンベロープ情報、ステップ８０において生成される予測基本周波数情報、ならびにステップ６５において供給される最大周波数および位相発声情報、に基づいて変換された音声信号を直接供給するＨＮＭ合成によって実現される。
【００８５】
従って、本発明による分析方法を実装した変換方法によれば、高品質の聴覚レンダリングが得られるようにスペクトルの変更および基本周波数の予測を実行する音声変換を得ることができる。
【００８６】
特に、このタイプの方法の有効性は、ソース発話者およびターゲット発話者が発音した同一の音声サンプルに基づいて評価することができる。
【００８７】
ソース発話者が発音した音声信号を前述の方法を使用して変換し、この変換済みの信号とターゲット発話者が発音した信号と間の類似性を評価するのである。
【００８８】
例えば、この類似性は、変換済みの信号をターゲット信号から離隔させている音響的距離と、ターゲット信号をソース信号から離隔させている音響的距離と間の比率の形態で算出する。
【００８９】
なお、このケプストラム係数またはこれらのケプストラム係数を使用して得られる信号振幅スペクトルに基づいた音響的距離の算出において、本発明による方法を使用して変換された信号において得られる比率は、０．３〜０．５のレベルである。
【００９０】
図３は、図２を参照して説明した方法を実現する音声変換システムの機能ブロック図を示している。
【００９１】
このシステムは、ソース発話者が発音した音声サンプルのデータベース１００と、ターゲット発話者が発音した少なくとも同一の音声サンプルを含むデータベース１０２とを入力として使用している。
【００９２】
これら２つのデータベースは、ソース発話者のスペクトル特性をターゲット発話者のスペクトル特性に変換するための関数を判定するモジュール１０４によって使用される。
【００９３】
このモジュール１０４は、図２を参照して説明した方法のステップ５０を実現するべく適合されており、従って、スペクトルエンベロープ変換関数を判定可能である。
【００９４】
また、このシステムは、スペクトル関連情報のみに従って基本周波数予測関数を判定するモジュール１０６を有している。これを実行するべく、このモジュール１０６は、データベース１０２内に含まれているターゲット発話者の音声サンプルのみを入力として受信する。
【００９５】
このモジュール１０６は、図１を参照して説明した本発明による分析方法に対応する図２を参照して説明した方法のステップ６０を実現するべく適合されている。
【００９６】
なお、モジュール１０４によって供給される変換関数と、モジュール１０６によって供給される予測関数は、後続の使用の観点から、保存しておくのが有利である。
【００９７】
この音声変換システムは、ソース発話者が発音した変換を意図する発話信号に対応する信号１１０を入力として受信する。
【００９８】
この信号１１０は、信号分析モジュール１１２内に導入されるが、このモジュールは、例えば、ＨＮＭブレークダウンを実行し、ケプストラム係数および基本周波数情報の形態で、信号１１０のスペクトル情報を分離することができる。また、このモジュール１１２は、ＨＮＭモデルを適用することによって得られる最大周波数および位相発声情報をも供給する。
【００９９】
従って、このモジュール１１２は、前述の方法のステップ６５を実現している。
【０１００】
この分析は、恐らく、事前に実行可能であり、この情報は、後で使用するべく保存される。
【０１０１】
次いで、このモジュール１１２が供給するケプストラム係数は、変換モジュール１１４内に導入されるが、このモジュールは、モジュール１０４が判定した変換関数を適用するべく適合されている。
【０１０２】
従って、この変換モジュール１１４は、図２を参照して説明した方法のステップ７０を実装しており、特性がターゲット発話者のスペクトル特性に類似している変換済みのケプストラム係数を供給する。
【０１０３】
従って、このモジュール１１４は、音声信号１１０のスペクトルエンベロープの変更を実行する。
【０１０４】
次いで、このモジュール１１４が供給する変換済みのケプストラム係数は、基本周波数予測モジュール１１６内に導入されるが、このモジュールは、モジュール１０６が判定した予測関数を実行するべく適合されている。
【０１０５】
従って、このモジュール１１６は、図２を参照して説明した方法のステップ８０を実装しており、変換済みのスペクトル情報にのみ基づいて予測された基本周波数情報を出力として供給する。
【０１０６】
次いで、このシステムは、モジュール１１４から到来したスペクトルエンベロープに対応している変換済みのケプストラム係数、モジュール１１６から到来した予測基本周波数情報、ならびにモジュール１１２が供給する最大周波数および位相発声情報を入力として受信する合成モジュール１１８を備える。
【０１０７】
従って、このモジュール１１８は、図２を参照して説明した方法のステップ９０を実現しており、スペクトルおよび基本周波数特性がターゲット発話者のものに類似するように変更されていることを除き、ソース発話者の音声信号１１０に対応した信号１２０を供給する。
【０１０８】
なお、この説明対象のシステムは、特に、音響取得ハードウェア手段に接続された好適なコンピュータプログラムを使用することにより、様々な方法で実装可能である。
【０１０９】
当然のことながら、この説明した実施例以外の実施例も考えられる。
【０１１０】
具体的には、ＨＮＭ及びＧＭＭモデルを、例えば、ＬＳＦ（Ｌｉｎｅ Ｓｐｅｃｔｒａｌ Ｆｒｅｑｕｅｎｃｉｅｓ）もしくはＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ）法、あるいはフォルマント関連パラメータなどの当業者に周知のその他の技法およびモデルによって置換可能である。
【図面の簡単な説明】
【０１１１】
【図１】本発明による分析方法のフローチャートである。
【図２】本発明による分析方法を実現する音声変換方法のフローチャートである。
【図３】図２に示されている本発明による方法を実現可能な音声変換システムの機能ブロック図である。
【技術分野】
【０００１】
本発明は、音声サンプル内に含まれている基本周波数情報を分析する方法、ならびに、この分析方法を実装した音声変換方法およびシステムに関する。
【背景技術】
【０００２】
生成しようとする音の特性に応じて、発話、特に、発声音の生成には、基本周期（この逆数を基本周波数又はピッチと呼ぶ）を有する発話信号内の周期的構造の存在を通じて表れる声帯の振動が伴っている。
【０００３】
音声変換などの特定のアプリケーションにおいては、聴覚レンダリングが極めて大きな重要性を有しており、満足できる品質を得るには、基本周波数を含む韻律にリンクしたパラメータを効果的に制御することが必要である。
【０００４】
このため、音声サンプル内に含まれている基本周波数情報を分析する方法として、現在、多数のものが存在している。
【０００５】
これらの分析法によれば、基本周波数特性を判定しモデル化することが可能である。例えば、音声サンプルのデータベース全体にわたって基本周波数のスロープや振幅スケールを判定可能な方法が存在している。
【０００６】
このようなパラメータを知ることにより、例えば、ターゲット発話者の基本周波数の平均値および変動に対して全体的に留意した方式で、ソース発話者とターゲット発話者と間において基本周波数をスケーリングすることにより、発話信号を変更可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、これらの分析法によって得られるのは、パラメータを定義可能な基本周波数の表現ではなく、概略的な表現のみであり、従って、これらは、特に、発話スタイルが異なる発話者に関しては、適切なものではない。
【０００８】
本発明の目的は、音声サンプルの基本周波数情報を分析する方法を定義し、パラメータを定義可能な基本周波数の表現を定義できるようにすることにより、この問題を克服することにある。
【課題を解決するための手段】
【０００９】
この目的を実現するべく、本発明の主題は、音声サンプル内に含まれている基本周波数情報を分析する分析方法であり、この分析方法は、
それぞれのサンプルフレームごとに、スペクトル関連情報および基本周波数関連情報を取得するべくフレームとして１つにグループ化された音声サンプルを分析するステップと、
すべてのサンプルのスペクトルおよび基本周波数の共通特性を表すモデルを判定するステップと、
このモデルおよび音声サンプルに基づいて、スペクトル関連情報のみに従って基本周波数予測関数を判定するステップと、
を少なくとも備えることを特徴としている。
【００１０】
この分析方法の更なる特徴によれば、
前述の音声サンプルを分析するステップは、スペクトル関連情報をケプストラム係数の形態で供給するべく適合されており、
この分析ステップは、高調波信号と雑音信号との合計に従って音声サンプルをモデル化するサブステップと、
音声サンプルの周波数パラメータおよび少なくとも基本周波数を推定するサブステップと、
それぞれのサンプルフレームの基本周波数を同期分析するサブステップと、
各サンプルフレームのスペクトルパラメータを推定するサブステップと、
を備え、
かつ、この分析方法は、分析対象のサンプルの基本周波数の平均値との関係において、それぞれのサンプルフレームの基本周波数を正規化する段階をさらに備え、
モデルを判定するステップは、ガウス密度の混合によるモデルの判定に対応しており、
このモデルを判定するステップは、
ガウス密度の混合に対応するモデルを判定するサブステップと、
サンプルおよびモデルのスペクトル情報とサンプルおよびモデルの基本周波数情報との間における最大類似性の推定に基づいて、ガウス密度の混合のパラメータを推定するサブステップと、
を備え、
予測関数を判定するステップは、サンプルのスペクトル情報を知ることによって基本周波数を実現する推定値に基づいて実現されており、
基本周波数予測関数を判定するステップは、モデルに基づいてスペクトル情報が得られる事後確率に基づいて、スペクトル情報を知ることによって基本周波数を実現する条件付きの期待値を判定するサブステップを備えており、この条件付きの期待値が推定値を形成している。
【００１１】
また、本発明は、ソース発話者によって発音された音声信号を、特性がターゲット発話者の特性に類似している変換済みの音声信号に変換する方法にも関し、この方法は、
ソース発話者およびターゲット発話者の音声サンプルに基づいて実現され、ソース発話者のスペクトル特性をターゲット発話者のスペクトル特性に変換する関数を判定するステップと、
この変換関数を使用して、変換対象のソース発話者の音声信号のスペクトル情報を変換するステップと、
を少なくとも備える方法であって、
ターゲット発話者のスペクトル関連情報にのみ従って基本周波数予測関数を判定するステップ（この予測関数は、上記で定義した分析方法を使用して得られるものである）と、
この基本周波数予測関数をソース発話者の音声信号の変換済みのスペクトル情報に適用することにより、変換対象の音声信号の基本周波数を予測するステップと、
をさらに備えることを特徴とする。
【００１２】
この変換方法のその他の特性によれば、
変換関数を判定するステップは、ソーススペクトル特性を知ることによってターゲットスペクトル特性を実現する推定値に基づいて実現されており、
この変換関数を判定するステップは、
高調波信号と雑音信号の合計モデルに従ってソースおよびターゲット音声サンプルをモデル化するサブステップと、
ソースおよびターゲットサンプルをアライメントするサブステップと、
ソーススペクトル特性の実現を知ることによってターゲットスペクトル特性を実現する条件付き期待値の算出値に基づいて変換関数を判定するサブステップ（この条件付き期待値が推定値を形成している）と、を備え、
この変換関数は、スペクトルエンベロープ変換関数であり、
この方法は、スペクトル関連情報および基本周波数関連情報を供給するべく適合された変換対象の音声信号を分析するステップをさらに備え、
この方法は、変換済みのスペクトル情報と予測基本周波数情報に少なくとも基づいて変換済みの音声信号を形成可能な合成段階をさらに備える。
【００１３】
また、本発明は、ソース発話者によって発音された音声信号を、特性がターゲット発話者のものに類似している変換済みの音声信号に変換するシステムにも関係し、このシステムは、
ソース発話者およびターゲット発話者の音声サンプルを入力として受信し、ソース発話者のスペクトル特性をターゲット発話者のスペクトル特性に変換する関数を判定する手段と、
この手段によって供給される変換関数を適用することにより、変換対象であるソース発話者の音声信号のスペクトル情報を変換する手段と、
を少なくとも備えるシステムであって、
ターゲット発話者の音声サンプルに基づいた分析方法を実現するべく適合され、ターゲット発話者のスペクトル関連情報にのみ従って基本周波数予測関数を判定する手段と、
この予測関数を判定する手段によって判定される予測関数を、スペクトル情報を変換する手段によって供給される変換済みのスペクトル情報に適用することにより、変換対象の音声信号の基本周波数を予測する手段と、
をさらに備えることを特徴とする。
【００１４】
このシステムのその他の特徴によれば、
このシステムは、変換対象の音声信号のスペクトル関連情報および基本周波数関連情報を出力として供給するべく適合された変換対象の音声信号を分析する手段と、
前述の手段によって供給される変換済みのスペクトル情報と前述の手段によって供給される予測基本周波数情報とに少なくとも基づいて変換済みの音声信号を形成可能な合成手段と、を更に備え、
変換関数を判定する手段は、スペクトルエンベロープ変換関数を供給するべく適合されており、これは、上記で定義した音声変換方法を実現するべく適合されている。
【００１５】
純粋に一例として提供されている以下の説明と添付の図面を参照することにより、本発明についてさらに容易に理解することができよう。
【発明を実施するための最良の形態】
【００１６】
図１に示されている本発明による方法は、一連の自然発話を含む音声サンプルのデータベースに基づいて実現される。
【００１７】
この方法は、それぞれのサンプルフレームごとに、スペクトル関連情報（特に、スペクトルエンベロープ関連情報）および基本周波数関連情報を取得するべく、フレームとして１つにグループ化することによってサンプルを分析するステップ２から始まっている。
【００１８】
なお、この説明対象の実施例においては、この分析ステップ２は、一般に「ＨＮＭ（Ｈａｒｍｏｎｉｃ ｐｌｕｓ Ｎｏｉｓｅ Ｍｏｄｅｌ）」と呼ばれるモデルによる高調波信号と雑音信号との合計の形態の音響信号のモデルを使用することに基づいている。
【００１９】
また、この説明対象の実施例は、離散ケプストラムによるスペクトルエンベロープの表現にも基づいている。
【００２０】
実際に、ケプストラム表現によれば、発話信号内において、結果的に得られる声帯の振動に対応しかつ基本周波数によって特徴付けられているソース成分から、声道に関連する成分を分離可能である。
【００２１】
従って、この分析ステップ２は、それぞれの音声信号フレームを、振幅Ａl及び位相φlのＬ個の高調波正弦波の合計から構成された信号の周期的成分を表す高調波部分と摩擦雑音および声門励起変動を表す雑音部分とにモデル化するサブステップ４を備える。
【００２２】
従って、これは、次のように定式化可能である。
【００２３】
【数１】
【００２４】
従って、項ｈ（ｎ）は、信号ｓ（ｎ）の高調波近似を表している。
【００２５】
次いで、このステップ２は、例えば、自己相関法により、それぞれのフレームごとに、周波数パラメータ（特に、基本周波数）を推定するサブステップ５を有している。
【００２６】
従来同様に、このＨＮＭ分析により、最大発声周波数が得られる。なお、変形として、この周波数を任意に定義することも可能であり、あるいは、その他の既知の手段によって推定することも可能である。
【００２７】
このサブステップ５の後には、それぞれのフレームの基本周波数を同期分析し、高調波部分のパラメータと信号雑音のパラメータを推定可能なサブステップ６が続いている。
【００２８】
この説明対象の実施例においては、この同期分析は、完全な信号と（この説明対象の実施例においては推定雑音信号に対応している）その高調波部分との間における加重最小二乗基準の極小化による高調波パラメータの判定に対応しており、Ｅと表記されるこの基準は、次式のとおりである。
【００２９】
【数２】
【００３０】
この式において、ｗ（ｎ）は、分析ウィンドウであり、Ｔiは、現在のフレームの基本周期である。
【００３１】
従って、この分析ウィンドウは、基本周期マーカーを中心としており、その持続時間は、この周期の２倍になっている。
【００３２】
そして、この分析ステップ２は、可能な限り忠実に人間の耳の特性を再現するべく、例えば、正規化離散ケプストラム法（ｒｅｇｕｌａｒｉｚｅｄ ｄｉｓｃｒｅｔｅ ｃｅｐｓｔｒｕｍ ｍｅｔｈｏｄ）およびＢａｒｋ尺度変換（Ｂａｒｋ−ｓｃａｌｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を使用して、信号のスペクトルエンベロープの成分パラメータを推定するサブステップ７を最後に備えている。
【００３３】
従って、この分析ステップ２は、発話信号サンプルの次数ｎのそれぞれのフレームごとに、基本周波数情報を有するスカラー（これは、ｘnと表記される）と、一連のケプストラム係数の形態のスペクトル情報を有するベクトル（これは、ｙnと表記される）とを供給する。
【００３４】
有利なことに、この分析ステップ２の後には、それぞれの音声サンプルフレーム内の基本周波数情報の値を、次の式に従って正規化された基本周波数値によって置換するべく、平均基本周波数との関係において、それぞれのフレームの基本周波数の値を正規化するステップ１０が続いている。
【００３５】
【数３】
【００３６】
尚、この式において、Ｆomoyは、分析対象のデータベース全体における基本周波数値の平均値に対応している。
【００３７】
この正規化により、基本周波数スカラーの変動スケールを変更して、ケプストラム係数の変動スケールと一致させることが可能になる。
【００３８】
そして、この正規化段階１０の後には、分析対象のすべてのサンプルの共通的なケプストラムおよび基本周波数特性を表すモデルを判定するステップ２０が続いている。
【００３９】
この説明対象の実施例には、一般に「ＧＭＭ」と呼ばれるガウス密度混合モデルによる基本周波数および離散ケプストラムの確率モデルが伴っており、このＧＭＭのパラメータを、正規化された基本周波数および離散ケプストラムの同時密度に基づいて推定している。
【００４０】
従来同様に、ガウス密度混合モデルＧＭＭに従って、ｐ（ｚ）と一般的に表記されるランダム変数の確率密度は、数学的に次のように表記される。
【００４１】
【数４】
【００４２】
この式において、Ｎ（ｚ：μi；Σi）は、平均値μiの正規則（Ｎｏｒｍａｌ ｌａｗ）と共分散Σiの確率密度であり、係数αiは、混合の係数である。
【００４３】
従って、係数αiは、ランダム変数ｚが混合のｉ次ガウスによって生成される事前確率に対応している。
【００４４】
さらに詳しくは、このモデルを判定するステップ２０は、ｙとして表記されるケプストラムと、ｘとして表記される正規化された基本周波数の同時密度を次式のようにモデル化するサブステップ２２を備える。
【００４５】
【数５】
【００４６】
これらの式において、ｘ＝［ｘ1，ｘ2，．．．，ｘN］は、Ｎ個の音声サンプルフレームの正規化された基本周波数情報を含む一連のスカラーに対応しており、ｙ＝［ｙ1，ｙ2，．．．，ｙn］は、対応する一連のケプストラム係数ベクトルに対応している。
【００４７】
次いで、このステップ２０は、密度ｐ（ｚ）のＧＭＭパラメータ（α，μ，Σ）を推定するサブステップ２４を備える。この推定は、例えば、発話サンプルデータとガウス混合モデルとの間の最大類似性の推定値を取得可能な反復的方法に対応した「ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）」と呼ばれるタイプの従来のアルゴリズムを使用して実現可能である。
【００４８】
ＧＭＭモデルの初期パラメータの判定は、従来のベクトル量子化法を使用して実行することができる。
【００４９】
従って、このモデル判定ステップ２０は、ケプストラム係数によって表される共通スペクトル特性を表すガウス密度の混合のパラメータと分析済の音声サンプルの基本周波数を供給する。
【００５０】
次いで、この方法は、モデルおよび音声サンプルに基づいて、信号ケプストラムによって供給されるスペクトル情報のみに従って基本周波数予測関数を判定するステップ３０を有している。
【００５１】
この予測関数は、音声サンプルのケプストラムが与えられた場合に、基本周波数を実現する推定値に基づいて判定される。これは、この説明対象の実施例においては、条件付き期待値によって形成されている。
【００５２】
このために、このステップ３０は、ケプストラムによって供給されるスペクトル関連情報を知ることによって基本周波数の条件付きの期待値を判定するサブステップ３２を有している。この条件付き期待値は、Ｆ（ｙ）と表記され、次の式に基づいて判定される。
【００５３】
【数６】
【００５４】
これらの式において、ｐi（ｙ）は、共分散行列Σiと正規則（ｎｏｒｍａｌ ｌａｗ）μiによってステップ２０において定義されたモデルのガウス混合のｉ次成分によってケプストラムベクトルｙが生成される事後確率に対応している。
【００５５】
従って、この条件付き期待値の判定により、ケプストラム情報から基本周波数予測関数を取得可能である。
【００５６】
なお、変形として、このステップ３０において実現される推定値は、「ＭＡＰ」と呼ばれる事後最大基準であってもよく、これは、ソースベクトルを最も良好に表すモデルのみの期待値計算の実現に対応している。
【００５７】
従って、本発明による分析方法により、（この説明対象の実施例においては、ケプストラムによって供給される）スペクトル情報のみに従い、モデルと音声サンプルとに基づいて基本周波数予測関数を取得可能であることが明らかである。
【００５８】
次いで、このタイプの予測関数により、この信号のスペクトル情報のみに基づいて、発話信号の基本周波数の値を判定可能であり、これにより、特に、分析済の音声サンプル内に存在しない音の基本周波数を適切に予測することができる。
【００５９】
次に、図２を参照し、音声変換の文脈において、本発明によるこの分析方法の使用法について説明することとする。
【００６０】
音声変換は、生成された信号が、「ターゲット発話者」と呼ばれる別の発話者が発音したものとして聞こえるように、「ソース発話者」と呼ばれる基準発話者の音声信号を変換するステップを有している。
【００６１】
そして、この方法は、ソース発話者およびターゲット発話者によって発音された音声サンプルのデータベースを使用して実現される。
【００６２】
従来同様に、このタイプの方法は、ソース発話者の音声サンプルのスペクトル特性がターゲット発話者のものに類似するようにするソース発話者の音声サンプルのスペクトル特性の変換関数を判定するステップ５０を備える。
【００６３】
この説明対象の実施例においては、このステップ５０は、ソース発話者およびターゲット発話者の音声信号のスペクトルエンベロープの特性間の関係を判定可能なＨＮＭ分析法に基づいている。
【００６４】
このためには、同一の音声シーケンスを音響的に実現するソースおよびターゲットの音声録音が必要である。
【００６５】
このステップ５０は、高調波および雑音信号のＨＮＭ合計モデルに従って音声サンプルをモデル化するサブステップ５２を有している。
【００６６】
そして、このサブステップ５２の後には、例えば、「ＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）」と呼ばれる従来のアライメントアルゴリズムを使用してソースおよびターゲット信号をアライメント可能なサブステップ５４が続いている。
【００６７】
次いで、このステップ５０は、ソース発話者およびターゲット発話者の音声サンプルスペクトルの共通的特性を表すＧＭＭモデルなどのモデルを判定するサブステップ５６を備える。
【００６８】
なお、この説明対象の実施例においては、「ｓ」と表記されているソーススペクトルパラメータを知ることにによって、「ｔ」と表記されているターゲットスペクトルパラメータを実現する推定値に対応したスペクトル変換関数を定義できるように、ソースおよびターゲットの６４個の成分とケプストラムパラメータを含む単一のベクトルとを有するＧＭＭモデルを使用している。
【００６９】
この説明対象の実施例においては、Ｆ（ｓ）と表記されるこの変換関数は、次式によって得られる条件付き期待値の形態で表記される。
【００７０】
【数７】
【００７１】
この関数の正確な判定は、ＥＭアルゴリズムによって得られるソースおよびターゲットのパラメータ間における類似性の極大化によって実行可能である。
【００７２】
なお、変形として、推定値は、事後最大基準から形成することも可能である。
【００７３】
従って、このように定義された関数により、ターゲット発話者のスペクトルエンベロープに類似するようにソース発話者からの発話信号のスペクトルエンベロープを変更することができる。
【００７４】
この極大化の前に、ソースおよびターゲットの共通スペクトル特性を表すＧＭＭモデルのパラメータを、例えば、ベクトル量子化アルゴリズムを使用して初期化する。
【００７５】
そして、これと並行し、本発明による分析方法においては、ターゲット発話者の音声サンプルのみを分析するステップ６０を実行している。
【００７６】
図１を参照して説明したように、本発明によるこの分析ステップ６０により、スペクトル情報のみに基づいて、ターゲット発話者の基本周波数予測関数を取得することが可能である。
【００７７】
次いで、この変換方法は、ソース発話者が発音した変換対象の音声信号を分析するステップ６５を備えており、この変換対象の信号は、ステップ５０およびステップ６０において使用された音声信号とは異なっている。
【００７８】
この分析ステップ６５は、例えば、ケプストラム係数、基本周波数情報、ならびに最大周波数および位相発声情報の形態のスペクトル情報を提供可能なＨＮＭモデルによるブレークダウンを使用して実行される。
【００７９】
そして、このステップ６５の後には、ステップ５０において判定された変換関数を、ステップ６５において定義されたケプストラム係数に対して適用することにより、変換対象の音声信号のスペクトル特性を変換するステップ７０が続いている。
【００８０】
このステップ７０においては、特に、変換対象の音声信号のスペクトルエンベロープを変更する。
【００８１】
従って、このステップ７０の終了時点においては、変換対象であるソース発話者の信号サンプルのそれぞれのフレームが、特性がターゲット発話者のサンプルのスペクトル特性に類似している変換済みのスペクトル情報に関連付けられている。
【００８２】
次いで、この変換方法は、段階６０において本発明による方法を使用して判定された予測関数を、変換対象のソース発話者の音声信号と関連付けられている変換済みのスペクトル情報にのみ適用することにより、ソース発話者の音声サンプルの基本周波数を予測するステップ８０を備える。
【００８３】
実際に、ソース発話者の音声サンプルが、特性がターゲット発話者のものに類似している変換済みのスペクトル情報に関連付けられているため、ステップ６０において定義された予測関数により、基本周波数を適切に予測可能である。
【００８４】
次いで、従来同様に、この変換方法は、出力信号合成ステップ９０を備えており、このステップは、この説明対象の実施例においては、ステップ７０において供給される変換済みのスペクトルエンベロープ情報、ステップ８０において生成される予測基本周波数情報、ならびにステップ６５において供給される最大周波数および位相発声情報、に基づいて変換された音声信号を直接供給するＨＮＭ合成によって実現される。
【００８５】
従って、本発明による分析方法を実装した変換方法によれば、高品質の聴覚レンダリングが得られるようにスペクトルの変更および基本周波数の予測を実行する音声変換を得ることができる。
【００８６】
特に、このタイプの方法の有効性は、ソース発話者およびターゲット発話者が発音した同一の音声サンプルに基づいて評価することができる。
【００８７】
ソース発話者が発音した音声信号を前述の方法を使用して変換し、この変換済みの信号とターゲット発話者が発音した信号と間の類似性を評価するのである。
【００８８】
例えば、この類似性は、変換済みの信号をターゲット信号から離隔させている音響的距離と、ターゲット信号をソース信号から離隔させている音響的距離と間の比率の形態で算出する。
【００８９】
なお、このケプストラム係数またはこれらのケプストラム係数を使用して得られる信号振幅スペクトルに基づいた音響的距離の算出において、本発明による方法を使用して変換された信号において得られる比率は、０．３〜０．５のレベルである。
【００９０】
図３は、図２を参照して説明した方法を実現する音声変換システムの機能ブロック図を示している。
【００９１】
このシステムは、ソース発話者が発音した音声サンプルのデータベース１００と、ターゲット発話者が発音した少なくとも同一の音声サンプルを含むデータベース１０２とを入力として使用している。
【００９２】
これら２つのデータベースは、ソース発話者のスペクトル特性をターゲット発話者のスペクトル特性に変換するための関数を判定するモジュール１０４によって使用される。
【００９３】
このモジュール１０４は、図２を参照して説明した方法のステップ５０を実現するべく適合されており、従って、スペクトルエンベロープ変換関数を判定可能である。
【００９４】
また、このシステムは、スペクトル関連情報のみに従って基本周波数予測関数を判定するモジュール１０６を有している。これを実行するべく、このモジュール１０６は、データベース１０２内に含まれているターゲット発話者の音声サンプルのみを入力として受信する。
【００９５】
このモジュール１０６は、図１を参照して説明した本発明による分析方法に対応する図２を参照して説明した方法のステップ６０を実現するべく適合されている。
【００９６】
なお、モジュール１０４によって供給される変換関数と、モジュール１０６によって供給される予測関数は、後続の使用の観点から、保存しておくのが有利である。
【００９７】
この音声変換システムは、ソース発話者が発音した変換を意図する発話信号に対応する信号１１０を入力として受信する。
【００９８】
この信号１１０は、信号分析モジュール１１２内に導入されるが、このモジュールは、例えば、ＨＮＭブレークダウンを実行し、ケプストラム係数および基本周波数情報の形態で、信号１１０のスペクトル情報を分離することができる。また、このモジュール１１２は、ＨＮＭモデルを適用することによって得られる最大周波数および位相発声情報をも供給する。
【００９９】
従って、このモジュール１１２は、前述の方法のステップ６５を実現している。
【０１００】
この分析は、恐らく、事前に実行可能であり、この情報は、後で使用するべく保存される。
【０１０１】
次いで、このモジュール１１２が供給するケプストラム係数は、変換モジュール１１４内に導入されるが、このモジュールは、モジュール１０４が判定した変換関数を適用するべく適合されている。
【０１０２】
従って、この変換モジュール１１４は、図２を参照して説明した方法のステップ７０を実装しており、特性がターゲット発話者のスペクトル特性に類似している変換済みのケプストラム係数を供給する。
【０１０３】
従って、このモジュール１１４は、音声信号１１０のスペクトルエンベロープの変更を実行する。
【０１０４】
次いで、このモジュール１１４が供給する変換済みのケプストラム係数は、基本周波数予測モジュール１１６内に導入されるが、このモジュールは、モジュール１０６が判定した予測関数を実行するべく適合されている。
【０１０５】
従って、このモジュール１１６は、図２を参照して説明した方法のステップ８０を実装しており、変換済みのスペクトル情報にのみ基づいて予測された基本周波数情報を出力として供給する。
【０１０６】
次いで、このシステムは、モジュール１１４から到来したスペクトルエンベロープに対応している変換済みのケプストラム係数、モジュール１１６から到来した予測基本周波数情報、ならびにモジュール１１２が供給する最大周波数および位相発声情報を入力として受信する合成モジュール１１８を備える。
【０１０７】
従って、このモジュール１１８は、図２を参照して説明した方法のステップ９０を実現しており、スペクトルおよび基本周波数特性がターゲット発話者のものに類似するように変更されていることを除き、ソース発話者の音声信号１１０に対応した信号１２０を供給する。
【０１０８】
なお、この説明対象のシステムは、特に、音響取得ハードウェア手段に接続された好適なコンピュータプログラムを使用することにより、様々な方法で実装可能である。
【０１０９】
当然のことながら、この説明した実施例以外の実施例も考えられる。
【０１１０】
具体的には、ＨＮＭ及びＧＭＭモデルを、例えば、ＬＳＦ（Ｌｉｎｅ Ｓｐｅｃｔｒａｌ Ｆｒｅｑｕｅｎｃｉｅｓ）もしくはＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ）法、あるいはフォルマント関連パラメータなどの当業者に周知のその他の技法およびモデルによって置換可能である。
【図面の簡単な説明】
【０１１１】
【図１】本発明による分析方法のフローチャートである。
【図２】本発明による分析方法を実現する音声変換方法のフローチャートである。
【図３】図２に示されている本発明による方法を実現可能な音声変換システムの機能ブロック図である。
【特許請求の範囲】
【請求項１】
音声サンプル内に含まれている基本周波数情報を分析する分析方法であって、
それぞれのサンプルフレームごとに、スペクトル関連情報および前記基本周波数関連情報を取得するべく、フレームとして１つにグループ化された前記音声サンプルを分析するステップ（２）と、
すべてのサンプルのスペクトルおよび基本周波数の共通特性を表すモデルを判定するステップ（２０）と、
前記モデルおよび音声サンプルに基づいて、スペクトル関連情報にのみ従って基本周波数予測関数を判定するステップ（３０）と、
を少なくとも備えることを特徴とする分析方法。
【請求項２】
前記音声サンプルを分析するステップ（２）は、ケプストラム係数の形態で前記スペクトル関連情報を提供するべく適合されていることを特徴とする請求項１に記載の分析方法。
【請求項３】
前記音声サンプル分析するステップ（２）は、
高調波および雑音信号の合計に従って音声サンプルをモデル化するサブステップ（４）と、
前記音声サンプルの周波数パラメータおよび少なくとも前記基本周波数を推定するサブステップ（５）と、
それぞれのサンプルフレームの前記基本周波数を同期分析するサブステップ（６）と、
それぞれのサンプルフレームの前記スペクトルパラメータを推定するサブステップ（７）と、
を備えることを特徴とする請求項１または２に記載の分析方法。
【請求項４】
前記分析対象のサンプルの前記基本周波数の平均値との関係において、それぞれのフレームの前記基本周波数を正規化するステップ（１０）をさらに備えることを特徴とする請求項１〜３のいずれか一項に記載の分析方法。
【請求項５】
前記モデルを判定するステップ（２０）は、混合ガウス密度によるモデルの判定に対応していることを特徴とする請求項１〜４のいずれか一項に記載の分析方法。
【請求項６】
前記モデルを判定するステップ（２０）は、
ガウス密度の混合に対応するモデルを判定するサブステップ（２２）と、
前記サンプルおよび前記モデルの前記スペクトル情報と前記サンプルおよび前記モデルの前記基本周波数情報との間における最大類似性の推定に基づいて前記ガウス密度の混合のパラメータを推定するステップ（２４）と、
を備えることを特徴とする請求項５に記載の分析方法。
【請求項７】
前記基本周波数予測関数を判定するステップ（３０）は、前記サンプルの前記スペクトル情報を知ることによって前記基本周波数を実現する推定値に基づいて実行されることを特徴とする請求項１〜６のいずれか一項に記載の分析方法。
【請求項８】
前記基本周波数予測関数を判定するステップ（３０）は、前記スペクトル情報が前記モデルに基づいて取得される事後確率に基づいて、前記スペクトル情報を知ることによって前記基本周波数を実現する条件付き期待値を判定するサブステップ（３２）を備え、前記条件付き期待値が前記推定値を形成していることを特徴とする請求項７に記載の分析方法。
【請求項９】
ソース発話者が発音した音声信号を、特性がターゲット発話者のものに類似している変換済みの音声信号に変換する方法であって、
前記ソース発話者の音声サンプルおよび前記ターゲット発話者の音声サンプルに基づいて実現され、前記ソース発話者のスペクトル特性を前記ターゲット発話者のスペクトル特性に変換する関数を判定するステップ（５０）と、
前記変換関数を使用し、前記変換対象の前記ソース発話者の音声信号のスペクトル情報を変換するステップ（７０）と、
を少なくとも備える方法において、
前記ターゲット発話者のスペクトル関連情報にのみ従って基本周波数予測関数を判定するステップ（６０）であって、前記予測関数は、請求項１〜８のいずれか一項に記載の分析方法を使用して取得される、ステップと、
前記基本周波数予測関数を、前記ソース発話者の前記音声信号の前記変換済みのスペクトル情報に適用することにより、前記変換対象の音声信号の前記基本周波数を予測するステップ（８０）と、
をさらに備えることを特徴とする方法。
【請求項１０】
前記変換関数を判定するステップ（５０）は、前記ソーススペクトル特性を知ることによって前記ターゲットスペクトル特性を実現する推定値に基づいて実行されることを特徴とする請求項９に記載の方法。
【請求項１１】
前記変換関数を判定するステップ（５０）は、
高調波信号および雑音信号の合計モデルに従って前記ソース発話者の音声サンプルおよび前記ターゲットの音声サンプルをモデル化するサブステップ（５２）と、
前記ソースおよびターゲットのサンプルをアライメントするサブステップ（５４）と、
前記ソーススペクトル特性の実現を知ることによって前記ターゲットスペクトル特性を実現する条件付き期待値の計算に基づいて前記変換関数を判定するサブステップ（５６）であって、前記条件付き期待値が前記推定値を形成している、ステップと、
を備えることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記変換関数は、スペクトルエンベロープ変換関数であることを特徴とする請求項９〜１１のいずれか一項に記載の方法。
【請求項１３】
前記スペクトル関連情報および前記基本周波数関連情報を供給するべく適合された前記変換対象の音声信号を分析するステップ（６５）をさらに備えることを特徴とする請求項９〜１２の一項に記載の方法。
【請求項１４】
前記変換済みのスペクトル情報および前記予測基本周波数情報に少なくとも基づいて変換済みの音声信号を形成可能な合成ステップ（９０）をさらに備えることを特徴とする請求項９〜１３のいずれか一項に記載の方法。
【請求項１５】
ソース発話者によって発音された音声信号（１１０）を、特性がターゲット発話者のものと類似している変換済みの音声信号（１２０）に変換するシステムであって、
前記ソース発話者の音声信号（１００）と前記ターゲット発話者の音声信号（１０２）とを入力として受信し、前記ソース発話者のスペクトル特性を前記ターゲット発話者のスペクトル特性に変換する関数を判定する手段（１０４）と、
前記手段（１０４）によって供給される前記変換関数を適用することにより、変換対象の前記ソース発話者の前記音声信号（１１０）のスペクトル情報を変換する手段（１１４）と、
を少なくとも備えるシステムにおいて、
前記ターゲット発話者の音声サンプル（１０２）に基づいて、請求項１〜８のいずれか一項に記載の分析方法を実現するべく適合されており、前記ターゲット発話者のスペクトル情報にのみ従って基本周波数予測関数を判定する手段（１０６）と、
前記予測関数を判定する手段（１０６）によって判定された前記予測関数を前記変換手段（１１４）によって供給される前記変換済みのスペクトル情報に適用することにより、前記変換対象の音声信号の前記基準周波数を予測する手段（１１６）と、
をさらに備えることを特徴とするシステム。
【請求項１６】
前記変換対象の音声信号（１１０）を分析し、前記変換対象の音声信号のスペクトル関連情報と前記基本周波数関連情報とを出力として供給するべく適合された手段（１１２）と、
前記手段（１１４）によって供給される前記変換済みのスペクトル情報と前記手段（１１６）によって供給される前記予測基本周波数情報とに少なくとも基づいて変換済みの音声信号を形成可能な合成手段（１１８）と、
をさらに備えることを特徴とする請求項１５に記載のシステム。
【請求項１７】
前記変換関数を判定する手段（１０４）は、スペクトルエンベロープ変換関数を供給するべく適合されていることを特徴とする請求項１５または１６に記載のシステム。
【請求項１８】
請求項９〜１２のいずれか一項に記載の音声変換方法を実装するべく適合されていることを特徴とする請求項１５〜１７のいずれか一項に記載のシステム。
【請求項１】
音声サンプル内に含まれている基本周波数情報を分析する分析方法であって、
それぞれのサンプルフレームごとに、スペクトル関連情報および前記基本周波数関連情報を取得するべく、フレームとして１つにグループ化された前記音声サンプルを分析するステップ（２）と、
すべてのサンプルのスペクトルおよび基本周波数の共通特性を表すモデルを判定するステップ（２０）と、
前記モデルおよび音声サンプルに基づいて、スペクトル関連情報にのみ従って基本周波数予測関数を判定するステップ（３０）と、
を少なくとも備えることを特徴とする分析方法。
【請求項２】
前記音声サンプルを分析するステップ（２）は、ケプストラム係数の形態で前記スペクトル関連情報を提供するべく適合されていることを特徴とする請求項１に記載の分析方法。
【請求項３】
前記音声サンプル分析するステップ（２）は、
高調波および雑音信号の合計に従って音声サンプルをモデル化するサブステップ（４）と、
前記音声サンプルの周波数パラメータおよび少なくとも前記基本周波数を推定するサブステップ（５）と、
それぞれのサンプルフレームの前記基本周波数を同期分析するサブステップ（６）と、
それぞれのサンプルフレームの前記スペクトルパラメータを推定するサブステップ（７）と、
を備えることを特徴とする請求項１または２に記載の分析方法。
【請求項４】
前記分析対象のサンプルの前記基本周波数の平均値との関係において、それぞれのフレームの前記基本周波数を正規化するステップ（１０）をさらに備えることを特徴とする請求項１〜３のいずれか一項に記載の分析方法。
【請求項５】
前記モデルを判定するステップ（２０）は、混合ガウス密度によるモデルの判定に対応していることを特徴とする請求項１〜４のいずれか一項に記載の分析方法。
【請求項６】
前記モデルを判定するステップ（２０）は、
ガウス密度の混合に対応するモデルを判定するサブステップ（２２）と、
前記サンプルおよび前記モデルの前記スペクトル情報と前記サンプルおよび前記モデルの前記基本周波数情報との間における最大類似性の推定に基づいて前記ガウス密度の混合のパラメータを推定するステップ（２４）と、
を備えることを特徴とする請求項５に記載の分析方法。
【請求項７】
前記基本周波数予測関数を判定するステップ（３０）は、前記サンプルの前記スペクトル情報を知ることによって前記基本周波数を実現する推定値に基づいて実行されることを特徴とする請求項１〜６のいずれか一項に記載の分析方法。
【請求項８】
前記基本周波数予測関数を判定するステップ（３０）は、前記スペクトル情報が前記モデルに基づいて取得される事後確率に基づいて、前記スペクトル情報を知ることによって前記基本周波数を実現する条件付き期待値を判定するサブステップ（３２）を備え、前記条件付き期待値が前記推定値を形成していることを特徴とする請求項７に記載の分析方法。
【請求項９】
ソース発話者が発音した音声信号を、特性がターゲット発話者のものに類似している変換済みの音声信号に変換する方法であって、
前記ソース発話者の音声サンプルおよび前記ターゲット発話者の音声サンプルに基づいて実現され、前記ソース発話者のスペクトル特性を前記ターゲット発話者のスペクトル特性に変換する関数を判定するステップ（５０）と、
前記変換関数を使用し、前記変換対象の前記ソース発話者の音声信号のスペクトル情報を変換するステップ（７０）と、
を少なくとも備える方法において、
前記ターゲット発話者のスペクトル関連情報にのみ従って基本周波数予測関数を判定するステップ（６０）であって、前記予測関数は、請求項１〜８のいずれか一項に記載の分析方法を使用して取得される、ステップと、
前記基本周波数予測関数を、前記ソース発話者の前記音声信号の前記変換済みのスペクトル情報に適用することにより、前記変換対象の音声信号の前記基本周波数を予測するステップ（８０）と、
をさらに備えることを特徴とする方法。
【請求項１０】
前記変換関数を判定するステップ（５０）は、前記ソーススペクトル特性を知ることによって前記ターゲットスペクトル特性を実現する推定値に基づいて実行されることを特徴とする請求項９に記載の方法。
【請求項１１】
前記変換関数を判定するステップ（５０）は、
高調波信号および雑音信号の合計モデルに従って前記ソース発話者の音声サンプルおよび前記ターゲットの音声サンプルをモデル化するサブステップ（５２）と、
前記ソースおよびターゲットのサンプルをアライメントするサブステップ（５４）と、
前記ソーススペクトル特性の実現を知ることによって前記ターゲットスペクトル特性を実現する条件付き期待値の計算に基づいて前記変換関数を判定するサブステップ（５６）であって、前記条件付き期待値が前記推定値を形成している、ステップと、
を備えることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記変換関数は、スペクトルエンベロープ変換関数であることを特徴とする請求項９〜１１のいずれか一項に記載の方法。
【請求項１３】
前記スペクトル関連情報および前記基本周波数関連情報を供給するべく適合された前記変換対象の音声信号を分析するステップ（６５）をさらに備えることを特徴とする請求項９〜１２の一項に記載の方法。
【請求項１４】
前記変換済みのスペクトル情報および前記予測基本周波数情報に少なくとも基づいて変換済みの音声信号を形成可能な合成ステップ（９０）をさらに備えることを特徴とする請求項９〜１３のいずれか一項に記載の方法。
【請求項１５】
ソース発話者によって発音された音声信号（１１０）を、特性がターゲット発話者のものと類似している変換済みの音声信号（１２０）に変換するシステムであって、
前記ソース発話者の音声信号（１００）と前記ターゲット発話者の音声信号（１０２）とを入力として受信し、前記ソース発話者のスペクトル特性を前記ターゲット発話者のスペクトル特性に変換する関数を判定する手段（１０４）と、
前記手段（１０４）によって供給される前記変換関数を適用することにより、変換対象の前記ソース発話者の前記音声信号（１１０）のスペクトル情報を変換する手段（１１４）と、
を少なくとも備えるシステムにおいて、
前記ターゲット発話者の音声サンプル（１０２）に基づいて、請求項１〜８のいずれか一項に記載の分析方法を実現するべく適合されており、前記ターゲット発話者のスペクトル情報にのみ従って基本周波数予測関数を判定する手段（１０６）と、
前記予測関数を判定する手段（１０６）によって判定された前記予測関数を前記変換手段（１１４）によって供給される前記変換済みのスペクトル情報に適用することにより、前記変換対象の音声信号の前記基準周波数を予測する手段（１１６）と、
をさらに備えることを特徴とするシステム。
【請求項１６】
前記変換対象の音声信号（１１０）を分析し、前記変換対象の音声信号のスペクトル関連情報と前記基本周波数関連情報とを出力として供給するべく適合された手段（１１２）と、
前記手段（１１４）によって供給される前記変換済みのスペクトル情報と前記手段（１１６）によって供給される前記予測基本周波数情報とに少なくとも基づいて変換済みの音声信号を形成可能な合成手段（１１８）と、
をさらに備えることを特徴とする請求項１５に記載のシステム。
【請求項１７】
前記変換関数を判定する手段（１０４）は、スペクトルエンベロープ変換関数を供給するべく適合されていることを特徴とする請求項１５または１６に記載のシステム。
【請求項１８】
請求項９〜１２のいずれか一項に記載の音声変換方法を実装するべく適合されていることを特徴とする請求項１５〜１７のいずれか一項に記載のシステム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公表番号】特表２００６−５２１５７６（Ｐ２００６−５２１５７６Ａ）
【公表日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願番号】特願２００６−５０５６８２（Ｐ２００６−５０５６８２）
【出願日】平成１６年３月２日（２００４．３．２）
【国際出願番号】ＰＣＴ／ＦＲ２００４／０００４８３
【国際公開番号】ＷＯ２００４／０８８６３３
【国際公開日】平成１６年１０月１４日（２００４．１０．１４）
【出願人】（５９１０３４１５４）フランス・テレコム (290)
【公表日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願日】平成１６年３月２日（２００４．３．２）
【国際出願番号】ＰＣＴ／ＦＲ２００４／０００４８３
【国際公開番号】ＷＯ２００４／０８８６３３
【国際公開日】平成１６年１０月１４日（２００４．１０．１４）
【出願人】（５９１０３４１５４）フランス・テレコム (290)
[ Back to top ]