話者クラスタリング方法、話者クラスタリング装置、プログラム
【課題】同一クラスタ内の話者間の知覚的類似度を高くできる話者クラスタリング方法を提供する。
【解決手段】Ｎ名の話者による同一内容の発話の音声データのうちｋ番目とｊ番目（１≦ｋ，ｊ≦Ｎ）の話者の発話の音声データの知覚的類似度の主観評価値をｊ番目の要素として有する話者ベクトルを生成する話者ベクトル生成サブステップと、話者ベクトルのベクトル間距離に基づいて、Ｎ名の話者をクラスタ数Ｍにクラスタリングするクラスタリングサブステップと、話者の属するクラスタ毎に当該話者の発話の音声データから選択用モデルを学習する選択用モデル学習サブステップと、任意の話者の音声データを入力とし当該入力された任意の話者の音声データと各クラスタの選択用モデルとの尤度を計算する尤度計算サブステップと、計算された尤度が最も高いクラスタを入力された音声データの話者が属するクラスタとして選択するクラスタ選択サブステップとを有する。
【解決手段】Ｎ名の話者による同一内容の発話の音声データのうちｋ番目とｊ番目（１≦ｋ，ｊ≦Ｎ）の話者の発話の音声データの知覚的類似度の主観評価値をｊ番目の要素として有する話者ベクトルを生成する話者ベクトル生成サブステップと、話者ベクトルのベクトル間距離に基づいて、Ｎ名の話者をクラスタ数Ｍにクラスタリングするクラスタリングサブステップと、話者の属するクラスタ毎に当該話者の発話の音声データから選択用モデルを学習する選択用モデル学習サブステップと、任意の話者の音声データを入力とし当該入力された任意の話者の音声データと各クラスタの選択用モデルとの尤度を計算する尤度計算サブステップと、計算された尤度が最も高いクラスタを入力された音声データの話者が属するクラスタとして選択するクラスタ選択サブステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数の話者を音声の特徴が類似したグループにまとめる話者クラスタリング方法、話者クラスタリング装置、プログラムに関する。
【背景技術】
【０００２】
従来、あらかじめ用意した複数の話者の音声から、音声の特徴が似た話者同士をまとめてグループ化する話者クラスタリング技術の研究がおこなわれている（例えば非特許文献１）。この話者クラスタリング技術の応用先として、音声認識における話者適応技術がある。この手法では、あらかじめ話者クラスタリングにより話者を分割し、クラスタ毎に音響モデルを学習する。音声認識時には、入力された話者と音響特徴量が類似した音響モデルを選択することで音声認識の認識性能を向上させることができる。
【０００３】
また音声合成において、任意話者の音声を合成するために、モデル変換に基づく話者適応手法の検討が行われている（非特許文献２）。この手法では、変換元のモデルとして、複数の話者の特徴を平均化したモデル（平均声モデル）が使用されているが、話者クラスタリングによって、あらかじめ複数の変換元モデルを用意し、変換元のモデルとして合成したい話者に類似したモデルを選択できれば、変換元モデルに平均声モデルを使用する場合に比べ、合成音声の自然性や類似性の向上が期待できる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】小坂、松永、嵯峨山、「話者適応のための木構造話者クラスタリング」、電子情報通信学会技術研究報告、社団法人電子情報通信学会、平成5年12月、SP, 音声, 93(364)、pp49〜54.
【非特許文献２】田村、益子、徳田、小林、「HMMに基づく音声合成におけるピッチ・スペクトルの話者適応」、電子情報通信学会論文誌、社団法人電子情報通信学会、平成14年 4月、D-II, 情報・システム, II-パターン処理, J85-D-II(4)、pp545〜553.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の手法では、クラスタリングに使用する話者ベクトルとして、話者間の音響特徴量（ケプストラム、フォルマント周波数、声道長）や音響特徴量を用いて学習した統計モデル（ＨＭＭ等）の距離等の客観尺度を使用している。しかしながら、これらの音響特徴量等の客観尺度は人間が知覚する話者間の知覚的類似度とは必ずしも一致しておらず、同一クラスタ内に存在する話者間の知覚的類似度が低くなる場合がある。そのため、音声合成に話者クラスタリングに基づく話者適応を適用する場合、最終的に合成される合成音声の自然性、類似性が低下してしまう場合がある。そこで、本発明では、同一クラスタ内に存在する話者間の知覚的類似度を高くできる話者クラスタリング装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の話者クラスタリング装置は、モデル生成部と、クラスタ決定部とを備える。モデル生成部は発話記憶手段と、知覚的類似度行列記憶手段と、話者ベクトル生成手段と、クラスタリング手段と、選択用モデル学習手段と、選択用モデル記憶手段とを備える。クラスタ決定部は尤度計算手段と、クラスタ選択手段とを備える。
【０００７】
発話記憶手段は、Ｎ名（Ｎは２以上の整数）の話者による同一内容の発話の音声データを記憶する。知覚的類似度行列記憶手段は、記憶されたＮ名の話者による同一内容の発話の音声データのうちｉ番目（ｉは１≦ｉ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの知覚的類似度の主観評価値を（ｉ，ｊ）要素として有するＮ×Ｎ行列を知覚的類似度行列として記憶する。話者ベクトル生成手段は、知覚的類似度行列の第ｋ行ベクトル（ｋは１≦ｋ≦Ｎを充たす整数）をｋ番目の話者の話者ベクトルとして生成する。クラスタリング手段は、話者ベクトルのベクトル間距離に基づいて、Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングする。選択用モデル学習手段は、話者の属するクラスタ毎に、当該話者の発話の音声データから選択用モデルを学習する。選択用モデル記憶手段は、学習された選択用モデルを記憶する。
【０００８】
尤度計算手段は、任意の話者の音声データを入力とし、当該入力された任意の話者の音声データと各クラスタの選択用モデルとの尤度をクラスタ毎に計算する。クラスタ選択手段は、計算された尤度が最も高いクラスタを入力された音声データの話者が属するクラスタとして選択する。
【発明の効果】
【０００９】
本発明の話者クラスタリング装置によれば、同一クラスタ内に存在する話者間の知覚的類似度を高くできる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る話者クラスタリング装置の構成を示すブロック図。
【図２】実施例１に係る話者クラスタリング装置の動作を示すフローチャート。
【図３】実施例２に係る話者クラスタリング装置の構成を示すブロック図。
【図４】実施例２に係る話者クラスタリング装置の動作を示すフローチャート。
【図５】知覚的類似度の主観評価に使用する評価値とその表現例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１２】
＜発話記憶手段１１１＞
全ての実施例の話者クラスタリング装置１００、２００が備える発話記憶手段１１１について説明する。発話記憶手段１１１には、Ｎ名（Ｎは２以上の整数）の話者の発話の音声データが予め記憶される。記憶されるＮ名の話者の発話内容はすべて同一文章を読み上げた音声に統一されているものとする。
【００１３】
＜知覚的類似度行列記憶手段１１２＞
次に、全ての実施例の話者クラスタリング装置１００、２００が備える知覚的類似度行列記憶手段１１２について説明する。知覚的類似度行列記憶手段１１２には、知覚的類似度行列Ｓが予め記憶されている。この知覚的類似度行列Ｓは、前述の発話記憶手段１１１に保存されたＮ名の話者のうち任意の２名の話者の発話の知覚的類似度を、予め定めた評価者が主観評価により評価した値を要素に持つ行列である。以下、評価者が行う主観評価について説明する。まず評価者を予め用意する。個人差による主観評価の偏りを防ぐため、評価者数Ｌは４名以上とすることが望ましい。主観評価においては、前述の発話記憶手段１１１に予め記憶されたｉ番目の話者、およびｊ番目の話者（ｉ，ｊは１≦ｉ≦Ｎ、１≦ｊ≦Ｎを充たす整数）が同一文章を発話した音声データをｉ番目の話者、ｊ番目の話者の順番に評価者Ｌ名が聴取し、二つの音声データの類似度を評価する。主観評価には例えば図５のような主観評価尺度を用いることができる。図５は知覚的類似度の主観評価に使用する評価値とその表現例を示す図である。図５の例では主観評価尺度が３段階となっているが、評価値や表現は適宜変更することができる。例えば、３段階のかわりに５段階の主観評価尺度を用いることとしてもよい。このとき、ｉ番目の話者、ｊ番目の話者間の知覚的類似度Ｓ（ｉ，ｊ）は以下のように定義される。
【００１４】
【数１】
【００１５】
ここで、ｓｌ（ｉ，ｊ）はｌ番目の評価者がｉ番目の話者、ｊ番目の話者の発話音声データをｉ番目−ｊ番目の順番で聞いた場合の評価値であり、一つの音声データの組み合わせに対してＬ名の評価者全員が評価を行う。評価者は最終的にＮ×Ｎ通りの組み合わせの音声の評価を行う。知覚的類似度行列Ｓとは上述のｉ番目の話者、ｊ番目の話者間の知覚的類似度Ｓ（ｉ，ｊ）を行列の（ｉ，ｊ）要素として有するＮ×Ｎ行列のことである。
【００１６】
＜話者ベクトル生成手段１１３＞
次に、実施例１の話者クラスタリング装置１００が備える話者ベクトル生成手段１１３について説明する。話者ベクトル生成手段１１３は、前述の知覚的類似度行列Ｓを入力とし、ｋ番目（ｋは１≦ｋ≦Ｎを充たす整数）の話者の話者ベクトルｖｋを以下のように生成する（ＳＳ１１３）。
【００１７】
【数２】
【００１８】
従って、ｋ番目の話者の話者ベクトルとは知覚的類似度行列Ｓの第ｋ行ベクトルＳｋを意味する。実施例における説明では、話者ベクトル生成手段１１３は、知覚的類似度行列Ｓを知覚的類似度行列記憶手段１１２から取得して、当該取得した知覚的類似度行列Ｓの第ｋ行ベクトルＳｋをｋ番目の話者の話者ベクトルｖｋとして生成することとしたが、本発明の実現方法はこれに限られない。話者ベクトル生成手段１１３は、前述のＮ名の話者のうち任意の２名の発話（同一話者同士の比較含む）の音声データに対する知覚的類似度の主観評価の評価者Ｌ名による平均値の全ての組み合わせ（Ｎ×Ｎ個）を取得して、ｋ番目の話者の発話の音声データとｊ番目の話者の発話の音声データとの知覚的類似度の主観評価値をｊ番目の要素として有するベクトル（要素数Ｎ）をｋ番目の話者の話者ベクトルｖｋとして、知覚的類似度行列Ｓを準備せずに、話者ベクトルを生成することも可能である。従って、前述の知覚的類似度行列記憶手段１１２は発明を実現するための必須の構成ではなく、何らかの方法で、話者ベクトル生成手段１１３に主観評価の平均値（Ｎ×Ｎ個）のデータを供給することができればよい。
【００１９】
＜クラスタリング手段１１４＞
次に、全ての実施例の話者クラスタリング装置１００、２００が備えるクラスタリング手段１１４について説明する。クラスタリング手段１１４は、前述の話者ベクトルのベクトル間距離に基づいて、Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングする（ＳＳ１１４）。これにより、各話者にクラスタ番号を付与する。クラスタリング手段が用いるアルゴリズムとして、例えばｋ−ｍｅａｎｓ法やＬＢＧ法など、一般的なクラスタリングアルゴリズムを使用することができる。
【００２０】
＜選択用モデル学習手段１１５、選択用モデル記憶手段１１６＞
次に、全ての実施例の話者クラスタリング装置１００、２００が備える選択用モデル学習手段１１５、選択用モデル記憶手段１１６について説明する。選択用モデル学習手段１１５は、任意の話者の音声が入力された場合、その音声がどのクラスタに属するか選択するためのモデル（以下、選択用モデルという）を話者の属するクラスタ毎に、当該話者の発話の音声データから学習する（ＳＳ１１５）。クラスタの選択には、入力された音声と各クラスタ内の話者との知覚的類似度を得ることが望ましいが、クラスタ選択は人手を介さず行うため、主観評価により知覚的類似度を設定することは不可能である。そのためクラスタ選択手法として、入力話者の音声データと各クラスタに含まれる話者の音声データとの音響特徴量を利用する。例として、選択用モデル学習手段１１５は、各クラスタに含まれる話者の音声データから統計モデル（ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ：正規混合分布））を選択用モデルとして学習する（参考非特許文献１：D. A. Reynolds,“Speaker identification and verification using Gaussian mixture speaker models,” Speech Communication, vol.17, pp.91〜108, (1995)）。モデル学習に用いる特徴量としては、例えば各クラスタの音声データから抽出したケプストラム等の音響特徴量を使用することができる。
【００２１】
選択用モデル記憶手段１１６は、選択用モデル学習手段１１５が学習した選択用モデルをクラスタ毎に記憶する。
【００２２】
＜尤度計算手段１２１＞
次に、全ての実施例の話者クラスタリング装置１００、２００が備える尤度計算手段１２１について説明する。尤度計算手段１２１は、任意の話者の音声データと前述の選択用モデル学習手段１１５が学習した選択用モデルとを入力とし、当該選択用モデル（例えばＧＭＭ）と入力された話者の音声とから尤度をクラスタ毎に計算する（ＳＳ１２１）。
【００２３】
＜クラスタ選択手段１２２＞
次に、全ての実施例の話者クラスタリング装置１００、２００が備えるクラスタ選択手段１２２について説明する。クラスタ選択手段１２２は、入力された任意の話者の音声がＭ個のクラスタのうち、どのクラスタに属するか選択する。具体的には、クラスタ選択手段１２２は、前述の尤度計算手段１２１で計算された尤度が最も高いクラスタを入力話者が属するクラスタとして選択する（ＳＳ１２２）。
【００２４】
＜話者間距離行列記憶手段２１７＞
次に、実施例２の話者クラスタリング装置２００が備える話者間距離行列記憶手段２１７について説明する。話者間距離行列記憶手段２１７は、発話記憶手段１１１に記憶されたＮ名の話者の発話の音声データのうち、ｉ番目の話者−ｊ番目の話者間の客観尺度に基づく話者間距離値Ｄ（ｉ，ｊ）を行列の（ｉ，ｊ）要素として有するＮ×Ｎ行列を話者間距離行列Ｄとして予め記憶する。以下、客観尺度に基づく話者間距離の例として、特定話者ＨＭＭ間の距離について記載する（参考非特許文献２：小坂、松永、嵯峨山、「話者適応のための木構造話者クラスタリング」、電子情報通信学会技術研究報告、社団法人電子情報通信学会、平成5年12月、SP, 音声, 93(364)、pp49〜54）。この手法ではまず、あらかじめ距離値を計算する全ての話者個別に特定話者ＨＭＭを学習する。このとき、二名の話者であるｉ番目の話者、ｊ番目の話者のモデル構造が等しい場合、モデル間距離Ｄ（ｉ，ｊ）は以下により定義される。
【００２５】
【数３】
【００２６】
ここで、ｂｓ（ｉ）はｉ番目の話者のモデルの状態ｓの出力確率分布、ｂｓ（ｊ）はｊ番目の話者のモデルの状態ｓの出力確率分布、Ｓはモデルの総状態数を示す。出力確率分布が正規分布の場合、ｄ（ｂｓ（ｉ），ｂｓ（ｊ））は以下により求められる。
【００２７】
【数４】
【００２８】
ここで、μｉ，Σｉはそれぞれｉ番目の話者の発話の音声データのＨＭＭの平均ベクトルと共分散行列を示す。同様に、μｊ，Σｊはそれぞれｊ番目の話者の発話の音声データのＨＭＭの平均ベクトルと共分散行列を示す。客観尺度による話者間距離として、これ以外にも声道特徴等の特徴量を使用してもよい（例えば、参考非特許文献４：内藤、Ｌｉ、匂坂、「声道の特徴を用いた話者クラスタリング手法の検討」、情報処理学会研究報告、一般社団法人情報処理学会、平成9年12月、SLP, 音声言語情報処理97(120), pp35〜40）。
【００２９】
＜話者ベクトル生成手段２１３＞
次に、実施例２の話者クラスタリング装置２００が備える話者ベクトル生成手段２１３について説明する。話者ベクトル生成手段２１３は、主観評価により得られた話者間の知覚的類似度に基づく知覚的類似度行列Ｓの第ｋ行ベクトル（ｋは１≦ｋ≦Ｎを充たす整数）と、客観尺度に基づく話者間距離行列Ｄの第ｋ行ベクトルとを結合した要素数２ｋのベクトルをｋ番目の話者の話者ベクトルとして生成する（ＳＳ２１３）。具体的には、ｋ番目の話者の話者ベクトルは以下により与えられる。
【００３０】
【数５】
【００３１】
前述の話者ベクトル生成手段１１３と同様に、話者間距離行列Ｄを準備せずに、話者ベクトルを生成することも可能である。従って、前述の話者間距離行列記憶手段２１７は発明を実現するための必須の構成ではなく、何らかの方法で、話者ベクトル生成手段２１３に話者間距離値（Ｎ×Ｎ個）のデータを供給することができればよい。
【実施例１】
【００３２】
上述を前提として、実施例１に係る話者クラスタリング装置について図１、図２を参照して説明する。図１は本実施例に係る話者クラスタリング装置１００の構成を示すブロック図である。図２は本実施例に係る話者クラスタリング装置１００の動作を示すフローチャートである。本実施例の話者クラスタリング装置１００は、モデル生成部１１０と、クラスタ決定部１２０とを備える。モデル生成部１１０は発話記憶手段１１１と、知覚的類似度行列記憶手段１１２と、話者ベクトル生成手段１１３と、クラスタリング手段１１４と、選択用モデル学習手段１１５と、選択用モデル記憶手段１１６とを備える。クラスタ決定部１２０は尤度計算手段１２１と、クラスタ選択手段１２２とを備える。
【００３３】
まず、モデル生成部１１０について説明する。発話記憶手段１１１は、Ｎ名（Ｎは２以上の整数）の話者による同一内容の発話の音声データを予め記憶する。知覚的類似度行列記憶手段１１２は、記憶されたＮ名の話者による同一内容の発話の音声データのうちｉ番目（ｉは１≦ｉ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの知覚的類似度の主観評価値を（ｉ，ｊ）要素として有するＮ×Ｎ行列を知覚的類似度行列Ｓとして予め記憶する。話者ベクトル生成手段１１３は、知覚的類似度行列Ｓの第ｋ行ベクトル（ｋは１≦ｋ≦Ｎを充たす整数）をｋ番目の話者の話者ベクトルとして生成する（ＳＳ１１３）。クラスタリング手段１１４は、話者ベクトルのベクトル間距離に基づいて、Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングする（ＳＳ１１４）。選択用モデル学習手段１１５は、話者の属するクラスタ毎に、当該話者の発話の音声データから選択用モデルを学習する（ＳＳ１１５）。選択用モデル記憶手段１１６は、学習された選択用モデルを記憶する（ＳＳ１１６）。
【００３４】
次に、クラスタ決定部１２０について説明する。尤度計算手段１２１は、任意の話者の音声データを入力とし、当該入力された任意の話者の音声データと各クラスタの選択用モデルとの尤度をクラスタ毎に計算する（ＳＳ１２１）。クラスタ選択手段１２２は、計算された尤度が最も高いクラスタを入力された音声データの話者が属するクラスタとして選択する（ＳＳ１２２）。
【００３５】
本実施例の話者クラスタリング装置１００によれば、話者ベクトル生成手段１１３が、知覚的類似度の主観評価結果を要素に持つ話者ベクトルを生成し、クラスタリング手段１１４が、話者ベクトルのベクトル間距離に基づいてクラスタリングを行うため、話者同士の知覚的類似度の主観評価を考慮したクラスタを生成することができ、同一クラスタ内に存在する話者間の知覚的類似度を高くすることができる。
【実施例２】
【００３６】
次に、実施例１の知覚的類似度の主観評価に加えて客観尺度による話者間距離を要素に持つ話者ベクトルを生成する実施例２に係る話者クラスタリング装置について図３、図４を参照して説明する。図３は本実施例に係る話者クラスタリング装置２００の構成を示すブロック図である。図４は本実施例に係る話者クラスタリング装置２００の動作を示すフローチャートである。本実施例の話者クラスタリング装置２００は、モデル生成部２１０と、クラスタ決定部１２０とを備える。モデル生成部２１０は発話記憶手段１１１と、知覚的類似度行列記憶手段１１２と、話者ベクトル生成手段２１３と、クラスタリング手段１１４と、選択用モデル学習手段１１５と、選択用モデル記憶手段１１６と、話者間距離行列記憶手段２１７とを備える。クラスタ決定部１２０は尤度計算手段１２１と、クラスタ選択手段１２２とを備える。本実施例の実施例１との違いは、実施例１のモデル生成部１１０が本実施例ではモデル生成部２１０に変更されている点である。より具体的には、実施例１のモデル生成部１１０が備えない話者間距離行列記憶手段２１７を本実施例のモデル生成部２１０が備える点、及び実施例１の話者ベクトル生成手段１１３が本実施例において話者ベクトル生成手段２１３に変更されている点である。
【００３７】
まず、モデル生成部２１０について説明する。発話記憶手段１１１は、Ｎ名（Ｎは２以上の整数）の話者による同一内容の発話の音声データを予め記憶する。知覚的類似度行列記憶手段１１２は、記憶されたＮ名の話者による同一内容の発話の音声データのうちｉ番目（ｉは１≦ｉ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの知覚的類似度の主観評価値を（ｉ，ｊ）要素として有するＮ×Ｎ行列を知覚的類似度行列Ｓとして予め記憶する。話者間距離行列記憶手段２１７は、記憶されたＮ名の話者による同一内容の発話の音声データのうちｉ番目（ｉは１≦ｉ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの話者間距離値を（ｉ，ｊ）要素として有するＮ×Ｎ行列を話者間距離行列Ｄとして予め記憶する。話者ベクトル生成手段２１３は、知覚的類似度行列Ｓの第ｋ行ベクトル（ｋは１≦ｋ≦Ｎを充たす整数）と、話者間距離行列Ｄの第ｋ行ベクトルとを結合した要素数２ｋのベクトルをｋ番目の話者の話者ベクトルとして生成する（ＳＳ２１３）。クラスタリング手段１１４は、話者ベクトルのベクトル間距離に基づいて、Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングする（ＳＳ１１４）。選択用モデル学習手段１１５は、話者の属するクラスタ毎に、当該話者の発話の音声データから選択用モデルを学習する（ＳＳ１１５）。選択用モデル記憶手段１１６は、学習された選択用モデルを記憶する（ＳＳ１１６）。
【００３８】
次に、クラスタ決定部１２０について説明する。尤度計算手段１２１は、任意の話者の音声データを入力とし、当該入力された任意の話者の音声データと各クラスタの選択用モデルとの尤度をクラスタ毎に計算する（ＳＳ１２１）。クラスタ選択手段１２２は、計算された尤度が最も高いクラスタを入力された音声データの話者が属するクラスタとして選択する（ＳＳ１２２）。
【００３９】
本実施例の話者クラスタリング装置２００によれば、話者ベクトル生成手段２１３が、知覚的類似度の主観評価結果と、客観的指標である話者間距離値の双方を要素に持つ話者ベクトルを生成し、クラスタリング手段１１４が、話者ベクトルのベクトル間距離に基づいてクラスタリングを行うため、話者同士の知覚的類似度の主観評価のみならず、客観的指標である話者間距離をも考慮したクラスタを生成することができ、実施例１の効果に加えて、同一クラスタ内に存在する話者間の話者間距離が極端に大きくなることを防ぐことができる。
【００４０】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００４１】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００４２】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００４３】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４４】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４５】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【技術分野】
【０００１】
本発明は複数の話者を音声の特徴が類似したグループにまとめる話者クラスタリング方法、話者クラスタリング装置、プログラムに関する。
【背景技術】
【０００２】
従来、あらかじめ用意した複数の話者の音声から、音声の特徴が似た話者同士をまとめてグループ化する話者クラスタリング技術の研究がおこなわれている（例えば非特許文献１）。この話者クラスタリング技術の応用先として、音声認識における話者適応技術がある。この手法では、あらかじめ話者クラスタリングにより話者を分割し、クラスタ毎に音響モデルを学習する。音声認識時には、入力された話者と音響特徴量が類似した音響モデルを選択することで音声認識の認識性能を向上させることができる。
【０００３】
また音声合成において、任意話者の音声を合成するために、モデル変換に基づく話者適応手法の検討が行われている（非特許文献２）。この手法では、変換元のモデルとして、複数の話者の特徴を平均化したモデル（平均声モデル）が使用されているが、話者クラスタリングによって、あらかじめ複数の変換元モデルを用意し、変換元のモデルとして合成したい話者に類似したモデルを選択できれば、変換元モデルに平均声モデルを使用する場合に比べ、合成音声の自然性や類似性の向上が期待できる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】小坂、松永、嵯峨山、「話者適応のための木構造話者クラスタリング」、電子情報通信学会技術研究報告、社団法人電子情報通信学会、平成5年12月、SP, 音声, 93(364)、pp49〜54.
【非特許文献２】田村、益子、徳田、小林、「HMMに基づく音声合成におけるピッチ・スペクトルの話者適応」、電子情報通信学会論文誌、社団法人電子情報通信学会、平成14年 4月、D-II, 情報・システム, II-パターン処理, J85-D-II(4)、pp545〜553.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の手法では、クラスタリングに使用する話者ベクトルとして、話者間の音響特徴量（ケプストラム、フォルマント周波数、声道長）や音響特徴量を用いて学習した統計モデル（ＨＭＭ等）の距離等の客観尺度を使用している。しかしながら、これらの音響特徴量等の客観尺度は人間が知覚する話者間の知覚的類似度とは必ずしも一致しておらず、同一クラスタ内に存在する話者間の知覚的類似度が低くなる場合がある。そのため、音声合成に話者クラスタリングに基づく話者適応を適用する場合、最終的に合成される合成音声の自然性、類似性が低下してしまう場合がある。そこで、本発明では、同一クラスタ内に存在する話者間の知覚的類似度を高くできる話者クラスタリング装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の話者クラスタリング装置は、モデル生成部と、クラスタ決定部とを備える。モデル生成部は発話記憶手段と、知覚的類似度行列記憶手段と、話者ベクトル生成手段と、クラスタリング手段と、選択用モデル学習手段と、選択用モデル記憶手段とを備える。クラスタ決定部は尤度計算手段と、クラスタ選択手段とを備える。
【０００７】
発話記憶手段は、Ｎ名（Ｎは２以上の整数）の話者による同一内容の発話の音声データを記憶する。知覚的類似度行列記憶手段は、記憶されたＮ名の話者による同一内容の発話の音声データのうちｉ番目（ｉは１≦ｉ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの知覚的類似度の主観評価値を（ｉ，ｊ）要素として有するＮ×Ｎ行列を知覚的類似度行列として記憶する。話者ベクトル生成手段は、知覚的類似度行列の第ｋ行ベクトル（ｋは１≦ｋ≦Ｎを充たす整数）をｋ番目の話者の話者ベクトルとして生成する。クラスタリング手段は、話者ベクトルのベクトル間距離に基づいて、Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングする。選択用モデル学習手段は、話者の属するクラスタ毎に、当該話者の発話の音声データから選択用モデルを学習する。選択用モデル記憶手段は、学習された選択用モデルを記憶する。
【０００８】
尤度計算手段は、任意の話者の音声データを入力とし、当該入力された任意の話者の音声データと各クラスタの選択用モデルとの尤度をクラスタ毎に計算する。クラスタ選択手段は、計算された尤度が最も高いクラスタを入力された音声データの話者が属するクラスタとして選択する。
【発明の効果】
【０００９】
本発明の話者クラスタリング装置によれば、同一クラスタ内に存在する話者間の知覚的類似度を高くできる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る話者クラスタリング装置の構成を示すブロック図。
【図２】実施例１に係る話者クラスタリング装置の動作を示すフローチャート。
【図３】実施例２に係る話者クラスタリング装置の構成を示すブロック図。
【図４】実施例２に係る話者クラスタリング装置の動作を示すフローチャート。
【図５】知覚的類似度の主観評価に使用する評価値とその表現例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１２】
＜発話記憶手段１１１＞
全ての実施例の話者クラスタリング装置１００、２００が備える発話記憶手段１１１について説明する。発話記憶手段１１１には、Ｎ名（Ｎは２以上の整数）の話者の発話の音声データが予め記憶される。記憶されるＮ名の話者の発話内容はすべて同一文章を読み上げた音声に統一されているものとする。
【００１３】
＜知覚的類似度行列記憶手段１１２＞
次に、全ての実施例の話者クラスタリング装置１００、２００が備える知覚的類似度行列記憶手段１１２について説明する。知覚的類似度行列記憶手段１１２には、知覚的類似度行列Ｓが予め記憶されている。この知覚的類似度行列Ｓは、前述の発話記憶手段１１１に保存されたＮ名の話者のうち任意の２名の話者の発話の知覚的類似度を、予め定めた評価者が主観評価により評価した値を要素に持つ行列である。以下、評価者が行う主観評価について説明する。まず評価者を予め用意する。個人差による主観評価の偏りを防ぐため、評価者数Ｌは４名以上とすることが望ましい。主観評価においては、前述の発話記憶手段１１１に予め記憶されたｉ番目の話者、およびｊ番目の話者（ｉ，ｊは１≦ｉ≦Ｎ、１≦ｊ≦Ｎを充たす整数）が同一文章を発話した音声データをｉ番目の話者、ｊ番目の話者の順番に評価者Ｌ名が聴取し、二つの音声データの類似度を評価する。主観評価には例えば図５のような主観評価尺度を用いることができる。図５は知覚的類似度の主観評価に使用する評価値とその表現例を示す図である。図５の例では主観評価尺度が３段階となっているが、評価値や表現は適宜変更することができる。例えば、３段階のかわりに５段階の主観評価尺度を用いることとしてもよい。このとき、ｉ番目の話者、ｊ番目の話者間の知覚的類似度Ｓ（ｉ，ｊ）は以下のように定義される。
【００１４】
【数１】
【００１５】
ここで、ｓｌ（ｉ，ｊ）はｌ番目の評価者がｉ番目の話者、ｊ番目の話者の発話音声データをｉ番目−ｊ番目の順番で聞いた場合の評価値であり、一つの音声データの組み合わせに対してＬ名の評価者全員が評価を行う。評価者は最終的にＮ×Ｎ通りの組み合わせの音声の評価を行う。知覚的類似度行列Ｓとは上述のｉ番目の話者、ｊ番目の話者間の知覚的類似度Ｓ（ｉ，ｊ）を行列の（ｉ，ｊ）要素として有するＮ×Ｎ行列のことである。
【００１６】
＜話者ベクトル生成手段１１３＞
次に、実施例１の話者クラスタリング装置１００が備える話者ベクトル生成手段１１３について説明する。話者ベクトル生成手段１１３は、前述の知覚的類似度行列Ｓを入力とし、ｋ番目（ｋは１≦ｋ≦Ｎを充たす整数）の話者の話者ベクトルｖｋを以下のように生成する（ＳＳ１１３）。
【００１７】
【数２】
【００１８】
従って、ｋ番目の話者の話者ベクトルとは知覚的類似度行列Ｓの第ｋ行ベクトルＳｋを意味する。実施例における説明では、話者ベクトル生成手段１１３は、知覚的類似度行列Ｓを知覚的類似度行列記憶手段１１２から取得して、当該取得した知覚的類似度行列Ｓの第ｋ行ベクトルＳｋをｋ番目の話者の話者ベクトルｖｋとして生成することとしたが、本発明の実現方法はこれに限られない。話者ベクトル生成手段１１３は、前述のＮ名の話者のうち任意の２名の発話（同一話者同士の比較含む）の音声データに対する知覚的類似度の主観評価の評価者Ｌ名による平均値の全ての組み合わせ（Ｎ×Ｎ個）を取得して、ｋ番目の話者の発話の音声データとｊ番目の話者の発話の音声データとの知覚的類似度の主観評価値をｊ番目の要素として有するベクトル（要素数Ｎ）をｋ番目の話者の話者ベクトルｖｋとして、知覚的類似度行列Ｓを準備せずに、話者ベクトルを生成することも可能である。従って、前述の知覚的類似度行列記憶手段１１２は発明を実現するための必須の構成ではなく、何らかの方法で、話者ベクトル生成手段１１３に主観評価の平均値（Ｎ×Ｎ個）のデータを供給することができればよい。
【００１９】
＜クラスタリング手段１１４＞
次に、全ての実施例の話者クラスタリング装置１００、２００が備えるクラスタリング手段１１４について説明する。クラスタリング手段１１４は、前述の話者ベクトルのベクトル間距離に基づいて、Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングする（ＳＳ１１４）。これにより、各話者にクラスタ番号を付与する。クラスタリング手段が用いるアルゴリズムとして、例えばｋ−ｍｅａｎｓ法やＬＢＧ法など、一般的なクラスタリングアルゴリズムを使用することができる。
【００２０】
＜選択用モデル学習手段１１５、選択用モデル記憶手段１１６＞
次に、全ての実施例の話者クラスタリング装置１００、２００が備える選択用モデル学習手段１１５、選択用モデル記憶手段１１６について説明する。選択用モデル学習手段１１５は、任意の話者の音声が入力された場合、その音声がどのクラスタに属するか選択するためのモデル（以下、選択用モデルという）を話者の属するクラスタ毎に、当該話者の発話の音声データから学習する（ＳＳ１１５）。クラスタの選択には、入力された音声と各クラスタ内の話者との知覚的類似度を得ることが望ましいが、クラスタ選択は人手を介さず行うため、主観評価により知覚的類似度を設定することは不可能である。そのためクラスタ選択手法として、入力話者の音声データと各クラスタに含まれる話者の音声データとの音響特徴量を利用する。例として、選択用モデル学習手段１１５は、各クラスタに含まれる話者の音声データから統計モデル（ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ：正規混合分布））を選択用モデルとして学習する（参考非特許文献１：D. A. Reynolds,“Speaker identification and verification using Gaussian mixture speaker models,” Speech Communication, vol.17, pp.91〜108, (1995)）。モデル学習に用いる特徴量としては、例えば各クラスタの音声データから抽出したケプストラム等の音響特徴量を使用することができる。
【００２１】
選択用モデル記憶手段１１６は、選択用モデル学習手段１１５が学習した選択用モデルをクラスタ毎に記憶する。
【００２２】
＜尤度計算手段１２１＞
次に、全ての実施例の話者クラスタリング装置１００、２００が備える尤度計算手段１２１について説明する。尤度計算手段１２１は、任意の話者の音声データと前述の選択用モデル学習手段１１５が学習した選択用モデルとを入力とし、当該選択用モデル（例えばＧＭＭ）と入力された話者の音声とから尤度をクラスタ毎に計算する（ＳＳ１２１）。
【００２３】
＜クラスタ選択手段１２２＞
次に、全ての実施例の話者クラスタリング装置１００、２００が備えるクラスタ選択手段１２２について説明する。クラスタ選択手段１２２は、入力された任意の話者の音声がＭ個のクラスタのうち、どのクラスタに属するか選択する。具体的には、クラスタ選択手段１２２は、前述の尤度計算手段１２１で計算された尤度が最も高いクラスタを入力話者が属するクラスタとして選択する（ＳＳ１２２）。
【００２４】
＜話者間距離行列記憶手段２１７＞
次に、実施例２の話者クラスタリング装置２００が備える話者間距離行列記憶手段２１７について説明する。話者間距離行列記憶手段２１７は、発話記憶手段１１１に記憶されたＮ名の話者の発話の音声データのうち、ｉ番目の話者−ｊ番目の話者間の客観尺度に基づく話者間距離値Ｄ（ｉ，ｊ）を行列の（ｉ，ｊ）要素として有するＮ×Ｎ行列を話者間距離行列Ｄとして予め記憶する。以下、客観尺度に基づく話者間距離の例として、特定話者ＨＭＭ間の距離について記載する（参考非特許文献２：小坂、松永、嵯峨山、「話者適応のための木構造話者クラスタリング」、電子情報通信学会技術研究報告、社団法人電子情報通信学会、平成5年12月、SP, 音声, 93(364)、pp49〜54）。この手法ではまず、あらかじめ距離値を計算する全ての話者個別に特定話者ＨＭＭを学習する。このとき、二名の話者であるｉ番目の話者、ｊ番目の話者のモデル構造が等しい場合、モデル間距離Ｄ（ｉ，ｊ）は以下により定義される。
【００２５】
【数３】
【００２６】
ここで、ｂｓ（ｉ）はｉ番目の話者のモデルの状態ｓの出力確率分布、ｂｓ（ｊ）はｊ番目の話者のモデルの状態ｓの出力確率分布、Ｓはモデルの総状態数を示す。出力確率分布が正規分布の場合、ｄ（ｂｓ（ｉ），ｂｓ（ｊ））は以下により求められる。
【００２７】
【数４】
【００２８】
ここで、μｉ，Σｉはそれぞれｉ番目の話者の発話の音声データのＨＭＭの平均ベクトルと共分散行列を示す。同様に、μｊ，Σｊはそれぞれｊ番目の話者の発話の音声データのＨＭＭの平均ベクトルと共分散行列を示す。客観尺度による話者間距離として、これ以外にも声道特徴等の特徴量を使用してもよい（例えば、参考非特許文献４：内藤、Ｌｉ、匂坂、「声道の特徴を用いた話者クラスタリング手法の検討」、情報処理学会研究報告、一般社団法人情報処理学会、平成9年12月、SLP, 音声言語情報処理97(120), pp35〜40）。
【００２９】
＜話者ベクトル生成手段２１３＞
次に、実施例２の話者クラスタリング装置２００が備える話者ベクトル生成手段２１３について説明する。話者ベクトル生成手段２１３は、主観評価により得られた話者間の知覚的類似度に基づく知覚的類似度行列Ｓの第ｋ行ベクトル（ｋは１≦ｋ≦Ｎを充たす整数）と、客観尺度に基づく話者間距離行列Ｄの第ｋ行ベクトルとを結合した要素数２ｋのベクトルをｋ番目の話者の話者ベクトルとして生成する（ＳＳ２１３）。具体的には、ｋ番目の話者の話者ベクトルは以下により与えられる。
【００３０】
【数５】
【００３１】
前述の話者ベクトル生成手段１１３と同様に、話者間距離行列Ｄを準備せずに、話者ベクトルを生成することも可能である。従って、前述の話者間距離行列記憶手段２１７は発明を実現するための必須の構成ではなく、何らかの方法で、話者ベクトル生成手段２１３に話者間距離値（Ｎ×Ｎ個）のデータを供給することができればよい。
【実施例１】
【００３２】
上述を前提として、実施例１に係る話者クラスタリング装置について図１、図２を参照して説明する。図１は本実施例に係る話者クラスタリング装置１００の構成を示すブロック図である。図２は本実施例に係る話者クラスタリング装置１００の動作を示すフローチャートである。本実施例の話者クラスタリング装置１００は、モデル生成部１１０と、クラスタ決定部１２０とを備える。モデル生成部１１０は発話記憶手段１１１と、知覚的類似度行列記憶手段１１２と、話者ベクトル生成手段１１３と、クラスタリング手段１１４と、選択用モデル学習手段１１５と、選択用モデル記憶手段１１６とを備える。クラスタ決定部１２０は尤度計算手段１２１と、クラスタ選択手段１２２とを備える。
【００３３】
まず、モデル生成部１１０について説明する。発話記憶手段１１１は、Ｎ名（Ｎは２以上の整数）の話者による同一内容の発話の音声データを予め記憶する。知覚的類似度行列記憶手段１１２は、記憶されたＮ名の話者による同一内容の発話の音声データのうちｉ番目（ｉは１≦ｉ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの知覚的類似度の主観評価値を（ｉ，ｊ）要素として有するＮ×Ｎ行列を知覚的類似度行列Ｓとして予め記憶する。話者ベクトル生成手段１１３は、知覚的類似度行列Ｓの第ｋ行ベクトル（ｋは１≦ｋ≦Ｎを充たす整数）をｋ番目の話者の話者ベクトルとして生成する（ＳＳ１１３）。クラスタリング手段１１４は、話者ベクトルのベクトル間距離に基づいて、Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングする（ＳＳ１１４）。選択用モデル学習手段１１５は、話者の属するクラスタ毎に、当該話者の発話の音声データから選択用モデルを学習する（ＳＳ１１５）。選択用モデル記憶手段１１６は、学習された選択用モデルを記憶する（ＳＳ１１６）。
【００３４】
次に、クラスタ決定部１２０について説明する。尤度計算手段１２１は、任意の話者の音声データを入力とし、当該入力された任意の話者の音声データと各クラスタの選択用モデルとの尤度をクラスタ毎に計算する（ＳＳ１２１）。クラスタ選択手段１２２は、計算された尤度が最も高いクラスタを入力された音声データの話者が属するクラスタとして選択する（ＳＳ１２２）。
【００３５】
本実施例の話者クラスタリング装置１００によれば、話者ベクトル生成手段１１３が、知覚的類似度の主観評価結果を要素に持つ話者ベクトルを生成し、クラスタリング手段１１４が、話者ベクトルのベクトル間距離に基づいてクラスタリングを行うため、話者同士の知覚的類似度の主観評価を考慮したクラスタを生成することができ、同一クラスタ内に存在する話者間の知覚的類似度を高くすることができる。
【実施例２】
【００３６】
次に、実施例１の知覚的類似度の主観評価に加えて客観尺度による話者間距離を要素に持つ話者ベクトルを生成する実施例２に係る話者クラスタリング装置について図３、図４を参照して説明する。図３は本実施例に係る話者クラスタリング装置２００の構成を示すブロック図である。図４は本実施例に係る話者クラスタリング装置２００の動作を示すフローチャートである。本実施例の話者クラスタリング装置２００は、モデル生成部２１０と、クラスタ決定部１２０とを備える。モデル生成部２１０は発話記憶手段１１１と、知覚的類似度行列記憶手段１１２と、話者ベクトル生成手段２１３と、クラスタリング手段１１４と、選択用モデル学習手段１１５と、選択用モデル記憶手段１１６と、話者間距離行列記憶手段２１７とを備える。クラスタ決定部１２０は尤度計算手段１２１と、クラスタ選択手段１２２とを備える。本実施例の実施例１との違いは、実施例１のモデル生成部１１０が本実施例ではモデル生成部２１０に変更されている点である。より具体的には、実施例１のモデル生成部１１０が備えない話者間距離行列記憶手段２１７を本実施例のモデル生成部２１０が備える点、及び実施例１の話者ベクトル生成手段１１３が本実施例において話者ベクトル生成手段２１３に変更されている点である。
【００３７】
まず、モデル生成部２１０について説明する。発話記憶手段１１１は、Ｎ名（Ｎは２以上の整数）の話者による同一内容の発話の音声データを予め記憶する。知覚的類似度行列記憶手段１１２は、記憶されたＮ名の話者による同一内容の発話の音声データのうちｉ番目（ｉは１≦ｉ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの知覚的類似度の主観評価値を（ｉ，ｊ）要素として有するＮ×Ｎ行列を知覚的類似度行列Ｓとして予め記憶する。話者間距離行列記憶手段２１７は、記憶されたＮ名の話者による同一内容の発話の音声データのうちｉ番目（ｉは１≦ｉ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの話者間距離値を（ｉ，ｊ）要素として有するＮ×Ｎ行列を話者間距離行列Ｄとして予め記憶する。話者ベクトル生成手段２１３は、知覚的類似度行列Ｓの第ｋ行ベクトル（ｋは１≦ｋ≦Ｎを充たす整数）と、話者間距離行列Ｄの第ｋ行ベクトルとを結合した要素数２ｋのベクトルをｋ番目の話者の話者ベクトルとして生成する（ＳＳ２１３）。クラスタリング手段１１４は、話者ベクトルのベクトル間距離に基づいて、Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングする（ＳＳ１１４）。選択用モデル学習手段１１５は、話者の属するクラスタ毎に、当該話者の発話の音声データから選択用モデルを学習する（ＳＳ１１５）。選択用モデル記憶手段１１６は、学習された選択用モデルを記憶する（ＳＳ１１６）。
【００３８】
次に、クラスタ決定部１２０について説明する。尤度計算手段１２１は、任意の話者の音声データを入力とし、当該入力された任意の話者の音声データと各クラスタの選択用モデルとの尤度をクラスタ毎に計算する（ＳＳ１２１）。クラスタ選択手段１２２は、計算された尤度が最も高いクラスタを入力された音声データの話者が属するクラスタとして選択する（ＳＳ１２２）。
【００３９】
本実施例の話者クラスタリング装置２００によれば、話者ベクトル生成手段２１３が、知覚的類似度の主観評価結果と、客観的指標である話者間距離値の双方を要素に持つ話者ベクトルを生成し、クラスタリング手段１１４が、話者ベクトルのベクトル間距離に基づいてクラスタリングを行うため、話者同士の知覚的類似度の主観評価のみならず、客観的指標である話者間距離をも考慮したクラスタを生成することができ、実施例１の効果に加えて、同一クラスタ内に存在する話者間の話者間距離が極端に大きくなることを防ぐことができる。
【００４０】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００４１】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００４２】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００４３】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４４】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４５】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【特許請求の範囲】
【請求項１】
モデル生成ステップと、クラスタ決定ステップとを備える話者クラスタリング方法であって、
前記モデル生成ステップは、
Ｎ名（Ｎは２以上の整数）の話者による同一内容の発話の音声データのうちｋ番目（ｋは１≦ｋ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの知覚的類似度の主観評価値をｊ番目の要素として有するベクトルをｋ番目の話者の話者ベクトルとして生成する話者ベクトル生成サブステップと、
前記話者ベクトルのベクトル間距離に基づいて、前記Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングするクラスタリングサブステップと、
前記話者の属するクラスタ毎に、当該話者の発話の音声データから選択用モデルを学習する選択用モデル学習サブステップと、を有し、
前記クラスタ決定ステップは、
任意の話者の音声データを入力とし、当該入力された任意の話者の音声データと前記各クラスタの選択用モデルとの尤度をクラスタ毎に計算する尤度計算サブステップと、
前記計算された尤度が最も高いクラスタを前記入力された音声データの話者が属するクラスタとして選択するクラスタ選択サブステップと、
を有することを特徴とする話者クラスタリング方法。
【請求項２】
モデル生成ステップと、クラスタ決定ステップとを備える話者クラスタリング方法であって、
前記モデル生成ステップは、
Ｎ名（Ｎは２以上の整数）の話者による同一内容の発話の音声データのうちｋ番目（ｋは１≦ｋ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの知覚的類似度の主観評価値をｊ番目の要素として有し、ｋ番目の話者の発話の音声データとｊ番目の話者の発話の音声データとの話者間距離値をＮ＋ｊ番目の要素として有するベクトルをｋ番目の話者の話者ベクトルとして生成する話者ベクトル生成サブステップと、
前記話者ベクトルのベクトル間距離に基づいて、前記Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングするクラスタリングサブステップと、
前記話者の属するクラスタ毎に、当該話者の発話の音声データから選択用モデルを学習する選択用モデル学習サブステップと、を有し、
前記クラスタ決定ステップは、
任意の話者の音声データを入力とし、当該入力された任意の話者の音声データと前記各クラスタの選択用モデルとの尤度をクラスタ毎に計算する尤度計算サブステップと、
前記計算された尤度が最も高いクラスタを前記入力された音声データの話者が属するクラスタとして選択するクラスタ選択サブステップと、
を有することを特徴とする話者クラスタリング方法。
【請求項３】
モデル生成部と、クラスタ決定部とを備える話者クラスタリング装置であって、
前記モデル生成部は、
Ｎ名（Ｎは２以上の整数）の話者による同一内容の発話の音声データを記憶する発話記憶手段と、
前記記憶されたＮ名の話者による同一内容の発話の音声データのうちｉ番目（ｉは１≦ｉ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの知覚的類似度の主観評価値を（ｉ，ｊ）要素として有するＮ×Ｎ行列を知覚的類似度行列として記憶する知覚的類似度行列記憶手段と、
前記知覚的類似度行列の第ｋ行ベクトル（ｋは１≦ｋ≦Ｎを充たす整数）をｋ番目の話者の話者ベクトルとして生成する話者ベクトル生成手段と、
前記話者ベクトルのベクトル間距離に基づいて、前記Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングするクラスタリング手段と、
前記話者の属するクラスタ毎に、当該話者の発話の音声データから選択用モデルを学習する選択用モデル学習手段と、
前記学習された選択用モデルを記憶する選択用モデル記憶手段と、を備え、
前記クラスタ決定部は、
任意の話者の音声データを入力とし、当該入力された任意の話者の音声データと前記各クラスタの選択用モデルとの尤度をクラスタ毎に計算する尤度計算手段と、
前記計算された尤度が最も高いクラスタを前記入力された音声データの話者が属するクラスタとして選択するクラスタ選択手段と、
を備えることを特徴とする話者クラスタリング装置。
【請求項４】
請求項１又は２に記載の話者クラスタリング方法を実行すべき指令をコンピュータに対してするプログラム。
【請求項１】
モデル生成ステップと、クラスタ決定ステップとを備える話者クラスタリング方法であって、
前記モデル生成ステップは、
Ｎ名（Ｎは２以上の整数）の話者による同一内容の発話の音声データのうちｋ番目（ｋは１≦ｋ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの知覚的類似度の主観評価値をｊ番目の要素として有するベクトルをｋ番目の話者の話者ベクトルとして生成する話者ベクトル生成サブステップと、
前記話者ベクトルのベクトル間距離に基づいて、前記Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングするクラスタリングサブステップと、
前記話者の属するクラスタ毎に、当該話者の発話の音声データから選択用モデルを学習する選択用モデル学習サブステップと、を有し、
前記クラスタ決定ステップは、
任意の話者の音声データを入力とし、当該入力された任意の話者の音声データと前記各クラスタの選択用モデルとの尤度をクラスタ毎に計算する尤度計算サブステップと、
前記計算された尤度が最も高いクラスタを前記入力された音声データの話者が属するクラスタとして選択するクラスタ選択サブステップと、
を有することを特徴とする話者クラスタリング方法。
【請求項２】
モデル生成ステップと、クラスタ決定ステップとを備える話者クラスタリング方法であって、
前記モデル生成ステップは、
Ｎ名（Ｎは２以上の整数）の話者による同一内容の発話の音声データのうちｋ番目（ｋは１≦ｋ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの知覚的類似度の主観評価値をｊ番目の要素として有し、ｋ番目の話者の発話の音声データとｊ番目の話者の発話の音声データとの話者間距離値をＮ＋ｊ番目の要素として有するベクトルをｋ番目の話者の話者ベクトルとして生成する話者ベクトル生成サブステップと、
前記話者ベクトルのベクトル間距離に基づいて、前記Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングするクラスタリングサブステップと、
前記話者の属するクラスタ毎に、当該話者の発話の音声データから選択用モデルを学習する選択用モデル学習サブステップと、を有し、
前記クラスタ決定ステップは、
任意の話者の音声データを入力とし、当該入力された任意の話者の音声データと前記各クラスタの選択用モデルとの尤度をクラスタ毎に計算する尤度計算サブステップと、
前記計算された尤度が最も高いクラスタを前記入力された音声データの話者が属するクラスタとして選択するクラスタ選択サブステップと、
を有することを特徴とする話者クラスタリング方法。
【請求項３】
モデル生成部と、クラスタ決定部とを備える話者クラスタリング装置であって、
前記モデル生成部は、
Ｎ名（Ｎは２以上の整数）の話者による同一内容の発話の音声データを記憶する発話記憶手段と、
前記記憶されたＮ名の話者による同一内容の発話の音声データのうちｉ番目（ｉは１≦ｉ≦Ｎを充たす整数）の話者の発話の音声データとｊ番目（ｊは１≦ｊ≦Ｎを充たす整数）の話者の発話の音声データとの知覚的類似度の主観評価値を（ｉ，ｊ）要素として有するＮ×Ｎ行列を知覚的類似度行列として記憶する知覚的類似度行列記憶手段と、
前記知覚的類似度行列の第ｋ行ベクトル（ｋは１≦ｋ≦Ｎを充たす整数）をｋ番目の話者の話者ベクトルとして生成する話者ベクトル生成手段と、
前記話者ベクトルのベクトル間距離に基づいて、前記Ｎ名の話者をクラスタ数Ｍ（ＭはＭ＜Ｎを充たす整数）にクラスタリングするクラスタリング手段と、
前記話者の属するクラスタ毎に、当該話者の発話の音声データから選択用モデルを学習する選択用モデル学習手段と、
前記学習された選択用モデルを記憶する選択用モデル記憶手段と、を備え、
前記クラスタ決定部は、
任意の話者の音声データを入力とし、当該入力された任意の話者の音声データと前記各クラスタの選択用モデルとの尤度をクラスタ毎に計算する尤度計算手段と、
前記計算された尤度が最も高いクラスタを前記入力された音声データの話者が属するクラスタとして選択するクラスタ選択手段と、
を備えることを特徴とする話者クラスタリング装置。
【請求項４】
請求項１又は２に記載の話者クラスタリング方法を実行すべき指令をコンピュータに対してするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−３７１０８（Ｐ２０１３−３７１０８Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７１８１５（Ｐ２０１１−１７１８１５）
【出願日】平成２３年８月５日（２０１１．８．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月５日（２０１１．８．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]