通訳装置、通訳方法、通訳プログラムを記録した記録媒体、および通訳プログラム
【課題】話者の声質にあったより近い合成音声を出力することが可能な通訳装置、通訳方法、通訳プログラムを記録した記録媒体、および通訳プログラムを提供する。
【解決手段】第１の言語で入力された入力音声を音声認識する音声認識部１０１と、音声認識された結果を第２の言語に翻訳する翻訳部１０２と、翻訳された第２の言語を音声合成する音声合成部１０３と、第１の言語の声質を分析する声質分析部１０４と、第１の言語の声質と第２の言語の声質との類似性を計量する声質類似性計量部１０５と、声質類似性計量部１０５で得られた声質類似性計量結果に基づいて、音声合成部１０３で音声合成される第２の言語の声質を制御する声質制御部１０６とを備えることにより、第１の言語の声質と第２の言語の声質とが比較的類似したものになり、違和感を生じるのを極力少なくすることができる。
【解決手段】第１の言語で入力された入力音声を音声認識する音声認識部１０１と、音声認識された結果を第２の言語に翻訳する翻訳部１０２と、翻訳された第２の言語を音声合成する音声合成部１０３と、第１の言語の声質を分析する声質分析部１０４と、第１の言語の声質と第２の言語の声質との類似性を計量する声質類似性計量部１０５と、声質類似性計量部１０５で得られた声質類似性計量結果に基づいて、音声合成部１０３で音声合成される第２の言語の声質を制御する声質制御部１０６とを備えることにより、第１の言語の声質と第２の言語の声質とが比較的類似したものになり、違和感を生じるのを極力少なくすることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１の言語で発声され入力された音声信号を第２の言語に通訳し、その通訳結果を合成音声し出力する通訳装置、通訳方法、通訳プログラムを記録した記録媒体、および通訳プログラムに関するものである。
【背景技術】
【０００２】
従来、通訳装置は、マイクより入力された音声信号を音声認識手段により自動的に認識し、自動翻訳手段により上記認識結果を所望の外言語に翻訳したのち、音声合成手段により、上記翻訳結果を外言語の音声で合成するという構成により実現されている。
【０００３】
ところで、このような通訳装置において、話者の声質に近い自然な通訳結果を得ることを目的として、合成音声の話速を入力の話速に応じて制御するように構成したものも知られている（例えば、特許文献１参照）。
【０００４】
図４は、このように話速を制御するように構成した従来の通訳装置の構成を示すブロック図である。
【０００５】
図４において、マイク４０１に向かって発せられた音声は、マイク４０１によって電気信号に変換され、入力アンプ４０２によって増幅される。増幅された入力音声信号は、音声分析回路４０３によって音声認識される。音声認識された結果は、電子翻訳回路４０４に供給され、ここで所望の外言語に自動的に翻訳される。そして、その後、音声合成回路４０５によって音声合成され、合成音声信号として出力される。出力された合成音声信号は、出力アンプ４０６で増幅され、スピーカ４０７から合成音声として出力される。
【０００６】
一方、計測回路４０８では、入力された音声の話速が計測され、その結果が制御回路４０９に加えられる。制御回路４０９は、計測回路４０８から供給された話速に応じて電子翻訳回路４０４、搬出速度制御回路４１０をそれぞれ制御し、合成音声の話速を入力音声の話速に連動するように制御する。
【０００７】
これにより、スピーカ４０７から出力される合成音声が、マイク４０１に入力された入力音声の話速にあったものになり、自然な話速の通訳結果を得ることができる。
【０００８】
なお、文字表示装置４１１は、翻訳結果を文字として表示するものである。
【０００９】
また、同じように、話者の声質に近い自然な通訳結果を得ることを目的として、合成音声の韻律を話者の入力音声を基に制御するようにしたものも公知である（例えば、特許文献２参照）。
【００１０】
これによれば、第１の言語からこれとは別の第２の言語に翻訳する場合、アクセントが考慮され、アクセントと言う面でより自然な通訳結果を得ることができ、音声理解を高めることができる。
【特許文献１】特開昭５７―５７３７５号公報
【特許文献２】特開平６−３３２４９４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記した従来の通訳装置では、合成音声の話速を入力音声の話速にあわせて制御するものであったり、合成音声のアクセントを入力音声のアクセントに合わせて適正なものになるように制御するものであったりするだけのものであり、合成音声の話速、アクセントに着目しただけのものであるため、話者の声質にあった適正な合成音声を得ることはできなかった。
【００１２】
本発明は、このような従来の問題に鑑みてなされたものであり、話者の声質にあったより近い合成音声を出力することができる通訳装置、通訳方法、および通訳プログラムを提供するものである。
【課題を解決するための手段】
【００１３】
本発明の通訳装置は、第１の言語で入力された入力音声を音声認識する音声認識手段と、音声認識された結果を第２の言語に翻訳する翻訳手段と、翻訳された第２の言語を音声合成する音声合成手段と、第１の言語の声質を分析する声質分析手段と、第１の言語の声質と第２の言語の声質との類似性を計量する声質類似性計量手段と、声質類似性計量手段で得られた声質類似性計量結果に基づいて音声合成手段によって音声合成される第２の言語の声質を制御する声質制御手段とを備えた構成を有する。
【００１４】
この構成により、第１の言語の声質と第２の言語の声質との類似性が声質類似性計量手段によって計量され、その類似性が近づくように音声合成手段が制御されるため、第２の言語の声質が第１の言語の声質に類似し、違和感を極力少なくすることができる。
【００１５】
また、本発明の通訳装置は、音声認識手段が、第１の言語で入力された入力音声信号を文字列または単語または単語列または文または意味表現として認識し、音声合成手段が、第２の言語による文字列または単語または単語列または文として合成する構成を有する。
【００１６】
この構成により、第１の言語を文字列または単語または単語列または文または意味表現として認識し、第２の言語を文字列または単語または単語列または文として合成することができる。
【００１７】
また、本発明の通訳装置は、声質分析手段が、入力音声の個人性を特徴づけている声質の特徴量を抽出し、声質類似性計量手段が、声質分析手段によって抽出された声質の特徴量を音声合成手段によって音声合成された第２の言語の声質の特徴量と比較する構成を有する。
【００１８】
この構成により、声質の類似性を、音声の個人性を特徴づけている声質の特徴量で容易に判断することができる。
【００１９】
また、本発明の通訳装置は、声質の特徴量が、入力音声信号、および、音声合成された第２の言語の音声信号に含まれる声道特性としてのスペクトル包絡である構成を有する。
【００２０】
この構成により、声質の特徴量を容易に抽出することができる。
【００２１】
また、本発明の通訳装置は、声質分析手段が、入力音声信号中の声道特徴量を抽出する声道特徴量抽出手段と、入力音声信号中のピッチ周波数を抽出するピッチ周波数抽出手段とを備え、声質類似性計量手段が、声道特徴量抽出手段によって抽出された声道特徴量と音声合成手段によって音声合成された第２の言語の声道特徴量とを比較する声道特徴量類似性計量手段と、ピッチ周波数抽出手段によって抽出されたピッチ周波数と音声合成手段によって音声合成された第２の言語のピッチ周波数とを比較するピッチ周波数類似性計量手段とを備えた構成を有する。
【００２２】
この構成により、声道特徴量のみならず、ピッチ周波数も対象として類似性が判断されることになり、個人の特徴をより大きく捕らえ、誰が発生したかをより分かりやすくすることができる。
【００２３】
また、本発明の通訳装置は、入力音声信号の信号パワーを抽出する信号パワー抽出手段を更に備え、信号パワー抽出手段で抽出した信号パワーを基に、音声合成手段によって合成される第２の言語の音声信号の信号パワーを制御する構成を有する。
【００２４】
この構成により、第２の言語の信号パワーを第１の言語の信号パワーに合わせて類似するように制御することができ、パワーが大きいときには大きく、小さいときには小さく、任意に調整することができる。
【００２５】
また、本発明の通訳装置は、入力音声信号から入力音声の発声速度を抽出する発声速度抽出手段を更に備え、発声速度抽出手段で抽出した発声速度を基に、音声合成手段によって合成される第２の言語の音声信号の発声速度を制御する構成を有する。
【００２６】
この構成により、第２の言語の発声速度を第１の言語の発声速度に合わせて早くしたり、遅くしたりすることができ、第１の言語を発声する人の特徴を更に１つ付加することができる。
【００２７】
さらに、本発明の通訳方法は、第１の言語で入力された入力音声を音声認識する音声認識ステップと、音声認識ステップで音声認識された結果を第２の言語に翻訳する翻訳ステップと、翻訳ステップで翻訳された第２の言語を音声合成する音声合成ステップと、第１の言語で入力された入力音声の声質を分析する声質分析ステップと、第１の言語で入力された入力音声の声質と第２の言語に翻訳された合成音声の声質の類似性を計量する声質類似性計量ステップと、声質類似性計量ステップで得られた声質類似性計量結果に基づいて、音声合成ステップで合成される第２の言語の声質を制御する声質制御ステップとを備えた構成を有する。
【００２８】
この構成により、第１の言語の声質と第２の言語の声質とが声質類似性計量ステップで互いに比較され、その結果にしたがって両者の声質の類似性がより近くなるように音声合成の方法が制御されることになり、第２の言語をより第１の言語の音声に近づけることができる。
【００２９】
また、本発明の通訳方法は、音声認識ステップが、第１の言語で入力された入力音声信号を文字列または単語または単語列または文または意味表現として認識し、音声合成ステップが、第２の言語による文字列または単語または単語列または文として合成する構成を有する。
【００３０】
この構成により、第１の言語を文字列または単語または単語列または文または意味表現として認識し、第２の言語を文字列または単語または単語列または文として合成することができる。
【００３１】
さらに、本発明の記録媒体は、第１の言語で入力された入力音声を音声認識する音声認識ステップと、音声認識ステップで音声認識された結果を第２の言語に翻訳する翻訳ステップと、翻訳ステップで翻訳された第２の言語を音声合成する音声合成ステップと、第１の言語で入力された入力音声の声質を分析する声質分析ステップと、第１の言語で入力された入力音声の声質と第２の言語に翻訳された合成音声の声質の類似性を計量する声質類似性計量ステップと、声質類似性計量ステップで得られた声質類似性計量結果に基づいて
、音声合成ステップで合成される第２の言語の声質を制御する声質制御ステップとをコンピュータに実行させるための通訳プログラムを記録している。
【００３２】
この構成により、この通訳プログラムを読み出して各ステップを実行し、第１の言語で発声された音声をそれに類似した声質の第２の言語に容易に翻訳することが可能になる。
【００３３】
さらに、本発明の通訳プログラムは、第１の言語で入力された入力音声を音声認識する音声認識手順と、音声認識手順で音声認識された結果を第２の言語に翻訳する翻訳手順と、翻訳手順で翻訳された第２の言語を音声合成する音声合成手順と、第１の言語で入力された入力音声の声質を分析する声質分析手順と、第１の言語で入力された入力音声の声質と第２の言語に翻訳された合成音声の声質の類似性を計量する声質類似性計量手順と、声質類似性計量手順で得られた声質類似性計量結果に基づいて、音声合成手順で合成される第２の言語の声質を制御する声質制御手順とをコンピュータに実行させる構成を有する。
【００３４】
この構成により、第１の言語で発声された音声をそれに類似した声質の第２の言語に翻訳することをコンピュータで実行させることができる。
【発明の効果】
【００３５】
本発明の通訳装置は、第１の言語で入力された入力音声を音声認識する音声認識手段と、音声認識された結果を第２の言語に翻訳する翻訳手段と、翻訳された第２の言語を音声合成する音声合成手段と、第１の言語の声質を分析する声質分析手段と、第１の言語の声質と第２の言語の声質との類似性を計量する声質類似性計量手段と、声質類似性計量手段で得られた声質類似性計量結果に基づいて音声合成手段によって音声合成される第２の言語の声質を制御する声質制御手段とを備えたものであり、第１の言語の声質と第２の言語の声質とが声質類似性計量手段によって計量され、その類似性が近づくように音声合成手段が制御されるため、第２の言語の声質が第１の言語の声質に類似し、違和感を生じることが少なくなるという効果を有する。
【発明を実施するための最良の形態】
【００３６】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３７】
(実施の形態１)
図１は、本発明の実施の形態１における通訳装置の概略構成を示すブロック図である。
【００３８】
本発明の実施の形態１における通訳装置は、図１に示すように、入力音声信号を入力する音声認識部１０１と、音声認識部１０１の出力を入力とする翻訳部１０２と、翻訳部１０２の出力を入力とする音声合成部１０３と、入力音声信号を入力とする声質分析部１０４と、声質分析部１０４の出力及び音声合成部１０３の音声合成結果を入力とし、これらの結果に基づいて音声合成部１０３を制御する声質制御部１０６とを備えている。
【００３９】
次に、本実施の形態における通訳装置について、その動作を説明する。
【００４０】
第１の言語（例えば、日本語）で発声された音声は、図示していないマイクで音声信号に変換され、入力アンプで増幅されて、入力音声信号として音声認識部１０１に入力される。音声認識部１０１に入力音声信号が入力されると、音声認識部１０１が、入力された入力音声信号を認識し、その結果を単語、単語列、文、意味表現など予め指定された形式で出力する。出力された認識結果は、翻訳部１０２に入力され、ここで、第２の言語（例えば、英語）に翻訳される。翻訳結果は、認識結果と同様、単語、単語列、文などの予め指定された表現形式で出力される。出力された翻訳結果は、音声合成部１０３に加えられ、ここで音声合成され、合成音声信号を出力する。
音声合成部１０３は、声質制御可能な音声合成手段であり、声質制御部１０６の制御の基でそれぞれ異なる声質の合成音声信号を出力することが可能なように構成されている。具体的には、例えば、公知技術であるボコーダに基づく方法（古井貞護著「音声情報処理」、森北出版1998 P40）等を用いるが、この方法に限定されるものではない。
【００４１】
以下、このことについて、より詳細に説明する。
【００４２】
入力音声信号は、音声認識部１０１に入力されると同時に、声質分析部１０４にも入力される。音声分析部１０４は、例えば、入力音声信号に含まれるスペクトル包絡（声道特性）などの音声の個人性を特徴づけている声質の特徴量を抽出する。この特徴量としては、例えば、低次ケプストラム係数等のベクトル量を使用する。
【００４３】
音声分析部１０４が入力音声信号から声質の特徴量を抽出すると、その特徴量が、声質類似性計量部１０５に入力される。声質類似性計量部１０５に入力音声信号の声質の特徴量が入力されると、声質類似性計量部１０５、声質制御部１０５の制御の基で、音声合成部１０３によって合成され、出力される合成音声信号の声質が入力音声信号の声質に最も近くなるように音声合成部１０３を制御する。
【００４４】
すなわち、声質類似性計量部１０５では、入力音声信号の声質の特徴量と、現在の制御条件を仮定した場合に音声合成部１０３により合成される音声の声質の特徴量とを互いに比較し、入力音声と出力音声の声質の類似性を計量する。声質の類似性の計量方法としては、例えば、低次ケプストラム係数等のベクトル量のユークリッド距離、或いは、聴覚重み付け距離等を用いる。
【００４５】
このようにして、声質の類似性を計量すると、その結果が声質制御部１０６に入力される。声質制御部１０６は、入力された声質の類似性に基づいて、声質の類似性が最適値になるように音声合成部１０３を制御する。
【００４６】
なお、声質の類似性として距離を用いる場合には、距離が小さいほど良好な制御規範である（良く似ている）ことを意味する。
【００４７】
かかる構成によれば、声質類似性計量部１０５によって入力音声信号の声質と合成音声信号の声質を互いに比較しながら声質制御部１０６を用いて音声合成部１０３を制御し、合成音声の声質を入力音声の声質により近いものにすることができる。
【００４８】
(実施の形態２)
図２は、本発明の実施の形態２における通訳装置の概略構成を示すブロック図である。
【００４９】
本発明の実施の形態２における通訳装置は、図２に示すように、入力音声信号を入力とする音声認識部２０１と、音声認識部２０１の出力を入力とする翻訳部２０２と、翻訳部２０２の出力を入力とする音声合成部２０３と、入力音声信号を入力とする声道特徴量抽出部２０４と、同じく入力音声信号を入力とするピッチ周波数抽出部２０５と、同じく入力音声信号を入力とする信号パワー抽出部２０６と、同じく入力音声信号を入力とする音声速度抽出部２０７と、声道抽出部２０４の出力を入力とする声道特徴量類似性計量部２０８と、ピッチ周波数抽出部２０５の出力を入力とするピッチ周波数類似性計量部２０９と、声道特徴量類似性計量部２０８、ピッチ周波数類似性計量部２０９、信号パワー抽出部２０６、音声速度抽出部２０７の出力をそれぞれ入力とし、音声合成部２０３を制御する声質制御部２１０とを備えている。
【００５０】
次に、本実施の形態における通訳装置について、その動作を説明する。
【００５１】
第１の言語で発声された音声は、図示していないマイクで音声信号に変換され、入力アンプで増幅されて、入力音声信号として音声認識部２０１に入力される。音声認識部２０１に入力音声信号が入力されると、音声認識部２０１が、入力された入力音声信号を認識し、その結果を単語、単語列、文、意味表現など予め指定された形式で出力する。出力された認識結果は、翻訳部２０２に入力され、ここで、第２の言語に翻訳される。翻訳結果は、認識結果と同様、単語、単語列、文などの予め指定された表現形式で出力される。出力された翻訳結果は、音声合成部２０３に加えられ、ここで音声合成され、合成音声信号を出力する。
【００５２】
音声合成部２０３は、声質制御可能な音声合成手段であり、声質制御部２１０の制御の基でそれぞれ異なる声質の合成音声信号を出力するように構成されている。そして、声質制御部２１０には、声道特徴量類似性計量部２０８、ピッチ周波数類似性計量部２０９、信号パワー抽出部２０６、発声速度抽出部２０７の出力が入力されるように構成されている。したがって、声質制御部２１０は、これらの出力で制御され、その出力に応じて音声合成部２０３を制御する。
【００５３】
以下、このことについて更に詳細に説明する。
【００５４】
先ず、声道特徴量抽出部２０４は、例えば、入力音声信号に含まれるスペクトル包絡（声道特性）などの音声の個人性を特徴づけている声質の特徴量を抽出する。この特徴量としては、例えば、低次ケプストラム係数等のベクトル量を使用する。声質の特徴量を抽出すると、その特徴量が声道特徴量類似性計量部２０８に供給される。そして、音声合成部２０３で合成された合成音声の声質の特徴量と比較される。
【００５５】
また、ピッチ周波数抽出部２０５は、入力音声信号のピッチ周波数、または、その推移パターンを抽出する。抽出されたピッチ周波数、または、その推移パターンは、ピッチ周波数類似性計量部２０９に入力され、ピッチ周波数類似度計量部２０９で、音声合成部２０３で合成された合成音声のピッチ周波数、または、その推移パターンと比較される。
【００５６】
声道特徴量類似性計量部２０８で比較され得られた結果と、ピッチ周波数類似性計量部２０９で比較され得られた結果、並びに、信号パワー抽出部２０６、発声速度抽出部２０７でそれぞれ抽出された入力音声信号のパワー、発声速度が、それぞれ声質制御部２１０に入力される。その結果、次のように、音声合成部２０３が制御される。
【００５７】
すなわち、まず、声道特徴量類似性計量部２０８、ピッチ周波数類似性計量部２０９、声質制御部２１０がそれぞれ動作することにより合成音の声質が入力音声に近い声質になるように音声合成部２０３が制御される。
【００５８】
声道特徴量類似性計量部２０８では、入力音声信号の声質の特徴量と、現在の制御条件を仮定した場合に音声合成部２０３により合成される音声の声質の特徴量とを比較し、入力音声と出力音声の声質の類似性を計量する。声質の類似性の計量方法としては、上記ベクトル量のユークリッド距離あるいは聴覚重み付け距離等を用いればよい。このようにして計量した声質の類似性は、声質制御部２１０に加えられ、それに基づいて音声合成部２０３が制御される。したがって、音声合成部２０３で合成される合成音の声質は、入力音声に近い声質になる。なお、類似性として距離を用いる場合は、距離の値が小さいほど良好な制御規範である（良く似ている）ことを意味する。
【００５９】
ピッチ周波数類似性計量部２０９では、入力音声信号のピッチ周波数パターンと現在の制御条件を仮定した場合に音声合成部２０３により合成される音声のピッチ周波数パター
ンの類似性を計量する。ピッチ周波数パターンの類似性も声質制御部２１０に供給され、それに基づいて音声合成部２０３が制御される。したがって、音声合成部２０３で合成される合成音のピッチ周波数パターンは、入力音声に近いピッチ周波数パターンになる。
【００６０】
また、声質の制御を行う際に入力音声信号のパワー、および、入力音声の発声速度も参照することになり、合成音のパワー、および、発声速度も入力音声に連動したパワー、および、発声速度になる。
【００６１】
このように、かかる構成によれば、声質特徴量抽出部２０４、ピッチ周波数抽出部２０５、信号パワー抽出部２０６、発声速度抽出部２０７により声質の特徴をそれぞれ抽出し、声道特徴量類似性計量部２０８、および、ピッチ周波数類似性計量部２０９を用いて声道特徴量類似度、ピッチ周波数類似度を算出し、それらを声質制御部２１０に入力して、声質制御部２１０で音声合成部２０３を制御しており、声道特徴量、ピッチ周波数、信号パワー、発声速度をそれぞれ入力音声により近いものにすることができ、より入力音声に近い声質の合成音を得ることができるという効果を有する。
【００６２】
(実施の形態３)
図３は、本発明の実施の形態３として、通訳方法を説明するためのフローチャートである。
【００６３】
図３において、ステップＳ３０１は、第１の言語で発声された音声信号を入力する音声入力ステップである。入力された第１の言語の音声信号は、次の音声認識ステップＳ３０２において音声認識され、その結果を単語または単語列または文または意味表現など予め指定された形式で出力する。翻訳ステップＳ３０３では、認識結果を第２の言語に翻訳し、翻訳結果を単語または単語列または文などあらかじめ指定された表現形式で出力する。音声合成ステップＳ３０４では、翻訳結果を入力し、第２の言語による合成音声信号を出力する。声質分析ステップＳ３０５では、例えば、入力音声に含まれるスペクトル包絡（声道特性）などの音声の個人性を特徴づける声質の特徴量を抽出する。この特徴量としては、例えば、低次ケプストラム係数等のベクトル量を使用すればよい。
【００６４】
声質類似性計量ステップＳ３０６と次の声質制御ステップＳ３０７とは、互いに連動して処理を行うことにより、合成音の声質が入力音声に近い声質になるように合成音の声質を制御する。
【００６５】
すなわち、声質類似性計量ステップＳ３０６では、入力音声信号の声質の特徴量と、現在の制御条件を仮定した場合に音声合成ステップＳ３０４により合成される音声の声質の特徴量とを比較することにより、入力音声と出力音声の声質の類似性を計量する。声質の類似性の計量方法としては、ベクトル量のユークリッド距離あるいは聴覚重み付け距離等を用いればよい。なお、類似性として距離を用いる場合は、距離の値が小さいほど良好な制御規範である（良く似ている）ことを意味する。声質制御ステップＳ３０７では、声質の類似性計量の結果が最適値になるように合成音声の制御を行う。
【００６６】
かかる方法によれば、声質類似性計量ステップＳ３０６と、声質制御ステップＳ３０７を用いて入力音声の声質と合成音声の声質を比較しながら合成音声の声質を制御することが可能であり、入力音声に近い声質の合成音声を出力することができる。
【００６７】
なお、本実施の形態において、これらのステップを含む通訳プログラムを記録媒体に記録した場合には、この記録媒体をコンピュータなどに装着し、コンピュータを用いてこれらのステップを含むプログラムを読み出し、任意に第１の言語で発声した音声を第２の言語に翻訳し、音声として音声合成することができる。
【００６８】
また、本実施の形態において、これらのステップを含む通訳プログラムをインターネットなどの通信媒体を介してコンピュータなどに配信あるいは移動などした場合には、配信あるいは移動されたコンピュータはこのプログラムをそのまま実行して、任意に第１の言語で発声した音声を第２の言語に翻訳し、音声として音声合成することができる。
【００６９】
そして、本実施の形態によれば、翻訳された第２の言語の声質を第１の言語の声質に近づけることができ、例えば、自分が発生したのに他人の声で翻訳されるとか、男性が発声したのに女性の声で翻訳されるとかといった違和感を生じることが極力少なくなり、より違和感の少ない翻訳を可能にする。
【００７０】
なお、上記各実施の形態において、第１の言語とは、翻訳される側の言語を意味し、第２の言語とは、翻訳された後の言語を意味している。すなわち、上記実施の形態のように日本語を英語に翻訳するのであれば、日本語が第１の言語、英語が第２の言語である。そして、同じ日本語でも、大阪弁を標準語に翻訳するのであれば、大阪弁が第１の言語、標準語が第２の言語である。すなわち、第１、第２の言語には、所謂、各国の言語のみならず、方言、現地語、その他言い回しの異なる全ての言語を含む。
【産業上の利用可能性】
【００７１】
本発明の通訳装置は、第１の言語で入力された入力音声を音声認識する音声認識手段と、音声認識された結果を第２の言語に翻訳する翻訳手段と、翻訳された第２の言語を音声合成する音声合成手段と、第１の言語の声質を分析する声質分析手段と、第１の言語の声質と第２の言語の声質との類似性を計量する声質類似性計量手段と、声質類似性計量手段で得られた声質類似性計量結果に基づいて音声合成手段によって音声合成される第２の言語の声質を制御する声質制御手段とを備えたものであり、第１の言語の声質と第２の言語の声質とが声質類似性計量手段によって計量され、その類似性が近づくように音声合成手段が制御されるため、第２の言語の声質が第１の言語の声質に類似し、違和感を生じることが極力少なくなリ、音声合成を行う各種機器に有用である。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施の形態１における通訳装置の構成を示すブロック図
【図２】本発明の実施の形態２における通訳装置の構成を示すブロック図
【図３】本発明の実施の形態３における通訳方法を説明するためのフローチャート
【図４】従来の通訳装置の構成を示すブロック図
【符号の説明】
【００７３】
１０１、２０１ 音声認識部
１０２、２０２ 翻訳部
１０３、２０３ 音声合成部
１０４ 声質分析部
１０５ 声質類似性計量部
１０６、２１０ 声質制御部
２０４ 声道特徴量抽出部
２０５ ピッチ周波数抽出部
２０６ 信号パワー抽出部
２０７ 発声速度抽出部
２０８ 声道特徴量類似性計量部
２０９ ピッチ周波数類似性計量部
【技術分野】
【０００１】
本発明は、第１の言語で発声され入力された音声信号を第２の言語に通訳し、その通訳結果を合成音声し出力する通訳装置、通訳方法、通訳プログラムを記録した記録媒体、および通訳プログラムに関するものである。
【背景技術】
【０００２】
従来、通訳装置は、マイクより入力された音声信号を音声認識手段により自動的に認識し、自動翻訳手段により上記認識結果を所望の外言語に翻訳したのち、音声合成手段により、上記翻訳結果を外言語の音声で合成するという構成により実現されている。
【０００３】
ところで、このような通訳装置において、話者の声質に近い自然な通訳結果を得ることを目的として、合成音声の話速を入力の話速に応じて制御するように構成したものも知られている（例えば、特許文献１参照）。
【０００４】
図４は、このように話速を制御するように構成した従来の通訳装置の構成を示すブロック図である。
【０００５】
図４において、マイク４０１に向かって発せられた音声は、マイク４０１によって電気信号に変換され、入力アンプ４０２によって増幅される。増幅された入力音声信号は、音声分析回路４０３によって音声認識される。音声認識された結果は、電子翻訳回路４０４に供給され、ここで所望の外言語に自動的に翻訳される。そして、その後、音声合成回路４０５によって音声合成され、合成音声信号として出力される。出力された合成音声信号は、出力アンプ４０６で増幅され、スピーカ４０７から合成音声として出力される。
【０００６】
一方、計測回路４０８では、入力された音声の話速が計測され、その結果が制御回路４０９に加えられる。制御回路４０９は、計測回路４０８から供給された話速に応じて電子翻訳回路４０４、搬出速度制御回路４１０をそれぞれ制御し、合成音声の話速を入力音声の話速に連動するように制御する。
【０００７】
これにより、スピーカ４０７から出力される合成音声が、マイク４０１に入力された入力音声の話速にあったものになり、自然な話速の通訳結果を得ることができる。
【０００８】
なお、文字表示装置４１１は、翻訳結果を文字として表示するものである。
【０００９】
また、同じように、話者の声質に近い自然な通訳結果を得ることを目的として、合成音声の韻律を話者の入力音声を基に制御するようにしたものも公知である（例えば、特許文献２参照）。
【００１０】
これによれば、第１の言語からこれとは別の第２の言語に翻訳する場合、アクセントが考慮され、アクセントと言う面でより自然な通訳結果を得ることができ、音声理解を高めることができる。
【特許文献１】特開昭５７―５７３７５号公報
【特許文献２】特開平６−３３２４９４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記した従来の通訳装置では、合成音声の話速を入力音声の話速にあわせて制御するものであったり、合成音声のアクセントを入力音声のアクセントに合わせて適正なものになるように制御するものであったりするだけのものであり、合成音声の話速、アクセントに着目しただけのものであるため、話者の声質にあった適正な合成音声を得ることはできなかった。
【００１２】
本発明は、このような従来の問題に鑑みてなされたものであり、話者の声質にあったより近い合成音声を出力することができる通訳装置、通訳方法、および通訳プログラムを提供するものである。
【課題を解決するための手段】
【００１３】
本発明の通訳装置は、第１の言語で入力された入力音声を音声認識する音声認識手段と、音声認識された結果を第２の言語に翻訳する翻訳手段と、翻訳された第２の言語を音声合成する音声合成手段と、第１の言語の声質を分析する声質分析手段と、第１の言語の声質と第２の言語の声質との類似性を計量する声質類似性計量手段と、声質類似性計量手段で得られた声質類似性計量結果に基づいて音声合成手段によって音声合成される第２の言語の声質を制御する声質制御手段とを備えた構成を有する。
【００１４】
この構成により、第１の言語の声質と第２の言語の声質との類似性が声質類似性計量手段によって計量され、その類似性が近づくように音声合成手段が制御されるため、第２の言語の声質が第１の言語の声質に類似し、違和感を極力少なくすることができる。
【００１５】
また、本発明の通訳装置は、音声認識手段が、第１の言語で入力された入力音声信号を文字列または単語または単語列または文または意味表現として認識し、音声合成手段が、第２の言語による文字列または単語または単語列または文として合成する構成を有する。
【００１６】
この構成により、第１の言語を文字列または単語または単語列または文または意味表現として認識し、第２の言語を文字列または単語または単語列または文として合成することができる。
【００１７】
また、本発明の通訳装置は、声質分析手段が、入力音声の個人性を特徴づけている声質の特徴量を抽出し、声質類似性計量手段が、声質分析手段によって抽出された声質の特徴量を音声合成手段によって音声合成された第２の言語の声質の特徴量と比較する構成を有する。
【００１８】
この構成により、声質の類似性を、音声の個人性を特徴づけている声質の特徴量で容易に判断することができる。
【００１９】
また、本発明の通訳装置は、声質の特徴量が、入力音声信号、および、音声合成された第２の言語の音声信号に含まれる声道特性としてのスペクトル包絡である構成を有する。
【００２０】
この構成により、声質の特徴量を容易に抽出することができる。
【００２１】
また、本発明の通訳装置は、声質分析手段が、入力音声信号中の声道特徴量を抽出する声道特徴量抽出手段と、入力音声信号中のピッチ周波数を抽出するピッチ周波数抽出手段とを備え、声質類似性計量手段が、声道特徴量抽出手段によって抽出された声道特徴量と音声合成手段によって音声合成された第２の言語の声道特徴量とを比較する声道特徴量類似性計量手段と、ピッチ周波数抽出手段によって抽出されたピッチ周波数と音声合成手段によって音声合成された第２の言語のピッチ周波数とを比較するピッチ周波数類似性計量手段とを備えた構成を有する。
【００２２】
この構成により、声道特徴量のみならず、ピッチ周波数も対象として類似性が判断されることになり、個人の特徴をより大きく捕らえ、誰が発生したかをより分かりやすくすることができる。
【００２３】
また、本発明の通訳装置は、入力音声信号の信号パワーを抽出する信号パワー抽出手段を更に備え、信号パワー抽出手段で抽出した信号パワーを基に、音声合成手段によって合成される第２の言語の音声信号の信号パワーを制御する構成を有する。
【００２４】
この構成により、第２の言語の信号パワーを第１の言語の信号パワーに合わせて類似するように制御することができ、パワーが大きいときには大きく、小さいときには小さく、任意に調整することができる。
【００２５】
また、本発明の通訳装置は、入力音声信号から入力音声の発声速度を抽出する発声速度抽出手段を更に備え、発声速度抽出手段で抽出した発声速度を基に、音声合成手段によって合成される第２の言語の音声信号の発声速度を制御する構成を有する。
【００２６】
この構成により、第２の言語の発声速度を第１の言語の発声速度に合わせて早くしたり、遅くしたりすることができ、第１の言語を発声する人の特徴を更に１つ付加することができる。
【００２７】
さらに、本発明の通訳方法は、第１の言語で入力された入力音声を音声認識する音声認識ステップと、音声認識ステップで音声認識された結果を第２の言語に翻訳する翻訳ステップと、翻訳ステップで翻訳された第２の言語を音声合成する音声合成ステップと、第１の言語で入力された入力音声の声質を分析する声質分析ステップと、第１の言語で入力された入力音声の声質と第２の言語に翻訳された合成音声の声質の類似性を計量する声質類似性計量ステップと、声質類似性計量ステップで得られた声質類似性計量結果に基づいて、音声合成ステップで合成される第２の言語の声質を制御する声質制御ステップとを備えた構成を有する。
【００２８】
この構成により、第１の言語の声質と第２の言語の声質とが声質類似性計量ステップで互いに比較され、その結果にしたがって両者の声質の類似性がより近くなるように音声合成の方法が制御されることになり、第２の言語をより第１の言語の音声に近づけることができる。
【００２９】
また、本発明の通訳方法は、音声認識ステップが、第１の言語で入力された入力音声信号を文字列または単語または単語列または文または意味表現として認識し、音声合成ステップが、第２の言語による文字列または単語または単語列または文として合成する構成を有する。
【００３０】
この構成により、第１の言語を文字列または単語または単語列または文または意味表現として認識し、第２の言語を文字列または単語または単語列または文として合成することができる。
【００３１】
さらに、本発明の記録媒体は、第１の言語で入力された入力音声を音声認識する音声認識ステップと、音声認識ステップで音声認識された結果を第２の言語に翻訳する翻訳ステップと、翻訳ステップで翻訳された第２の言語を音声合成する音声合成ステップと、第１の言語で入力された入力音声の声質を分析する声質分析ステップと、第１の言語で入力された入力音声の声質と第２の言語に翻訳された合成音声の声質の類似性を計量する声質類似性計量ステップと、声質類似性計量ステップで得られた声質類似性計量結果に基づいて
、音声合成ステップで合成される第２の言語の声質を制御する声質制御ステップとをコンピュータに実行させるための通訳プログラムを記録している。
【００３２】
この構成により、この通訳プログラムを読み出して各ステップを実行し、第１の言語で発声された音声をそれに類似した声質の第２の言語に容易に翻訳することが可能になる。
【００３３】
さらに、本発明の通訳プログラムは、第１の言語で入力された入力音声を音声認識する音声認識手順と、音声認識手順で音声認識された結果を第２の言語に翻訳する翻訳手順と、翻訳手順で翻訳された第２の言語を音声合成する音声合成手順と、第１の言語で入力された入力音声の声質を分析する声質分析手順と、第１の言語で入力された入力音声の声質と第２の言語に翻訳された合成音声の声質の類似性を計量する声質類似性計量手順と、声質類似性計量手順で得られた声質類似性計量結果に基づいて、音声合成手順で合成される第２の言語の声質を制御する声質制御手順とをコンピュータに実行させる構成を有する。
【００３４】
この構成により、第１の言語で発声された音声をそれに類似した声質の第２の言語に翻訳することをコンピュータで実行させることができる。
【発明の効果】
【００３５】
本発明の通訳装置は、第１の言語で入力された入力音声を音声認識する音声認識手段と、音声認識された結果を第２の言語に翻訳する翻訳手段と、翻訳された第２の言語を音声合成する音声合成手段と、第１の言語の声質を分析する声質分析手段と、第１の言語の声質と第２の言語の声質との類似性を計量する声質類似性計量手段と、声質類似性計量手段で得られた声質類似性計量結果に基づいて音声合成手段によって音声合成される第２の言語の声質を制御する声質制御手段とを備えたものであり、第１の言語の声質と第２の言語の声質とが声質類似性計量手段によって計量され、その類似性が近づくように音声合成手段が制御されるため、第２の言語の声質が第１の言語の声質に類似し、違和感を生じることが少なくなるという効果を有する。
【発明を実施するための最良の形態】
【００３６】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３７】
(実施の形態１)
図１は、本発明の実施の形態１における通訳装置の概略構成を示すブロック図である。
【００３８】
本発明の実施の形態１における通訳装置は、図１に示すように、入力音声信号を入力する音声認識部１０１と、音声認識部１０１の出力を入力とする翻訳部１０２と、翻訳部１０２の出力を入力とする音声合成部１０３と、入力音声信号を入力とする声質分析部１０４と、声質分析部１０４の出力及び音声合成部１０３の音声合成結果を入力とし、これらの結果に基づいて音声合成部１０３を制御する声質制御部１０６とを備えている。
【００３９】
次に、本実施の形態における通訳装置について、その動作を説明する。
【００４０】
第１の言語（例えば、日本語）で発声された音声は、図示していないマイクで音声信号に変換され、入力アンプで増幅されて、入力音声信号として音声認識部１０１に入力される。音声認識部１０１に入力音声信号が入力されると、音声認識部１０１が、入力された入力音声信号を認識し、その結果を単語、単語列、文、意味表現など予め指定された形式で出力する。出力された認識結果は、翻訳部１０２に入力され、ここで、第２の言語（例えば、英語）に翻訳される。翻訳結果は、認識結果と同様、単語、単語列、文などの予め指定された表現形式で出力される。出力された翻訳結果は、音声合成部１０３に加えられ、ここで音声合成され、合成音声信号を出力する。
音声合成部１０３は、声質制御可能な音声合成手段であり、声質制御部１０６の制御の基でそれぞれ異なる声質の合成音声信号を出力することが可能なように構成されている。具体的には、例えば、公知技術であるボコーダに基づく方法（古井貞護著「音声情報処理」、森北出版1998 P40）等を用いるが、この方法に限定されるものではない。
【００４１】
以下、このことについて、より詳細に説明する。
【００４２】
入力音声信号は、音声認識部１０１に入力されると同時に、声質分析部１０４にも入力される。音声分析部１０４は、例えば、入力音声信号に含まれるスペクトル包絡（声道特性）などの音声の個人性を特徴づけている声質の特徴量を抽出する。この特徴量としては、例えば、低次ケプストラム係数等のベクトル量を使用する。
【００４３】
音声分析部１０４が入力音声信号から声質の特徴量を抽出すると、その特徴量が、声質類似性計量部１０５に入力される。声質類似性計量部１０５に入力音声信号の声質の特徴量が入力されると、声質類似性計量部１０５、声質制御部１０５の制御の基で、音声合成部１０３によって合成され、出力される合成音声信号の声質が入力音声信号の声質に最も近くなるように音声合成部１０３を制御する。
【００４４】
すなわち、声質類似性計量部１０５では、入力音声信号の声質の特徴量と、現在の制御条件を仮定した場合に音声合成部１０３により合成される音声の声質の特徴量とを互いに比較し、入力音声と出力音声の声質の類似性を計量する。声質の類似性の計量方法としては、例えば、低次ケプストラム係数等のベクトル量のユークリッド距離、或いは、聴覚重み付け距離等を用いる。
【００４５】
このようにして、声質の類似性を計量すると、その結果が声質制御部１０６に入力される。声質制御部１０６は、入力された声質の類似性に基づいて、声質の類似性が最適値になるように音声合成部１０３を制御する。
【００４６】
なお、声質の類似性として距離を用いる場合には、距離が小さいほど良好な制御規範である（良く似ている）ことを意味する。
【００４７】
かかる構成によれば、声質類似性計量部１０５によって入力音声信号の声質と合成音声信号の声質を互いに比較しながら声質制御部１０６を用いて音声合成部１０３を制御し、合成音声の声質を入力音声の声質により近いものにすることができる。
【００４８】
(実施の形態２)
図２は、本発明の実施の形態２における通訳装置の概略構成を示すブロック図である。
【００４９】
本発明の実施の形態２における通訳装置は、図２に示すように、入力音声信号を入力とする音声認識部２０１と、音声認識部２０１の出力を入力とする翻訳部２０２と、翻訳部２０２の出力を入力とする音声合成部２０３と、入力音声信号を入力とする声道特徴量抽出部２０４と、同じく入力音声信号を入力とするピッチ周波数抽出部２０５と、同じく入力音声信号を入力とする信号パワー抽出部２０６と、同じく入力音声信号を入力とする音声速度抽出部２０７と、声道抽出部２０４の出力を入力とする声道特徴量類似性計量部２０８と、ピッチ周波数抽出部２０５の出力を入力とするピッチ周波数類似性計量部２０９と、声道特徴量類似性計量部２０８、ピッチ周波数類似性計量部２０９、信号パワー抽出部２０６、音声速度抽出部２０７の出力をそれぞれ入力とし、音声合成部２０３を制御する声質制御部２１０とを備えている。
【００５０】
次に、本実施の形態における通訳装置について、その動作を説明する。
【００５１】
第１の言語で発声された音声は、図示していないマイクで音声信号に変換され、入力アンプで増幅されて、入力音声信号として音声認識部２０１に入力される。音声認識部２０１に入力音声信号が入力されると、音声認識部２０１が、入力された入力音声信号を認識し、その結果を単語、単語列、文、意味表現など予め指定された形式で出力する。出力された認識結果は、翻訳部２０２に入力され、ここで、第２の言語に翻訳される。翻訳結果は、認識結果と同様、単語、単語列、文などの予め指定された表現形式で出力される。出力された翻訳結果は、音声合成部２０３に加えられ、ここで音声合成され、合成音声信号を出力する。
【００５２】
音声合成部２０３は、声質制御可能な音声合成手段であり、声質制御部２１０の制御の基でそれぞれ異なる声質の合成音声信号を出力するように構成されている。そして、声質制御部２１０には、声道特徴量類似性計量部２０８、ピッチ周波数類似性計量部２０９、信号パワー抽出部２０６、発声速度抽出部２０７の出力が入力されるように構成されている。したがって、声質制御部２１０は、これらの出力で制御され、その出力に応じて音声合成部２０３を制御する。
【００５３】
以下、このことについて更に詳細に説明する。
【００５４】
先ず、声道特徴量抽出部２０４は、例えば、入力音声信号に含まれるスペクトル包絡（声道特性）などの音声の個人性を特徴づけている声質の特徴量を抽出する。この特徴量としては、例えば、低次ケプストラム係数等のベクトル量を使用する。声質の特徴量を抽出すると、その特徴量が声道特徴量類似性計量部２０８に供給される。そして、音声合成部２０３で合成された合成音声の声質の特徴量と比較される。
【００５５】
また、ピッチ周波数抽出部２０５は、入力音声信号のピッチ周波数、または、その推移パターンを抽出する。抽出されたピッチ周波数、または、その推移パターンは、ピッチ周波数類似性計量部２０９に入力され、ピッチ周波数類似度計量部２０９で、音声合成部２０３で合成された合成音声のピッチ周波数、または、その推移パターンと比較される。
【００５６】
声道特徴量類似性計量部２０８で比較され得られた結果と、ピッチ周波数類似性計量部２０９で比較され得られた結果、並びに、信号パワー抽出部２０６、発声速度抽出部２０７でそれぞれ抽出された入力音声信号のパワー、発声速度が、それぞれ声質制御部２１０に入力される。その結果、次のように、音声合成部２０３が制御される。
【００５７】
すなわち、まず、声道特徴量類似性計量部２０８、ピッチ周波数類似性計量部２０９、声質制御部２１０がそれぞれ動作することにより合成音の声質が入力音声に近い声質になるように音声合成部２０３が制御される。
【００５８】
声道特徴量類似性計量部２０８では、入力音声信号の声質の特徴量と、現在の制御条件を仮定した場合に音声合成部２０３により合成される音声の声質の特徴量とを比較し、入力音声と出力音声の声質の類似性を計量する。声質の類似性の計量方法としては、上記ベクトル量のユークリッド距離あるいは聴覚重み付け距離等を用いればよい。このようにして計量した声質の類似性は、声質制御部２１０に加えられ、それに基づいて音声合成部２０３が制御される。したがって、音声合成部２０３で合成される合成音の声質は、入力音声に近い声質になる。なお、類似性として距離を用いる場合は、距離の値が小さいほど良好な制御規範である（良く似ている）ことを意味する。
【００５９】
ピッチ周波数類似性計量部２０９では、入力音声信号のピッチ周波数パターンと現在の制御条件を仮定した場合に音声合成部２０３により合成される音声のピッチ周波数パター
ンの類似性を計量する。ピッチ周波数パターンの類似性も声質制御部２１０に供給され、それに基づいて音声合成部２０３が制御される。したがって、音声合成部２０３で合成される合成音のピッチ周波数パターンは、入力音声に近いピッチ周波数パターンになる。
【００６０】
また、声質の制御を行う際に入力音声信号のパワー、および、入力音声の発声速度も参照することになり、合成音のパワー、および、発声速度も入力音声に連動したパワー、および、発声速度になる。
【００６１】
このように、かかる構成によれば、声質特徴量抽出部２０４、ピッチ周波数抽出部２０５、信号パワー抽出部２０６、発声速度抽出部２０７により声質の特徴をそれぞれ抽出し、声道特徴量類似性計量部２０８、および、ピッチ周波数類似性計量部２０９を用いて声道特徴量類似度、ピッチ周波数類似度を算出し、それらを声質制御部２１０に入力して、声質制御部２１０で音声合成部２０３を制御しており、声道特徴量、ピッチ周波数、信号パワー、発声速度をそれぞれ入力音声により近いものにすることができ、より入力音声に近い声質の合成音を得ることができるという効果を有する。
【００６２】
(実施の形態３)
図３は、本発明の実施の形態３として、通訳方法を説明するためのフローチャートである。
【００６３】
図３において、ステップＳ３０１は、第１の言語で発声された音声信号を入力する音声入力ステップである。入力された第１の言語の音声信号は、次の音声認識ステップＳ３０２において音声認識され、その結果を単語または単語列または文または意味表現など予め指定された形式で出力する。翻訳ステップＳ３０３では、認識結果を第２の言語に翻訳し、翻訳結果を単語または単語列または文などあらかじめ指定された表現形式で出力する。音声合成ステップＳ３０４では、翻訳結果を入力し、第２の言語による合成音声信号を出力する。声質分析ステップＳ３０５では、例えば、入力音声に含まれるスペクトル包絡（声道特性）などの音声の個人性を特徴づける声質の特徴量を抽出する。この特徴量としては、例えば、低次ケプストラム係数等のベクトル量を使用すればよい。
【００６４】
声質類似性計量ステップＳ３０６と次の声質制御ステップＳ３０７とは、互いに連動して処理を行うことにより、合成音の声質が入力音声に近い声質になるように合成音の声質を制御する。
【００６５】
すなわち、声質類似性計量ステップＳ３０６では、入力音声信号の声質の特徴量と、現在の制御条件を仮定した場合に音声合成ステップＳ３０４により合成される音声の声質の特徴量とを比較することにより、入力音声と出力音声の声質の類似性を計量する。声質の類似性の計量方法としては、ベクトル量のユークリッド距離あるいは聴覚重み付け距離等を用いればよい。なお、類似性として距離を用いる場合は、距離の値が小さいほど良好な制御規範である（良く似ている）ことを意味する。声質制御ステップＳ３０７では、声質の類似性計量の結果が最適値になるように合成音声の制御を行う。
【００６６】
かかる方法によれば、声質類似性計量ステップＳ３０６と、声質制御ステップＳ３０７を用いて入力音声の声質と合成音声の声質を比較しながら合成音声の声質を制御することが可能であり、入力音声に近い声質の合成音声を出力することができる。
【００６７】
なお、本実施の形態において、これらのステップを含む通訳プログラムを記録媒体に記録した場合には、この記録媒体をコンピュータなどに装着し、コンピュータを用いてこれらのステップを含むプログラムを読み出し、任意に第１の言語で発声した音声を第２の言語に翻訳し、音声として音声合成することができる。
【００６８】
また、本実施の形態において、これらのステップを含む通訳プログラムをインターネットなどの通信媒体を介してコンピュータなどに配信あるいは移動などした場合には、配信あるいは移動されたコンピュータはこのプログラムをそのまま実行して、任意に第１の言語で発声した音声を第２の言語に翻訳し、音声として音声合成することができる。
【００６９】
そして、本実施の形態によれば、翻訳された第２の言語の声質を第１の言語の声質に近づけることができ、例えば、自分が発生したのに他人の声で翻訳されるとか、男性が発声したのに女性の声で翻訳されるとかといった違和感を生じることが極力少なくなり、より違和感の少ない翻訳を可能にする。
【００７０】
なお、上記各実施の形態において、第１の言語とは、翻訳される側の言語を意味し、第２の言語とは、翻訳された後の言語を意味している。すなわち、上記実施の形態のように日本語を英語に翻訳するのであれば、日本語が第１の言語、英語が第２の言語である。そして、同じ日本語でも、大阪弁を標準語に翻訳するのであれば、大阪弁が第１の言語、標準語が第２の言語である。すなわち、第１、第２の言語には、所謂、各国の言語のみならず、方言、現地語、その他言い回しの異なる全ての言語を含む。
【産業上の利用可能性】
【００７１】
本発明の通訳装置は、第１の言語で入力された入力音声を音声認識する音声認識手段と、音声認識された結果を第２の言語に翻訳する翻訳手段と、翻訳された第２の言語を音声合成する音声合成手段と、第１の言語の声質を分析する声質分析手段と、第１の言語の声質と第２の言語の声質との類似性を計量する声質類似性計量手段と、声質類似性計量手段で得られた声質類似性計量結果に基づいて音声合成手段によって音声合成される第２の言語の声質を制御する声質制御手段とを備えたものであり、第１の言語の声質と第２の言語の声質とが声質類似性計量手段によって計量され、その類似性が近づくように音声合成手段が制御されるため、第２の言語の声質が第１の言語の声質に類似し、違和感を生じることが極力少なくなリ、音声合成を行う各種機器に有用である。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施の形態１における通訳装置の構成を示すブロック図
【図２】本発明の実施の形態２における通訳装置の構成を示すブロック図
【図３】本発明の実施の形態３における通訳方法を説明するためのフローチャート
【図４】従来の通訳装置の構成を示すブロック図
【符号の説明】
【００７３】
１０１、２０１ 音声認識部
１０２、２０２ 翻訳部
１０３、２０３ 音声合成部
１０４ 声質分析部
１０５ 声質類似性計量部
１０６、２１０ 声質制御部
２０４ 声道特徴量抽出部
２０５ ピッチ周波数抽出部
２０６ 信号パワー抽出部
２０７ 発声速度抽出部
２０８ 声道特徴量類似性計量部
２０９ ピッチ周波数類似性計量部
【特許請求の範囲】
【請求項１】
第１の言語で入力された入力音声を音声認識する音声認識手段と、前記音声認識された結果を第２の言語に翻訳する翻訳手段と、前記翻訳された第２の言語を音声合成する音声合成手段と、前記第１の言語の声質を分析する声質分析手段と、前記第１の言語の声質と前記第２の言語の声質との類似性を計量する声質類似性計量手段と、前記声質類似性計量手段で得られた声質類似性計量結果に基づいて前記音声合成手段によって音声合成される第２の言語の声質を制御する声質制御手段とを備えたことを特徴とする通訳装置。
【請求項２】
前記音声認識手段が、前記第１の言語で入力された入力音声信号を、文字列、単語、単語列、文又は意味表現として認識し、前記音声合成手段が、前記第２の言語による文字列、単語、単語列又は文として合成することを特徴とする請求項1記載の通訳装置
【請求項３】
前記声質分析手段が、前記入力音声の個人性を特徴づけている声質の特徴量を抽出し、前記声質類似性計量手段が、前記声質分析手段によって抽出された声質の特徴量を前記音声合成手段によって音声合成された第２の言語の声質の特徴量と比較することを特徴とする請求項１または２記載の通訳装置。
【請求項４】
前記声質の特徴量が、前記入力音声信号、および、前記音声合成された第２の言語の音声信号に含まれる声道特性としてのスペクトル包絡であることを特徴とする請求項３記載の通訳装置。
【請求項５】
前記声質分析手段が、前記入力音声信号中の声道特徴量を抽出する声道特徴量抽出手段と、前記入力音声信号中のピッチ周波数を抽出するピッチ周波数抽出手段とを備え、前記声質類似性計量手段が、前記声道特徴量抽出手段によって抽出された声道特徴量と前記音声合成手段によって音声合成された前記第２の言語の声道特徴量とを比較する声道特徴量類似性計量手段と、前記ピッチ周波数抽出手段によって抽出されたピッチ周波数と前記音声合成手段によって音声合成された前記第２の言語のピッチ周波数とを比較するピッチ周波数類似性計量手段とを備えることを特徴とする請求項１から４までのうちのいずれかに記載の通訳装置。
【請求項６】
前記入力音声信号の信号パワーを抽出する信号パワー抽出手段を更に備え、前記信号パワー抽出手段で抽出した前記信号パワーを基に、前記音声合成手段によって合成される前記第２の言語の音声信号の信号パワーを制御することを特徴とする請求項１から５までのうちのいずれかに記載の通訳装置。
【請求項７】
前記入力音声信号から入力音声の発声速度を抽出する発声速度抽出手段を更に備え、前記発声速度抽出手段で抽出した前記発声速度を基に、前記音声合成手段によって合成される前記第２の言語の音声信号の発声速度を制御することを特徴とする請求項１から５までのうちのいずれかに記載の通訳装置。
【請求項８】
第１の言語で入力された入力音声を音声認識する音声認識ステップと、前記音声認識ステップで音声認識された結果を第２の言語に翻訳する翻訳ステップと、前記翻訳ステップで翻訳された前記第２の言語を音声合成する音声合成ステップと、前記第１の言語で入力された入力音声の声質を分析する声質分析ステップと、前記第１の言語で入力された入力音声の声質と前記第２の言語に翻訳された合成音声の声質の類似性を計量する声質類似性計量ステップと、前記声質類似性計量ステップで得られた声質類似性計量結果に基づいて、前記音声合成ステップで合成される前記第２の言語の声質を制御する声質制御ステップとを備えたことを特徴とする通訳方法。
【請求項９】
前記音声認識ステップが、前記第１の言語で入力された入力音声信号を文字列、単語、単語列、文又は意味表現として認識し、前記音声合成ステップが、前記第２の言語による文字列、単語、単語列又は文として合成することを特徴とする請求項８記載の通訳方法。
【請求項１０】
第１の言語で入力された入力音声を音声認識する音声認識ステップと、前記音声認識ステップで音声認識された結果を第２の言語に翻訳する翻訳ステップと、前記翻訳ステップで翻訳された前記第２の言語を音声合成する音声合成ステップと、前記第１の言語で入力された入力音声の声質を分析する声質分析ステップと、前記第１の言語で入力された入力音声の声質と前記第２の言語に翻訳された合成音声の声質の類似性を計量する声質類似性計量ステップと、前記声質類似性計量ステップで得られた声質類似性計量結果に基づいて、前記音声合成ステップで合成される前記第２の言語の声質を制御する声質制御ステップとをコンピュータに実行させるための通訳プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
第１の言語で入力された入力音声を音声認識する音声認識手順と、前記音声認識手順で音声認識された結果を第２の言語に翻訳する翻訳手順と、前記翻訳手順で翻訳された前記第２の言語を音声合成する音声合成手順と、前記第１の言語で入力された入力音声の声質を分析する声質分析手順と、前記第１の言語で入力された入力音声の声質と前記第２の言語に翻訳された合成音声の声質の類似性を計量する声質類似性計量手順と、前記声質類似性計量手順で得られた声質類似性計量結果に基づいて、前記音声合成手順で合成される前記第２の言語の声質を制御する声質制御手順とをコンピュータに実行させるための通訳プログラム。
【請求項１】
第１の言語で入力された入力音声を音声認識する音声認識手段と、前記音声認識された結果を第２の言語に翻訳する翻訳手段と、前記翻訳された第２の言語を音声合成する音声合成手段と、前記第１の言語の声質を分析する声質分析手段と、前記第１の言語の声質と前記第２の言語の声質との類似性を計量する声質類似性計量手段と、前記声質類似性計量手段で得られた声質類似性計量結果に基づいて前記音声合成手段によって音声合成される第２の言語の声質を制御する声質制御手段とを備えたことを特徴とする通訳装置。
【請求項２】
前記音声認識手段が、前記第１の言語で入力された入力音声信号を、文字列、単語、単語列、文又は意味表現として認識し、前記音声合成手段が、前記第２の言語による文字列、単語、単語列又は文として合成することを特徴とする請求項1記載の通訳装置
【請求項３】
前記声質分析手段が、前記入力音声の個人性を特徴づけている声質の特徴量を抽出し、前記声質類似性計量手段が、前記声質分析手段によって抽出された声質の特徴量を前記音声合成手段によって音声合成された第２の言語の声質の特徴量と比較することを特徴とする請求項１または２記載の通訳装置。
【請求項４】
前記声質の特徴量が、前記入力音声信号、および、前記音声合成された第２の言語の音声信号に含まれる声道特性としてのスペクトル包絡であることを特徴とする請求項３記載の通訳装置。
【請求項５】
前記声質分析手段が、前記入力音声信号中の声道特徴量を抽出する声道特徴量抽出手段と、前記入力音声信号中のピッチ周波数を抽出するピッチ周波数抽出手段とを備え、前記声質類似性計量手段が、前記声道特徴量抽出手段によって抽出された声道特徴量と前記音声合成手段によって音声合成された前記第２の言語の声道特徴量とを比較する声道特徴量類似性計量手段と、前記ピッチ周波数抽出手段によって抽出されたピッチ周波数と前記音声合成手段によって音声合成された前記第２の言語のピッチ周波数とを比較するピッチ周波数類似性計量手段とを備えることを特徴とする請求項１から４までのうちのいずれかに記載の通訳装置。
【請求項６】
前記入力音声信号の信号パワーを抽出する信号パワー抽出手段を更に備え、前記信号パワー抽出手段で抽出した前記信号パワーを基に、前記音声合成手段によって合成される前記第２の言語の音声信号の信号パワーを制御することを特徴とする請求項１から５までのうちのいずれかに記載の通訳装置。
【請求項７】
前記入力音声信号から入力音声の発声速度を抽出する発声速度抽出手段を更に備え、前記発声速度抽出手段で抽出した前記発声速度を基に、前記音声合成手段によって合成される前記第２の言語の音声信号の発声速度を制御することを特徴とする請求項１から５までのうちのいずれかに記載の通訳装置。
【請求項８】
第１の言語で入力された入力音声を音声認識する音声認識ステップと、前記音声認識ステップで音声認識された結果を第２の言語に翻訳する翻訳ステップと、前記翻訳ステップで翻訳された前記第２の言語を音声合成する音声合成ステップと、前記第１の言語で入力された入力音声の声質を分析する声質分析ステップと、前記第１の言語で入力された入力音声の声質と前記第２の言語に翻訳された合成音声の声質の類似性を計量する声質類似性計量ステップと、前記声質類似性計量ステップで得られた声質類似性計量結果に基づいて、前記音声合成ステップで合成される前記第２の言語の声質を制御する声質制御ステップとを備えたことを特徴とする通訳方法。
【請求項９】
前記音声認識ステップが、前記第１の言語で入力された入力音声信号を文字列、単語、単語列、文又は意味表現として認識し、前記音声合成ステップが、前記第２の言語による文字列、単語、単語列又は文として合成することを特徴とする請求項８記載の通訳方法。
【請求項１０】
第１の言語で入力された入力音声を音声認識する音声認識ステップと、前記音声認識ステップで音声認識された結果を第２の言語に翻訳する翻訳ステップと、前記翻訳ステップで翻訳された前記第２の言語を音声合成する音声合成ステップと、前記第１の言語で入力された入力音声の声質を分析する声質分析ステップと、前記第１の言語で入力された入力音声の声質と前記第２の言語に翻訳された合成音声の声質の類似性を計量する声質類似性計量ステップと、前記声質類似性計量ステップで得られた声質類似性計量結果に基づいて、前記音声合成ステップで合成される前記第２の言語の声質を制御する声質制御ステップとをコンピュータに実行させるための通訳プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
第１の言語で入力された入力音声を音声認識する音声認識手順と、前記音声認識手順で音声認識された結果を第２の言語に翻訳する翻訳手順と、前記翻訳手順で翻訳された前記第２の言語を音声合成する音声合成手順と、前記第１の言語で入力された入力音声の声質を分析する声質分析手順と、前記第１の言語で入力された入力音声の声質と前記第２の言語に翻訳された合成音声の声質の類似性を計量する声質類似性計量手順と、前記声質類似性計量手順で得られた声質類似性計量結果に基づいて、前記音声合成手順で合成される前記第２の言語の声質を制御する声質制御手順とをコンピュータに実行させるための通訳プログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００６−１８９５４４（Ｐ２００６−１８９５４４Ａ）
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願番号】特願２００５−３９６（Ｐ２００５−３９６）
【出願日】平成１７年１月５日（２００５．１．５）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願日】平成１７年１月５日（２００５．１．５）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]