音声合成装置、音声合成方法、および音声合成用プログラム
【課題】合成音声を聞いたユーザが、その合成音声に対応づけられたオブジェクトとの位置関係やそのオブジェクトの状況や発話の意図を想起しやすい合成音声を生成する。
【解決手段】合成パラメータ決定部２１は、少なくとも方向Ｃ、距離ｒ、相対角度のいずれか、またはその組み合わせによって示される位置関係もしくはオブジェクト０１の周囲の環境に応じて、音声合成パラメータを決定する。音声合成部２２は、合成パラメータ決定部２１が決定した合成音声パラメータに従って、オブジェクト０１に対応づける音声を合成する。合成パラメータ決定部２１は、例えば、所定の制御方針に基づき各入力パラメータの値に対応する合成音声パラメータの値を登録したパラメータ決定テーブルを備え、各入力パラメータの値に応じてパラメータ決定テーブルを参照することによって、合成音声パラメータを決定する。
【解決手段】合成パラメータ決定部２１は、少なくとも方向Ｃ、距離ｒ、相対角度のいずれか、またはその組み合わせによって示される位置関係もしくはオブジェクト０１の周囲の環境に応じて、音声合成パラメータを決定する。音声合成部２２は、合成パラメータ決定部２１が決定した合成音声パラメータに従って、オブジェクト０１に対応づける音声を合成する。合成パラメータ決定部２１は、例えば、所定の制御方針に基づき各入力パラメータの値に対応する合成音声パラメータの値を登録したパラメータ決定テーブルを備え、各入力パラメータの値に応じてパラメータ決定テーブルを参照することによって、合成音声パラメータを決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成技術に関し、特に、ロボットやゲームキャラクタ等の物理的な音声発声器官を持たないオブジェクトに対応づけた音声を合成する音声合成技術に関する。
【背景技術】
【０００２】
例えば、特許文献１には、発話オブジェクトと視聴者とが共に同じ方向を向いている場合に、音声合成の出力をＬＰＦに通して高域を抑制することで、互いに向き合っている場合の発声音よりも不明瞭にする技術が記載されている。
【０００３】
また、特許文献２には、ウェブページの内容を発話する際に、現在の読み上げ位置が全体のどれくらいの割合かによって、音声の高低や、長さ、強さ等の音の属性を変化させる技術が記載されている。
【０００４】
また、特許文献３には、案内対象物までの距離を的確に把握させるために、距離と方位とを仰角と水平角とに変換して、立体音響を生成する技術が記載されている。
【０００５】
また、一般に、楽器などのオブジェクトの位置を立体音響の位置情報に対応させるといった立体音響技術が知られている。
【０００６】
【特許文献１】特開２００６−１０９２９５号公報
【特許文献２】特開２００６−１７１５４４号公報
【特許文献３】特開２００５−３３３６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、合成音声の多くは、口の動きなどの物理現象と直接対応しないことが多いため、ユーザが合成音声とその合成音声に対応づけられているオブジェクトとをうまく関連付けられない場合がある。
【０００８】
例えば、音声合成機能を有するロボットがある平面上を動いている時、ロボットが合成音声を発声し、同じ平面上に居る人間であるところのユーザはその声を聞くことができる。ところが、ロボットは口を持っていなかったり、人間の口とは音響放射特性の異なるスピーカから合成音声を出力したりするので、ユーザはロボットの声から位置の情報を把握しづらいという問題がある。
【０００９】
また、ロボットとユーザとの位置関係が異なっても合成音声の聞こえ方が同じであると、情報伝達の意図が不明確になってしまうという問題がある。例えば、ロボットとユーザとが向き合っているからうれしさを表現したいときと、ロボットとユーザが遠く離れているから寂しさを表現したいときとで同じ調子で発声したのでは、ロボットが何をつたえたいのかが不明瞭になってしまう。
【００１０】
こうした問題は、ロボットに限らず、おもちゃ、携帯電話機、パソコンなど、存在位置が常に固定でない物体（オブジェクト）に対応づけた合成音声についても、同様に生じ得る問題である。なお、ビデオゲームのキャラクタなどの仮想空間上のオブジェクトに対応づけた合成音声については、そのオブジェクトが物理的な実体を持たない為に、上述したような物理的な実体を持つオブジェクトに対応づけた合成音声以上に不明確となる。
【００１１】
そこで、本発明は、合成音声を聞いたユーザが、その合成音声に対応づけられたオブジェクトとの位置関係やそのオブジェクトの状況や発話の意図を想起しやすい合成音声を生成することができる音声合成装置、音声合成方法、および音声合成用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による音声合成装置は、オブジェクトに対応づけた音声を合成する音声合成装置であって、オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させる合成パラメータ決定部と、前記合成パラメータ決定部が変化させた音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成部とを備えたことを特徴とする。
【００１３】
また、合成パラメータ決定部は、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトの位置関係に応じて、音声合成パラメータを変化させてもよい。
【００１４】
また、合成パラメータ決定部は、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトとの位置方向、ユーザとオブジェクトとの間の距離、ユーザの正面方向とオブジェクトの正面方向とによる相対角度のいずれかまたはその組み合わせによって示されるユーザとオブジェクトとの位置関係に応じて、音声合成パラメータを変化させてもよい。
【００１５】
また、音声合成装置は、オブジェクトの周囲の環境に応じて、前記オブジェクトに対応づけられる音声として、どのような合成音声を生成するかを示す合成パラメータを変化させる合成パラメータ決定部と、前記合成パラメータ決定部が変化させた音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成部とを備えていてもよい。
【００１６】
また、音声合成装置は、オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係と、前記オブジェクトの周囲の環境とに応じて、前記オブジェクトに対応づけられる音声として、どのような合成音声を生成するかを示す合成パラメータを変化させる合成パラメータ決定部と、前記合成パラメータ決定部が変化させた音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成部とを備えていてもよい。
【００１７】
また、合成パラメータ決定部は、少なくとも周囲の明るさ、周囲の音の大きさ、近傍に他のオブジェクトが存在するか否か、当該オブジェクトに接しているまたは当該オブジェクトが保有している他のオブジェクトの種類のいずれかによって示されるオブジェクトの周囲の環境に応じて、音声合成パラメータを変化させてもよい。
【００１８】
また、合成パラメータ決定部は、音声合成パラメータとして、声質、発話速度、声の大きさのいずれかを変化させてもよい。
【００１９】
また、合成パラメータ決定部は、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、音声合成部は、前記合成パラメータ決定部によって決定される詳細度に従って、前記オブジェクトの発話内容が示されたテキストを要約する発話テキスト編集部と、前記発話テキスト編集部によって要約されたテキストを発話内容とする合成音声を生成するテキスト音声合成部とを含んでいてもよい。
【００２０】
また、合成パラメータ決定部は、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、音声合成部は、前記合成パラメータ決定部によって決定される詳細度に従って、与えられた事項が発話内容として表現されたテキストを生成する発話テキスト生成部と、前記発話テキスト生成部によって生成されたテキストを発話内容とする合成音声を生成するテキスト音声合成部とを含んでいてもよい。
【００２１】
また、合成パラメータ決定部は、オブジェクトとは独立した位置から合成音声が出力されることを前提にして、合成音声パラメータを変化させてもよい。
【００２２】
また、合成パラメータ決定部は、ユーザの近傍から合成音声が出力されることを前提にして、合成音声パラメータを変化させてもよい。
【００２３】
また、方向基準として、ユーザが向いている方向を用いてもよい。
【００２４】
また、方向基準として、ユーザの視線方向を用いてもよい。
【００２５】
また、合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、声質を変化させてもよい。
【００２６】
また、合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、音の大きさを変化させてもよい。
【００２７】
また、合成パラメータ決定部は、方向基準として絶対方向を用いることによって極座標系で表現される位置関係によって特定されるオブジェクトの周囲の環境に応じて、合成音声パラメータを変化させてもよい。
【００２８】
また、合成パラメータ決定部は、位置関係が所定の条件を満たしている場合にのみ、周囲の環境に応じて、合成音声パラメータを変化させてもよい。
【００２９】
また、合成パラメータ決定部は、合成音声を対応づけるオブジェクトが仮想空間上にのみ存在する仮想オブジェクトである場合に、合成音声パラメータをより極端に変化させてもよい。
【００３０】
また、合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、詳細度を変化させてもよい。
【００３１】
また、合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、詳細度および発話速度を変化させてもよい。
【００３２】
また、本発明による音声合成方法は、オブジェクトに対応づけた音声を合成するための音声合成方法であって、オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させ、変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成することを特徴とする。
【００３３】
また、音声合成方法は、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトとの位置方向、ユーザとオブジェクトとの間の距離、ユーザの正面方向とオブジェクトの正面方向とによる相対角度のいずれかまたはその組み合わせによって示されるユーザとオブジェクトとの位置関係に応じて、音声合成パラメータを変化させてもよい。
【００３４】
また、音声合成方法は、オブジェクトの周囲の環境に応じて、音声合成パラメータを変化させ、変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成してもよい。
【００３５】
また、音声合成方法は、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、前記決定された詳細度に従って、前記オブジェクトの発話内容が示されたテキストを要約し、前記要約されたテキストを発話内容とする合成音声を生成してもよい。
【００３６】
また、音声合成方法は、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、前記決定された詳細度に従って、与えられた事項が発話内容として表現されたテキストを生成し、前記生成されたテキストを発話内容とする合成音声を生成してもよい。
【００３７】
また、本発明による音声合成用プログラムは、オブジェクトに対応づけた音声を合成するための音声合成用プログラムであって、コンピュータに、オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させるパラメータ決定処理、および変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する合成処理を実行させることを特徴とする。
【００３８】
また、音声合成用プログラムは、コンピュータに、パラメータ決定処理で、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトとの位置方向、ユーザとオブジェクトとの間の距離、ユーザの正面方向とオブジェクトの正面方向とによる相対角度のいずれかまたはその組み合わせによって示されるユーザとオブジェクトとの位置関係に応じて、音声合成パラメータを変化させてもよい。
【００３９】
また、音声合成用プログラムは、コンピュータに、オブジェクトの周囲の環境に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させるパラメータ決定処理、および変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成処理を実行させてもよい。
【００４０】
また、音声合成用プログラムは、コンピュータに、パラメータ決定処理で、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定させ、音声合成処理で、前記決定された詳細度に従って、前記オブジェクトの発話内容が示されたテキストを要約させて、前記要約されたテキストを発話内容とする合成音声を生成させてもよい。
【００４１】
また、音声合成用プログラムは、コンピュータに、パラメータ決定処理で、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定させ、音声合成処理で、前記決定された詳細度に従って、与えられた事項が発話内容として表現されたテキストを生成させ、前記生成されたテキストを発話内容とする合成音声を生成させてもよい。
【発明の効果】
【００４２】
第１の効果は、合成パラメータ決定部がユーザとオブジェクトの位置関係または周囲の環境に応じて合成音声のパラメータを変化させるので、生成される合成音声に対応づけられたオブジェクトを的確に表現することができ、ユーザが、合成音声とオブジェクトとの結び付きを理解しやすくする。
【００４３】
第２の効果は、ユーザに対し、生成される合成音声に対応づけられたオブジェクトとの位置関係や状況や、合成音声による情報伝達の意図をわかりやすく提示することができる。
【００４４】
第３の効果は、たとえ合成音声に対応づけられたオブジェクトがユーザの視野に直接入っていない場合でも、視野に入っているのと同様に、ユーザにそのオブジェクトとの位置関係や状況、合成音声による情報伝達の意図を想起させることができる。
【発明を実施するための最良の形態】
【００４５】
以下、本発明の実施の形態を図面を参照して説明する。
【００４６】
実施の形態１．
図１は、本発明の第１の実施の形態による音声合成装置の構成例を示すブロック図である。図１に示すように、本実施の形態による音声合成装置は、方向入力手段１１と、距離入力手段１２と、合成パラメータ決定部２１と、音声合成部２２とを備える。
【００４７】
ここで、本施の形態における位置関係を以下のように定める。図２は、本実施の形態におけるオブジェクト０１とユーザ０２との位置関係を定義した説明図である。ここで、ユーザ０２は、オブジェクト０１を観察する主体である。また、オブジェクト０１は、本音声合成装置が合成する音声を発生元として対応づけられているオブジェクトであって、ここでは実体をもったロボットを想定している。こうした実体を持つオブジェクトには、ロボットだけでなく、おもちゃや携帯電話機なども該当し、これらを実体オブジェクトと呼ぶこととする。なお、図２に示す例では、オブジェクト０１に対応づけられた合成音声は、オブジェクト０１が備えるスピーカ装置などの合成音声出力部０３によって、オブジェクト０１と同じ位置から出力される。音声合成装置は、例えば、実体オブジェクトの音声出力用装置として、オブジェクト０１に組み込まれた形態で実現されたり、実体オブジェクトを展示している部屋のスピーカ制御装置に組み込まれた形態で実現されたりする。
【００４８】
図２に示すように、本実施の形態では、オブジェクト０１とユーザ０２との位置関係を、方向Ｃと距離ｒとによって定義する。方向Ｃは、ユーザ０２に対して、予め定義しておいた空間上における任意の角度である方向基準Ｃ０と、ユーザ０２からオブジェクト０１が見える方向とのなす角である。距離ｒは、ユーザ０２とオブジェクト０１との間の距離で示される情報である。図２では、ユーザ０２の正面となる方向を方向基準０５とした例を示している。
【００４９】
方向入力手段１１は、方向Ｃを入力する。距離入力手段１２は、距離ｒを入力する。処理部１３は、オブジェクト０１が合成音声を発する際に考慮される条件とする周囲の環境を示す周囲条件を入力する。
【００５０】
合成パラメータ決定部２１は、方向入力手段１１によって入力される方向Ｃと、距離入力手段１２によって入力される距離ｒと、処理部１３によって入力される周囲条件とに基づいて、オブジェクト０１に対応づけた合成音声を生成するための音声合成パラメータを決定する。ここで、音声合成パラメータとは、どのような合成音声を生成するかを示すパラメータである。例えば、生成される合成音声に含まれる属性の値を直接示す情報であってもよいし、合成音声に含まれる属性に対し類型化された特徴を示す情報であってもよい。
【００５１】
音声合成部２２は、合成パラメータ決定部２１によって決定される音声合成パラメータに従って、音声を合成する。
【００５２】
次に、図３を参照して本実施の形態の動作を説明する。図３は、本実施の形態による音声合成装置の動作例を示すフローチャートである。
【００５３】
まず、方向入力手段１１、距離入力手段１２、周囲条件入力手段１３は、それぞれ方向Ｃ、距離ｒ、周辺条件を入力する（ステップＳ１０１）。
【００５４】
方向入力手段１１と距離入力手段１２とは、例えば、次のように動作する。オブジェクト０１およびユーザ０２をカメラで撮影した画像データからそれぞれの位置を認識し、方眼紙上に配置することによって、オブジェクト０１の平面座標（ｘ１，ｙ１）と、ユーザ０２の平面座標（ｘ２，ｙ２）を得る。なお、カメラで撮影する代わりに、ＧＰＳやジャイロスコープ（ジャイロセンサ）を用いて座標を特定してもよい。
【００５５】
この時、方向入力手段１１は、方向Ｃを、方向基準０５が方眼紙上のｘ軸となす角Ｃ０を用いて、以下の式（１）によって求めればよい。
【００５６】
Ｃ＝ａｒｃｔａｎ（（ｙ１−ｙ２）／（ｘ１−ｘ２））−Ｃ０ ・・・式（１）
【００５７】
また、距離入力手段１２は、距離ｒを、以下の式（２）によって求めればよい。
【００５８】
【数１】
【００５９】
ここでは、オブジェクト０１とユーザ０２との位置関係を示す情報として、直交座標系における両者の位置座標に基づく方向Ｃと距離ｒを用いているが、他の座標系や位置関係を示す尺度を用いてもよい。また、平面上に限らず、立体角など高次においても同様に用いることができる。例えば、後述するように、ユーザ０２の正面方向とオブジェクト０１の正面方向とによる相対角度Ｒを用いてもよい。なお、方向Ｃは、方向基準Ｃ０とのなす角によってオブジェクト０１とユーザ０２との位置方向を示すのに対し、相対角度Ｒは、オブジェクト０１とユーザ０２との向き合わせの角度を示すものである。
【００６０】
また、周囲条件入力手段１３は、周囲条件として、周囲の明るさ、周囲の音パワー（音の大きさ）、近傍に他のオブジェクトが存在するか否か、オブジェクト０１に接したり保有している他のオブジェクトの種類等を示す情報を入力する。周囲条件の入力は、例えば、オブジェクト０１がフォトダイオードなどの光センサ、マイクロフォンなどの音センサ、マイクロスイッチや焦電素子などの接触センサや非接触センサ、他オブジェクトの保有状況を示す情報を記憶した保有状況テーブルなどを備え、それらセンサからの入力を検出したり、保有状況テーブルを参照することで実現される。
【００６１】
次に、合成パラメータ決定部２１は、方向入力手段１１、距離入力手段１２、周囲条件入力手段１３によって所定の入力パラメータ（ここでは、方向Ｃと距離ｒと周囲条件）が入力されると、それら入力パラメータによって示されるオブジェクト０１とユーザ０２との位置関係、およびオブジェクト０１の周囲の環境に応じて、音声合成パラメータを決定する（ステップＳ１０２）。なお、合成音声パラメータの制御方針によっては、方向Ｃだけや、距離ｒだけ、周囲条件だけが入力される場合もある。または、オブジェクト０１の正面向きとユーザ０２の正面向きによる相対角度Ｒが入力される場合がある。なお、合成パラメータ決定部２１は、少なくとも方向Ｃ、距離ｒ、相対角度Ｒのいずれかまたはその組み合わせによって示されるオブジェクト０１とユーザ０２の位置関係、またはオブジェクト０１の周囲の環境に応じて、音声合成パラメータを決定すればよい。
【００６２】
合成パラメータ決定部２１は、例えば、各入力パラメータの値に対応する合成音声パラメータの値を登録したパラメータ決定テーブルを備え、各入力パラメータの値に応じてパラメータ決定テーブルを参照することによって、合成音声パラメータを決定してもよい。
【００６３】
そして、音声合成部２２は、合成パラメータ決定部２１が決定した合成音声パラメータに従って、オブジェクト０１に対応づける音声を合成し、出力する（ステップＳ１０３）。
【００６４】
次に、具体的な例を示しながら、合成音声パラメータの決定方法について説明する。図４〜図６は、パラメータ決定テーブルの例を示す説明図である。これらのパラメータ決定テーブルでは、オブジェクト０１がユーザ０２の正面に近ければ近いほど、オブジェクト０１に対するユーザ０２の興味が強いと想定して、ユーザ０２にオブジェクト０１の発話内容がはっきり伝わるように制御して（変化させて）いる。一方、オブジェクト０１がユーザ０２の正面から遠ざかるほど興味が少ないと想定して、オブジェクト０１の発声によってユーザ０２の意識をあまり邪魔しないように制御している。また、オブジェクトの周囲条件の一つである明るさに対応して、オブジェクトの存在する位置の雰囲気が伝わるように制御している。なお、ユーザ０２の正面を基準に方向Ｃを求める方法については後述する。
【００６５】
図４は、方向Ｃに基づいて声質および発話速度を示す音声合成パラメータを決定するためのパラメータ決定テーブルの例である。図４では、例えば、ユーザ０２の正面を方向基準Ｃ０とした際の方向Ｃ（すなわち、ユーザ０２から見たオブジェクト０１が位置する方向）が−４５〜４５度である場合に、声質を「明瞭」、かつ発話速度を「通常」にすることが示されている。また、例えば、４５〜９０度または−９０度〜−４５度である場合には、声質を「やや曖昧」、かつ発話速度を「やや速い」にすることが示されている。また、例えば、９０〜１８０度または−１８０〜−９０度である場合には、声質を「モゴモゴ（不明瞭）」、かつ発話速度を「速い」にすることが示されている。
【００６６】
また、図５は、距離ｒに基づいてパワーを示す音声合成パラメータを決定するためのパラメータ決定テーブルの例である。図５では、例えば、オブジェクト０１とユーザ０２との距離ｒが、０〜５０ｃｍである場合にパワーを「大」、５０〜１５０ｃｍであればパワーを「中」、１５０ｃｍを超えていればパワーを「小」にすることが示されている。
【００６７】
また、図６は、周囲の明るさに基づいて発話の雰囲気を示す音声合成パラメータを決定するためのパラメータ決定テーブルの例である。図６では、例えば、周囲の明るさが明るい場合には「楽しそうな」雰囲気に、暗い場合には「怖がった」雰囲気にすることが示されている。なお、周囲条件は、例えば、オブジェクト０１がユーザ０２から遠く離れている場合にその様子を伝えるために用いるというように、方向Ｃや距離ｒに応じた限定要素として用いることも可能である。
【００６８】
例えば、ユーザ０２の視線方向とした方向基準Ｃ０を座標軸のｘ軸にとったとして、オブジェクトの位置が（ｘ１，ｙ１）＝（２０ｃｍ，４０ｃｍ）、ユーザ０２の位置が（ｘ２，ｙ２）＝（０ｃｍ，０ｃｍ）、周囲条件が明るいと観測された場合、方向Ｃは６０度、距離ｒ＝４４．７ｃｍと計算される。この時、図４〜図６に示したパラメータ決定テーブルに基づいて、音声合成パラメータは、声質「やや曖昧」、発話速度「やや速い」、パワー「小」、雰囲気「楽しそうな」が、選択される。これらの音声合成パラメータは、音声合成部２２に送られ、該当するパラメータによって合成音声が生成され、出力される。
【００６９】
これによって、オブジェクト０１がユーザ０２から見て斜め６０度方向、距離４４．７ｃｍの位置に存在するという条件から、ユーザの興味は正面近傍ほど強くないとみなして、「やや曖昧」かつ「やや速い」発声でパワーが「小」の発声を行い、ただしロボットの存在する位置は明るいので「楽しそうな雰囲気」を伝えるように、ユーザとオブジェクトの位置関係に応じた特徴を持つ合成音声が出力される。
【００７０】
なお、本例では、方向Ｃ、距離ｒ、周囲条件から音声合成パラメータを求める手段として、図４〜図６に示すようなパラメータ決定テーブルを用いる例を示したが、このようなパラメータ決定テーブルに限定されるものではない。また、上記例では、各テーブルに記述する入力パラメータは独立しているが、各入力パラメータを組み合わせた値と合成音声パラメータとを対応づけてもよい。例えば、方向Ｃと距離ｒの組合せによってパワーを決定するように設計することも可能である。また、例えば、ユーザ０２との距離が近い場合や、ユーザの視野に入っていない場合にだけ、周囲条件に応じた制御を行うといった方法をとることも可能である。また、テーブル参照によらず、各入力パラメータの値を演算した結果を用いてパラメータを定めてもよい。
【００７１】
また、周囲条件の例として、明るさに対応させて音声合成パラメータを制御する例に説明したが、例えば、周囲条件として周囲の音パワーを入力するようにし、周囲の音パワーに対応させてその音よりも大きくなるようにベースの音パワーを決定してもよい。また、例えば、周囲条件としてオブジェクト０１の近傍に他のオブジェクトが存在するか否かや、オブジェクト０１に接したり保有している他のオブジェクトが存在するか否か、また存在する場合にそのオブジェクトの情報（例えば、種類や重さやレベル等）を入力するようにし、オブジェクトの情報に対応させて、怖がった声にしたり、重たそうな声にしたり、うれしそうな声にするといった制御を行ってもよい。
【００７２】
また、音声合成パラメータとして、声質、発話速度、パワー、雰囲気を用いているが、これらに限るものではなく、話者、ピッチ周波数、アクセント強度などを制御するようにしてもよい。
【００７３】
また、本実施の形態において、音声合成部２２は、適用されるシステムに応じて、録音再生、ＣＥＬＰなどのコーデック、テキスト音声合成などの形態を取り得るが、テキスト音声合成のように前記パラメータの全てを変更可能なものと、録音再生と発速変換技術の組み合わせのように高々発話速度程度しか可変できないものが存在する。ここでは、全てのパラメータを取り扱えるものを用いるが、取り扱うことのできないパラメータを無視する構成を採ることも可能である。
【００７４】
また、合成音声パラメータは、次に示すよう決定方法によって決定してもよい。図７は、本例における合成音声出力部０３の位置の例を示す説明図である。図７に示すように、本例では、オブジェクト０１に対応づけられた合成音声は、オブジェクト０１の位置とは無関係に、別の位置から発せられることとする。ここでは、ユーザ０２の十分近傍から出力されることを想定している。
【００７５】
なお、本例では、合成音声がユーザ０２の充分近傍から出力されるので、オブジェクト０１が複数存在する場合には、各オブジェクトの合成音声が出力される位置はそれぞれ十分に近傍または完全に同じになる。
【００７６】
図８は、本例におけるパラメータ決定テーブルの例を示す説明図である。図８は、距離ｒに基づいてパワーを決定するためのパラメータ決定テーブルの例を示している。図８に示すように、ユーザ０２から見てオブジェクト０１が近い場合には合成音声のパワーを大きく、遠い場合には合成音声のパワーを小さくするように制御してもよい。
【００７７】
これにより、ユーザから見てオブジェクトが近い場合には合成音声のパワーを大きく、遠い場合には合成音声のパワーを小さくすることで、より臨場感のある合成音声を得ることができる。また、図９は、オブジェクト０１とユーザ０２との位置関係の例を示す説明図である。図９に示すように、オブジェクト０１がユーザ０２の視野の外に存在するような場合であっても、対応する合成音声の特徴から、大まかな位置を推定することが可能になる。
【００７８】
また、図８に示すような距離ｒに基づくパラメータ決定テーブルを使う代わりに、入力された距離ｒを用いて、次の式（３）によってパワーｐ（ｒ）を求めることも可能である。ここで、Ｋは負の定数とする。
【００７９】
ｐ（ｒ）＝ｒＫ ・・・式（３）
【００８０】
ここで、Ｋ＝−（２／３）とすることで、感覚に即した効果を得ることが可能である。
【００８１】
また、距離ｒに基づくパラメータの決定方法として、位置を推定できるようにするのではなく、情報伝達の意図をよりわかりやすくするために、図１０に示すようなパラメータ決定テーブルに従って、音声合成パラメータを決定してもよい。図１０は、距離ｒに基づいてパワーを決定するためのパラメータ決定テーブルの他の例を示す説明図である。図１０に示すように、、遠いところでは情報が伝わるようにパワーを大きくして、近いところではやかましさを感じさせないようにパワーを小さくするといった制御をすることも可能である。
【００８２】
なお、ここでは、距離ｒに対応させてパワーを制御する例だけを示したが、上述のように方向Ｃや周囲条件を組み合わせて声質や雰囲気も制御するようにしてもよい。
【００８３】
次に、方向基準Ｃ０の設定例を示す。まず、方向基準Ｃ０を絶対方向として定義する例を示す。図１１は、本例における方向基準Ｃ０を示す説明図である。図１１に示すように、方向基準Ｃ０を、ユーザ０２とオブジェクト０１が存在する部屋の中に絶対方向として定義してもよい。図１１に示す例では、ユーザ０２の位置から部屋の長辺に並行な方向を方向基準Ｃ０と定義している。
【００８４】
これにより、部屋の長辺と、ユーザ０２とオブジェクト０１を結ぶ線分とのなす角を計ることにより、方向Ｃを簡単に求めることができる。また、方向基準Ｃ０を絶対方向として定義することによって、オブジェクト０１とユーザ０２との位置関係を、ユーザ位置を原点とする極座標系で表現することができる。極座標系で示される位置関係に基づいて、例えば、オブジェクト０１がユーザ０２よりも北側にいる場合には寒そうな表現にしたり、また、例えば、ユーザ０２と比較してオブジェクト０１の方がある場所に対しより近い位置にいる場合に怖がった雰囲気になるようにしたりといった制御を行うことによって、オブジェクトの周囲の状況や情報伝達の意図をよりわかりやすく伝えることができる。なお、本例は、ユーザ０２とオブジェクト０１との位置関係によって特定づけられるオブジェクト０１の周囲の環境に応じて、音声合成パラメータを制御する例でもある。
【００８５】
また、方向基準Ｃ０を次のように定めてもよい。本例は、オブジェクト０１とユーザ０２との位置関係に、ユーザ０２の目線方向を加味する例である。図１２は、本例における音声合成装置の構成例および方向基準Ｃ０を示す説明図である。図１２に示すように、音声合成装置は、ユーザ視野検出手段１６と、ユーザ位置検出手段１５と、オブジェクト位置検出手段１４と通信可能に接続されていてもよい。なお、図１２において音声合成装置は、オブジェクト０１に含まれているものとする。
【００８６】
オブジェクト位置検出手段１４は、オブジェクト０１に装着され、オブジェクト０１の位置を検出する。また、ユーザ位置検出手段１５は、ユーザ０２に装着され、ユーザ０２の位置を検出する。オブジェクト位置検出手段１４およびユーザ位置検出手段１５は、例えば、ＧＰＳ受信機によって実現される。
【００８７】
また、ユーザ視野検出手段１６は、例えば、カメラ装置と画像解析手段とから構成され、ユーザ０１の視線方向を検出する。具体的には、ユーザ０２が装着するメガネに取り付けられたカメラ装置が、ユーザ０２の黒目位置を撮影し、画像解析手段が画像データを解析して、黒目位置の基準値からの偏差を求めることによって、ユーザの目線方向を検出すればよい。なお、ユーザの目線方法が実際のどの方角かを向いているかは、例えば、メガネに装着されたジャイロセンサを用いて測定される顔の正面方向を基準にすればよい。また、例えば、ユーザ０２を少なくとも２方向から撮影できる固定カメラ装置が撮影した画像データを画像解析手段が解析し、それら画像データから顔の正面を示す特徴や黒目位置を検出して、画像内における顔の正面方向および顔の正面方向に対する目線方向を特定し、それら方向と、その画像を撮影したカメラ装置の位置とから実際の目線方向を算出してもよい。
【００８８】
方向入力手段１１および距離入力手段１２は、これら検出手段によって検出されるオブジェクト位置を示す情報、ユーザ位置を示す情報、ユーザ視線方向を示す情報を、例えば、入力ポートや通信ネットワークを介してそれぞれ受け取って、方向Ｃや距離ｒを算出すればよい。その際、方向入力手段１１は、ユーザ視野検出手段１６によって検出された視線方向を、方向基準Ｃ０として定義する。このような場合には、方向基準Ｃ０はユーザの向いている方向に依存するものとなる。
【００８９】
これにより、ユーザ０２が動きまわり、位置や視線方向が刻一刻と変化することにリアルタイムに対応して、合成音声の特徴を変化させることも可能である。ユーザは、必要に応じて自らの向きや位置を変えることで、情報の受け取り方を変えることができる。
【００９０】
また視線方向に限らず、顔の向いている方向（正面方向）や体の向いている方向（正面方向）などを検出することで、より安定な方向を用いてもよい。なお、顔の正面方向や体の正面方向については、例えば、ユーザの両手や両耳、両目など顔の正面や体の正面がわかるような部位に対応して装着される装着物（例えば、メガネやイヤホンマイク）に取り付けたジャイロセンサを用いて測定したり、２方向からの画像データから顔や体の正面を示す特徴を検出して、特定すればよい。
【００９１】
図１３は、本例におけるパラメータ決定テーブルの例を示す説明図である。図１３は、ユーザ０２の正面方向を方向基準Ｃ０とする方向Ｃに基づいて声質を決定するためのパラメータ決定テーブルの例を示している。なお、本例は、距離ｒによって、オブジェクト０１とユーザ０２との距離が十分近傍であることが示されていることを前提としている。図１３に示すように、ユーザ０２から見てオブジェクト０１が正面付近に存在する場合、つまり正面からの角度が０度付近の場合は、声質を「明瞭」とし、逆に、側面方向や背面方向に存在する場合は、声質を「ささやき声」とするように制御してもよい。
【００９２】
これによって、正面付近以外ではユーザに対しささやくように発話させることで、ユーザの注意を引きつけ、ユーザ０２に正面を向いてもらう効果を期待できる。また、明瞭とささやき声の中間段階を用意してもよい。同様の効果を、図１４のようにパワーを変更して、側面や背後方向では大きなパワーで意識を向けてもらうようにすることによっても実現してもよい。図１４は、ユーザ０２の正面方向を方向基準Ｃ０とする方向Ｃに基づいてパワーを決定するためのパラメータ決定テーブルの例を示している。
【００９３】
また、ユーザ０２の正面方向だけでなく、オブジェクト０１にも正面方向がある場合には、オブジェクト０１とユーザ０２との位置関係に、お互いの向き（目線、顔、体の正面方向）による相対角度Ｒを加味してもよい。なお、オブジェクト０１の正面方向をオブジェクト０１が管理していない場合には、ユーザ０２の正面方向を検出する方法と同様の方法を用いて、オブジェクト０１の正面方向を検出すればよい。
【００９４】
そして、方向入力手段１１が、オブジェクト位置を示す情報と、ユーザ位置を示す情報とともに、ユーザ０２の正面方向を示す情報と、オブジェクト０１の正面方向を示す情報とを入力ポートや通信ネットワークを介して受け取り、方向Ｃと相対角度Ｒとを求めればよい。
【００９５】
このような場合、合成パラメータ決定部２１は、例えば、オブジェクト０１がユーザ０２の背面寄りにいる場合であっても距離が近くほぼ同じ方向を向いていれば連れだって移動していると見なして、楽しげな雰囲気になるように音声合成パラメータを制御してもよい。また、例えば、距離が近くてもお互いにそっぽを向いていれば、無関心な雰囲気になるように制御してもよい。また、オブジェクトがユーザの方を向いている場合に限定して、上述のささやき声の制御を行うといったことも可能である。このように、方向Ｃと距離ｒと相対角度Ｒとで示される位置関係に基づいて合成音声パラメータを制御することによって、より臨場感をもった発話が可能になる。
【００９６】
図１５は、本例におけるパラメータ決定テーブルの例を示す説明図である。図１５は、方向Ｃと距離ｒと相対角度Ｒとに基づいてピッチ周波数の高低さ、抑揚の強弱、雰囲気（パタン）を決定するためのパラメータ決定テーブルの例を示している。なお、図１５（ａ）は距離ｒが１００ｃｍより小さい場合に参照されるパラメータ決定テーブルの例であり、図１５（ｂ）は距離ｒが１００ｃｍ以上の場合に参照されるパラメータ決定テーブルの例であるが、３つの要素を組み合わせたパラメータの決定は、このようにテーブルを２つに分けて登録することには限定されない。図１５では、例えば、距離ｒが近距離（１００ｃｍより小さい）で、相対方向Ｒが正対方向（０〜＋９０度または０〜−９０度）であって、方向Ｃが正面方向（０〜＋４５度または０〜−４５度）である場合には、ピッチ周波数の高低を高めに、抑揚の強弱は強く、またとても楽しい雰囲気となるように制御する例が示されている。また、例えば、距離ｒが遠距離（１００ｃｍ以上）で、相対方向Ｒが正対方向とは逆方向（＋９０〜＋１８０度または−９０〜−１８０度）であって、方向Ｃが背面方向（＋９０〜＋１８０度または−９０〜−１８０度）である場合には、ピッチ周波数の高低を中くらいに、、抑揚の強弱は弱く、また険しい雰囲気（疎遠な感じ）となるように制御する例が示されている。
【００９７】
なお、上記例では、オブジェクト０１が実体オブジェクトである場合を例に説明したが、オブジェクト０１は、ビデオゲームキャラクタのように仮想空間上にのみ存在する仮想オブジェクトであっても、本発明を適用することが可能である。ただし、オブジェクト０１には、仮想区間上における位置の概念および位置情報を有するものとする。
【００９８】
このような場合には、オブジェクト０１と同じ仮想空間上に、ユーザ０２の仮想的な位置と方向基準Ｃ０とを設定し、仮想空間上におけるオブジェクト０１とユーザ０２との方向Ｃや距離ｒを求めればよい。方向基準Ｃ０は、例えば、ある絶対方向やユーザ０２の顔の向きや進行方向に設定すればよい。また、例えば、オブジェクト０１やユーザ０２の進行方向をそれぞれの正面向きとして、お互いの正面向きによる相対角度Ｒを求めることも可能である。
【００９９】
オブジェクト０１の位置やユーザ０２の位置は、ビデオディスプレイに投影するなどの方法でユーザに提示してもよいし、提示しないでもよい。また、ユーザ０２の仮想的な位置は、ユーザ０２によるコントローラ上のボタンやマウス操作に応じて移動させてもよい。なお、本例におけるパラメータの決定方法は、既に示した方法と同様に、例えば、オブジェクト０１がユーザ０２の正面に近ければ近いほど、ユーザ０２にオブジェクト０１の発話内容がはっきり伝わるように制御したり、オブジェクトの周囲条件の一つである明るさに対応して、オブジェクトの存在する位置の雰囲気が伝わるように制御したりしてもよい。また、例えば、距離感をつかませるために、ユーザ０２から見てオブジェクト０１が近い場合には音パワーを大きく、遠い場合には音パワーを小さくするように制御してもよい。また、発話内容が十分聞こえるように、ユーザ０２から見てオブジェクト０１が遠い場合には音パワーを大きく、近い場合には音パワーを小さくするように制御してもよい。また、例えば、極座標系で示される位置関係に基づいて、寒そうにしたり、固定的に位置する環境を利用する等の用途で、音パワーを制御したりしてもよい。また、例えば、オブジェクト０１が正面以外の付近に存在する場合に、ささやき声になるように声質を制御したり、注意を引きつけるような音パワーに制御してもよい。また、例えば、さらに相対角度Ｒを加味した位置関係に基づいて、楽しげな雰囲気にしたり、無関心な雰囲気にするように制御したりしてもよい。
【０１００】
なお、仮想オブジェクトに対応づけた合成音声の合成音声パラメータを制御する場合には、パラメータの変化幅を大きくして、より極端に変化させてもよい。
【０１０１】
なお、本例における音声合成装置は、例えば、仮想オブジェクトを動作させるためのプログラムの一機能として音声合成機能が記述されたプログラムを読み込み、そのプログラムに従って動作するＣＰＵ等によって実現される。
【０１０２】
これにより、位置の提示有無に関わらず、合成音声の特徴（声質やパワーや）によって、ユーザが仮想空間上での位置や、状態伝達の意図を容易に推定できるようになる。
【０１０３】
以上のように、本実施の形態によれば、少なくとも方向Ｃと距離ｒと相対角度Ｒのいずれか、またはその組み合わせによって示されるオブジェクト０１とユーザ０２との位置関係や周囲の環境に基づいて、所定の制御方針に基づき予め定めれられている決定方法に従って、合成音声パラメータを決定することによって、制御方針によっては生成される合成音声に対応づけられたオブジェクトをより的確に表現することができ、また、生成される合成音声に対応づけられたオブジェクトとの位置関係や状況や、合成音声による情報伝達の意図をよりわかりやすく提示することができ、また、たとえ合成音声に対応づけられたオブジェクトがユーザの視野に直接入っていない場合でも、視野に入っているのと同様に、ユーザにそのオブジェクトとの位置関係や状況、合成音声による情報伝達の意図をより想起させることができる。
【０１０４】
実施の形態２．
次に、本発明の第２の実施の形態について説明する。図１６は、第２の実施の形態による音声合成装置の構成例を示すブロック図である。図１６に示すように、本実施の形態による音声合成装置は、音声合成部２２が、発話テキスト編集部２２１と、テキスト音声合成部２２２とを含む。また、本実施の形態における音声合成装置は、合成パラメータ決定部２１が、音声合成パラメータとして、少なくとも発話内容の詳細度を決定する。
【０１０５】
発話テキスト編集部２２１は、合成パラメータ決定部２１が決定した詳細度に基づいて、入力されたテキスト（発話内容を示すテキスト）を編集する。具体的には、合成パラメータ決定部２１が決定した詳細度に応じて、発話内容を要約する。
【０１０６】
テキスト音声合成部２２２は、発話テキスト編集部２２１によって編集された内容で、合成音声を生成する。
【０１０７】
次に、図１７を参照して本実施の形態の動作を説明する。図１７は、本実施の形態による音声合成装置の動作例を示すフローチャートである。なお、図１７におけるステップＳ１０１の動作は、図２に示す第１の実施の形態におけるステップＳ１０１と同様のため、説明省略する。
【０１０８】
合成パラメータ決定部２１は、方向入力手段１１、距離入力手段１２、周囲条件入力手段１３によって所定の入力パラメータ（例えば、方向Ｃや、距離ｒ、相対角度Ｒ、周囲条件等）が入力されると、それら入力パラメータに基づいて、少なくとも発話内容の詳細度を示す合成音声パラメータを決定する（ステップＳ２０１）。
【０１０９】
合成パラメータ決定部２１は、例えば、図１８に示すようなパラメータ決定テーブルを参照することによって、「入力全て」「少しだけ要約する」「ほとんど要約する」の３値を取る詳細度パラメータを決定してもよい。図１８は、方向Ｃに基づいて詳細度を示す音声合成パラメータを決定するためのパラメータ決定テーブルの例である。図１８に示すパラメータ決定テーブルでは、オブジェクト０１がユーザ０２の正面にある場合にはオブジェクト０１に対するユーザ０２の関心が大きいと見なして詳細な情報を伝達するように制御し、逆に、全く違う方向を向いている場合には関心が少ないと見なして概要だけを伝達するように制御している。
【０１１０】
次に、発話テキスト編集部２２１は、詳細度パラメータに従って入力されたテキストを編集（要約）する（ステップＳ２０２）。テキストの要約は、例えば、非特許文献「Ｉｎｄｅｒｊｅｅｔ Ｍａｎｉ著（奥村学他訳），”自動翻訳”，共立出版，２００３年６月，ｐ．１４−２１」に開示されているように、テキストを解析して内部表現を生成し、内部表現を詳細度パラメータに応じて要約の表現に変形し、要約の表現を自然言語に戻すことによって行ってもよい。
【０１１１】
そして、テキスト音声合成部２２２は、発話テキスト編集部２２１によって編集された内容で、オブジェクト０１に対応づける音声を合成し、出力する（ステップＳ２０３）。
【０１１２】
なお、上記例では、与えられた発話内容を示すテキストを編集する発話テキスト編集部２２１を用いたが、これに限らず、詳細度と発話内容を入力として、これらから発話内容を生成するようにしてもよい。例えば、発話内容として、家からの経路およびかかる時間が「バス／１５分＋電車／１時間＋待ち合わせ／１５分＋電車／３０分＋バス／３０分」である旨の情報、および概要だけを説明する旨の詳細度が与えられた場合には、「家からバスと電車を使って来ました」という発話内容を生成するようにしてもよい。なお、詳細度とともに、「ですます調」「である調」「だ調」といった丁寧度を与えるようにし、丁寧度で示される口調で発話内容を生成するようにしてもよい。
【０１１３】
また、発話全体の概略の時間長を与えることによって、例えば美術館の収蔵品案内を音声合成で行う際に、ユーザが向いている方向にある絵は長い時間を掛けて説明し、向いていない方向の絵は短時間で説明を終えるなどの使い方もできる。
【０１１４】
また、テキスト再生に限らず、録音再生による音声合成の場合、発話対象の一部だけを飛ばし飛ばしに再生することや、一つの発話対象が複数の部分音声から構成されている場合には見出しなどの重要部分音声だけを選択的に再生することで、合成音声による情報伝達の意図をよりわかりやすく提示することができる。
【０１１５】
なお、方向Ｃに応じて詳細度を制御するだけでなく、例えば、図１９に示すように距離ｒに応じて詳細度を制御しても同様の効果を得ることができる。
【０１１６】
また、各テーブルに記述する入力パラメータを独立させずに、各入力パラメータを組み合わせた値と合成音声パラメータ（詳細度）とを対応づけてもよい。例えば、方向Ｃと距離ｒの組合せによって詳細度を決定するように設計することも可能である。また、テーブル参照によらず、各入力パラメータの値を演算した結果を用いてパラメータ（例えば、発話時間）を定めてもよい。
【０１１７】
図２０は、本例におけるパラメータ決定テーブルの例を示す説明図である。図２０は、距離ｒと方向Ｃとに基づいて詳細度を示す音声合成パラメータを決定するためのパラメータ決定テーブルの例である。図２０では、例えば、距離ｒが近距離（０〜５０ｃｍ）であっても、方向Ｃが正面方向（０〜＋４５度または０〜−４５度）である場合には、短く簡潔に話すように制御し、逆に、方向Ｃが背面方向（＋９０〜＋１８０度または−９０〜−１８０度）である場合には、詳細に話すように制御する例が示されている。これは、関心が少ないと見られる人でも近くにいる場合には、その人の興味を引きつけるように少しでも長く耳に入るような制御を行う例である。
【０１１８】
なお、図２１は、本実施の形態による音声合成装置の他の動作例を示すフローチャートである。図２１に示すように、テキスト音声合成部２２２は、発話テキスト編集部２２１によって編集（または生成）された内容で、かつ合成パラメータ決定部２１によって決定された声質やパワー等の音声合成パラメータに従って、オブジェクト０１の音声を合成するようにしてもよい（ステップＳ３０１）。なお、他の動作は、図３および図１７に示す動作と同様である。
【０１１９】
以上のように、本実施の形態によれば、オブジェクト０１とユーザ０２との位置関係や周囲条件に基づいて、発話内容の詳細度を決定することによって、ユーザ０２の関心度に応じて詳細な内容を出力（発話や、再生）したり、概要だけを出力させたりすることができ、合成音声による情報伝達の意図をより想起させることができる。
【産業上の利用可能性】
【０１２０】
本発明は、例えばロボットやおもちゃなどにおける音声対話に適用可能である。また、位置や状況が時時刻刻と変化する交通システム、オブジェクトが実体を持たないビデオゲームキャラクタや仮想現実感システムなどにも適用可能である。特に、音声合成のパラメータ設定の自由度が一般的に高い、テキスト音声合成を利用したこれらのシステムへの適用に好適である。
【図面の簡単な説明】
【０１２１】
【図１】第１の実施の形態による音声合成装置の構成例を示すブロック図である。
【図２】オブジェクト０１とユーザ０２との位置関係を定義した説明図である。
【図３】第１の実施の形態による音声合成装置の動作例を示すフローチャートである。
【図４】パラメータ決定テーブルの例を示す説明図である。
【図５】パラメータ決定テーブルの例を示す説明図である。
【図６】パラメータ決定テーブルの例を示す説明図である。
【図７】合成音声出力部０３の位置の例を示す説明図である。
【図８】パラメータ決定テーブルの例を示す説明図である。
【図９】オブジェクト０１とユーザ０２との位置関係の例を示す説明図である。
【図１０】パラメータ決定テーブルの例を示す説明図である。
【図１１】方向基準Ｃ０を示す説明図である。
【図１２】音声合成装置の構成例および方向基準Ｃ０を示す説明図である。
【図１３】パラメータ決定テーブルの例を示す説明図である。
【図１４】パラメータ決定テーブルの例を示す説明図である。
【図１５】パラメータ決定テーブルの例を示す説明図である。
【図１６】第２の実施の形態による音声合成装置の構成例を示すブロック図である。
【図１７】第２の実施の形態による音声合成装置の動作例を示すフローチャートである。
【図１８】パラメータ決定テーブルの例を示す説明図である。
【図１９】パラメータ決定テーブルの例を示す説明図である。
【図２０】パラメータ決定テーブルの例を示す説明図である。
【図２１】第２の実施の形態による音声合成装置の他の動作例を示すフローチャートである。
【符号の説明】
【０１２２】
１１ 方向入力手段
１２ 距離入力手段
１３ 周囲条件入力手段
１４ オブジェクト位置検出手段
１５ ユーザ位置検出手段
１６ ユーザ視野検出手段
２１ 合成パラメータ決定部
２２ 音声合成部
２２１ 発話テキスト編集部
２２２ テキスト音声合成部
【技術分野】
【０００１】
本発明は、音声合成技術に関し、特に、ロボットやゲームキャラクタ等の物理的な音声発声器官を持たないオブジェクトに対応づけた音声を合成する音声合成技術に関する。
【背景技術】
【０００２】
例えば、特許文献１には、発話オブジェクトと視聴者とが共に同じ方向を向いている場合に、音声合成の出力をＬＰＦに通して高域を抑制することで、互いに向き合っている場合の発声音よりも不明瞭にする技術が記載されている。
【０００３】
また、特許文献２には、ウェブページの内容を発話する際に、現在の読み上げ位置が全体のどれくらいの割合かによって、音声の高低や、長さ、強さ等の音の属性を変化させる技術が記載されている。
【０００４】
また、特許文献３には、案内対象物までの距離を的確に把握させるために、距離と方位とを仰角と水平角とに変換して、立体音響を生成する技術が記載されている。
【０００５】
また、一般に、楽器などのオブジェクトの位置を立体音響の位置情報に対応させるといった立体音響技術が知られている。
【０００６】
【特許文献１】特開２００６−１０９２９５号公報
【特許文献２】特開２００６−１７１５４４号公報
【特許文献３】特開２００５−３３３６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、合成音声の多くは、口の動きなどの物理現象と直接対応しないことが多いため、ユーザが合成音声とその合成音声に対応づけられているオブジェクトとをうまく関連付けられない場合がある。
【０００８】
例えば、音声合成機能を有するロボットがある平面上を動いている時、ロボットが合成音声を発声し、同じ平面上に居る人間であるところのユーザはその声を聞くことができる。ところが、ロボットは口を持っていなかったり、人間の口とは音響放射特性の異なるスピーカから合成音声を出力したりするので、ユーザはロボットの声から位置の情報を把握しづらいという問題がある。
【０００９】
また、ロボットとユーザとの位置関係が異なっても合成音声の聞こえ方が同じであると、情報伝達の意図が不明確になってしまうという問題がある。例えば、ロボットとユーザとが向き合っているからうれしさを表現したいときと、ロボットとユーザが遠く離れているから寂しさを表現したいときとで同じ調子で発声したのでは、ロボットが何をつたえたいのかが不明瞭になってしまう。
【００１０】
こうした問題は、ロボットに限らず、おもちゃ、携帯電話機、パソコンなど、存在位置が常に固定でない物体（オブジェクト）に対応づけた合成音声についても、同様に生じ得る問題である。なお、ビデオゲームのキャラクタなどの仮想空間上のオブジェクトに対応づけた合成音声については、そのオブジェクトが物理的な実体を持たない為に、上述したような物理的な実体を持つオブジェクトに対応づけた合成音声以上に不明確となる。
【００１１】
そこで、本発明は、合成音声を聞いたユーザが、その合成音声に対応づけられたオブジェクトとの位置関係やそのオブジェクトの状況や発話の意図を想起しやすい合成音声を生成することができる音声合成装置、音声合成方法、および音声合成用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による音声合成装置は、オブジェクトに対応づけた音声を合成する音声合成装置であって、オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させる合成パラメータ決定部と、前記合成パラメータ決定部が変化させた音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成部とを備えたことを特徴とする。
【００１３】
また、合成パラメータ決定部は、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトの位置関係に応じて、音声合成パラメータを変化させてもよい。
【００１４】
また、合成パラメータ決定部は、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトとの位置方向、ユーザとオブジェクトとの間の距離、ユーザの正面方向とオブジェクトの正面方向とによる相対角度のいずれかまたはその組み合わせによって示されるユーザとオブジェクトとの位置関係に応じて、音声合成パラメータを変化させてもよい。
【００１５】
また、音声合成装置は、オブジェクトの周囲の環境に応じて、前記オブジェクトに対応づけられる音声として、どのような合成音声を生成するかを示す合成パラメータを変化させる合成パラメータ決定部と、前記合成パラメータ決定部が変化させた音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成部とを備えていてもよい。
【００１６】
また、音声合成装置は、オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係と、前記オブジェクトの周囲の環境とに応じて、前記オブジェクトに対応づけられる音声として、どのような合成音声を生成するかを示す合成パラメータを変化させる合成パラメータ決定部と、前記合成パラメータ決定部が変化させた音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成部とを備えていてもよい。
【００１７】
また、合成パラメータ決定部は、少なくとも周囲の明るさ、周囲の音の大きさ、近傍に他のオブジェクトが存在するか否か、当該オブジェクトに接しているまたは当該オブジェクトが保有している他のオブジェクトの種類のいずれかによって示されるオブジェクトの周囲の環境に応じて、音声合成パラメータを変化させてもよい。
【００１８】
また、合成パラメータ決定部は、音声合成パラメータとして、声質、発話速度、声の大きさのいずれかを変化させてもよい。
【００１９】
また、合成パラメータ決定部は、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、音声合成部は、前記合成パラメータ決定部によって決定される詳細度に従って、前記オブジェクトの発話内容が示されたテキストを要約する発話テキスト編集部と、前記発話テキスト編集部によって要約されたテキストを発話内容とする合成音声を生成するテキスト音声合成部とを含んでいてもよい。
【００２０】
また、合成パラメータ決定部は、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、音声合成部は、前記合成パラメータ決定部によって決定される詳細度に従って、与えられた事項が発話内容として表現されたテキストを生成する発話テキスト生成部と、前記発話テキスト生成部によって生成されたテキストを発話内容とする合成音声を生成するテキスト音声合成部とを含んでいてもよい。
【００２１】
また、合成パラメータ決定部は、オブジェクトとは独立した位置から合成音声が出力されることを前提にして、合成音声パラメータを変化させてもよい。
【００２２】
また、合成パラメータ決定部は、ユーザの近傍から合成音声が出力されることを前提にして、合成音声パラメータを変化させてもよい。
【００２３】
また、方向基準として、ユーザが向いている方向を用いてもよい。
【００２４】
また、方向基準として、ユーザの視線方向を用いてもよい。
【００２５】
また、合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、声質を変化させてもよい。
【００２６】
また、合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、音の大きさを変化させてもよい。
【００２７】
また、合成パラメータ決定部は、方向基準として絶対方向を用いることによって極座標系で表現される位置関係によって特定されるオブジェクトの周囲の環境に応じて、合成音声パラメータを変化させてもよい。
【００２８】
また、合成パラメータ決定部は、位置関係が所定の条件を満たしている場合にのみ、周囲の環境に応じて、合成音声パラメータを変化させてもよい。
【００２９】
また、合成パラメータ決定部は、合成音声を対応づけるオブジェクトが仮想空間上にのみ存在する仮想オブジェクトである場合に、合成音声パラメータをより極端に変化させてもよい。
【００３０】
また、合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、詳細度を変化させてもよい。
【００３１】
また、合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、詳細度および発話速度を変化させてもよい。
【００３２】
また、本発明による音声合成方法は、オブジェクトに対応づけた音声を合成するための音声合成方法であって、オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させ、変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成することを特徴とする。
【００３３】
また、音声合成方法は、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトとの位置方向、ユーザとオブジェクトとの間の距離、ユーザの正面方向とオブジェクトの正面方向とによる相対角度のいずれかまたはその組み合わせによって示されるユーザとオブジェクトとの位置関係に応じて、音声合成パラメータを変化させてもよい。
【００３４】
また、音声合成方法は、オブジェクトの周囲の環境に応じて、音声合成パラメータを変化させ、変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成してもよい。
【００３５】
また、音声合成方法は、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、前記決定された詳細度に従って、前記オブジェクトの発話内容が示されたテキストを要約し、前記要約されたテキストを発話内容とする合成音声を生成してもよい。
【００３６】
また、音声合成方法は、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、前記決定された詳細度に従って、与えられた事項が発話内容として表現されたテキストを生成し、前記生成されたテキストを発話内容とする合成音声を生成してもよい。
【００３７】
また、本発明による音声合成用プログラムは、オブジェクトに対応づけた音声を合成するための音声合成用プログラムであって、コンピュータに、オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させるパラメータ決定処理、および変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する合成処理を実行させることを特徴とする。
【００３８】
また、音声合成用プログラムは、コンピュータに、パラメータ決定処理で、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトとの位置方向、ユーザとオブジェクトとの間の距離、ユーザの正面方向とオブジェクトの正面方向とによる相対角度のいずれかまたはその組み合わせによって示されるユーザとオブジェクトとの位置関係に応じて、音声合成パラメータを変化させてもよい。
【００３９】
また、音声合成用プログラムは、コンピュータに、オブジェクトの周囲の環境に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させるパラメータ決定処理、および変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成処理を実行させてもよい。
【００４０】
また、音声合成用プログラムは、コンピュータに、パラメータ決定処理で、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定させ、音声合成処理で、前記決定された詳細度に従って、前記オブジェクトの発話内容が示されたテキストを要約させて、前記要約されたテキストを発話内容とする合成音声を生成させてもよい。
【００４１】
また、音声合成用プログラムは、コンピュータに、パラメータ決定処理で、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定させ、音声合成処理で、前記決定された詳細度に従って、与えられた事項が発話内容として表現されたテキストを生成させ、前記生成されたテキストを発話内容とする合成音声を生成させてもよい。
【発明の効果】
【００４２】
第１の効果は、合成パラメータ決定部がユーザとオブジェクトの位置関係または周囲の環境に応じて合成音声のパラメータを変化させるので、生成される合成音声に対応づけられたオブジェクトを的確に表現することができ、ユーザが、合成音声とオブジェクトとの結び付きを理解しやすくする。
【００４３】
第２の効果は、ユーザに対し、生成される合成音声に対応づけられたオブジェクトとの位置関係や状況や、合成音声による情報伝達の意図をわかりやすく提示することができる。
【００４４】
第３の効果は、たとえ合成音声に対応づけられたオブジェクトがユーザの視野に直接入っていない場合でも、視野に入っているのと同様に、ユーザにそのオブジェクトとの位置関係や状況、合成音声による情報伝達の意図を想起させることができる。
【発明を実施するための最良の形態】
【００４５】
以下、本発明の実施の形態を図面を参照して説明する。
【００４６】
実施の形態１．
図１は、本発明の第１の実施の形態による音声合成装置の構成例を示すブロック図である。図１に示すように、本実施の形態による音声合成装置は、方向入力手段１１と、距離入力手段１２と、合成パラメータ決定部２１と、音声合成部２２とを備える。
【００４７】
ここで、本施の形態における位置関係を以下のように定める。図２は、本実施の形態におけるオブジェクト０１とユーザ０２との位置関係を定義した説明図である。ここで、ユーザ０２は、オブジェクト０１を観察する主体である。また、オブジェクト０１は、本音声合成装置が合成する音声を発生元として対応づけられているオブジェクトであって、ここでは実体をもったロボットを想定している。こうした実体を持つオブジェクトには、ロボットだけでなく、おもちゃや携帯電話機なども該当し、これらを実体オブジェクトと呼ぶこととする。なお、図２に示す例では、オブジェクト０１に対応づけられた合成音声は、オブジェクト０１が備えるスピーカ装置などの合成音声出力部０３によって、オブジェクト０１と同じ位置から出力される。音声合成装置は、例えば、実体オブジェクトの音声出力用装置として、オブジェクト０１に組み込まれた形態で実現されたり、実体オブジェクトを展示している部屋のスピーカ制御装置に組み込まれた形態で実現されたりする。
【００４８】
図２に示すように、本実施の形態では、オブジェクト０１とユーザ０２との位置関係を、方向Ｃと距離ｒとによって定義する。方向Ｃは、ユーザ０２に対して、予め定義しておいた空間上における任意の角度である方向基準Ｃ０と、ユーザ０２からオブジェクト０１が見える方向とのなす角である。距離ｒは、ユーザ０２とオブジェクト０１との間の距離で示される情報である。図２では、ユーザ０２の正面となる方向を方向基準０５とした例を示している。
【００４９】
方向入力手段１１は、方向Ｃを入力する。距離入力手段１２は、距離ｒを入力する。処理部１３は、オブジェクト０１が合成音声を発する際に考慮される条件とする周囲の環境を示す周囲条件を入力する。
【００５０】
合成パラメータ決定部２１は、方向入力手段１１によって入力される方向Ｃと、距離入力手段１２によって入力される距離ｒと、処理部１３によって入力される周囲条件とに基づいて、オブジェクト０１に対応づけた合成音声を生成するための音声合成パラメータを決定する。ここで、音声合成パラメータとは、どのような合成音声を生成するかを示すパラメータである。例えば、生成される合成音声に含まれる属性の値を直接示す情報であってもよいし、合成音声に含まれる属性に対し類型化された特徴を示す情報であってもよい。
【００５１】
音声合成部２２は、合成パラメータ決定部２１によって決定される音声合成パラメータに従って、音声を合成する。
【００５２】
次に、図３を参照して本実施の形態の動作を説明する。図３は、本実施の形態による音声合成装置の動作例を示すフローチャートである。
【００５３】
まず、方向入力手段１１、距離入力手段１２、周囲条件入力手段１３は、それぞれ方向Ｃ、距離ｒ、周辺条件を入力する（ステップＳ１０１）。
【００５４】
方向入力手段１１と距離入力手段１２とは、例えば、次のように動作する。オブジェクト０１およびユーザ０２をカメラで撮影した画像データからそれぞれの位置を認識し、方眼紙上に配置することによって、オブジェクト０１の平面座標（ｘ１，ｙ１）と、ユーザ０２の平面座標（ｘ２，ｙ２）を得る。なお、カメラで撮影する代わりに、ＧＰＳやジャイロスコープ（ジャイロセンサ）を用いて座標を特定してもよい。
【００５５】
この時、方向入力手段１１は、方向Ｃを、方向基準０５が方眼紙上のｘ軸となす角Ｃ０を用いて、以下の式（１）によって求めればよい。
【００５６】
Ｃ＝ａｒｃｔａｎ（（ｙ１−ｙ２）／（ｘ１−ｘ２））−Ｃ０ ・・・式（１）
【００５７】
また、距離入力手段１２は、距離ｒを、以下の式（２）によって求めればよい。
【００５８】
【数１】
【００５９】
ここでは、オブジェクト０１とユーザ０２との位置関係を示す情報として、直交座標系における両者の位置座標に基づく方向Ｃと距離ｒを用いているが、他の座標系や位置関係を示す尺度を用いてもよい。また、平面上に限らず、立体角など高次においても同様に用いることができる。例えば、後述するように、ユーザ０２の正面方向とオブジェクト０１の正面方向とによる相対角度Ｒを用いてもよい。なお、方向Ｃは、方向基準Ｃ０とのなす角によってオブジェクト０１とユーザ０２との位置方向を示すのに対し、相対角度Ｒは、オブジェクト０１とユーザ０２との向き合わせの角度を示すものである。
【００６０】
また、周囲条件入力手段１３は、周囲条件として、周囲の明るさ、周囲の音パワー（音の大きさ）、近傍に他のオブジェクトが存在するか否か、オブジェクト０１に接したり保有している他のオブジェクトの種類等を示す情報を入力する。周囲条件の入力は、例えば、オブジェクト０１がフォトダイオードなどの光センサ、マイクロフォンなどの音センサ、マイクロスイッチや焦電素子などの接触センサや非接触センサ、他オブジェクトの保有状況を示す情報を記憶した保有状況テーブルなどを備え、それらセンサからの入力を検出したり、保有状況テーブルを参照することで実現される。
【００６１】
次に、合成パラメータ決定部２１は、方向入力手段１１、距離入力手段１２、周囲条件入力手段１３によって所定の入力パラメータ（ここでは、方向Ｃと距離ｒと周囲条件）が入力されると、それら入力パラメータによって示されるオブジェクト０１とユーザ０２との位置関係、およびオブジェクト０１の周囲の環境に応じて、音声合成パラメータを決定する（ステップＳ１０２）。なお、合成音声パラメータの制御方針によっては、方向Ｃだけや、距離ｒだけ、周囲条件だけが入力される場合もある。または、オブジェクト０１の正面向きとユーザ０２の正面向きによる相対角度Ｒが入力される場合がある。なお、合成パラメータ決定部２１は、少なくとも方向Ｃ、距離ｒ、相対角度Ｒのいずれかまたはその組み合わせによって示されるオブジェクト０１とユーザ０２の位置関係、またはオブジェクト０１の周囲の環境に応じて、音声合成パラメータを決定すればよい。
【００６２】
合成パラメータ決定部２１は、例えば、各入力パラメータの値に対応する合成音声パラメータの値を登録したパラメータ決定テーブルを備え、各入力パラメータの値に応じてパラメータ決定テーブルを参照することによって、合成音声パラメータを決定してもよい。
【００６３】
そして、音声合成部２２は、合成パラメータ決定部２１が決定した合成音声パラメータに従って、オブジェクト０１に対応づける音声を合成し、出力する（ステップＳ１０３）。
【００６４】
次に、具体的な例を示しながら、合成音声パラメータの決定方法について説明する。図４〜図６は、パラメータ決定テーブルの例を示す説明図である。これらのパラメータ決定テーブルでは、オブジェクト０１がユーザ０２の正面に近ければ近いほど、オブジェクト０１に対するユーザ０２の興味が強いと想定して、ユーザ０２にオブジェクト０１の発話内容がはっきり伝わるように制御して（変化させて）いる。一方、オブジェクト０１がユーザ０２の正面から遠ざかるほど興味が少ないと想定して、オブジェクト０１の発声によってユーザ０２の意識をあまり邪魔しないように制御している。また、オブジェクトの周囲条件の一つである明るさに対応して、オブジェクトの存在する位置の雰囲気が伝わるように制御している。なお、ユーザ０２の正面を基準に方向Ｃを求める方法については後述する。
【００６５】
図４は、方向Ｃに基づいて声質および発話速度を示す音声合成パラメータを決定するためのパラメータ決定テーブルの例である。図４では、例えば、ユーザ０２の正面を方向基準Ｃ０とした際の方向Ｃ（すなわち、ユーザ０２から見たオブジェクト０１が位置する方向）が−４５〜４５度である場合に、声質を「明瞭」、かつ発話速度を「通常」にすることが示されている。また、例えば、４５〜９０度または−９０度〜−４５度である場合には、声質を「やや曖昧」、かつ発話速度を「やや速い」にすることが示されている。また、例えば、９０〜１８０度または−１８０〜−９０度である場合には、声質を「モゴモゴ（不明瞭）」、かつ発話速度を「速い」にすることが示されている。
【００６６】
また、図５は、距離ｒに基づいてパワーを示す音声合成パラメータを決定するためのパラメータ決定テーブルの例である。図５では、例えば、オブジェクト０１とユーザ０２との距離ｒが、０〜５０ｃｍである場合にパワーを「大」、５０〜１５０ｃｍであればパワーを「中」、１５０ｃｍを超えていればパワーを「小」にすることが示されている。
【００６７】
また、図６は、周囲の明るさに基づいて発話の雰囲気を示す音声合成パラメータを決定するためのパラメータ決定テーブルの例である。図６では、例えば、周囲の明るさが明るい場合には「楽しそうな」雰囲気に、暗い場合には「怖がった」雰囲気にすることが示されている。なお、周囲条件は、例えば、オブジェクト０１がユーザ０２から遠く離れている場合にその様子を伝えるために用いるというように、方向Ｃや距離ｒに応じた限定要素として用いることも可能である。
【００６８】
例えば、ユーザ０２の視線方向とした方向基準Ｃ０を座標軸のｘ軸にとったとして、オブジェクトの位置が（ｘ１，ｙ１）＝（２０ｃｍ，４０ｃｍ）、ユーザ０２の位置が（ｘ２，ｙ２）＝（０ｃｍ，０ｃｍ）、周囲条件が明るいと観測された場合、方向Ｃは６０度、距離ｒ＝４４．７ｃｍと計算される。この時、図４〜図６に示したパラメータ決定テーブルに基づいて、音声合成パラメータは、声質「やや曖昧」、発話速度「やや速い」、パワー「小」、雰囲気「楽しそうな」が、選択される。これらの音声合成パラメータは、音声合成部２２に送られ、該当するパラメータによって合成音声が生成され、出力される。
【００６９】
これによって、オブジェクト０１がユーザ０２から見て斜め６０度方向、距離４４．７ｃｍの位置に存在するという条件から、ユーザの興味は正面近傍ほど強くないとみなして、「やや曖昧」かつ「やや速い」発声でパワーが「小」の発声を行い、ただしロボットの存在する位置は明るいので「楽しそうな雰囲気」を伝えるように、ユーザとオブジェクトの位置関係に応じた特徴を持つ合成音声が出力される。
【００７０】
なお、本例では、方向Ｃ、距離ｒ、周囲条件から音声合成パラメータを求める手段として、図４〜図６に示すようなパラメータ決定テーブルを用いる例を示したが、このようなパラメータ決定テーブルに限定されるものではない。また、上記例では、各テーブルに記述する入力パラメータは独立しているが、各入力パラメータを組み合わせた値と合成音声パラメータとを対応づけてもよい。例えば、方向Ｃと距離ｒの組合せによってパワーを決定するように設計することも可能である。また、例えば、ユーザ０２との距離が近い場合や、ユーザの視野に入っていない場合にだけ、周囲条件に応じた制御を行うといった方法をとることも可能である。また、テーブル参照によらず、各入力パラメータの値を演算した結果を用いてパラメータを定めてもよい。
【００７１】
また、周囲条件の例として、明るさに対応させて音声合成パラメータを制御する例に説明したが、例えば、周囲条件として周囲の音パワーを入力するようにし、周囲の音パワーに対応させてその音よりも大きくなるようにベースの音パワーを決定してもよい。また、例えば、周囲条件としてオブジェクト０１の近傍に他のオブジェクトが存在するか否かや、オブジェクト０１に接したり保有している他のオブジェクトが存在するか否か、また存在する場合にそのオブジェクトの情報（例えば、種類や重さやレベル等）を入力するようにし、オブジェクトの情報に対応させて、怖がった声にしたり、重たそうな声にしたり、うれしそうな声にするといった制御を行ってもよい。
【００７２】
また、音声合成パラメータとして、声質、発話速度、パワー、雰囲気を用いているが、これらに限るものではなく、話者、ピッチ周波数、アクセント強度などを制御するようにしてもよい。
【００７３】
また、本実施の形態において、音声合成部２２は、適用されるシステムに応じて、録音再生、ＣＥＬＰなどのコーデック、テキスト音声合成などの形態を取り得るが、テキスト音声合成のように前記パラメータの全てを変更可能なものと、録音再生と発速変換技術の組み合わせのように高々発話速度程度しか可変できないものが存在する。ここでは、全てのパラメータを取り扱えるものを用いるが、取り扱うことのできないパラメータを無視する構成を採ることも可能である。
【００７４】
また、合成音声パラメータは、次に示すよう決定方法によって決定してもよい。図７は、本例における合成音声出力部０３の位置の例を示す説明図である。図７に示すように、本例では、オブジェクト０１に対応づけられた合成音声は、オブジェクト０１の位置とは無関係に、別の位置から発せられることとする。ここでは、ユーザ０２の十分近傍から出力されることを想定している。
【００７５】
なお、本例では、合成音声がユーザ０２の充分近傍から出力されるので、オブジェクト０１が複数存在する場合には、各オブジェクトの合成音声が出力される位置はそれぞれ十分に近傍または完全に同じになる。
【００７６】
図８は、本例におけるパラメータ決定テーブルの例を示す説明図である。図８は、距離ｒに基づいてパワーを決定するためのパラメータ決定テーブルの例を示している。図８に示すように、ユーザ０２から見てオブジェクト０１が近い場合には合成音声のパワーを大きく、遠い場合には合成音声のパワーを小さくするように制御してもよい。
【００７７】
これにより、ユーザから見てオブジェクトが近い場合には合成音声のパワーを大きく、遠い場合には合成音声のパワーを小さくすることで、より臨場感のある合成音声を得ることができる。また、図９は、オブジェクト０１とユーザ０２との位置関係の例を示す説明図である。図９に示すように、オブジェクト０１がユーザ０２の視野の外に存在するような場合であっても、対応する合成音声の特徴から、大まかな位置を推定することが可能になる。
【００７８】
また、図８に示すような距離ｒに基づくパラメータ決定テーブルを使う代わりに、入力された距離ｒを用いて、次の式（３）によってパワーｐ（ｒ）を求めることも可能である。ここで、Ｋは負の定数とする。
【００７９】
ｐ（ｒ）＝ｒＫ ・・・式（３）
【００８０】
ここで、Ｋ＝−（２／３）とすることで、感覚に即した効果を得ることが可能である。
【００８１】
また、距離ｒに基づくパラメータの決定方法として、位置を推定できるようにするのではなく、情報伝達の意図をよりわかりやすくするために、図１０に示すようなパラメータ決定テーブルに従って、音声合成パラメータを決定してもよい。図１０は、距離ｒに基づいてパワーを決定するためのパラメータ決定テーブルの他の例を示す説明図である。図１０に示すように、、遠いところでは情報が伝わるようにパワーを大きくして、近いところではやかましさを感じさせないようにパワーを小さくするといった制御をすることも可能である。
【００８２】
なお、ここでは、距離ｒに対応させてパワーを制御する例だけを示したが、上述のように方向Ｃや周囲条件を組み合わせて声質や雰囲気も制御するようにしてもよい。
【００８３】
次に、方向基準Ｃ０の設定例を示す。まず、方向基準Ｃ０を絶対方向として定義する例を示す。図１１は、本例における方向基準Ｃ０を示す説明図である。図１１に示すように、方向基準Ｃ０を、ユーザ０２とオブジェクト０１が存在する部屋の中に絶対方向として定義してもよい。図１１に示す例では、ユーザ０２の位置から部屋の長辺に並行な方向を方向基準Ｃ０と定義している。
【００８４】
これにより、部屋の長辺と、ユーザ０２とオブジェクト０１を結ぶ線分とのなす角を計ることにより、方向Ｃを簡単に求めることができる。また、方向基準Ｃ０を絶対方向として定義することによって、オブジェクト０１とユーザ０２との位置関係を、ユーザ位置を原点とする極座標系で表現することができる。極座標系で示される位置関係に基づいて、例えば、オブジェクト０１がユーザ０２よりも北側にいる場合には寒そうな表現にしたり、また、例えば、ユーザ０２と比較してオブジェクト０１の方がある場所に対しより近い位置にいる場合に怖がった雰囲気になるようにしたりといった制御を行うことによって、オブジェクトの周囲の状況や情報伝達の意図をよりわかりやすく伝えることができる。なお、本例は、ユーザ０２とオブジェクト０１との位置関係によって特定づけられるオブジェクト０１の周囲の環境に応じて、音声合成パラメータを制御する例でもある。
【００８５】
また、方向基準Ｃ０を次のように定めてもよい。本例は、オブジェクト０１とユーザ０２との位置関係に、ユーザ０２の目線方向を加味する例である。図１２は、本例における音声合成装置の構成例および方向基準Ｃ０を示す説明図である。図１２に示すように、音声合成装置は、ユーザ視野検出手段１６と、ユーザ位置検出手段１５と、オブジェクト位置検出手段１４と通信可能に接続されていてもよい。なお、図１２において音声合成装置は、オブジェクト０１に含まれているものとする。
【００８６】
オブジェクト位置検出手段１４は、オブジェクト０１に装着され、オブジェクト０１の位置を検出する。また、ユーザ位置検出手段１５は、ユーザ０２に装着され、ユーザ０２の位置を検出する。オブジェクト位置検出手段１４およびユーザ位置検出手段１５は、例えば、ＧＰＳ受信機によって実現される。
【００８７】
また、ユーザ視野検出手段１６は、例えば、カメラ装置と画像解析手段とから構成され、ユーザ０１の視線方向を検出する。具体的には、ユーザ０２が装着するメガネに取り付けられたカメラ装置が、ユーザ０２の黒目位置を撮影し、画像解析手段が画像データを解析して、黒目位置の基準値からの偏差を求めることによって、ユーザの目線方向を検出すればよい。なお、ユーザの目線方法が実際のどの方角かを向いているかは、例えば、メガネに装着されたジャイロセンサを用いて測定される顔の正面方向を基準にすればよい。また、例えば、ユーザ０２を少なくとも２方向から撮影できる固定カメラ装置が撮影した画像データを画像解析手段が解析し、それら画像データから顔の正面を示す特徴や黒目位置を検出して、画像内における顔の正面方向および顔の正面方向に対する目線方向を特定し、それら方向と、その画像を撮影したカメラ装置の位置とから実際の目線方向を算出してもよい。
【００８８】
方向入力手段１１および距離入力手段１２は、これら検出手段によって検出されるオブジェクト位置を示す情報、ユーザ位置を示す情報、ユーザ視線方向を示す情報を、例えば、入力ポートや通信ネットワークを介してそれぞれ受け取って、方向Ｃや距離ｒを算出すればよい。その際、方向入力手段１１は、ユーザ視野検出手段１６によって検出された視線方向を、方向基準Ｃ０として定義する。このような場合には、方向基準Ｃ０はユーザの向いている方向に依存するものとなる。
【００８９】
これにより、ユーザ０２が動きまわり、位置や視線方向が刻一刻と変化することにリアルタイムに対応して、合成音声の特徴を変化させることも可能である。ユーザは、必要に応じて自らの向きや位置を変えることで、情報の受け取り方を変えることができる。
【００９０】
また視線方向に限らず、顔の向いている方向（正面方向）や体の向いている方向（正面方向）などを検出することで、より安定な方向を用いてもよい。なお、顔の正面方向や体の正面方向については、例えば、ユーザの両手や両耳、両目など顔の正面や体の正面がわかるような部位に対応して装着される装着物（例えば、メガネやイヤホンマイク）に取り付けたジャイロセンサを用いて測定したり、２方向からの画像データから顔や体の正面を示す特徴を検出して、特定すればよい。
【００９１】
図１３は、本例におけるパラメータ決定テーブルの例を示す説明図である。図１３は、ユーザ０２の正面方向を方向基準Ｃ０とする方向Ｃに基づいて声質を決定するためのパラメータ決定テーブルの例を示している。なお、本例は、距離ｒによって、オブジェクト０１とユーザ０２との距離が十分近傍であることが示されていることを前提としている。図１３に示すように、ユーザ０２から見てオブジェクト０１が正面付近に存在する場合、つまり正面からの角度が０度付近の場合は、声質を「明瞭」とし、逆に、側面方向や背面方向に存在する場合は、声質を「ささやき声」とするように制御してもよい。
【００９２】
これによって、正面付近以外ではユーザに対しささやくように発話させることで、ユーザの注意を引きつけ、ユーザ０２に正面を向いてもらう効果を期待できる。また、明瞭とささやき声の中間段階を用意してもよい。同様の効果を、図１４のようにパワーを変更して、側面や背後方向では大きなパワーで意識を向けてもらうようにすることによっても実現してもよい。図１４は、ユーザ０２の正面方向を方向基準Ｃ０とする方向Ｃに基づいてパワーを決定するためのパラメータ決定テーブルの例を示している。
【００９３】
また、ユーザ０２の正面方向だけでなく、オブジェクト０１にも正面方向がある場合には、オブジェクト０１とユーザ０２との位置関係に、お互いの向き（目線、顔、体の正面方向）による相対角度Ｒを加味してもよい。なお、オブジェクト０１の正面方向をオブジェクト０１が管理していない場合には、ユーザ０２の正面方向を検出する方法と同様の方法を用いて、オブジェクト０１の正面方向を検出すればよい。
【００９４】
そして、方向入力手段１１が、オブジェクト位置を示す情報と、ユーザ位置を示す情報とともに、ユーザ０２の正面方向を示す情報と、オブジェクト０１の正面方向を示す情報とを入力ポートや通信ネットワークを介して受け取り、方向Ｃと相対角度Ｒとを求めればよい。
【００９５】
このような場合、合成パラメータ決定部２１は、例えば、オブジェクト０１がユーザ０２の背面寄りにいる場合であっても距離が近くほぼ同じ方向を向いていれば連れだって移動していると見なして、楽しげな雰囲気になるように音声合成パラメータを制御してもよい。また、例えば、距離が近くてもお互いにそっぽを向いていれば、無関心な雰囲気になるように制御してもよい。また、オブジェクトがユーザの方を向いている場合に限定して、上述のささやき声の制御を行うといったことも可能である。このように、方向Ｃと距離ｒと相対角度Ｒとで示される位置関係に基づいて合成音声パラメータを制御することによって、より臨場感をもった発話が可能になる。
【００９６】
図１５は、本例におけるパラメータ決定テーブルの例を示す説明図である。図１５は、方向Ｃと距離ｒと相対角度Ｒとに基づいてピッチ周波数の高低さ、抑揚の強弱、雰囲気（パタン）を決定するためのパラメータ決定テーブルの例を示している。なお、図１５（ａ）は距離ｒが１００ｃｍより小さい場合に参照されるパラメータ決定テーブルの例であり、図１５（ｂ）は距離ｒが１００ｃｍ以上の場合に参照されるパラメータ決定テーブルの例であるが、３つの要素を組み合わせたパラメータの決定は、このようにテーブルを２つに分けて登録することには限定されない。図１５では、例えば、距離ｒが近距離（１００ｃｍより小さい）で、相対方向Ｒが正対方向（０〜＋９０度または０〜−９０度）であって、方向Ｃが正面方向（０〜＋４５度または０〜−４５度）である場合には、ピッチ周波数の高低を高めに、抑揚の強弱は強く、またとても楽しい雰囲気となるように制御する例が示されている。また、例えば、距離ｒが遠距離（１００ｃｍ以上）で、相対方向Ｒが正対方向とは逆方向（＋９０〜＋１８０度または−９０〜−１８０度）であって、方向Ｃが背面方向（＋９０〜＋１８０度または−９０〜−１８０度）である場合には、ピッチ周波数の高低を中くらいに、、抑揚の強弱は弱く、また険しい雰囲気（疎遠な感じ）となるように制御する例が示されている。
【００９７】
なお、上記例では、オブジェクト０１が実体オブジェクトである場合を例に説明したが、オブジェクト０１は、ビデオゲームキャラクタのように仮想空間上にのみ存在する仮想オブジェクトであっても、本発明を適用することが可能である。ただし、オブジェクト０１には、仮想区間上における位置の概念および位置情報を有するものとする。
【００９８】
このような場合には、オブジェクト０１と同じ仮想空間上に、ユーザ０２の仮想的な位置と方向基準Ｃ０とを設定し、仮想空間上におけるオブジェクト０１とユーザ０２との方向Ｃや距離ｒを求めればよい。方向基準Ｃ０は、例えば、ある絶対方向やユーザ０２の顔の向きや進行方向に設定すればよい。また、例えば、オブジェクト０１やユーザ０２の進行方向をそれぞれの正面向きとして、お互いの正面向きによる相対角度Ｒを求めることも可能である。
【００９９】
オブジェクト０１の位置やユーザ０２の位置は、ビデオディスプレイに投影するなどの方法でユーザに提示してもよいし、提示しないでもよい。また、ユーザ０２の仮想的な位置は、ユーザ０２によるコントローラ上のボタンやマウス操作に応じて移動させてもよい。なお、本例におけるパラメータの決定方法は、既に示した方法と同様に、例えば、オブジェクト０１がユーザ０２の正面に近ければ近いほど、ユーザ０２にオブジェクト０１の発話内容がはっきり伝わるように制御したり、オブジェクトの周囲条件の一つである明るさに対応して、オブジェクトの存在する位置の雰囲気が伝わるように制御したりしてもよい。また、例えば、距離感をつかませるために、ユーザ０２から見てオブジェクト０１が近い場合には音パワーを大きく、遠い場合には音パワーを小さくするように制御してもよい。また、発話内容が十分聞こえるように、ユーザ０２から見てオブジェクト０１が遠い場合には音パワーを大きく、近い場合には音パワーを小さくするように制御してもよい。また、例えば、極座標系で示される位置関係に基づいて、寒そうにしたり、固定的に位置する環境を利用する等の用途で、音パワーを制御したりしてもよい。また、例えば、オブジェクト０１が正面以外の付近に存在する場合に、ささやき声になるように声質を制御したり、注意を引きつけるような音パワーに制御してもよい。また、例えば、さらに相対角度Ｒを加味した位置関係に基づいて、楽しげな雰囲気にしたり、無関心な雰囲気にするように制御したりしてもよい。
【０１００】
なお、仮想オブジェクトに対応づけた合成音声の合成音声パラメータを制御する場合には、パラメータの変化幅を大きくして、より極端に変化させてもよい。
【０１０１】
なお、本例における音声合成装置は、例えば、仮想オブジェクトを動作させるためのプログラムの一機能として音声合成機能が記述されたプログラムを読み込み、そのプログラムに従って動作するＣＰＵ等によって実現される。
【０１０２】
これにより、位置の提示有無に関わらず、合成音声の特徴（声質やパワーや）によって、ユーザが仮想空間上での位置や、状態伝達の意図を容易に推定できるようになる。
【０１０３】
以上のように、本実施の形態によれば、少なくとも方向Ｃと距離ｒと相対角度Ｒのいずれか、またはその組み合わせによって示されるオブジェクト０１とユーザ０２との位置関係や周囲の環境に基づいて、所定の制御方針に基づき予め定めれられている決定方法に従って、合成音声パラメータを決定することによって、制御方針によっては生成される合成音声に対応づけられたオブジェクトをより的確に表現することができ、また、生成される合成音声に対応づけられたオブジェクトとの位置関係や状況や、合成音声による情報伝達の意図をよりわかりやすく提示することができ、また、たとえ合成音声に対応づけられたオブジェクトがユーザの視野に直接入っていない場合でも、視野に入っているのと同様に、ユーザにそのオブジェクトとの位置関係や状況、合成音声による情報伝達の意図をより想起させることができる。
【０１０４】
実施の形態２．
次に、本発明の第２の実施の形態について説明する。図１６は、第２の実施の形態による音声合成装置の構成例を示すブロック図である。図１６に示すように、本実施の形態による音声合成装置は、音声合成部２２が、発話テキスト編集部２２１と、テキスト音声合成部２２２とを含む。また、本実施の形態における音声合成装置は、合成パラメータ決定部２１が、音声合成パラメータとして、少なくとも発話内容の詳細度を決定する。
【０１０５】
発話テキスト編集部２２１は、合成パラメータ決定部２１が決定した詳細度に基づいて、入力されたテキスト（発話内容を示すテキスト）を編集する。具体的には、合成パラメータ決定部２１が決定した詳細度に応じて、発話内容を要約する。
【０１０６】
テキスト音声合成部２２２は、発話テキスト編集部２２１によって編集された内容で、合成音声を生成する。
【０１０７】
次に、図１７を参照して本実施の形態の動作を説明する。図１７は、本実施の形態による音声合成装置の動作例を示すフローチャートである。なお、図１７におけるステップＳ１０１の動作は、図２に示す第１の実施の形態におけるステップＳ１０１と同様のため、説明省略する。
【０１０８】
合成パラメータ決定部２１は、方向入力手段１１、距離入力手段１２、周囲条件入力手段１３によって所定の入力パラメータ（例えば、方向Ｃや、距離ｒ、相対角度Ｒ、周囲条件等）が入力されると、それら入力パラメータに基づいて、少なくとも発話内容の詳細度を示す合成音声パラメータを決定する（ステップＳ２０１）。
【０１０９】
合成パラメータ決定部２１は、例えば、図１８に示すようなパラメータ決定テーブルを参照することによって、「入力全て」「少しだけ要約する」「ほとんど要約する」の３値を取る詳細度パラメータを決定してもよい。図１８は、方向Ｃに基づいて詳細度を示す音声合成パラメータを決定するためのパラメータ決定テーブルの例である。図１８に示すパラメータ決定テーブルでは、オブジェクト０１がユーザ０２の正面にある場合にはオブジェクト０１に対するユーザ０２の関心が大きいと見なして詳細な情報を伝達するように制御し、逆に、全く違う方向を向いている場合には関心が少ないと見なして概要だけを伝達するように制御している。
【０１１０】
次に、発話テキスト編集部２２１は、詳細度パラメータに従って入力されたテキストを編集（要約）する（ステップＳ２０２）。テキストの要約は、例えば、非特許文献「Ｉｎｄｅｒｊｅｅｔ Ｍａｎｉ著（奥村学他訳），”自動翻訳”，共立出版，２００３年６月，ｐ．１４−２１」に開示されているように、テキストを解析して内部表現を生成し、内部表現を詳細度パラメータに応じて要約の表現に変形し、要約の表現を自然言語に戻すことによって行ってもよい。
【０１１１】
そして、テキスト音声合成部２２２は、発話テキスト編集部２２１によって編集された内容で、オブジェクト０１に対応づける音声を合成し、出力する（ステップＳ２０３）。
【０１１２】
なお、上記例では、与えられた発話内容を示すテキストを編集する発話テキスト編集部２２１を用いたが、これに限らず、詳細度と発話内容を入力として、これらから発話内容を生成するようにしてもよい。例えば、発話内容として、家からの経路およびかかる時間が「バス／１５分＋電車／１時間＋待ち合わせ／１５分＋電車／３０分＋バス／３０分」である旨の情報、および概要だけを説明する旨の詳細度が与えられた場合には、「家からバスと電車を使って来ました」という発話内容を生成するようにしてもよい。なお、詳細度とともに、「ですます調」「である調」「だ調」といった丁寧度を与えるようにし、丁寧度で示される口調で発話内容を生成するようにしてもよい。
【０１１３】
また、発話全体の概略の時間長を与えることによって、例えば美術館の収蔵品案内を音声合成で行う際に、ユーザが向いている方向にある絵は長い時間を掛けて説明し、向いていない方向の絵は短時間で説明を終えるなどの使い方もできる。
【０１１４】
また、テキスト再生に限らず、録音再生による音声合成の場合、発話対象の一部だけを飛ばし飛ばしに再生することや、一つの発話対象が複数の部分音声から構成されている場合には見出しなどの重要部分音声だけを選択的に再生することで、合成音声による情報伝達の意図をよりわかりやすく提示することができる。
【０１１５】
なお、方向Ｃに応じて詳細度を制御するだけでなく、例えば、図１９に示すように距離ｒに応じて詳細度を制御しても同様の効果を得ることができる。
【０１１６】
また、各テーブルに記述する入力パラメータを独立させずに、各入力パラメータを組み合わせた値と合成音声パラメータ（詳細度）とを対応づけてもよい。例えば、方向Ｃと距離ｒの組合せによって詳細度を決定するように設計することも可能である。また、テーブル参照によらず、各入力パラメータの値を演算した結果を用いてパラメータ（例えば、発話時間）を定めてもよい。
【０１１７】
図２０は、本例におけるパラメータ決定テーブルの例を示す説明図である。図２０は、距離ｒと方向Ｃとに基づいて詳細度を示す音声合成パラメータを決定するためのパラメータ決定テーブルの例である。図２０では、例えば、距離ｒが近距離（０〜５０ｃｍ）であっても、方向Ｃが正面方向（０〜＋４５度または０〜−４５度）である場合には、短く簡潔に話すように制御し、逆に、方向Ｃが背面方向（＋９０〜＋１８０度または−９０〜−１８０度）である場合には、詳細に話すように制御する例が示されている。これは、関心が少ないと見られる人でも近くにいる場合には、その人の興味を引きつけるように少しでも長く耳に入るような制御を行う例である。
【０１１８】
なお、図２１は、本実施の形態による音声合成装置の他の動作例を示すフローチャートである。図２１に示すように、テキスト音声合成部２２２は、発話テキスト編集部２２１によって編集（または生成）された内容で、かつ合成パラメータ決定部２１によって決定された声質やパワー等の音声合成パラメータに従って、オブジェクト０１の音声を合成するようにしてもよい（ステップＳ３０１）。なお、他の動作は、図３および図１７に示す動作と同様である。
【０１１９】
以上のように、本実施の形態によれば、オブジェクト０１とユーザ０２との位置関係や周囲条件に基づいて、発話内容の詳細度を決定することによって、ユーザ０２の関心度に応じて詳細な内容を出力（発話や、再生）したり、概要だけを出力させたりすることができ、合成音声による情報伝達の意図をより想起させることができる。
【産業上の利用可能性】
【０１２０】
本発明は、例えばロボットやおもちゃなどにおける音声対話に適用可能である。また、位置や状況が時時刻刻と変化する交通システム、オブジェクトが実体を持たないビデオゲームキャラクタや仮想現実感システムなどにも適用可能である。特に、音声合成のパラメータ設定の自由度が一般的に高い、テキスト音声合成を利用したこれらのシステムへの適用に好適である。
【図面の簡単な説明】
【０１２１】
【図１】第１の実施の形態による音声合成装置の構成例を示すブロック図である。
【図２】オブジェクト０１とユーザ０２との位置関係を定義した説明図である。
【図３】第１の実施の形態による音声合成装置の動作例を示すフローチャートである。
【図４】パラメータ決定テーブルの例を示す説明図である。
【図５】パラメータ決定テーブルの例を示す説明図である。
【図６】パラメータ決定テーブルの例を示す説明図である。
【図７】合成音声出力部０３の位置の例を示す説明図である。
【図８】パラメータ決定テーブルの例を示す説明図である。
【図９】オブジェクト０１とユーザ０２との位置関係の例を示す説明図である。
【図１０】パラメータ決定テーブルの例を示す説明図である。
【図１１】方向基準Ｃ０を示す説明図である。
【図１２】音声合成装置の構成例および方向基準Ｃ０を示す説明図である。
【図１３】パラメータ決定テーブルの例を示す説明図である。
【図１４】パラメータ決定テーブルの例を示す説明図である。
【図１５】パラメータ決定テーブルの例を示す説明図である。
【図１６】第２の実施の形態による音声合成装置の構成例を示すブロック図である。
【図１７】第２の実施の形態による音声合成装置の動作例を示すフローチャートである。
【図１８】パラメータ決定テーブルの例を示す説明図である。
【図１９】パラメータ決定テーブルの例を示す説明図である。
【図２０】パラメータ決定テーブルの例を示す説明図である。
【図２１】第２の実施の形態による音声合成装置の他の動作例を示すフローチャートである。
【符号の説明】
【０１２２】
１１ 方向入力手段
１２ 距離入力手段
１３ 周囲条件入力手段
１４ オブジェクト位置検出手段
１５ ユーザ位置検出手段
１６ ユーザ視野検出手段
２１ 合成パラメータ決定部
２２ 音声合成部
２２１ 発話テキスト編集部
２２２ テキスト音声合成部
【特許請求の範囲】
【請求項１】
オブジェクトに対応づけた音声を合成する音声合成装置であって、
オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させる合成パラメータ決定部と、
前記合成パラメータ決定部が変化させた音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成部とを備えた
ことを特徴とする音声合成装置。
【請求項２】
合成パラメータ決定部は、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトの位置関係に応じて、音声合成パラメータを変化させる
請求項１に記載の音声合成装置。
【請求項３】
合成パラメータ決定部は、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトとの位置方向、ユーザとオブジェクトとの間の距離、ユーザの正面方向とオブジェクトの正面方向とによる相対角度のいずれかまたはその組み合わせによって示されるユーザとオブジェクトとの位置関係に応じて、音声合成パラメータを変化させる
請求項１または請求項２に記載の音声合成装置。
【請求項４】
オブジェクトに対応づけた音声を合成する音声合成装置であって、
オブジェクトの周囲の環境に応じて、前記オブジェクトに対応づけられる音声として、どのような合成音声を生成するかを示す合成パラメータを変化させる合成パラメータ決定部と、
前記合成パラメータ決定部が変化させた音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成部とを備えた
ことを特徴とする音声合成装置。
【請求項５】
オブジェクトに対応づけた音声を合成する音声合成装置であって、
オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係と、前記オブジェクトの周囲の環境とに応じて、前記オブジェクトに対応づけられる音声として、どのような合成音声を生成するかを示す合成パラメータを変化させる合成パラメータ決定部と、
前記合成パラメータ決定部が変化させた音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成部とを備えた
ことを特徴とする音声合成装置。
【請求項６】
合成パラメータ決定部は、少なくとも周囲の明るさ、周囲の音の大きさ、近傍に他のオブジェクトが存在するか否か、当該オブジェクトに接しているまたは当該オブジェクトが保有している他のオブジェクトの種類のいずれかによって示されるオブジェクトの周囲の環境に応じて、音声合成パラメータを変化させる
請求項４または請求項５に記載の音声合成装置。
【請求項７】
合成パラメータ決定部は、音声合成パラメータとして、声質、発話速度、声の大きさのいずれかを変化させる
請求項１から請求項５のうちのいずれか１項に記載の音声合成装置。
【請求項８】
合成パラメータ決定部は、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、
音声合成部は、
前記合成パラメータ決定部によって決定される詳細度に従って、前記オブジェクトの発話内容が示されたテキストを要約する発話テキスト編集部と、
前記発話テキスト編集部によって要約されたテキストを発話内容とする合成音声を生成するテキスト音声合成部とを含む
請求項１から請求項３のうちのいずれか１項に記載の音声合成装置。
【請求項９】
合成パラメータ決定部は、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、
音声合成部は、
前記合成パラメータ決定部によって決定される詳細度に従って、与えられた事項が発話内容として表現されたテキストを生成する発話テキスト生成部と、
前記発話テキスト生成部によって生成されたテキストを発話内容とする合成音声を生成するテキスト音声合成部とを含む
請求項１から請求項３のうちのいずれか１項に記載の音声合成装置。
【請求項１０】
合成パラメータ決定部は、オブジェクトとは独立した位置から合成音声が出力されることを前提にして、合成音声パラメータを変化させる
請求項１から請求項４に記載の音声合成装置。
【請求項１１】
合成パラメータ決定部は、ユーザの近傍から合成音声が出力されることを前提にして、合成音声パラメータを変化させる
請求項１０に記載の音声合成装置。
【請求項１２】
方向基準として、ユーザが向いている方向を用いる
請求項２または請求項３に記載の音声合成装置。
【請求項１３】
方向基準として、ユーザの視線方向を用いる
請求項２または請求項３に記載の音声合成装置。
【請求項１４】
合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、声質を変化させる
請求項３に記載の音声合成装置。
【請求項１５】
合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、音の大きさを変化させる
請求項３に記載の音声合成装置。
【請求項１６】
合成パラメータ決定部は、方向基準として絶対方向を用いることによって極座標系で表現される位置関係によって特定されるオブジェクトの周囲の環境に応じて、合成音声パラメータを変化させる
請求項３に記載の音声合成装置。
【請求項１７】
合成パラメータ決定部は、位置関係が所定の条件を満たしている場合にのみ、周囲の環境に応じて、合成音声パラメータを変化させる
請求項５に記載の音声合成装置。
【請求項１８】
合成パラメータ決定部は、合成音声を対応づけるオブジェクトが仮想空間上にのみ存在する仮想オブジェクトである場合に、合成音声パラメータをより極端に変化させる
請求項１または請求項４に記載の音声合成装置。
【請求項１９】
合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、詳細度を変化させる
請求項８または請求項９に記載の音声合成装置。
【請求項２０】
合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、詳細度および発話速度を変化させる
請求項８または請求項９に記載の音声合成装置。
【請求項２１】
オブジェクトに対応づけた音声を合成するための音声合成方法であって、
オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させ、
変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する
ことを特徴とする音声合成方法。
【請求項２２】
ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトとの位置方向、ユーザとオブジェクトとの間の距離、ユーザの正面方向とオブジェクトの正面方向とによる相対角度のいずれかまたはその組み合わせによって示されるユーザとオブジェクトとの位置関係に応じて、音声合成パラメータを変化させる
請求項２１に記載の音声合成方法。
【請求項２３】
オブジェクトに対応づけた音声を合成するための音声合成方法であって、
オブジェクトの周囲の環境に応じて、音声合成パラメータを変化させ、
変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する
ことを特徴とする音声合成方法。
【請求項２４】
ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、
前記決定された詳細度に従って、前記オブジェクトの発話内容が示されたテキストを要約し、
前記要約されたテキストを発話内容とする合成音声を生成する
請求項２１から請求項２３のうちのいずれか１項に記載の音声合成方法。
【請求項２５】
ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、
前記決定された詳細度に従って、与えられた事項が発話内容として表現されたテキストを生成し、
前記生成されたテキストを発話内容とする合成音声を生成する
請求項２１から請求項２３のうちのいずれか１項に記載の音声合成方法。
【請求項２６】
オブジェクトに対応づけた音声を合成するための音声合成用プログラムであって、
コンピュータに、
オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させるパラメータ決定処理、および
変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する合成処理
を実行させるための音声合成用プログラム。
【請求項２７】
コンピュータに、
パラメータ決定処理で、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトとの位置方向、ユーザとオブジェクトとの間の距離、ユーザの正面方向とオブジェクトの正面方向とによる相対角度のいずれかまたはその組み合わせによって示されるユーザとオブジェクトとの位置関係に応じて、音声合成パラメータを変化させる
請求項２６に記載の音声合成用プログラム。
【請求項２８】
オブジェクトに対応づけた音声を合成するための音声合成用プログラムであって、
コンピュータに、
オブジェクトの周囲の環境に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させるパラメータ決定処理、および
変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成処理
を実行させるための音声合成用プログラム。
【請求項２９】
コンピュータに、
パラメータ決定処理で、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定させ、
音声合成処理で、前記決定された詳細度に従って、前記オブジェクトの発話内容が示されたテキストを要約させて、前記要約されたテキストを発話内容とする合成音声を生成させる
請求項２６から請求項２８のうちのいずれか１項に記載の音声合成方法。
【請求項３０】
コンピュータに、
パラメータ決定処理で、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定させ、
音声合成処理で、前記決定された詳細度に従って、与えられた事項が発話内容として表現されたテキストを生成させ、前記生成されたテキストを発話内容とする合成音声を生成させる
請求項２６から請求項２８のうちのいずれか１項に記載の音声合成方法。
【請求項１】
オブジェクトに対応づけた音声を合成する音声合成装置であって、
オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させる合成パラメータ決定部と、
前記合成パラメータ決定部が変化させた音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成部とを備えた
ことを特徴とする音声合成装置。
【請求項２】
合成パラメータ決定部は、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトの位置関係に応じて、音声合成パラメータを変化させる
請求項１に記載の音声合成装置。
【請求項３】
合成パラメータ決定部は、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトとの位置方向、ユーザとオブジェクトとの間の距離、ユーザの正面方向とオブジェクトの正面方向とによる相対角度のいずれかまたはその組み合わせによって示されるユーザとオブジェクトとの位置関係に応じて、音声合成パラメータを変化させる
請求項１または請求項２に記載の音声合成装置。
【請求項４】
オブジェクトに対応づけた音声を合成する音声合成装置であって、
オブジェクトの周囲の環境に応じて、前記オブジェクトに対応づけられる音声として、どのような合成音声を生成するかを示す合成パラメータを変化させる合成パラメータ決定部と、
前記合成パラメータ決定部が変化させた音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成部とを備えた
ことを特徴とする音声合成装置。
【請求項５】
オブジェクトに対応づけた音声を合成する音声合成装置であって、
オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係と、前記オブジェクトの周囲の環境とに応じて、前記オブジェクトに対応づけられる音声として、どのような合成音声を生成するかを示す合成パラメータを変化させる合成パラメータ決定部と、
前記合成パラメータ決定部が変化させた音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成部とを備えた
ことを特徴とする音声合成装置。
【請求項６】
合成パラメータ決定部は、少なくとも周囲の明るさ、周囲の音の大きさ、近傍に他のオブジェクトが存在するか否か、当該オブジェクトに接しているまたは当該オブジェクトが保有している他のオブジェクトの種類のいずれかによって示されるオブジェクトの周囲の環境に応じて、音声合成パラメータを変化させる
請求項４または請求項５に記載の音声合成装置。
【請求項７】
合成パラメータ決定部は、音声合成パラメータとして、声質、発話速度、声の大きさのいずれかを変化させる
請求項１から請求項５のうちのいずれか１項に記載の音声合成装置。
【請求項８】
合成パラメータ決定部は、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、
音声合成部は、
前記合成パラメータ決定部によって決定される詳細度に従って、前記オブジェクトの発話内容が示されたテキストを要約する発話テキスト編集部と、
前記発話テキスト編集部によって要約されたテキストを発話内容とする合成音声を生成するテキスト音声合成部とを含む
請求項１から請求項３のうちのいずれか１項に記載の音声合成装置。
【請求項９】
合成パラメータ決定部は、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、
音声合成部は、
前記合成パラメータ決定部によって決定される詳細度に従って、与えられた事項が発話内容として表現されたテキストを生成する発話テキスト生成部と、
前記発話テキスト生成部によって生成されたテキストを発話内容とする合成音声を生成するテキスト音声合成部とを含む
請求項１から請求項３のうちのいずれか１項に記載の音声合成装置。
【請求項１０】
合成パラメータ決定部は、オブジェクトとは独立した位置から合成音声が出力されることを前提にして、合成音声パラメータを変化させる
請求項１から請求項４に記載の音声合成装置。
【請求項１１】
合成パラメータ決定部は、ユーザの近傍から合成音声が出力されることを前提にして、合成音声パラメータを変化させる
請求項１０に記載の音声合成装置。
【請求項１２】
方向基準として、ユーザが向いている方向を用いる
請求項２または請求項３に記載の音声合成装置。
【請求項１３】
方向基準として、ユーザの視線方向を用いる
請求項２または請求項３に記載の音声合成装置。
【請求項１４】
合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、声質を変化させる
請求項３に記載の音声合成装置。
【請求項１５】
合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、音の大きさを変化させる
請求項３に記載の音声合成装置。
【請求項１６】
合成パラメータ決定部は、方向基準として絶対方向を用いることによって極座標系で表現される位置関係によって特定されるオブジェクトの周囲の環境に応じて、合成音声パラメータを変化させる
請求項３に記載の音声合成装置。
【請求項１７】
合成パラメータ決定部は、位置関係が所定の条件を満たしている場合にのみ、周囲の環境に応じて、合成音声パラメータを変化させる
請求項５に記載の音声合成装置。
【請求項１８】
合成パラメータ決定部は、合成音声を対応づけるオブジェクトが仮想空間上にのみ存在する仮想オブジェクトである場合に、合成音声パラメータをより極端に変化させる
請求項１または請求項４に記載の音声合成装置。
【請求項１９】
合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、詳細度を変化させる
請求項８または請求項９に記載の音声合成装置。
【請求項２０】
合成パラメータ決定部は、オブジェクトがユーザの正面方向に近いか否かに応じて、詳細度および発話速度を変化させる
請求項８または請求項９に記載の音声合成装置。
【請求項２１】
オブジェクトに対応づけた音声を合成するための音声合成方法であって、
オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させ、
変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する
ことを特徴とする音声合成方法。
【請求項２２】
ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトとの位置方向、ユーザとオブジェクトとの間の距離、ユーザの正面方向とオブジェクトの正面方向とによる相対角度のいずれかまたはその組み合わせによって示されるユーザとオブジェクトとの位置関係に応じて、音声合成パラメータを変化させる
請求項２１に記載の音声合成方法。
【請求項２３】
オブジェクトに対応づけた音声を合成するための音声合成方法であって、
オブジェクトの周囲の環境に応じて、音声合成パラメータを変化させ、
変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する
ことを特徴とする音声合成方法。
【請求項２４】
ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、
前記決定された詳細度に従って、前記オブジェクトの発話内容が示されたテキストを要約し、
前記要約されたテキストを発話内容とする合成音声を生成する
請求項２１から請求項２３のうちのいずれか１項に記載の音声合成方法。
【請求項２５】
ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定し、
前記決定された詳細度に従って、与えられた事項が発話内容として表現されたテキストを生成し、
前記生成されたテキストを発話内容とする合成音声を生成する
請求項２１から請求項２３のうちのいずれか１項に記載の音声合成方法。
【請求項２６】
オブジェクトに対応づけた音声を合成するための音声合成用プログラムであって、
コンピュータに、
オブジェクトを観察する主体であるユーザと前記オブジェクトの位置関係に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させるパラメータ決定処理、および
変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する合成処理
を実行させるための音声合成用プログラム。
【請求項２７】
コンピュータに、
パラメータ決定処理で、ユーザとオブジェクトを結ぶ線と予め定められた設定方法に従って定められる所定の方向基準とのなす角で示されるユーザとオブジェクトとの位置方向、ユーザとオブジェクトとの間の距離、ユーザの正面方向とオブジェクトの正面方向とによる相対角度のいずれかまたはその組み合わせによって示されるユーザとオブジェクトとの位置関係に応じて、音声合成パラメータを変化させる
請求項２６に記載の音声合成用プログラム。
【請求項２８】
オブジェクトに対応づけた音声を合成するための音声合成用プログラムであって、
コンピュータに、
オブジェクトの周囲の環境に応じて、前記オブジェクトに対応づけた音声として、どのような合成音声を生成するかを示す音声合成パラメータを変化させるパラメータ決定処理、および
変化させた前記音声合成パラメータに従って、前記オブジェクトに対応づけた音声としての合成音声を生成する音声合成処理
を実行させるための音声合成用プログラム。
【請求項２９】
コンピュータに、
パラメータ決定処理で、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定させ、
音声合成処理で、前記決定された詳細度に従って、前記オブジェクトの発話内容が示されたテキストを要約させて、前記要約されたテキストを発話内容とする合成音声を生成させる
請求項２６から請求項２８のうちのいずれか１項に記載の音声合成方法。
【請求項３０】
コンピュータに、
パラメータ決定処理で、ユーザとオブジェクトの位置関係に応じて、前記オブジェクトが発話する内容の詳細度を決定させ、
音声合成処理で、前記決定された詳細度に従って、与えられた事項が発話内容として表現されたテキストを生成させ、前記生成されたテキストを発話内容とする合成音声を生成させる
請求項２６から請求項２８のうちのいずれか１項に記載の音声合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００８−２９９１３５（Ｐ２００８−２９９１３５Ａ）
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願番号】特願２００７−１４５９３０（Ｐ２００７−１４５９３０）
【出願日】平成１９年５月３１日（２００７．５．３１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願日】平成１９年５月３１日（２００７．５．３１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]