口唇動作パラメータ生成装置及びコンピュータプログラム
【課題】実音声に基づいて、アバターの口唇を見る人に違和感なく動かせる口唇動作パラメータの生成装置を提供する。
【解決手段】生成装置は、発話者の音声から得られる音声信号をフレーム化し、各フレームから第１フォルマントＦ１及び第２フォルマントＦ１を抽出するフォルマント抽出部８０と、Ｆ１及びＦ２について、話者による母音空間の相違を補償するようにフォルマント空間の原点を移動させる原点移動処理部８４と、Ｆ１及びＦ２の線形写像により、Ｆ１を補正するよう、フォルマント空間を原点周りに回転させる回転処理部８６と、各フレームに対し、回転処理部８６が出力する補正後の第１フォルマントの値の関数として、発話者の音声と同期して口唇形状を上下方向に変化させるためのパラメータを生成して出力する形状推定部８８を含む。
【解決手段】生成装置は、発話者の音声から得られる音声信号をフレーム化し、各フレームから第１フォルマントＦ１及び第２フォルマントＦ１を抽出するフォルマント抽出部８０と、Ｆ１及びＦ２について、話者による母音空間の相違を補償するようにフォルマント空間の原点を移動させる原点移動処理部８４と、Ｆ１及びＦ２の線形写像により、Ｆ１を補正するよう、フォルマント空間を原点周りに回転させる回転処理部８６と、各フレームに対し、回転処理部８６が出力する補正後の第１フォルマントの値の関数として、発話者の音声と同期して口唇形状を上下方向に変化させるためのパラメータを生成して出力する形状推定部８８を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は発話にあわせてアンドロイド等の口唇の動きを合成する技術に関し、特に、発話に対する口唇の上下方向への開き量を自然なものにできる発話分析技術に関する。
【背景技術】
【０００２】
音声分析、音声合成、通信技術、及びロボット制御技術の進展に伴って、実際の人間の発話音声にあわせてロボットに発話させる技術が開発されつつある。ロボットの中でも人間型のロボット（アンドロイドと呼ぶ。）に対してこうした技術を適用するケースが今後多くなると思われる。例えば、カウンセリングの現場において、カウンセラーが遠隔地におり、カウンセリングを受ける人の前にカウンセラーの身代わりとしてアンドロイドをおく場合等が考えられる。アンドロイドを使用するのであれば、患者と医師とが遠く離れていても、患者がアンドロイドを介して医師と対話できる。
【０００３】
このような用途には、映像を用いることも多い。しかし２次元の映像と３次元のアンドロイドとでは、対話者が受ける印象が異なり、得られる効果にも大きな相違が生ずるものと考えられる。
【０００４】
このような用途でアンドロイドを使用する場合、様々な問題が生じることが考えられる。特に、アンドロイドと対話しようとする人に違和感を生じさせないよう、アンドロイドの表情を制御することが要求される。
【０００５】
特に大きな問題は発話時の口唇の動きである。アンドロイドが何らかの発話をしているときに、その口唇が発話音声と無関係に動くようでは、対話者が大きな違和感を抱いてしまう。そのような違和感が生じないような口唇の制御方法が求められている。アンドロイドが利用される場面として、アンドロイドが人間と対話する、というものがある。この場合、実際に人間と対話するのはアンドロイドではなく、どこか別の場所にいる、アンドロイドの操作者である。こうした応用では、操作者の発話にあわせてリアルタイムでアンドロイドが発話するようにしなければならず、あわせてアンドロイドの口唇も発話内容にあわせてリアルタイムで動かす必要がある。
【０００６】
このような技術に関連する技術として、テキストから顔画像のアニメーションを作成する技術が例えば後掲の特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−０８７３２８号公報（発明の名称：リップシンクアニメーション作成装置、コンピュータプログラム及び顔モデル作成方法）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示された技術は、予め音素に対応する顔画像モデル（視覚素）を準備し、テキストから得られた音素列に対して、音素列に対応する視覚素列に基づいて顔画像のアニメーションを作成する、というものである。特許文献１に記載の技術により、口の動きの早さ、音素の並び等に基づいて補正された、自然な口の動きが生成できる。
【０００９】
しかし、特許文献１に記載された技術は、テキストに基づいて顔画像を生成するものである。したがって、音声認識技術を適用しない限り、上記したようなリアルタイムの応用に使用することはできない。音声認識技術を適用したとしても、音声認識の結果が誤っていれば、口唇の動きも大きく異なり、大きな違和感を生ずるおそれがある。
【００１０】
このような問題は、アンドロイドの場合に限らない。アニメーションを用いたリアルタイムの場合でも生じ得る。すなわち、アンドロイドにせよ、アニメーションにせよ、実際の発話者の身代わりとなる、いわゆるアバターには、このような問題が生じる可能性がある。そのような問題を解決するにあたり、発話者の性別を考慮する必要もある。
【００１１】
それゆえに本発明の目的は、実音声に基づいて、アバターの口唇を見る人に違和感なく動かすことができるような、口唇動作パラメータの生成装置及びそのためのコンピュータプログラムを提供することである。
【００１２】
本発明の他の目的は、実音声に基づいて、発話者の性別に応じて、アバターの口唇を、見る人に違和感なく上下方向に動かすことができるような、口唇動作パラメータの生成装置及びそのためのコンピュータプログラムを提供することである。
【課題を解決するための手段】
【００１３】
本発明の第１の局面に係る口唇動作パラメータ生成装置は、発話者の音声から得られる音声信号をフレーム化して一連のフレーム信号を出力するフレーム化手段と、フレーム化手段から出力される各フレームから、音声の第１フォルマント及び第２フォルマントを抽出するフォルマント抽出手段と、フォルマント抽出手段により各フレームから抽出された第１フォルマント及び第２フォルマントについて、話者によるフォルマント空間内の母音空間の相違を補償するように正規化する正規化手段と、正規化手段により正規化された第１フォルマント及び第２フォルマントの線形写像により、第１フォルマントを補正する補正手段とを含む。フォルマント空間は、第１フォルマント軸と第２フォルマント軸とにより規定される。線形写像は、補正後の第１フォルマントと発話者の口の上下方向の開き量との相関が、正規化された第１フォルマントと発話者の口の上下方向の開き量との相関より高くなるように選ばれる。口唇動作パラメータ生成装置はさらに、フレーム化手段から出力される各フレームに対し、補正手段により出力される補正後の第１フォルマントの値の関数として、発話者の音声と同期して口唇形状を上下方向に変化させるためのパラメータを生成して出力するパラメータ生成手段を含む。
【００１４】
発話者の音声の各フレームから第１フォルマントと第２フォルマントとが抽出される。これらフォルマントについて、話者による母音空間の相違を補償するように正規化される。正規化された第１フォルマントについて、発話時の口の上下方向の開き量と相関が高くなるように、第１フォルマントと第２フォルマントとの線形写像により第１フォルマントが補正される。補正後の第１フォルマントの関数としてアバターの口の開き量を制御することにより、アバターの口の開き量が、発話の音声にあわせて決められ、アバターの発話時の口の形が自然なものとなる。
【００１５】
好ましくは、正規化手段は、各フレームについて、第１フォルマントと第２フォルマントとについてそれぞれ、所定の第１及び第２の定数を減算する減算手段を含む。
【００１６】
正規化を減算により行なうので、正規化処理が簡単に行なえる。
【００１７】
より好ましくは、補正手段は、フレーム化手段から出力される各フレームの第１フォルマント及び第２フォルマントの値により定められるベクトルについて、第１フォルマント軸を所定角度だけフォルマント空間の原点周りに回転させる線形変換を行ない、変換後のベクトルの、第１フォルマントの値に対応する要素を補正後の第１フォルマントの値として出力する回転手段を含む。所定角度は、原点に対して第２フォルマントが増加する方向に１９度より大きく３１度より小さく選ばれる。
【００１８】
第１フォルマントと第２フォルマントとの線形写像は、フォルマント空間の第１フォルマント軸を１９度より大きく３１度より小さい回転量だけ回転させる変換で得られる。このような変換を行なうと、補正後の第１フォルマントの値と口の開き量との相関が高くなることが実験により判明した。
【００１９】
さらに好ましくは、口唇動作パラメータ生成装置は、第１及び第２の定数と、所定角度とを各々が含むパラメータの組を複数個記憶するパラメータ記憶手段と、パラメータ記憶手段に記憶されたパラメータの組のいずれかを操作者による操作に応答して選択し、選択されたパラメータの組の第１及び第２の定数を減算手段に与え、所定角度を回転手段に与えるパラメータ選択手段とをさらに含む。
【００２０】
たとえば発話者ごとに、又は男性と女性とにより、身体的な相違に起因して第１フォルマント及び第２フォルマントの範囲が異なる。それらを複数組記憶しておき、発話者にあわせて選択することで、発話者に適した補正を行なうことができ、アバターの口の動きも自然なものとなる。
【００２１】
複数個のパラメータの組は、発話者が男性であるときに選択される第１のパラメータの組と、発話者が女性であるときに選択される第２のパラメータの組とを含み、第１のパラメータの組の第１の定数は、第２のパラメータの組の第１の定数よりも小さく選ばれていてもよい。
【００２２】
好ましい実施の形態では、第１の組の所定角度は、第２の組の所定角度よりも大きく選ばれている。
【００２３】
好ましくは、パラメータ生成手段は、フレームの各々について、フォルマント抽出手段により抽出された第１フォルマントの値が第１の有限範囲内にあり、フォルマント抽出手段により抽出された第２フォルマントの値が第２の有限範囲内にあり、かつフレームの音声信号のパワーがしきい値より大きい、という条件が成立しているか否かを判定する第１の判定手段と、第１の判定手段による判定が肯定であるときに、第１フォルマントの関数により口唇の上下方向の開き量を算出する第１のパラメータ算出手段と、第１の判定手段による判定が否定であるときに、フレームの音声パワーがしきい値を連続して下回っている期間が、処理対象のフレームを含めて一定時間未満か否かを判定する第２の判定手段と、第２の判定手段による判定が肯定のときに、口唇の上下方向の開き量を、当該開き量の変動可能な範囲の中央を含む範囲内の一定値に設定する第２のパラメータ算出手段と、第２の判定手段による判定が否定のときに、口唇の上下方向の開き量を一定値より小さな値に定数に設定する第３のパラメータ算出手段とを含む。第１の有限範囲の下限は第２の有限範囲の下限より小さく、第１の有限範囲の上限は、第２の有限範囲の下限より大きく上限より小さい。
【００２４】
口唇パラメータ生成装置は、正規化手段により正規化された第２フォルマントの値の関数として、発話者の口唇部の左右への開き量の、予め定められた標準状態からの差を求め、当該差に基づいて、発話者の音声と同期して口唇形状を左右方向に変化させるためのパラメータを生成して出力する開き量パラメータ生成手段をさらに含んでもよい。
【００２５】
本発明の第２の局面に係るコンピュータプログラムは、音声をキャプチャする機能を備えたコンピュータにより実行されると、当該コンピュータを、発話者の音声から得られる音声信号をフレーム化して一連のフレーム信号を出力するフレーム化手段と、フレーム化手段から出力される各フレームから、音声の第１フォルマント及び第２フォルマントを抽出するフォルマント抽出手段と、フォルマント抽出手段により各フレームから抽出された第１フォルマント及び第２フォルマントについて、話者による母音空間の相違を補償するように正規化する正規化手段と、正規化手段により正規化された第１フォルマント及び第２フォルマントの線形写像により、第１フォルマントを補正する補正手段として機能させる。フォルマント空間は、第１フォルマント軸と第２フォルマント軸とにより規定される。線形写像は、補正後の第１フォルマントと発話者の口の上下方向の開き量との相関が、正規化された第１フォルマントと発話者の口の上下方向の開き量との相関より高くなるように選ばれる。コンピュータプログラムはさらに、コンピュータを、フレーム化手段から出力される各フレームに対し、補正手段により出力される補正後の第１フォルマントの値の関数として、発話者の音声と同期して口唇形状を上下方向に変化させるためのパラメータを生成して出力するパラメータ生成手段として機能させる。
【図面の簡単な説明】
【００２６】
【図１】本発明の１実施の形態に係る対話システムの概略構成を示す模式図である。
【図２】図１に示す対話システムのうち、アバター制御情報を生成する装置のブロック図である。
【図３】図２に示す装置のうち、操作者の音声の第１及び第２フォルマントを抽出するフォルマント抽出部のブロック図である。
【図４】フォルマント抽出のため、音声信号に対して行われる窓掛け処理の効果を示すグラフである。
【図５】生の音声エネルギに基づいて得られるスペクトルを示すグラフである。
【図６】ＬＰＣ係数に基づいて得られるＬＰＣスペクトルを示すグラフである。
【図７】男女の性別によるフォルマント空間の相違を説明するためのグラフである。
【図８】発話とアンドロイドの口唇の動きとの相関を高めるために、発話者の音声から得られるフォルマント軸の移動及び回転を説明するための模式図である。
【図９】図８に示す処理が行われた第１及び第２フォルマントの値からアンドロイドの唇の形状を推定する処理を実現するプログラムの制御構造を示すフローチャートである。
【図１０】図１に示すアンドロイドのブロック図である。
【図１１】図１に示すアバター制御情報生成装置を実現するコンピュータの外観を示す模式図である。
【図１２】図１１に示すコンピュータのハードウエア構成を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
【００２８】
［構成］
図１を参照して、本願発明の１実施の形態に係るアンドロイドによる対話システム３０は、人間の顔を模して作られた頭部と、人間の体を模した胴体とを有するアンドロイド４０と、アンドロイド４０から離れた場所に存在し、アンドロイド４０と通信路５６により通信することにより、操作者５２による発話と、口唇部の動作を制御する制御指令をアンドロイド４０に伝える制御システム４２とを含む。
【００２９】
アンドロイド４０は上唇及び下唇を模して作られた口唇部６０を持つ。口唇部６０は、制御システム４２から送信されてくる制御パラメータにしたがって上下の開口量が制御される。口唇部６０の口角部の左右の動きも制御システム４２からの制御パラメータにしたがって制御される。
【００３０】
制御システム４２は、コンピュータからなる、アンドロイド４０の口唇部の制御パラメータ生成装置５０と、制御パラメータ生成装置５０上で動作するソフトウェアとにより、操作者５２の発話音声をアンドロイド４０に送信する処理と、発話音声から得られる口唇部６０の制御パラメータを発話音声から算出してアンドロイド４０に送信する処理とを実行する。そのために、制御パラメータ生成装置５０には、マイクロフォン付きのヘッドフォン５４が接続される。操作者５２がヘッドフォン５４を装着して発話することにより、その発話音声からアンドロイド４０の口唇部６０に関する制御パラメータが算出され、アンドロイド４０に送信される。なお、制御システム４２は、アンドロイド４０とは離れた位置に設けられる。アンドロイド４０の周囲がどのようになっているかを知るために、アンドロイド４０の周辺又はアンドロイド４０の頭部には、カメラ（図示せず）が設けられ、映像を制御パラメータ生成装置５０に送信する。また、対話をするためにはアンドロイド４０の前にいる人物の音声を聞く必要がある。そのため、アンドロイド４０にはマイクロフォン（図示せず）が設けられ、音声を制御パラメータ生成装置５０に送信する。操作者５２は、ヘッドフォン５４を介してこの音声を聞くことができる。
【００３１】
図２を参照して、制御パラメータ生成装置５０は、発話者の音声信号から発話者の音声の第１フォルマント及び第２フォルマントの周波数を抽出するフォルマント抽出部８０と、フォルマント抽出部８０により抽出された第１及び第２フォルマントに対し、予め準備されていた、話者に依存したフォルマントの調整用のパラメータにしたがって、第１及び第２フォルマントよりなる空間（フォルマント空間）の原点を移動させる原点移動処理部８４と、原点移動処理部８４による原点移動処理がされた後の第１及び第２フォルマント情報について、移動後の原点を中心に、所定量フォルマント空間を回転させる処理を行なう回転処理部８６と、原点移動処理部８４による原点の移動量、及び回転処理部８６によるフォルマント空間の回転量を予め記憶する、調整用パラメータ記憶部８２とを含む。なお、第１フォルマントが口の上下方向の開き量と比較的相関が高く、第２フォルマントが口角方向の移動量と相関が高いことは既に知られている。本実施の形態では、口の上下方向の開き量との相関が第１フォルマントよりもさらに高くなるよう、上記した回転を行なって第１フォルマントを補正する。第２フォルマントについては、フォルマント空間の回転を行なう前の値を用いる。
【００３２】
原点移動処理部８４による原点の移動とは、第１フォルマント及び第２フォルマントの値を要素とする２次元ベクトルの各要素から、それぞれ所定の値を減算することに相当する。
【００３３】
一方、回転処理部８６による回転は平面内の回転である。平面内においてベクトル（ａ、ｂ）を原点周りに角θだけ回転させた場合、新たなベクトルを（ｘ、ｙ）とすれば、（ｘ、ｙ）は次の式により表される。
【００３４】
【数１】
回転処理部８６による処理は、軸を原点周りにθだけ回転させるので、上の式でθの符号をマイナスにしたものにより表される。
【００３５】
【数２】
第１フォルマントをａ、第２フォルマントをｂとすると、回転後の、すなわち補正後の第１フォルマントｘは、ｘ＝ａｃｏｓθ＋ｂｓｉｎθで表すことができる。すなわち、補正後の第１フォルマントは、補正前の第１フォルマント及び第２フォルマントの線形和からなる、第１フォルマント及び第２フォルマント空間内の線形写像で表される。
【００３６】
制御パラメータ生成装置５０はさらに、回転処理部８６により回転されたフォルマント空間における、補正後の第１フォルマント、及び原点移動処理部８４による移動処理がされた後の第２フォルマントとに基づいて、アンドロイド４０の口唇部６０の形状を推定し、形状パラメータを出力する形状推定部８８と、形状推定部８８の出力する形状パラメータに基づき、口唇部６０が当該形状を形成するように口唇部６０のアクチュエータを駆動するための制御指令を生成する制御指令生成部９０と、制御指令生成部９０の出力する制御指令を所定時間間隔で通信路５６を介してアンドロイド４０に送信する制御指令送信部９２と、発話者の音声信号から生成した音声パケットを制御指令送信部９２と同じ時間間隔で通信路５６を介してアンドロイド４０に送信するための音声パケット送信部１００とを含む。本実施の形態では、制御システム４２とアンドロイド４０とはＴＣＰ／ＩＰで通信する。また、後述するようにフォルマント抽出部８０から制御指令生成部９０までによる制御指令の生成は、１０ミリ秒ごとに繰返し実行される。したがって、制御指令送信部９２及び音声パケット送信部１００は、１０ミリ秒ごとに、ＴＣＰ／ＩＰによるソケット通信で音声パケット及び制御指令をアンドロイド４０に送信する。
【００３７】
原点移動処理部８４によるフォルマント空間における原点の移動、及び回転処理部８６によるフォルマント空間の回転は、話者に依存したパラメータのキャリブレーションに相当する。本実施の形態では、これらキャリブレーションに必要な情報は、話者に依存したパラメータとして後述するように予め設定されている。ただし、このパラメータの設定は、例えば男女及び年齢別に設定すれば十分な場合もあり、必ずしも個々の話者について設定する必要はない可能性もある。これらをどのようにすべきかは設計に依存する。
【００３８】
図３を参照して、フォルマント抽出部８０は、１６ｋＨｚ、１６ビットでキャプチャされた音声信号に対し、プリエンファシス等の前処理と、１０ミリ秒ごとに、３２ミリ秒幅のハミング・ウィンドウによる窓掛け処理とを行なってフレーム化した音声信号を出力する前処理部１１０と、前処理部１１０により出力される各フレームに対しＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔｓ）分析を行なってＬＰＣパラメータを出力するＬＰＣ分析部１１２と、ＬＰＣ分析部１１２により出力されるＬＰＣパラメータを用い、処理対象の音声フレームのＬＰＣスペクトルを算出するＬＰＣスペクトル算出部１１４と、ＬＰＣスペクトル算出部１１４により算出されたＬＰＣスペクトルのスペクトル包絡から、公知の手順にしたがってピークを検出することで、音声の第１フォルマント（Ｆ１）及び第２フォルマント（Ｆ２）の周波数情報を出力するピーク検出部１１６とを含む。
【００３９】
図４を参照して、前処理部１１０による窓掛け処理について説明する。以下の図４〜図６に示すグラフは、鹿野清宏他編著、「音声認識システム」、平成１３年５月１５日発行、株式会社オーム社、東京、日本、の第９ページに記載されているものを引用した。図４において、入力音声は波形１３０により示されている。ハミング・ウィンドウは波形１３２により示されている。前処理部１１０は、波形１３０に波形１３２を乗ずることで音声信号の窓掛けを行なう。窓掛け後の音声信号は波形１３４により示されている。
【００４０】
本実施の形態では、ＬＰＣ係数として第０次〜第１８次まで（ａｋ，ｋ＝０，…，１８）の、１９次元の係数を用いる。
【００４１】
図５を参照して、一般に、音声信号に対して単純に単時間フーリエスペクトル分析を行なって得られる音声のパワースペクトル１５０には、細かい変動が重なっており、ピークが明確でなく、フォルマント抽出に適さない。しかし、図６を参照して、ＬＰＣスペクトル１６０ではそのような細かい変動が除かれ、滑らかでかつピークが明確なスペクトル包絡が得られる。このようにして得られたＬＰＣスペクトル１６０の第１ピーク及び第２ピークに対応する周波数がそれぞれ第１フォルマント及び第２フォルマントである。
【００４２】
なお、フォルマント抽出部８０を構成する各部で行なわれる処理は、上記した教科書にも記載されているとおり、本発明が属する技術分野においては周知技術に属する。
【００４３】
図７を参照して、話者によるフォルマント空間の相違及びその調整について説明する。図７左側はある男性話者の５つの単母音（ａ、ｅ、ｉ、ｏ、ｕ）発声から得られたＦ１及びＦ２を、Ｆ１及びＦ２の対数を２つの軸とする空間（フォルマント空間）にプロットしたものである。図７右側は女性によるものである。５つの母音に対応するプロット点の近傍に、各母音のアルファベット表示と、そのときの口の形とを示してある。
【００４４】
図７を参照して、男性と女性とでは、声道の長さの相違に起因して、プロットされる点の位置に相違がある。これら母音が分布する点を母音空間と呼ぶことにする。母音空間は、性別だけでなく、話者の年齢、身長等によっても相違する。ここで説明するのは、このような話者による相違を補償するように、話者のフォルマントを正規化するための処理である。ただし、話者として話者ごとに正規化してもよいし、ある共通の特性を持つ手段ごとに話者を正規化してもよい。例えば女性と男性とは、それぞれ異なる音声的特徴を示す。したがって、これらを別々の２組として、それぞれ正規化するようにしてもよい。
【００４５】
図７左側には日本人男性の平均母音空間１９２を示し、図７右側には日本人女性の平均母音空間２０２を示す。本実施の形態では、これら母音空間の中心（図７左側の点１９０及び図７右側の点２００）がフォルマント空間の原点となるように、フォルマント空間の原点を移動させる。この処理をするのが図２に示す原点移動処理部８４である。この中心位置は、英語のいわゆる「シュワー」母音に相当する。本実施の形態では、性別による調整のみを行なうこととする。したがって、原点の移動量は、女性及び男性の各々について、予め多数の話者の単母音発声をプロットして得られた点の集合から得られる。本実施の形態では、この集合の中心を手作業で特定し、この位置を、新たなフォルマント空間の原点とする。フォルマント空間の原点の移動量はこの点の座標により決まる。なお、実際にはこの処理により決められるのはＦ１の中心座標（これを「ｃｅｎｔｅｒＦ１」と呼ぶ。）である。Ｆ２の中心座標（これを本実施の形態では「ｃｅｎｔｅｒＦ２」と呼ぶ。）は、ｃｅｎｔｅｒＦ２＝２．９＊ｃｅｎｔｅｒＦ１により計算できる。なお、容易に理解できるように、原点のｌｏｇＦ１軸方向の移動量は、男性の方が女性より小さい。
【００４６】
図７を参照して、回転後のｌｏｇＦ１軸及びｌｏｇＦ２軸をそれぞれｌｏｇＦ１´軸１９４及び２０４及びｌｏｇＦ２´軸１９６及び２０６と呼ぶことにすると、ここでの回転量は、口の上下方向への開き具合とｌｏｇＦ１´軸１９４及び２０４上の値との相関が高くなるようにすることにより定めるべきであることが分かる。上記した５母音についていうと、各母音の発声時の口の上下方向の開き量には、ａ＞ｅ＞ｉ＝ｏ＞ｕという関係がある。したがって、ｌｏｇＦ１´軸１９４及び２０４の回転量は、ｌｏｇＦ１´軸１９４及び２０４上でのこれら母音のｌｏｇＦ１の値がこの順で並ぶようにすることにより定められる。
【００４７】
実験の結果、男性の場合には軸を反時計回りに２８度程度、女性の場合には同じく反時計回りに２２程度回転させると、回転後のｌｏｇＦ１´軸１９４及び２０４上でのｌｏｇＦ１の値が、上記した母音の順番とほぼ一致することが見出された。もちろん、この回転量には幅があり、男性の場合には２５度〜３１度程度、女性の場合には１９度〜２５度程度が好適であると考えられる。いずれにせよ、男性と女性とを区別するときは、男性のための回転角度の方が、女性のための回転角度よりも大きい。男性、女性を区別しない場合には２５度程度が好ましい。
【００４８】
以上をまとめると図８のようになる。図８上を参照して、フォルマント空間の原点２１０について、上のようにして定めた点１９０の位置まで移動させ、ＬｏｇＦ１軸及びＬｏｇＦ２軸も同様に平行移動させて新たなＬｏｇＦ１軸２１２及びＬｏｇＦ２軸２１４とする。次に、図８下を参照して、上のようにして個別の話者、若しくは男性又は女性の別に応じて定めた角度αだけＬｏｇＦ１軸２１２及びＬｏｇＦ２軸２１４を反時計軸方向に回転し、新たなＬｏｇＦ１´軸１９４及びＬｏｇＦ２´軸１９６を定める。そして、音声のＦ１及びＦ２により定まる点の、ＬｏｇＦ１´軸１９４上の座標値と、回転前のＬｏｇＦ２軸２１４上の座標値との関数として、それぞれ口の上下方向及び水平方向の開き量（標準状態からの差異）を求める。以上が、図２に示す原点移動処理部８４及び回転処理部８６の行なう処理である。
【００４９】
一旦これらの値が決まると、アンドロイド４０の構成にしたがって、形状推定部８８と制御指令生成部９０とによる制御指令の生成を行なうことができる。
【００５０】
図９を参照して、図２に示す形状推定部８８による口の形状の推定処理を実現するプログラムの制御構造について説明する。このプログラムは、図２に示す回転処理部８６から１フレーム分の音声信号に関する補正後のフォルマント情報が出力されるたびに起動される。なお、以後に記載するフォルマント情報のうち、Ｆ１及びＦ２はそれぞれ、原点の移動及び座標軸の回転による補正前のＦ１及びＦ２であり、Ｆ１´は原点の移動及び座標軸の回転により補正された後のＦ１を示す。
【００５１】
図９を参照して、このプログラムはステップ２３０で開始し、ステップ２３０ではＦ１が２５０Ｈｚより大きく１５００Ｈｚより小さい範囲にあり、かつＦ２が５００Ｈｚより大きく４０００Ｈｚより小さい範囲にあり、かつ当該フレームのパワーＰｏｗが予め定められたしきい値Ｐｔｈｒｅｓｈより大きいか否かを判定する。判定が肯定なら制御はステップ２３２に進み、判定が否定なら制御はステップ２３４に進む。
【００５２】
ステップ２３２では、該当フレームが母音又は半母音からなる音声区間であると考えられるため、唇の上下方向の開き（ＨＬ）及び唇の左右方向の開き（ここでは標準となるシュワー母音からの変移量：ＤＷＬ）を以下の式（１）及び（２）により定める。
【００５３】
【数３】
ただしＨＬ（標準母音）はシュワー母音発話時の唇の上下方向の開き量であり、ＳＨは上下方向の開きを算出するための係数であり、ＳＷは左右方向の開きを算出するための係数である。ＨＬ（標準母音）は通常は０．６程度である。ＳＨは、男性では１．８〜２．３程度、女性では１．２〜１．８程度である。汎用的には、男性についてはＳＨ＝２程度とし、女性については１．５とするとよい。ＳＷは男性及び女性の双方について０．５程度がよい。ｃｅｎｔｅｒＦ２は前述したシュワー母音のＦ２周波数であり、話者の音声空間の中心のＦ２の値を示す。ＤＷＬは、／ｉ／及び／ｅ／では正の値、／ｏ／及び／ｕ／では負の値となる。
【００５４】
再び図９を参照して、ステップ２３２の処理の後、このプログラムの実行は終了する。
【００５５】
一方、ステップ２３０の判定が否定の場合、ステップ２３４において、上記したフレームのパワーＰｏｗがしきい値Ｐｔｈｒｅｓｈより大きい区間が２００ミリ秒未満か否かが判定される。判定が肯定の場合はこのフレームが子音区間であると考えられ、ステップ２３６で子音区間に対応する口形状の決定が行なわれる。より具体的には、ステップ２３６では、ＨＬ＝０．５に固定され、ＤＷＬはその前のフレームでの値と同じ値とする。又はＤＷＬについては前後のフレームの値を内挿することで算出してもよい。
【００５６】
一方、ステップ２３４の判定が否定の場合、すなわちパワーが低い区間がある一定の時間（本実施の形態では２００ミリ秒）を越えると、当該フレームは無音区間であるとみなされる。ＨＬ及びＤＷＬの双方ともゼロとする。
【００５７】
上記した判定により、母音及び半母音以外の子音区間と考えられるフレームでは、唇が半開きとなり、詳細に見ると中途半端な印象を受けるのではないかと考えられる。しかし、アンドロイドの口の動きに関しては、このように子音区間で唇を半開きとしてもそれほど違和感がないことが分かっている。
【００５８】
図１０を参照して、アンドロイド４０の構成のうち、唇の動きと発声とに関する部分は以下のような構造を持つ。すなわち、アンドロイド４０は、制御システム４２から１０ミリ秒ごとにそれぞれ送信されてくる音声パケット及び制御指令を受信する音声パケット受信部２５０及び制御指令受信部２７０と、音声パケット受信部２５０が受信した音声パケットに対し、制御指令に応答してアンドロイドのアクチュエータが動き始めるまでの時間的遅延に相当する遅延の後に音声再生処理を行ない音声信号を出力する音声再生回路２５２と、音声再生回路２５２の出力する音声信号を音声に変換するスピーカ２５４と、制御指令受信部２７０の受信した制御指令に基づいて、アクチュエータに対する制御信号を出力するアクチュエータ制御回路２７２と、アクチュエータ制御回路２７２の出力に応答して動作し、アンドロイド４０の口唇部の各部を動かす複数のアクチュエータ２７４とを含む。
【００５９】
なお、制御システム４２の処理能力と、アンドロイド４０における情報の処理能力とに差があり、アンドロイド４０が制御システム４２からの音声パケット及び制御情報を全て時間内に処理できなかったり、制御システム４２から次の情報が送信されてくる前に音声パケット及び制御情報に基づく処理を全て終わってしまったりする場合が考えられる。そのため、制御システム４２の動作とアンドロイド４０の動作とが同期しなくなる可能性がある。そうした問題を回避するため、前者の場合には、アンドロイド４０から制御システム４２に送信されてくる情報の一部を捨てる処理が必要となり、後者の場合には、例えば既に処理済みの情報を繰返して処理するような処理が必要となる。このような処理は、リアルタイムで遠隔地の間で通信を行なうシステムでは通常行なわれているものである。
【００６０】
［動作］
上記した対話システム３０は以下のように動作する。対話システム３０が動作するためには、前処理として、フォルマント補正のための、話者に依存したパラメータを実験等により得て、調整用パラメータ記憶部８２に記憶させる必要がある。本実施の形態では、複数の男性又は複数の女性による上記した５つの単母音の発声からＦ１及びＦ２を算出し、その母音空間の中心を求める。これにより男性及び女性の各々について、フォルマント空間の原点の移動量が定められる。さらに、男女の各々について、既に述べた手法にしたがい、原点移動後のフォルマント空間のＬｏｇＦ１軸を回転させ、上記した５つの単母音がａ＞ｅ＞ｉ＝ｏ＞ｕの順番で並ぶような角度を求める。回転後のＬｏｇＦ１軸がＬｏｇＦ１´軸である。
【００６１】
このようにして男性と女性との各々に対し、フォルマント空間の原点の移動量と、ＬｏｇＦ１軸の回転量とが算出される。これらの値は男性と女性とに区別して調整用パラメータ記憶部８２に記憶される。さらに、無音区間とそれ以外とを識別するためのしきい値についても、実験により定めて、調整用パラメータ記憶部８２に格納しておく。式（１）及び（２）に出現する係数ＳＨ及びＳＷについても同様である。
【００６２】
実際のアンドロイド４０の動作時には対話システム３０は以下のように動作する。最初に、操作者が男性か女性かにより、調整用パラメータ記憶部８２に格納されたパラメータのうち、適切なものが選択される。制御システム４２の前には操作者５２が控え、マイクロフォン付ヘッドフォン５４を装着する。制御パラメータ生成装置５０とアンドロイド４０とを通信路５６上のＴＣＰ／ＩＰ通信により接続する。アンドロイド４０の周辺にあるビデオカメラ及びマイクロフォンにより得た映像及び音声をアンドロイド４０から制御パラメータ生成装置５０に送信し、映像は制御パラメータ生成装置５０のモニタ上に表示し、音声はヘッドフォン５４により再生する。
【００６３】
操作者５２がアンドロイド４０に何かを発声させようとする場合、操作者５２はその発話内容にしたがった発声を行なう。音声はヘッドフォン５４のマイクロフォンによりキャプチャされ、図２に示すフォルマント抽出部８０に与えられる。図３に示す前処理部１１０は、音声信号に対してプリエンファシス等の前処理を行なった上で、１０ミリ秒のシフト量及び３２ミリ秒のウィンドウ長のハミング・ウィンドウで窓掛け処理を行なって音声のフレーム化処理を行ない、１０ミリ秒ごとに音声信号のフレームをＬＰＣ分析部１１２に与える。
【００６４】
ＬＰＣ分析部１１２は、与えられた音声信号のフレームに対するＬＰＣ分析により、１９次元のＬＰＣ係数を求め、ＬＰＣスペクトル算出部１１４に与える。ＬＰＣスペクトル算出部１１４は、与えられたＬＰＣ係数に基づいて、そのフレームのＬＰＣスペクトルを求めて、ピーク検出部１１６に与える。ピーク検出部１１６は、このＬＰＣスペクトルのピークのうち、周波数の低い方から２つのピークを定め、その周波数を求めてＦ１及びＦ２としてそれぞれ図２に示す原点移動処理部８４に与える。
【００６５】
原点移動処理部８４は、調整用パラメータ記憶部８２に記憶された原点移動量にしたがって、フォルマント空間の原点を移動させる。回転処理部８６は、移動後の原点を中心に、ＬｏｇＦ１軸及びＬｏｇＦ２軸を調整用パラメータ記憶部８２に記憶された、操作者５２に対応した回転角だけ回転させてＬｏｇＦ１´軸を定め、フォルマント抽出部８０により抽出されたＦ１に基づいて、補正後のＬｏｇＦ１´の値を求める。このＬｏｇＦ１´の値は、Ｆ２及び原点移動処理部８４における原点の移動量（特にｃｅｎｔｅｒＦ２）とともに形状推定部８８に与えられる。形状推定部８８は、与えられたＬｏｇＦ１´の値、Ｆ２、ｃｅｎｔｅｒＦ２、並びに調整用パラメータ記憶部８２に記憶されていたＳＨ，ＳＷ及びＰｔｈｒｅｓｈを用い、図９に制御構造を示すプログラムにより、唇の形状（唇の上下方向への開き量ＨＬ、及び左右への開き量の標準状態からの差ＤＷＬ）を推定し、制御指令生成部９０に与える。
【００６６】
制御指令生成部９０は、与えられた開き量ＨＬ及び差ＤＷＬにしたがった位置にアンドロイド４０の口唇部６０が来るようなアクチュエータの制御指令を生成し、制御指令送信部９２に与える。制御指令送信部９２は、この制御指令をアンドロイド４０に送信する。この送信は１０ミリ秒ごとに行なわれる。
【００６７】
一方、音声パケット送信部１００は、音声信号をキャプチャして生成した音声パケットを、１０ミリ秒ごとにアンドロイド４０に送信する。
【００６８】
したがって、制御指令送信部９２の送信する制御指令と、音声パケット送信部１００の送信する音声信号との間には、多少の時間的ズレが生ずる。しかしこのズレは、後述するようにアンドロイド４０でのアクチュエータの駆動に要する遅延時間により実質的に補償されるので、ここで特に問題とする必要はない。
【００６９】
図１０を参照して、アンドロイド４０の音声パケット受信部２５０は、制御パラメータ生成装置５０から音声パケットを受信すると、受信した音声パケットを音声再生回路２５２に与える。音声再生回路２５２は、与えられた音声パケットに基づいて、スピーカ２５４を駆動するための音声信号を生成し、その音声信号をスピーカ２５４に与える。スピーカ２５４はこの音声信号を音声に変換する。音声パケット受信部２５０が音声パケットを受信してからスピーカ２５４がその音声パケットに基づく音声を発生するまでの処理はいずれも電気的なものであり、その間の時間的遅延は僅かな量である。
【００７０】
一方、制御指令受信部２７０は制御パラメータ生成装置５０からの制御指令を受信すると、アクチュエータ制御回路２７２にその制御指令を与える。アクチュエータ制御回路２７２は、与えられた制御指令に基づいて、複数のアクチュエータ２７４に対する制御信号を発生してアクチュエータ２７４に与える。アクチュエータ２７４は、この制御信号に応答して、口唇部６０の各部を制御指令により指定された量だけ移動させる。
【００７１】
この制御指令受信部２７０からアクチュエータ２７４による処理のうち、特にアクチュエータ２７４による処理は機械的なものである。そのため、アクチュエータ２７４に対する制御信号をアクチュエータ制御回路２７２が出力してからアクチュエータ２７４が実際に指定された量だけ口唇部６０の各部を移動させるまでの間には、どうしてもある程度の時間を要する。この時間は、音声を処理するのに要する時間と比較してはるかに長い。したがって、音声に対する処理とアクチュエータ駆動の処理との間を同期させないと、口唇部６０の動きが音声より遅れることになる。したがって、音声再生回路２５２による音声信号の発生は、上記した時間のずれに相当する時間だけ、遅延させる。さらにこの遅延時間に、制御パラメータ生成装置５０側で音声と制御指令との生成に要する時間を補償する時間を加えることで、両者を同期させることができる。
【００７２】
以上のように本実施の形態によれば、アンドロイド４０の口唇部６０を、遠隔地にいる操作者５２の発話にしたがって動かし、その動きに同期してアンドロイド４０において操作者５２の発話を再生できる。特に口唇部６０の上下方向の開口量が、フォルマント空間の移動及び回転により補正した後の第１フォルマントＦ１´によって制御されるため、第１フォルマントＦ１´の値と高い相関で口唇部６０の口が開くようにアンドロイド４０を制御できる。その結果、実音声に基づいて、操作者５２のアバターであるアンドロイド４０の口唇部６０を、見る人に違和感なく動かすことができる、アバターの口唇制御を実現できる。
【００７３】
なお、上記実施の形態では、第１フォルマントＦ１の調整のためのパラメータを予め求め、記憶装置に記憶させておくが、本発明はそのような実施の形態に限定されるわけではない。例えば、起動後に上記した５母音を操作者に発話させ、これら発声からＦ１の中心座標を求め、さらにＬｏｇＦ１軸の回転量を自動的に求めることで、パラメータ調整を自動化することもできる。この場合、Ｆ１の中心座標は各母音のＦ１の値の平均値でもよい。ＬｏｇＦ１軸の回転量を求める際には、／ｉ／及び／ｏ／のＬｏｇＦ１´の値がほぼ等しくなるように、かつＬｏｇＦ１´の値がａ＞ｅ＞ｉ＝ｏ＞ｕという順番となるように定めればよい。最も単純な方法は、／ｉ／及び／ｏ／のフォルマント空間上の点を結んだ線がＬｏｇＦ２´軸と平行になるように回転量を定める、というものである。
【００７４】
ただし、中心座標の決定及びＬｏｇＦ１軸の回転量の決定の方法がこの方法に限定されるわけでないことはもちろんである。
【００７５】
また、上記実施の形態では、母音及び半母音の区間と、子音の区間と、無音区間との区別を図９に制御構造を示すプログラムにより実現している。しかし、図９に示す数値及びアルゴリズムは一例に過ぎず、多少異なる数値を用いたり、子音又は母音をさらに細かく分類するアルゴリズムを採用したりしてもよい。無音区間を定めるためのしきい値Ｐｔｈｒｅｓｈについても、応用により、環境によりその数値は変化すると考えられる。
【００７６】
［コンピュータによる実現］
上記した対話システム３０のうち、制御システム４２側の制御パラメータ生成装置５０はコンピュータハードウェア及び当該コンピュータハードウェア上で実行されるプログラムにより実現することができる。図１１は、この実施の形態において、制御システム４２を構成する制御パラメータ生成装置５０を実現するコンピュータシステム５３０の外観を示し、図１２はコンピュータシステム５３０の内部構成を示す。
【００７７】
図１１を参照して、このコンピュータシステム５３０は、メモリポート５５２及びＤＶＤドライブ５５０を有するコンピュータ５４０と、キーボード５４６と、マウス５４８と、モニタ５４２と、音声入力に用いられるマイクロフォン５７０と一対のスピーカとを有する、図１に示したヘッドフォン５４とを含む。
【００７８】
図１２を参照して、コンピュータ５４０は、メモリポート５５２、ＤＶＤドライブ５５０、マイクロフォン５７０及びヘッドフォン５４に加えて、ＣＰＵ（中央処理装置）５５６と、ＣＰＵ５５６、メモリポート５５２及びＤＶＤドライブ５５０に接続されたバス５６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）５５８と、バス５６６に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）５６０と、バス５６６に接続され、マイクロフォン５７０及びヘッドフォン５４を用いた音声処理を行なうサウンドボード５６８と、ＴＣＰ／ＩＰを用いた通信により通信路５６を介して他装置への接続を提供するネットワークインタフェースカード（ＮＩＣ）５７４とを含む。
【００７９】
サウンドボード５６８は、マイクロフォン５７０からの音声をキャプチャしたり、ＣＰＵ５５６により処理されたデジタルの音声信号をアナログの音声信号に変換してヘッドフォン５４に与えたりすることができる。
【００８０】
コンピュータシステム５３０を制御パラメータ生成装置５０として機能させるためのコンピュータプログラムは、ＤＶＤドライブ５５０又はメモリポート５５２にそれぞれ挿入されるＤＶＤ５６２又は不揮発性半導体メモリ５６４に記憶され、さらにハードディスク５５４に転送される。又は、プログラムは図示しないネットワークを通じてコンピュータ５４０に送信されハードディスク５５４に記憶されてもよい。プログラムは実行の際にＲＡＭ５６０にロードされる。ＤＶＤ５６２から、不揮発性半導体メモリ５６４から、又はネットワークを介して、直接にＲＡＭ５６０にプログラムをロードしてもよい。
【００８１】
このプログラムは、コンピュータ５４０をこの実施の形態の制御パラメータ生成装置５０として機能させる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ５４０上で動作するオペレーティングシステム（ＯＳ）もしくはサードパーティのプログラム、又はコンピュータ５４０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又は「ツール」を呼出すことにより、上記した制御パラメータ生成装置５０としての動作を実行する命令のみを含んでいればよい。コンピュータシステム５３０の動作は周知であるので、ここでは繰返さない。
【００８２】
なお、上記した実施の形態では、特定の式を挙げて計算方法を示した。しかし、本発明を実現する上では、ここに挙げた式のみが利用可能なわけではない。論理的に本実施の形態で行なったのと同じ計算結果が結論として得られるのであれば、それらもまた本発明の技術的範囲に含まれる。
【００８３】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【００８４】
３０ 対話システム
４０ アンドロイド
４２ 制御システム
５０ 制御パラメータ生成装置
５２ 操作者
５４ ヘッドフォン
５６ 通信路
６０ 口唇部
８０ フォルマント抽出部
８２ 調整用パラメータ記憶部
８４ 原点移動処理部
８６ 回転処理部
８８ 形状推定部
９０ 制御指令生成部
９２ 制御指令送信部
１００ 音声パケット送信部
【技術分野】
【０００１】
この発明は発話にあわせてアンドロイド等の口唇の動きを合成する技術に関し、特に、発話に対する口唇の上下方向への開き量を自然なものにできる発話分析技術に関する。
【背景技術】
【０００２】
音声分析、音声合成、通信技術、及びロボット制御技術の進展に伴って、実際の人間の発話音声にあわせてロボットに発話させる技術が開発されつつある。ロボットの中でも人間型のロボット（アンドロイドと呼ぶ。）に対してこうした技術を適用するケースが今後多くなると思われる。例えば、カウンセリングの現場において、カウンセラーが遠隔地におり、カウンセリングを受ける人の前にカウンセラーの身代わりとしてアンドロイドをおく場合等が考えられる。アンドロイドを使用するのであれば、患者と医師とが遠く離れていても、患者がアンドロイドを介して医師と対話できる。
【０００３】
このような用途には、映像を用いることも多い。しかし２次元の映像と３次元のアンドロイドとでは、対話者が受ける印象が異なり、得られる効果にも大きな相違が生ずるものと考えられる。
【０００４】
このような用途でアンドロイドを使用する場合、様々な問題が生じることが考えられる。特に、アンドロイドと対話しようとする人に違和感を生じさせないよう、アンドロイドの表情を制御することが要求される。
【０００５】
特に大きな問題は発話時の口唇の動きである。アンドロイドが何らかの発話をしているときに、その口唇が発話音声と無関係に動くようでは、対話者が大きな違和感を抱いてしまう。そのような違和感が生じないような口唇の制御方法が求められている。アンドロイドが利用される場面として、アンドロイドが人間と対話する、というものがある。この場合、実際に人間と対話するのはアンドロイドではなく、どこか別の場所にいる、アンドロイドの操作者である。こうした応用では、操作者の発話にあわせてリアルタイムでアンドロイドが発話するようにしなければならず、あわせてアンドロイドの口唇も発話内容にあわせてリアルタイムで動かす必要がある。
【０００６】
このような技術に関連する技術として、テキストから顔画像のアニメーションを作成する技術が例えば後掲の特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−０８７３２８号公報（発明の名称：リップシンクアニメーション作成装置、コンピュータプログラム及び顔モデル作成方法）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示された技術は、予め音素に対応する顔画像モデル（視覚素）を準備し、テキストから得られた音素列に対して、音素列に対応する視覚素列に基づいて顔画像のアニメーションを作成する、というものである。特許文献１に記載の技術により、口の動きの早さ、音素の並び等に基づいて補正された、自然な口の動きが生成できる。
【０００９】
しかし、特許文献１に記載された技術は、テキストに基づいて顔画像を生成するものである。したがって、音声認識技術を適用しない限り、上記したようなリアルタイムの応用に使用することはできない。音声認識技術を適用したとしても、音声認識の結果が誤っていれば、口唇の動きも大きく異なり、大きな違和感を生ずるおそれがある。
【００１０】
このような問題は、アンドロイドの場合に限らない。アニメーションを用いたリアルタイムの場合でも生じ得る。すなわち、アンドロイドにせよ、アニメーションにせよ、実際の発話者の身代わりとなる、いわゆるアバターには、このような問題が生じる可能性がある。そのような問題を解決するにあたり、発話者の性別を考慮する必要もある。
【００１１】
それゆえに本発明の目的は、実音声に基づいて、アバターの口唇を見る人に違和感なく動かすことができるような、口唇動作パラメータの生成装置及びそのためのコンピュータプログラムを提供することである。
【００１２】
本発明の他の目的は、実音声に基づいて、発話者の性別に応じて、アバターの口唇を、見る人に違和感なく上下方向に動かすことができるような、口唇動作パラメータの生成装置及びそのためのコンピュータプログラムを提供することである。
【課題を解決するための手段】
【００１３】
本発明の第１の局面に係る口唇動作パラメータ生成装置は、発話者の音声から得られる音声信号をフレーム化して一連のフレーム信号を出力するフレーム化手段と、フレーム化手段から出力される各フレームから、音声の第１フォルマント及び第２フォルマントを抽出するフォルマント抽出手段と、フォルマント抽出手段により各フレームから抽出された第１フォルマント及び第２フォルマントについて、話者によるフォルマント空間内の母音空間の相違を補償するように正規化する正規化手段と、正規化手段により正規化された第１フォルマント及び第２フォルマントの線形写像により、第１フォルマントを補正する補正手段とを含む。フォルマント空間は、第１フォルマント軸と第２フォルマント軸とにより規定される。線形写像は、補正後の第１フォルマントと発話者の口の上下方向の開き量との相関が、正規化された第１フォルマントと発話者の口の上下方向の開き量との相関より高くなるように選ばれる。口唇動作パラメータ生成装置はさらに、フレーム化手段から出力される各フレームに対し、補正手段により出力される補正後の第１フォルマントの値の関数として、発話者の音声と同期して口唇形状を上下方向に変化させるためのパラメータを生成して出力するパラメータ生成手段を含む。
【００１４】
発話者の音声の各フレームから第１フォルマントと第２フォルマントとが抽出される。これらフォルマントについて、話者による母音空間の相違を補償するように正規化される。正規化された第１フォルマントについて、発話時の口の上下方向の開き量と相関が高くなるように、第１フォルマントと第２フォルマントとの線形写像により第１フォルマントが補正される。補正後の第１フォルマントの関数としてアバターの口の開き量を制御することにより、アバターの口の開き量が、発話の音声にあわせて決められ、アバターの発話時の口の形が自然なものとなる。
【００１５】
好ましくは、正規化手段は、各フレームについて、第１フォルマントと第２フォルマントとについてそれぞれ、所定の第１及び第２の定数を減算する減算手段を含む。
【００１６】
正規化を減算により行なうので、正規化処理が簡単に行なえる。
【００１７】
より好ましくは、補正手段は、フレーム化手段から出力される各フレームの第１フォルマント及び第２フォルマントの値により定められるベクトルについて、第１フォルマント軸を所定角度だけフォルマント空間の原点周りに回転させる線形変換を行ない、変換後のベクトルの、第１フォルマントの値に対応する要素を補正後の第１フォルマントの値として出力する回転手段を含む。所定角度は、原点に対して第２フォルマントが増加する方向に１９度より大きく３１度より小さく選ばれる。
【００１８】
第１フォルマントと第２フォルマントとの線形写像は、フォルマント空間の第１フォルマント軸を１９度より大きく３１度より小さい回転量だけ回転させる変換で得られる。このような変換を行なうと、補正後の第１フォルマントの値と口の開き量との相関が高くなることが実験により判明した。
【００１９】
さらに好ましくは、口唇動作パラメータ生成装置は、第１及び第２の定数と、所定角度とを各々が含むパラメータの組を複数個記憶するパラメータ記憶手段と、パラメータ記憶手段に記憶されたパラメータの組のいずれかを操作者による操作に応答して選択し、選択されたパラメータの組の第１及び第２の定数を減算手段に与え、所定角度を回転手段に与えるパラメータ選択手段とをさらに含む。
【００２０】
たとえば発話者ごとに、又は男性と女性とにより、身体的な相違に起因して第１フォルマント及び第２フォルマントの範囲が異なる。それらを複数組記憶しておき、発話者にあわせて選択することで、発話者に適した補正を行なうことができ、アバターの口の動きも自然なものとなる。
【００２１】
複数個のパラメータの組は、発話者が男性であるときに選択される第１のパラメータの組と、発話者が女性であるときに選択される第２のパラメータの組とを含み、第１のパラメータの組の第１の定数は、第２のパラメータの組の第１の定数よりも小さく選ばれていてもよい。
【００２２】
好ましい実施の形態では、第１の組の所定角度は、第２の組の所定角度よりも大きく選ばれている。
【００２３】
好ましくは、パラメータ生成手段は、フレームの各々について、フォルマント抽出手段により抽出された第１フォルマントの値が第１の有限範囲内にあり、フォルマント抽出手段により抽出された第２フォルマントの値が第２の有限範囲内にあり、かつフレームの音声信号のパワーがしきい値より大きい、という条件が成立しているか否かを判定する第１の判定手段と、第１の判定手段による判定が肯定であるときに、第１フォルマントの関数により口唇の上下方向の開き量を算出する第１のパラメータ算出手段と、第１の判定手段による判定が否定であるときに、フレームの音声パワーがしきい値を連続して下回っている期間が、処理対象のフレームを含めて一定時間未満か否かを判定する第２の判定手段と、第２の判定手段による判定が肯定のときに、口唇の上下方向の開き量を、当該開き量の変動可能な範囲の中央を含む範囲内の一定値に設定する第２のパラメータ算出手段と、第２の判定手段による判定が否定のときに、口唇の上下方向の開き量を一定値より小さな値に定数に設定する第３のパラメータ算出手段とを含む。第１の有限範囲の下限は第２の有限範囲の下限より小さく、第１の有限範囲の上限は、第２の有限範囲の下限より大きく上限より小さい。
【００２４】
口唇パラメータ生成装置は、正規化手段により正規化された第２フォルマントの値の関数として、発話者の口唇部の左右への開き量の、予め定められた標準状態からの差を求め、当該差に基づいて、発話者の音声と同期して口唇形状を左右方向に変化させるためのパラメータを生成して出力する開き量パラメータ生成手段をさらに含んでもよい。
【００２５】
本発明の第２の局面に係るコンピュータプログラムは、音声をキャプチャする機能を備えたコンピュータにより実行されると、当該コンピュータを、発話者の音声から得られる音声信号をフレーム化して一連のフレーム信号を出力するフレーム化手段と、フレーム化手段から出力される各フレームから、音声の第１フォルマント及び第２フォルマントを抽出するフォルマント抽出手段と、フォルマント抽出手段により各フレームから抽出された第１フォルマント及び第２フォルマントについて、話者による母音空間の相違を補償するように正規化する正規化手段と、正規化手段により正規化された第１フォルマント及び第２フォルマントの線形写像により、第１フォルマントを補正する補正手段として機能させる。フォルマント空間は、第１フォルマント軸と第２フォルマント軸とにより規定される。線形写像は、補正後の第１フォルマントと発話者の口の上下方向の開き量との相関が、正規化された第１フォルマントと発話者の口の上下方向の開き量との相関より高くなるように選ばれる。コンピュータプログラムはさらに、コンピュータを、フレーム化手段から出力される各フレームに対し、補正手段により出力される補正後の第１フォルマントの値の関数として、発話者の音声と同期して口唇形状を上下方向に変化させるためのパラメータを生成して出力するパラメータ生成手段として機能させる。
【図面の簡単な説明】
【００２６】
【図１】本発明の１実施の形態に係る対話システムの概略構成を示す模式図である。
【図２】図１に示す対話システムのうち、アバター制御情報を生成する装置のブロック図である。
【図３】図２に示す装置のうち、操作者の音声の第１及び第２フォルマントを抽出するフォルマント抽出部のブロック図である。
【図４】フォルマント抽出のため、音声信号に対して行われる窓掛け処理の効果を示すグラフである。
【図５】生の音声エネルギに基づいて得られるスペクトルを示すグラフである。
【図６】ＬＰＣ係数に基づいて得られるＬＰＣスペクトルを示すグラフである。
【図７】男女の性別によるフォルマント空間の相違を説明するためのグラフである。
【図８】発話とアンドロイドの口唇の動きとの相関を高めるために、発話者の音声から得られるフォルマント軸の移動及び回転を説明するための模式図である。
【図９】図８に示す処理が行われた第１及び第２フォルマントの値からアンドロイドの唇の形状を推定する処理を実現するプログラムの制御構造を示すフローチャートである。
【図１０】図１に示すアンドロイドのブロック図である。
【図１１】図１に示すアバター制御情報生成装置を実現するコンピュータの外観を示す模式図である。
【図１２】図１１に示すコンピュータのハードウエア構成を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
【００２８】
［構成］
図１を参照して、本願発明の１実施の形態に係るアンドロイドによる対話システム３０は、人間の顔を模して作られた頭部と、人間の体を模した胴体とを有するアンドロイド４０と、アンドロイド４０から離れた場所に存在し、アンドロイド４０と通信路５６により通信することにより、操作者５２による発話と、口唇部の動作を制御する制御指令をアンドロイド４０に伝える制御システム４２とを含む。
【００２９】
アンドロイド４０は上唇及び下唇を模して作られた口唇部６０を持つ。口唇部６０は、制御システム４２から送信されてくる制御パラメータにしたがって上下の開口量が制御される。口唇部６０の口角部の左右の動きも制御システム４２からの制御パラメータにしたがって制御される。
【００３０】
制御システム４２は、コンピュータからなる、アンドロイド４０の口唇部の制御パラメータ生成装置５０と、制御パラメータ生成装置５０上で動作するソフトウェアとにより、操作者５２の発話音声をアンドロイド４０に送信する処理と、発話音声から得られる口唇部６０の制御パラメータを発話音声から算出してアンドロイド４０に送信する処理とを実行する。そのために、制御パラメータ生成装置５０には、マイクロフォン付きのヘッドフォン５４が接続される。操作者５２がヘッドフォン５４を装着して発話することにより、その発話音声からアンドロイド４０の口唇部６０に関する制御パラメータが算出され、アンドロイド４０に送信される。なお、制御システム４２は、アンドロイド４０とは離れた位置に設けられる。アンドロイド４０の周囲がどのようになっているかを知るために、アンドロイド４０の周辺又はアンドロイド４０の頭部には、カメラ（図示せず）が設けられ、映像を制御パラメータ生成装置５０に送信する。また、対話をするためにはアンドロイド４０の前にいる人物の音声を聞く必要がある。そのため、アンドロイド４０にはマイクロフォン（図示せず）が設けられ、音声を制御パラメータ生成装置５０に送信する。操作者５２は、ヘッドフォン５４を介してこの音声を聞くことができる。
【００３１】
図２を参照して、制御パラメータ生成装置５０は、発話者の音声信号から発話者の音声の第１フォルマント及び第２フォルマントの周波数を抽出するフォルマント抽出部８０と、フォルマント抽出部８０により抽出された第１及び第２フォルマントに対し、予め準備されていた、話者に依存したフォルマントの調整用のパラメータにしたがって、第１及び第２フォルマントよりなる空間（フォルマント空間）の原点を移動させる原点移動処理部８４と、原点移動処理部８４による原点移動処理がされた後の第１及び第２フォルマント情報について、移動後の原点を中心に、所定量フォルマント空間を回転させる処理を行なう回転処理部８６と、原点移動処理部８４による原点の移動量、及び回転処理部８６によるフォルマント空間の回転量を予め記憶する、調整用パラメータ記憶部８２とを含む。なお、第１フォルマントが口の上下方向の開き量と比較的相関が高く、第２フォルマントが口角方向の移動量と相関が高いことは既に知られている。本実施の形態では、口の上下方向の開き量との相関が第１フォルマントよりもさらに高くなるよう、上記した回転を行なって第１フォルマントを補正する。第２フォルマントについては、フォルマント空間の回転を行なう前の値を用いる。
【００３２】
原点移動処理部８４による原点の移動とは、第１フォルマント及び第２フォルマントの値を要素とする２次元ベクトルの各要素から、それぞれ所定の値を減算することに相当する。
【００３３】
一方、回転処理部８６による回転は平面内の回転である。平面内においてベクトル（ａ、ｂ）を原点周りに角θだけ回転させた場合、新たなベクトルを（ｘ、ｙ）とすれば、（ｘ、ｙ）は次の式により表される。
【００３４】
【数１】
回転処理部８６による処理は、軸を原点周りにθだけ回転させるので、上の式でθの符号をマイナスにしたものにより表される。
【００３５】
【数２】
第１フォルマントをａ、第２フォルマントをｂとすると、回転後の、すなわち補正後の第１フォルマントｘは、ｘ＝ａｃｏｓθ＋ｂｓｉｎθで表すことができる。すなわち、補正後の第１フォルマントは、補正前の第１フォルマント及び第２フォルマントの線形和からなる、第１フォルマント及び第２フォルマント空間内の線形写像で表される。
【００３６】
制御パラメータ生成装置５０はさらに、回転処理部８６により回転されたフォルマント空間における、補正後の第１フォルマント、及び原点移動処理部８４による移動処理がされた後の第２フォルマントとに基づいて、アンドロイド４０の口唇部６０の形状を推定し、形状パラメータを出力する形状推定部８８と、形状推定部８８の出力する形状パラメータに基づき、口唇部６０が当該形状を形成するように口唇部６０のアクチュエータを駆動するための制御指令を生成する制御指令生成部９０と、制御指令生成部９０の出力する制御指令を所定時間間隔で通信路５６を介してアンドロイド４０に送信する制御指令送信部９２と、発話者の音声信号から生成した音声パケットを制御指令送信部９２と同じ時間間隔で通信路５６を介してアンドロイド４０に送信するための音声パケット送信部１００とを含む。本実施の形態では、制御システム４２とアンドロイド４０とはＴＣＰ／ＩＰで通信する。また、後述するようにフォルマント抽出部８０から制御指令生成部９０までによる制御指令の生成は、１０ミリ秒ごとに繰返し実行される。したがって、制御指令送信部９２及び音声パケット送信部１００は、１０ミリ秒ごとに、ＴＣＰ／ＩＰによるソケット通信で音声パケット及び制御指令をアンドロイド４０に送信する。
【００３７】
原点移動処理部８４によるフォルマント空間における原点の移動、及び回転処理部８６によるフォルマント空間の回転は、話者に依存したパラメータのキャリブレーションに相当する。本実施の形態では、これらキャリブレーションに必要な情報は、話者に依存したパラメータとして後述するように予め設定されている。ただし、このパラメータの設定は、例えば男女及び年齢別に設定すれば十分な場合もあり、必ずしも個々の話者について設定する必要はない可能性もある。これらをどのようにすべきかは設計に依存する。
【００３８】
図３を参照して、フォルマント抽出部８０は、１６ｋＨｚ、１６ビットでキャプチャされた音声信号に対し、プリエンファシス等の前処理と、１０ミリ秒ごとに、３２ミリ秒幅のハミング・ウィンドウによる窓掛け処理とを行なってフレーム化した音声信号を出力する前処理部１１０と、前処理部１１０により出力される各フレームに対しＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔｓ）分析を行なってＬＰＣパラメータを出力するＬＰＣ分析部１１２と、ＬＰＣ分析部１１２により出力されるＬＰＣパラメータを用い、処理対象の音声フレームのＬＰＣスペクトルを算出するＬＰＣスペクトル算出部１１４と、ＬＰＣスペクトル算出部１１４により算出されたＬＰＣスペクトルのスペクトル包絡から、公知の手順にしたがってピークを検出することで、音声の第１フォルマント（Ｆ１）及び第２フォルマント（Ｆ２）の周波数情報を出力するピーク検出部１１６とを含む。
【００３９】
図４を参照して、前処理部１１０による窓掛け処理について説明する。以下の図４〜図６に示すグラフは、鹿野清宏他編著、「音声認識システム」、平成１３年５月１５日発行、株式会社オーム社、東京、日本、の第９ページに記載されているものを引用した。図４において、入力音声は波形１３０により示されている。ハミング・ウィンドウは波形１３２により示されている。前処理部１１０は、波形１３０に波形１３２を乗ずることで音声信号の窓掛けを行なう。窓掛け後の音声信号は波形１３４により示されている。
【００４０】
本実施の形態では、ＬＰＣ係数として第０次〜第１８次まで（ａｋ，ｋ＝０，…，１８）の、１９次元の係数を用いる。
【００４１】
図５を参照して、一般に、音声信号に対して単純に単時間フーリエスペクトル分析を行なって得られる音声のパワースペクトル１５０には、細かい変動が重なっており、ピークが明確でなく、フォルマント抽出に適さない。しかし、図６を参照して、ＬＰＣスペクトル１６０ではそのような細かい変動が除かれ、滑らかでかつピークが明確なスペクトル包絡が得られる。このようにして得られたＬＰＣスペクトル１６０の第１ピーク及び第２ピークに対応する周波数がそれぞれ第１フォルマント及び第２フォルマントである。
【００４２】
なお、フォルマント抽出部８０を構成する各部で行なわれる処理は、上記した教科書にも記載されているとおり、本発明が属する技術分野においては周知技術に属する。
【００４３】
図７を参照して、話者によるフォルマント空間の相違及びその調整について説明する。図７左側はある男性話者の５つの単母音（ａ、ｅ、ｉ、ｏ、ｕ）発声から得られたＦ１及びＦ２を、Ｆ１及びＦ２の対数を２つの軸とする空間（フォルマント空間）にプロットしたものである。図７右側は女性によるものである。５つの母音に対応するプロット点の近傍に、各母音のアルファベット表示と、そのときの口の形とを示してある。
【００４４】
図７を参照して、男性と女性とでは、声道の長さの相違に起因して、プロットされる点の位置に相違がある。これら母音が分布する点を母音空間と呼ぶことにする。母音空間は、性別だけでなく、話者の年齢、身長等によっても相違する。ここで説明するのは、このような話者による相違を補償するように、話者のフォルマントを正規化するための処理である。ただし、話者として話者ごとに正規化してもよいし、ある共通の特性を持つ手段ごとに話者を正規化してもよい。例えば女性と男性とは、それぞれ異なる音声的特徴を示す。したがって、これらを別々の２組として、それぞれ正規化するようにしてもよい。
【００４５】
図７左側には日本人男性の平均母音空間１９２を示し、図７右側には日本人女性の平均母音空間２０２を示す。本実施の形態では、これら母音空間の中心（図７左側の点１９０及び図７右側の点２００）がフォルマント空間の原点となるように、フォルマント空間の原点を移動させる。この処理をするのが図２に示す原点移動処理部８４である。この中心位置は、英語のいわゆる「シュワー」母音に相当する。本実施の形態では、性別による調整のみを行なうこととする。したがって、原点の移動量は、女性及び男性の各々について、予め多数の話者の単母音発声をプロットして得られた点の集合から得られる。本実施の形態では、この集合の中心を手作業で特定し、この位置を、新たなフォルマント空間の原点とする。フォルマント空間の原点の移動量はこの点の座標により決まる。なお、実際にはこの処理により決められるのはＦ１の中心座標（これを「ｃｅｎｔｅｒＦ１」と呼ぶ。）である。Ｆ２の中心座標（これを本実施の形態では「ｃｅｎｔｅｒＦ２」と呼ぶ。）は、ｃｅｎｔｅｒＦ２＝２．９＊ｃｅｎｔｅｒＦ１により計算できる。なお、容易に理解できるように、原点のｌｏｇＦ１軸方向の移動量は、男性の方が女性より小さい。
【００４６】
図７を参照して、回転後のｌｏｇＦ１軸及びｌｏｇＦ２軸をそれぞれｌｏｇＦ１´軸１９４及び２０４及びｌｏｇＦ２´軸１９６及び２０６と呼ぶことにすると、ここでの回転量は、口の上下方向への開き具合とｌｏｇＦ１´軸１９４及び２０４上の値との相関が高くなるようにすることにより定めるべきであることが分かる。上記した５母音についていうと、各母音の発声時の口の上下方向の開き量には、ａ＞ｅ＞ｉ＝ｏ＞ｕという関係がある。したがって、ｌｏｇＦ１´軸１９４及び２０４の回転量は、ｌｏｇＦ１´軸１９４及び２０４上でのこれら母音のｌｏｇＦ１の値がこの順で並ぶようにすることにより定められる。
【００４７】
実験の結果、男性の場合には軸を反時計回りに２８度程度、女性の場合には同じく反時計回りに２２程度回転させると、回転後のｌｏｇＦ１´軸１９４及び２０４上でのｌｏｇＦ１の値が、上記した母音の順番とほぼ一致することが見出された。もちろん、この回転量には幅があり、男性の場合には２５度〜３１度程度、女性の場合には１９度〜２５度程度が好適であると考えられる。いずれにせよ、男性と女性とを区別するときは、男性のための回転角度の方が、女性のための回転角度よりも大きい。男性、女性を区別しない場合には２５度程度が好ましい。
【００４８】
以上をまとめると図８のようになる。図８上を参照して、フォルマント空間の原点２１０について、上のようにして定めた点１９０の位置まで移動させ、ＬｏｇＦ１軸及びＬｏｇＦ２軸も同様に平行移動させて新たなＬｏｇＦ１軸２１２及びＬｏｇＦ２軸２１４とする。次に、図８下を参照して、上のようにして個別の話者、若しくは男性又は女性の別に応じて定めた角度αだけＬｏｇＦ１軸２１２及びＬｏｇＦ２軸２１４を反時計軸方向に回転し、新たなＬｏｇＦ１´軸１９４及びＬｏｇＦ２´軸１９６を定める。そして、音声のＦ１及びＦ２により定まる点の、ＬｏｇＦ１´軸１９４上の座標値と、回転前のＬｏｇＦ２軸２１４上の座標値との関数として、それぞれ口の上下方向及び水平方向の開き量（標準状態からの差異）を求める。以上が、図２に示す原点移動処理部８４及び回転処理部８６の行なう処理である。
【００４９】
一旦これらの値が決まると、アンドロイド４０の構成にしたがって、形状推定部８８と制御指令生成部９０とによる制御指令の生成を行なうことができる。
【００５０】
図９を参照して、図２に示す形状推定部８８による口の形状の推定処理を実現するプログラムの制御構造について説明する。このプログラムは、図２に示す回転処理部８６から１フレーム分の音声信号に関する補正後のフォルマント情報が出力されるたびに起動される。なお、以後に記載するフォルマント情報のうち、Ｆ１及びＦ２はそれぞれ、原点の移動及び座標軸の回転による補正前のＦ１及びＦ２であり、Ｆ１´は原点の移動及び座標軸の回転により補正された後のＦ１を示す。
【００５１】
図９を参照して、このプログラムはステップ２３０で開始し、ステップ２３０ではＦ１が２５０Ｈｚより大きく１５００Ｈｚより小さい範囲にあり、かつＦ２が５００Ｈｚより大きく４０００Ｈｚより小さい範囲にあり、かつ当該フレームのパワーＰｏｗが予め定められたしきい値Ｐｔｈｒｅｓｈより大きいか否かを判定する。判定が肯定なら制御はステップ２３２に進み、判定が否定なら制御はステップ２３４に進む。
【００５２】
ステップ２３２では、該当フレームが母音又は半母音からなる音声区間であると考えられるため、唇の上下方向の開き（ＨＬ）及び唇の左右方向の開き（ここでは標準となるシュワー母音からの変移量：ＤＷＬ）を以下の式（１）及び（２）により定める。
【００５３】
【数３】
ただしＨＬ（標準母音）はシュワー母音発話時の唇の上下方向の開き量であり、ＳＨは上下方向の開きを算出するための係数であり、ＳＷは左右方向の開きを算出するための係数である。ＨＬ（標準母音）は通常は０．６程度である。ＳＨは、男性では１．８〜２．３程度、女性では１．２〜１．８程度である。汎用的には、男性についてはＳＨ＝２程度とし、女性については１．５とするとよい。ＳＷは男性及び女性の双方について０．５程度がよい。ｃｅｎｔｅｒＦ２は前述したシュワー母音のＦ２周波数であり、話者の音声空間の中心のＦ２の値を示す。ＤＷＬは、／ｉ／及び／ｅ／では正の値、／ｏ／及び／ｕ／では負の値となる。
【００５４】
再び図９を参照して、ステップ２３２の処理の後、このプログラムの実行は終了する。
【００５５】
一方、ステップ２３０の判定が否定の場合、ステップ２３４において、上記したフレームのパワーＰｏｗがしきい値Ｐｔｈｒｅｓｈより大きい区間が２００ミリ秒未満か否かが判定される。判定が肯定の場合はこのフレームが子音区間であると考えられ、ステップ２３６で子音区間に対応する口形状の決定が行なわれる。より具体的には、ステップ２３６では、ＨＬ＝０．５に固定され、ＤＷＬはその前のフレームでの値と同じ値とする。又はＤＷＬについては前後のフレームの値を内挿することで算出してもよい。
【００５６】
一方、ステップ２３４の判定が否定の場合、すなわちパワーが低い区間がある一定の時間（本実施の形態では２００ミリ秒）を越えると、当該フレームは無音区間であるとみなされる。ＨＬ及びＤＷＬの双方ともゼロとする。
【００５７】
上記した判定により、母音及び半母音以外の子音区間と考えられるフレームでは、唇が半開きとなり、詳細に見ると中途半端な印象を受けるのではないかと考えられる。しかし、アンドロイドの口の動きに関しては、このように子音区間で唇を半開きとしてもそれほど違和感がないことが分かっている。
【００５８】
図１０を参照して、アンドロイド４０の構成のうち、唇の動きと発声とに関する部分は以下のような構造を持つ。すなわち、アンドロイド４０は、制御システム４２から１０ミリ秒ごとにそれぞれ送信されてくる音声パケット及び制御指令を受信する音声パケット受信部２５０及び制御指令受信部２７０と、音声パケット受信部２５０が受信した音声パケットに対し、制御指令に応答してアンドロイドのアクチュエータが動き始めるまでの時間的遅延に相当する遅延の後に音声再生処理を行ない音声信号を出力する音声再生回路２５２と、音声再生回路２５２の出力する音声信号を音声に変換するスピーカ２５４と、制御指令受信部２７０の受信した制御指令に基づいて、アクチュエータに対する制御信号を出力するアクチュエータ制御回路２７２と、アクチュエータ制御回路２７２の出力に応答して動作し、アンドロイド４０の口唇部の各部を動かす複数のアクチュエータ２７４とを含む。
【００５９】
なお、制御システム４２の処理能力と、アンドロイド４０における情報の処理能力とに差があり、アンドロイド４０が制御システム４２からの音声パケット及び制御情報を全て時間内に処理できなかったり、制御システム４２から次の情報が送信されてくる前に音声パケット及び制御情報に基づく処理を全て終わってしまったりする場合が考えられる。そのため、制御システム４２の動作とアンドロイド４０の動作とが同期しなくなる可能性がある。そうした問題を回避するため、前者の場合には、アンドロイド４０から制御システム４２に送信されてくる情報の一部を捨てる処理が必要となり、後者の場合には、例えば既に処理済みの情報を繰返して処理するような処理が必要となる。このような処理は、リアルタイムで遠隔地の間で通信を行なうシステムでは通常行なわれているものである。
【００６０】
［動作］
上記した対話システム３０は以下のように動作する。対話システム３０が動作するためには、前処理として、フォルマント補正のための、話者に依存したパラメータを実験等により得て、調整用パラメータ記憶部８２に記憶させる必要がある。本実施の形態では、複数の男性又は複数の女性による上記した５つの単母音の発声からＦ１及びＦ２を算出し、その母音空間の中心を求める。これにより男性及び女性の各々について、フォルマント空間の原点の移動量が定められる。さらに、男女の各々について、既に述べた手法にしたがい、原点移動後のフォルマント空間のＬｏｇＦ１軸を回転させ、上記した５つの単母音がａ＞ｅ＞ｉ＝ｏ＞ｕの順番で並ぶような角度を求める。回転後のＬｏｇＦ１軸がＬｏｇＦ１´軸である。
【００６１】
このようにして男性と女性との各々に対し、フォルマント空間の原点の移動量と、ＬｏｇＦ１軸の回転量とが算出される。これらの値は男性と女性とに区別して調整用パラメータ記憶部８２に記憶される。さらに、無音区間とそれ以外とを識別するためのしきい値についても、実験により定めて、調整用パラメータ記憶部８２に格納しておく。式（１）及び（２）に出現する係数ＳＨ及びＳＷについても同様である。
【００６２】
実際のアンドロイド４０の動作時には対話システム３０は以下のように動作する。最初に、操作者が男性か女性かにより、調整用パラメータ記憶部８２に格納されたパラメータのうち、適切なものが選択される。制御システム４２の前には操作者５２が控え、マイクロフォン付ヘッドフォン５４を装着する。制御パラメータ生成装置５０とアンドロイド４０とを通信路５６上のＴＣＰ／ＩＰ通信により接続する。アンドロイド４０の周辺にあるビデオカメラ及びマイクロフォンにより得た映像及び音声をアンドロイド４０から制御パラメータ生成装置５０に送信し、映像は制御パラメータ生成装置５０のモニタ上に表示し、音声はヘッドフォン５４により再生する。
【００６３】
操作者５２がアンドロイド４０に何かを発声させようとする場合、操作者５２はその発話内容にしたがった発声を行なう。音声はヘッドフォン５４のマイクロフォンによりキャプチャされ、図２に示すフォルマント抽出部８０に与えられる。図３に示す前処理部１１０は、音声信号に対してプリエンファシス等の前処理を行なった上で、１０ミリ秒のシフト量及び３２ミリ秒のウィンドウ長のハミング・ウィンドウで窓掛け処理を行なって音声のフレーム化処理を行ない、１０ミリ秒ごとに音声信号のフレームをＬＰＣ分析部１１２に与える。
【００６４】
ＬＰＣ分析部１１２は、与えられた音声信号のフレームに対するＬＰＣ分析により、１９次元のＬＰＣ係数を求め、ＬＰＣスペクトル算出部１１４に与える。ＬＰＣスペクトル算出部１１４は、与えられたＬＰＣ係数に基づいて、そのフレームのＬＰＣスペクトルを求めて、ピーク検出部１１６に与える。ピーク検出部１１６は、このＬＰＣスペクトルのピークのうち、周波数の低い方から２つのピークを定め、その周波数を求めてＦ１及びＦ２としてそれぞれ図２に示す原点移動処理部８４に与える。
【００６５】
原点移動処理部８４は、調整用パラメータ記憶部８２に記憶された原点移動量にしたがって、フォルマント空間の原点を移動させる。回転処理部８６は、移動後の原点を中心に、ＬｏｇＦ１軸及びＬｏｇＦ２軸を調整用パラメータ記憶部８２に記憶された、操作者５２に対応した回転角だけ回転させてＬｏｇＦ１´軸を定め、フォルマント抽出部８０により抽出されたＦ１に基づいて、補正後のＬｏｇＦ１´の値を求める。このＬｏｇＦ１´の値は、Ｆ２及び原点移動処理部８４における原点の移動量（特にｃｅｎｔｅｒＦ２）とともに形状推定部８８に与えられる。形状推定部８８は、与えられたＬｏｇＦ１´の値、Ｆ２、ｃｅｎｔｅｒＦ２、並びに調整用パラメータ記憶部８２に記憶されていたＳＨ，ＳＷ及びＰｔｈｒｅｓｈを用い、図９に制御構造を示すプログラムにより、唇の形状（唇の上下方向への開き量ＨＬ、及び左右への開き量の標準状態からの差ＤＷＬ）を推定し、制御指令生成部９０に与える。
【００６６】
制御指令生成部９０は、与えられた開き量ＨＬ及び差ＤＷＬにしたがった位置にアンドロイド４０の口唇部６０が来るようなアクチュエータの制御指令を生成し、制御指令送信部９２に与える。制御指令送信部９２は、この制御指令をアンドロイド４０に送信する。この送信は１０ミリ秒ごとに行なわれる。
【００６７】
一方、音声パケット送信部１００は、音声信号をキャプチャして生成した音声パケットを、１０ミリ秒ごとにアンドロイド４０に送信する。
【００６８】
したがって、制御指令送信部９２の送信する制御指令と、音声パケット送信部１００の送信する音声信号との間には、多少の時間的ズレが生ずる。しかしこのズレは、後述するようにアンドロイド４０でのアクチュエータの駆動に要する遅延時間により実質的に補償されるので、ここで特に問題とする必要はない。
【００６９】
図１０を参照して、アンドロイド４０の音声パケット受信部２５０は、制御パラメータ生成装置５０から音声パケットを受信すると、受信した音声パケットを音声再生回路２５２に与える。音声再生回路２５２は、与えられた音声パケットに基づいて、スピーカ２５４を駆動するための音声信号を生成し、その音声信号をスピーカ２５４に与える。スピーカ２５４はこの音声信号を音声に変換する。音声パケット受信部２５０が音声パケットを受信してからスピーカ２５４がその音声パケットに基づく音声を発生するまでの処理はいずれも電気的なものであり、その間の時間的遅延は僅かな量である。
【００７０】
一方、制御指令受信部２７０は制御パラメータ生成装置５０からの制御指令を受信すると、アクチュエータ制御回路２７２にその制御指令を与える。アクチュエータ制御回路２７２は、与えられた制御指令に基づいて、複数のアクチュエータ２７４に対する制御信号を発生してアクチュエータ２７４に与える。アクチュエータ２７４は、この制御信号に応答して、口唇部６０の各部を制御指令により指定された量だけ移動させる。
【００７１】
この制御指令受信部２７０からアクチュエータ２７４による処理のうち、特にアクチュエータ２７４による処理は機械的なものである。そのため、アクチュエータ２７４に対する制御信号をアクチュエータ制御回路２７２が出力してからアクチュエータ２７４が実際に指定された量だけ口唇部６０の各部を移動させるまでの間には、どうしてもある程度の時間を要する。この時間は、音声を処理するのに要する時間と比較してはるかに長い。したがって、音声に対する処理とアクチュエータ駆動の処理との間を同期させないと、口唇部６０の動きが音声より遅れることになる。したがって、音声再生回路２５２による音声信号の発生は、上記した時間のずれに相当する時間だけ、遅延させる。さらにこの遅延時間に、制御パラメータ生成装置５０側で音声と制御指令との生成に要する時間を補償する時間を加えることで、両者を同期させることができる。
【００７２】
以上のように本実施の形態によれば、アンドロイド４０の口唇部６０を、遠隔地にいる操作者５２の発話にしたがって動かし、その動きに同期してアンドロイド４０において操作者５２の発話を再生できる。特に口唇部６０の上下方向の開口量が、フォルマント空間の移動及び回転により補正した後の第１フォルマントＦ１´によって制御されるため、第１フォルマントＦ１´の値と高い相関で口唇部６０の口が開くようにアンドロイド４０を制御できる。その結果、実音声に基づいて、操作者５２のアバターであるアンドロイド４０の口唇部６０を、見る人に違和感なく動かすことができる、アバターの口唇制御を実現できる。
【００７３】
なお、上記実施の形態では、第１フォルマントＦ１の調整のためのパラメータを予め求め、記憶装置に記憶させておくが、本発明はそのような実施の形態に限定されるわけではない。例えば、起動後に上記した５母音を操作者に発話させ、これら発声からＦ１の中心座標を求め、さらにＬｏｇＦ１軸の回転量を自動的に求めることで、パラメータ調整を自動化することもできる。この場合、Ｆ１の中心座標は各母音のＦ１の値の平均値でもよい。ＬｏｇＦ１軸の回転量を求める際には、／ｉ／及び／ｏ／のＬｏｇＦ１´の値がほぼ等しくなるように、かつＬｏｇＦ１´の値がａ＞ｅ＞ｉ＝ｏ＞ｕという順番となるように定めればよい。最も単純な方法は、／ｉ／及び／ｏ／のフォルマント空間上の点を結んだ線がＬｏｇＦ２´軸と平行になるように回転量を定める、というものである。
【００７４】
ただし、中心座標の決定及びＬｏｇＦ１軸の回転量の決定の方法がこの方法に限定されるわけでないことはもちろんである。
【００７５】
また、上記実施の形態では、母音及び半母音の区間と、子音の区間と、無音区間との区別を図９に制御構造を示すプログラムにより実現している。しかし、図９に示す数値及びアルゴリズムは一例に過ぎず、多少異なる数値を用いたり、子音又は母音をさらに細かく分類するアルゴリズムを採用したりしてもよい。無音区間を定めるためのしきい値Ｐｔｈｒｅｓｈについても、応用により、環境によりその数値は変化すると考えられる。
【００７６】
［コンピュータによる実現］
上記した対話システム３０のうち、制御システム４２側の制御パラメータ生成装置５０はコンピュータハードウェア及び当該コンピュータハードウェア上で実行されるプログラムにより実現することができる。図１１は、この実施の形態において、制御システム４２を構成する制御パラメータ生成装置５０を実現するコンピュータシステム５３０の外観を示し、図１２はコンピュータシステム５３０の内部構成を示す。
【００７７】
図１１を参照して、このコンピュータシステム５３０は、メモリポート５５２及びＤＶＤドライブ５５０を有するコンピュータ５４０と、キーボード５４６と、マウス５４８と、モニタ５４２と、音声入力に用いられるマイクロフォン５７０と一対のスピーカとを有する、図１に示したヘッドフォン５４とを含む。
【００７８】
図１２を参照して、コンピュータ５４０は、メモリポート５５２、ＤＶＤドライブ５５０、マイクロフォン５７０及びヘッドフォン５４に加えて、ＣＰＵ（中央処理装置）５５６と、ＣＰＵ５５６、メモリポート５５２及びＤＶＤドライブ５５０に接続されたバス５６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）５５８と、バス５６６に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）５６０と、バス５６６に接続され、マイクロフォン５７０及びヘッドフォン５４を用いた音声処理を行なうサウンドボード５６８と、ＴＣＰ／ＩＰを用いた通信により通信路５６を介して他装置への接続を提供するネットワークインタフェースカード（ＮＩＣ）５７４とを含む。
【００７９】
サウンドボード５６８は、マイクロフォン５７０からの音声をキャプチャしたり、ＣＰＵ５５６により処理されたデジタルの音声信号をアナログの音声信号に変換してヘッドフォン５４に与えたりすることができる。
【００８０】
コンピュータシステム５３０を制御パラメータ生成装置５０として機能させるためのコンピュータプログラムは、ＤＶＤドライブ５５０又はメモリポート５５２にそれぞれ挿入されるＤＶＤ５６２又は不揮発性半導体メモリ５６４に記憶され、さらにハードディスク５５４に転送される。又は、プログラムは図示しないネットワークを通じてコンピュータ５４０に送信されハードディスク５５４に記憶されてもよい。プログラムは実行の際にＲＡＭ５６０にロードされる。ＤＶＤ５６２から、不揮発性半導体メモリ５６４から、又はネットワークを介して、直接にＲＡＭ５６０にプログラムをロードしてもよい。
【００８１】
このプログラムは、コンピュータ５４０をこの実施の形態の制御パラメータ生成装置５０として機能させる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ５４０上で動作するオペレーティングシステム（ＯＳ）もしくはサードパーティのプログラム、又はコンピュータ５４０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又は「ツール」を呼出すことにより、上記した制御パラメータ生成装置５０としての動作を実行する命令のみを含んでいればよい。コンピュータシステム５３０の動作は周知であるので、ここでは繰返さない。
【００８２】
なお、上記した実施の形態では、特定の式を挙げて計算方法を示した。しかし、本発明を実現する上では、ここに挙げた式のみが利用可能なわけではない。論理的に本実施の形態で行なったのと同じ計算結果が結論として得られるのであれば、それらもまた本発明の技術的範囲に含まれる。
【００８３】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【００８４】
３０ 対話システム
４０ アンドロイド
４２ 制御システム
５０ 制御パラメータ生成装置
５２ 操作者
５４ ヘッドフォン
５６ 通信路
６０ 口唇部
８０ フォルマント抽出部
８２ 調整用パラメータ記憶部
８４ 原点移動処理部
８６ 回転処理部
８８ 形状推定部
９０ 制御指令生成部
９２ 制御指令送信部
１００ 音声パケット送信部
【特許請求の範囲】
【請求項１】
発話者の音声から得られる音声信号をフレーム化して一連のフレーム信号を出力するフレーム化手段と、
前記フレーム化手段から出力される各フレームから、音声の第１フォルマント及び第２フォルマントを抽出するフォルマント抽出手段と、
前記フォルマント抽出手段により前記各フレームから抽出された前記第１フォルマント及び第２フォルマントについて、話者によるフォルマント空間内の母音空間の相違を補償するように正規化する正規化手段と、
前記正規化手段により正規化された第１フォルマント及び第２フォルマントの線形写像により、第１フォルマントを補正する補正手段とを含む口唇動作パラメータ生成装置であって、
前記フォルマント空間は、第１フォルマント軸と第２フォルマント軸とにより規定され、
前記線形写像は、補正後の第１フォルマントと発話者の口の上下方向の開き量との相関が、正規化された第１フォルマントと発話者の口の上下方向の開き量との相関より高くなるように選ばれており、
前記口唇動作パラメータ生成装置はさらに、
前記フレーム化手段から出力される各フレームに対し、前記補正手段により出力される補正後の第１フォルマントの値の関数として、発話者の音声と同期して口唇形状を上下方向に変化させるためのパラメータを生成して出力するパラメータ生成手段を含む、口唇動作パラメータ生成装置。
【請求項２】
前記正規化手段は、
前記各フレームについて、第１フォルマントと第２フォルマントとについてそれぞれ、所定の第１及び第２の定数を減算する減算手段を含む請求項１に記載の口唇動作パラメータ生成装置。
【請求項３】
前記補正手段は、
前記フレーム化手段から出力される各フレームの第１フォルマント及び第２フォルマントの値により定められるベクトルについて、前記第１フォルマント軸を所定角度だけ前記フォルマント空間の原点周りに回転させる線形変換を行ない、変換後のベクトルの、前記第１フォルマントの値に対応する要素を前記補正後の第１フォルマントの値として出力する回転手段を含み、
前記所定角度は、前記原点に対して第２フォルマントが増加する方向に１９度より大きく３１度より小さく選ばれる、請求項２に記載の口唇動作パラメータ生成装置。
【請求項４】
前記第１及び第２の定数と、前記所定角度とを各々が含むパラメータの組を複数個記憶するパラメータ記憶手段と、
前記パラメータ記憶手段に記憶された前記パラメータの組のいずれかを操作者による操作に応答して選択し、選択されたパラメータの組の前記第１及び第２の定数を前記減算手段に与え、前記所定角度を前記回転手段に与えるパラメータ選択手段とをさらに含む、請求項３に記載の口唇動作パラメータ生成装置。
【請求項５】
前記複数個の前記パラメータの組は、
前記発話者が男性であるときに選択される第１のパラメータの組と、
前記発話者が女性であるときに選択される第２のパラメータの組とを含み、
前記第１のパラメータの組の前記第１定数は、前記第２のパラメータの組の前記第１の定数よりも小さく選ばれている、請求項４に記載の口唇動作パラメータ生成装置。
【請求項６】
前記第１の組の前記所定角度は、前記第２の組の前記所定角度よりも大きく選ばれている、請求項４又は請求項５に記載の口唇動作パラメータ生成装置。
【請求項７】
前記パラメータ生成手段は、
前記フレームの各々について、前記フォルマント抽出手段により抽出された第１フォルマントの値が第１の有限範囲内にあり、前記フォルマント抽出手段により抽出された第２フォルマントの値が第２の有限範囲内にあり、かつフレームの音声信号のパワーがしきい値より大きい、という条件が成立しているか否かを判定する第１の判定手段と、
前記第１の判定手段による判定が肯定であるときに、以下の式により口唇の上下方向の開き量を算出する第１のパラメータ算出手段と、
前記第１の判定手段による判定が否定であるときに、フレームの音声パワーが前記しきい値を連続して下回っている期間が、処理対象のフレームを含めて一定時間未満か否かを判定する第２の判定手段と、
前記第２の判定手段による判定が肯定のときに、口唇の上下方向の開き量を、当該開き量の変動可能な範囲の中央を含む範囲内の一定値に設定する第２のパラメータ算出手段と、
前記第２の判定手段による判定が否定のときに、口唇の上下方向の開き量を前記一定値より小さな値に定数に設定する第３のパラメータ算出手段とを含み、
前記第１の有限範囲の下限は前記第２の有限範囲の下限より小さく、
前記第１の有限範囲の上限は、前記第２の有限範囲の下限より大きく上限より小さい、請求項１〜請求項６のいずれかに記載の口唇動作パラメータ生成装置。
【請求項８】
前記正規化手段により正規化された前記第２フォルマントの値の関数として、発話者の口唇部の左右への開き量の、予め定められた標準状態からの差を求め、当該差に基づいて、発話者の音声と同期して口唇形状を左右方向に変化させるためのパラメータを生成して出力する開き量パラメータ生成手段をさらに含む、請求項１〜請求項７のいずれかに記載の口唇動作パラメータ生成装置。
【請求項９】
音声をキャプチャする機能を備えたコンピュータにより実行されると、当該コンピュータを、
発話者の音声から得られる音声信号をフレーム化して一連のフレーム信号を出力するフレーム化手段と、
前記フレーム化手段から出力される各フレームから、音声の第１フォルマント及び第２フォルマントを抽出するフォルマント抽出手段と、
前記フォルマント抽出手段により前記各フレームから抽出された前記第１フォルマント及び第２フォルマントについて、話者によるフォルマント空間内の母音空間の相違を補償するように正規化する正規化手段と、
前記正規化手段により正規化された第１フォルマント及び第２フォルマントの線形写像により、第１フォルマントを補正する補正手段として機能させるコンピュータプログラムであって、
前記フォルマント空間は、第１フォルマント軸と第２フォルマント軸とにより規定され、
前記線形写像は、補正後の第１フォルマントと発話者の口の上下方向の開き量との相関が、正規化された第１フォルマントと発話者の口の上下方向の開き量との相関より高くなるように選ばれており、
前記コンピュータプログラムはさらに、前記コンピュータを、
前記フレーム化手段から出力される各フレームに対し、前記補正手段により出力される補正後の第１フォルマントの値の関数として、発話者の音声と同期して口唇形状を上下方向に変化させるためのパラメータを生成して出力するパラメータ生成手段として機能させる、コンピュータプログラム。
【請求項１】
発話者の音声から得られる音声信号をフレーム化して一連のフレーム信号を出力するフレーム化手段と、
前記フレーム化手段から出力される各フレームから、音声の第１フォルマント及び第２フォルマントを抽出するフォルマント抽出手段と、
前記フォルマント抽出手段により前記各フレームから抽出された前記第１フォルマント及び第２フォルマントについて、話者によるフォルマント空間内の母音空間の相違を補償するように正規化する正規化手段と、
前記正規化手段により正規化された第１フォルマント及び第２フォルマントの線形写像により、第１フォルマントを補正する補正手段とを含む口唇動作パラメータ生成装置であって、
前記フォルマント空間は、第１フォルマント軸と第２フォルマント軸とにより規定され、
前記線形写像は、補正後の第１フォルマントと発話者の口の上下方向の開き量との相関が、正規化された第１フォルマントと発話者の口の上下方向の開き量との相関より高くなるように選ばれており、
前記口唇動作パラメータ生成装置はさらに、
前記フレーム化手段から出力される各フレームに対し、前記補正手段により出力される補正後の第１フォルマントの値の関数として、発話者の音声と同期して口唇形状を上下方向に変化させるためのパラメータを生成して出力するパラメータ生成手段を含む、口唇動作パラメータ生成装置。
【請求項２】
前記正規化手段は、
前記各フレームについて、第１フォルマントと第２フォルマントとについてそれぞれ、所定の第１及び第２の定数を減算する減算手段を含む請求項１に記載の口唇動作パラメータ生成装置。
【請求項３】
前記補正手段は、
前記フレーム化手段から出力される各フレームの第１フォルマント及び第２フォルマントの値により定められるベクトルについて、前記第１フォルマント軸を所定角度だけ前記フォルマント空間の原点周りに回転させる線形変換を行ない、変換後のベクトルの、前記第１フォルマントの値に対応する要素を前記補正後の第１フォルマントの値として出力する回転手段を含み、
前記所定角度は、前記原点に対して第２フォルマントが増加する方向に１９度より大きく３１度より小さく選ばれる、請求項２に記載の口唇動作パラメータ生成装置。
【請求項４】
前記第１及び第２の定数と、前記所定角度とを各々が含むパラメータの組を複数個記憶するパラメータ記憶手段と、
前記パラメータ記憶手段に記憶された前記パラメータの組のいずれかを操作者による操作に応答して選択し、選択されたパラメータの組の前記第１及び第２の定数を前記減算手段に与え、前記所定角度を前記回転手段に与えるパラメータ選択手段とをさらに含む、請求項３に記載の口唇動作パラメータ生成装置。
【請求項５】
前記複数個の前記パラメータの組は、
前記発話者が男性であるときに選択される第１のパラメータの組と、
前記発話者が女性であるときに選択される第２のパラメータの組とを含み、
前記第１のパラメータの組の前記第１定数は、前記第２のパラメータの組の前記第１の定数よりも小さく選ばれている、請求項４に記載の口唇動作パラメータ生成装置。
【請求項６】
前記第１の組の前記所定角度は、前記第２の組の前記所定角度よりも大きく選ばれている、請求項４又は請求項５に記載の口唇動作パラメータ生成装置。
【請求項７】
前記パラメータ生成手段は、
前記フレームの各々について、前記フォルマント抽出手段により抽出された第１フォルマントの値が第１の有限範囲内にあり、前記フォルマント抽出手段により抽出された第２フォルマントの値が第２の有限範囲内にあり、かつフレームの音声信号のパワーがしきい値より大きい、という条件が成立しているか否かを判定する第１の判定手段と、
前記第１の判定手段による判定が肯定であるときに、以下の式により口唇の上下方向の開き量を算出する第１のパラメータ算出手段と、
前記第１の判定手段による判定が否定であるときに、フレームの音声パワーが前記しきい値を連続して下回っている期間が、処理対象のフレームを含めて一定時間未満か否かを判定する第２の判定手段と、
前記第２の判定手段による判定が肯定のときに、口唇の上下方向の開き量を、当該開き量の変動可能な範囲の中央を含む範囲内の一定値に設定する第２のパラメータ算出手段と、
前記第２の判定手段による判定が否定のときに、口唇の上下方向の開き量を前記一定値より小さな値に定数に設定する第３のパラメータ算出手段とを含み、
前記第１の有限範囲の下限は前記第２の有限範囲の下限より小さく、
前記第１の有限範囲の上限は、前記第２の有限範囲の下限より大きく上限より小さい、請求項１〜請求項６のいずれかに記載の口唇動作パラメータ生成装置。
【請求項８】
前記正規化手段により正規化された前記第２フォルマントの値の関数として、発話者の口唇部の左右への開き量の、予め定められた標準状態からの差を求め、当該差に基づいて、発話者の音声と同期して口唇形状を左右方向に変化させるためのパラメータを生成して出力する開き量パラメータ生成手段をさらに含む、請求項１〜請求項７のいずれかに記載の口唇動作パラメータ生成装置。
【請求項９】
音声をキャプチャする機能を備えたコンピュータにより実行されると、当該コンピュータを、
発話者の音声から得られる音声信号をフレーム化して一連のフレーム信号を出力するフレーム化手段と、
前記フレーム化手段から出力される各フレームから、音声の第１フォルマント及び第２フォルマントを抽出するフォルマント抽出手段と、
前記フォルマント抽出手段により前記各フレームから抽出された前記第１フォルマント及び第２フォルマントについて、話者によるフォルマント空間内の母音空間の相違を補償するように正規化する正規化手段と、
前記正規化手段により正規化された第１フォルマント及び第２フォルマントの線形写像により、第１フォルマントを補正する補正手段として機能させるコンピュータプログラムであって、
前記フォルマント空間は、第１フォルマント軸と第２フォルマント軸とにより規定され、
前記線形写像は、補正後の第１フォルマントと発話者の口の上下方向の開き量との相関が、正規化された第１フォルマントと発話者の口の上下方向の開き量との相関より高くなるように選ばれており、
前記コンピュータプログラムはさらに、前記コンピュータを、
前記フレーム化手段から出力される各フレームに対し、前記補正手段により出力される補正後の第１フォルマントの値の関数として、発話者の音声と同期して口唇形状を上下方向に変化させるためのパラメータを生成して出力するパラメータ生成手段として機能させる、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１７３３８９（Ｐ２０１２−１７３３８９Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３３０８３（Ｐ２０１１−３３０８３）
【出願日】平成２３年２月１８日（２０１１．２．１８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）ＪＳＴ戦略的創造研究推進事業／チーム型研究（ＣＲＥＳＴ）、研究領域「共生社会に向けた人間調和型情報技術の構築」、研究課題名「人の存在を伝達する携帯型遠隔操作アンドロイドの研究開発」
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１８日（２０１１．２．１８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）ＪＳＴ戦略的創造研究推進事業／チーム型研究（ＣＲＥＳＴ）、研究領域「共生社会に向けた人間調和型情報技術の構築」、研究課題名「人の存在を伝達する携帯型遠隔操作アンドロイドの研究開発」
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]