対話システム、対話制御方法およびプログラム
【課題】対話システムで、コミュニケーションギャップをリアルタイムに解決し、持続的かつ自然なコミュニケーションを行う。
【解決手段】インタラクション状態量算出部１２は、ユーザＰの発話における話者交替潜時、発話区間のピッチ、パワーまたはモーラを含むインタラクション状態量を検出する。コミュニケーション同調制御部１３は、ユーザＰとロボットシステム１０とのコミュニケーション同調ずれ量を算出し、同調モデルを表す状態方程式による連続的な引き込み制御によりコミュニケーション同調ずれ量を最小化すると同時に、インタラクションルールによる離散的な引き込み制御により、ユーザＰのインタラクション状態量をロボットシステム１０のそれに近づけていく、または、ロボットシステム１０のインタラクション状態量をユーザＰのインタラクション状態量に近づけつつユーザＰのインタラクション状態量をロボットシステム１０のそれに近づけていく。
【解決手段】インタラクション状態量算出部１２は、ユーザＰの発話における話者交替潜時、発話区間のピッチ、パワーまたはモーラを含むインタラクション状態量を検出する。コミュニケーション同調制御部１３は、ユーザＰとロボットシステム１０とのコミュニケーション同調ずれ量を算出し、同調モデルを表す状態方程式による連続的な引き込み制御によりコミュニケーション同調ずれ量を最小化すると同時に、インタラクションルールによる離散的な引き込み制御により、ユーザＰのインタラクション状態量をロボットシステム１０のそれに近づけていく、または、ロボットシステム１０のインタラクション状態量をユーザＰのインタラクション状態量に近づけつつユーザＰのインタラクション状態量をロボットシステム１０のそれに近づけていく。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話システム、対話制御方法およびプログラムに関する。より詳しくは在宅で、問診などの情報収集を行うために人間との会話を行う対話システム、対話制御方法およびプログラムに関する。
【背景技術】
【０００２】
会話による自然なコミュニケーションを行うためには、適切な発話タイミング制御や韻律制御、および頷きなどの身体的制御が必要となる。問診などの情報収集を円滑に行うには、その日のユーザの状態に合わせて、適切な発話タイミング制御や韻律制御および頷きなどの身体的制御が必要となる。
【０００３】
非特許文献１および非特許文献２は、発話の音響的特徴とキーワードを素性とし、人間同士の対話を決定木で機械学習することにより適切な発話タイミングで相槌や応答を行う対話システムに関するものである。この対話システムは、オフラインでの対話学習から導出される人間の平均的な状態を考慮して相槌や話者交替のタイミングを生成している。非特許文献１または２の対話システムでは、リアルタイムに相手の発話に同調的に発話を生成することはできない。
【０００４】
非特許文献３は、上記対話システムを発展させて、リアルタイムで応答タイミングを生成させる技術を開示している。しかし非特許文献３の音声対話システムでは、対話システムと人間の韻律情報や発話の「間（ま）」（交替潜時）のギャップをどのようにシステムが解消していくのかについては示されていない。
【０００５】
特許文献１には、話者の感性に即した円滑な対話を行うことを目的とする音声対話装置が開示されている。特許文献１の音声対話装置は、通常状態では、応答音声の発話までのポーズ時間及び発話速度が、話者の発話速度に応じた状態となるように制御される。応答音声の出力期間中に、話者側で応答音声が早期に終わって欲しいと感じるイベントが発生したときには、応答音声の発話速度を、そのピッチを変化させることなく、それまでの速度より連続的に高速化するように制御する。
【０００６】
ロボットの制御技術として、特許文献２には、ロボットの可動部の運動を周期運動と捉え、その位相を調整することで大局的な姿勢安定制御を行なうことが記載されている。特許文献２では、不整地踏破性を目的として、位相を離散的に制御する方法を用いている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２６４６３号公報
【特許文献２】特開２００５−９６０６８号公報
【非特許文献】
【０００８】
【非特許文献１】Kitaoka,N. ,Takeuchi,M. Nishimura, R., Nakagawa, S. “Response Timing Detection Using Prosodic and Linguistic Information for Human-Friendly Spoken Dialog Systems, 人工知能学会論文誌 Vol.20 No.3 , SP-E pp.220-228, 2005
【非特許文献２】北岡、中川他、“協調的音声対話の相槌・話者交替タイミング分析とそれに基づく応答生成法の研究”、科研費報告資料 研究課題番号17300064、2005
【非特許文献３】西村、中川、“応答タイミングを考慮した音声対話システムとその評価”、情報処理学会SLP研究報告2009-SLP-77 No.2、 pp.1-6、2009
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１の音声対話装置は、応答音声の発話の韻律特徴（ポーズ時間や発話速度）を、人間の発話速度に応じた状態になるように制御するものであり、人間の要求に応じて話速変換するものである。しかし、発話速度の調整だけでは、自然な対話は実現できず、発話の間や音調などを適応的に制御できる仕組みが必要となる。
【００１０】
在宅で問診などの毎日の情報収集をユーザに負担をかけずに行うには、ユーザの体調やメンタル面での変化などから起因するコミュニケーションに関する状態量をリアルタイムに把握し、持続的に情報収集を適切に行う必要がある。ここで、課題となるのが、自然なコミュニケーションの中で的確な情報収集を行うことである。
【００１１】
ユーザに精神的負担がかからない自然なコミュニケーションを実現するためには、話者交替タイミングで代表されるような、対話システムのリズムとユーザのリズムが同調していることが前提である。対話システムは、ハードウェアとして実体を持つロボットを介するもの、または実体をもたないロボット（ＣＧ：コンピュータグラフィックス表現されたもの）を介する構成がある。ロボットのリズムがユーザのリズムとギャップがあったとき、ロボットがユーザのリズムを探索し、ロボットのリズムをユーザのリズムに近づけることにより同調現象を誘発させることは可能であるが、一方的に、ロボットのコミュニケーション制御パラメータをユーザのそれに近づけることが、自然なコミュニケーションを実現するとは言い難い。一時的にコミュニケーションは成立するが、長期的に全体を通して評価すると不自然なコミュニケーションであって、ロボット固有の印象を壊してしまい、ユーザがロボットとのコミュニケーションに対してストレスを感じ、持続的なコミュニケーションができなくなってしまう可能性がある。
【００１２】
また、コミュニケーションを進めていく中で、コミュニケーション同調が断絶することが多々存在し、どのようにリアルタイムでコミュニケーションギャップを解決するかが課題となる。それには、ユーザとロボット間のコミュニケーションのダイナミクスを考慮してコミュニケーション制御方式を設計する必要がある。このコミュニケーションダイナミクスをモデル化する一般的な方法論として、制御すべき状態量の挙動のダイナミクスを、連続値をとる状態方程式で表現する方式が考えられる。同調現象は、心臓のペースメーカや電子回路の共振モデルなどで用いられている振動子の原理に基づき状態方程式を用いて表現可能である。本発明におけるコミュニケーション状態量は、話者交替時の「間（ま）」（交替潜時）の状態量や発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量、および／または、頷きなどの身体的挙動を示す状態量と考えている。これらのコミュニケーション状態量の同調現象を状態方程式により表現し、連続的に、ユーザとロボット間の引き込み制御（連続的引き込み制御）を行う方式が想定される。
【００１３】
しかし、このような物理的な同調モデルだけでは、ユーザとロボット間の引き込み制御を行うことは困難である。たとえば、ロボットの交替潜時とユーザの交替潜時とにギャップがあったとき、ロボットがユーザの交替潜時を探索し、ロボットの交替潜時をユーザの交替潜時に近づけることにより同調現象を誘発させることは可能であるが、一方的に、ロボットの交替潜時をユーザのそれに近づけることが、自然で持続的なコミュニケーションを実現することは言い難い。また、同調現象が発現するまでに、ユーザがコミュニケーションを諦めてしまう可能性もあり、コミュニケーションの早い段階から同調現象を発現させる必要がある。
【００１４】
さらに、より自然なコミュニケーションを実現するには、目的に沿った会話構造を意識する必要がある。会議での議論、雑談、癒し応答など目的に応じた会話構造がそれぞれ存在する。すべての会話の種類を扱える会話構造など存在せず、会話の種類に応じたモデルをたてないと、会話を自然に進めることができない。
【００１５】
本発明は、上記事情に鑑みてなされたもので、コミュニケーションギャップをリアルタイムに解決し、持続的かつ自然なコミュニケーションを行う対話システム、対話制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明の第１の観点に係る対話システムは、
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムであって、
前記話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出手段と、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出する手段と、
前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段と、
前記コミュニケーション同調ずれ量に基づいて、前記ルール記憶手段から前記インタラクションルールを選択するルール選択手段と、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択手段で選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御手段と、
を備えることを特徴とする。
【００１７】
本発明の第２の観点に係る対話制御方法は、
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムが行う対話制御方法であって、
前記話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出ステップと、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出するステップと、
前記コミュニケーション同調ずれ量に基づいて、前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段から、前記インタラクションルールを選択するルール選択ステップと、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択ステップで選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御ステップと、
を備えることを特徴とする。
【００１８】
本発明の第３の観点に係るプログラムは、
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムを制御するコンピュータに、
話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出ステップと、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出するステップと、
前記コミュニケーション同調ずれ量に基づいて、前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段から、前記インタラクションルールを選択するルール選択ステップと、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択ステップで選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御ステップと、
を実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、コミュニケーションギャップをリアルタイムに解決し、持続的かつ自然なコミュニケーションを通じて、毎日の情報収集を継続的に行うように、対話システムの制御を行うことができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態１に係るロボットシステムの構成例を示すブロック図である。
【図２】引き込み制御方式のパターンを示す図である。
【図３】ユーザ状態量に基づく適応的引き込み制御の例を示す図である。
【図４】インタラクションルール学習による同調発現の加速を示す図である。
【図５】インタラクションルールによる引き込み制御の相転移を示す図である。
【図６】交替潜時および韻律特徴の引き込み制御例を示す図である。
【図７】本発明の実施の形態２に係るロボットシステムの構成例を示すブロック図である。
【図８】本発明の実施の形態３に係るロボットシステムの構成例を示すブロック図である。
【図９】情報収集（問診）タスクにおける会話構造モデルを示すブロック図である。
【図１０】働きかけを伴う持続的な情報収集（問診）システムの構成例を示す図である。
【図１１】引き込み制御の多階層モデルを示す図である。
【図１２】インタラクションルールに基づく韻律情報制御および間の制御例を示す図である。
【図１３】決定木学習による発話と頷きに関する動作タイミング制御例を示す図である。
【図１４】本発明の実施の形態４に係るロボットシステムの構成例を示すブロック図である。
【図１５】本発明の実施の形態に係るロボットシステムの物理的構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
本発明では、対話システムにおける同調モデルの連続的引き込み制御の枠組みの中で、コミュニケーション同調ずれ量を最小化する過程において、学習モデルにより選択されたインタラクションルールを、適応タイミングを考慮した離散的な引き込み制御により、ユーザの状態量を対話システムの状態量に近づけていくこと、または、対話システムの状態量をユーザの状態量に近づけつつユーザの状態量を対話システムの状態量に近づけていくことによって、ユーザと対話システムのコミュニケーション同調を早期から発現させる新しい対話制御方法を提案する。
【００２２】
本発明を実施するための形態について図面を参照して詳細に説明する。以下に示す本発明の各実施の形態に係る対話システムは、持続的かつ自然なコミュニケーションを通じて、毎日の情報収集を、ストレスを与えずに、継続的にコミュニケーション制御を行うことができるものである。
【００２３】
（実施の形態１）
まず、本発明の実施の形態に係る対話システムの構成ついて説明する。実施の形態では、以後、対話システムをロボットシステムに置き換えて説明する。ロボットシステムは、物質的な実体を伴わない、コンピュータ画面上に表現されたキャラクタであってもよい。対話システムは、視覚的にいわゆるロボットの形態をもたない場合がある。対話システムは、音声のみによる音声対話システムの場合を含む。
【００２４】
図１には、本実施の形態に係るロボットシステムの概略的な構成が示されている。ロボットシステム１０は、センシング部１１、インタラクション状態量算出部１２、コミュニケーション同調制御部１３、インタラクションルール学習履歴部１９、状態方程式パラメータ学習履歴部２０、および、ロボットインタラクション制御部１４を備える。
【００２５】
センシング部１１は、例えばマイクロフォンとカメラを備える。マイクロフォンは、ユーザＰの発話した音声を電気信号に変換し、音声データを生成する。センシング部１１は、カメラでユーザＰを撮影し、その動画像データを生成する。センシング部１１は、生成した音声データおよび動画像データをセンシングデータとして、インタラクション状態量算出部１２に送る。
【００２６】
インタラクション状態量算出部１２は、ユーザＰの音声から発話内容を音声認識して、ロボットインタラクション制御部１４に送る。インタラクション状態量算出部１２は、センシングデータに基づき、インタラクション状態量、例えば、話者交替の交替潜時や、発話の基本周波数（Ｆ０）・パワー・モーラ長などを算出し、頷きなどの身体動作のイベントなどの検出を行う。インタラクション状態量算出部１２は、これらのインタラクション状態量（以下、単に状態量ともいう）をコミュニケーション同調制御部１３に送る。
【００２７】
コミュニケーション同調制御部１３は、連続的引き込み制御部１５、状態方程式パラメータ記憶部１６、離散的引き込み制御部１７およびインタラクションルール記憶部１８を含む。インタラクションルールは、ロボットシステム１０のインタラクション状態量を変化させる規則である。連続的引き込み制御部１５は、ユーザＰのインタラクション状態量とロボットシステム１０のインタラクション状態量を入力として、状態方程式パラメータ記憶部１６の状態方程式パラメータを用いて、パラメータ学習された状態方程式による連続的引き込制御を行う。離散的引き込み制御部１７は、インタラクションルール記憶部１８からインタラクションルールを選択して、学習されたインタラクションルールによる離散的引き込み制御を行う。コミュニケーション同調制御部１３は、これらの引き込み制御によってロボットシステム１０のインタラクションの制御情報を生成し、ロボットインタラクション制御部１４に指令する。
【００２８】
最後に、ロボットインタラクション制御部１４は、インタラクション状態量算出部１２で音声認識したデータと、コミュニケーション同調制御部１３からインタラクションの制御情報を与えられ、ロボットシステム１０の発話や動作に関するインタラクションを生成する。ロボットインタラクション制御部１４は、ロボットシステム１０の発話や動作に関するインタラクションを生成して、音声合成によって音声を出力する。また、生成したインタラクションに従って、ロボットシステム１０の腕、顔、体の動作を行う。
【００２９】
インタラクションルール学習履歴部１９は、後述するインタラクションルールの学習結果を格納する。状態方程式パラメータ学習履歴部２０は、後述する状態方程式パラメータの学習結果を格納する。以下、ユーザＰとロボットシステム１０のインタラクション状態量にギャップがあった場合に、コミュニケーション同調制御部１３がインタラクションの制御情報を生成する方法を説明する。
【００３０】
図２は、引き込み制御方式のパターンを示す図である。図２では、理解を容易にするため、状態量を１次元で表している。状態量は一般には多次元であって、状態量の変化は状態量空間の軌跡で表される。図２に示されるように、ユーザＰとロボットシステム１０の状態量のギャップが大きい場合は、同調現象は生じず、同調が発現する状態量のレベルを探索する必要がある。同調現象は、非線形振動子によりモデル化が可能である。本実施の形態では、Van der Pol方程式により定式化を行う。同調させるユーザＰおよびロボットシステム１０の時刻ｔの位相をそれぞれｘ(ｔ)、ｙ(ｔ)とし、観測される状態量の波形変位をＦ(ｘ，ｙ，ｔ)とすると、非線形振動子は、式
ｘ’(ｔ) ＝ ｙ(ｔ)
ｙ’(ｔ) ＝ ε( １ − ｘ２(ｔ)) ｙ(ｔ) ＋ α×Ｆ(ｘ，ｙ，ｔ) （１）
により定式化される。この連立常微分方程式の解の軌道はリミットサイクルとなっている。ここで、εは非線形性を示し、ε＞０のとき安定なリミットサイクルをもつ。αは影響度パラメータである。
【００３１】
式（１）は、観測される状態量が単一となっているが、複数の観測される状態量からなる空間において、同調させる場合には、一般的には、α×Ｆ(ｘ，ｙ，ｔ)の項を、
α×Ｆ(ｘ，ｙ，ｔ)＋β×Ｇ(ｘ，ｙ，ｔ)＋・・・
のように線形結合することにより実現される。また、複数の状態量について、それぞれ独立に方程式を立て、独立に制御してもよい。状態量間の独立性がはっきりしており、状態量間の相互関係がない場合は、独立制御の方が適している。線形結合か独立制御かは状態量の関係性により決定する。
【００３２】
式（１）に示されるような同調モデルによりコミュニケーション制御を行うには、同調が発現する状態量へ誘導する必要がある。ロボットシステム１０の状態量とユーザＰの状態量とにギャップがあったとき、図２（ａ）に示すように、ロボットシステム１０がユーザＰの状態量を探索し、ロボットシステム１０の状態量をユーザＰの状態量に近づけることにより同調現象を誘発させることは可能である。しかし、従順的に、ロボットシステム１０のコミュニケーション制御パラメータをユーザＰのそれに近づけることは、一時的にはコミュニケーションは成立するが、ロボットシステム１０の固有の印象も壊してしまい、ユーザＰがコミュニケーションに対してストレスを感じ、持続的なコミュニケーションができなくなってしまう可能性がある。
【００３３】
図２（ｂ）に示すように、強制的にユーザＰの状態量をロボットシステム１０の状態量に近づけるように、ロボットシステム１０のインタラクションルールを起動する戦略もある。しかし、この戦略は必ず成功するとは限らない。そこで例えば、図２（ｃ）に示すように、ロボットシステム１０の状態量を一旦、ユーザＰの状態量に近づけ、その後、徐々にロボットシステム１０の元の状態量に引き込むように、ロボットシステム１０の状態量を変化させる。このように、インタラクションルールを起動しつつ、ロボットシステム１０の状態量を適応的にユーザＰの状態量に近づけ、同調の発現を加速させる方が、ユーザＰへの負荷を低減させつつ、ロボットシステム１０自身が有する自然な印象を維持できる。
【００３４】
インタラクションルールには、それを起動するタイミング（ギャップの条件など）、同調動作の方向と変化の速さ、引き込みに転じるタイミング、引き込みの変化の速さなどのパラメータがありうる。状態量が多次元の場合は、ギャップもベクトルであって、インタラクションルールは１つとは限らない。また、インタラクションルールの同調動作の変化のパターンは１つとは限らない。
【００３５】
コミュニケーション同調制御部１３は、上述のように状態量のギャップに応じてインタラクションルールを選択する。選択したインタラクションルールを起動したのち、例えば、コミュニケーションの同調発現の継続時間、または発話の量などによってインタラクションルールを評価する。すなわち、選択したインタラクションルールに対応して、そのときの同調発現継続時間または発話の量などを記憶し、過去の実績の平均（または直近の移動平均など）が大きいインタラクションルールを選択する。あるいは、インタラクションルールのパラメータを変化させて、同調発現の継続時間と発話量の評価値が大きいパラメータに収束させる。コミュニケーション同調制御部１３は、このようにインタラクションルールの学習結果をインタラクションルール学習履歴部１９に記憶させる。
【００３６】
図３は、ユーザ状態量に基づく適応的引き込み制御の例を示す。図３に示すように、コミュニケーション同調を進めていく中で、コミュニケーション同調が途中で断絶することが多々存在しえる。このような場合には、どのようなインタラクションルールをどのタイミングで起動すべきかが重要となる。このようなインタラクションルールの選択は、インタラクションルール学習履歴に基づき行われる。
【００３７】
図４は、インタラクションルール学習による同調発現の加速を示す図である。コミュニケーション同調制御部１３は、状態量の差が同調発現レベルまで最急勾配（最短時間）で低減させるインタラクションルールを選択する。
【００３８】
図５は、インタラクションルールによる引き込み制御の相転移を示す図である。図５に示すように、一旦リミットサイクルに入れば、軌道は位相安定点に収束していくが、多次元の状態量空間では、安定収束点を有するリミットサイクルは一般に複数ある。適切なインタラクションルールを適用することにより、より安定なリミットサイクルに相転移させることが可能となる。
【００３９】
図６は、話者交替の間の状態量と発話区間の韻律特徴の状態量から構成されるインタラクション状態量の引き込み制御過程を示す。ここでは、話者交替の間の状態量として、交替潜時（発話終了からと相手の発話が始まるまでの時間）を取り上げている。交替潜時の代わりに発話間隔（発話開始から相手の発話が開始されるまでの時間）でもよい。交替潜時の時間間隔のユーザＰとロボットシステム１０とのずれ量は、式（１）で示される同調モデルの状態方程式により、安定なリミットサイクルの中で振動しながら収束し、最小化される。
【００４０】
また、韻律特徴として代表的な基本周波数Ｆ０（ピッチ特徴）をとりあげて説明する。基本周波数（Ｆ０）はサンプリング間隔の各時刻で算出され、発話区間の中で平均化した平均Ｆ０値を、発話区間を代表する基本周波数とする。発話区間を代表する基本周波数は、発話句末モーラの基本周波数でもよい。ここで、同調制御の観点から、基本周波数の絶対量の値で制御をかけるのではなく、基本周波数の変化の度合いにより制御をかける方針をとる。なぜなら、基本周波数は声質にも依存しており個人差があるので、絶対量では同調制御は困難であるからである。
【００４１】
基本周波数の変化の度合いは、１ターン前の発話区間の基本周波数と、現在のターンの発話区間の基本周波数の変動の値として定義し、この変動パターンを、同調制御の入力とする。式（１）の状態方程式に基づいて同調制御してもよいが、線形予測を行う状態方程式により同調制御を行ってもよい。具体的には、現在のターンをｔとし、１つ前のターンを（ｔ−１）としたとき、現在のターンのロボットシステム１０の発話区間の基本周波数を、（ｔ−１）ターンのユーザＰの発話区間の基本周波数と、（ｔ−１）ターンのロボットシステム１０の発話区間の基本周波数から同じ変動パターンになるように状態制御をかけ算出してもよい。
【００４２】
コミュニケーション同調制御部１３は、インタラクションルールと同じように、状態方程式のパラメータについても同調発現の継続時間または発話量などで評価し、学習結果を状態方程式パラメータ学習履歴部２０に記憶する。そして、学習結果を参照して、状態量のギャップに合わせて、最も早く同調発現し、同調発現の継続時間が長くなるパラメータに設定する。
【００４３】
以上説明したように、本実施の形態の対話システムによれば、コミュニケーションギャップをリアルタイムに解決し、持続的かつ自然なコミュニケーションを行うように、対話システムの制御を行うことができる。
【００４４】
（実施の形態２）
ユーザの状態量を対話システムの状態量に近づけていくこと、または、対話システムの状態量をユーザの状態量に近づけつつユーザの状態量を対話システムの状態量に近づけていく連続的引き込み制御と離散的引き込み制御の過程において、ユーザがストレスを感じることがあっては持続的なコミュニケーションは成立しない。ストレスは、心電図のＲ−Ｒ間隔の変動から交換神経指標や副交換神経指標の自律神経指標を算出することにより測定することは可能であるが、センサを装着することへの抵抗感は否めない。
【００４５】
心理学の分野では、性格や社会スキルに関するアンケート項目が確立されており、性格や社会スキルの違いにより、対話システムがユーザの状態量へ近づける戦略を決定することができる。たとえば、性格に依存傾向がある場合には、ユーザの状態量を対話システムの状態量に近づけてもストレスを結果的に感じず、独立傾向がある場合には、最初からユーザの状態量を対話システムの状態量に近づけるよりも、一旦、ユーザの状態量に近づけてから対話システムの状態量に引き込む方がストレスを感じない傾向がある。
【００４６】
これらのユーザパーソナリティ情報を事前に獲得しておいてもよいが、日々のユーザの個性は状況に応じて変化する場合がある。このような場合では、対話システムがユーザとの会話による情報収集のプロセスの中で新しいパーソナリティ情報を取得した方がより効果的であると考えられる。
【００４７】
本実施の形態２では、事前に判定された性格や社会スキルから構成されるユーザパーソナリティ情報に従い、ロボットシステム１０がユーザの状態量へ近づける戦略を決定し、コミュニケーション時のユーザのストレスを許容範囲内に抑えつつ、ユーザとロボットシステム１０のコミュニケーションにおける同調を早期に発現させる対話制御方法を採用する。
【００４８】
図７は、本発明の実施の形態２に係るロボットシステムの構成例を示すブロック図である。実施の形態２のロボットシステム１０は、実施の形態１の構成に加えて、ユーザパーソナリティ情報データベース２１を備える。ユーザパーソナリティ情報データベース２１は、ユーザＰの性格および／または社会スキルから構成されるユーザパーソナリティ情報を格納する。
【００４９】
コミュニケーション同調制御部１３は、会話を行っているユーザＰのユーザパーソナリティ情報をユーザパーソナリティ情報データベース２１から取得し、ロボットシステム１０がユーザＰの状態量へ近づけるインタラクションルールを、ユーザパーソナリティ情報に基づいてユーザＰごとに決定する。コミュニケーション時のユーザＰのストレスを許容範囲内に抑えることにより、ユーザＰとロボットシステム１０のコミュニケーションにおける同調を、ストレスを軽減させた状態で、早期に発現させることが可能となる。
【００５０】
（実施の形態３）
本実施の形態３では、在宅での問診などの情報収集ロボットを目標としており、ロボットが積極的に共感したり、エピソードに働きかける要素を情報収集の会話構造モデルに入れることにより、自然で持続的な情報収集の実現を図る。本実施の形態３では、聞き出しモード、応答・共感モード、エピソード展開モードの３つのコミュニケーションモードの遷移モデルを想定する。そして、そのモード毎に、同調モデルを表す状態方程式のパラメータやインタラクションルールを適応的に変化させることにより、ユーザとロボット間の自然なコミュニケーションを最大化させる。
【００５１】
コミュニケーションモードとは、聞き出しモード、応答・共感モードおよびエピソード展開モードを含む、発話に対する話者の関わり方である。また、会話構造（モデル）は、コミュニケーションモードの遷移する順序（モデル）である。
【００５２】
話者交替の交代潜時の状態量は、会話全体にわたり共通的に同調制御される。しかし、韻律情報の状態量は、会話全体にわたり同調制御がかかるものではなく、会話構造の中で、選択的に同調制御を行う必要がある。
【００５３】
図８は、本発明の実施の形態３に係るロボットシステムの構成例を示すブロック図である。実施の形態３のロボットシステム１０は、実施の形態１の構成に加えて、会話構造モデル記述部２２および会話戦略記述部２３を備える。会話構造モデル記述部２２は、会話構造の状態遷移モデルを格納する。会話戦略記述部２３は、会話の目的および状態と、会話構造モデルとを対応づけるデータを格納する。会話の目的には、例えば、問診、情報提供、励まし、気分転換などがある。会話の状態とは、例えば問診の場合には、初めてか２回目以降何回目か、２回目以降の場合の前回の会話からの経過時間、過去の会話の継続時間および発話量などをいう。会話戦略記述部２３は、会話の目的と状態の分類ごとに、採用すべき会話構造モデルを規定する。
【００５４】
図９は、問診のような情報収集タスクの会話構造モデルを表している。問診は、例えば聞き出しモードから、応答・共感モードに遷移し、エピソード展開モードを介して、情報収集を行う。図１０は、ロボットが情報収集→共感→話題の想起を行うことで、ユーザの関心度向上・やる気の発現に至る因果関係を図式化したものである。ロボットシステム１０が働きかける会話構造としては、図９の状態遷移で十分であると考えている。
【００５５】
このような会話構造の中で、効果的な会話状態のときに、韻律同調をかけるものとする。聞き出しモードなど、要求を行う場合などでは、同調に必要な呼応関係が希薄であるので、韻律同調は効果的に働かない。それに対して、応答・共感モードでは、相槌や呼応関係が頻繁に起こってくる。したがって、韻律同調が効果的に働くと予想される。以上より、会話構造モデルに基づく遷移の中で、韻律同調は、例えば図１１に示すように、選択的に同調制御を行うこととする。インタラクションルールについても、会話構造モデルに基づく状態遷移の中で、選択的に適用する必要がある。
【００５６】
図１１には、聞き出しモードで句末モーラの基本周波数（Ｆ０）上昇ルールによる離散的引き込み制御を適用し、応答・共感モードでは韻律同調の状態方程式による連続的引き込み制御を行うことが示されている。各モードに共通して、句末モーラ長長音付加ルール、相槌に呼応した頷き生成ルールなどの共通インタラクションルールによる離散的引き込み制御を適用している。また、各モードに共通して、交替潜時の同調の状態方程式による連続的引き込みを適用することが示されている。
【００５７】
図１２（ａ）は、句末モーラの基本周波数（Ｆ０）の上昇を行うインタラクションルールを示している。このルールは、聞き出しモードでの活用に適しており、次に続くユーザの発話の韻律レベルを上昇させる効果を有する。
【００５８】
このような選択的な適用が適しているインタラクションルールと、共通的な適用が適しているルールがある。図１２（ｂ）は、句末モーラを伸ばす長音付加ルールの適用の効果を示している。このルールは、「間」（交替潜時）を伸展する効果を有しており、ユーザの発話タイミングが遅い場合に、ロボットシステム１０の発話タイミングの同調を加速するときに適用される。また、相槌に呼応した頷き生成ルールなども会話構造モデルに無関係に共通的に働くインタラクションルールである。どのタイミングで、どのようなルールを適用するかは、会話構造モデルの中で、ルール適用履歴をもとに決定木などの学習技術により決定される。たとえば、頷き生成ルールとしては、図１３に示すような決定木が考えられる。
【００５９】
以上、本実施の形態３の引き込み制御方式は、大きくは状態方程式による連続的引き込み制御とインタラクションルールによる離散的引き込み制御の２層構造になっており、会話構造モデルの中で共通的または選択的に制御が行われ、情報収集タスクにおいて、ユーザとロボットシステム間の自然なコミュニケーションを最大化させることが可能となる。
【００６０】
（実施の形態４）
ユーザの状態量を対話システムの状態量に近づけていくことまたは、対話システムの状態量をユーザの状態量に近づけつつユーザの状態量を対話システムの状態量に近づけていく連続的引き込み制御と離散的引き込み制御の過程において、実施の形態１、実施の形態２および実施の形態３を組み合わせることにより、ユーザと対話システムのコミュニケーションにおける同調を早期に発現させるとともに、ユーザと対話システム間の自然なコミュニケーションを最大化させることを特徴とする対話システムの対話制御方法を実現することが可能となる。
【００６１】
図１４は、本発明の実施の形態４に係るロボットシステムの構成例を示すブロック図である。実施の形態４のロボットシステム１０は、実施の形態２と実施の形態３の構成を合わせた構成になっている。すなわち、実施の形態１の構成に、ユーザパーソナリティ情報データベース２１、会話構造モデル記述部２２および会話戦略記述部２３を追加した構成である。
【００６２】
実施の形態４では具体的には、事前に判定された性格や社会スキルから構成されるユーザパーソナリティ情報データベース２１の内容に従い、コミュニケーション同調制御部１３においてロボットシステム１０がユーザＰの状態量へ近づける戦略を決定する。それに合わせて、現在の会話状態がどの会話状態かを会話構造モデルと比較し判定し、聞き出しモード、応答・共感モード、エピソード展開モードの特性によって同調モデルを表す状態方程式のパラメータやインタラクションルールを適応的に変化させる。このようにして、ユーザＰとロボットシステム１０のコミュニケーションにおける同調を早期に発現させるとともに、ユーザＰとロボットシステム１０間の自然なコミュニケーションを最大化させることができる。
【００６３】
（実施の形態の変形）
上記の実施の形態の対話制御方法は、対話システム対１人のユーザを想定している。実施の形態１ないし４のロボットシステム１０を、ロボットシステム対複数人のユーザにも容易に拡張可能である。例えば、複数人ユーザの平均的な状態量をユーザグループの代表的な状態量として定義する、または、最悪ケースのユーザ（たとえば、交替潜時が一番長いユーザ）の状態量をユーザグループの代表的な状態量として定義することができる。複数のユーザを代表する状態量を定義することにより、グループユーザの代表的な状態量をロボットシステムの状態量に近づけていくこと、または、ロボットシステムの状態量をグループユーザの代表的な状態量に近づけつつグループユーザの代表的な状態量をロボットシステムの状態量に近づけていく連続的引き込み制御と離散的引き込み制御の過程に拡張することができる。
【００６４】
図１５は、本発明の実施の形態に係るロボットシステムの物理的な構成例を示すブロック図である。
【００６５】
ロボットシステム１０は、図１５に示すように、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、入出力部３６および送受信部３７を備える。主記憶部３２、外部記憶部３３、操作部３４、表示部３５、入出力部３６および送受信部３７はいずれも内部バス３０を介して制御部３１に接続されている。
【００６６】
制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている制御プログラム３９に従って、音声会話のインタラクション制御のための処理を実行する。
【００６７】
主記憶部３２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部３３に記憶されている制御プログラム３９をロードし、制御部３１の作業領域として用いられる。
【００６８】
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、上述の処理を制御部３１に行わせるための制御プログラム３９を予め記憶し、また、制御部３１の指示に従って、この制御プログラム３９が記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。
【００６９】
操作部３４はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス３０に接続するインタフェース装置から構成されている。操作部３４を介して、ユーザの情報、状態方程式パラメータ、インタラクションルール、ユーザパーソナリティ情報、会話構造モデル、会話戦略または各種の判定条件などが入力され、制御部３１に供給される。
【００７０】
表示部３５は、ＣＲＴ（Cathode Ray Tube）もしくはＬＣＤ（Liquid Crystal Display）、およびスピーカなどから構成され、ロボットシステム１０の発声を出力する。また、ロボットをコンピュータ画面上のキャラクタで表現する場合は、ロボットのキャラクタを表示する。そのほか、ユーザの情報、状態方程式パラメータ、インタラクションルール、ユーザパーソナリティ情報、会話構造モデル、会話戦略などを表示する。
【００７１】
入出力部３６は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入出力部３６に位置センサ、撮像装置およびマイク（いずれも図示せず）などが接続される。さらに、ロボットが実体的な顔、腕および脚を備えてそれらを作動させる場合は、制御部は、入出力部を介して、それらのアクチュエータに制御信号を指令し、それらのセンサが検出するデータを入力する。
【００７２】
送受信部３７は、無線送受信機、無線モデムまたは網終端装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースから構成されている。送受信部３７を介して、ユーザの発話を認識したデータを送信する。また、ユーザパーソナリティ情報をネットワーク経由で収集する。
【００７３】
ロボットシステム１０の センシング部１１、インタラクション状態量算出部１２、コミュニケーション同調制御部１３、ロボットインタラクション制御部１４、インタラクションルール学習履歴部１９、状態方程式パラメータ学習履歴部２０、ユーザパーソナリティ情報データベース２１、会話構造モデル記述部２２、会話戦略記述部２３などの処理は、制御プログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、入出力部３６および送受信部３７などを資源として用いて処理することによって実行する。
【００７４】
その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００７５】
制御部３１、主記憶部３２、外部記憶部３３、操作部３４、内部バス３０などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するロボットシステム１０を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでロボットシステム１０を構成してもよい。
【００７６】
また、ロボットシステム１０の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００７７】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【００７８】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００７９】
（付記１）
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムであって、
前記話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出手段と、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出する手段と、
前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段と、
前記コミュニケーション同調ずれ量に基づいて、前記ルール記憶手段から前記インタラクションルールを選択するルール選択手段と、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択手段で選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御手段と、
を備えることを特徴とする対話システム。
【００８０】
（付記２）
前記話者の性格および／または社会スキルを表すユーザパーソナリティ情報を取得する手段を備え、
前記ルール選択手段は、前記ユーザパーソナリティ情報に基づいて、会話の進行に合わせて選択する前記インタラクションルールの順序を決定することを特徴とする付記１に記載の対話システム。
【００８１】
（付記３）
会話の聞き出しモード、応答・共感モードおよびエピソード展開モードを含むコミュニケーションモードの、遷移する順序を規定する会話構造モデルを記憶する構造モデル記憶手段と、
前記会話構造モデルに従って遷移する前記コミュニケーションモードに基づいて、前記同調モデルを表す状態方程式のパラメータ、および／または、前記インタラクションルールを変化させる適応制御手段と、
を備えることを特徴とする付記１または２に記載の対話システム。
【００８２】
（付記４）
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムが行う対話制御方法であって、
前記話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出ステップと、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出するステップと、
前記コミュニケーション同調ずれ量に基づいて、前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段から、前記インタラクションルールを選択するルール選択ステップと、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択ステップで選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御ステップと、
を備えることを特徴とする対話制御方法。
【００８３】
（付記５）
前記話者の性格および／または社会スキルを表すユーザパーソナリティ情報を取得するステップを備え、
前記ルール選択ステップは、前記ユーザパーソナリティ情報に基づいて、会話の進行に合わせて選択する前記インタラクションルールの順序を決定することを特徴とする付記４に記載の対話制御方法。
【００８４】
（付記６）
会話の聞き出しモード、応答・共感モードおよびエピソード展開モードを含むコミュニケーションモードの、遷移する順序を規定する会話構造モデルを設定する構造モデル記憶ステップと、
前記会話構造モデルに従って遷移する前記コミュニケーションモードに基づいて、前記同調モデルを表す状態方程式のパラメータ、および／または、前記インタラクションルールを変化させる適応制御ステップと、
を備えることを特徴とする付記４または５に記載の対話制御方法。
【００８５】
（付記７）
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムを制御するコンピュータに、
話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出ステップと、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出するステップと、
前記コミュニケーション同調ずれ量に基づいて、前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段から、前記インタラクションルールを選択するルール選択ステップと、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択ステップで選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御ステップと、
を実行させることを特徴とするプログラム。
【符号の説明】
【００８６】
１０ ロボットシステム（対話システム）
１１ センシング部
１２ インタラクション状態量算出部
１３ コミュニケーション同調制御部
１４ ロボットインタラクション制御部
１５ 連続的引き込み制御部
１６ 状態方程式パラメータ記憶部
１７ 離散的引き込み制御部
１８ インタラクションルール記憶部
１９ インタラクションルール学習履歴部
２０ 状態方程式パラメータ学習履歴部
２１ ユーザパーソナリティ情報データベース
２２ 会話構造モデル記述部
２３ 会話戦略記述部
３０ 内部バス
３１ 制御部
３２ 主記憶部
３３ 外部記憶部
３４ 操作部
３５ 表示部
３６ 入出力部
３７ 送受信部
３９ 制御プログラム
【技術分野】
【０００１】
本発明は、対話システム、対話制御方法およびプログラムに関する。より詳しくは在宅で、問診などの情報収集を行うために人間との会話を行う対話システム、対話制御方法およびプログラムに関する。
【背景技術】
【０００２】
会話による自然なコミュニケーションを行うためには、適切な発話タイミング制御や韻律制御、および頷きなどの身体的制御が必要となる。問診などの情報収集を円滑に行うには、その日のユーザの状態に合わせて、適切な発話タイミング制御や韻律制御および頷きなどの身体的制御が必要となる。
【０００３】
非特許文献１および非特許文献２は、発話の音響的特徴とキーワードを素性とし、人間同士の対話を決定木で機械学習することにより適切な発話タイミングで相槌や応答を行う対話システムに関するものである。この対話システムは、オフラインでの対話学習から導出される人間の平均的な状態を考慮して相槌や話者交替のタイミングを生成している。非特許文献１または２の対話システムでは、リアルタイムに相手の発話に同調的に発話を生成することはできない。
【０００４】
非特許文献３は、上記対話システムを発展させて、リアルタイムで応答タイミングを生成させる技術を開示している。しかし非特許文献３の音声対話システムでは、対話システムと人間の韻律情報や発話の「間（ま）」（交替潜時）のギャップをどのようにシステムが解消していくのかについては示されていない。
【０００５】
特許文献１には、話者の感性に即した円滑な対話を行うことを目的とする音声対話装置が開示されている。特許文献１の音声対話装置は、通常状態では、応答音声の発話までのポーズ時間及び発話速度が、話者の発話速度に応じた状態となるように制御される。応答音声の出力期間中に、話者側で応答音声が早期に終わって欲しいと感じるイベントが発生したときには、応答音声の発話速度を、そのピッチを変化させることなく、それまでの速度より連続的に高速化するように制御する。
【０００６】
ロボットの制御技術として、特許文献２には、ロボットの可動部の運動を周期運動と捉え、その位相を調整することで大局的な姿勢安定制御を行なうことが記載されている。特許文献２では、不整地踏破性を目的として、位相を離散的に制御する方法を用いている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２６４６３号公報
【特許文献２】特開２００５−９６０６８号公報
【非特許文献】
【０００８】
【非特許文献１】Kitaoka,N. ,Takeuchi,M. Nishimura, R., Nakagawa, S. “Response Timing Detection Using Prosodic and Linguistic Information for Human-Friendly Spoken Dialog Systems, 人工知能学会論文誌 Vol.20 No.3 , SP-E pp.220-228, 2005
【非特許文献２】北岡、中川他、“協調的音声対話の相槌・話者交替タイミング分析とそれに基づく応答生成法の研究”、科研費報告資料 研究課題番号17300064、2005
【非特許文献３】西村、中川、“応答タイミングを考慮した音声対話システムとその評価”、情報処理学会SLP研究報告2009-SLP-77 No.2、 pp.1-6、2009
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１の音声対話装置は、応答音声の発話の韻律特徴（ポーズ時間や発話速度）を、人間の発話速度に応じた状態になるように制御するものであり、人間の要求に応じて話速変換するものである。しかし、発話速度の調整だけでは、自然な対話は実現できず、発話の間や音調などを適応的に制御できる仕組みが必要となる。
【００１０】
在宅で問診などの毎日の情報収集をユーザに負担をかけずに行うには、ユーザの体調やメンタル面での変化などから起因するコミュニケーションに関する状態量をリアルタイムに把握し、持続的に情報収集を適切に行う必要がある。ここで、課題となるのが、自然なコミュニケーションの中で的確な情報収集を行うことである。
【００１１】
ユーザに精神的負担がかからない自然なコミュニケーションを実現するためには、話者交替タイミングで代表されるような、対話システムのリズムとユーザのリズムが同調していることが前提である。対話システムは、ハードウェアとして実体を持つロボットを介するもの、または実体をもたないロボット（ＣＧ：コンピュータグラフィックス表現されたもの）を介する構成がある。ロボットのリズムがユーザのリズムとギャップがあったとき、ロボットがユーザのリズムを探索し、ロボットのリズムをユーザのリズムに近づけることにより同調現象を誘発させることは可能であるが、一方的に、ロボットのコミュニケーション制御パラメータをユーザのそれに近づけることが、自然なコミュニケーションを実現するとは言い難い。一時的にコミュニケーションは成立するが、長期的に全体を通して評価すると不自然なコミュニケーションであって、ロボット固有の印象を壊してしまい、ユーザがロボットとのコミュニケーションに対してストレスを感じ、持続的なコミュニケーションができなくなってしまう可能性がある。
【００１２】
また、コミュニケーションを進めていく中で、コミュニケーション同調が断絶することが多々存在し、どのようにリアルタイムでコミュニケーションギャップを解決するかが課題となる。それには、ユーザとロボット間のコミュニケーションのダイナミクスを考慮してコミュニケーション制御方式を設計する必要がある。このコミュニケーションダイナミクスをモデル化する一般的な方法論として、制御すべき状態量の挙動のダイナミクスを、連続値をとる状態方程式で表現する方式が考えられる。同調現象は、心臓のペースメーカや電子回路の共振モデルなどで用いられている振動子の原理に基づき状態方程式を用いて表現可能である。本発明におけるコミュニケーション状態量は、話者交替時の「間（ま）」（交替潜時）の状態量や発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量、および／または、頷きなどの身体的挙動を示す状態量と考えている。これらのコミュニケーション状態量の同調現象を状態方程式により表現し、連続的に、ユーザとロボット間の引き込み制御（連続的引き込み制御）を行う方式が想定される。
【００１３】
しかし、このような物理的な同調モデルだけでは、ユーザとロボット間の引き込み制御を行うことは困難である。たとえば、ロボットの交替潜時とユーザの交替潜時とにギャップがあったとき、ロボットがユーザの交替潜時を探索し、ロボットの交替潜時をユーザの交替潜時に近づけることにより同調現象を誘発させることは可能であるが、一方的に、ロボットの交替潜時をユーザのそれに近づけることが、自然で持続的なコミュニケーションを実現することは言い難い。また、同調現象が発現するまでに、ユーザがコミュニケーションを諦めてしまう可能性もあり、コミュニケーションの早い段階から同調現象を発現させる必要がある。
【００１４】
さらに、より自然なコミュニケーションを実現するには、目的に沿った会話構造を意識する必要がある。会議での議論、雑談、癒し応答など目的に応じた会話構造がそれぞれ存在する。すべての会話の種類を扱える会話構造など存在せず、会話の種類に応じたモデルをたてないと、会話を自然に進めることができない。
【００１５】
本発明は、上記事情に鑑みてなされたもので、コミュニケーションギャップをリアルタイムに解決し、持続的かつ自然なコミュニケーションを行う対話システム、対話制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明の第１の観点に係る対話システムは、
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムであって、
前記話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出手段と、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出する手段と、
前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段と、
前記コミュニケーション同調ずれ量に基づいて、前記ルール記憶手段から前記インタラクションルールを選択するルール選択手段と、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択手段で選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御手段と、
を備えることを特徴とする。
【００１７】
本発明の第２の観点に係る対話制御方法は、
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムが行う対話制御方法であって、
前記話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出ステップと、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出するステップと、
前記コミュニケーション同調ずれ量に基づいて、前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段から、前記インタラクションルールを選択するルール選択ステップと、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択ステップで選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御ステップと、
を備えることを特徴とする。
【００１８】
本発明の第３の観点に係るプログラムは、
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムを制御するコンピュータに、
話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出ステップと、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出するステップと、
前記コミュニケーション同調ずれ量に基づいて、前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段から、前記インタラクションルールを選択するルール選択ステップと、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択ステップで選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御ステップと、
を実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、コミュニケーションギャップをリアルタイムに解決し、持続的かつ自然なコミュニケーションを通じて、毎日の情報収集を継続的に行うように、対話システムの制御を行うことができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態１に係るロボットシステムの構成例を示すブロック図である。
【図２】引き込み制御方式のパターンを示す図である。
【図３】ユーザ状態量に基づく適応的引き込み制御の例を示す図である。
【図４】インタラクションルール学習による同調発現の加速を示す図である。
【図５】インタラクションルールによる引き込み制御の相転移を示す図である。
【図６】交替潜時および韻律特徴の引き込み制御例を示す図である。
【図７】本発明の実施の形態２に係るロボットシステムの構成例を示すブロック図である。
【図８】本発明の実施の形態３に係るロボットシステムの構成例を示すブロック図である。
【図９】情報収集（問診）タスクにおける会話構造モデルを示すブロック図である。
【図１０】働きかけを伴う持続的な情報収集（問診）システムの構成例を示す図である。
【図１１】引き込み制御の多階層モデルを示す図である。
【図１２】インタラクションルールに基づく韻律情報制御および間の制御例を示す図である。
【図１３】決定木学習による発話と頷きに関する動作タイミング制御例を示す図である。
【図１４】本発明の実施の形態４に係るロボットシステムの構成例を示すブロック図である。
【図１５】本発明の実施の形態に係るロボットシステムの物理的構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
本発明では、対話システムにおける同調モデルの連続的引き込み制御の枠組みの中で、コミュニケーション同調ずれ量を最小化する過程において、学習モデルにより選択されたインタラクションルールを、適応タイミングを考慮した離散的な引き込み制御により、ユーザの状態量を対話システムの状態量に近づけていくこと、または、対話システムの状態量をユーザの状態量に近づけつつユーザの状態量を対話システムの状態量に近づけていくことによって、ユーザと対話システムのコミュニケーション同調を早期から発現させる新しい対話制御方法を提案する。
【００２２】
本発明を実施するための形態について図面を参照して詳細に説明する。以下に示す本発明の各実施の形態に係る対話システムは、持続的かつ自然なコミュニケーションを通じて、毎日の情報収集を、ストレスを与えずに、継続的にコミュニケーション制御を行うことができるものである。
【００２３】
（実施の形態１）
まず、本発明の実施の形態に係る対話システムの構成ついて説明する。実施の形態では、以後、対話システムをロボットシステムに置き換えて説明する。ロボットシステムは、物質的な実体を伴わない、コンピュータ画面上に表現されたキャラクタであってもよい。対話システムは、視覚的にいわゆるロボットの形態をもたない場合がある。対話システムは、音声のみによる音声対話システムの場合を含む。
【００２４】
図１には、本実施の形態に係るロボットシステムの概略的な構成が示されている。ロボットシステム１０は、センシング部１１、インタラクション状態量算出部１２、コミュニケーション同調制御部１３、インタラクションルール学習履歴部１９、状態方程式パラメータ学習履歴部２０、および、ロボットインタラクション制御部１４を備える。
【００２５】
センシング部１１は、例えばマイクロフォンとカメラを備える。マイクロフォンは、ユーザＰの発話した音声を電気信号に変換し、音声データを生成する。センシング部１１は、カメラでユーザＰを撮影し、その動画像データを生成する。センシング部１１は、生成した音声データおよび動画像データをセンシングデータとして、インタラクション状態量算出部１２に送る。
【００２６】
インタラクション状態量算出部１２は、ユーザＰの音声から発話内容を音声認識して、ロボットインタラクション制御部１４に送る。インタラクション状態量算出部１２は、センシングデータに基づき、インタラクション状態量、例えば、話者交替の交替潜時や、発話の基本周波数（Ｆ０）・パワー・モーラ長などを算出し、頷きなどの身体動作のイベントなどの検出を行う。インタラクション状態量算出部１２は、これらのインタラクション状態量（以下、単に状態量ともいう）をコミュニケーション同調制御部１３に送る。
【００２７】
コミュニケーション同調制御部１３は、連続的引き込み制御部１５、状態方程式パラメータ記憶部１６、離散的引き込み制御部１７およびインタラクションルール記憶部１８を含む。インタラクションルールは、ロボットシステム１０のインタラクション状態量を変化させる規則である。連続的引き込み制御部１５は、ユーザＰのインタラクション状態量とロボットシステム１０のインタラクション状態量を入力として、状態方程式パラメータ記憶部１６の状態方程式パラメータを用いて、パラメータ学習された状態方程式による連続的引き込制御を行う。離散的引き込み制御部１７は、インタラクションルール記憶部１８からインタラクションルールを選択して、学習されたインタラクションルールによる離散的引き込み制御を行う。コミュニケーション同調制御部１３は、これらの引き込み制御によってロボットシステム１０のインタラクションの制御情報を生成し、ロボットインタラクション制御部１４に指令する。
【００２８】
最後に、ロボットインタラクション制御部１４は、インタラクション状態量算出部１２で音声認識したデータと、コミュニケーション同調制御部１３からインタラクションの制御情報を与えられ、ロボットシステム１０の発話や動作に関するインタラクションを生成する。ロボットインタラクション制御部１４は、ロボットシステム１０の発話や動作に関するインタラクションを生成して、音声合成によって音声を出力する。また、生成したインタラクションに従って、ロボットシステム１０の腕、顔、体の動作を行う。
【００２９】
インタラクションルール学習履歴部１９は、後述するインタラクションルールの学習結果を格納する。状態方程式パラメータ学習履歴部２０は、後述する状態方程式パラメータの学習結果を格納する。以下、ユーザＰとロボットシステム１０のインタラクション状態量にギャップがあった場合に、コミュニケーション同調制御部１３がインタラクションの制御情報を生成する方法を説明する。
【００３０】
図２は、引き込み制御方式のパターンを示す図である。図２では、理解を容易にするため、状態量を１次元で表している。状態量は一般には多次元であって、状態量の変化は状態量空間の軌跡で表される。図２に示されるように、ユーザＰとロボットシステム１０の状態量のギャップが大きい場合は、同調現象は生じず、同調が発現する状態量のレベルを探索する必要がある。同調現象は、非線形振動子によりモデル化が可能である。本実施の形態では、Van der Pol方程式により定式化を行う。同調させるユーザＰおよびロボットシステム１０の時刻ｔの位相をそれぞれｘ(ｔ)、ｙ(ｔ)とし、観測される状態量の波形変位をＦ(ｘ，ｙ，ｔ)とすると、非線形振動子は、式
ｘ’(ｔ) ＝ ｙ(ｔ)
ｙ’(ｔ) ＝ ε( １ − ｘ２(ｔ)) ｙ(ｔ) ＋ α×Ｆ(ｘ，ｙ，ｔ) （１）
により定式化される。この連立常微分方程式の解の軌道はリミットサイクルとなっている。ここで、εは非線形性を示し、ε＞０のとき安定なリミットサイクルをもつ。αは影響度パラメータである。
【００３１】
式（１）は、観測される状態量が単一となっているが、複数の観測される状態量からなる空間において、同調させる場合には、一般的には、α×Ｆ(ｘ，ｙ，ｔ)の項を、
α×Ｆ(ｘ，ｙ，ｔ)＋β×Ｇ(ｘ，ｙ，ｔ)＋・・・
のように線形結合することにより実現される。また、複数の状態量について、それぞれ独立に方程式を立て、独立に制御してもよい。状態量間の独立性がはっきりしており、状態量間の相互関係がない場合は、独立制御の方が適している。線形結合か独立制御かは状態量の関係性により決定する。
【００３２】
式（１）に示されるような同調モデルによりコミュニケーション制御を行うには、同調が発現する状態量へ誘導する必要がある。ロボットシステム１０の状態量とユーザＰの状態量とにギャップがあったとき、図２（ａ）に示すように、ロボットシステム１０がユーザＰの状態量を探索し、ロボットシステム１０の状態量をユーザＰの状態量に近づけることにより同調現象を誘発させることは可能である。しかし、従順的に、ロボットシステム１０のコミュニケーション制御パラメータをユーザＰのそれに近づけることは、一時的にはコミュニケーションは成立するが、ロボットシステム１０の固有の印象も壊してしまい、ユーザＰがコミュニケーションに対してストレスを感じ、持続的なコミュニケーションができなくなってしまう可能性がある。
【００３３】
図２（ｂ）に示すように、強制的にユーザＰの状態量をロボットシステム１０の状態量に近づけるように、ロボットシステム１０のインタラクションルールを起動する戦略もある。しかし、この戦略は必ず成功するとは限らない。そこで例えば、図２（ｃ）に示すように、ロボットシステム１０の状態量を一旦、ユーザＰの状態量に近づけ、その後、徐々にロボットシステム１０の元の状態量に引き込むように、ロボットシステム１０の状態量を変化させる。このように、インタラクションルールを起動しつつ、ロボットシステム１０の状態量を適応的にユーザＰの状態量に近づけ、同調の発現を加速させる方が、ユーザＰへの負荷を低減させつつ、ロボットシステム１０自身が有する自然な印象を維持できる。
【００３４】
インタラクションルールには、それを起動するタイミング（ギャップの条件など）、同調動作の方向と変化の速さ、引き込みに転じるタイミング、引き込みの変化の速さなどのパラメータがありうる。状態量が多次元の場合は、ギャップもベクトルであって、インタラクションルールは１つとは限らない。また、インタラクションルールの同調動作の変化のパターンは１つとは限らない。
【００３５】
コミュニケーション同調制御部１３は、上述のように状態量のギャップに応じてインタラクションルールを選択する。選択したインタラクションルールを起動したのち、例えば、コミュニケーションの同調発現の継続時間、または発話の量などによってインタラクションルールを評価する。すなわち、選択したインタラクションルールに対応して、そのときの同調発現継続時間または発話の量などを記憶し、過去の実績の平均（または直近の移動平均など）が大きいインタラクションルールを選択する。あるいは、インタラクションルールのパラメータを変化させて、同調発現の継続時間と発話量の評価値が大きいパラメータに収束させる。コミュニケーション同調制御部１３は、このようにインタラクションルールの学習結果をインタラクションルール学習履歴部１９に記憶させる。
【００３６】
図３は、ユーザ状態量に基づく適応的引き込み制御の例を示す。図３に示すように、コミュニケーション同調を進めていく中で、コミュニケーション同調が途中で断絶することが多々存在しえる。このような場合には、どのようなインタラクションルールをどのタイミングで起動すべきかが重要となる。このようなインタラクションルールの選択は、インタラクションルール学習履歴に基づき行われる。
【００３７】
図４は、インタラクションルール学習による同調発現の加速を示す図である。コミュニケーション同調制御部１３は、状態量の差が同調発現レベルまで最急勾配（最短時間）で低減させるインタラクションルールを選択する。
【００３８】
図５は、インタラクションルールによる引き込み制御の相転移を示す図である。図５に示すように、一旦リミットサイクルに入れば、軌道は位相安定点に収束していくが、多次元の状態量空間では、安定収束点を有するリミットサイクルは一般に複数ある。適切なインタラクションルールを適用することにより、より安定なリミットサイクルに相転移させることが可能となる。
【００３９】
図６は、話者交替の間の状態量と発話区間の韻律特徴の状態量から構成されるインタラクション状態量の引き込み制御過程を示す。ここでは、話者交替の間の状態量として、交替潜時（発話終了からと相手の発話が始まるまでの時間）を取り上げている。交替潜時の代わりに発話間隔（発話開始から相手の発話が開始されるまでの時間）でもよい。交替潜時の時間間隔のユーザＰとロボットシステム１０とのずれ量は、式（１）で示される同調モデルの状態方程式により、安定なリミットサイクルの中で振動しながら収束し、最小化される。
【００４０】
また、韻律特徴として代表的な基本周波数Ｆ０（ピッチ特徴）をとりあげて説明する。基本周波数（Ｆ０）はサンプリング間隔の各時刻で算出され、発話区間の中で平均化した平均Ｆ０値を、発話区間を代表する基本周波数とする。発話区間を代表する基本周波数は、発話句末モーラの基本周波数でもよい。ここで、同調制御の観点から、基本周波数の絶対量の値で制御をかけるのではなく、基本周波数の変化の度合いにより制御をかける方針をとる。なぜなら、基本周波数は声質にも依存しており個人差があるので、絶対量では同調制御は困難であるからである。
【００４１】
基本周波数の変化の度合いは、１ターン前の発話区間の基本周波数と、現在のターンの発話区間の基本周波数の変動の値として定義し、この変動パターンを、同調制御の入力とする。式（１）の状態方程式に基づいて同調制御してもよいが、線形予測を行う状態方程式により同調制御を行ってもよい。具体的には、現在のターンをｔとし、１つ前のターンを（ｔ−１）としたとき、現在のターンのロボットシステム１０の発話区間の基本周波数を、（ｔ−１）ターンのユーザＰの発話区間の基本周波数と、（ｔ−１）ターンのロボットシステム１０の発話区間の基本周波数から同じ変動パターンになるように状態制御をかけ算出してもよい。
【００４２】
コミュニケーション同調制御部１３は、インタラクションルールと同じように、状態方程式のパラメータについても同調発現の継続時間または発話量などで評価し、学習結果を状態方程式パラメータ学習履歴部２０に記憶する。そして、学習結果を参照して、状態量のギャップに合わせて、最も早く同調発現し、同調発現の継続時間が長くなるパラメータに設定する。
【００４３】
以上説明したように、本実施の形態の対話システムによれば、コミュニケーションギャップをリアルタイムに解決し、持続的かつ自然なコミュニケーションを行うように、対話システムの制御を行うことができる。
【００４４】
（実施の形態２）
ユーザの状態量を対話システムの状態量に近づけていくこと、または、対話システムの状態量をユーザの状態量に近づけつつユーザの状態量を対話システムの状態量に近づけていく連続的引き込み制御と離散的引き込み制御の過程において、ユーザがストレスを感じることがあっては持続的なコミュニケーションは成立しない。ストレスは、心電図のＲ−Ｒ間隔の変動から交換神経指標や副交換神経指標の自律神経指標を算出することにより測定することは可能であるが、センサを装着することへの抵抗感は否めない。
【００４５】
心理学の分野では、性格や社会スキルに関するアンケート項目が確立されており、性格や社会スキルの違いにより、対話システムがユーザの状態量へ近づける戦略を決定することができる。たとえば、性格に依存傾向がある場合には、ユーザの状態量を対話システムの状態量に近づけてもストレスを結果的に感じず、独立傾向がある場合には、最初からユーザの状態量を対話システムの状態量に近づけるよりも、一旦、ユーザの状態量に近づけてから対話システムの状態量に引き込む方がストレスを感じない傾向がある。
【００４６】
これらのユーザパーソナリティ情報を事前に獲得しておいてもよいが、日々のユーザの個性は状況に応じて変化する場合がある。このような場合では、対話システムがユーザとの会話による情報収集のプロセスの中で新しいパーソナリティ情報を取得した方がより効果的であると考えられる。
【００４７】
本実施の形態２では、事前に判定された性格や社会スキルから構成されるユーザパーソナリティ情報に従い、ロボットシステム１０がユーザの状態量へ近づける戦略を決定し、コミュニケーション時のユーザのストレスを許容範囲内に抑えつつ、ユーザとロボットシステム１０のコミュニケーションにおける同調を早期に発現させる対話制御方法を採用する。
【００４８】
図７は、本発明の実施の形態２に係るロボットシステムの構成例を示すブロック図である。実施の形態２のロボットシステム１０は、実施の形態１の構成に加えて、ユーザパーソナリティ情報データベース２１を備える。ユーザパーソナリティ情報データベース２１は、ユーザＰの性格および／または社会スキルから構成されるユーザパーソナリティ情報を格納する。
【００４９】
コミュニケーション同調制御部１３は、会話を行っているユーザＰのユーザパーソナリティ情報をユーザパーソナリティ情報データベース２１から取得し、ロボットシステム１０がユーザＰの状態量へ近づけるインタラクションルールを、ユーザパーソナリティ情報に基づいてユーザＰごとに決定する。コミュニケーション時のユーザＰのストレスを許容範囲内に抑えることにより、ユーザＰとロボットシステム１０のコミュニケーションにおける同調を、ストレスを軽減させた状態で、早期に発現させることが可能となる。
【００５０】
（実施の形態３）
本実施の形態３では、在宅での問診などの情報収集ロボットを目標としており、ロボットが積極的に共感したり、エピソードに働きかける要素を情報収集の会話構造モデルに入れることにより、自然で持続的な情報収集の実現を図る。本実施の形態３では、聞き出しモード、応答・共感モード、エピソード展開モードの３つのコミュニケーションモードの遷移モデルを想定する。そして、そのモード毎に、同調モデルを表す状態方程式のパラメータやインタラクションルールを適応的に変化させることにより、ユーザとロボット間の自然なコミュニケーションを最大化させる。
【００５１】
コミュニケーションモードとは、聞き出しモード、応答・共感モードおよびエピソード展開モードを含む、発話に対する話者の関わり方である。また、会話構造（モデル）は、コミュニケーションモードの遷移する順序（モデル）である。
【００５２】
話者交替の交代潜時の状態量は、会話全体にわたり共通的に同調制御される。しかし、韻律情報の状態量は、会話全体にわたり同調制御がかかるものではなく、会話構造の中で、選択的に同調制御を行う必要がある。
【００５３】
図８は、本発明の実施の形態３に係るロボットシステムの構成例を示すブロック図である。実施の形態３のロボットシステム１０は、実施の形態１の構成に加えて、会話構造モデル記述部２２および会話戦略記述部２３を備える。会話構造モデル記述部２２は、会話構造の状態遷移モデルを格納する。会話戦略記述部２３は、会話の目的および状態と、会話構造モデルとを対応づけるデータを格納する。会話の目的には、例えば、問診、情報提供、励まし、気分転換などがある。会話の状態とは、例えば問診の場合には、初めてか２回目以降何回目か、２回目以降の場合の前回の会話からの経過時間、過去の会話の継続時間および発話量などをいう。会話戦略記述部２３は、会話の目的と状態の分類ごとに、採用すべき会話構造モデルを規定する。
【００５４】
図９は、問診のような情報収集タスクの会話構造モデルを表している。問診は、例えば聞き出しモードから、応答・共感モードに遷移し、エピソード展開モードを介して、情報収集を行う。図１０は、ロボットが情報収集→共感→話題の想起を行うことで、ユーザの関心度向上・やる気の発現に至る因果関係を図式化したものである。ロボットシステム１０が働きかける会話構造としては、図９の状態遷移で十分であると考えている。
【００５５】
このような会話構造の中で、効果的な会話状態のときに、韻律同調をかけるものとする。聞き出しモードなど、要求を行う場合などでは、同調に必要な呼応関係が希薄であるので、韻律同調は効果的に働かない。それに対して、応答・共感モードでは、相槌や呼応関係が頻繁に起こってくる。したがって、韻律同調が効果的に働くと予想される。以上より、会話構造モデルに基づく遷移の中で、韻律同調は、例えば図１１に示すように、選択的に同調制御を行うこととする。インタラクションルールについても、会話構造モデルに基づく状態遷移の中で、選択的に適用する必要がある。
【００５６】
図１１には、聞き出しモードで句末モーラの基本周波数（Ｆ０）上昇ルールによる離散的引き込み制御を適用し、応答・共感モードでは韻律同調の状態方程式による連続的引き込み制御を行うことが示されている。各モードに共通して、句末モーラ長長音付加ルール、相槌に呼応した頷き生成ルールなどの共通インタラクションルールによる離散的引き込み制御を適用している。また、各モードに共通して、交替潜時の同調の状態方程式による連続的引き込みを適用することが示されている。
【００５７】
図１２（ａ）は、句末モーラの基本周波数（Ｆ０）の上昇を行うインタラクションルールを示している。このルールは、聞き出しモードでの活用に適しており、次に続くユーザの発話の韻律レベルを上昇させる効果を有する。
【００５８】
このような選択的な適用が適しているインタラクションルールと、共通的な適用が適しているルールがある。図１２（ｂ）は、句末モーラを伸ばす長音付加ルールの適用の効果を示している。このルールは、「間」（交替潜時）を伸展する効果を有しており、ユーザの発話タイミングが遅い場合に、ロボットシステム１０の発話タイミングの同調を加速するときに適用される。また、相槌に呼応した頷き生成ルールなども会話構造モデルに無関係に共通的に働くインタラクションルールである。どのタイミングで、どのようなルールを適用するかは、会話構造モデルの中で、ルール適用履歴をもとに決定木などの学習技術により決定される。たとえば、頷き生成ルールとしては、図１３に示すような決定木が考えられる。
【００５９】
以上、本実施の形態３の引き込み制御方式は、大きくは状態方程式による連続的引き込み制御とインタラクションルールによる離散的引き込み制御の２層構造になっており、会話構造モデルの中で共通的または選択的に制御が行われ、情報収集タスクにおいて、ユーザとロボットシステム間の自然なコミュニケーションを最大化させることが可能となる。
【００６０】
（実施の形態４）
ユーザの状態量を対話システムの状態量に近づけていくことまたは、対話システムの状態量をユーザの状態量に近づけつつユーザの状態量を対話システムの状態量に近づけていく連続的引き込み制御と離散的引き込み制御の過程において、実施の形態１、実施の形態２および実施の形態３を組み合わせることにより、ユーザと対話システムのコミュニケーションにおける同調を早期に発現させるとともに、ユーザと対話システム間の自然なコミュニケーションを最大化させることを特徴とする対話システムの対話制御方法を実現することが可能となる。
【００６１】
図１４は、本発明の実施の形態４に係るロボットシステムの構成例を示すブロック図である。実施の形態４のロボットシステム１０は、実施の形態２と実施の形態３の構成を合わせた構成になっている。すなわち、実施の形態１の構成に、ユーザパーソナリティ情報データベース２１、会話構造モデル記述部２２および会話戦略記述部２３を追加した構成である。
【００６２】
実施の形態４では具体的には、事前に判定された性格や社会スキルから構成されるユーザパーソナリティ情報データベース２１の内容に従い、コミュニケーション同調制御部１３においてロボットシステム１０がユーザＰの状態量へ近づける戦略を決定する。それに合わせて、現在の会話状態がどの会話状態かを会話構造モデルと比較し判定し、聞き出しモード、応答・共感モード、エピソード展開モードの特性によって同調モデルを表す状態方程式のパラメータやインタラクションルールを適応的に変化させる。このようにして、ユーザＰとロボットシステム１０のコミュニケーションにおける同調を早期に発現させるとともに、ユーザＰとロボットシステム１０間の自然なコミュニケーションを最大化させることができる。
【００６３】
（実施の形態の変形）
上記の実施の形態の対話制御方法は、対話システム対１人のユーザを想定している。実施の形態１ないし４のロボットシステム１０を、ロボットシステム対複数人のユーザにも容易に拡張可能である。例えば、複数人ユーザの平均的な状態量をユーザグループの代表的な状態量として定義する、または、最悪ケースのユーザ（たとえば、交替潜時が一番長いユーザ）の状態量をユーザグループの代表的な状態量として定義することができる。複数のユーザを代表する状態量を定義することにより、グループユーザの代表的な状態量をロボットシステムの状態量に近づけていくこと、または、ロボットシステムの状態量をグループユーザの代表的な状態量に近づけつつグループユーザの代表的な状態量をロボットシステムの状態量に近づけていく連続的引き込み制御と離散的引き込み制御の過程に拡張することができる。
【００６４】
図１５は、本発明の実施の形態に係るロボットシステムの物理的な構成例を示すブロック図である。
【００６５】
ロボットシステム１０は、図１５に示すように、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、入出力部３６および送受信部３７を備える。主記憶部３２、外部記憶部３３、操作部３４、表示部３５、入出力部３６および送受信部３７はいずれも内部バス３０を介して制御部３１に接続されている。
【００６６】
制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている制御プログラム３９に従って、音声会話のインタラクション制御のための処理を実行する。
【００６７】
主記憶部３２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部３３に記憶されている制御プログラム３９をロードし、制御部３１の作業領域として用いられる。
【００６８】
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、上述の処理を制御部３１に行わせるための制御プログラム３９を予め記憶し、また、制御部３１の指示に従って、この制御プログラム３９が記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。
【００６９】
操作部３４はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス３０に接続するインタフェース装置から構成されている。操作部３４を介して、ユーザの情報、状態方程式パラメータ、インタラクションルール、ユーザパーソナリティ情報、会話構造モデル、会話戦略または各種の判定条件などが入力され、制御部３１に供給される。
【００７０】
表示部３５は、ＣＲＴ（Cathode Ray Tube）もしくはＬＣＤ（Liquid Crystal Display）、およびスピーカなどから構成され、ロボットシステム１０の発声を出力する。また、ロボットをコンピュータ画面上のキャラクタで表現する場合は、ロボットのキャラクタを表示する。そのほか、ユーザの情報、状態方程式パラメータ、インタラクションルール、ユーザパーソナリティ情報、会話構造モデル、会話戦略などを表示する。
【００７１】
入出力部３６は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入出力部３６に位置センサ、撮像装置およびマイク（いずれも図示せず）などが接続される。さらに、ロボットが実体的な顔、腕および脚を備えてそれらを作動させる場合は、制御部は、入出力部を介して、それらのアクチュエータに制御信号を指令し、それらのセンサが検出するデータを入力する。
【００７２】
送受信部３７は、無線送受信機、無線モデムまたは網終端装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースから構成されている。送受信部３７を介して、ユーザの発話を認識したデータを送信する。また、ユーザパーソナリティ情報をネットワーク経由で収集する。
【００７３】
ロボットシステム１０の センシング部１１、インタラクション状態量算出部１２、コミュニケーション同調制御部１３、ロボットインタラクション制御部１４、インタラクションルール学習履歴部１９、状態方程式パラメータ学習履歴部２０、ユーザパーソナリティ情報データベース２１、会話構造モデル記述部２２、会話戦略記述部２３などの処理は、制御プログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、入出力部３６および送受信部３７などを資源として用いて処理することによって実行する。
【００７４】
その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００７５】
制御部３１、主記憶部３２、外部記憶部３３、操作部３４、内部バス３０などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するロボットシステム１０を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでロボットシステム１０を構成してもよい。
【００７６】
また、ロボットシステム１０の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００７７】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【００７８】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００７９】
（付記１）
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムであって、
前記話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出手段と、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出する手段と、
前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段と、
前記コミュニケーション同調ずれ量に基づいて、前記ルール記憶手段から前記インタラクションルールを選択するルール選択手段と、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択手段で選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御手段と、
を備えることを特徴とする対話システム。
【００８０】
（付記２）
前記話者の性格および／または社会スキルを表すユーザパーソナリティ情報を取得する手段を備え、
前記ルール選択手段は、前記ユーザパーソナリティ情報に基づいて、会話の進行に合わせて選択する前記インタラクションルールの順序を決定することを特徴とする付記１に記載の対話システム。
【００８１】
（付記３）
会話の聞き出しモード、応答・共感モードおよびエピソード展開モードを含むコミュニケーションモードの、遷移する順序を規定する会話構造モデルを記憶する構造モデル記憶手段と、
前記会話構造モデルに従って遷移する前記コミュニケーションモードに基づいて、前記同調モデルを表す状態方程式のパラメータ、および／または、前記インタラクションルールを変化させる適応制御手段と、
を備えることを特徴とする付記１または２に記載の対話システム。
【００８２】
（付記４）
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムが行う対話制御方法であって、
前記話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出ステップと、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出するステップと、
前記コミュニケーション同調ずれ量に基づいて、前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段から、前記インタラクションルールを選択するルール選択ステップと、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択ステップで選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御ステップと、
を備えることを特徴とする対話制御方法。
【００８３】
（付記５）
前記話者の性格および／または社会スキルを表すユーザパーソナリティ情報を取得するステップを備え、
前記ルール選択ステップは、前記ユーザパーソナリティ情報に基づいて、会話の進行に合わせて選択する前記インタラクションルールの順序を決定することを特徴とする付記４に記載の対話制御方法。
【００８４】
（付記６）
会話の聞き出しモード、応答・共感モードおよびエピソード展開モードを含むコミュニケーションモードの、遷移する順序を規定する会話構造モデルを設定する構造モデル記憶ステップと、
前記会話構造モデルに従って遷移する前記コミュニケーションモードに基づいて、前記同調モデルを表す状態方程式のパラメータ、および／または、前記インタラクションルールを変化させる適応制御ステップと、
を備えることを特徴とする付記４または５に記載の対話制御方法。
【００８５】
（付記７）
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムを制御するコンピュータに、
話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出ステップと、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出するステップと、
前記コミュニケーション同調ずれ量に基づいて、前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段から、前記インタラクションルールを選択するルール選択ステップと、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択ステップで選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御ステップと、
を実行させることを特徴とするプログラム。
【符号の説明】
【００８６】
１０ ロボットシステム（対話システム）
１１ センシング部
１２ インタラクション状態量算出部
１３ コミュニケーション同調制御部
１４ ロボットインタラクション制御部
１５ 連続的引き込み制御部
１６ 状態方程式パラメータ記憶部
１７ 離散的引き込み制御部
１８ インタラクションルール記憶部
１９ インタラクションルール学習履歴部
２０ 状態方程式パラメータ学習履歴部
２１ ユーザパーソナリティ情報データベース
２２ 会話構造モデル記述部
２３ 会話戦略記述部
３０ 内部バス
３１ 制御部
３２ 主記憶部
３３ 外部記憶部
３４ 操作部
３５ 表示部
３６ 入出力部
３７ 送受信部
３９ 制御プログラム
【特許請求の範囲】
【請求項１】
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムであって、
前記話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出手段と、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出する手段と、
前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段と、
前記コミュニケーション同調ずれ量に基づいて、前記ルール記憶手段から前記インタラクションルールを選択するルール選択手段と、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択手段で選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御手段と、
を備えることを特徴とする対話システム。
【請求項２】
前記話者の性格および／または社会スキルを表すユーザパーソナリティ情報を取得する手段を備え、
前記ルール選択手段は、前記ユーザパーソナリティ情報に基づいて、会話の進行に合わせて選択する前記インタラクションルールの順序を決定することを特徴とする請求項１に記載の対話システム。
【請求項３】
会話の聞き出しモード、応答・共感モードおよびエピソード展開モードを含むコミュニケーションモードの、遷移する順序を規定する会話構造モデルを記憶する構造モデル記憶手段と、
前記会話構造モデルに従って遷移する前記コミュニケーションモードに基づいて、前記同調モデルを表す状態方程式のパラメータ、および／または、前記インタラクションルールを変化させる適応制御手段と、
を備えることを特徴とする請求項１または２に記載の対話システム。
【請求項４】
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムが行う対話制御方法であって、
前記話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出ステップと、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出するステップと、
前記コミュニケーション同調ずれ量に基づいて、前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段から、前記インタラクションルールを選択するルール選択ステップと、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択ステップで選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御ステップと、
を備えることを特徴とする対話制御方法。
【請求項５】
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムを制御するコンピュータに、
話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出ステップと、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出するステップと、
前記コミュニケーション同調ずれ量に基づいて、前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段から、前記インタラクションルールを選択するルール選択ステップと、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択ステップで選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御ステップと、
を実行させることを特徴とするプログラム。
【請求項１】
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムであって、
前記話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出手段と、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出する手段と、
前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段と、
前記コミュニケーション同調ずれ量に基づいて、前記ルール記憶手段から前記インタラクションルールを選択するルール選択手段と、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択手段で選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御手段と、
を備えることを特徴とする対話システム。
【請求項２】
前記話者の性格および／または社会スキルを表すユーザパーソナリティ情報を取得する手段を備え、
前記ルール選択手段は、前記ユーザパーソナリティ情報に基づいて、会話の進行に合わせて選択する前記インタラクションルールの順序を決定することを特徴とする請求項１に記載の対話システム。
【請求項３】
会話の聞き出しモード、応答・共感モードおよびエピソード展開モードを含むコミュニケーションモードの、遷移する順序を規定する会話構造モデルを記憶する構造モデル記憶手段と、
前記会話構造モデルに従って遷移する前記コミュニケーションモードに基づいて、前記同調モデルを表す状態方程式のパラメータ、および／または、前記インタラクションルールを変化させる適応制御手段と、
を備えることを特徴とする請求項１または２に記載の対話システム。
【請求項４】
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムが行う対話制御方法であって、
前記話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出ステップと、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出するステップと、
前記コミュニケーション同調ずれ量に基づいて、前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段から、前記インタラクションルールを選択するルール選択ステップと、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択ステップで選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御ステップと、
を備えることを特徴とする対話制御方法。
【請求項５】
話者の発話内容を認識する音声認識手段、およびその認識結果に応じて音声による聴覚的応答、および／または、身体的挙動の表現による視覚応答を出力する応答制御手段を備える対話システムを制御するコンピュータに、
話者の発話における、話者交替潜時、発話区間のピッチ、パワーまたはモーラを含む韻律特徴の状態量の検出、および／または、前記話者の身体的挙動を示す状態量の検出、を行う状態量検出ステップと、
前記韻律特徴の状態量または前記身体的挙動を示す状態量を含むインタラクション状態量から、前記話者と前記応答制御手段とのインタラクション状態量のずれ量であるコミュニケーション同調ずれ量を算出するステップと、
前記コミュニケーション同調ずれ量に基づいて、前記応答制御手段のインタラクション状態量を変化させる規則であるインタラクションルールを記憶するルール記憶手段から、前記インタラクションルールを選択するルール選択ステップと、
同調モデルを表す状態方程式による連続的な引き込み制御により、前記コミュニケーション同調ずれ量を最小化すると同時に、前記ルール選択ステップで選択したインタラクションルールによる離散的な引き込み制御により、前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていくこと、または、前記対話システムのインタラクション状態量を前記話者のインタラクション状態量に近づけつつ前記話者のインタラクション状態量を前記対話システムのインタラクション状態量に近づけていく同調制御ステップと、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１８１６９７（Ｐ２０１２−１８１６９７Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１１−４４４０６（Ｐ２０１１−４４４０６）
【出願日】平成２３年３月１日（２０１１．３．１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（５０３４２０８３３）学校法人常翔学園 (62)
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２３年３月１日（２０１１．３．１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（５０３４２０８３３）学校法人常翔学園 (62)
【Ｆターム（参考）】
[ Back to top ]