対話処理装置
【課題】ユーザ感情状態の変化を促すような応答文を作成することができる対話処理装置を提供する。
【解決手段】ユーザの感情の認識と、知識データベースを用いたユーザに対する感情表現とを実行する対話処理装置であって、ユーザ感情の認識結果から、感情の種別及び感情の強さを成分とした座標系における現在点を得るとともに、この座標系において現在点よりも目標とする感情の収束状態に近い経由点を決定する処理を含み、知識データベースは、複数の語彙及び定型文のそれぞれを、感情の種別及び感情の強さに応じたパラメータに関連付けて示すものであり、前記ユーザに対する感情表現は、経由点での感情の種別及び感情の強さに応じたパラメータで知識データベースを検索することで、対話に用いるべき語彙及び定型文の少なくとも一方を得て、その取得結果を用いた応答文を作成することでなされる。
【解決手段】ユーザの感情の認識と、知識データベースを用いたユーザに対する感情表現とを実行する対話処理装置であって、ユーザ感情の認識結果から、感情の種別及び感情の強さを成分とした座標系における現在点を得るとともに、この座標系において現在点よりも目標とする感情の収束状態に近い経由点を決定する処理を含み、知識データベースは、複数の語彙及び定型文のそれぞれを、感情の種別及び感情の強さに応じたパラメータに関連付けて示すものであり、前記ユーザに対する感情表現は、経由点での感情の種別及び感情の強さに応じたパラメータで知識データベースを検索することで、対話に用いるべき語彙及び定型文の少なくとも一方を得て、その取得結果を用いた応答文を作成することでなされる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの言葉に対して応答文を作成する対話処理装置に関するものである。
【背景技術】
【０００２】
従来の対話処理は、ＡＴＭのように装置側から一方的な発話がなされたり、また自動電話サービスのように、ありきたりな定型文を挿入してユーザからの問いかけに答えるというものが一般的であった。かかる応対は、機械的・事務的な印象をユーザに与え、装置との対話を楽しむような余地がなかった。
しかし、近年では、ゲームや愛玩用のペット型玩具、介護や癒しを目的としたコミュニケーションロボット等の用途で対話処理装置の利用が期待されている。このような用途では、人間と対面しているかのような印象をユーザに与える対話処理が求められる。
【０００３】
例えば、コミュニケーションロボットとしては、特許文献１がある。また、特許文献２には、ユーザの性格に応じたコミュニケーション行動を行うコミュニケーションロボットが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開２００５/０１４２４２号公報
【特許文献２】特開２００８−２７８９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２に記載のものは、ユーザの感情を汲み、その感情状態の変化を促すような応答を返すものではない。
本発明は、ユーザ感情状態の変化を促すような応答文を作成することができる対話処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る対話処理装置は、ユーザの感情の認識と、知識データベースを用いたユーザに対する感情表現とを実行する対話処理装置であって、ユーザ感情の認識結果から、感情の種別及び感情の強さを成分とした座標系における現在点を得るとともに、この座標系において現在点よりも目標とする感情の収束状態に近い経由点を決定する処理を含み、知識データベースは、複数の語彙及び定型文のそれぞれを、感情の種別及び感情の強さに応じたパラメータに関連付けて示すものであり、前記ユーザに対する感情表現は、経由点での感情の種別及び感情の強さに応じたパラメータで知識データベースを検索することで、対話に用いるべき語彙及び定型文の少なくとも一方を得て、その取得結果を用いた応答文を作成することでなされることを特徴とする。
【発明の効果】
【０００７】
本発明に係る対話処理装置は、現在のユーザ感情よりも目標とする感情の収束状態に近い経由点での感情種別、及び感情の強さと対応するような語彙を用いて、応答文を作成する。これにより、目標とする感情の収束状態に緩やかに近づけるようなユーザ感情の変化を促すことができる。このような緩やかな感情変化を促す応答は、人間と対面しているかのような印象をユーザに与えることができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る対話処理装置の利用形態を示す図
【図２】対話処理装置１の内部構成を示すブロック図
【図３】感情語彙クラスタファイルの一例を示す図である。
【図４】感情語彙クラスタに収録された語彙及び定型文を母集団としたマハラノビステーブルを示す図
【図５】感情表現制御部１３の詳細な構成を示すブロック図
【図６】一時学習データのデータ構造を示す図
【図７】（ａ）は、θ成分を１０等分し１０種類の感情を割り当てた極座標系と、ＳＴ ｅｍｏｔｉｏｎが出力する感情情報（喜び、平常、哀しみ、怒り）の各感情要素を示す単位ベクトルとの関係を示す図、（ｂ）は、ＳＴ ｅｍｏｔｉｏｎが出力する感情情報を合成した合成ベクトルｖ３により、極座標系における感情の現在点を決定する手順を示す図、（ｃ）は、現在点と経由点との関係を示す図
【図８】学習データｆθを用いた経由点θ成分の決定を示す図
【図９】学習データｆＲを用いた経由点θ成分の決定を示す図
【図１０】（ａ）は経由点と応答後の現在点とに差が生じても一時学習を継続する条件を示す図、（ｂ）は経由点と応答後の現在点とに差が生じ一時学習を終了する条件を示す図
【図１１】本実施形態に係る対話処理装置１の動作手順を示すフローチャート
【図１２】マハラノビス取得処理の詳細を示すフローチャート
【図１３】経由点算出・一時学習処理の詳細の詳細を示すフローチャート
【図１４】感情語彙絞り込み処理の詳細の詳細を示すフローチャート
【図１５】感情シーケンス終了処理の詳細の詳細を示すフローチャート
【図１６】変形例に係る対話処理装置の内部構成を示す図
【図１７】変形例に係る対話処理装置において現在点を決定する方法を示す図
【発明を実施するための形態】
【０００９】
以下、本発明に係る対話処理装置の実施の形態について、図を用いて説明する。
図１は、本実施形態に係る対話処理装置の利用形態を示す図である。本発明に係る対話処理装置１は、マイク、スピーカ、マイコンシステムを内蔵したヌイグルミ様の玩具であり、ユーザの発話に対して応答文を音声にて出力する動作を繰り返すことで、ユーザとの対話処理を実現する。このような対話処理において、ユーザの言葉に強い怒りや、強い哀しみ等の好ましくない感情が認識される場合、対話処理装置１は、ユーザ感情をなだめたり、あるいは好ましい感情に変化するよう促す語彙、若しくは定型文を応答文に用いる。対話処理においてユーザ感情が目標とする感情状態に収束するように語彙、若しくは定型文を用いることを、対話処理装置１の感情表現処理と称する。感情表現処理では、ユーザの発話に基づくユーザ感情の認識と、それに対する応答文の出力とで１回の「試行」とし、対話処理装置１は、試行を繰り返すことでユーザの感情が目標とする感情状態に収束した場合に、感情表現処理を終了する。
【００１０】
次に、対話処理装置１の内部構成について説明する。図２は、対話処理装置１の内部構成を示すブロック図である。対話処理装置１は、マイコンシステム１０、マイク２０、及び、スピーカ３０を有する。
マイク２０は、入力された音声から音声信号を生成し、これをＰＣＭ ＷＡＶＥ形式の音声データに変換した後に出力する。
【００１１】
スピーカ３０は、ＰＣＭ ＷＡＶＥ形式の音声データを、音声に変換して出力する。
マイコンシステム１０はＣＰＵ、ＲＡＭ、ＲＯＭからなり、ＲＯＭに記録されたプログラムをＣＰＵが実行することにより、本図の破線内に示す音声認識部１１、感情認識部１２、感情表現制御部１３、知識データベース１４、応答文作成部１５、及び、音声合成部１６の機能を実現する。
【００１２】
音声認識部１１は、音声認識ソフトの実行により実現される機能ブロックであり、マイク２０から入力された音声データを解析し、ユーザが発した言葉をテキストデータとして出力する。
感情認識部１２は、マイク２０から入力された音声データの抑揚等を解析し、発話したユーザの感情の認識結果として、感情情報を出力する。感情認識部の実現には、例えば、株式会社ＡＧＩ製の感情認識ソフトである「ＳＴ Ｅｍｏｔｉｏｎ」等の利用が考えられる。ＳＴ Ｅｍｏｔｉｏｎは、「怒り」「喜び」「哀しみ」「平常」「笑い」「興奮」の６つの感情要素について、それぞれ強度を検出する。「怒り」「喜び」「哀しみ」「平常」「興奮」については０〜１０の１１段階で検出され、「笑い」についてはある/ないの2段階で検出される。以下、本実施の形態では、ＳＴ Ｅｍｏｔｉｏｎを利用するものとし、感情認識部１２が出力する感情情報としては、「ＳＴ Ｅｍｏｔｉｏｎ」の検出値のうち「怒り」、「喜び」、「哀しみ」、「平常」の４つの感情要素の検出値を用いる。
【００１３】
感情表現制御部１３は、応答文で用いるべき感情表現を含む語彙や定型文を知識データベースから取得し、応答文作成部１５へ提示する機能を有する。具体的には、感情認識部１２が出力した感情情報において強い怒りや、強い哀しみが示されている場合に、これらをなだめたり、慰撫する語彙や定型文を知識データベース１４から取得し、取得結果を応答文作成部１５へ出力する。ここで知識データベース１４から複数の語彙や定型文が取得される場合、感情表現制御部１３は尤度に従って、取得結果の語彙や定型文に順位付けをした上で応答文作成部１５へ出力する。
【００１４】
知識データベース１４は、対話処理における応答のために用いる語彙管理データベースである。知識データベース１４は、様々な会話のカテゴリー(以下、クラスタ)について語彙及び定型文を収集し、クラスタ毎にXMLファイルを作成し管理する。各クラスタファイルでは、語彙及び定型文が意味属性で分類されている。また、知識データベース１４では更に、語彙及び定型文に共起頻度等の関連情報が付加されている。図３は、感情語彙クラスタファイルの一例を示す図である。感情語彙クラスタファイルには、感情表現を伴う語彙及び定型文（以下、「感情語彙」と総称する。）が収録されており、これらの感情語彙を応答文で使用することが望ましいと考えられる会話相手の感情種別及び感情の強さを意味属性として、各感情語彙が分類されている。
【００１５】
知識データベース１４は更に、このようなデータ構造で収録している語彙及び定型文から、応答文に用いるべき語彙や定型文を検索する機能を有する。知識データベース１４の検索機能としては、具体的には、入力テキストで使用された語彙に対してマハラノビス距離や共起頻度から蓋然性の高い語彙及び定型文を返す中立語彙検索機能と、ユーザ感情に対する応答として適した感情語彙を返す感情語彙検索機能とがある。
【００１６】
感情語彙検索機能では、感情語彙クラスタファイルに収録された感情語彙を母集団としたマハラノビス距離を用いて語彙選択がなされる。感情語彙検索機能として知識データベース１４は、検索用マハラノビス距離が入力されると、感情語彙クラスタファイルに収録された感情語彙のうちマハラノビス距離が入力に近いものから所定数（例えば４つ）だけ応答として返す。
【００１７】
ここで用いるマハラノビス距離は、感情の種別及び感情の強さをＸ−Ｙ成分とした直交座標系における母集団の共分散行列Ａ、検索対象の感情種別及び強さを表すベクトルＸを用いて、以下の式１により算出される。
マハラノビス距離＝Ｘ＊Ａの逆行列＊Ｘ ・・・式１
このようなマハラノビス距離は、感情語彙クラスタファイルに収録された感情語彙に変化がなければ、検索したい感情の種別及び強さに応じて一意に定まるものである。そこで、感情の種別及び強さに、感情語彙クラスタファイルから算出したマハラノビス距離を関連付けたマハラノビステーブルを作成しておき、感情語彙検索機能を用いた問合せ元となる感情表現制御部１３へ予め提供しておく。図４は、感情語彙クラスタに収録された語彙及び定型文を母集団としたマハラノビステーブルを示す図である。マハラノビステーブルを用いることにより、感情表現制御部１３では、応答文に使用したい語彙の感情の種別及び感情の強さから容易にマハラノビス距離を得て、感情語彙を検索することができる。
【００１８】
応答文作成部１５は、音声認識部１１が出力したテキストデータを入力として、ユーザが発した言葉をに対する応答文を作成する。応答文作成部１５による応答文作成では、先ず、知識データベース１４が提供する中立語彙検索機能を利用して、入力テキストに対する感情表現を伴わない価値中立な文章が作成される。その後、感情表現制御部１３から感情表現を含む語彙や定型文が提供された場合、応答文作成部１５は、感情表現制御部１３が付した尤度順位や共起頻度に従って提供された語彙、定型文の中から適切なものを選択し、選択したものを価値中立な文章に挿入して応答文の作成を完了する。感情表現制御部１３から感情表現を含む語彙や定型文が提供されなかった場合には、価値中立な文章をそのまま応答文とする。こうして作成された応答文は応答文テキストデータとして音声合成部１６へ出力される。
【００１９】
音声合成部１６は、応答文作成部１５が出力した応答文テキストデータに基づいて、ＰＣＭ ＷＡＶＥ形式の音声データを生成する。
以上が、対話処理装置１の内部構成の概略である。
＜感情表現制御部１３の詳細＞
本実施形態に係る対話処理装置１の特徴的な機能として、感情表現処理がある。感情表現処理は、応答文に感情語彙を挿入することで実現される。そこで以下では、応答文に挿入する感情語彙を決定する感情表現制御部１３の詳細を説明する。
【００２０】
図５は、感情表現制御部１３の詳細な構成を示すブロック図である。感情表現制御部１３は、座標変換部１０１、経由点算出部１０２、学習データ管理部１０３、語彙選択部１０４、マハラノビステーブル保持部１０５の各機能ブロックを含む。
座標変換部１０１は、４種類の感情要素についてその強度を示す感情情報を、１つの合成ベクトルに変換することで、感情の種別をθ成分、感情の強さをＲ成分とした極座標系においてユーザ感情を示す現在点を決定する機能ブロックである。
【００２１】
経由点算出部１０２は、経由点を決定する機能ブロックである。経由点とは、１回の試行によって変化させることを目指すユーザの感情状態であり、極座標系における１点で表現される。経由点には極座標系において現在点よりも目標とする感情の収束状態に近い点を設定する。
学習データ管理部１０３は、学習データを蓄積及び更新することで、経由点決定の強化学習を実現する機能ブロックである。学習データは、過去のエピソードでの経由点のθ成分を、初回試行から順にならべた数列ｆθ｛θ１、θ２、・・・、θｎ｝、及び、過去のエピソードでの経由点のＲ成分を、初回試行から順にならべた数列ｆＲ｛Ｒ１、Ｒ２、・・・、Ｒｎ｝のデータ形式で保存される。ここで「エピソード」とは、初回試行からユーザ感情が目標範囲に収束するまで繰り返された一連の試行である。
【００２２】
学習データを更新するために、学習データ管理部１０３は、図６に示すように各エピソードで全試行の経由点データを、ＲＡＭ上の作業領域に一時学習データとして蓄積しておき、ユーザ感情が目標範囲に収束した時に一時学習データでの試行回数と既存の学習データでの試行回数を比較する。一時学習データの方が試行回数が少なければ、学習データ管理部１０３は一時学習データを新たな学習データとして更新する。
【００２３】
尚、学習データ管理部１０３には、「恥」、「怖」、「哀」、「厭」、「怒」、「昂」、「驚」、「喜」、「好」、「安」の感情が割り当てられた各領域を開始位置とする１０のθ成分学習データｆθ、及び１０のＲ成分学習データｆＲが蓄積されている。このように領域毎に学習データを管理し更新するために、学習データ管理部１０３は、初回試行での現在点を会話開始位置としてエピソード終了まで保持しておき、エピソード終了時の一時学習データとの比較、更新には、会話開始位置が属する領域での学習データを対象とする。
【００２４】
語彙選択部１０４は、応答文で使用すべき感情語彙をリストにして応答文作成部１５へ提供する機能ブロックである。先ず語彙選択部１０４は、マハラノビステーブル保持部１０５に保持されている図４のマハラノビステーブルを参照して、経由点の感情の種別θ、及び感情の強さＲに応じたマハラノビス距離を得る。この経由点のマハラノビス距離を用いて、知識データベース１４から感情語彙を検索することで、マハラノビス距離が近い複数の感情語彙を得ることができる。ただし、こうして得られる感情語彙にはマハラノビス距離が近くとも、経由点と感情の種類が異なるものが含まれる。そこで語彙選択部１０４では、検索により得られた感情語彙のうち経由点と感情種類が一致するものだけを、経由点のマハラノビス距離と近い順に順位付けしてリストに登録し、応答文作成部１５へ提供する。
【００２５】
マハラノビステーブル保持部１０５は、マハラノビステーブルを保持する機能ブロックであり、ＦｅＲＡＭ等の書き換え可能な不揮発性メモリに確保された記録領域により実現される。
以上が感情表現制御部１３の詳細な構成である。続いて、座標変換部１０１における現在点の決定方法、及び、経由点算出部１０２における経由点の決定方法の詳細について説明する。
【００２６】
＜座標変換部１０１における現在点の決定方法＞
現在点は、４種類の感情要素についてその強度を示す感情情報を１つの合成ベクトルに変換することで、感情の種別をθ成分、感情の強さをＲ成分とした極座標系の１点に決定される。
【００２７】
ユーザ感情の現在点を示すために用いる極座標系では、図７の（ａ）のように、θ成分３６度毎に分割した１０の領域に「感情表現辞典」(1993 東京堂出版 中村明)において分類される１０種類の感情が、「恥」、「怖」、「哀」、「厭」、「怒」、「昂」、「驚」、「喜」、「好」、「安」の順番で反時計回りに割り当てられている。以下、反時計回りをθの正方向、時計回りをθの負方向とする。
【００２８】
このような極座標系上で感情情報を１つの合成ベクトルに変換するために、感情情報の各感情要素に対応する４つの単位ベクトルを定義する。具体的には、原点から「安」の領域の中央方向に感情情報のうち「平常」の感情要素に対応する単位ベクトルを定義し、原点から「怒」の領域の中央方向に感情情報のうち「怒り」の感情要素に対応する単位ベクトルを定義し、原点から「喜」の領域の中央方向に感情情報のうち「喜び」の感情要素に対応する単位ベクトルを定義し、原点から「哀」の領域の中央方向に感情情報のうち「哀しみ」の感情要素に対応する単位ベクトルを定義する。こうして定義した単位ベクトルを基に、感情情報により示される４つの感情要素は図７の（ｂ）のように、その強度に応じた４つのベクトルで表現できる。
【００２９】
これら４つのベクトルのうち「喜び」のベクトルＶｐと「平常」のベクトルＶｎとを合成したものをベクトルＶ１とし、また、「怒り」のベクトルＶａと「哀しみ」のベクトルＶｓとを合成したものをベクトルＶ２とし、ベクトルＶ１とベクトルＶ２とを合成することで、現在点を示す合成ベクトルＶ３が得られる。
現在点の具体的な計算方法としては、「喜び」方向の偏角θ１、「平常」方向の偏角θ２、「哀しみ」方向の偏角θ３、「怒り」方向の偏角θ４とすると、各単位ベクトルのｘ成分、ｙ成分は、
喜び（ｘ）＝ｃｏｓθ１ 喜び（ｙ）＝ｓｉｎθ１
平常（ｘ）＝ｃｏｓθ２ 平常（ｙ）＝ｓｉｎθ２
哀しみ（ｘ）＝ｃｏｓθ３ 哀しみ（ｙ）＝ｓｉｎθ３
怒り（ｘ）＝ｃｏｓθ４ 喜び（ｙ）＝ｓｉｎθ４
となるので、各成分について、感情情報で示される各感情要素の強度（０〜１０）の値を乗算して合計することで、合成ベクトルのｘ成分である「Ｘ」、及び合成ベクトルのｙ成分である「Ｙ」が求められる。この現在点のｘ、ｙ成分から以下の式２により、合成ベクトルの偏角θｔ、即ち現在点のθ成分が求められる。
【００３０】
θｔ＝tan-1（Ｙ／Ｘ） ・・・式２
また、合成ベクトルの大きさ、（Ｘ２＋Ｙ２）の平方根が、現在点のＲ成分となる。以上が座標変換部１０１における現在点の決定方法の詳細である。
＜経由点算出部１０２における経由点の決定方法＞
次に経由点決定方法の詳細について説明する。本実施形態に係る対話処理装置１は、θ成分が安、好、喜の何れかの感情が割り当てられた領域であるか、感情の強さを示すＲ成分が１以下である状態にユーザ感情を収束させることを目的としており、図７の（ｃ）に示すように、経由点は極座標系において現在点よりも目標とする感情の収束状態に近い点、即ち、現在点よりも安、好、喜の領域に近いか、現在点よりもＲ成分が小さい点に設定される。以下、θ成分が安、好、喜の何れかの感情が割り当てられた領域、及び感情の強さを示すＲ成分が１以下である領域を合わせた図７の（ｃ）で斜線で示した領域を、「目標範囲」という。
【００３１】
経由点の決定には２つの方法がある。１つ目は初期状態での経由点決定方法であり、２つ目は学習データを利用した経由点決定方法である。ユーザの発話音声の取得と応答文の出力とを繰り返す対話処理によって、以前にユーザ感情が目標範囲に収束したことがある場合、学習データ管理部１０３には、対話処理の開始からユーザ感情が収束するまでの一連の経過が学習データとして記録されている。初期状態とは、このような学習データが蓄積されていない状態である。
【００３２】
＜初期状態での経由点決定方法＞
初期状態での経由点決定では、θ成分とＲ成分とを独立に決定する。１度の経過点決定で現在点からθ成分を変化させる幅は、０〜３６度であり、正規分布等の確率密度関数を用いて、試行の度に変化量を決定する。またθ成分を変化させる方向は、現在点が「哀」、「怖」、「恥」の何れかが割り当てられた領域及び「厭」が割り当てられた領域の中央より「安」側にあれば、「安」が割り当てられた領域に近づく方向、即ち、負方向である。逆に、現在点が「驚」、「昂」、「怒」の何れかが割り当てられた領域及び「厭」が割り当てられた領域の中央より「喜」側にあれば、「喜」が割り当てられた領域に近づく方向、即ち、正方向に変化させる。
【００３３】
１度の経過点決定で現在点からＲ成分を減少させる幅は、０〜１であり、正規分布等の確率密度関数を用いて、試行の度に変化量を決定する。
＜学習データを利用した経由点決定方法＞
学習データを利用した経由点決定においても、θ成分とＲ成分とを独立に決定する。この点は、初期状態での経由点決定と同様であり、学習データは、θ成分若しくはＲ成分の決定について用いられる。
【００３４】
学習データは、過去のエピソードでの経由点のθ成分、若しくはＲ成分を、初回試行から順にならべた数列ｆθ｛θ１、θ２、・・・、θｎ｝、ｆＲ｛Ｒ１、Ｒ２、・・・、Ｒｎ｝である。学習データ管理部１０３には、「恥」、「怖」、「哀」、「厭」、「怒」、「昂」、「驚」、「喜」、「好」、「安」の感情が割り当てられた各領域を開始位置とする１０のθ成分学習データｆθ、及び１０のＲ成分学習データｆＲが蓄積されている。
【００３５】
図８は、学習データｆθを用いた経由点θ成分の決定を示す図である。本図において矢印は、現在点のθ成分を示しており、白丸は数列ｆθのｔ番目の値である。経由点算出部１０２では、目標範囲外である現在点が最初に入力された試行を１回目の試行として、この現在点が属する領域を開始位置とする数列ｆθを選択し、数列ｆθの１番目の値を経由点のθ成分とする。続く２回目、３回目、４回目の試行においても同じ数列ｆθを用いて、２番目、３番目、４番目、の値を経由点のθ成分とする。学習データｆＲを用いて経由点Ｒ成分を決定する場合も同様に初回試行での現在点が属する領域を開始位置とする数列ｆＲを選択し、その後は図９に示すように、１回目試行の現在点θ成分が属する領域を開始位置とする数列ｆＲを選択し、数列ｆＲの１番目、２番目、３番目、４番目の値を、それぞれ１回目、２回目、３回目、４回目の試行での経由点Ｒ成分に用いる。
【００３６】
ここで、ｔ回目試行での経由点とｔ+１回目試行で認識される現在点とでθ成分の差が所定の閾値（例えば、３６度）を超える場合や、Ｒ成分の差が所定の閾値（例えば、２．５）を超える場合、ｔ回目試行を「無効試行」と呼ぶ。図１０の（ａ）の例では４回目の試行が無効試行となっている。無効試行の次の試行、図１０の（ａ）の例では５回目の試行が無効試行でない場合には、従前の学習データを用いて経由点決定を継続する。しかし、図１０の（ｂ）のように無効試行が２回連続した場合、２回目の無効試行の次の試行では、その試行での現在点が属する領域を開始位置とする学習データを新たに選びなおし、新たな初回試行として経由点決定を行う。このような無効試行の判定、学習データの選び直しは、θ成分とＲ成分とで独立して実行される。
【００３７】
以上が座標変換部１０１における経由点の決定方法の詳細である。
ここまで説明した感情表現制御部１３の機能により、ユーザ感情を目標範囲に近づけるような感情語彙を選択することができ、このような感情語彙を応答文に挿入することで、本実施形態に係る対話処理装置１による感情表現処理が実現される。
＜対話処理装置１の動作＞
続いて、本実施形態に係る対話処理装置１の動作を説明する。
【００３８】
図１１は、本実施形態に係る対話処理装置１の動作手順を示すフローチャートである。
対話処理装置１の動作では、ステップＳ１で対話処理装置１の初期化処理が実行され、ユーザの発話が待ち受けられる。初期化処理とは、学習データ管理部１０３が一時学習データと会話開始位置とを管理するための記録領域を、ＲＡＭ上の作業領域に確保する処理である。一時学習データ記録領域と会話開始位置の記録領域とは、θ成分用及びＲ成分用がそれぞれ別に確保される。
【００３９】
初期化後、ユーザが発話するとマイク２０を介して音声入力データが取得される（ステップＳ２）と、この音声入力データが感情認識部１２により解析され４つの感情要素について強度を示す感情情報が取得される（ステップＳ３）。この感情情報に基づいて感情表現制御部１３では、マハラノビス取得処理（ステップＳ４）が実行される。
ここで、感情情報を変換して得られるユーザ感情の現在点が目標範囲内にある場合、詳細を後述するマハラノビス取得処理においてマハラノビス距離は取得されない（ステップＳ５：Ｎｏ）。このような場合、応答文作成部１５には感情語彙が提供されることがなく、応答文作成部１５は、感情語彙を挿入させることなくステップＳ８にて応答文を作成する。例えばユーザの発言が「Ｔチームが負けた。」という言葉であり、感情の現在点が目標範囲を外れるような強い感情が認識されなかった場合、応答文作成部１５は、「Ｔチームは、負けましたね。」という感情語彙を含まない応答文を作成する。
【００４０】
一方、感情情報を変換して得られるユーザ感情の現在点が目標範囲外にある場合には、マハラノビス取得処理において何らかのマハラノビス距離が取得される（ステップＳ５：Ｙｅｓ）。このような場合、感情表現制御部１３内の語彙選択部１０４によって、取得されたマハラノビス距離を用いて知識データベース１４が検索され、マハラノビス距離が近い複数の感情語彙が取得される（ステップＳ６）。複数の感情語彙を取得した語彙選択部１０４は、詳細を後述する感情語彙絞り込み処理により不適切な感情語彙を除外し、適切な感情語彙のみをマハラノビス距離が近い順に並べた出力リストを作成し、応答文作成部１５へ出力する（ステップＳ７）。感情語彙のリストが提供された応答文作成部１５は、ステップＳ８にて感情語彙を挿入した応答文を作成する。
【００４１】
例として、ユーザの「Ｔチームが負けた。」という言葉の抑揚等から目標範囲を外れるような強い感情が認識され、この認識結果から決定された経由点のマハラノビス距離が２．２であった場合を想定する。図４を参照すると、マハラノビス距離が２．２に近いのは、マハラノビス距離が２．３である感情種別「哀」強度「４」の感情語彙、マハラノビス距離が２．０である感情種別「哀」強度「５」の感情語彙、マハラノビス距離が２．４である感情種別「怒」強度「４」の感情語彙、及びマハラノビス距離が２．２である感情種別「怒」強度「５」の感情語彙である。本例では、これらの属性の感情語彙が図３に示す感情語彙クラスタファイルから抽出され、語彙選択部１０４に取得される。ここでユーザ感情の現在点が「哀」領域に含まれるのもであったなら、抽出された語彙のうち感情種別「怒」の感情語彙は除外され、マハラノビス距離が２．３の感情種別「哀」強度「４」の語彙「残念だけど」「気にすることはないですよ」と、マハラノビス距離が２．０の感情種別「哀」強度「５」の語彙「悲しいけど」「まだなんとかなりますよ」とがこの順番で出力リストに登録され、応答文作成部１５へ出力される。応答文作成部１５では、出力リストに登録された感情語彙からマハラノビス距離や共起頻度を用いて使用する語彙を選択する。ここで感情語彙「残念だけど」が選択された場合は、「Ｔチームは、残念だけど負けましたね。」という感情語彙「残念だけど」を挿入した応答文が作成される。こうして作成された応答文は、スピーカ３０を介して音声としてユーザに提供される。
【００４２】
以上の動作手順においてステップＳ２〜ステップＳ８が１回の試行となり、ユーザの発話の度に繰り返される。
＜マハラノビス取得処理＞
続いて、マハラノビス取得処理の詳細について説明する。図１２は、マハラノビス取得処理の詳細を示すフローチャートである。
【００４３】
マハラノビス取得処理では、先ず座標変換部１０１が感情情報を合成ベクトルに変換し、図４の（ｂ）で示したようにユーザ感情の現在点を決定する（ステップＳ１１）。次に、詳細を後述する経由点算出・一時学習処理を経由点算出部１０２が実行し、現在点に基づいて経由点を決定する（ステップＳ１２）。
ここで現在点が目標範囲外である場合（ステップＳ１３:Ｎｏ）、語彙選択部１０４は、図４のマハラノビステーブルを参照し（ステップＳ１４）、ステップＳ１１で決定された経由点のθ成分、Ｒ成分を基にマハラノビス値を取得する（ステップＳ１５）。
【００４４】
現在点が目標範囲に含まれている場合（ステップＳ１３:Ｙｅｓ）、語彙選択部１０４がマハラノビス値を取得しなかったことを応答文作成部１５へ通知し（ステップＳ１６）、その後、学習データ管理部１０３により、感情シーケンス終了処理が実行される。
以上がマハラノビス取得処理の詳細である。
＜経由点算出・一時学習処理＞
続いて、経由点算出・一時学習処理の詳細について説明する。図１３は、経由点算出・一時学習処理の詳細の詳細を示すフローチャートである。
【００４５】
経由点算出・一時学習処理では、先ずステップＳ２１、ステップＳ２２において、学習データ管理部１０３により一時学習データの蓄積回数が確認される。一時学習データの蓄積回数が所定の閾値Ｔｈ１（例えば１０回）を超えていれば（ステップＳ２１:Ｙｅｓ）、一時学習データがリセットされる（ステップＳ３５）。一時学習データのリセットとは、一時学習データ記録領域と会話開始位置の記録領域に記録されているデータを全て消去する処理である。
【００４６】
一時学習データとして経由点が１つも記録されていない場合（ステップＳ２２:Ｙｅｓ）、即ち、一時学習データリセット直後や初回試行時である場合、学習データ管理部１０３が現在点を会話開始位置の記録領域に記録し（ステップＳ２３）、処理がステップＳ３０へ移行する。
一時学習データとして経由点が記録されている場合（ステップＳ２２:Ｎｏ）、即ち２回目以降の試行である場合は、ステップＳ２４〜ステップＳ２９の処理手順で、経由点算出部１０２によって前回試行が無効試行であったかが判定される。前回試行の経由点と現在点とのＲ成分の差が２．５より大きい場合（ステップＳ２４:Ｙｅｓ）や、前回試行の経由点と現在点とのθ成分の差が３６度より大きい場合（ステップＳ２７:Ｙｅｓ）には、前回試行が無効試行であったとして、それぞれの成分について範囲外回数を記録する変数がインクリメントされる（ステップＳ２６、ステップＳ２９）。前回試行が無効試行ではなかった場合（ステップＳ２４：Ｎｏ、ステップＳ２７：Ｎｏ）には、それぞれの成分について範囲外回数を記録する変数が０に初期化される（ステップＳ２５、ステップＳ２８）。更に経由点算出部１０２は、ステップＳ３０において、範囲外回数を記録する変数が２以上であるかを判定する。範囲外回数が２回以上であれば、一時学習データがリセットされる（ステップＳ３６）。尚、範囲外回数を記録する変数は、一時学習データリセット処理において、０に初期化される。
【００４７】
その後、学習データ管理部１０３が現在点を一時学習データ記録領域に追加記録し、現在点が目標範囲外の位置する場合（ステップＳ３２：Ｎｏ）、経由点算出部１０２が、ステップＳ３３、及びステップＳ３４において今回試行の経由点としてＲ成分とθ成分を決定する。ステップＳ３３、及びステップＳ３４における経由点の決定では、「経由点算出部１０２における経由点の決定方法」として既に説明した初期状態での経由点決定方法、若しくは、学習データを利用した経由点決定方法が利用される。
【００４８】
以上が経由点算出・一時学習処理の詳細である。
＜感情語彙絞り込み処理＞
続いて、感情語彙絞り込み処理の詳細について説明する。図１４は、感情語彙絞り込み処理の詳細の詳細を示すフローチャートである。
感情語彙絞り込み処理は、語彙選択部１０４によって実行される処理であり、先ず、経由点のθ成分に基づいて経由点が属する領域に割り当てられた感情の種別を取得し（ステップＳ４１）、この感情の種別を、意味属性文字列に設定する（ステップＳ４２）。その後、ＲＡＭ上の出力用テーブル記録領域を初期化し（ステップＳ４３）する。
【００４９】
出力用テーブル記録領域を初期化した後は、ステップＳ４５〜ステップＳ４６の処理を知識データベース１４から検出された全ての感情語彙について繰り返す。ステップＳ４５の処理は、知識データベース１４から検出された感情語彙で未処理のもののうち、経由点とマハラノビス距離が最も近いものを選択し、（ステップＳ４５）、この感情語彙の意味属性である感情種別と、ステップＳ４２で設定した意味属性文字列を比較する（ステップＳ４６）。比較の結果が一致すれば（ステップＳ４６:Ｙｅｓ）、選択した感情語彙を、出力用テーブル記録領域に追加記録する（ステップＳ４７）。
【００５０】
以上が感情語彙絞り込み処理の詳細である。
＜感情シーケンス終了処理＞
続いて、感情シーケンス終了処理の詳細について説明する。図１５は、感情シーケンス終了処理の詳細の詳細を示すフローチャートである。
感情シーケンス終了処理は、試行を繰り返すことでユーザ感情を示す現在点が目標範囲に収束した場合に実行される処理である。
【００５１】
感情シーケンス終了処理において学習データ管理部１０３は、会話開始位置の記録領域に記録されているθ成分の値を取得し（ステップＳ５１）、この値が「恥」、「怖」、「哀」、「厭」、「怒」、「昂」、「驚」、「喜」、「好」、「安」の何れの種類の感情が割り当てられた領域に含まれるかを判定し（ステップＳ５２）、この領域を開始位置とする学習データが以前に蓄積されていない場合（ステップＳ５３：Ｎｏ）、一時学習データ記録領域に記録されている経由点を、新たな学習データとして蓄積する（ステップＳ５４）。
【００５２】
ステップＳ５２で判定した領域を開始位置とする学習データが以前に蓄積されている場合（ステップＳ５３:Ｙｅｓ）には、この学習データの経由点の数と、一時学習データ記録領域に記録されている経由点の数とを比較する（ステップＳ５５）。一時学習データ記録領域に記録されている経由点の数の方が少なければ（ステップＳ５５:Ｙｅｓ）、既存の学習データを破棄し、一時学習データ記録領域に記録されている経由点を、新たな学習データとして蓄積する。
【００５３】
最後にステップＳ５６において一時学習データをリセットする。以上が感情シーケンス終了処理の詳細である。
以上、本実施形態に係る対話処理装置によれば、現在のユーザ感情よりも目標とする感情の収束状態に近い経由点での感情種別、及び感情の強さと対応するような語彙を用いて、応答文を作成することができる。これにより、目標とする感情の収束状態に緩やかに近づけるようなユーザ感情の変化を促すことができる。このような緩やかな感情変化を促す応答は、人間と対面しているかのような印象をユーザに与えることができる。
【００５４】
（変形例）
以上、本発明に係る対話処理装置について、実施形態に基づいて説明したが、本発明はこれらの実施形態に限られない。例えば、以下のような変形例が考えられる。
（１）本発明は、各実施形態で説明したフローチャートの処理手順が開示する記録方法であるとしてもよい。また、これらの方法をコンピュータにより実現するプログラムであるとしてもよいし、前記プログラムからなるデジタル信号であるとしてもよい。
【００５５】
また、本発明は、前記プログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。
また、本発明は、前記プログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
【００５６】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（２）経由点は現在のユーザ感情よりも目標とする感情の収束状態に近い点であればよく、上記実施形態とは異なる手法により決定してもよい。
【００５７】
例えば、先ず現在点からθ成分だけ変化させ、Ｒ成分は現在点と同じ値に設定した経由点を決定し、このような経由点を用いて試行を繰り返した結果、無効試行が所定回数（例えば２回）連続した場合に、次の試行からは現在点からＲ成分だけ減少させ、θ成分は現在点と同じ値に設定した経由点を決定するという手法を用いてもよい。
（３）上記実施形態では、学習データを、数列ｆθ｛θ１、θ２、・・・、θｎ｝、数列ｆＲ｛Ｒ１、Ｒ２、・・・、Ｒｎ｝というデータ形式で保持するとしたが、学習データは他のデータ形式であってもよい。
【００５８】
例えば、横軸を試行回数ｔ、縦軸をθ又はＲとした直交座標に過去のエピソードでの経由点をプロットし、これらから最小二乗法により近似直線θ＝ａｔ＋ｂ、又はＲ＝ａｔ＋ｂを求めることができる。このｆ（ｔ）＝ａｔ＋ｂを学習データとして、ｔ回目のθ、Ｒを決定してもよい。
また他の例として、上述の近似直線の傾きａを学習データとしてもよい。この場合には、初回試行の現在点を切片とした関数ｆ（ｔ）＝ａｔ＋θ１、ｆ（ｔ）＝ａｔ＋Ｒ１を生成して経由点を決定することができる。ここでθ１は初回試行での現在点のθ成分、Ｒ１は、初回試行での現在点Ｒ成分である。
【００５９】
（４）知識データベースを、対話処理装置の外部に設けてもよい。例えば、インターネットに接続されたサーバ装置を知識データベースとして機能させ、図１６に示すように対話処理装置に通信インターフェースを設け、無線ＬＡＮ等のネットワークを介して知識データベースと通信する構成としてもよい。このような変形例では、インターネットを介して知識データベースの収集語彙を適時更新することが容易になる。
【００６０】
（５）上記実施形態では、ＳＴ ｅｍｏｔｉｏｎの出力を極座標上に合成して現在点を得るとした。しかしながら、ユーザ感情の現在点を表現する方法は、必ずしも極座標に限定されるものではない。
例えば、上記実施形態で説明した極座標に、ＳＴ ｅｍｏｔｉｏｎの出力値のうち「興奮」の値を対応させたｚ軸を追加することで、ユーザ感情の現在点を平面座標ではなく、空間座標で表現することもできる。
【００６１】
（６）各実施形態及び変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【００６２】
本発明は、ユーザとの対話を行う玩具、ロボット装置等に有用である。
【符号の説明】
【００６３】
１ 対話処理装置
１０ マイコンシステム
１１ 音声認識部
１２ 感情認識部
１３ 感情表現制御部
１４ 知識データベース
１５ 応答文作成部
１６ 音声合成部
２０ マイク
３０ スピーカ
１０１ 座標変換部
１０２ 経由点算出部
１０３ 学習データ管理部
１０４ 語彙選択部
１０５ マハラノビステーブル保持部
【技術分野】
【０００１】
本発明は、ユーザの言葉に対して応答文を作成する対話処理装置に関するものである。
【背景技術】
【０００２】
従来の対話処理は、ＡＴＭのように装置側から一方的な発話がなされたり、また自動電話サービスのように、ありきたりな定型文を挿入してユーザからの問いかけに答えるというものが一般的であった。かかる応対は、機械的・事務的な印象をユーザに与え、装置との対話を楽しむような余地がなかった。
しかし、近年では、ゲームや愛玩用のペット型玩具、介護や癒しを目的としたコミュニケーションロボット等の用途で対話処理装置の利用が期待されている。このような用途では、人間と対面しているかのような印象をユーザに与える対話処理が求められる。
【０００３】
例えば、コミュニケーションロボットとしては、特許文献１がある。また、特許文献２には、ユーザの性格に応じたコミュニケーション行動を行うコミュニケーションロボットが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開２００５/０１４２４２号公報
【特許文献２】特開２００８−２７８９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２に記載のものは、ユーザの感情を汲み、その感情状態の変化を促すような応答を返すものではない。
本発明は、ユーザ感情状態の変化を促すような応答文を作成することができる対話処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る対話処理装置は、ユーザの感情の認識と、知識データベースを用いたユーザに対する感情表現とを実行する対話処理装置であって、ユーザ感情の認識結果から、感情の種別及び感情の強さを成分とした座標系における現在点を得るとともに、この座標系において現在点よりも目標とする感情の収束状態に近い経由点を決定する処理を含み、知識データベースは、複数の語彙及び定型文のそれぞれを、感情の種別及び感情の強さに応じたパラメータに関連付けて示すものであり、前記ユーザに対する感情表現は、経由点での感情の種別及び感情の強さに応じたパラメータで知識データベースを検索することで、対話に用いるべき語彙及び定型文の少なくとも一方を得て、その取得結果を用いた応答文を作成することでなされることを特徴とする。
【発明の効果】
【０００７】
本発明に係る対話処理装置は、現在のユーザ感情よりも目標とする感情の収束状態に近い経由点での感情種別、及び感情の強さと対応するような語彙を用いて、応答文を作成する。これにより、目標とする感情の収束状態に緩やかに近づけるようなユーザ感情の変化を促すことができる。このような緩やかな感情変化を促す応答は、人間と対面しているかのような印象をユーザに与えることができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る対話処理装置の利用形態を示す図
【図２】対話処理装置１の内部構成を示すブロック図
【図３】感情語彙クラスタファイルの一例を示す図である。
【図４】感情語彙クラスタに収録された語彙及び定型文を母集団としたマハラノビステーブルを示す図
【図５】感情表現制御部１３の詳細な構成を示すブロック図
【図６】一時学習データのデータ構造を示す図
【図７】（ａ）は、θ成分を１０等分し１０種類の感情を割り当てた極座標系と、ＳＴ ｅｍｏｔｉｏｎが出力する感情情報（喜び、平常、哀しみ、怒り）の各感情要素を示す単位ベクトルとの関係を示す図、（ｂ）は、ＳＴ ｅｍｏｔｉｏｎが出力する感情情報を合成した合成ベクトルｖ３により、極座標系における感情の現在点を決定する手順を示す図、（ｃ）は、現在点と経由点との関係を示す図
【図８】学習データｆθを用いた経由点θ成分の決定を示す図
【図９】学習データｆＲを用いた経由点θ成分の決定を示す図
【図１０】（ａ）は経由点と応答後の現在点とに差が生じても一時学習を継続する条件を示す図、（ｂ）は経由点と応答後の現在点とに差が生じ一時学習を終了する条件を示す図
【図１１】本実施形態に係る対話処理装置１の動作手順を示すフローチャート
【図１２】マハラノビス取得処理の詳細を示すフローチャート
【図１３】経由点算出・一時学習処理の詳細の詳細を示すフローチャート
【図１４】感情語彙絞り込み処理の詳細の詳細を示すフローチャート
【図１５】感情シーケンス終了処理の詳細の詳細を示すフローチャート
【図１６】変形例に係る対話処理装置の内部構成を示す図
【図１７】変形例に係る対話処理装置において現在点を決定する方法を示す図
【発明を実施するための形態】
【０００９】
以下、本発明に係る対話処理装置の実施の形態について、図を用いて説明する。
図１は、本実施形態に係る対話処理装置の利用形態を示す図である。本発明に係る対話処理装置１は、マイク、スピーカ、マイコンシステムを内蔵したヌイグルミ様の玩具であり、ユーザの発話に対して応答文を音声にて出力する動作を繰り返すことで、ユーザとの対話処理を実現する。このような対話処理において、ユーザの言葉に強い怒りや、強い哀しみ等の好ましくない感情が認識される場合、対話処理装置１は、ユーザ感情をなだめたり、あるいは好ましい感情に変化するよう促す語彙、若しくは定型文を応答文に用いる。対話処理においてユーザ感情が目標とする感情状態に収束するように語彙、若しくは定型文を用いることを、対話処理装置１の感情表現処理と称する。感情表現処理では、ユーザの発話に基づくユーザ感情の認識と、それに対する応答文の出力とで１回の「試行」とし、対話処理装置１は、試行を繰り返すことでユーザの感情が目標とする感情状態に収束した場合に、感情表現処理を終了する。
【００１０】
次に、対話処理装置１の内部構成について説明する。図２は、対話処理装置１の内部構成を示すブロック図である。対話処理装置１は、マイコンシステム１０、マイク２０、及び、スピーカ３０を有する。
マイク２０は、入力された音声から音声信号を生成し、これをＰＣＭ ＷＡＶＥ形式の音声データに変換した後に出力する。
【００１１】
スピーカ３０は、ＰＣＭ ＷＡＶＥ形式の音声データを、音声に変換して出力する。
マイコンシステム１０はＣＰＵ、ＲＡＭ、ＲＯＭからなり、ＲＯＭに記録されたプログラムをＣＰＵが実行することにより、本図の破線内に示す音声認識部１１、感情認識部１２、感情表現制御部１３、知識データベース１４、応答文作成部１５、及び、音声合成部１６の機能を実現する。
【００１２】
音声認識部１１は、音声認識ソフトの実行により実現される機能ブロックであり、マイク２０から入力された音声データを解析し、ユーザが発した言葉をテキストデータとして出力する。
感情認識部１２は、マイク２０から入力された音声データの抑揚等を解析し、発話したユーザの感情の認識結果として、感情情報を出力する。感情認識部の実現には、例えば、株式会社ＡＧＩ製の感情認識ソフトである「ＳＴ Ｅｍｏｔｉｏｎ」等の利用が考えられる。ＳＴ Ｅｍｏｔｉｏｎは、「怒り」「喜び」「哀しみ」「平常」「笑い」「興奮」の６つの感情要素について、それぞれ強度を検出する。「怒り」「喜び」「哀しみ」「平常」「興奮」については０〜１０の１１段階で検出され、「笑い」についてはある/ないの2段階で検出される。以下、本実施の形態では、ＳＴ Ｅｍｏｔｉｏｎを利用するものとし、感情認識部１２が出力する感情情報としては、「ＳＴ Ｅｍｏｔｉｏｎ」の検出値のうち「怒り」、「喜び」、「哀しみ」、「平常」の４つの感情要素の検出値を用いる。
【００１３】
感情表現制御部１３は、応答文で用いるべき感情表現を含む語彙や定型文を知識データベースから取得し、応答文作成部１５へ提示する機能を有する。具体的には、感情認識部１２が出力した感情情報において強い怒りや、強い哀しみが示されている場合に、これらをなだめたり、慰撫する語彙や定型文を知識データベース１４から取得し、取得結果を応答文作成部１５へ出力する。ここで知識データベース１４から複数の語彙や定型文が取得される場合、感情表現制御部１３は尤度に従って、取得結果の語彙や定型文に順位付けをした上で応答文作成部１５へ出力する。
【００１４】
知識データベース１４は、対話処理における応答のために用いる語彙管理データベースである。知識データベース１４は、様々な会話のカテゴリー(以下、クラスタ)について語彙及び定型文を収集し、クラスタ毎にXMLファイルを作成し管理する。各クラスタファイルでは、語彙及び定型文が意味属性で分類されている。また、知識データベース１４では更に、語彙及び定型文に共起頻度等の関連情報が付加されている。図３は、感情語彙クラスタファイルの一例を示す図である。感情語彙クラスタファイルには、感情表現を伴う語彙及び定型文（以下、「感情語彙」と総称する。）が収録されており、これらの感情語彙を応答文で使用することが望ましいと考えられる会話相手の感情種別及び感情の強さを意味属性として、各感情語彙が分類されている。
【００１５】
知識データベース１４は更に、このようなデータ構造で収録している語彙及び定型文から、応答文に用いるべき語彙や定型文を検索する機能を有する。知識データベース１４の検索機能としては、具体的には、入力テキストで使用された語彙に対してマハラノビス距離や共起頻度から蓋然性の高い語彙及び定型文を返す中立語彙検索機能と、ユーザ感情に対する応答として適した感情語彙を返す感情語彙検索機能とがある。
【００１６】
感情語彙検索機能では、感情語彙クラスタファイルに収録された感情語彙を母集団としたマハラノビス距離を用いて語彙選択がなされる。感情語彙検索機能として知識データベース１４は、検索用マハラノビス距離が入力されると、感情語彙クラスタファイルに収録された感情語彙のうちマハラノビス距離が入力に近いものから所定数（例えば４つ）だけ応答として返す。
【００１７】
ここで用いるマハラノビス距離は、感情の種別及び感情の強さをＸ−Ｙ成分とした直交座標系における母集団の共分散行列Ａ、検索対象の感情種別及び強さを表すベクトルＸを用いて、以下の式１により算出される。
マハラノビス距離＝Ｘ＊Ａの逆行列＊Ｘ ・・・式１
このようなマハラノビス距離は、感情語彙クラスタファイルに収録された感情語彙に変化がなければ、検索したい感情の種別及び強さに応じて一意に定まるものである。そこで、感情の種別及び強さに、感情語彙クラスタファイルから算出したマハラノビス距離を関連付けたマハラノビステーブルを作成しておき、感情語彙検索機能を用いた問合せ元となる感情表現制御部１３へ予め提供しておく。図４は、感情語彙クラスタに収録された語彙及び定型文を母集団としたマハラノビステーブルを示す図である。マハラノビステーブルを用いることにより、感情表現制御部１３では、応答文に使用したい語彙の感情の種別及び感情の強さから容易にマハラノビス距離を得て、感情語彙を検索することができる。
【００１８】
応答文作成部１５は、音声認識部１１が出力したテキストデータを入力として、ユーザが発した言葉をに対する応答文を作成する。応答文作成部１５による応答文作成では、先ず、知識データベース１４が提供する中立語彙検索機能を利用して、入力テキストに対する感情表現を伴わない価値中立な文章が作成される。その後、感情表現制御部１３から感情表現を含む語彙や定型文が提供された場合、応答文作成部１５は、感情表現制御部１３が付した尤度順位や共起頻度に従って提供された語彙、定型文の中から適切なものを選択し、選択したものを価値中立な文章に挿入して応答文の作成を完了する。感情表現制御部１３から感情表現を含む語彙や定型文が提供されなかった場合には、価値中立な文章をそのまま応答文とする。こうして作成された応答文は応答文テキストデータとして音声合成部１６へ出力される。
【００１９】
音声合成部１６は、応答文作成部１５が出力した応答文テキストデータに基づいて、ＰＣＭ ＷＡＶＥ形式の音声データを生成する。
以上が、対話処理装置１の内部構成の概略である。
＜感情表現制御部１３の詳細＞
本実施形態に係る対話処理装置１の特徴的な機能として、感情表現処理がある。感情表現処理は、応答文に感情語彙を挿入することで実現される。そこで以下では、応答文に挿入する感情語彙を決定する感情表現制御部１３の詳細を説明する。
【００２０】
図５は、感情表現制御部１３の詳細な構成を示すブロック図である。感情表現制御部１３は、座標変換部１０１、経由点算出部１０２、学習データ管理部１０３、語彙選択部１０４、マハラノビステーブル保持部１０５の各機能ブロックを含む。
座標変換部１０１は、４種類の感情要素についてその強度を示す感情情報を、１つの合成ベクトルに変換することで、感情の種別をθ成分、感情の強さをＲ成分とした極座標系においてユーザ感情を示す現在点を決定する機能ブロックである。
【００２１】
経由点算出部１０２は、経由点を決定する機能ブロックである。経由点とは、１回の試行によって変化させることを目指すユーザの感情状態であり、極座標系における１点で表現される。経由点には極座標系において現在点よりも目標とする感情の収束状態に近い点を設定する。
学習データ管理部１０３は、学習データを蓄積及び更新することで、経由点決定の強化学習を実現する機能ブロックである。学習データは、過去のエピソードでの経由点のθ成分を、初回試行から順にならべた数列ｆθ｛θ１、θ２、・・・、θｎ｝、及び、過去のエピソードでの経由点のＲ成分を、初回試行から順にならべた数列ｆＲ｛Ｒ１、Ｒ２、・・・、Ｒｎ｝のデータ形式で保存される。ここで「エピソード」とは、初回試行からユーザ感情が目標範囲に収束するまで繰り返された一連の試行である。
【００２２】
学習データを更新するために、学習データ管理部１０３は、図６に示すように各エピソードで全試行の経由点データを、ＲＡＭ上の作業領域に一時学習データとして蓄積しておき、ユーザ感情が目標範囲に収束した時に一時学習データでの試行回数と既存の学習データでの試行回数を比較する。一時学習データの方が試行回数が少なければ、学習データ管理部１０３は一時学習データを新たな学習データとして更新する。
【００２３】
尚、学習データ管理部１０３には、「恥」、「怖」、「哀」、「厭」、「怒」、「昂」、「驚」、「喜」、「好」、「安」の感情が割り当てられた各領域を開始位置とする１０のθ成分学習データｆθ、及び１０のＲ成分学習データｆＲが蓄積されている。このように領域毎に学習データを管理し更新するために、学習データ管理部１０３は、初回試行での現在点を会話開始位置としてエピソード終了まで保持しておき、エピソード終了時の一時学習データとの比較、更新には、会話開始位置が属する領域での学習データを対象とする。
【００２４】
語彙選択部１０４は、応答文で使用すべき感情語彙をリストにして応答文作成部１５へ提供する機能ブロックである。先ず語彙選択部１０４は、マハラノビステーブル保持部１０５に保持されている図４のマハラノビステーブルを参照して、経由点の感情の種別θ、及び感情の強さＲに応じたマハラノビス距離を得る。この経由点のマハラノビス距離を用いて、知識データベース１４から感情語彙を検索することで、マハラノビス距離が近い複数の感情語彙を得ることができる。ただし、こうして得られる感情語彙にはマハラノビス距離が近くとも、経由点と感情の種類が異なるものが含まれる。そこで語彙選択部１０４では、検索により得られた感情語彙のうち経由点と感情種類が一致するものだけを、経由点のマハラノビス距離と近い順に順位付けしてリストに登録し、応答文作成部１５へ提供する。
【００２５】
マハラノビステーブル保持部１０５は、マハラノビステーブルを保持する機能ブロックであり、ＦｅＲＡＭ等の書き換え可能な不揮発性メモリに確保された記録領域により実現される。
以上が感情表現制御部１３の詳細な構成である。続いて、座標変換部１０１における現在点の決定方法、及び、経由点算出部１０２における経由点の決定方法の詳細について説明する。
【００２６】
＜座標変換部１０１における現在点の決定方法＞
現在点は、４種類の感情要素についてその強度を示す感情情報を１つの合成ベクトルに変換することで、感情の種別をθ成分、感情の強さをＲ成分とした極座標系の１点に決定される。
【００２７】
ユーザ感情の現在点を示すために用いる極座標系では、図７の（ａ）のように、θ成分３６度毎に分割した１０の領域に「感情表現辞典」(1993 東京堂出版 中村明)において分類される１０種類の感情が、「恥」、「怖」、「哀」、「厭」、「怒」、「昂」、「驚」、「喜」、「好」、「安」の順番で反時計回りに割り当てられている。以下、反時計回りをθの正方向、時計回りをθの負方向とする。
【００２８】
このような極座標系上で感情情報を１つの合成ベクトルに変換するために、感情情報の各感情要素に対応する４つの単位ベクトルを定義する。具体的には、原点から「安」の領域の中央方向に感情情報のうち「平常」の感情要素に対応する単位ベクトルを定義し、原点から「怒」の領域の中央方向に感情情報のうち「怒り」の感情要素に対応する単位ベクトルを定義し、原点から「喜」の領域の中央方向に感情情報のうち「喜び」の感情要素に対応する単位ベクトルを定義し、原点から「哀」の領域の中央方向に感情情報のうち「哀しみ」の感情要素に対応する単位ベクトルを定義する。こうして定義した単位ベクトルを基に、感情情報により示される４つの感情要素は図７の（ｂ）のように、その強度に応じた４つのベクトルで表現できる。
【００２９】
これら４つのベクトルのうち「喜び」のベクトルＶｐと「平常」のベクトルＶｎとを合成したものをベクトルＶ１とし、また、「怒り」のベクトルＶａと「哀しみ」のベクトルＶｓとを合成したものをベクトルＶ２とし、ベクトルＶ１とベクトルＶ２とを合成することで、現在点を示す合成ベクトルＶ３が得られる。
現在点の具体的な計算方法としては、「喜び」方向の偏角θ１、「平常」方向の偏角θ２、「哀しみ」方向の偏角θ３、「怒り」方向の偏角θ４とすると、各単位ベクトルのｘ成分、ｙ成分は、
喜び（ｘ）＝ｃｏｓθ１ 喜び（ｙ）＝ｓｉｎθ１
平常（ｘ）＝ｃｏｓθ２ 平常（ｙ）＝ｓｉｎθ２
哀しみ（ｘ）＝ｃｏｓθ３ 哀しみ（ｙ）＝ｓｉｎθ３
怒り（ｘ）＝ｃｏｓθ４ 喜び（ｙ）＝ｓｉｎθ４
となるので、各成分について、感情情報で示される各感情要素の強度（０〜１０）の値を乗算して合計することで、合成ベクトルのｘ成分である「Ｘ」、及び合成ベクトルのｙ成分である「Ｙ」が求められる。この現在点のｘ、ｙ成分から以下の式２により、合成ベクトルの偏角θｔ、即ち現在点のθ成分が求められる。
【００３０】
θｔ＝tan-1（Ｙ／Ｘ） ・・・式２
また、合成ベクトルの大きさ、（Ｘ２＋Ｙ２）の平方根が、現在点のＲ成分となる。以上が座標変換部１０１における現在点の決定方法の詳細である。
＜経由点算出部１０２における経由点の決定方法＞
次に経由点決定方法の詳細について説明する。本実施形態に係る対話処理装置１は、θ成分が安、好、喜の何れかの感情が割り当てられた領域であるか、感情の強さを示すＲ成分が１以下である状態にユーザ感情を収束させることを目的としており、図７の（ｃ）に示すように、経由点は極座標系において現在点よりも目標とする感情の収束状態に近い点、即ち、現在点よりも安、好、喜の領域に近いか、現在点よりもＲ成分が小さい点に設定される。以下、θ成分が安、好、喜の何れかの感情が割り当てられた領域、及び感情の強さを示すＲ成分が１以下である領域を合わせた図７の（ｃ）で斜線で示した領域を、「目標範囲」という。
【００３１】
経由点の決定には２つの方法がある。１つ目は初期状態での経由点決定方法であり、２つ目は学習データを利用した経由点決定方法である。ユーザの発話音声の取得と応答文の出力とを繰り返す対話処理によって、以前にユーザ感情が目標範囲に収束したことがある場合、学習データ管理部１０３には、対話処理の開始からユーザ感情が収束するまでの一連の経過が学習データとして記録されている。初期状態とは、このような学習データが蓄積されていない状態である。
【００３２】
＜初期状態での経由点決定方法＞
初期状態での経由点決定では、θ成分とＲ成分とを独立に決定する。１度の経過点決定で現在点からθ成分を変化させる幅は、０〜３６度であり、正規分布等の確率密度関数を用いて、試行の度に変化量を決定する。またθ成分を変化させる方向は、現在点が「哀」、「怖」、「恥」の何れかが割り当てられた領域及び「厭」が割り当てられた領域の中央より「安」側にあれば、「安」が割り当てられた領域に近づく方向、即ち、負方向である。逆に、現在点が「驚」、「昂」、「怒」の何れかが割り当てられた領域及び「厭」が割り当てられた領域の中央より「喜」側にあれば、「喜」が割り当てられた領域に近づく方向、即ち、正方向に変化させる。
【００３３】
１度の経過点決定で現在点からＲ成分を減少させる幅は、０〜１であり、正規分布等の確率密度関数を用いて、試行の度に変化量を決定する。
＜学習データを利用した経由点決定方法＞
学習データを利用した経由点決定においても、θ成分とＲ成分とを独立に決定する。この点は、初期状態での経由点決定と同様であり、学習データは、θ成分若しくはＲ成分の決定について用いられる。
【００３４】
学習データは、過去のエピソードでの経由点のθ成分、若しくはＲ成分を、初回試行から順にならべた数列ｆθ｛θ１、θ２、・・・、θｎ｝、ｆＲ｛Ｒ１、Ｒ２、・・・、Ｒｎ｝である。学習データ管理部１０３には、「恥」、「怖」、「哀」、「厭」、「怒」、「昂」、「驚」、「喜」、「好」、「安」の感情が割り当てられた各領域を開始位置とする１０のθ成分学習データｆθ、及び１０のＲ成分学習データｆＲが蓄積されている。
【００３５】
図８は、学習データｆθを用いた経由点θ成分の決定を示す図である。本図において矢印は、現在点のθ成分を示しており、白丸は数列ｆθのｔ番目の値である。経由点算出部１０２では、目標範囲外である現在点が最初に入力された試行を１回目の試行として、この現在点が属する領域を開始位置とする数列ｆθを選択し、数列ｆθの１番目の値を経由点のθ成分とする。続く２回目、３回目、４回目の試行においても同じ数列ｆθを用いて、２番目、３番目、４番目、の値を経由点のθ成分とする。学習データｆＲを用いて経由点Ｒ成分を決定する場合も同様に初回試行での現在点が属する領域を開始位置とする数列ｆＲを選択し、その後は図９に示すように、１回目試行の現在点θ成分が属する領域を開始位置とする数列ｆＲを選択し、数列ｆＲの１番目、２番目、３番目、４番目の値を、それぞれ１回目、２回目、３回目、４回目の試行での経由点Ｒ成分に用いる。
【００３６】
ここで、ｔ回目試行での経由点とｔ+１回目試行で認識される現在点とでθ成分の差が所定の閾値（例えば、３６度）を超える場合や、Ｒ成分の差が所定の閾値（例えば、２．５）を超える場合、ｔ回目試行を「無効試行」と呼ぶ。図１０の（ａ）の例では４回目の試行が無効試行となっている。無効試行の次の試行、図１０の（ａ）の例では５回目の試行が無効試行でない場合には、従前の学習データを用いて経由点決定を継続する。しかし、図１０の（ｂ）のように無効試行が２回連続した場合、２回目の無効試行の次の試行では、その試行での現在点が属する領域を開始位置とする学習データを新たに選びなおし、新たな初回試行として経由点決定を行う。このような無効試行の判定、学習データの選び直しは、θ成分とＲ成分とで独立して実行される。
【００３７】
以上が座標変換部１０１における経由点の決定方法の詳細である。
ここまで説明した感情表現制御部１３の機能により、ユーザ感情を目標範囲に近づけるような感情語彙を選択することができ、このような感情語彙を応答文に挿入することで、本実施形態に係る対話処理装置１による感情表現処理が実現される。
＜対話処理装置１の動作＞
続いて、本実施形態に係る対話処理装置１の動作を説明する。
【００３８】
図１１は、本実施形態に係る対話処理装置１の動作手順を示すフローチャートである。
対話処理装置１の動作では、ステップＳ１で対話処理装置１の初期化処理が実行され、ユーザの発話が待ち受けられる。初期化処理とは、学習データ管理部１０３が一時学習データと会話開始位置とを管理するための記録領域を、ＲＡＭ上の作業領域に確保する処理である。一時学習データ記録領域と会話開始位置の記録領域とは、θ成分用及びＲ成分用がそれぞれ別に確保される。
【００３９】
初期化後、ユーザが発話するとマイク２０を介して音声入力データが取得される（ステップＳ２）と、この音声入力データが感情認識部１２により解析され４つの感情要素について強度を示す感情情報が取得される（ステップＳ３）。この感情情報に基づいて感情表現制御部１３では、マハラノビス取得処理（ステップＳ４）が実行される。
ここで、感情情報を変換して得られるユーザ感情の現在点が目標範囲内にある場合、詳細を後述するマハラノビス取得処理においてマハラノビス距離は取得されない（ステップＳ５：Ｎｏ）。このような場合、応答文作成部１５には感情語彙が提供されることがなく、応答文作成部１５は、感情語彙を挿入させることなくステップＳ８にて応答文を作成する。例えばユーザの発言が「Ｔチームが負けた。」という言葉であり、感情の現在点が目標範囲を外れるような強い感情が認識されなかった場合、応答文作成部１５は、「Ｔチームは、負けましたね。」という感情語彙を含まない応答文を作成する。
【００４０】
一方、感情情報を変換して得られるユーザ感情の現在点が目標範囲外にある場合には、マハラノビス取得処理において何らかのマハラノビス距離が取得される（ステップＳ５：Ｙｅｓ）。このような場合、感情表現制御部１３内の語彙選択部１０４によって、取得されたマハラノビス距離を用いて知識データベース１４が検索され、マハラノビス距離が近い複数の感情語彙が取得される（ステップＳ６）。複数の感情語彙を取得した語彙選択部１０４は、詳細を後述する感情語彙絞り込み処理により不適切な感情語彙を除外し、適切な感情語彙のみをマハラノビス距離が近い順に並べた出力リストを作成し、応答文作成部１５へ出力する（ステップＳ７）。感情語彙のリストが提供された応答文作成部１５は、ステップＳ８にて感情語彙を挿入した応答文を作成する。
【００４１】
例として、ユーザの「Ｔチームが負けた。」という言葉の抑揚等から目標範囲を外れるような強い感情が認識され、この認識結果から決定された経由点のマハラノビス距離が２．２であった場合を想定する。図４を参照すると、マハラノビス距離が２．２に近いのは、マハラノビス距離が２．３である感情種別「哀」強度「４」の感情語彙、マハラノビス距離が２．０である感情種別「哀」強度「５」の感情語彙、マハラノビス距離が２．４である感情種別「怒」強度「４」の感情語彙、及びマハラノビス距離が２．２である感情種別「怒」強度「５」の感情語彙である。本例では、これらの属性の感情語彙が図３に示す感情語彙クラスタファイルから抽出され、語彙選択部１０４に取得される。ここでユーザ感情の現在点が「哀」領域に含まれるのもであったなら、抽出された語彙のうち感情種別「怒」の感情語彙は除外され、マハラノビス距離が２．３の感情種別「哀」強度「４」の語彙「残念だけど」「気にすることはないですよ」と、マハラノビス距離が２．０の感情種別「哀」強度「５」の語彙「悲しいけど」「まだなんとかなりますよ」とがこの順番で出力リストに登録され、応答文作成部１５へ出力される。応答文作成部１５では、出力リストに登録された感情語彙からマハラノビス距離や共起頻度を用いて使用する語彙を選択する。ここで感情語彙「残念だけど」が選択された場合は、「Ｔチームは、残念だけど負けましたね。」という感情語彙「残念だけど」を挿入した応答文が作成される。こうして作成された応答文は、スピーカ３０を介して音声としてユーザに提供される。
【００４２】
以上の動作手順においてステップＳ２〜ステップＳ８が１回の試行となり、ユーザの発話の度に繰り返される。
＜マハラノビス取得処理＞
続いて、マハラノビス取得処理の詳細について説明する。図１２は、マハラノビス取得処理の詳細を示すフローチャートである。
【００４３】
マハラノビス取得処理では、先ず座標変換部１０１が感情情報を合成ベクトルに変換し、図４の（ｂ）で示したようにユーザ感情の現在点を決定する（ステップＳ１１）。次に、詳細を後述する経由点算出・一時学習処理を経由点算出部１０２が実行し、現在点に基づいて経由点を決定する（ステップＳ１２）。
ここで現在点が目標範囲外である場合（ステップＳ１３:Ｎｏ）、語彙選択部１０４は、図４のマハラノビステーブルを参照し（ステップＳ１４）、ステップＳ１１で決定された経由点のθ成分、Ｒ成分を基にマハラノビス値を取得する（ステップＳ１５）。
【００４４】
現在点が目標範囲に含まれている場合（ステップＳ１３:Ｙｅｓ）、語彙選択部１０４がマハラノビス値を取得しなかったことを応答文作成部１５へ通知し（ステップＳ１６）、その後、学習データ管理部１０３により、感情シーケンス終了処理が実行される。
以上がマハラノビス取得処理の詳細である。
＜経由点算出・一時学習処理＞
続いて、経由点算出・一時学習処理の詳細について説明する。図１３は、経由点算出・一時学習処理の詳細の詳細を示すフローチャートである。
【００４５】
経由点算出・一時学習処理では、先ずステップＳ２１、ステップＳ２２において、学習データ管理部１０３により一時学習データの蓄積回数が確認される。一時学習データの蓄積回数が所定の閾値Ｔｈ１（例えば１０回）を超えていれば（ステップＳ２１:Ｙｅｓ）、一時学習データがリセットされる（ステップＳ３５）。一時学習データのリセットとは、一時学習データ記録領域と会話開始位置の記録領域に記録されているデータを全て消去する処理である。
【００４６】
一時学習データとして経由点が１つも記録されていない場合（ステップＳ２２:Ｙｅｓ）、即ち、一時学習データリセット直後や初回試行時である場合、学習データ管理部１０３が現在点を会話開始位置の記録領域に記録し（ステップＳ２３）、処理がステップＳ３０へ移行する。
一時学習データとして経由点が記録されている場合（ステップＳ２２:Ｎｏ）、即ち２回目以降の試行である場合は、ステップＳ２４〜ステップＳ２９の処理手順で、経由点算出部１０２によって前回試行が無効試行であったかが判定される。前回試行の経由点と現在点とのＲ成分の差が２．５より大きい場合（ステップＳ２４:Ｙｅｓ）や、前回試行の経由点と現在点とのθ成分の差が３６度より大きい場合（ステップＳ２７:Ｙｅｓ）には、前回試行が無効試行であったとして、それぞれの成分について範囲外回数を記録する変数がインクリメントされる（ステップＳ２６、ステップＳ２９）。前回試行が無効試行ではなかった場合（ステップＳ２４：Ｎｏ、ステップＳ２７：Ｎｏ）には、それぞれの成分について範囲外回数を記録する変数が０に初期化される（ステップＳ２５、ステップＳ２８）。更に経由点算出部１０２は、ステップＳ３０において、範囲外回数を記録する変数が２以上であるかを判定する。範囲外回数が２回以上であれば、一時学習データがリセットされる（ステップＳ３６）。尚、範囲外回数を記録する変数は、一時学習データリセット処理において、０に初期化される。
【００４７】
その後、学習データ管理部１０３が現在点を一時学習データ記録領域に追加記録し、現在点が目標範囲外の位置する場合（ステップＳ３２：Ｎｏ）、経由点算出部１０２が、ステップＳ３３、及びステップＳ３４において今回試行の経由点としてＲ成分とθ成分を決定する。ステップＳ３３、及びステップＳ３４における経由点の決定では、「経由点算出部１０２における経由点の決定方法」として既に説明した初期状態での経由点決定方法、若しくは、学習データを利用した経由点決定方法が利用される。
【００４８】
以上が経由点算出・一時学習処理の詳細である。
＜感情語彙絞り込み処理＞
続いて、感情語彙絞り込み処理の詳細について説明する。図１４は、感情語彙絞り込み処理の詳細の詳細を示すフローチャートである。
感情語彙絞り込み処理は、語彙選択部１０４によって実行される処理であり、先ず、経由点のθ成分に基づいて経由点が属する領域に割り当てられた感情の種別を取得し（ステップＳ４１）、この感情の種別を、意味属性文字列に設定する（ステップＳ４２）。その後、ＲＡＭ上の出力用テーブル記録領域を初期化し（ステップＳ４３）する。
【００４９】
出力用テーブル記録領域を初期化した後は、ステップＳ４５〜ステップＳ４６の処理を知識データベース１４から検出された全ての感情語彙について繰り返す。ステップＳ４５の処理は、知識データベース１４から検出された感情語彙で未処理のもののうち、経由点とマハラノビス距離が最も近いものを選択し、（ステップＳ４５）、この感情語彙の意味属性である感情種別と、ステップＳ４２で設定した意味属性文字列を比較する（ステップＳ４６）。比較の結果が一致すれば（ステップＳ４６:Ｙｅｓ）、選択した感情語彙を、出力用テーブル記録領域に追加記録する（ステップＳ４７）。
【００５０】
以上が感情語彙絞り込み処理の詳細である。
＜感情シーケンス終了処理＞
続いて、感情シーケンス終了処理の詳細について説明する。図１５は、感情シーケンス終了処理の詳細の詳細を示すフローチャートである。
感情シーケンス終了処理は、試行を繰り返すことでユーザ感情を示す現在点が目標範囲に収束した場合に実行される処理である。
【００５１】
感情シーケンス終了処理において学習データ管理部１０３は、会話開始位置の記録領域に記録されているθ成分の値を取得し（ステップＳ５１）、この値が「恥」、「怖」、「哀」、「厭」、「怒」、「昂」、「驚」、「喜」、「好」、「安」の何れの種類の感情が割り当てられた領域に含まれるかを判定し（ステップＳ５２）、この領域を開始位置とする学習データが以前に蓄積されていない場合（ステップＳ５３：Ｎｏ）、一時学習データ記録領域に記録されている経由点を、新たな学習データとして蓄積する（ステップＳ５４）。
【００５２】
ステップＳ５２で判定した領域を開始位置とする学習データが以前に蓄積されている場合（ステップＳ５３:Ｙｅｓ）には、この学習データの経由点の数と、一時学習データ記録領域に記録されている経由点の数とを比較する（ステップＳ５５）。一時学習データ記録領域に記録されている経由点の数の方が少なければ（ステップＳ５５:Ｙｅｓ）、既存の学習データを破棄し、一時学習データ記録領域に記録されている経由点を、新たな学習データとして蓄積する。
【００５３】
最後にステップＳ５６において一時学習データをリセットする。以上が感情シーケンス終了処理の詳細である。
以上、本実施形態に係る対話処理装置によれば、現在のユーザ感情よりも目標とする感情の収束状態に近い経由点での感情種別、及び感情の強さと対応するような語彙を用いて、応答文を作成することができる。これにより、目標とする感情の収束状態に緩やかに近づけるようなユーザ感情の変化を促すことができる。このような緩やかな感情変化を促す応答は、人間と対面しているかのような印象をユーザに与えることができる。
【００５４】
（変形例）
以上、本発明に係る対話処理装置について、実施形態に基づいて説明したが、本発明はこれらの実施形態に限られない。例えば、以下のような変形例が考えられる。
（１）本発明は、各実施形態で説明したフローチャートの処理手順が開示する記録方法であるとしてもよい。また、これらの方法をコンピュータにより実現するプログラムであるとしてもよいし、前記プログラムからなるデジタル信号であるとしてもよい。
【００５５】
また、本発明は、前記プログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。
また、本発明は、前記プログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
【００５６】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（２）経由点は現在のユーザ感情よりも目標とする感情の収束状態に近い点であればよく、上記実施形態とは異なる手法により決定してもよい。
【００５７】
例えば、先ず現在点からθ成分だけ変化させ、Ｒ成分は現在点と同じ値に設定した経由点を決定し、このような経由点を用いて試行を繰り返した結果、無効試行が所定回数（例えば２回）連続した場合に、次の試行からは現在点からＲ成分だけ減少させ、θ成分は現在点と同じ値に設定した経由点を決定するという手法を用いてもよい。
（３）上記実施形態では、学習データを、数列ｆθ｛θ１、θ２、・・・、θｎ｝、数列ｆＲ｛Ｒ１、Ｒ２、・・・、Ｒｎ｝というデータ形式で保持するとしたが、学習データは他のデータ形式であってもよい。
【００５８】
例えば、横軸を試行回数ｔ、縦軸をθ又はＲとした直交座標に過去のエピソードでの経由点をプロットし、これらから最小二乗法により近似直線θ＝ａｔ＋ｂ、又はＲ＝ａｔ＋ｂを求めることができる。このｆ（ｔ）＝ａｔ＋ｂを学習データとして、ｔ回目のθ、Ｒを決定してもよい。
また他の例として、上述の近似直線の傾きａを学習データとしてもよい。この場合には、初回試行の現在点を切片とした関数ｆ（ｔ）＝ａｔ＋θ１、ｆ（ｔ）＝ａｔ＋Ｒ１を生成して経由点を決定することができる。ここでθ１は初回試行での現在点のθ成分、Ｒ１は、初回試行での現在点Ｒ成分である。
【００５９】
（４）知識データベースを、対話処理装置の外部に設けてもよい。例えば、インターネットに接続されたサーバ装置を知識データベースとして機能させ、図１６に示すように対話処理装置に通信インターフェースを設け、無線ＬＡＮ等のネットワークを介して知識データベースと通信する構成としてもよい。このような変形例では、インターネットを介して知識データベースの収集語彙を適時更新することが容易になる。
【００６０】
（５）上記実施形態では、ＳＴ ｅｍｏｔｉｏｎの出力を極座標上に合成して現在点を得るとした。しかしながら、ユーザ感情の現在点を表現する方法は、必ずしも極座標に限定されるものではない。
例えば、上記実施形態で説明した極座標に、ＳＴ ｅｍｏｔｉｏｎの出力値のうち「興奮」の値を対応させたｚ軸を追加することで、ユーザ感情の現在点を平面座標ではなく、空間座標で表現することもできる。
【００６１】
（６）各実施形態及び変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【００６２】
本発明は、ユーザとの対話を行う玩具、ロボット装置等に有用である。
【符号の説明】
【００６３】
１ 対話処理装置
１０ マイコンシステム
１１ 音声認識部
１２ 感情認識部
１３ 感情表現制御部
１４ 知識データベース
１５ 応答文作成部
１６ 音声合成部
２０ マイク
３０ スピーカ
１０１ 座標変換部
１０２ 経由点算出部
１０３ 学習データ管理部
１０４ 語彙選択部
１０５ マハラノビステーブル保持部
【特許請求の範囲】
【請求項１】
ユーザの感情の認識と、知識データベースを用いたユーザに対する感情表現とを実行する対話処理装置であって、
ユーザ感情の認識結果から、感情の種別及び感情の強さを成分とした座標系における現在点を得るとともに、この座標系において現在点よりも目標とする感情の収束状態に近い経由点を決定する処理を含み、
知識データベースは、複数の語彙及び定型文のそれぞれを、感情の種別及び感情の強さに応じたパラメータに関連付けて示すものであり、
前記ユーザに対する感情表現は、経由点での感情の種別及び感情の強さに応じたパラメータで知識データベースを検索することで、対話に用いるべき語彙及び定型文の少なくとも一方を得て、その取得結果を用いた応答文を作成することでなされる
ことを特徴とする対話処理装置。
【請求項２】
前記座標系は、θ成分の領域毎に感情の種別を割り当て、感情の強さをＲ成分とした極座標系であり、
前記パラメータは、感情の種別及び感情の強さをＸ−Ｙ成分とした直交座標系における、知識データベースに収録された語彙及び定型文を母集団としたマハラノビス距離である
ことを特徴とする請求項１記載の対話処理装置。
【請求項３】
前記極座標系のθ成分により示される感情の種別は、前記極座標系において時計回りに、安、好、喜、驚、昂、怒、厭、哀、怖、恥のそれぞれの感情である
ことを特徴とする請求項２記載の対話処理装置。
【請求項４】
経由点の決定は、
現在点のθ成分よりも安、好、喜の感情種別が割り当てられた領域に近い値を経由点のθ成分として設定する第１の処理、及び、現在点のＲ成分よりも感情の強さを弱めた値を経由点のＲ成分として設定する第２の処理の少なくとも一方を実行することでなされる
ことを特徴とする請求項３記載の対話処理装置。
【請求項５】
前記対話処理装置は、作成した応答文をユーザに提示し、提示後のユーザ感情を新たに認識する試行を繰り返すことにより、経由点の決定方法を強化学習する学習機能を有する
ことを特徴とする請求項２記載の対話処理装置。
【請求項６】
学習機能は、
経由点のθ成分と新たに認識されたユーザ感情に係る新たな現在点のθ成分との差、及び、経由点のＲ成分と前記新たな現在点のＲ成分との差が規定値以内である場合に、経由点を一時学習データとして蓄積し、
認識されたユーザ感情が目標とする感情の収束状態となった場合に、一時学習データとして蓄積されている経由点の件数が既存の学習結果よりも少なければ、一時学習データを新たな学習結果に設定する
ことを特徴とする請求項５記載の対話処理装置。
【請求項７】
学習結果は、試行回数ｔから導くことができる関数θ＝ｆ(t)、及び、関数Ｒ＝f(t)として記憶され、
経由点の決定は、これらの関数に基づき、θ、Ｒを決定することでなされる
ことを特徴とする請求項６記載の対話処理装置。
【請求項１】
ユーザの感情の認識と、知識データベースを用いたユーザに対する感情表現とを実行する対話処理装置であって、
ユーザ感情の認識結果から、感情の種別及び感情の強さを成分とした座標系における現在点を得るとともに、この座標系において現在点よりも目標とする感情の収束状態に近い経由点を決定する処理を含み、
知識データベースは、複数の語彙及び定型文のそれぞれを、感情の種別及び感情の強さに応じたパラメータに関連付けて示すものであり、
前記ユーザに対する感情表現は、経由点での感情の種別及び感情の強さに応じたパラメータで知識データベースを検索することで、対話に用いるべき語彙及び定型文の少なくとも一方を得て、その取得結果を用いた応答文を作成することでなされる
ことを特徴とする対話処理装置。
【請求項２】
前記座標系は、θ成分の領域毎に感情の種別を割り当て、感情の強さをＲ成分とした極座標系であり、
前記パラメータは、感情の種別及び感情の強さをＸ−Ｙ成分とした直交座標系における、知識データベースに収録された語彙及び定型文を母集団としたマハラノビス距離である
ことを特徴とする請求項１記載の対話処理装置。
【請求項３】
前記極座標系のθ成分により示される感情の種別は、前記極座標系において時計回りに、安、好、喜、驚、昂、怒、厭、哀、怖、恥のそれぞれの感情である
ことを特徴とする請求項２記載の対話処理装置。
【請求項４】
経由点の決定は、
現在点のθ成分よりも安、好、喜の感情種別が割り当てられた領域に近い値を経由点のθ成分として設定する第１の処理、及び、現在点のＲ成分よりも感情の強さを弱めた値を経由点のＲ成分として設定する第２の処理の少なくとも一方を実行することでなされる
ことを特徴とする請求項３記載の対話処理装置。
【請求項５】
前記対話処理装置は、作成した応答文をユーザに提示し、提示後のユーザ感情を新たに認識する試行を繰り返すことにより、経由点の決定方法を強化学習する学習機能を有する
ことを特徴とする請求項２記載の対話処理装置。
【請求項６】
学習機能は、
経由点のθ成分と新たに認識されたユーザ感情に係る新たな現在点のθ成分との差、及び、経由点のＲ成分と前記新たな現在点のＲ成分との差が規定値以内である場合に、経由点を一時学習データとして蓄積し、
認識されたユーザ感情が目標とする感情の収束状態となった場合に、一時学習データとして蓄積されている経由点の件数が既存の学習結果よりも少なければ、一時学習データを新たな学習結果に設定する
ことを特徴とする請求項５記載の対話処理装置。
【請求項７】
学習結果は、試行回数ｔから導くことができる関数θ＝ｆ(t)、及び、関数Ｒ＝f(t)として記憶され、
経由点の決定は、これらの関数に基づき、θ、Ｒを決定することでなされる
ことを特徴とする請求項６記載の対話処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−９３９７２（Ｐ２０１２−９３９７２Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２４０９５３（Ｐ２０１０−２４０９５３）
【出願日】平成２２年１０月２７日（２０１０．１０．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、経済産業省、全国中小企業団体中央会、ものづくり中小企業製品開発等支援補助金（試作開発等支援事業）委託事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５１０２８６０４２）ＭＴＩジャパン株式会社 (1)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２７日（２０１０．１０．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、経済産業省、全国中小企業団体中央会、ものづくり中小企業製品開発等支援補助金（試作開発等支援事業）委託事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５１０２８６０４２）ＭＴＩジャパン株式会社 (1)
【Ｆターム（参考）】
[ Back to top ]