対話システム評価方法
【課題】対話システムの種類に依存しない、客観的かつ定量的な対話システム評価方法を提供する。
【解決手段】評価の基準となる対話と評価の対象となる対話に特徴を付与するための特徴付与部、基準対話の特徴と、被評価対話の特徴間の類似度を計算する類似度計算部、前記類似度から前記被評価対話を評価する対話評価部から構成される。
【解決手段】評価の基準となる対話と評価の対象となる対話に特徴を付与するための特徴付与部、基準対話の特徴と、被評価対話の特徴間の類似度を計算する類似度計算部、前記類似度から前記被評価対話を評価する対話評価部から構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも一つの対話からなる基準対話と、被評価対話とに特徴を付与し、それらの特徴間の類似度を前記被評価対話の評価基準とする対話評価方法に関するものである。
【背景技術】
【０００２】
従来、コンピュータの自動応答による対話型のシステム（以後対話システムと呼ぶ）が切符の予約、口座の残高確認等で利用されている。このような技術開発のためには、対話システムの性能評価が必須であり、その評価方法として、特定のタスクの達成を目指したタスク指向型対話を対象とする評価方法が知られている（例えば特許文献１参照）。
【特許文献１】 特開２００４−２７２７４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１の装置では、以下に示すような問題があった。
▲１▼対話の評価が人間の主観に基づくため、客観性に欠ける。
▲２▼明確な目的や目標を持たない非タスク指向型対話の場合、対話の評価に、目的の達成率、目的の達成時間という評価基準を用いることができない。
本発明は、上述した課題を解決するためになされたものであり、
対話の評価に人間の主観を必要とせず、明確な目的や目標を持たない対話にも適用でき、少なくとも１つの基準となる対話を与えることで、被評価対話を評価する方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
請求項１の発明は、以下の通りである。第１図は本発明方法の原理を示すフローチャートである。本発明においては、（ｉ）評価の基準となる対話（以後基準対話と呼ぶ）と評価の対象となる対話（以後被評価対話と呼ぶ）に特徴を付与するための特徴付与部（１１０）、（ｉｉ）基準対話の特徴と、被評価対話の特徴間の類似度を計算する類似度計算部（１１１）、（ｉｉｉ）前記類似度から前記被評価対話を評価する対話評価部（１１２）を持つ。
【０００５】
特徴付与部は、基準対話（１０４）と被評価対話（１０２）に含まれる各発話に対して、少なくとも１つの特徴を人手で付与した対話（１０３、以後標準データ呼ぶ）と、前記発話と全ての特徴の組の中で、前記標準データから計算される尤度が最大となる特徴を付与する。
【０００６】
類似度計算部は、被評価対話に付与された特徴（１０７）と、基準対話に付与された特徴（１０８）から、１０７と１０８の類似度を計算する。
【０００７】
対話評価部は、類似度計算部で計算した類似度を基に、対話の評価を行う。具体的には、人間同士の対話を自然な対話であると仮定し、基準対話を人間同士の対話とした場合、被評価対話と基準対話の類似度の大小によって被評価対話の自然さを評価する。
【発明の効果】
【０００８】
以上説明したように、本発明によれば、以下の効果が得られる。
（１） 対話に対して、自動的に特徴を付与することができるため、従来のように人手による特徴付与の過程が不要となり、人手と時間を大幅に節減できる。
（２） 基準対話と被評価対話の類似度を求めることができる。その類似度により被評価対話を評価するため、客観的な評価が可能となる。
（３） 対話システムの客観的・定量的な評価が可能となり、癒し系ロボットをはじめとする各種対話システムの設計または改良に資することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の最良の実施形態を添付した第１図から第５図に基づいて説明する。
【００１０】
第２図は本例の構成を示す図であり、人間同士の対話を基準対話、人間と対話システムの対話を被評価対話として第１図に示す本発明を適用したもので、特徴付与部は、発話の意味を表す発話タグを付与する。類似度計算部は、基準対話と被評価対話の類似度を隠れマルコフモデルによって計算する。対話評価部は、前記類似度の大小により、対話の自然さを評価する。
【００１１】
特徴付与部では、発話の意味を表す発話タグを特徴とし、あらかじめ人手で発話タグを付与された複数の対話から成る標準データから、基準対話または被評価対話の各発話に対して発話タグ毎に尤度を計算し、尤度が最大となる発話タグを前記発話に付与する。
【００１２】
第３図は、対話と発話タグの関係を説明するための図である。発話タグは以下に示す１４種類である。
（１）Ｕｎｉｎｔｅｒｐｒｅｔａｂｌｅ，（２）Ｓｅｌｆ−ｔａｌｋ，（３）３ｒｄ−ｐａｒｔｙ−ｔａｌｋ，（４）Ｓｔａｔｅｍｅｎｔ，（５）Ｑｕｅｓｔｉｏｎ，（６）Ｄｉｒｅｃｔｉｖｅ，（７）Ｉｎｆｌｕｅｎｃｉｎｇ−ａｄｄｒｅｓｓｅｅ−ｆｕｔ−ａｃｔｎ，（８）Ｃｏｍｍｉｔｔｉｎｇ−ｓｐｅａｋｅｒ−ｆｕｔｕｒｅ−ａｃｔｉｏｎ，（９）Ｏｔｈｅｒ−ｆｏｒｗａｒｄ−ｆｕｎｃｔｉｏｎ，（１０）Ｔｈａｎｋｉｎｇ，（１１）Ａｐｏｌｏｇｙ，（１２）Ａｇｒｅｅｍｅｎｔ，（１３）Ｕｎｄｅｒｓｔａｎｄｉｎｇ，（１４）Ｏｔｈｅｒ
【００１３】
標準データを構成するにあたり、標準データに含まれる対話中の各発話に対して、少なくとも１つの発話タグを人手で付与する。
【００１４】
標準データを構成する対話に含まれる単語νｍの出現確率Ｐ（νｍ）、前記対話に含まれる単語νｍと単語νｎの２語が連続して現れる確率Ｐ（νｍνｎ）、前記対話に含まれる発話タグｃｋの出現確率Ｐ（ｃｋ）、発話タグｃｋが現れたときに前記対話に含まれる単語νｍが現れる条件付き確率Ｐ（νｍ｜ｃｋ）、発話タグｃｋが現れたときに前記対話に含まれる単語νｍと単語νｎの２語が連続して現れる条件付き確率Ｐ（νｍνｎ｜ｃｋ）から、発話毎に発話タグｃｋの尤度ａｋを計算する。尤度ａｋの求め方は次式による。
上式において、
ｗｋ＝ｌｏｇＰ（ｃｋ）
ｗｍｋ＝Ｉ（νｍ，ｃｋ）
ｗｍｎｋ＝Ｉ（νｍνｎ，ｃｋ）−Ｉ（νｍ，ｃｋ）−Ｉ（νｎ，ｃｋ）
Ｏｍ：単語νｍが発話に含まれるとき１，それ以外０
Ｏｍｎ：単語列νｍνｎが発話に含まれるとき１，それ以外０
Ｍ：単語の総数
である。基準対話または被評価対話の各発話に対して、尤度ａｋが最大となる発話タグｃｋを付与する。
【００１５】
第４図は、発話として「それで良い」を例にとって前記処理を説明するための図である。第４図において、４０１、４０２、４０３は「それで良い」に含まれる単語、４０４、４０５は「それで良い」に含まれる２語連続で現れた単語である。標準データを構成する対話と、４０１、４０２、４０３、４０４、４０５から式（１）のｗｋ、ｗｍｋ、ｗｍｎｋを計算し、「それで良い」に対する、発話タグｃｋの尤度ａｋを求める。第４図において、尤度ａ１が０．３で最大のため、「それで良い」にはタグｃ１を付与する。
【００１６】
類似度計算部は、基準対話に付与された発話タグの系列を隠れマルコフモデルによってモデル化し、前記モデルに対して、被評価対話に付与された発話タグの系列を入力することによって、前記基準対話と前記被評価対話の出力確率を計算し、その出力確率を類似度とする。
【００１７】
人間同士の対話は自然で理想的であるという前提に立ち、人間同士の対話を基準対話とする。前記基準対話を隠れマルコフモデルでモデル化し、被評価対話に付与された発話タグの系列を前記モデルに入力することで、前記被評価対話が人間同士の対話にどの程度類似しているかを出力確率として計測する。
【００１８】
第５図は、人間同士の対話と、人間と対話システムの対話をそれぞれ被評価対話とした場合を例にとって本発明による処理結果を説明するための図である。図では、横軸を出力確率、縦軸を相対頻度としている。第５図から明らかなように、人間同士の対話は、人間と対話システムの対話と比べて、大きい出力確率となり、基準対話との類似度を計算できることがわかる。
【００１９】
対話評価部は、類似度計算部で求めた類似度の大小により、人間同士の対話と、人間と対話システムの対話を評価する。基準対話は自然で理想的な対話であるため、基準対話と類似度が大きい被評価対話ほど自然な対話であると評価する。第５図では、人間と対話システムの対話は、人間同士の対話と比べて、不自然な対話と評価される。
【産業上の利用性】
【００２０】
本発明は、癒し系ロボットをはじめとする各種対話システムの設計、改良に関する。
【図面の簡単な説明】
【００２１】
【図１】 本発明方法の原理を表す構成図である。
【図２】 本発明の一実施形態例を表す構成図である。
【図３】 対話と発話とタグの関係を表す説明図である。
【図４】 本発明の一実施形態例における、タグ付与手法を表す説明図である。
【図５】 本発明の一実施形態例における、対話の評価例を示す図である。
【符号の説明】
【００２２】
１０１ 人手による特徴付与
１０２ 評価の対象となる対話
１０３ 標準データ
１０４ 評価の基準となる対話
１０５ 評価の対象となる対話の自動特徴付与
１０６ 評価の基準となる対話の自動特徴付与
１０７ 被評価対話の特徴
１０８ 基準対話の特徴
１０９ 類似度計算
１１０ 特徴付与部
１１１ 類似度計算部
１１２ 対話評価部
４０１ 単語「それ」
４０２ 単語「で」
４０３ 単語「良い」
４０４ ２単語の並び「それで」
４０５ ２単語の並び「で良い」
【技術分野】
【０００１】
本発明は、少なくとも一つの対話からなる基準対話と、被評価対話とに特徴を付与し、それらの特徴間の類似度を前記被評価対話の評価基準とする対話評価方法に関するものである。
【背景技術】
【０００２】
従来、コンピュータの自動応答による対話型のシステム（以後対話システムと呼ぶ）が切符の予約、口座の残高確認等で利用されている。このような技術開発のためには、対話システムの性能評価が必須であり、その評価方法として、特定のタスクの達成を目指したタスク指向型対話を対象とする評価方法が知られている（例えば特許文献１参照）。
【特許文献１】 特開２００４−２７２７４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１の装置では、以下に示すような問題があった。
▲１▼対話の評価が人間の主観に基づくため、客観性に欠ける。
▲２▼明確な目的や目標を持たない非タスク指向型対話の場合、対話の評価に、目的の達成率、目的の達成時間という評価基準を用いることができない。
本発明は、上述した課題を解決するためになされたものであり、
対話の評価に人間の主観を必要とせず、明確な目的や目標を持たない対話にも適用でき、少なくとも１つの基準となる対話を与えることで、被評価対話を評価する方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
請求項１の発明は、以下の通りである。第１図は本発明方法の原理を示すフローチャートである。本発明においては、（ｉ）評価の基準となる対話（以後基準対話と呼ぶ）と評価の対象となる対話（以後被評価対話と呼ぶ）に特徴を付与するための特徴付与部（１１０）、（ｉｉ）基準対話の特徴と、被評価対話の特徴間の類似度を計算する類似度計算部（１１１）、（ｉｉｉ）前記類似度から前記被評価対話を評価する対話評価部（１１２）を持つ。
【０００５】
特徴付与部は、基準対話（１０４）と被評価対話（１０２）に含まれる各発話に対して、少なくとも１つの特徴を人手で付与した対話（１０３、以後標準データ呼ぶ）と、前記発話と全ての特徴の組の中で、前記標準データから計算される尤度が最大となる特徴を付与する。
【０００６】
類似度計算部は、被評価対話に付与された特徴（１０７）と、基準対話に付与された特徴（１０８）から、１０７と１０８の類似度を計算する。
【０００７】
対話評価部は、類似度計算部で計算した類似度を基に、対話の評価を行う。具体的には、人間同士の対話を自然な対話であると仮定し、基準対話を人間同士の対話とした場合、被評価対話と基準対話の類似度の大小によって被評価対話の自然さを評価する。
【発明の効果】
【０００８】
以上説明したように、本発明によれば、以下の効果が得られる。
（１） 対話に対して、自動的に特徴を付与することができるため、従来のように人手による特徴付与の過程が不要となり、人手と時間を大幅に節減できる。
（２） 基準対話と被評価対話の類似度を求めることができる。その類似度により被評価対話を評価するため、客観的な評価が可能となる。
（３） 対話システムの客観的・定量的な評価が可能となり、癒し系ロボットをはじめとする各種対話システムの設計または改良に資することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の最良の実施形態を添付した第１図から第５図に基づいて説明する。
【００１０】
第２図は本例の構成を示す図であり、人間同士の対話を基準対話、人間と対話システムの対話を被評価対話として第１図に示す本発明を適用したもので、特徴付与部は、発話の意味を表す発話タグを付与する。類似度計算部は、基準対話と被評価対話の類似度を隠れマルコフモデルによって計算する。対話評価部は、前記類似度の大小により、対話の自然さを評価する。
【００１１】
特徴付与部では、発話の意味を表す発話タグを特徴とし、あらかじめ人手で発話タグを付与された複数の対話から成る標準データから、基準対話または被評価対話の各発話に対して発話タグ毎に尤度を計算し、尤度が最大となる発話タグを前記発話に付与する。
【００１２】
第３図は、対話と発話タグの関係を説明するための図である。発話タグは以下に示す１４種類である。
（１）Ｕｎｉｎｔｅｒｐｒｅｔａｂｌｅ，（２）Ｓｅｌｆ−ｔａｌｋ，（３）３ｒｄ−ｐａｒｔｙ−ｔａｌｋ，（４）Ｓｔａｔｅｍｅｎｔ，（５）Ｑｕｅｓｔｉｏｎ，（６）Ｄｉｒｅｃｔｉｖｅ，（７）Ｉｎｆｌｕｅｎｃｉｎｇ−ａｄｄｒｅｓｓｅｅ−ｆｕｔ−ａｃｔｎ，（８）Ｃｏｍｍｉｔｔｉｎｇ−ｓｐｅａｋｅｒ−ｆｕｔｕｒｅ−ａｃｔｉｏｎ，（９）Ｏｔｈｅｒ−ｆｏｒｗａｒｄ−ｆｕｎｃｔｉｏｎ，（１０）Ｔｈａｎｋｉｎｇ，（１１）Ａｐｏｌｏｇｙ，（１２）Ａｇｒｅｅｍｅｎｔ，（１３）Ｕｎｄｅｒｓｔａｎｄｉｎｇ，（１４）Ｏｔｈｅｒ
【００１３】
標準データを構成するにあたり、標準データに含まれる対話中の各発話に対して、少なくとも１つの発話タグを人手で付与する。
【００１４】
標準データを構成する対話に含まれる単語νｍの出現確率Ｐ（νｍ）、前記対話に含まれる単語νｍと単語νｎの２語が連続して現れる確率Ｐ（νｍνｎ）、前記対話に含まれる発話タグｃｋの出現確率Ｐ（ｃｋ）、発話タグｃｋが現れたときに前記対話に含まれる単語νｍが現れる条件付き確率Ｐ（νｍ｜ｃｋ）、発話タグｃｋが現れたときに前記対話に含まれる単語νｍと単語νｎの２語が連続して現れる条件付き確率Ｐ（νｍνｎ｜ｃｋ）から、発話毎に発話タグｃｋの尤度ａｋを計算する。尤度ａｋの求め方は次式による。
上式において、
ｗｋ＝ｌｏｇＰ（ｃｋ）
ｗｍｋ＝Ｉ（νｍ，ｃｋ）
ｗｍｎｋ＝Ｉ（νｍνｎ，ｃｋ）−Ｉ（νｍ，ｃｋ）−Ｉ（νｎ，ｃｋ）
Ｏｍ：単語νｍが発話に含まれるとき１，それ以外０
Ｏｍｎ：単語列νｍνｎが発話に含まれるとき１，それ以外０
Ｍ：単語の総数
である。基準対話または被評価対話の各発話に対して、尤度ａｋが最大となる発話タグｃｋを付与する。
【００１５】
第４図は、発話として「それで良い」を例にとって前記処理を説明するための図である。第４図において、４０１、４０２、４０３は「それで良い」に含まれる単語、４０４、４０５は「それで良い」に含まれる２語連続で現れた単語である。標準データを構成する対話と、４０１、４０２、４０３、４０４、４０５から式（１）のｗｋ、ｗｍｋ、ｗｍｎｋを計算し、「それで良い」に対する、発話タグｃｋの尤度ａｋを求める。第４図において、尤度ａ１が０．３で最大のため、「それで良い」にはタグｃ１を付与する。
【００１６】
類似度計算部は、基準対話に付与された発話タグの系列を隠れマルコフモデルによってモデル化し、前記モデルに対して、被評価対話に付与された発話タグの系列を入力することによって、前記基準対話と前記被評価対話の出力確率を計算し、その出力確率を類似度とする。
【００１７】
人間同士の対話は自然で理想的であるという前提に立ち、人間同士の対話を基準対話とする。前記基準対話を隠れマルコフモデルでモデル化し、被評価対話に付与された発話タグの系列を前記モデルに入力することで、前記被評価対話が人間同士の対話にどの程度類似しているかを出力確率として計測する。
【００１８】
第５図は、人間同士の対話と、人間と対話システムの対話をそれぞれ被評価対話とした場合を例にとって本発明による処理結果を説明するための図である。図では、横軸を出力確率、縦軸を相対頻度としている。第５図から明らかなように、人間同士の対話は、人間と対話システムの対話と比べて、大きい出力確率となり、基準対話との類似度を計算できることがわかる。
【００１９】
対話評価部は、類似度計算部で求めた類似度の大小により、人間同士の対話と、人間と対話システムの対話を評価する。基準対話は自然で理想的な対話であるため、基準対話と類似度が大きい被評価対話ほど自然な対話であると評価する。第５図では、人間と対話システムの対話は、人間同士の対話と比べて、不自然な対話と評価される。
【産業上の利用性】
【００２０】
本発明は、癒し系ロボットをはじめとする各種対話システムの設計、改良に関する。
【図面の簡単な説明】
【００２１】
【図１】 本発明方法の原理を表す構成図である。
【図２】 本発明の一実施形態例を表す構成図である。
【図３】 対話と発話とタグの関係を表す説明図である。
【図４】 本発明の一実施形態例における、タグ付与手法を表す説明図である。
【図５】 本発明の一実施形態例における、対話の評価例を示す図である。
【符号の説明】
【００２２】
１０１ 人手による特徴付与
１０２ 評価の対象となる対話
１０３ 標準データ
１０４ 評価の基準となる対話
１０５ 評価の対象となる対話の自動特徴付与
１０６ 評価の基準となる対話の自動特徴付与
１０７ 被評価対話の特徴
１０８ 基準対話の特徴
１０９ 類似度計算
１１０ 特徴付与部
１１１ 類似度計算部
１１２ 対話評価部
４０１ 単語「それ」
４０２ 単語「で」
４０３ 単語「良い」
４０４ ２単語の並び「それで」
４０５ ２単語の並び「で良い」
【特許請求の範囲】
【請求項１】
被評価対話に対し、
少なくとも一つの対話からなる基準対話と、前記被評価対話に、指定された複数の特徴を付与する第１の過程と、
前記基準対話の特徴と、前記被評価対話の特徴の類似度を計算し、前記被評価対話を評価する第２の過程と、
を有することを特徴とする対話評価方法。
【請求項１】
被評価対話に対し、
少なくとも一つの対話からなる基準対話と、前記被評価対話に、指定された複数の特徴を付与する第１の過程と、
前記基準対話の特徴と、前記被評価対話の特徴の類似度を計算し、前記被評価対話を評価する第２の過程と、
を有することを特徴とする対話評価方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−２６２５２３（Ｐ２００８−２６２５２３Ａ）
【公開日】平成２０年１０月３０日（２００８．１０．３０）
【国際特許分類】
【出願番号】特願２００７−１２７３８０（Ｐ２００７−１２７３８０）
【出願日】平成１９年４月１１日（２００７．４．１１）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 電子情報通信学会報告 ＩＳＳＮ ０９１３−５８６５ 信学技報 Ｖｏｌ．１０６ Ｎｏ．３００ 発行日 ２００６年１０月１２日
【出願人】（５０４１３９６６２）国立大学法人名古屋大学 (996)
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２０年１０月３０日（２００８．１０．３０）
【国際特許分類】
【出願日】平成１９年４月１１日（２００７．４．１１）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 電子情報通信学会報告 ＩＳＳＮ ０９１３−５８６５ 信学技報 Ｖｏｌ．１０６ Ｎｏ．３００ 発行日 ２００６年１０月１２日
【出願人】（５０４１３９６６２）国立大学法人名古屋大学 (996)
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]