文脈依存性推定装置、発話クラスタリング装置、方法、及びプログラム
【課題】対話データについて、文脈に依存している度合いを推定することができるようにする。
【解決手段】特徴量抽出部３０によって、複数の発話の時系列である対話データから、各発話の特徴量を抽出する。ＣＲＰクラスタリング部３１によって、抽出された各発話の特徴量に基づいて、ＣＲＰの手法を用いて、複数の発話をクラスタリングする。無限ＨＭＭクラスタリング部３２によって、抽出された各発話の特徴量に基づいて、無限ＨＭＭの手法を用いて、複数の発話をクラスタリングする。文脈依存度算出部２３によって、ＣＲＰのクラスタリング結果及び無限ＨＭＭのクラスタリング結果に基づいて、発話の文脈依存度を算出する。
【解決手段】特徴量抽出部３０によって、複数の発話の時系列である対話データから、各発話の特徴量を抽出する。ＣＲＰクラスタリング部３１によって、抽出された各発話の特徴量に基づいて、ＣＲＰの手法を用いて、複数の発話をクラスタリングする。無限ＨＭＭクラスタリング部３２によって、抽出された各発話の特徴量に基づいて、無限ＨＭＭの手法を用いて、複数の発話をクラスタリングする。文脈依存度算出部２３によって、ＣＲＰのクラスタリング結果及び無限ＨＭＭのクラスタリング結果に基づいて、発話の文脈依存度を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文脈依存性推定装置、発話クラスタリング装置、方法、及びプログラムに係り、特に、対話データについて、発話をクラスタリングする文脈依存性推定装置、発話クラスタリング装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
特定の対話ドメイン（ここで、ドメインとは対話システムが扱う対話内容・分野・ジャンルを表す。たとえば、フライト予約や会議室予約）における対話システムを構築する場合、当該ドメインの対話データを収集し、研究者や開発者が、その対話ドメインの対話をモデル化する必要がある。たとえば、語彙のセットは何がよいかといったものや、どのような種類の発話を扱うべきかといったことを決める。
【０００３】
対話システム構築において特に重要とされるのは、後者の発話の種類（対話行為タイプ、発話行為タイプとも呼ばれる）を決めるフェーズであり、非特許文献１に示されるように多くの研究がある。
【０００４】
しかしながら、こういった研究では対話行為の種類を人間が事前に決定している。一般に、どのような発話がドメインに存在し、どのくらいの対話行為数が必要かを決定するには、専門家の詳細な分析が必要で、コストが高い。そこで、発話をクラスタリングし、どのような発話のまとまりがあるか、いくつくらいの対話行為数が必要かを、データから自動的に求める手法が知られている（非特許文献２）。
【０００５】
非特許文献２の手法は、中華料理店過程（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ、ＣＲＰ）と呼ばれる手法を用いて、発話のクラスタリングを行い、最適な対話行為数を推定している。本手法は、対話中の発話を独立のものと見なし、クラスタリングを実施し、同時に、クラスタ数（すなわち、対話行為数）を決定している。
【０００６】
なお、クラスタ数を事前に決定しない方法はＣＲＰ以外にもいくつかあり、たとえば Ａｆｆｉｎｉｔｙ Ｐｒｏｐａｇａｔｉｏｎと呼ばれる手法や、Ｘ−Ｍｅａｎｓと呼ばれる手法が知られている（非特許文献３、非特許文献４）。また、クラスタ数を事前に決定する手法（たとえば、Ｋ−Ｍｅａｎｓ）を繰り返し用いて、最適なクラスタ数を発見することも可能である。たとえば、ある評価セットについて、クラスタ数を少しずつ増やして、最も高いクラスタリング精度が得られるクラスタ数を最適とする。ここで、精度はクラスタリング評価で一般的なｐｕｒｉｔｙやＦ値（Ｆ−ｍｅａｓｕｒｅ）などを用いればよい。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】A. Stolcke, N. Coccaro, R. Bates, P. Taylor, C. V. Ess-Dykema,K. Ries, E. Shriberg, D. Jurafsky, R. Martin, and M. Meteer,“ Dialogue act modelingfor automatic tagging and recognition of conversational speech, ”Computational Linguistics, vol. 26, no. 3, pp. 339-373, 2000.
【非特許文献２】N. Crook, R. Granell, and S. Pulman,“ Unsupervised classification of dialogue acts using a Dirichlet process mixture model, ” in Proc. SIGDIAL, 2009, pp. 341-348.
【非特許文献３】Clustering by Passing Messages Between Data Points. Brendan J. Frey and Delbert Dueck, Science 315, 972--976, 2007.
【非特許文献４】Dan Pelleg and Andrew Moore: X-means: Extending K-means with Efficient Estimation of the Number of Clusters. In Proc. ICML, 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の非特許文献２に記載の手法では、クラスタリングに際して、対話中の発話を独立のものと見なしている。しかし、対話データは連続した発話からなるのが通例である。従来技術では、このような対話に重要な文脈情報を使っておらず、クラスタリングの精度や対話行為数の推定が十分でない。
【０００９】
たとえば、「はい」は、肯定と相槌の両方の可能性が有り、文脈からでないと肯定及び相槌のいずれであるかを判断できないが、従来技術では同じものとして扱ってしまう。
【００１０】
加えて、ドメイン中の発話がどの程度文脈に依存するのかを知ることは対話システムを構築する上で有用であるが、従来技術では発話を独立なものと見なしているため、そのような知見は得られない。
【００１１】
本発明は、上記の事情を鑑みてなされたもので、対話データについて、文脈に依存している度合いを推定することができる文脈依存性推定装置、方法、及びプログラムを提供することを第１の目的とする。また、対話データについて、文脈を考慮して発話を精度良くクラスタリングすることができる発話クラスタリング装置及び方法を提供することを第２の目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために本発明に係る文脈依存性推定装置は、複数の発話の時系列である対話データから、各発話の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングする第１クラスタリング手段と、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングする第２クラスタリング手段と、前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定する推定手段と、を含んで構成されている。
【００１３】
本発明に係る文脈依存性推定方法は、特徴量抽出手段、第１クラスタリング手段、第２クラスタリング手段、及び推定手段を含む文脈依存性推定装置における文脈依存性推定方法であって、前記文脈依存性推定装置は、前記特徴量抽出手段によって、複数の発話の時系列である対話データから、各発話の特徴量を抽出し、前記第１クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングし、前記第２クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングし、前記推定手段によって、前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定することを特徴とする。
【００１４】
本発明によれば、特徴量抽出手段によって、複数の発話の時系列である対話データから、各発話の特徴量を抽出する。そして、第１クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングする。第２クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングする。
【００１５】
そして、推定手段によって、前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定する。
【００１６】
このように、発話の文脈情報を用いずに、発話をクラスタリングすると共に、発話の文脈情報を用いて発話をクラスタリングすることにより、対話データについて、文脈に依存している度合いを推定することができる。
【００１７】
本発明に係る前記第１クラスタリング手段は、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングし、前記第２クラスタリング手段は、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングするようにすることができる。
【００１８】
本発明に係る前記第２クラスタリング手段は、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成し、前記生成された各発話の前記付加特徴量に基づいて、前記複数の発話をクラスタリングするようにすることができる。
【００１９】
上記の対話データは、特定のドメインに関する対話データであり、前記推定手段は、以下の式に従って、前記特定のドメインにおける前記発話の文脈依存度を推定するようにすることができる。
【００２０】
【数１】
【００２１】
ただし、クラスタ数Ｃ１は、前記第１クラスタリング手段によってクラスタリングされたクラスタ数であり、クラスタ数Ｃ２は、前記第２クラスタリング手段によってクラスタリングされたクラスタ数である。
【００２２】
上記の対話データは、異なる２つのドメインに関する対話データであり、前記第１クラスタリング手段は、各ドメインについて、前記ドメインに関する対話データの複数の発話を各々クラスタリングし、前記第２クラスタリング手段は、各ドメインについて、前記ドメインに関する対話データの複数の発話を各々クラスタリングし、前記推定手段は、各ドメインについて、前記発話の文脈依存度を推定すると共に、以下の式に従って、前記ドメインの文脈依存比を推定するようにすることができる。
【００２３】
【数２】
【００２４】
本発明に係る前記推定手段は、以下の式に従って、前記第１クラスタリング手段によってクラスタリングされたクラスタＣの文脈依存度を推定するようにすることができる。
【００２５】
【数３】
【００２６】
ただし、Ｃ’は、前記第２クラスタリング手段によってクラスタリングされたクラスタの集合であり、ｃは、Ｃ’の要素であるクラスタである。
【００２７】
また、上記のクラスタの文脈依存度を推定する推定手段は、前記第１クラスタリング手段によってクラスタリングされた各クラスタの文脈依存度を推定すると共に、以下の式に従って、前記第１クラスタリング手段によってクラスタリングされたクラスタの平均文脈依存度を推定するようにすることができる。
【００２８】
【数４】
【００２９】
ただし、ｃ’’は、Ｃの要素であるクラスタである。
【００３０】
本発明に係る発話クラスタリング装置は、入力された複数の発話の時系列である対話データを受け付ける入力手段と、前記入力手段により受け付けた前記対話データを記憶する対話データ記憶手段と、前記対話データから、各発話の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングする無限ＨＭＭクラスタリング手段と、を含んで構成されている。
【００３１】
本発明に係る発話クラスタリング方法は、入力手段、対話データ記憶手段、特徴量抽出手段、及び無限ＨＭＭクラスタリング手段を含む発話クラスタリング装置における発話クラスタリング方法であって、前記発話クラスタリング装置は、前記入力手段によって、入力された複数の発話の時系列である対話データを受け付け、前記入力手段により受け付けた前記対話データを対話データ記憶手段に記憶し、特徴量抽出手段によって、前記対話データから、各発話の特徴量を抽出し、前記無限ＨＭＭクラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングする。
【００３２】
本発明に係る発話クラスタリング装置は、入力された複数の発話の時系列である対話データを受け付ける入力手段と、前記入力手段により受け付けた前記対話データを記憶する対話データ記憶手段と、前記対話データから、各発話の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成する文脈情報付加手段と、前記文脈情報付加手段によって生成された各発話の付加特徴量に基づいて、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングするＣＲＰクラスタリング手段と、を含んで構成されている。
【００３３】
本発明に係る発話クラスタリング方法は、入力手段、対話データ記憶手段、特徴量抽出手段、文脈情報付加手段、及びＣＲＰクラスタリング手段を含む発話クラスタリング装置における発話クラスタリング方法であって、前記発話クラスタリング装置は、前記入力手段によって、入力された複数の発話の時系列である対話データを受け付け、前記入力手段により受け付けた前記対話データを前記対話データ記憶手段に記憶し、前記特徴量抽出手段によって、前記対話データから、各発話の特徴量を抽出し、前記文脈情報付加手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成し、前記ＣＲＰクラスタリング手段によって、前記文脈情報付加手段によって生成された各発話の付加特徴量に基づいて、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングする。
【００３４】
本発明に係るプログラムは、コンピュータを、上記の文脈依存性推定装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００３５】
以上説明したように、本発明の文脈依存性装置、方法、及びプログラムによれば、発話の文脈情報を用いずに、発話をクラスタリングすると共に、発話の文脈情報を用いて発話をクラスタリングすることにより、対話データについて、文脈に依存している度合いを推定することができる、という効果が得られる。
また、本発明の発話クラスタリング装置及び方法によれば、対話データについて、文脈を考慮して発話を精度良くクラスタリングすることができる、という効果が得られる。
【図面の簡単な説明】
【００３６】
【図１】本発明の第１の実施の形態に係る文脈依存性推定装置の構成を示す概略図である。
【図２】本発明の第１の実施の形態に係る文脈依存性推定装置における文脈依存性推定処理ルーチンの内容を示すフローチャートである。
【図３】対話データの一例を示す図である。
【図４】対話行為の例を示す図である。
【図５】対話データの一例を示す図である。
【図６】対話行為の例を示す図である。
【図７】本発明の第２の実施の形態に係る文脈依存性推定装置の構成を示す概略図である。
【図８】本発明の第２の実施の形態に係る文脈依存性推定装置における対話データについて、文脈に依存している度合いを推定するフローチャートである。
【図９】本発明の第３の実施の形態に係る文脈依存性推定装置の構成を示す概略図である。
【発明を実施するための形態】
【００３７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３８】
〔第１の実施の形態〕
＜システム構成＞
本発明の第１の実施の形態に係る文脈依存性推定装置１００は、特定のドメインに関連する複数の発話の時系列である対話データが入力され、文脈依存性を推定して出力する。この文脈依存性推定装置１００は、ＣＰＵと、ＲＡＭと、後述する文脈依存度推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図１に示すように、文脈依存性推定装置１００は、入力部１０と、演算部２０と、出力部２８とを備えている。
【００３９】
入力部１０は、入力された対話データとして、特定のドメインに関連する複数の対話データを受け付ける。各対話データは複数の発話の時系列からなる。例えば、対話データは、対話システムと人間との対話データ、又は人間同士の対話データであり、データは自然言語のテキストや音声認識結果など、時系列的に順次処理できる自然言語のデータである。
【００４０】
演算部２０は、対話データ記憶部２１、発話クラスタリング部２２、及び文脈依存度算出部２３を備えている。なお、文脈依存度算出部２３が、推定手段の一例である。
【００４１】
対話データ記憶部２１は、入力部１０により受け付けた複数の対話データを記憶する。
【００４２】
発話クラスタリング部２２は、特徴量抽出部３０、ＣＲＰクラスタリング部３１、及び無限ＨＭＭクラスタリング部３２を備えている。なお、ＣＲＰクラスタリング部３１が、第１クラスタリング手段の一例であり、無限ＨＭＭクラスタリング部３２が、第２クラスタリング手段の一例である。
【００４３】
特徴量抽出部３０は、入力された対話データにおける各発話から特徴量を抽出する。例えば、ｂａｇ−ｏｆ−ｗｏｒｄｓの特徴量を抽出する。ｂａｇ−ｏｆ−ｗｏｒｄｓとは自然言語処理でよく用いられる特徴量であり、単語の頻度付き集合のことである。この集合を得るために、特徴量抽出部３０は、形態素解析を用い（本実施の形態ではＣｈａＳｅｎを使用）、各発話について、ｂａｇ−ｏｆ−ｗｏｒｄｓの特徴量を求める。なお、低頻度語はクラスタリングに悪影響を及ぼす可能性があるため、各ドメインの全データについて、１０回以上出現している単語のみを特徴量としてもよい。また、上記集合の各単語として標準形の単語を用いる。特徴量として、内容語のみの頻度を用いたり、機能語のみの頻度を用いたりするようにしてもよい。
【００４４】
ＣＲＰクラスタリング部３１は、特徴量抽出部３０によって抽出された各発話の特徴量に基づいて、ＣＲＰの手法を用いて、対話データの各発話をクラスタリングする。
【００４５】
ＣＲＰは、データから自動的にクラスタ数を決定する手法であり、下記の手続きでクラスタリングを行う。ＣＲＰにおいて、データ（すなわち、発話）は客と呼ばれ、クラスタはテーブルと呼ばれる。
【００４６】
まず、最初の客は最初のテーブルに配置される。そして、次の客(ci) は、すでに客がついたテーブル(tj)に座るか、新しいテーブル(tnew; new は新しいテーブルのインデックス) に、以下の（１）式で表される確率で座る。
【００４７】
【数５】
【００４８】
ここで、‘ｎ（tj）’はｔjについている客の数を返す関数であり、Ｎはこれまでにテーブルについた客の数である。また、αは、客が新しいテーブルにつく度合いを示すハイパーパラメタであり、αが大きければ大きいほどクラスタ数が多くなる。ヒューリスティクスとして、想定されるおおよそのクラスタ数の逆数がαに用いられる（たとえば、想定されるクラスタ数が１００なら０．０１）。Ｐ（ｃi|ｔj）はｃi がｔjから生成される確率である。この確率は以下の（２）式に従って計算する。
【００４９】
【数６】
【００５０】
ここで、Ｗは特徴量の集合であり、count（*，ｗ）は客またはテーブルにおいて、特徴量ｗが何回生起したかを表す。βは確率０を防ぐためのハイパーパラメタであり、十分小さい数であればよい。たとえば、０.００００１などである。Ｐ（ｃi|ｔnew）には一様分布を用いる。すべての客を順番に配置した後、ギブスサンプリングという手法で客を再配置していく。これは、客を一人そのテーブルから離し、上記処理によって別テーブル（新しいテーブルも含む）か、自分が元いたテーブルに再度配置させるものであり、この再配置を、すべての客について最適な配置が求まるまで何度も繰り返す。客の配置が変わらなくなるか、各データにつき１０００回といった十分な回数のサンプリングが行われたら、収束したとみなし、そのときの客のテーブルにおける配置を、クラスタリング結果とする。
【００５１】
このように、ＣＲＰクラスタリング部３１は、各発話の特徴量に基づいて、上記のようにＣＲＰの手法を用いて、発話（客）を複数のクラスタ（テーブル）にクラスタリングし、クラスタ数、及び各発話と該発話の属するクラスタの情報とを出力する。
【００５２】
無限ＨＭＭクラスタリング部３２は、特徴量抽出部３０によって抽出された各発話の特徴量に基づいて、無限ＨＭＭの手法を用いて、発話をクラスタリングする。
【００５３】
本実施の形態では、無限ＨＭＭと呼ばれる手法により、文脈情報を用いて発話のクラスタリングを行う。そして、その際にクラスタ数が自動的に決定されるようにする。
【００５４】
無限ＨＭＭの手法は、データからパラメタを推定するノンパラメトリックベイズの手法の一つであり、時系列的なデータを扱うＨＭＭを、無限の状態が扱えるようにしたものである。無限の状態が扱えるということの意味は、状態数が予め定まっていないということを指し、状態数はデータ依存で決定される。無限ＨＭＭの詳細は、非特許文献（Y. Teh, M. Jordan, M. Beal, and D. Blei, “ Sharing clusters among related groups: Hierarchical Dirichlet processes, ”in Proc. NIPS, 2004.）に記載されている。
【００５５】
本実施の形態では、この無限ＨＭＭを用いることで、文脈情報を用いた発話のクラスタリングを行い、同時に、対話行為数を推定する。無限ＨＭＭでは、発話のシーケンスをモデル化する。すなわち、各状態から発話が出力され、次の状態に遷移するモデルである。状態間の遷移（すなわち、発話集合間の遷移）を扱うため、文脈情報（特に、直前の発話の情報）を用いていると考えることができる。なお、ＨＭＭでは複数の状態が接続されているため、必ずしも直前の発話のみに依存してクラスタリングがされているわけではないことに注意する。
【００５６】
ここで、無限ＨＭＭを用いたクラスタリング手法について説明する。無限ＨＭＭはＣＲＰに似た処理によってクラスタリングを行うため、ここでも、データを客と呼び、クラスタをテーブルと呼んで、説明する。
【００５７】
無限ＨＭＭでは、客ｃiは、すでに客の着いているテーブルｔjか、新しいテーブル（ｔj=new）に、以下の（３）式で表される確率に従って座る。
【００５８】
【数７】
【００５９】
ここで、ｔcはｃの着席しているテーブルを表す。無限ＨＭＭでは、客には順序があり、ｃiの前と後の客を、それぞれｃi−1とｃi+1とする。これは、対話データ中の発話に順序があることに該当する。
【００６０】
Ｐ（ｔj，ｔk）はテーブル間の遷移確率であり、以下の（４）式で求められる。
【００６１】
【数８】
【００６２】
ここで、αは客が新しいテーブルに着く度合いを表すハイパーパラメタであり、Ｋはすでに客がいるテーブル数を表す。transitions(ｔj，ｔk）はｔjからｔkの遷移数であり、γは確率０を避けるためのハイパーパラメタである。十分小さい数であればよい。たとえば、０．００００１などである。客が新しいテーブルに着く確率は、以下の（５）式で表される。
【００６３】
【数９】
【００６４】
ここで、Ｐ（ｃi|ｔnew）には一様分布を用いる。
【００６５】
ＣＲＰの時と同様、ギブスサンプリングを用いて客の配置を最適化し、最終的に得られた客の配置をクラスタリングの結果とする。上記のように、客は、自分の前の客の着いているテーブルを見て自分の着くべきテーブルを決めており、無限ＨＭＭでは、文脈情報を用いてクラスタリングを行っている。
【００６６】
このように、無限ＨＭＭクラスタリング部３２は、各発話の特徴量に基づいて、上記のように無限ＨＭＭの手法を用いて、発話（客）を複数のクラスタ（テーブル）にクラスタリングし、クラスタ数、及び各発話と該発話の属するクラスタの情報とを出力する。
【００６７】
文脈依存度算出部２３は、以下に説明するように、文脈に依存している度合いを示す、発話の文脈依存度及びクラスタの文脈依存度を算出する。
【００６８】
ＣＲＰを用いたクラスタリング結果は文脈を見ない場合の結果であり、無限ＨＭＭを用いたクラスタリング結果は文脈を見た場合の結果である。よって、このクラスタ数（推定対話行為数）の違いを見ることで、ドメインにおいてどれほど発話が文脈に依存しているかを計算できる。具体的には、文脈依存度算出部２３は、以下の（６）式に従って、対話データのドメインに関する発話の文脈依存度を算出する。
【００６９】
【数１０】
【００７０】
また、ＣＲＰを用いたクラスタリングによるクラスタと無限ＨＭＭを用いたクラスタリングによるクラスタとを比較することで、どのような発話がより文脈に依存しているかを知ることができる。具体的には、ＣＲＰを用いたクラスタリングによる各クラスタの各データ（発話）が、無限ＨＭＭを用いたクラスタリングによる各クラスタにどのように割り振られたかを調べることで実現できる。ＣＲＰの１つのクラスタの各データが、無限ＨＭＭのクラスタのうち一つまたは少量のものにのみ割り振られているとすれば、そのクラスタの発話はそれほど文脈依存ではないと言える。しかし、ＣＲＰの１つのクラスタの各データが、無限ＨＭＭの多くのクラスタに割り振られているとすれば、それは文脈に大きく依存したクラスタであると言える。
【００７１】
そこで、文脈依存度算出部２３は、ＣＲＰクラスタリング部３１によるクラスタリング結果の各クラスタＣの文脈依存度を、以下の（７）式に従って算出する。
【００７２】
【数１１】
【００７３】
ここで、Ｃ’ は無限ＨＭＭクラスタリング部３２によるクラスタリング結果のクラスタの集合であり、ｃは、クラスタの集合Ｃ’の各要素（クラスタ）である。Ｐ（ｃ）は以下の（８）式に従って求められる。
【００７４】
【数１２】
【００７５】
上記（７）式は、情報理論におけるエントロピーの式と同様であり、ＣＲＰのクラスタ内のデータ（発話）が、無限ＨＭＭの多くのクラスタに散らばっている場合に大きな値を取る。これによって、各クラスタの文脈依存度を求めることができる。すなわち、この値が大きければ、そのクラスタに含まれる発話は文脈依存性が高いと考えられ、これらの発話を分析することで、文脈依存の発話に頑健な対話システムの構築につなげることが可能となる。
【００７６】
たとえば、ＣＲＰのあるクラスタに属する複数の発話が、無限ＨＭＭの多くのクラスタに対応していたとすると、そのクラスタにおける発話は、表面上については似ているが、文脈によって意味が異なる可能性が高い。
【００７７】
そのような発話のみを取り上げて集中的に分析することにより、文脈に応じてユーザ発話を高精度に理解できる対話システムの理解部につなげることができる。
【００７８】
また、全クラスタの文脈依存度の平均を取ることで、全体の文脈依存度も計算でき、分析に利用することができる。そこで、文脈依存度算出部２３は、以下の（９）式に従って、平均文脈依存度を算出する。
【００７９】
【数１３】
【００８０】
ここで、ｃ’’はＣＲＰクラスタリング部３１によるクラスタリング結果におけるクラスタ集合Ｃの各要素である。
【００８１】
出力部２８は、文脈依存度算出部２３によって算出された、発話の文脈依存度、クラスタの文脈依存度、及び平均文脈依存度を出力する。
【００８２】
＜文脈依存性推定装置の作用＞
次に、本実施の形態に係る文脈依存性推定装置１００の作用について説明する。まず、あるドメインに関する複数の発話の時系列が対話データとして文脈依存性推定装置１００に複数入力されると、文脈依存性推定装置１００によって、入力された複数の対話データが、対話データ記憶部２１へ格納される。そして、文脈依存性推定装置１００によって、図２に示す文脈依存性推定処理ルーチンが実行される。
【００８３】
まず、ステップＳ１０１において、複数の対話データの全ての発話について、ｂａｇ−ｏｆ−ｗｏｒｄｓの特徴量を抽出する。そして、ステップＳ１０２において、上記ステップＳ１０１において抽出された各発話の特徴量に基づいて、ＣＲＰの手法を用いたクラスタリングにより、各発話を複数のクラスタに分類する。
【００８４】
次のステップＳ１０３では、上記ステップＳ１０１において抽出された各発話の特徴量に基づいて、無限ＨＭＭの手法を用いたクラスタリングにより、各発話を複数のクラスタに分類する。
【００８５】
そして、ステップＳ１０４では、上記ステップＳ１０２のクラスタリング結果におけるクラスタ数と、上記ステップＳ１０３のクラスタリング結果におけるクラスタ数とに基づいて、上記（６）式に従って、当該ドメインに関する発話の文脈依存度を算出する。
【００８６】
ステップＳ１０５では、上記ステップＳ１０２のクラスタリング結果における各クラスタに属するデータ（発話）と、上記ステップＳ１０３のクラスタリング結果における各クラスタに属するデータ（発話）とに基づいて、上記（７）式に従って、ＣＲＰの手法を用いたクラスタリングによる各クラスタＣの文脈依存度を算出する。また、算出した各クラスタの文脈依存度に基づいて、上記（９）式に従って、ＣＲＰの手法を用いたクラスタリングによる各クラスタの平均文脈依存度を算出する。
【００８７】
そして、ステップＳ１０６において、上記ステップＳ１０４、１０５の算出結果を出力して、文脈依存度算出処理ルーチンを終了する。
【００８８】
＜実施例＞
以下に、実施例を示す。対話システムと人間との対話データと、人間同士の対話データをクラスタリングする例を用いて説明する。なお、ここで用いるデータは、チャットインタフェースを通して集められたデータであり、テキスト対話のデータである。
【００８９】
対話システムと人間との対話データは、対話システムと人間とが会話したデータであり、全部で１０００個の対話データである。対話の中で、システムと人間は動物の好き嫌いについて議論している。
【００９０】
このドメインをＡｎｉｍａｌ Ｄｉｓｃｕｓｓｉｏｎ（ＡＤ）ドメインと呼ぶこととする。対話例を図３に示す。上記図３では、Ｕがユーザ発話を表わしＳがシステム発話を表わしている。括弧内は本ドメインにおける対話行為タイプである。本ドメインでは、図４に示すような２９の対話行為が人手によって定義されている。
【００９１】
各対話行為の詳細については、非特許文献（東中竜一郎, 堂坂浩二, 磯崎秀樹, ”対話システムにおける共感と自己開示の効果”, 言語処理学会第15 回年次大会発表論文集, pp.446-449, 2009.）に詳細が記載されている。
【００９２】
また、人間同士の対話データは、聞き役対話を集めたものである。このドメインをＡｔｔｅｎｔｉｖｅ Ｌｉｓｔｅｎｉｎｇ（ＡＬ）ドメインと呼ぶこととする。聞き役対話とは、二者が聞き役と話し役に分かれて、一方が聞き役となって話し役の話を聞くという対話である。人間同士の対話データとして、このような対話データを、１２６０個収集した。対話例を図５に示す。上記図５では、Ｓは話し役を表わし、Ｌは聞き役を表わす。括弧内は本ドメインにおける対話行為タイプであり、図６に示すような３８の対話行為が人手によって定義されている。
【００９３】
各対話行為の詳細については、非特許文献（T. Meguro, R. Higashinaka, Y. Minami, and K. Dohsaka, “Controlling listening-oriented dialogue using partially observable Markov decision processes, ” in Proc. COLING, 2010, pp. 761-769.）に詳細が記載されている。
【００９４】
また、比較対象として、Ｋ−ｍｅａｎｓというクラスタリング手法を用いた。Ｋ−ｍｅａｎｓは、事前にクラスタ数が分かっている場合に用いられるクラスタリング手法の代表的なものであ。これは、まず、ランダムにクラスタを作成し、ＥＭアルゴリズムの枠組みによって、クラスタを局所最適な解が得られるまでアップデートしていく手法である。
【００９５】
ＡＤドメインとＡＬドメインのデータに対し、Ｋ−ｍｅａｎｓ、ＣＲＰ、及び無限ＨＭＭの各々の手法を用いてクラスタリングを行い、対話行為数を推定する実験を行った。ここで、Ｋ−ｍｅａｎｓは対話行為数を推定できない手法であるため、直接的な比較はできない。そこで、Ｋ−ｍｅａｎｓについては、人手で正解の対話行為数を与え、発話のクラスタリングを行った。対話行為数が予め分かっている状態で、クラスタリングを行うため、非常に強力なベースラインと見なせる。
【００９６】
ギブスサンプリングの計算コストが比較的高いため、実験に際しては、各ドメインからランダムに抽出した５０個の対話データずつを対象とした。ＡＤドメインの対話データは２８９４個の発話データであり、ＡＬドメインの対話データは、２４７０個の発話のデータであった。人手で付与した対話行為によれば、これらのサブセットの中には、それぞれ、２７種類の対話行為、３３種類の対話行為が含まれていた。
【００９７】
クラスタリングを行う前に、形態素解析を用い（本実験ではＣｈａＳｅｎを使用した）、各発話について、ｂａｇ−ｏｆ−ｗｏｒｄｓの特徴量を求めた。ただ、低頻度語はクラスタリングに悪影響を及ぼす可能性があるため、各ドメインの全データについて、１０回以上出現している単語のみを特徴量とし、単語は標準形を用いた。
【００９８】
クラスタリングの評価は、データに人手で付与された正解の対話行為ラベルと対照することで行った。
【００９９】
評価尺度としては、ｐｕｒｉｔｙとＦ−ｍｅａｓｕｒｅを用いた。どちらもクラスタリング評価の一般的な指標である。ｐｕｒｉｔｙは一つのクラスタにどの程度同じ対話行為の発話が入っているかを表し、Ｆ−ｍｅａｓｕｒｅは、データのペアに着目し、同じクラスタにあるべきペアがどの程度正しく同じクラスタに入っているかを定量化する。ｐｕｒｉｔｙは以下の（１０）式で計算される。
【０１００】
【数１４】
【０１０１】
ここで、Ｃ＝｛ｃ1,・・・,ｃK｝はクラスタの集合であり、Ｄ＝｛ｄ1,・・・,ｄN｝ は対話行為の集合であり、Ｎはデータ数（発話数）である。
【０１０２】
Ｆ−ｍｅａｓｕｒｅは、以下の（１１）式に従って算出される。
【０１０３】
【数１５】
【０１０４】
ここで、ＴＰ、ＦＰ、ＦＮは、それぞれｔｒｕｅ ｐｏｓｉｔｉｖｅ、ｆａｌｓｅ ｐｏｓｉｔｉｖｅ、ｆａｌｓｅ ｎｅｇａｔｉｖｅを表す。ｔｒｕｅ ｐｏｓｉｔｉｖｅは、同じ対話行為である発話のペアが同じクラスタに入っている回数であり、ｆａｌｓｅ ｐｏｓｉｔｉｖｅは異なる対話行為である発話のペアが同じクラスタに入っている回数であり、ｆａｌｓｅ ｎｅｇａｔｉｖｅは同じ対話行為である発話のペアが異なったクラスタに入っている回数である。
【０１０５】
Ｋ−ｍｅａｎｓがランダムな初期値に依存すること、ＣＲＰと無限ＨＭＭが確率的に動作することなどから、本実験ではそれぞれのクラスタリング手法で１００回クラスタリングを行い、その平均値を求めた。ＣＲＰと無限ＨＭＭについては、αには０．１を、βとγには０．０１を用いた。ギブスサンプリングのイタレーション数は１００とした。つまり、すべての客は１００回ずつ再配置された。
【０１０６】
以下の表１にＡＤドメインの発話のクラスタリング結果を示す。
【０１０７】
【表１】
＊は、Ｋ−ｍｅａｎｓに対してｔ検定により１％の有意水準で差があることを示す。＋は、ＣＲＰに対してｔ検定により１％の有意水準で差があることを示す。
また、以下の表２に、ＡＬドメインの発話のクラスタリング結果を示す。
【０１０８】
【表２】
【０１０９】
上記の結果から分かるように、無限ＨＭＭは、他の手法よりもクラスタリング性能が良い。すなわち、発話のクラスタリングに文脈情報を利用することが有用であることが分かった。
【０１１０】
また、無限ＨＭＭのクラスタ数は、ＡＤドメインで約１４３個、ＡＬドメインで３８個となっており、これが、自動的に推定された対話行為数である。
【０１１１】
ＣＲＰで推定された対話行為数の方が人手で与えた個数に近い。このことから、人間が対話行為を付与するという行為は、発話を独立のものと見なしてなされていると推測できる。しかしながら、本実験の結果によれば、人手による正解の対話行為数より、文脈を考慮した場合の対話行為数の方が多い。このことは、文脈を鑑みれば、人手による対話行為数が少なすぎる可能性を示唆していると考えられる。つまり、対話システムの設計者からすれば、文脈をより考慮した対話行為を加えるなど、対話行為の再設計の指針としてとらえることができ、その指針に沿って対話行為を設計し直すことで、より適切にユーザ発話を処理できる対話システムにつなげることが可能となると考えられる。
【０１１２】
また、発話の文脈依存度を算出すると、ＡＤドメインに対する発話の文脈依存度は１４３．６２／３５．０３＝４．０９９である。そして、ＡＬドメインに対する文脈依存度は、 ３８．００／２９．２８＝１．２９８である。このことから、ＡＤドメインの発話の方が、ドメインにおける文脈依存性が高いと判断できる。また、各ドメインにおける文脈依存度を比較して、後述する文脈依存比を算出すると、ＡＤドメインはＡＬドメインの４．０９９／１．２９８＝３．１５８倍、ドメイン依存の対話行為が多いことが、客観的な数値として分かった。
【０１１３】
以上説明したように、本実施の形態に係る文脈依存性推定装置によれば、発話の文脈情報を考慮しないＣＲＰの手法を用いて、対話データの発話をクラスタリングすると共に、発話の文脈情報を考慮した無限ＨＭＭの手法を用いた、対話データの発話をクラスタリングし、発話のクラスタリング結果を比較することにより、あるドメインの対話データについて、文脈依存度を推定することができる。
【０１１４】
また、発話のクラスタリングにおいて発話の文脈情報を考慮することにより、発話のクラスタリングの性能が向上するため、どのような発話がドメインに存在するかが一目で分かるようになり、対話システム構築が容易になる。さらに、ドメイン中の発話の文脈依存度を数値として算出できるため、対話データのドメインの深い理解につながる。たとえば、文脈依存度が高い発話が多いドメインだということが分かれば、システムの理解部において文脈情報をより多く持つといった改善が可能となる。
【０１１５】
〔第２の実施の形態〕
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１１６】
第２の実施の形態では、文脈情報を付加した発話の特徴量に基づいて、ＣＲＰの手法を用いたクラスタリングを行っている点が、第１の実施の形態と異なっている。
【０１１７】
図７に示すように、第２の実施の形態に係る文脈依存性推定装置２００の発話クラスタリング部２２２は、特徴量抽出部３０、ＣＲＰクラスタリング部３１、文脈情報付加部２３１、及びＣＲＰクラスタリング部２３２を備えている。なお、ＣＲＰクラスタリング部３１が、第１クラスタリング手段の一例であり、ＣＲＰクラスタリング部２３２が、第２クラスタリング手段の一例である。
【０１１８】
文脈情報付加部２３１は、特徴量抽出部３０によって抽出された各発話の特徴量に対して、文脈情報として、直前の発話の特徴量を付加して、付加特徴量を各々生成する。例えば、発話１、・・・、発話Ｎがあり、それぞれの特徴量を、特徴量１、・・・、特徴量Ｎとすると、各発話の特徴量に、前発話の特徴量を付加したもの、つまり、｛開始記号、 特徴量１｝、｛特徴量１、特徴量２｝、・・・、｛特徴量Ｎ−１、特徴量Ｎ｝を、各発話の付加特徴量として生成する。これによって、特徴量（ベクトル）の次元が２倍となる。
【０１１９】
ＣＲＰクラスタリング部２３２は、文脈情報付加部２３１によって生成された各発話の付加特徴量に基づいて、ＣＲＰクラスタリング部３１と同様に、ＣＲＰを用いて、発話をクラスタリングする。
【０１２０】
文脈依存度算出部２３は、ＣＲＰクラスタリング部３１によるクラスタリング結果におけるクラスタ数、及びＣＲＰクラスタリング部２３１によるクラスタリング結果におけるクラスタ数に基づいて、上記（６）式と同様の式に従って、文脈依存度を算出する。
【０１２１】
また、文脈依存度算出部２３は、ＣＲＰクラスタリング部３１によるクラスタリング結果における各クラスタのデータ、及びＣＲＰクラスタリング部２３１によるクラスタリング結果における各クラスタのデータに基づいて、上記（７）式と同様の式に従って、ＲＰクラスタリング部３１によるクラスタリング結果の各クラスタＣの文脈依存度を算出する。また、文脈依存度算出部２３は、上記（９）式と同様の式に従って、ＣＲＰクラスタリング部３１によるクラスタリング結果のクラスタの平均文脈依存度を算出する
【０１２２】
次に、第２の実施の形態における文脈依存性推定処理ルーチンについて、図８を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【０１２３】
まず、ステップＳ１０１において、複数の対話データの全ての発話について、特徴量を抽出する。そして、ステップＳ１０２において、上記ステップＳ１０１において抽出された各発話の特徴量に基づいて、ＣＲＰの手法を用いたクラスタリングにより、各発話を複数のクラスタに分類する。
【０１２４】
次のステップＳ２０１では、上記ステップＳ１０１において抽出された各発話の特徴量に対して、それぞれ直前の発話の特徴量を付加して、付加特徴量を各発話について生成する。
【０１２５】
そして、ステップＳ２０２において、上記ステップＳ２０１において生成された各発話の付加特徴量に基づいて、ＣＲＰの手法を用いたクラスタリングにより、各発話を複数のクラスタに分類する。
【０１２６】
そして、ステップＳ１０４では、上記ステップＳ１０２のクラスタリング結果におけるクラスタ数と、上記ステップＳ２０２のクラスタリング結果におけるクラスタ数とに基づいて、上記（６）式と同様の式に従って、当該ドメインに関する発話の文脈依存度を算出する。
【０１２７】
ステップＳ１０５では、上記ステップＳ１０２のクラスタリング結果における各クラスタに属するデータ（発話）と、上記ステップＳ２０２のクラスタリング結果における各クラスタに属するデータ（発話）とに基づいて、上記（７）式と同様の式に従って、上記ステップＳ１０２でのクラスタリングによる各クラスタＣの文脈依存度を算出する。また、算出した各クラスタの文脈依存度に基づいて、上記（９）式と同様の式に従って、上記ステップＳ１０２でのクラスタリングによる各クラスタの平均文脈依存度を算出する。
【０１２８】
そして、ステップＳ１０６において、上記ステップＳ１０４、１０５の算出結果を出力して、文脈依存度算出処理ルーチンを終了する。
【０１２９】
以上説明したように、本実施の形態に係る文脈依存性推定装置によれば、発話の文脈情報を考慮しないＣＲＰの手法を用いて、対話データの発話をクラスタリングすると共に、文脈情報として直前の発話の特徴量を付加した付加特徴量を用いて、対話データの発話をクラスタリングし、発話のクラスタリング結果を比較することにより、あるドメインの対話データについて、文脈依存度を推定することができる。
【０１３０】
〔第３の実施の形態〕
次に、第３の実施の形態について説明する。
【０１３１】
第３の実施の形態では、複数のドメインの各々に対する対話データについて、それぞれ発話のクラスタリングを行って、ドメインの文脈依存比を算出している点が、第１の実施の形態及び第２の実施の形態と異なっている。以下では、複数のドメインの各ドメインの文脈依存度を算出する方法として、第１の実施の形態と同様の方法を用いる場合を例に説明を行うが、各ドメインの文脈依存度を算出する方法として、第２の実施の形態と同様の方法を用いるようにしてもよい。
【０１３２】
図９に示すように、第３の実施の形態に係る文脈依存性推定装置３００は、入力部１０Ａ、１０Ｂと、演算部２０と、出力部２８とを備えている。
【０１３３】
入力部１０Ａは、入力された対話データとして、ドメインＡに関連する複数の対話データを受け付ける。入力部１０Ｂは、入力された対話データとして、ドメインＡとは異なるドメインＢに関連する複数の対話データを受け付ける。
【０１３４】
演算部２０は、対話データ記憶部２１Ａ、２１Ｂ、発話クラスタリング部２２Ａ、２２Ｂ、文脈依存度算出部２３Ａ、２３Ｂ、文脈依存比算出部３２３を備えている。
【０１３５】
対話データ記憶部２１Ａは、入力部１０Ａにより受け付けた複数の対話データを記憶する。対話データ記憶部２１Ｂは、入力部１０Ｂにより受け付けた複数の対話データを記憶する。
【０１３６】
発話クラスタリング部２２ＡのＣＲＰクラスタリング部３１は、特徴量抽出部３０によって抽出されたドメインＡの対話データの各発話の特徴量に基づいて、ＣＲＰの手法を用いて、ドメインＡについて、発話をクラスタリングする。発話クラスタリング部２２ＢのＣＲＰクラスタリング部３１は、特徴量抽出部３０によって抽出されたドメインＢの各発話の特徴量に基づいて、ＣＲＰの手法を用いて、ドメインＢについて、発話をクラスタリングする。
【０１３７】
発話クラスタリング部２２Ａの無限ＨＭＭクラスタリング部３２は、特徴量抽出部３０によって抽出されたドメインＡの対話データの各発話の特徴量に基づいて、無限ＨＭＭの手法を用いて、ドメインＡについて、発話をクラスタリングする。発話クラスタリング部２２Ｂの無限ＨＭＭクラスタリング部３２は、特徴量抽出部３０によって抽出されたドメインＢの対話データの各発話の特徴量に基づいて、無限ＨＭＭの手法を用いて、ドメインＢについて、発話をクラスタリングする。
【０１３８】
文脈依存度算出部２３Ａは、上記の（６）式に従って、ドメインＡに関する発話の文脈依存度を算出する。文脈依存度算出部２３Ｂは、上記の（６）式に従って、ドメインＢに関する発話の文脈依存度を算出する。
【０１３９】
文脈依存比算出部３２３は、算出したドメインＡに関する発話の文脈依存度及びドメインＢに関する発話の文脈依存度に基づいて、以下の（１２）式に従って、ドメインＡとドメインＢの文脈依存比を算出する。
【０１４０】
【数１６】
【０１４１】
また、文脈依存度算出部２３Ａは、ドメインＡについて、発話クラスタリング部２２ＡのＣＲＰクラスタリング部３１によるクラスタリング結果の各クラスタＣの文脈依存度を、上記の（７）式に従って算出する。文脈依存度算出部２３Ｂは、ドメインＢについて、発話クラスタリング部２２ＢのＣＲＰクラスタリング部３１によるクラスタリング結果の各クラスタＣの文脈依存度を算出する。
【０１４２】
文脈依存度算出部２３Ａは、ドメインＡについて、上記の（９）式に従って、平均文脈依存度を算出する。文脈依存度算出部２３Ｂは、ドメインＢについて、上記の（９）式に従って、平均文脈依存度を算出する。
【０１４３】
なお、第３の実施の形態に係る文脈依存性推定装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１４４】
このように、各ドメインについて発話の文脈依存度を算出して比較することにより、ドメインの文脈依存比を算出することができる。
【０１４５】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１４６】
例えば、対話全体の文脈を考慮しないクラスタリング手法として、ＣＲＰの手法を用いた場合を例に説明したが、対話全体の文脈を考慮しないクラスタリング手法であればこれに限定するものではない。例えば、Ｋ−Ｍｅａｎｓ、Ａｆｆｉｎｉｔｙ Ｐｒｏｐａｇａｔｉｏｎ、Ｘ−Ｍｅａｎｓといった方法を用いて、発話のクラスタリングを行ってもよい。
【０１４７】
なお、クラスタ数を自動的に決定し、文脈情報を用いて発話のクラスタリングを行う手法は、対話全体の文脈を考慮しない従来のクラスタリング手法に比べて、発話間の関係を考慮できるため、クラスタリングの精度が高いという利点がある。
【０１４８】
第１の実施の形態に記載の入力部１０、対話データ記憶部２１、特徴量抽出部３０、および無限ＨＭＭクラスタリング部３２を取り出して、発話クラスタリング装置として機能させることができる。同様に、第２の実施の形態に記載の入力部１０、対話データ記憶部２１、特徴量抽出部３０、文脈情報付加部２３１、およびＣＲＰクラスタリング部２３２を取り出して、発話クラスタリング装置として機能させることができる。クラスタ数を自動的に決定し、文脈情報を用いて発話のクラスタリングを行うことで、高精度なクラスタリングが可能になるという利点がある。
【０１４９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１５０】
１０、１０Ａ、１０Ｂ 入力部
２０ 演算部
２１、２１Ａ、２１Ｂ 対話データ記憶部
２２、２２Ａ、２２Ｂ、２２２発話クラスタリング部
２３、２３Ａ、２３Ｂ 文脈依存度算出部
３０ 特徴量抽出部
３１、２３２ ＣＲＰクラスタリング部
３２ 無限ＨＭＭクラスタリング部
１００、２００、３００ 文脈依存性推定装置
２３１ 文脈情報付加部
３２３ 文脈依存比算出部
【技術分野】
【０００１】
本発明は、文脈依存性推定装置、発話クラスタリング装置、方法、及びプログラムに係り、特に、対話データについて、発話をクラスタリングする文脈依存性推定装置、発話クラスタリング装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
特定の対話ドメイン（ここで、ドメインとは対話システムが扱う対話内容・分野・ジャンルを表す。たとえば、フライト予約や会議室予約）における対話システムを構築する場合、当該ドメインの対話データを収集し、研究者や開発者が、その対話ドメインの対話をモデル化する必要がある。たとえば、語彙のセットは何がよいかといったものや、どのような種類の発話を扱うべきかといったことを決める。
【０００３】
対話システム構築において特に重要とされるのは、後者の発話の種類（対話行為タイプ、発話行為タイプとも呼ばれる）を決めるフェーズであり、非特許文献１に示されるように多くの研究がある。
【０００４】
しかしながら、こういった研究では対話行為の種類を人間が事前に決定している。一般に、どのような発話がドメインに存在し、どのくらいの対話行為数が必要かを決定するには、専門家の詳細な分析が必要で、コストが高い。そこで、発話をクラスタリングし、どのような発話のまとまりがあるか、いくつくらいの対話行為数が必要かを、データから自動的に求める手法が知られている（非特許文献２）。
【０００５】
非特許文献２の手法は、中華料理店過程（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ、ＣＲＰ）と呼ばれる手法を用いて、発話のクラスタリングを行い、最適な対話行為数を推定している。本手法は、対話中の発話を独立のものと見なし、クラスタリングを実施し、同時に、クラスタ数（すなわち、対話行為数）を決定している。
【０００６】
なお、クラスタ数を事前に決定しない方法はＣＲＰ以外にもいくつかあり、たとえば Ａｆｆｉｎｉｔｙ Ｐｒｏｐａｇａｔｉｏｎと呼ばれる手法や、Ｘ−Ｍｅａｎｓと呼ばれる手法が知られている（非特許文献３、非特許文献４）。また、クラスタ数を事前に決定する手法（たとえば、Ｋ−Ｍｅａｎｓ）を繰り返し用いて、最適なクラスタ数を発見することも可能である。たとえば、ある評価セットについて、クラスタ数を少しずつ増やして、最も高いクラスタリング精度が得られるクラスタ数を最適とする。ここで、精度はクラスタリング評価で一般的なｐｕｒｉｔｙやＦ値（Ｆ−ｍｅａｓｕｒｅ）などを用いればよい。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】A. Stolcke, N. Coccaro, R. Bates, P. Taylor, C. V. Ess-Dykema,K. Ries, E. Shriberg, D. Jurafsky, R. Martin, and M. Meteer,“ Dialogue act modelingfor automatic tagging and recognition of conversational speech, ”Computational Linguistics, vol. 26, no. 3, pp. 339-373, 2000.
【非特許文献２】N. Crook, R. Granell, and S. Pulman,“ Unsupervised classification of dialogue acts using a Dirichlet process mixture model, ” in Proc. SIGDIAL, 2009, pp. 341-348.
【非特許文献３】Clustering by Passing Messages Between Data Points. Brendan J. Frey and Delbert Dueck, Science 315, 972--976, 2007.
【非特許文献４】Dan Pelleg and Andrew Moore: X-means: Extending K-means with Efficient Estimation of the Number of Clusters. In Proc. ICML, 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の非特許文献２に記載の手法では、クラスタリングに際して、対話中の発話を独立のものと見なしている。しかし、対話データは連続した発話からなるのが通例である。従来技術では、このような対話に重要な文脈情報を使っておらず、クラスタリングの精度や対話行為数の推定が十分でない。
【０００９】
たとえば、「はい」は、肯定と相槌の両方の可能性が有り、文脈からでないと肯定及び相槌のいずれであるかを判断できないが、従来技術では同じものとして扱ってしまう。
【００１０】
加えて、ドメイン中の発話がどの程度文脈に依存するのかを知ることは対話システムを構築する上で有用であるが、従来技術では発話を独立なものと見なしているため、そのような知見は得られない。
【００１１】
本発明は、上記の事情を鑑みてなされたもので、対話データについて、文脈に依存している度合いを推定することができる文脈依存性推定装置、方法、及びプログラムを提供することを第１の目的とする。また、対話データについて、文脈を考慮して発話を精度良くクラスタリングすることができる発話クラスタリング装置及び方法を提供することを第２の目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために本発明に係る文脈依存性推定装置は、複数の発話の時系列である対話データから、各発話の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングする第１クラスタリング手段と、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングする第２クラスタリング手段と、前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定する推定手段と、を含んで構成されている。
【００１３】
本発明に係る文脈依存性推定方法は、特徴量抽出手段、第１クラスタリング手段、第２クラスタリング手段、及び推定手段を含む文脈依存性推定装置における文脈依存性推定方法であって、前記文脈依存性推定装置は、前記特徴量抽出手段によって、複数の発話の時系列である対話データから、各発話の特徴量を抽出し、前記第１クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングし、前記第２クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングし、前記推定手段によって、前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定することを特徴とする。
【００１４】
本発明によれば、特徴量抽出手段によって、複数の発話の時系列である対話データから、各発話の特徴量を抽出する。そして、第１クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングする。第２クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングする。
【００１５】
そして、推定手段によって、前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定する。
【００１６】
このように、発話の文脈情報を用いずに、発話をクラスタリングすると共に、発話の文脈情報を用いて発話をクラスタリングすることにより、対話データについて、文脈に依存している度合いを推定することができる。
【００１７】
本発明に係る前記第１クラスタリング手段は、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングし、前記第２クラスタリング手段は、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングするようにすることができる。
【００１８】
本発明に係る前記第２クラスタリング手段は、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成し、前記生成された各発話の前記付加特徴量に基づいて、前記複数の発話をクラスタリングするようにすることができる。
【００１９】
上記の対話データは、特定のドメインに関する対話データであり、前記推定手段は、以下の式に従って、前記特定のドメインにおける前記発話の文脈依存度を推定するようにすることができる。
【００２０】
【数１】
【００２１】
ただし、クラスタ数Ｃ１は、前記第１クラスタリング手段によってクラスタリングされたクラスタ数であり、クラスタ数Ｃ２は、前記第２クラスタリング手段によってクラスタリングされたクラスタ数である。
【００２２】
上記の対話データは、異なる２つのドメインに関する対話データであり、前記第１クラスタリング手段は、各ドメインについて、前記ドメインに関する対話データの複数の発話を各々クラスタリングし、前記第２クラスタリング手段は、各ドメインについて、前記ドメインに関する対話データの複数の発話を各々クラスタリングし、前記推定手段は、各ドメインについて、前記発話の文脈依存度を推定すると共に、以下の式に従って、前記ドメインの文脈依存比を推定するようにすることができる。
【００２３】
【数２】
【００２４】
本発明に係る前記推定手段は、以下の式に従って、前記第１クラスタリング手段によってクラスタリングされたクラスタＣの文脈依存度を推定するようにすることができる。
【００２５】
【数３】
【００２６】
ただし、Ｃ’は、前記第２クラスタリング手段によってクラスタリングされたクラスタの集合であり、ｃは、Ｃ’の要素であるクラスタである。
【００２７】
また、上記のクラスタの文脈依存度を推定する推定手段は、前記第１クラスタリング手段によってクラスタリングされた各クラスタの文脈依存度を推定すると共に、以下の式に従って、前記第１クラスタリング手段によってクラスタリングされたクラスタの平均文脈依存度を推定するようにすることができる。
【００２８】
【数４】
【００２９】
ただし、ｃ’’は、Ｃの要素であるクラスタである。
【００３０】
本発明に係る発話クラスタリング装置は、入力された複数の発話の時系列である対話データを受け付ける入力手段と、前記入力手段により受け付けた前記対話データを記憶する対話データ記憶手段と、前記対話データから、各発話の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングする無限ＨＭＭクラスタリング手段と、を含んで構成されている。
【００３１】
本発明に係る発話クラスタリング方法は、入力手段、対話データ記憶手段、特徴量抽出手段、及び無限ＨＭＭクラスタリング手段を含む発話クラスタリング装置における発話クラスタリング方法であって、前記発話クラスタリング装置は、前記入力手段によって、入力された複数の発話の時系列である対話データを受け付け、前記入力手段により受け付けた前記対話データを対話データ記憶手段に記憶し、特徴量抽出手段によって、前記対話データから、各発話の特徴量を抽出し、前記無限ＨＭＭクラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングする。
【００３２】
本発明に係る発話クラスタリング装置は、入力された複数の発話の時系列である対話データを受け付ける入力手段と、前記入力手段により受け付けた前記対話データを記憶する対話データ記憶手段と、前記対話データから、各発話の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成する文脈情報付加手段と、前記文脈情報付加手段によって生成された各発話の付加特徴量に基づいて、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングするＣＲＰクラスタリング手段と、を含んで構成されている。
【００３３】
本発明に係る発話クラスタリング方法は、入力手段、対話データ記憶手段、特徴量抽出手段、文脈情報付加手段、及びＣＲＰクラスタリング手段を含む発話クラスタリング装置における発話クラスタリング方法であって、前記発話クラスタリング装置は、前記入力手段によって、入力された複数の発話の時系列である対話データを受け付け、前記入力手段により受け付けた前記対話データを前記対話データ記憶手段に記憶し、前記特徴量抽出手段によって、前記対話データから、各発話の特徴量を抽出し、前記文脈情報付加手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成し、前記ＣＲＰクラスタリング手段によって、前記文脈情報付加手段によって生成された各発話の付加特徴量に基づいて、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングする。
【００３４】
本発明に係るプログラムは、コンピュータを、上記の文脈依存性推定装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００３５】
以上説明したように、本発明の文脈依存性装置、方法、及びプログラムによれば、発話の文脈情報を用いずに、発話をクラスタリングすると共に、発話の文脈情報を用いて発話をクラスタリングすることにより、対話データについて、文脈に依存している度合いを推定することができる、という効果が得られる。
また、本発明の発話クラスタリング装置及び方法によれば、対話データについて、文脈を考慮して発話を精度良くクラスタリングすることができる、という効果が得られる。
【図面の簡単な説明】
【００３６】
【図１】本発明の第１の実施の形態に係る文脈依存性推定装置の構成を示す概略図である。
【図２】本発明の第１の実施の形態に係る文脈依存性推定装置における文脈依存性推定処理ルーチンの内容を示すフローチャートである。
【図３】対話データの一例を示す図である。
【図４】対話行為の例を示す図である。
【図５】対話データの一例を示す図である。
【図６】対話行為の例を示す図である。
【図７】本発明の第２の実施の形態に係る文脈依存性推定装置の構成を示す概略図である。
【図８】本発明の第２の実施の形態に係る文脈依存性推定装置における対話データについて、文脈に依存している度合いを推定するフローチャートである。
【図９】本発明の第３の実施の形態に係る文脈依存性推定装置の構成を示す概略図である。
【発明を実施するための形態】
【００３７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３８】
〔第１の実施の形態〕
＜システム構成＞
本発明の第１の実施の形態に係る文脈依存性推定装置１００は、特定のドメインに関連する複数の発話の時系列である対話データが入力され、文脈依存性を推定して出力する。この文脈依存性推定装置１００は、ＣＰＵと、ＲＡＭと、後述する文脈依存度推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図１に示すように、文脈依存性推定装置１００は、入力部１０と、演算部２０と、出力部２８とを備えている。
【００３９】
入力部１０は、入力された対話データとして、特定のドメインに関連する複数の対話データを受け付ける。各対話データは複数の発話の時系列からなる。例えば、対話データは、対話システムと人間との対話データ、又は人間同士の対話データであり、データは自然言語のテキストや音声認識結果など、時系列的に順次処理できる自然言語のデータである。
【００４０】
演算部２０は、対話データ記憶部２１、発話クラスタリング部２２、及び文脈依存度算出部２３を備えている。なお、文脈依存度算出部２３が、推定手段の一例である。
【００４１】
対話データ記憶部２１は、入力部１０により受け付けた複数の対話データを記憶する。
【００４２】
発話クラスタリング部２２は、特徴量抽出部３０、ＣＲＰクラスタリング部３１、及び無限ＨＭＭクラスタリング部３２を備えている。なお、ＣＲＰクラスタリング部３１が、第１クラスタリング手段の一例であり、無限ＨＭＭクラスタリング部３２が、第２クラスタリング手段の一例である。
【００４３】
特徴量抽出部３０は、入力された対話データにおける各発話から特徴量を抽出する。例えば、ｂａｇ−ｏｆ−ｗｏｒｄｓの特徴量を抽出する。ｂａｇ−ｏｆ−ｗｏｒｄｓとは自然言語処理でよく用いられる特徴量であり、単語の頻度付き集合のことである。この集合を得るために、特徴量抽出部３０は、形態素解析を用い（本実施の形態ではＣｈａＳｅｎを使用）、各発話について、ｂａｇ−ｏｆ−ｗｏｒｄｓの特徴量を求める。なお、低頻度語はクラスタリングに悪影響を及ぼす可能性があるため、各ドメインの全データについて、１０回以上出現している単語のみを特徴量としてもよい。また、上記集合の各単語として標準形の単語を用いる。特徴量として、内容語のみの頻度を用いたり、機能語のみの頻度を用いたりするようにしてもよい。
【００４４】
ＣＲＰクラスタリング部３１は、特徴量抽出部３０によって抽出された各発話の特徴量に基づいて、ＣＲＰの手法を用いて、対話データの各発話をクラスタリングする。
【００４５】
ＣＲＰは、データから自動的にクラスタ数を決定する手法であり、下記の手続きでクラスタリングを行う。ＣＲＰにおいて、データ（すなわち、発話）は客と呼ばれ、クラスタはテーブルと呼ばれる。
【００４６】
まず、最初の客は最初のテーブルに配置される。そして、次の客(ci) は、すでに客がついたテーブル(tj)に座るか、新しいテーブル(tnew; new は新しいテーブルのインデックス) に、以下の（１）式で表される確率で座る。
【００４７】
【数５】
【００４８】
ここで、‘ｎ（tj）’はｔjについている客の数を返す関数であり、Ｎはこれまでにテーブルについた客の数である。また、αは、客が新しいテーブルにつく度合いを示すハイパーパラメタであり、αが大きければ大きいほどクラスタ数が多くなる。ヒューリスティクスとして、想定されるおおよそのクラスタ数の逆数がαに用いられる（たとえば、想定されるクラスタ数が１００なら０．０１）。Ｐ（ｃi|ｔj）はｃi がｔjから生成される確率である。この確率は以下の（２）式に従って計算する。
【００４９】
【数６】
【００５０】
ここで、Ｗは特徴量の集合であり、count（*，ｗ）は客またはテーブルにおいて、特徴量ｗが何回生起したかを表す。βは確率０を防ぐためのハイパーパラメタであり、十分小さい数であればよい。たとえば、０.００００１などである。Ｐ（ｃi|ｔnew）には一様分布を用いる。すべての客を順番に配置した後、ギブスサンプリングという手法で客を再配置していく。これは、客を一人そのテーブルから離し、上記処理によって別テーブル（新しいテーブルも含む）か、自分が元いたテーブルに再度配置させるものであり、この再配置を、すべての客について最適な配置が求まるまで何度も繰り返す。客の配置が変わらなくなるか、各データにつき１０００回といった十分な回数のサンプリングが行われたら、収束したとみなし、そのときの客のテーブルにおける配置を、クラスタリング結果とする。
【００５１】
このように、ＣＲＰクラスタリング部３１は、各発話の特徴量に基づいて、上記のようにＣＲＰの手法を用いて、発話（客）を複数のクラスタ（テーブル）にクラスタリングし、クラスタ数、及び各発話と該発話の属するクラスタの情報とを出力する。
【００５２】
無限ＨＭＭクラスタリング部３２は、特徴量抽出部３０によって抽出された各発話の特徴量に基づいて、無限ＨＭＭの手法を用いて、発話をクラスタリングする。
【００５３】
本実施の形態では、無限ＨＭＭと呼ばれる手法により、文脈情報を用いて発話のクラスタリングを行う。そして、その際にクラスタ数が自動的に決定されるようにする。
【００５４】
無限ＨＭＭの手法は、データからパラメタを推定するノンパラメトリックベイズの手法の一つであり、時系列的なデータを扱うＨＭＭを、無限の状態が扱えるようにしたものである。無限の状態が扱えるということの意味は、状態数が予め定まっていないということを指し、状態数はデータ依存で決定される。無限ＨＭＭの詳細は、非特許文献（Y. Teh, M. Jordan, M. Beal, and D. Blei, “ Sharing clusters among related groups: Hierarchical Dirichlet processes, ”in Proc. NIPS, 2004.）に記載されている。
【００５５】
本実施の形態では、この無限ＨＭＭを用いることで、文脈情報を用いた発話のクラスタリングを行い、同時に、対話行為数を推定する。無限ＨＭＭでは、発話のシーケンスをモデル化する。すなわち、各状態から発話が出力され、次の状態に遷移するモデルである。状態間の遷移（すなわち、発話集合間の遷移）を扱うため、文脈情報（特に、直前の発話の情報）を用いていると考えることができる。なお、ＨＭＭでは複数の状態が接続されているため、必ずしも直前の発話のみに依存してクラスタリングがされているわけではないことに注意する。
【００５６】
ここで、無限ＨＭＭを用いたクラスタリング手法について説明する。無限ＨＭＭはＣＲＰに似た処理によってクラスタリングを行うため、ここでも、データを客と呼び、クラスタをテーブルと呼んで、説明する。
【００５７】
無限ＨＭＭでは、客ｃiは、すでに客の着いているテーブルｔjか、新しいテーブル（ｔj=new）に、以下の（３）式で表される確率に従って座る。
【００５８】
【数７】
【００５９】
ここで、ｔcはｃの着席しているテーブルを表す。無限ＨＭＭでは、客には順序があり、ｃiの前と後の客を、それぞれｃi−1とｃi+1とする。これは、対話データ中の発話に順序があることに該当する。
【００６０】
Ｐ（ｔj，ｔk）はテーブル間の遷移確率であり、以下の（４）式で求められる。
【００６１】
【数８】
【００６２】
ここで、αは客が新しいテーブルに着く度合いを表すハイパーパラメタであり、Ｋはすでに客がいるテーブル数を表す。transitions(ｔj，ｔk）はｔjからｔkの遷移数であり、γは確率０を避けるためのハイパーパラメタである。十分小さい数であればよい。たとえば、０．００００１などである。客が新しいテーブルに着く確率は、以下の（５）式で表される。
【００６３】
【数９】
【００６４】
ここで、Ｐ（ｃi|ｔnew）には一様分布を用いる。
【００６５】
ＣＲＰの時と同様、ギブスサンプリングを用いて客の配置を最適化し、最終的に得られた客の配置をクラスタリングの結果とする。上記のように、客は、自分の前の客の着いているテーブルを見て自分の着くべきテーブルを決めており、無限ＨＭＭでは、文脈情報を用いてクラスタリングを行っている。
【００６６】
このように、無限ＨＭＭクラスタリング部３２は、各発話の特徴量に基づいて、上記のように無限ＨＭＭの手法を用いて、発話（客）を複数のクラスタ（テーブル）にクラスタリングし、クラスタ数、及び各発話と該発話の属するクラスタの情報とを出力する。
【００６７】
文脈依存度算出部２３は、以下に説明するように、文脈に依存している度合いを示す、発話の文脈依存度及びクラスタの文脈依存度を算出する。
【００６８】
ＣＲＰを用いたクラスタリング結果は文脈を見ない場合の結果であり、無限ＨＭＭを用いたクラスタリング結果は文脈を見た場合の結果である。よって、このクラスタ数（推定対話行為数）の違いを見ることで、ドメインにおいてどれほど発話が文脈に依存しているかを計算できる。具体的には、文脈依存度算出部２３は、以下の（６）式に従って、対話データのドメインに関する発話の文脈依存度を算出する。
【００６９】
【数１０】
【００７０】
また、ＣＲＰを用いたクラスタリングによるクラスタと無限ＨＭＭを用いたクラスタリングによるクラスタとを比較することで、どのような発話がより文脈に依存しているかを知ることができる。具体的には、ＣＲＰを用いたクラスタリングによる各クラスタの各データ（発話）が、無限ＨＭＭを用いたクラスタリングによる各クラスタにどのように割り振られたかを調べることで実現できる。ＣＲＰの１つのクラスタの各データが、無限ＨＭＭのクラスタのうち一つまたは少量のものにのみ割り振られているとすれば、そのクラスタの発話はそれほど文脈依存ではないと言える。しかし、ＣＲＰの１つのクラスタの各データが、無限ＨＭＭの多くのクラスタに割り振られているとすれば、それは文脈に大きく依存したクラスタであると言える。
【００７１】
そこで、文脈依存度算出部２３は、ＣＲＰクラスタリング部３１によるクラスタリング結果の各クラスタＣの文脈依存度を、以下の（７）式に従って算出する。
【００７２】
【数１１】
【００７３】
ここで、Ｃ’ は無限ＨＭＭクラスタリング部３２によるクラスタリング結果のクラスタの集合であり、ｃは、クラスタの集合Ｃ’の各要素（クラスタ）である。Ｐ（ｃ）は以下の（８）式に従って求められる。
【００７４】
【数１２】
【００７５】
上記（７）式は、情報理論におけるエントロピーの式と同様であり、ＣＲＰのクラスタ内のデータ（発話）が、無限ＨＭＭの多くのクラスタに散らばっている場合に大きな値を取る。これによって、各クラスタの文脈依存度を求めることができる。すなわち、この値が大きければ、そのクラスタに含まれる発話は文脈依存性が高いと考えられ、これらの発話を分析することで、文脈依存の発話に頑健な対話システムの構築につなげることが可能となる。
【００７６】
たとえば、ＣＲＰのあるクラスタに属する複数の発話が、無限ＨＭＭの多くのクラスタに対応していたとすると、そのクラスタにおける発話は、表面上については似ているが、文脈によって意味が異なる可能性が高い。
【００７７】
そのような発話のみを取り上げて集中的に分析することにより、文脈に応じてユーザ発話を高精度に理解できる対話システムの理解部につなげることができる。
【００７８】
また、全クラスタの文脈依存度の平均を取ることで、全体の文脈依存度も計算でき、分析に利用することができる。そこで、文脈依存度算出部２３は、以下の（９）式に従って、平均文脈依存度を算出する。
【００７９】
【数１３】
【００８０】
ここで、ｃ’’はＣＲＰクラスタリング部３１によるクラスタリング結果におけるクラスタ集合Ｃの各要素である。
【００８１】
出力部２８は、文脈依存度算出部２３によって算出された、発話の文脈依存度、クラスタの文脈依存度、及び平均文脈依存度を出力する。
【００８２】
＜文脈依存性推定装置の作用＞
次に、本実施の形態に係る文脈依存性推定装置１００の作用について説明する。まず、あるドメインに関する複数の発話の時系列が対話データとして文脈依存性推定装置１００に複数入力されると、文脈依存性推定装置１００によって、入力された複数の対話データが、対話データ記憶部２１へ格納される。そして、文脈依存性推定装置１００によって、図２に示す文脈依存性推定処理ルーチンが実行される。
【００８３】
まず、ステップＳ１０１において、複数の対話データの全ての発話について、ｂａｇ−ｏｆ−ｗｏｒｄｓの特徴量を抽出する。そして、ステップＳ１０２において、上記ステップＳ１０１において抽出された各発話の特徴量に基づいて、ＣＲＰの手法を用いたクラスタリングにより、各発話を複数のクラスタに分類する。
【００８４】
次のステップＳ１０３では、上記ステップＳ１０１において抽出された各発話の特徴量に基づいて、無限ＨＭＭの手法を用いたクラスタリングにより、各発話を複数のクラスタに分類する。
【００８５】
そして、ステップＳ１０４では、上記ステップＳ１０２のクラスタリング結果におけるクラスタ数と、上記ステップＳ１０３のクラスタリング結果におけるクラスタ数とに基づいて、上記（６）式に従って、当該ドメインに関する発話の文脈依存度を算出する。
【００８６】
ステップＳ１０５では、上記ステップＳ１０２のクラスタリング結果における各クラスタに属するデータ（発話）と、上記ステップＳ１０３のクラスタリング結果における各クラスタに属するデータ（発話）とに基づいて、上記（７）式に従って、ＣＲＰの手法を用いたクラスタリングによる各クラスタＣの文脈依存度を算出する。また、算出した各クラスタの文脈依存度に基づいて、上記（９）式に従って、ＣＲＰの手法を用いたクラスタリングによる各クラスタの平均文脈依存度を算出する。
【００８７】
そして、ステップＳ１０６において、上記ステップＳ１０４、１０５の算出結果を出力して、文脈依存度算出処理ルーチンを終了する。
【００８８】
＜実施例＞
以下に、実施例を示す。対話システムと人間との対話データと、人間同士の対話データをクラスタリングする例を用いて説明する。なお、ここで用いるデータは、チャットインタフェースを通して集められたデータであり、テキスト対話のデータである。
【００８９】
対話システムと人間との対話データは、対話システムと人間とが会話したデータであり、全部で１０００個の対話データである。対話の中で、システムと人間は動物の好き嫌いについて議論している。
【００９０】
このドメインをＡｎｉｍａｌ Ｄｉｓｃｕｓｓｉｏｎ（ＡＤ）ドメインと呼ぶこととする。対話例を図３に示す。上記図３では、Ｕがユーザ発話を表わしＳがシステム発話を表わしている。括弧内は本ドメインにおける対話行為タイプである。本ドメインでは、図４に示すような２９の対話行為が人手によって定義されている。
【００９１】
各対話行為の詳細については、非特許文献（東中竜一郎, 堂坂浩二, 磯崎秀樹, ”対話システムにおける共感と自己開示の効果”, 言語処理学会第15 回年次大会発表論文集, pp.446-449, 2009.）に詳細が記載されている。
【００９２】
また、人間同士の対話データは、聞き役対話を集めたものである。このドメインをＡｔｔｅｎｔｉｖｅ Ｌｉｓｔｅｎｉｎｇ（ＡＬ）ドメインと呼ぶこととする。聞き役対話とは、二者が聞き役と話し役に分かれて、一方が聞き役となって話し役の話を聞くという対話である。人間同士の対話データとして、このような対話データを、１２６０個収集した。対話例を図５に示す。上記図５では、Ｓは話し役を表わし、Ｌは聞き役を表わす。括弧内は本ドメインにおける対話行為タイプであり、図６に示すような３８の対話行為が人手によって定義されている。
【００９３】
各対話行為の詳細については、非特許文献（T. Meguro, R. Higashinaka, Y. Minami, and K. Dohsaka, “Controlling listening-oriented dialogue using partially observable Markov decision processes, ” in Proc. COLING, 2010, pp. 761-769.）に詳細が記載されている。
【００９４】
また、比較対象として、Ｋ−ｍｅａｎｓというクラスタリング手法を用いた。Ｋ−ｍｅａｎｓは、事前にクラスタ数が分かっている場合に用いられるクラスタリング手法の代表的なものであ。これは、まず、ランダムにクラスタを作成し、ＥＭアルゴリズムの枠組みによって、クラスタを局所最適な解が得られるまでアップデートしていく手法である。
【００９５】
ＡＤドメインとＡＬドメインのデータに対し、Ｋ−ｍｅａｎｓ、ＣＲＰ、及び無限ＨＭＭの各々の手法を用いてクラスタリングを行い、対話行為数を推定する実験を行った。ここで、Ｋ−ｍｅａｎｓは対話行為数を推定できない手法であるため、直接的な比較はできない。そこで、Ｋ−ｍｅａｎｓについては、人手で正解の対話行為数を与え、発話のクラスタリングを行った。対話行為数が予め分かっている状態で、クラスタリングを行うため、非常に強力なベースラインと見なせる。
【００９６】
ギブスサンプリングの計算コストが比較的高いため、実験に際しては、各ドメインからランダムに抽出した５０個の対話データずつを対象とした。ＡＤドメインの対話データは２８９４個の発話データであり、ＡＬドメインの対話データは、２４７０個の発話のデータであった。人手で付与した対話行為によれば、これらのサブセットの中には、それぞれ、２７種類の対話行為、３３種類の対話行為が含まれていた。
【００９７】
クラスタリングを行う前に、形態素解析を用い（本実験ではＣｈａＳｅｎを使用した）、各発話について、ｂａｇ−ｏｆ−ｗｏｒｄｓの特徴量を求めた。ただ、低頻度語はクラスタリングに悪影響を及ぼす可能性があるため、各ドメインの全データについて、１０回以上出現している単語のみを特徴量とし、単語は標準形を用いた。
【００９８】
クラスタリングの評価は、データに人手で付与された正解の対話行為ラベルと対照することで行った。
【００９９】
評価尺度としては、ｐｕｒｉｔｙとＦ−ｍｅａｓｕｒｅを用いた。どちらもクラスタリング評価の一般的な指標である。ｐｕｒｉｔｙは一つのクラスタにどの程度同じ対話行為の発話が入っているかを表し、Ｆ−ｍｅａｓｕｒｅは、データのペアに着目し、同じクラスタにあるべきペアがどの程度正しく同じクラスタに入っているかを定量化する。ｐｕｒｉｔｙは以下の（１０）式で計算される。
【０１００】
【数１４】
【０１０１】
ここで、Ｃ＝｛ｃ1,・・・,ｃK｝はクラスタの集合であり、Ｄ＝｛ｄ1,・・・,ｄN｝ は対話行為の集合であり、Ｎはデータ数（発話数）である。
【０１０２】
Ｆ−ｍｅａｓｕｒｅは、以下の（１１）式に従って算出される。
【０１０３】
【数１５】
【０１０４】
ここで、ＴＰ、ＦＰ、ＦＮは、それぞれｔｒｕｅ ｐｏｓｉｔｉｖｅ、ｆａｌｓｅ ｐｏｓｉｔｉｖｅ、ｆａｌｓｅ ｎｅｇａｔｉｖｅを表す。ｔｒｕｅ ｐｏｓｉｔｉｖｅは、同じ対話行為である発話のペアが同じクラスタに入っている回数であり、ｆａｌｓｅ ｐｏｓｉｔｉｖｅは異なる対話行為である発話のペアが同じクラスタに入っている回数であり、ｆａｌｓｅ ｎｅｇａｔｉｖｅは同じ対話行為である発話のペアが異なったクラスタに入っている回数である。
【０１０５】
Ｋ−ｍｅａｎｓがランダムな初期値に依存すること、ＣＲＰと無限ＨＭＭが確率的に動作することなどから、本実験ではそれぞれのクラスタリング手法で１００回クラスタリングを行い、その平均値を求めた。ＣＲＰと無限ＨＭＭについては、αには０．１を、βとγには０．０１を用いた。ギブスサンプリングのイタレーション数は１００とした。つまり、すべての客は１００回ずつ再配置された。
【０１０６】
以下の表１にＡＤドメインの発話のクラスタリング結果を示す。
【０１０７】
【表１】
＊は、Ｋ−ｍｅａｎｓに対してｔ検定により１％の有意水準で差があることを示す。＋は、ＣＲＰに対してｔ検定により１％の有意水準で差があることを示す。
また、以下の表２に、ＡＬドメインの発話のクラスタリング結果を示す。
【０１０８】
【表２】
【０１０９】
上記の結果から分かるように、無限ＨＭＭは、他の手法よりもクラスタリング性能が良い。すなわち、発話のクラスタリングに文脈情報を利用することが有用であることが分かった。
【０１１０】
また、無限ＨＭＭのクラスタ数は、ＡＤドメインで約１４３個、ＡＬドメインで３８個となっており、これが、自動的に推定された対話行為数である。
【０１１１】
ＣＲＰで推定された対話行為数の方が人手で与えた個数に近い。このことから、人間が対話行為を付与するという行為は、発話を独立のものと見なしてなされていると推測できる。しかしながら、本実験の結果によれば、人手による正解の対話行為数より、文脈を考慮した場合の対話行為数の方が多い。このことは、文脈を鑑みれば、人手による対話行為数が少なすぎる可能性を示唆していると考えられる。つまり、対話システムの設計者からすれば、文脈をより考慮した対話行為を加えるなど、対話行為の再設計の指針としてとらえることができ、その指針に沿って対話行為を設計し直すことで、より適切にユーザ発話を処理できる対話システムにつなげることが可能となると考えられる。
【０１１２】
また、発話の文脈依存度を算出すると、ＡＤドメインに対する発話の文脈依存度は１４３．６２／３５．０３＝４．０９９である。そして、ＡＬドメインに対する文脈依存度は、 ３８．００／２９．２８＝１．２９８である。このことから、ＡＤドメインの発話の方が、ドメインにおける文脈依存性が高いと判断できる。また、各ドメインにおける文脈依存度を比較して、後述する文脈依存比を算出すると、ＡＤドメインはＡＬドメインの４．０９９／１．２９８＝３．１５８倍、ドメイン依存の対話行為が多いことが、客観的な数値として分かった。
【０１１３】
以上説明したように、本実施の形態に係る文脈依存性推定装置によれば、発話の文脈情報を考慮しないＣＲＰの手法を用いて、対話データの発話をクラスタリングすると共に、発話の文脈情報を考慮した無限ＨＭＭの手法を用いた、対話データの発話をクラスタリングし、発話のクラスタリング結果を比較することにより、あるドメインの対話データについて、文脈依存度を推定することができる。
【０１１４】
また、発話のクラスタリングにおいて発話の文脈情報を考慮することにより、発話のクラスタリングの性能が向上するため、どのような発話がドメインに存在するかが一目で分かるようになり、対話システム構築が容易になる。さらに、ドメイン中の発話の文脈依存度を数値として算出できるため、対話データのドメインの深い理解につながる。たとえば、文脈依存度が高い発話が多いドメインだということが分かれば、システムの理解部において文脈情報をより多く持つといった改善が可能となる。
【０１１５】
〔第２の実施の形態〕
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１１６】
第２の実施の形態では、文脈情報を付加した発話の特徴量に基づいて、ＣＲＰの手法を用いたクラスタリングを行っている点が、第１の実施の形態と異なっている。
【０１１７】
図７に示すように、第２の実施の形態に係る文脈依存性推定装置２００の発話クラスタリング部２２２は、特徴量抽出部３０、ＣＲＰクラスタリング部３１、文脈情報付加部２３１、及びＣＲＰクラスタリング部２３２を備えている。なお、ＣＲＰクラスタリング部３１が、第１クラスタリング手段の一例であり、ＣＲＰクラスタリング部２３２が、第２クラスタリング手段の一例である。
【０１１８】
文脈情報付加部２３１は、特徴量抽出部３０によって抽出された各発話の特徴量に対して、文脈情報として、直前の発話の特徴量を付加して、付加特徴量を各々生成する。例えば、発話１、・・・、発話Ｎがあり、それぞれの特徴量を、特徴量１、・・・、特徴量Ｎとすると、各発話の特徴量に、前発話の特徴量を付加したもの、つまり、｛開始記号、 特徴量１｝、｛特徴量１、特徴量２｝、・・・、｛特徴量Ｎ−１、特徴量Ｎ｝を、各発話の付加特徴量として生成する。これによって、特徴量（ベクトル）の次元が２倍となる。
【０１１９】
ＣＲＰクラスタリング部２３２は、文脈情報付加部２３１によって生成された各発話の付加特徴量に基づいて、ＣＲＰクラスタリング部３１と同様に、ＣＲＰを用いて、発話をクラスタリングする。
【０１２０】
文脈依存度算出部２３は、ＣＲＰクラスタリング部３１によるクラスタリング結果におけるクラスタ数、及びＣＲＰクラスタリング部２３１によるクラスタリング結果におけるクラスタ数に基づいて、上記（６）式と同様の式に従って、文脈依存度を算出する。
【０１２１】
また、文脈依存度算出部２３は、ＣＲＰクラスタリング部３１によるクラスタリング結果における各クラスタのデータ、及びＣＲＰクラスタリング部２３１によるクラスタリング結果における各クラスタのデータに基づいて、上記（７）式と同様の式に従って、ＲＰクラスタリング部３１によるクラスタリング結果の各クラスタＣの文脈依存度を算出する。また、文脈依存度算出部２３は、上記（９）式と同様の式に従って、ＣＲＰクラスタリング部３１によるクラスタリング結果のクラスタの平均文脈依存度を算出する
【０１２２】
次に、第２の実施の形態における文脈依存性推定処理ルーチンについて、図８を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【０１２３】
まず、ステップＳ１０１において、複数の対話データの全ての発話について、特徴量を抽出する。そして、ステップＳ１０２において、上記ステップＳ１０１において抽出された各発話の特徴量に基づいて、ＣＲＰの手法を用いたクラスタリングにより、各発話を複数のクラスタに分類する。
【０１２４】
次のステップＳ２０１では、上記ステップＳ１０１において抽出された各発話の特徴量に対して、それぞれ直前の発話の特徴量を付加して、付加特徴量を各発話について生成する。
【０１２５】
そして、ステップＳ２０２において、上記ステップＳ２０１において生成された各発話の付加特徴量に基づいて、ＣＲＰの手法を用いたクラスタリングにより、各発話を複数のクラスタに分類する。
【０１２６】
そして、ステップＳ１０４では、上記ステップＳ１０２のクラスタリング結果におけるクラスタ数と、上記ステップＳ２０２のクラスタリング結果におけるクラスタ数とに基づいて、上記（６）式と同様の式に従って、当該ドメインに関する発話の文脈依存度を算出する。
【０１２７】
ステップＳ１０５では、上記ステップＳ１０２のクラスタリング結果における各クラスタに属するデータ（発話）と、上記ステップＳ２０２のクラスタリング結果における各クラスタに属するデータ（発話）とに基づいて、上記（７）式と同様の式に従って、上記ステップＳ１０２でのクラスタリングによる各クラスタＣの文脈依存度を算出する。また、算出した各クラスタの文脈依存度に基づいて、上記（９）式と同様の式に従って、上記ステップＳ１０２でのクラスタリングによる各クラスタの平均文脈依存度を算出する。
【０１２８】
そして、ステップＳ１０６において、上記ステップＳ１０４、１０５の算出結果を出力して、文脈依存度算出処理ルーチンを終了する。
【０１２９】
以上説明したように、本実施の形態に係る文脈依存性推定装置によれば、発話の文脈情報を考慮しないＣＲＰの手法を用いて、対話データの発話をクラスタリングすると共に、文脈情報として直前の発話の特徴量を付加した付加特徴量を用いて、対話データの発話をクラスタリングし、発話のクラスタリング結果を比較することにより、あるドメインの対話データについて、文脈依存度を推定することができる。
【０１３０】
〔第３の実施の形態〕
次に、第３の実施の形態について説明する。
【０１３１】
第３の実施の形態では、複数のドメインの各々に対する対話データについて、それぞれ発話のクラスタリングを行って、ドメインの文脈依存比を算出している点が、第１の実施の形態及び第２の実施の形態と異なっている。以下では、複数のドメインの各ドメインの文脈依存度を算出する方法として、第１の実施の形態と同様の方法を用いる場合を例に説明を行うが、各ドメインの文脈依存度を算出する方法として、第２の実施の形態と同様の方法を用いるようにしてもよい。
【０１３２】
図９に示すように、第３の実施の形態に係る文脈依存性推定装置３００は、入力部１０Ａ、１０Ｂと、演算部２０と、出力部２８とを備えている。
【０１３３】
入力部１０Ａは、入力された対話データとして、ドメインＡに関連する複数の対話データを受け付ける。入力部１０Ｂは、入力された対話データとして、ドメインＡとは異なるドメインＢに関連する複数の対話データを受け付ける。
【０１３４】
演算部２０は、対話データ記憶部２１Ａ、２１Ｂ、発話クラスタリング部２２Ａ、２２Ｂ、文脈依存度算出部２３Ａ、２３Ｂ、文脈依存比算出部３２３を備えている。
【０１３５】
対話データ記憶部２１Ａは、入力部１０Ａにより受け付けた複数の対話データを記憶する。対話データ記憶部２１Ｂは、入力部１０Ｂにより受け付けた複数の対話データを記憶する。
【０１３６】
発話クラスタリング部２２ＡのＣＲＰクラスタリング部３１は、特徴量抽出部３０によって抽出されたドメインＡの対話データの各発話の特徴量に基づいて、ＣＲＰの手法を用いて、ドメインＡについて、発話をクラスタリングする。発話クラスタリング部２２ＢのＣＲＰクラスタリング部３１は、特徴量抽出部３０によって抽出されたドメインＢの各発話の特徴量に基づいて、ＣＲＰの手法を用いて、ドメインＢについて、発話をクラスタリングする。
【０１３７】
発話クラスタリング部２２Ａの無限ＨＭＭクラスタリング部３２は、特徴量抽出部３０によって抽出されたドメインＡの対話データの各発話の特徴量に基づいて、無限ＨＭＭの手法を用いて、ドメインＡについて、発話をクラスタリングする。発話クラスタリング部２２Ｂの無限ＨＭＭクラスタリング部３２は、特徴量抽出部３０によって抽出されたドメインＢの対話データの各発話の特徴量に基づいて、無限ＨＭＭの手法を用いて、ドメインＢについて、発話をクラスタリングする。
【０１３８】
文脈依存度算出部２３Ａは、上記の（６）式に従って、ドメインＡに関する発話の文脈依存度を算出する。文脈依存度算出部２３Ｂは、上記の（６）式に従って、ドメインＢに関する発話の文脈依存度を算出する。
【０１３９】
文脈依存比算出部３２３は、算出したドメインＡに関する発話の文脈依存度及びドメインＢに関する発話の文脈依存度に基づいて、以下の（１２）式に従って、ドメインＡとドメインＢの文脈依存比を算出する。
【０１４０】
【数１６】
【０１４１】
また、文脈依存度算出部２３Ａは、ドメインＡについて、発話クラスタリング部２２ＡのＣＲＰクラスタリング部３１によるクラスタリング結果の各クラスタＣの文脈依存度を、上記の（７）式に従って算出する。文脈依存度算出部２３Ｂは、ドメインＢについて、発話クラスタリング部２２ＢのＣＲＰクラスタリング部３１によるクラスタリング結果の各クラスタＣの文脈依存度を算出する。
【０１４２】
文脈依存度算出部２３Ａは、ドメインＡについて、上記の（９）式に従って、平均文脈依存度を算出する。文脈依存度算出部２３Ｂは、ドメインＢについて、上記の（９）式に従って、平均文脈依存度を算出する。
【０１４３】
なお、第３の実施の形態に係る文脈依存性推定装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１４４】
このように、各ドメインについて発話の文脈依存度を算出して比較することにより、ドメインの文脈依存比を算出することができる。
【０１４５】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１４６】
例えば、対話全体の文脈を考慮しないクラスタリング手法として、ＣＲＰの手法を用いた場合を例に説明したが、対話全体の文脈を考慮しないクラスタリング手法であればこれに限定するものではない。例えば、Ｋ−Ｍｅａｎｓ、Ａｆｆｉｎｉｔｙ Ｐｒｏｐａｇａｔｉｏｎ、Ｘ−Ｍｅａｎｓといった方法を用いて、発話のクラスタリングを行ってもよい。
【０１４７】
なお、クラスタ数を自動的に決定し、文脈情報を用いて発話のクラスタリングを行う手法は、対話全体の文脈を考慮しない従来のクラスタリング手法に比べて、発話間の関係を考慮できるため、クラスタリングの精度が高いという利点がある。
【０１４８】
第１の実施の形態に記載の入力部１０、対話データ記憶部２１、特徴量抽出部３０、および無限ＨＭＭクラスタリング部３２を取り出して、発話クラスタリング装置として機能させることができる。同様に、第２の実施の形態に記載の入力部１０、対話データ記憶部２１、特徴量抽出部３０、文脈情報付加部２３１、およびＣＲＰクラスタリング部２３２を取り出して、発話クラスタリング装置として機能させることができる。クラスタ数を自動的に決定し、文脈情報を用いて発話のクラスタリングを行うことで、高精度なクラスタリングが可能になるという利点がある。
【０１４９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１５０】
１０、１０Ａ、１０Ｂ 入力部
２０ 演算部
２１、２１Ａ、２１Ｂ 対話データ記憶部
２２、２２Ａ、２２Ｂ、２２２発話クラスタリング部
２３、２３Ａ、２３Ｂ 文脈依存度算出部
３０ 特徴量抽出部
３１、２３２ ＣＲＰクラスタリング部
３２ 無限ＨＭＭクラスタリング部
１００、２００、３００ 文脈依存性推定装置
２３１ 文脈情報付加部
３２３ 文脈依存比算出部
【特許請求の範囲】
【請求項１】
複数の発話の時系列である対話データから、各発話の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングする第１クラスタリング手段と、
前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングする第２クラスタリング手段と、
前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定する推定手段と、
を含む文脈依存性推定装置。
【請求項２】
前記第１クラスタリング手段は、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングし、
前記第２クラスタリング手段は、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングする請求項１記載の文脈依存性推定装置。
【請求項３】
前記第２クラスタリング手段は、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成し、前記生成された各発話の前記付加特徴量に基づいて、前記複数の発話をクラスタリングする請求項１記載の文脈依存性推定装置。
【請求項４】
前記対話データは、特定のドメインに関する対話データであり、
前記推定手段は、以下の式に従って、前記特定のドメインにおける前記発話の文脈依存度を推定する請求項１〜請求項３の何れか１項記載の文脈依存性推定装置。
【数１】
ただし、クラスタ数Ｃ１は、前記第１クラスタリング手段によってクラスタリングされたクラスタ数であり、クラスタ数Ｃ２は、前記第２クラスタリング手段によってクラスタリングされたクラスタ数である。
【請求項５】
前記対話データは、異なる２つのドメインに関する対話データであり、
前記第１クラスタリング手段は、各ドメインについて、前記ドメインに関する対話データの複数の発話を各々クラスタリングし、
前記第２クラスタリング手段は、各ドメインについて、前記ドメインに関する対話データの複数の発話を各々クラスタリングし、
前記推定手段は、各ドメインにつて、前記発話の文脈依存度を推定すると共に、以下の式に従って、前記ドメインの文脈依存比を推定する請求項４記載の文脈依存性推定装置。
【数２】
【請求項６】
前記推定手段は、以下の式に従って、前記第１クラスタリング手段によってクラスタリングされたクラスタＣの文脈依存度を推定する請求項１〜請求項３の何れか１項記載の文脈依存性推定装置。
【数３】
ただし、Ｃ’は、前記第２クラスタリング手段によってクラスタリングされたクラスタの集合であり、ｃは、Ｃ’の要素であるクラスタである。
【請求項７】
前記推定手段は、前記第１クラスタリング手段によってクラスタリングされた各クラスタの文脈依存度を推定すると共に、以下の式に従って、前記第１クラスタリング手段によってクラスタリングされたクラスタの平均文脈依存度を推定する請求項６記載の文脈依存性推定装置。
【数４】
ただし、ｃ’’は、Ｃの要素であるクラスタである。
【請求項８】
特徴量抽出手段、第１クラスタリング手段、第２クラスタリング手段、及び推定手段を含む文脈依存性推定装置における文脈依存性推定方法であって、
前記文脈依存性推定装置は、
前記特徴量抽出手段によって、複数の発話の時系列である対話データから、各発話の特徴量を抽出し、
前記第１クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングし、
前記第２クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングし、
前記推定手段によって、前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定する
ことを特徴とする文脈依存性推定方法。
【請求項９】
入力された複数の発話の時系列である対話データを受け付ける入力手段と、
前記入力手段により受け付けた前記対話データを記憶する対話データ記憶手段と、
前記対話データから、各発話の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングする無限ＨＭＭクラスタリング手段と、
を含む発話クラスタリング装置。
【請求項１０】
入力された複数の発話の時系列である対話データを受け付ける入力手段と、
前記入力手段により受け付けた前記対話データを記憶する対話データ記憶手段と、
前記対話データから、各発話の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成する文脈情報付加手段と、
前記文脈情報付加手段によって生成された各発話の付加特徴量に基づいて、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングするＣＲＰクラスタリング手段と、
を含む発話クラスタリング装置。
【請求項１１】
入力手段、対話データ記憶手段、特徴量抽出手段、及び無限ＨＭＭクラスタリング手段を含む発話クラスタリング装置における発話クラスタリング方法であって、
前記発話クラスタリング装置は、
前記入力手段によって、入力された複数の発話の時系列である対話データを受け付け、
前記入力手段により受け付けた前記対話データを対話データ記憶手段に記憶し、
特徴量抽出手段によって、前記対話データから、各発話の特徴量を抽出し、
前記無限ＨＭＭクラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングする
ことを特徴とする発話クラスタリング方法。
【請求項１２】
入力手段、対話データ記憶手段、特徴量抽出手段、文脈情報付加手段、及びＣＲＰクラスタリング手段を含む発話クラスタリング装置における発話クラスタリング方法であって、
前記発話クラスタリング装置は、
前記入力手段によって、入力された複数の発話の時系列である対話データを受け付け、
前記入力手段により受け付けた前記対話データを前記対話データ記憶手段に記憶し、
前記特徴量抽出手段によって、前記対話データから、各発話の特徴量を抽出し、
前記文脈情報付加手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成し、
前記ＣＲＰクラスタリング手段によって、前記文脈情報付加手段によって生成された各発話の付加特徴量に基づいて、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングする
ことを特徴とする発話クラスタリング方法。
【請求項１３】
コンピュータを、請求項１〜請求項７の何れか１項記載の文脈依存性推定装置の各手段として機能させるためのプログラム。
【請求項１】
複数の発話の時系列である対話データから、各発話の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングする第１クラスタリング手段と、
前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングする第２クラスタリング手段と、
前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定する推定手段と、
を含む文脈依存性推定装置。
【請求項２】
前記第１クラスタリング手段は、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングし、
前記第２クラスタリング手段は、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングする請求項１記載の文脈依存性推定装置。
【請求項３】
前記第２クラスタリング手段は、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成し、前記生成された各発話の前記付加特徴量に基づいて、前記複数の発話をクラスタリングする請求項１記載の文脈依存性推定装置。
【請求項４】
前記対話データは、特定のドメインに関する対話データであり、
前記推定手段は、以下の式に従って、前記特定のドメインにおける前記発話の文脈依存度を推定する請求項１〜請求項３の何れか１項記載の文脈依存性推定装置。
【数１】
ただし、クラスタ数Ｃ１は、前記第１クラスタリング手段によってクラスタリングされたクラスタ数であり、クラスタ数Ｃ２は、前記第２クラスタリング手段によってクラスタリングされたクラスタ数である。
【請求項５】
前記対話データは、異なる２つのドメインに関する対話データであり、
前記第１クラスタリング手段は、各ドメインについて、前記ドメインに関する対話データの複数の発話を各々クラスタリングし、
前記第２クラスタリング手段は、各ドメインについて、前記ドメインに関する対話データの複数の発話を各々クラスタリングし、
前記推定手段は、各ドメインにつて、前記発話の文脈依存度を推定すると共に、以下の式に従って、前記ドメインの文脈依存比を推定する請求項４記載の文脈依存性推定装置。
【数２】
【請求項６】
前記推定手段は、以下の式に従って、前記第１クラスタリング手段によってクラスタリングされたクラスタＣの文脈依存度を推定する請求項１〜請求項３の何れか１項記載の文脈依存性推定装置。
【数３】
ただし、Ｃ’は、前記第２クラスタリング手段によってクラスタリングされたクラスタの集合であり、ｃは、Ｃ’の要素であるクラスタである。
【請求項７】
前記推定手段は、前記第１クラスタリング手段によってクラスタリングされた各クラスタの文脈依存度を推定すると共に、以下の式に従って、前記第１クラスタリング手段によってクラスタリングされたクラスタの平均文脈依存度を推定する請求項６記載の文脈依存性推定装置。
【数４】
ただし、ｃ’’は、Ｃの要素であるクラスタである。
【請求項８】
特徴量抽出手段、第１クラスタリング手段、第２クラスタリング手段、及び推定手段を含む文脈依存性推定装置における文脈依存性推定方法であって、
前記文脈依存性推定装置は、
前記特徴量抽出手段によって、複数の発話の時系列である対話データから、各発話の特徴量を抽出し、
前記第１クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングし、
前記第２クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングし、
前記推定手段によって、前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定する
ことを特徴とする文脈依存性推定方法。
【請求項９】
入力された複数の発話の時系列である対話データを受け付ける入力手段と、
前記入力手段により受け付けた前記対話データを記憶する対話データ記憶手段と、
前記対話データから、各発話の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングする無限ＨＭＭクラスタリング手段と、
を含む発話クラスタリング装置。
【請求項１０】
入力された複数の発話の時系列である対話データを受け付ける入力手段と、
前記入力手段により受け付けた前記対話データを記憶する対話データ記憶手段と、
前記対話データから、各発話の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成する文脈情報付加手段と、
前記文脈情報付加手段によって生成された各発話の付加特徴量に基づいて、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングするＣＲＰクラスタリング手段と、
を含む発話クラスタリング装置。
【請求項１１】
入力手段、対話データ記憶手段、特徴量抽出手段、及び無限ＨＭＭクラスタリング手段を含む発話クラスタリング装置における発話クラスタリング方法であって、
前記発話クラスタリング装置は、
前記入力手段によって、入力された複数の発話の時系列である対話データを受け付け、
前記入力手段により受け付けた前記対話データを対話データ記憶手段に記憶し、
特徴量抽出手段によって、前記対話データから、各発話の特徴量を抽出し、
前記無限ＨＭＭクラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングする
ことを特徴とする発話クラスタリング方法。
【請求項１２】
入力手段、対話データ記憶手段、特徴量抽出手段、文脈情報付加手段、及びＣＲＰクラスタリング手段を含む発話クラスタリング装置における発話クラスタリング方法であって、
前記発話クラスタリング装置は、
前記入力手段によって、入力された複数の発話の時系列である対話データを受け付け、
前記入力手段により受け付けた前記対話データを前記対話データ記憶手段に記憶し、
前記特徴量抽出手段によって、前記対話データから、各発話の特徴量を抽出し、
前記文脈情報付加手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成し、
前記ＣＲＰクラスタリング手段によって、前記文脈情報付加手段によって生成された各発話の付加特徴量に基づいて、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングする
ことを特徴とする発話クラスタリング方法。
【請求項１３】
コンピュータを、請求項１〜請求項７の何れか１項記載の文脈依存性推定装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−４５３６３（Ｐ２０１３−４５３６３Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８４０５４（Ｐ２０１１−１８４０５４）
【出願日】平成２３年８月２５日（２０１１．８．２５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２５日（２０１１．８．２５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]