文書クラスタリング装置、方法、及びプログラム
【課題】関連する複数の文書からなる文書群を適切にクラスタリングすることができるようにする。
【解決手段】関係判定部２３によって、特定の話題に関連する一連の複数の文書からなる文書群における全ての文書間の各々について、文書間の関係及び関係の信頼度を判定する。クラスタリング部２５によって、文書群の各文書について、時間順に、先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、対象文書と先行文書のうちの何れか１つとの間について判定された関係を確定する。クラスタリング部２５によって、確定された文書間の関係を用いて、文書群をクラスタリングする。
【解決手段】関係判定部２３によって、特定の話題に関連する一連の複数の文書からなる文書群における全ての文書間の各々について、文書間の関係及び関係の信頼度を判定する。クラスタリング部２５によって、文書群の各文書について、時間順に、先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、対象文書と先行文書のうちの何れか１つとの間について判定された関係を確定する。クラスタリング部２５によって、確定された文書間の関係を用いて、文書群をクラスタリングする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書クラスタリング装置、方法、及びプログラムに係り、特に、関連する複数の文書からなる文書群をクラスタリングする文書クラスタリング装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
インターネットには、ユーザが投稿した質問に対して、別のユーザが回答を投稿する質問応答サイトが存在する。このようなサイトに投稿される質問の中には、Web検索エンジンでは答えが見つからなかったり、人それぞれによって答えが異なったりするような質問も多く見受けられたり、そもそもはっきりとした答えがなく他人の意見やアドバイスを求めるような質問も多く見られる。このような質問に対しては、複数のユーザがそれぞれ異なる回答を投稿する事例が多く見られる。複数の回答の中には、類似している意見や対立している意見、そしてまったく別の意見が存在している。回答数が多くなるとすべての回答を読むのに時間がかかるため、回答全体を適切に分類することが望ましい。
【０００３】
従来の文書クラスタリング技術では、文書に出現する単語とその頻度を用いることにより作成した文書ベクトルの類似度に従って、類似している文書同士をクラスタリングする手法が主流であり、クラスタリングについては様々な方法が提案されている（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】高村大也、奥村学、「言語処理のための機械学習入門」、コロナ社、2010年、pp.77-93.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
回答のような文書には意見が含まれるので、同じ話題でも正反対の主張になることがありえるが、従来の文書クラスタリングの手法では、同じ話題の文書であるから、共通の単語、とりわけ共通の内容語が出現し、これらの文書が同じクラスタとして誤って区分されてしまう、という問題がある。これらの文書が正反対の主張を含んでいるとすれば、本来は異なるクラスタに区分されるべきである。このように、文書に正反対の意見が含まれる場合には、単純に文書に出現する単語を用いた文書間の類似度により、文書を適切にクラスタリングすることは困難である。
【０００６】
本発明は、上記の事情を鑑みてなされたもので、関連する複数の文書からなる文書群を適切にクラスタリングすることができる文書クラスタリング装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために本発明に係る文書クラスタリング装置は、時間情報が各々付与され、かつ、関連する複数の文書からなる文書群における全ての文書間の各々について、文書間の関係及び前記関係の信頼度を判定する関係判定手段と、前記文書群の各文書について、時間順に、最も早い時間情報が付与された先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記文書より早い時間情報が付与された先行文書のうちの何れか１つとの間について判定された関係を確定する関係確定手段と、前記関係確定手段によって確定された文書間の関係を用いて、前記文書群をクラスタリングするクラスタリング手段とを含んで構成されている。
【０００８】
本発明に係る文書クラスタリング方法は、関係判定手段、関係確定手段、及びクラスタリング手段を含む文書クラスタリング装置における文書クラスタリング方法であって、
【０００９】
前記文書クラスタリング装置は、前記関係判定手段によって、時間情報が各々付与され、かつ、関連する複数の文書からなる文書群における全ての文書間の各々について、文書間の関係及び前記関係の信頼度を判定するステップと、前記関係確定手段によって、前記文書群の各文書について、時間順に、最も早い時間情報が付与された先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記文書より早い時間情報が付与された先行文書のうちの何れか１つとの間について判定された関係を確定するステップと、前記クラスタリング手段によって、前記関係確定手段によって確定された文書間の関係を用いて、前記文書群をクラスタリングするステップと、を含んで実行することを特徴とする。
【００１０】
本発明によれば、前記関係判定手段によって、時間情報が各々付与され、かつ、関連する複数の文書からなる文書群における全ての文書間の各々について、文書間の関係及び前記関係の信頼度を判定する。
【００１１】
そして、関係確定手段によって、前記文書群の各文書について、時間順に、最も早い時間情報が付与された先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記文書より早い時間情報が付与された先行文書のうちの何れか１つとの間について判定された関係を確定する。前記クラスタリング手段によって、前記関係確定手段によって確定された文書間の関係を用いて、前記文書群をクラスタリングする。
【００１２】
このように、文書群の各文書について、時間順に、先行文書との関係を確定し、確定された文書間の関係を用いて、文書群をクラスタリングすることにより、関連する複数の文書からなる文書群を適切にクラスタリングすることができる。
【００１３】
本発明に係る関係確定手段は、前記文書群の各文書について、時間順に、既に確定された文書間の関係の各々の信頼度と、前記文書と前記先行文書との間について判定された前記関係の信頼度とに基づいて、前記先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記先行文書のうちの何れか１つとの間について判定された関係を確定するようにすることができる。
【００１４】
本発明に係る文書クラスタリング装置は、前記文書群における全ての文書間の各々について、文書間の素性を抽出する素性抽出手段を更に含み、前記関係判定手段は、前記文書群における全ての文書間の各々について、前記素性抽出手段によって抽出された前記文書間の素性と、前記文書間の素性と前記文書間の関係とに基づいて予め学習した文書間関係モデルとに基づいて、前記文書間の関係及び前記関係の信頼度を判定するようにすることができる。
【００１５】
上記の文書群を、特定の話題に関連する複数の文書からなる文書群とすることができる。
【００１６】
本発明に係る関係判定手段は、前記文書間の関係として、類似、対立、及び無関係の何れかを判定するようにすることができる。
【００１７】
本発明に係るプログラムは、コンピュータを、上記の文書クラスタリング装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００１８】
以上説明したように、本発明の文書クラスタリング装置、方法、及びプログラムによれば、文書群の各文書について、時間順に、先行文書との関係を確定し、確定された文書間の関係を用いて、文書群をクラスタリングすることにより、関連する複数の文書からなる文書群を適切にクラスタリングすることができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る文書クラスタリング装置の構成を示す概略図である。
【図２】入力される文書のデータ形式を示す図である。
【図３】文書間関係モデルを説明するための図である。
【図４】判定された文書間の関係の例を示す図である。
【図５】クラスタリング結果の出力例を示す図である。
【図６】本発明の実施の形態に係る文書クラスタリング装置における文書クラスタリング処理ルーチンの内容を示すフローチャートである。
【図７】本発明の実施の形態に係る文書クラスタリング装置における文書間の関係の確定処理の内容を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２１】
＜システム構成＞
本発明の実施の形態に係る文書クラスタリング装置１００は、文書群として特定の話題に関連する一連の文書が入力され、文書のクラスタを出力する。１つの文書は１つ以上の文からなるテキストデータであり、書き手の意見や感情が含まれるものとする。この文書クラスタリング装置１００は、ＣＰＵと、ＲＡＭと、後述する文書クラスタリング処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図１に示すように、文書クラスタリング装置１００は、入力部１０と、演算部２０と、出力部３０とを備えている。
【００２２】
入力部１０は、入力された複数の文書からなる文書群として、特定の話題に関連する一連の文書を受け付ける。例えば、ある質問に対して寄せられる複数の回答文書などであり、各回答文書は、文書作成時間あるいは文書送信時間などの時間情報が付加されている。また、文書は形態素解析済み、およびあるいは固有表現抽出済み、およびあるいは係り受け解析済みのテキストであってもよい。例えば、文書として図２に示すようなデータを入力することができる。このように、入力部１０は、文書の内容と文書の時間情報を取得する。
【００２３】
演算部２０は、文書群データベース２１、素性抽出部２２、関係判定部２３、文書間関係モデル記憶部２４、及びクラスタリング部２５を備えている。なお、クラスタリング部２５が、関係確定手段及びクラスタリング手段の一例である。
【００２４】
文書群データベース２１は、入力部１０により受け付けた文書群としての複数の回答文書を記憶する。
【００２５】
素性抽出部２２は、文書群データベース２１に記憶された文書群の各文書から、文書間の関係を判定するために利用する素性を抽出する。抽出される素性は、予め定められた複数の素性であり、文書間の素性が含まれる（後述する図３参照）。また、抽出される素性として、更に、文書の素性を用いてもよい。例えば、非特許文献（神保一樹、高村大也、奥村学、"質問応答サイトにおける発言間の関係同定"、人工知能学会全国大会、3D3-3、2010.）に開示されている素性を利用することができ、質問の核文に関するもの、質問のタイプ、回答文書に含まれる固有表現、単語をベクトルとした文書間の類似度などを、抽出される素性とすることができる。素性の抽出結果としては、素性に対応する数値が得られ、例えば、素性に該当するか否かを示す数値（０、１）が得られる。
【００２６】
関係判定部２３は、素性抽出部２２から得られる素性と文書間関係モデル記憶部２４に記憶された文書間関係モデルとに基づいて、全ての文書間について、最も尤もらしい関係（例えば、類似、対立、無関係など）を判定すると共に、その文書間の関係の信頼度を判定する。
【００２７】
文書間関係モデル記憶部２４に記憶されている文書間関係モデルは、各素性に関する重みの数値を格納したものであり、文書から抽出される素性と共に、文書同士の関係が正しく付与された多数の正解データから学習することにより得ることができる。文書間関係モデルの例を図３に示す。
【００２８】
関係判定部２３は、機械学習アルゴリズムを利用することができる。機械学習アルゴリズムとしては、例えばサポートベクトルマシン（SVM）やMarkov Logic Network (MLN)などのアルゴリズムを利用することができる。サポートベクトルマシン等の2値分類器を利用する場合には、文書間の関係がある関係であるか否か、という一度に１つの関係しか判別できないため、判定する関係が複数種類である場合には複数のサポートベクトルマシンを組み合わせる。例えば、one-vs-rest法を利用し、各文書同士について最も尤もらしい関係を判定することができる。また、サポートベクトルマシンにより得られる超平面からの各文書同士までの距離を正規化したものを、各文書同士の関係についての信頼度とすることができる。MLNを利用する場合には、SVMで利用する素性の他に、大域的な制約を導入することが可能である。例えば、
【数１】
を導入すれば、文書Aと文書Bが類似の関係にあり、文書Bと文書Cが類似の関係にあるならば、文書Aと文書Cは類似の関係にあるという制約を設けることができる。また、
【数２】
を導入すれば、文書Aと文書Bが類似の関係にあるならば、文書Aと文書Cは対立の関係にあり、かつ、文書Bと文書Cも対立の関係にあるという制約を設けることができる。
【００２９】
関係判定部２３は、例えば、サポートベクトルマシンを用いる場合には、類似の関係にある正例と類似の関係にない負例から類似の関係を判定する分類器を学習しておき、判定対象の文書間から抽出された素性の値を用いてスコアを計算し、当該文書間の関係が類似か否かを判定する。同様に、対立及び無関係についてもその関係か否かをサポートベクトルマシンで判定する。one-vs-rest法により、各々のサポートベクトルマシンにより複数の関係にあると判定された場合でも、それらの中で最もスコアが大きいサポートベクトルマシンの関係をその文書間の関係とする。
【００３０】
クラスタリング部２５は、すべての文書間について判定された最も尤もらしい関係とその信頼度を取得し、それらの情報に基づいて、以下のように、文書群をクラスタリングする。
【００３１】
例えば、文書Ｘという質問に対して、時間順に回答Ａ〜Ｄの文書集合が存在し、いずれも質問に対する直接的な回答文書である場合に、クラスタリング部２５が用いる、判定された文書間の関係の例を図４に示す。この例では、文書Ａと文書Ｂの関係は類似であり、信頼度は０．８である。また、文書Ａと文書Ｃの関係は対立であり、信頼度は０．５である。
【００３２】
クラスタリング部２５は、文書群の各文書について、最も早い時間情報が付与された先頭文書から時間順に、文書間の関係により先頭文書まで繋がるパスのうち、信頼度が最も高くなるパスを確定することにより、当該文書より早い時間情報が付与された先行文書のうちの何れか１つとの間について判定された関係を確定する。このとき、既に確定されたパス上の文書間の関係の各々の信頼度と、当該文書と先行文書との間について判定された関係の信頼度とに基づいて、先行文書のうちの何れか１つとの間について判定された関係を確定する。
【００３３】
また、クラスタリング部２５は、文書群について確定された文書間の関係を用いて、文書群をクラスタリングする。
【００３４】
出力部３０は、文書群に対するクラスタリングの結果及び文書群についての確定パスを出力する。出力は、文書をノードとし確定パスをリンクとしたグラフとすることができる。例えば、上記図４で得られていた文書間の関係から確定パスを得ることによりクラスタリングした出力例を図５に示す。
【００３５】
上記図５は、文書Ａと文書Ｂでひとつのクラスタを構成し、文書Ｃだけで別のクラスタを構成し、文書Ｄだけでも別のクラスタを構成することを示す例である。時間順に先頭文書Ａから順次文書Ｂから文書Ｄまで、それぞれの文書から先頭文書Ａまでの確定パスを描画することにより、文書Ａと文書Ｂの間には「類似」の関係があり、文書Ｂと文書Ｄの間の関係は「無関係」であり、文書Ａと文書Ｃの間には「対立」の関係があることを示すグラフを提示することができる。確定パスには関係と共に信頼度を示すことができる。また関係の種類に応じて、グラフのリンクの形状を変更してもよい。例えば、類似の関係ではリンクを太くしたり、対立の関係ではリンクを両方向矢印にしたり、無関係の関係ではリンクを点線にしてもよいし、リンクを張らなくてもよい。
【００３６】
＜文書クラスタリング装置の作用＞
次に、本実施の形態に係る文書クラスタリング装置１００の作用について説明する。まず、ある質問に対する一連の回答文書が文書群として文書クラスタリング装置１００に入力されると、文書クラスタリング装置１００によって、入力された文書群が、文書群データベース２１へ格納される。そして、文書クラスタリング装置１００によって、図６に示す文書クラスタリング処理ルーチンが実行される。
【００３７】
まず、ステップＳ１０１において、文書群の全ての文書間の素性、及び全ての文書の素性を抽出する。そして、ステップＳ１０２において、上記ステップＳ１０１において抽出された素性と文書間関係モデルとに基づいて、文書群の全ての文書間について、文書間の関係及び当該関係の信頼度を判定する。
【００３８】
次のステップＳ１０３では、上記ステップＳ１０２で判定された文書間の関係及び信頼度に基づいて、文書間の関係を確定する処理を行う。
【００３９】
そして、ステップＳ１０４では、上記ステップＳ１０３で確定された文書間の関係に基づいて、文書群をクラスタリングし、ステップＳ１０５において、クラスタリング結果と共に、確定された文書間の関係及びその関係の信頼度を出力して、文書クラスタリング処理ルーチンを終了する。
【００４０】
上記ステップＳ１０３は、図７に示す処理ルーチンによって実現される。
【００４１】
まず、ステップＳ１１０において、文書群を構成する回答文書を、時間が早い順にソートする。そして、ステップＳ１１１において、処理していない回答文書が残っているかを判定し、処理していない回答文書が残っている場合には、ステップＳ１１２において、残っている回答文書から時間が早い順に１つの回答文書を選択して対象文書とし、ステップＳ１１３へ移行する。一方、処理していない回答文書が残っていない場合には、処理ルーチンを終了する。
【００４２】
ステップＳ１１３では、上記ステップＳ１１２で選択した対象文書が、時間順で最も早い文書（以下、先頭文書）でないかどうかを判定する。先頭文書でなければ、ステップＳ１１４へ移行するが、一方、先頭文書である場合には、上記ステップＳ１１１へ戻る。
【００４３】
ステップＳ１１４では、後述するステップＳ１１５〜Ｓ１２０の処理を行っていない、対象文書よりも時間が早い文書があるかを判定する。対象文書よりも時間が早い文書のうち、処理を行っていない文書がある限り、後述するステップＳ１１５〜Ｓ１２０の処理を繰り返す。まず、ステップＳ１１５において、対象文書よりも時間が早い文書のうち、後述するステップＳ１１５〜Ｓ１２０の処理を行っていない文書の中から、時間が早い順に１つの文書を選択して先行文書とする。
【００４４】
そして、ステップＳ１１６において、先行文書が先頭文書でないかどうかを判定し、先行文書が先頭文書でなければ、ステップＳ１１７において、対象文書と先行文書との間について判定された関係の信頼度（以下、信頼度Ａ）を取得し、ステップＳ１１８において、先行文書から先頭文書までの確定パスの信頼度（以下、信頼度Ｂ）を取得する。ここで、確定パスとその信頼度については、後述のステップＳ１２１により既に登録されているものを利用することになる。
【００４５】
そして、ステップＳ１１９において、信頼度Ａと信頼度Ｂの値に基づいて信頼度Ｃを計算し、その値と対象文書から先頭文書までのパス（先行文書から先頭文書までの確定パスと、先行文書と対象文書との間のパスとを繋げたもの）をパス候補として登録し、上記ステップＳ１１４へ戻る。ここで、信頼度Ｃは、例えば以下の（１）式で求めることができる。
【００４６】
信頼度Ｃ＝信頼度Ａ＊信頼度Ｂ ・・・（１）
【００４７】
上記ステップＳ１１６において、先行文書が先頭文書であると判定された場合には、ステップＳ１２０において、対象文書と先行文書の間について判定された関係の信頼度を信頼度Ｃとして取得し、その値と、対象文書と先行文書との間のパスをパス候補として登録して、上記ステップＳ１１４へ戻る。
【００４８】
すべての先行文書についてパス候補を登録すると、上記ステップＳ１１４において、後述するステップＳ１１５〜Ｓ１２０の処理を行っていない、対象文書よりも時間が前の文書が存在しないと判定され、ステップＳ１２１へ移行する。
【００４９】
ステップＳ１２１では、パス候補の中で最も高い信頼度Ｃの値を持つパス候補を確定パスとして登録し、上記ステップＳ１１１へ戻る。ここで、最も高い信頼度Ｃを有するパス候補が複数存在する場合には、ランダムにいずれかに決定してもよい。
【００５０】
以上のように、文書群の全ての文書を対象文書として時間順に上記の処理を繰り返し実施し、文書群に対する確定パスを得る。なお、文書数が多い場合には、先行文書から先頭文書までの信頼度が高い上位Ｎ文書だけを先行文書として選択して、パス候補を登録するようにしてもよい。
【００５１】
ここで、上記図４の例において、例えば、文書Ｄを対象文書として処理するときの例を説明する。文書Ｄが対象文書として選択されるときには、すでに文書Ａ、文書Ｂ、文書Ｃを対象文書とする処理を終えているため、文書Ｂから先頭文書Ａへの確定パス、及び、文書Ｃから先頭文書Ａへの確定パスは既に登録されている。
【００５２】
まず、文書Ａを先行文書として選択する。文書Ａが先頭文書なので、先行文書Ａと文書Ｄとの間について判定された関係を直接取得でき、文書Ｄから先頭文書Ａまでのパス候補として、先行文書Ａと文書Ｄとの間のパス（関係が「類似」で信頼度Ｃが０．３）を取得する（ステップＳ１２０）。
【００５３】
次に、文書Ｂを先行文書として選択する。先行文書Ｂと文書Ｄのパスとして関係が「無関係」で信頼度Ａとして０．７を取得する（ステップＳ１１７）。先行文書Ｂは先頭文書ではないので、文書Ｂから先頭文書Ａまでのパスとして、先頭文書Ａから文書Ｂまでの間の確定パス（関係が「類似」であり、信頼度Ｂが０．８）を取得する（ステップＳ１１８）。上記（１）式に従って、文書Ｄから先頭文書Ａまでのパス候補の信頼度Ｃは、０．５６（＝０．８*０．７）と計算される（ステップＳ１１９）。
【００５４】
続いて、文書Ｃを先行文書として選択する。先行文書Ｃと文書Ｄのパス（関係が「無関係」であり、信頼度Ａが０．６）を取得する（ステップＳ１１７）。先行文書Ｃは先頭文書ではないので、文書Ｃから先頭文書Ａまでのパスとして、先頭文書Ａから文書Ｃまでの間の確定パス（関係が「対立」であり、信頼度Ｂが０．５）を取得する（ステップＳ１１８）。上記（１）式に従って、文書Ｄから先行文書Ａまでのパス候補の信頼度Ｃは０．３（＝０．６＊０．５）と計算される（ステップＳ１１９）。
【００５５】
文書Ｄから先頭文書Ａまでの３つのパス候補の信頼度Ｃを比較し、最も高い値である０．５６を有する文書Ｄから文書Ｂを経由して文書Ａにいたるパスを確定パスとして、当該パスとパス上の関係と信頼度Ｃの値とを登録する（ステップＳ１２１）。
【００５６】
さらに、文書群の全ての文書を対象文書として確定パスが得られたら、「類似」という関係を用いることにより、確定パスの関係として「類似」の関係で登録されている文書同士を同じクラスタにするように分類する（ステップＳ１０４）。
【００５７】
以上説明したように、本実施の形態に係る文書クラスタリング装置によれば、文書群の全ての文書間の関係を判定し、文書群の各文書について、早い時間順に、先行文書との関係を確定し、確定された文書間の関係を用いて、文書群をクラスタリングすることにより、ある質問に対する一連の回答文書からなる文書群を適切にクラスタリングすることができる。
【００５８】
また、質問に対する一連の複数の回答文書に対して、回答文書同士の個々の関係を信頼度付きで判定し、判定した回答文書同士の関係の信頼度に基づいて回答文書全体をクラスタリングし、クラスタ間の関係を可視化するため、同一の話題で正反対の主張を含む回答文書を異なるクラスタに分類し、クラスタ間の関係を明示することができる。
【００５９】
また、文書群の全ての文書間の関係を判定し、文書群の各文書について、早い時間順に、先行文書との関係を確定することにより、文書群全体において矛盾がないように、文書間の関係を確定することができる。
【００６０】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６１】
例えば、パス候補上の文書間の関係の信頼度の平均を計算し、信頼度の平均が最大となるパス候補を、確定パスとしてもよい。
【００６２】
また、文書群全体で確定パスを決めた後に、「類似」の関係を持つ文書同士を同じクラスタに分類する場合を例に説明したが、これに限定されるものではなく、文書群全体で確定パスを決めたときに得られる文書間の関係を用いた他の方法により、文書群をクラスタリングするようにしてもよい。
【００６３】
また、ある質問に対する一連の回答文書を、文書群として入力する場合を例に説明したが、これに限定されるものではなく、質問以外の特定の話題に関連する一連の文書を、文書群として入力するようにしてもよい。
【００６４】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００６５】
１０ 入力部
２０ 演算部
２１ 文書群データベース
２２ 素性抽出部
２３ 関係判定部
２４ 文書間関係モデル記憶部
２５ クラスタリング部
３０ 出力部
１００ 文書クラスタリング装置
【技術分野】
【０００１】
本発明は、文書クラスタリング装置、方法、及びプログラムに係り、特に、関連する複数の文書からなる文書群をクラスタリングする文書クラスタリング装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
インターネットには、ユーザが投稿した質問に対して、別のユーザが回答を投稿する質問応答サイトが存在する。このようなサイトに投稿される質問の中には、Web検索エンジンでは答えが見つからなかったり、人それぞれによって答えが異なったりするような質問も多く見受けられたり、そもそもはっきりとした答えがなく他人の意見やアドバイスを求めるような質問も多く見られる。このような質問に対しては、複数のユーザがそれぞれ異なる回答を投稿する事例が多く見られる。複数の回答の中には、類似している意見や対立している意見、そしてまったく別の意見が存在している。回答数が多くなるとすべての回答を読むのに時間がかかるため、回答全体を適切に分類することが望ましい。
【０００３】
従来の文書クラスタリング技術では、文書に出現する単語とその頻度を用いることにより作成した文書ベクトルの類似度に従って、類似している文書同士をクラスタリングする手法が主流であり、クラスタリングについては様々な方法が提案されている（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】高村大也、奥村学、「言語処理のための機械学習入門」、コロナ社、2010年、pp.77-93.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
回答のような文書には意見が含まれるので、同じ話題でも正反対の主張になることがありえるが、従来の文書クラスタリングの手法では、同じ話題の文書であるから、共通の単語、とりわけ共通の内容語が出現し、これらの文書が同じクラスタとして誤って区分されてしまう、という問題がある。これらの文書が正反対の主張を含んでいるとすれば、本来は異なるクラスタに区分されるべきである。このように、文書に正反対の意見が含まれる場合には、単純に文書に出現する単語を用いた文書間の類似度により、文書を適切にクラスタリングすることは困難である。
【０００６】
本発明は、上記の事情を鑑みてなされたもので、関連する複数の文書からなる文書群を適切にクラスタリングすることができる文書クラスタリング装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために本発明に係る文書クラスタリング装置は、時間情報が各々付与され、かつ、関連する複数の文書からなる文書群における全ての文書間の各々について、文書間の関係及び前記関係の信頼度を判定する関係判定手段と、前記文書群の各文書について、時間順に、最も早い時間情報が付与された先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記文書より早い時間情報が付与された先行文書のうちの何れか１つとの間について判定された関係を確定する関係確定手段と、前記関係確定手段によって確定された文書間の関係を用いて、前記文書群をクラスタリングするクラスタリング手段とを含んで構成されている。
【０００８】
本発明に係る文書クラスタリング方法は、関係判定手段、関係確定手段、及びクラスタリング手段を含む文書クラスタリング装置における文書クラスタリング方法であって、
【０００９】
前記文書クラスタリング装置は、前記関係判定手段によって、時間情報が各々付与され、かつ、関連する複数の文書からなる文書群における全ての文書間の各々について、文書間の関係及び前記関係の信頼度を判定するステップと、前記関係確定手段によって、前記文書群の各文書について、時間順に、最も早い時間情報が付与された先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記文書より早い時間情報が付与された先行文書のうちの何れか１つとの間について判定された関係を確定するステップと、前記クラスタリング手段によって、前記関係確定手段によって確定された文書間の関係を用いて、前記文書群をクラスタリングするステップと、を含んで実行することを特徴とする。
【００１０】
本発明によれば、前記関係判定手段によって、時間情報が各々付与され、かつ、関連する複数の文書からなる文書群における全ての文書間の各々について、文書間の関係及び前記関係の信頼度を判定する。
【００１１】
そして、関係確定手段によって、前記文書群の各文書について、時間順に、最も早い時間情報が付与された先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記文書より早い時間情報が付与された先行文書のうちの何れか１つとの間について判定された関係を確定する。前記クラスタリング手段によって、前記関係確定手段によって確定された文書間の関係を用いて、前記文書群をクラスタリングする。
【００１２】
このように、文書群の各文書について、時間順に、先行文書との関係を確定し、確定された文書間の関係を用いて、文書群をクラスタリングすることにより、関連する複数の文書からなる文書群を適切にクラスタリングすることができる。
【００１３】
本発明に係る関係確定手段は、前記文書群の各文書について、時間順に、既に確定された文書間の関係の各々の信頼度と、前記文書と前記先行文書との間について判定された前記関係の信頼度とに基づいて、前記先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記先行文書のうちの何れか１つとの間について判定された関係を確定するようにすることができる。
【００１４】
本発明に係る文書クラスタリング装置は、前記文書群における全ての文書間の各々について、文書間の素性を抽出する素性抽出手段を更に含み、前記関係判定手段は、前記文書群における全ての文書間の各々について、前記素性抽出手段によって抽出された前記文書間の素性と、前記文書間の素性と前記文書間の関係とに基づいて予め学習した文書間関係モデルとに基づいて、前記文書間の関係及び前記関係の信頼度を判定するようにすることができる。
【００１５】
上記の文書群を、特定の話題に関連する複数の文書からなる文書群とすることができる。
【００１６】
本発明に係る関係判定手段は、前記文書間の関係として、類似、対立、及び無関係の何れかを判定するようにすることができる。
【００１７】
本発明に係るプログラムは、コンピュータを、上記の文書クラスタリング装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００１８】
以上説明したように、本発明の文書クラスタリング装置、方法、及びプログラムによれば、文書群の各文書について、時間順に、先行文書との関係を確定し、確定された文書間の関係を用いて、文書群をクラスタリングすることにより、関連する複数の文書からなる文書群を適切にクラスタリングすることができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る文書クラスタリング装置の構成を示す概略図である。
【図２】入力される文書のデータ形式を示す図である。
【図３】文書間関係モデルを説明するための図である。
【図４】判定された文書間の関係の例を示す図である。
【図５】クラスタリング結果の出力例を示す図である。
【図６】本発明の実施の形態に係る文書クラスタリング装置における文書クラスタリング処理ルーチンの内容を示すフローチャートである。
【図７】本発明の実施の形態に係る文書クラスタリング装置における文書間の関係の確定処理の内容を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２１】
＜システム構成＞
本発明の実施の形態に係る文書クラスタリング装置１００は、文書群として特定の話題に関連する一連の文書が入力され、文書のクラスタを出力する。１つの文書は１つ以上の文からなるテキストデータであり、書き手の意見や感情が含まれるものとする。この文書クラスタリング装置１００は、ＣＰＵと、ＲＡＭと、後述する文書クラスタリング処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図１に示すように、文書クラスタリング装置１００は、入力部１０と、演算部２０と、出力部３０とを備えている。
【００２２】
入力部１０は、入力された複数の文書からなる文書群として、特定の話題に関連する一連の文書を受け付ける。例えば、ある質問に対して寄せられる複数の回答文書などであり、各回答文書は、文書作成時間あるいは文書送信時間などの時間情報が付加されている。また、文書は形態素解析済み、およびあるいは固有表現抽出済み、およびあるいは係り受け解析済みのテキストであってもよい。例えば、文書として図２に示すようなデータを入力することができる。このように、入力部１０は、文書の内容と文書の時間情報を取得する。
【００２３】
演算部２０は、文書群データベース２１、素性抽出部２２、関係判定部２３、文書間関係モデル記憶部２４、及びクラスタリング部２５を備えている。なお、クラスタリング部２５が、関係確定手段及びクラスタリング手段の一例である。
【００２４】
文書群データベース２１は、入力部１０により受け付けた文書群としての複数の回答文書を記憶する。
【００２５】
素性抽出部２２は、文書群データベース２１に記憶された文書群の各文書から、文書間の関係を判定するために利用する素性を抽出する。抽出される素性は、予め定められた複数の素性であり、文書間の素性が含まれる（後述する図３参照）。また、抽出される素性として、更に、文書の素性を用いてもよい。例えば、非特許文献（神保一樹、高村大也、奥村学、"質問応答サイトにおける発言間の関係同定"、人工知能学会全国大会、3D3-3、2010.）に開示されている素性を利用することができ、質問の核文に関するもの、質問のタイプ、回答文書に含まれる固有表現、単語をベクトルとした文書間の類似度などを、抽出される素性とすることができる。素性の抽出結果としては、素性に対応する数値が得られ、例えば、素性に該当するか否かを示す数値（０、１）が得られる。
【００２６】
関係判定部２３は、素性抽出部２２から得られる素性と文書間関係モデル記憶部２４に記憶された文書間関係モデルとに基づいて、全ての文書間について、最も尤もらしい関係（例えば、類似、対立、無関係など）を判定すると共に、その文書間の関係の信頼度を判定する。
【００２７】
文書間関係モデル記憶部２４に記憶されている文書間関係モデルは、各素性に関する重みの数値を格納したものであり、文書から抽出される素性と共に、文書同士の関係が正しく付与された多数の正解データから学習することにより得ることができる。文書間関係モデルの例を図３に示す。
【００２８】
関係判定部２３は、機械学習アルゴリズムを利用することができる。機械学習アルゴリズムとしては、例えばサポートベクトルマシン（SVM）やMarkov Logic Network (MLN)などのアルゴリズムを利用することができる。サポートベクトルマシン等の2値分類器を利用する場合には、文書間の関係がある関係であるか否か、という一度に１つの関係しか判別できないため、判定する関係が複数種類である場合には複数のサポートベクトルマシンを組み合わせる。例えば、one-vs-rest法を利用し、各文書同士について最も尤もらしい関係を判定することができる。また、サポートベクトルマシンにより得られる超平面からの各文書同士までの距離を正規化したものを、各文書同士の関係についての信頼度とすることができる。MLNを利用する場合には、SVMで利用する素性の他に、大域的な制約を導入することが可能である。例えば、
【数１】
を導入すれば、文書Aと文書Bが類似の関係にあり、文書Bと文書Cが類似の関係にあるならば、文書Aと文書Cは類似の関係にあるという制約を設けることができる。また、
【数２】
を導入すれば、文書Aと文書Bが類似の関係にあるならば、文書Aと文書Cは対立の関係にあり、かつ、文書Bと文書Cも対立の関係にあるという制約を設けることができる。
【００２９】
関係判定部２３は、例えば、サポートベクトルマシンを用いる場合には、類似の関係にある正例と類似の関係にない負例から類似の関係を判定する分類器を学習しておき、判定対象の文書間から抽出された素性の値を用いてスコアを計算し、当該文書間の関係が類似か否かを判定する。同様に、対立及び無関係についてもその関係か否かをサポートベクトルマシンで判定する。one-vs-rest法により、各々のサポートベクトルマシンにより複数の関係にあると判定された場合でも、それらの中で最もスコアが大きいサポートベクトルマシンの関係をその文書間の関係とする。
【００３０】
クラスタリング部２５は、すべての文書間について判定された最も尤もらしい関係とその信頼度を取得し、それらの情報に基づいて、以下のように、文書群をクラスタリングする。
【００３１】
例えば、文書Ｘという質問に対して、時間順に回答Ａ〜Ｄの文書集合が存在し、いずれも質問に対する直接的な回答文書である場合に、クラスタリング部２５が用いる、判定された文書間の関係の例を図４に示す。この例では、文書Ａと文書Ｂの関係は類似であり、信頼度は０．８である。また、文書Ａと文書Ｃの関係は対立であり、信頼度は０．５である。
【００３２】
クラスタリング部２５は、文書群の各文書について、最も早い時間情報が付与された先頭文書から時間順に、文書間の関係により先頭文書まで繋がるパスのうち、信頼度が最も高くなるパスを確定することにより、当該文書より早い時間情報が付与された先行文書のうちの何れか１つとの間について判定された関係を確定する。このとき、既に確定されたパス上の文書間の関係の各々の信頼度と、当該文書と先行文書との間について判定された関係の信頼度とに基づいて、先行文書のうちの何れか１つとの間について判定された関係を確定する。
【００３３】
また、クラスタリング部２５は、文書群について確定された文書間の関係を用いて、文書群をクラスタリングする。
【００３４】
出力部３０は、文書群に対するクラスタリングの結果及び文書群についての確定パスを出力する。出力は、文書をノードとし確定パスをリンクとしたグラフとすることができる。例えば、上記図４で得られていた文書間の関係から確定パスを得ることによりクラスタリングした出力例を図５に示す。
【００３５】
上記図５は、文書Ａと文書Ｂでひとつのクラスタを構成し、文書Ｃだけで別のクラスタを構成し、文書Ｄだけでも別のクラスタを構成することを示す例である。時間順に先頭文書Ａから順次文書Ｂから文書Ｄまで、それぞれの文書から先頭文書Ａまでの確定パスを描画することにより、文書Ａと文書Ｂの間には「類似」の関係があり、文書Ｂと文書Ｄの間の関係は「無関係」であり、文書Ａと文書Ｃの間には「対立」の関係があることを示すグラフを提示することができる。確定パスには関係と共に信頼度を示すことができる。また関係の種類に応じて、グラフのリンクの形状を変更してもよい。例えば、類似の関係ではリンクを太くしたり、対立の関係ではリンクを両方向矢印にしたり、無関係の関係ではリンクを点線にしてもよいし、リンクを張らなくてもよい。
【００３６】
＜文書クラスタリング装置の作用＞
次に、本実施の形態に係る文書クラスタリング装置１００の作用について説明する。まず、ある質問に対する一連の回答文書が文書群として文書クラスタリング装置１００に入力されると、文書クラスタリング装置１００によって、入力された文書群が、文書群データベース２１へ格納される。そして、文書クラスタリング装置１００によって、図６に示す文書クラスタリング処理ルーチンが実行される。
【００３７】
まず、ステップＳ１０１において、文書群の全ての文書間の素性、及び全ての文書の素性を抽出する。そして、ステップＳ１０２において、上記ステップＳ１０１において抽出された素性と文書間関係モデルとに基づいて、文書群の全ての文書間について、文書間の関係及び当該関係の信頼度を判定する。
【００３８】
次のステップＳ１０３では、上記ステップＳ１０２で判定された文書間の関係及び信頼度に基づいて、文書間の関係を確定する処理を行う。
【００３９】
そして、ステップＳ１０４では、上記ステップＳ１０３で確定された文書間の関係に基づいて、文書群をクラスタリングし、ステップＳ１０５において、クラスタリング結果と共に、確定された文書間の関係及びその関係の信頼度を出力して、文書クラスタリング処理ルーチンを終了する。
【００４０】
上記ステップＳ１０３は、図７に示す処理ルーチンによって実現される。
【００４１】
まず、ステップＳ１１０において、文書群を構成する回答文書を、時間が早い順にソートする。そして、ステップＳ１１１において、処理していない回答文書が残っているかを判定し、処理していない回答文書が残っている場合には、ステップＳ１１２において、残っている回答文書から時間が早い順に１つの回答文書を選択して対象文書とし、ステップＳ１１３へ移行する。一方、処理していない回答文書が残っていない場合には、処理ルーチンを終了する。
【００４２】
ステップＳ１１３では、上記ステップＳ１１２で選択した対象文書が、時間順で最も早い文書（以下、先頭文書）でないかどうかを判定する。先頭文書でなければ、ステップＳ１１４へ移行するが、一方、先頭文書である場合には、上記ステップＳ１１１へ戻る。
【００４３】
ステップＳ１１４では、後述するステップＳ１１５〜Ｓ１２０の処理を行っていない、対象文書よりも時間が早い文書があるかを判定する。対象文書よりも時間が早い文書のうち、処理を行っていない文書がある限り、後述するステップＳ１１５〜Ｓ１２０の処理を繰り返す。まず、ステップＳ１１５において、対象文書よりも時間が早い文書のうち、後述するステップＳ１１５〜Ｓ１２０の処理を行っていない文書の中から、時間が早い順に１つの文書を選択して先行文書とする。
【００４４】
そして、ステップＳ１１６において、先行文書が先頭文書でないかどうかを判定し、先行文書が先頭文書でなければ、ステップＳ１１７において、対象文書と先行文書との間について判定された関係の信頼度（以下、信頼度Ａ）を取得し、ステップＳ１１８において、先行文書から先頭文書までの確定パスの信頼度（以下、信頼度Ｂ）を取得する。ここで、確定パスとその信頼度については、後述のステップＳ１２１により既に登録されているものを利用することになる。
【００４５】
そして、ステップＳ１１９において、信頼度Ａと信頼度Ｂの値に基づいて信頼度Ｃを計算し、その値と対象文書から先頭文書までのパス（先行文書から先頭文書までの確定パスと、先行文書と対象文書との間のパスとを繋げたもの）をパス候補として登録し、上記ステップＳ１１４へ戻る。ここで、信頼度Ｃは、例えば以下の（１）式で求めることができる。
【００４６】
信頼度Ｃ＝信頼度Ａ＊信頼度Ｂ ・・・（１）
【００４７】
上記ステップＳ１１６において、先行文書が先頭文書であると判定された場合には、ステップＳ１２０において、対象文書と先行文書の間について判定された関係の信頼度を信頼度Ｃとして取得し、その値と、対象文書と先行文書との間のパスをパス候補として登録して、上記ステップＳ１１４へ戻る。
【００４８】
すべての先行文書についてパス候補を登録すると、上記ステップＳ１１４において、後述するステップＳ１１５〜Ｓ１２０の処理を行っていない、対象文書よりも時間が前の文書が存在しないと判定され、ステップＳ１２１へ移行する。
【００４９】
ステップＳ１２１では、パス候補の中で最も高い信頼度Ｃの値を持つパス候補を確定パスとして登録し、上記ステップＳ１１１へ戻る。ここで、最も高い信頼度Ｃを有するパス候補が複数存在する場合には、ランダムにいずれかに決定してもよい。
【００５０】
以上のように、文書群の全ての文書を対象文書として時間順に上記の処理を繰り返し実施し、文書群に対する確定パスを得る。なお、文書数が多い場合には、先行文書から先頭文書までの信頼度が高い上位Ｎ文書だけを先行文書として選択して、パス候補を登録するようにしてもよい。
【００５１】
ここで、上記図４の例において、例えば、文書Ｄを対象文書として処理するときの例を説明する。文書Ｄが対象文書として選択されるときには、すでに文書Ａ、文書Ｂ、文書Ｃを対象文書とする処理を終えているため、文書Ｂから先頭文書Ａへの確定パス、及び、文書Ｃから先頭文書Ａへの確定パスは既に登録されている。
【００５２】
まず、文書Ａを先行文書として選択する。文書Ａが先頭文書なので、先行文書Ａと文書Ｄとの間について判定された関係を直接取得でき、文書Ｄから先頭文書Ａまでのパス候補として、先行文書Ａと文書Ｄとの間のパス（関係が「類似」で信頼度Ｃが０．３）を取得する（ステップＳ１２０）。
【００５３】
次に、文書Ｂを先行文書として選択する。先行文書Ｂと文書Ｄのパスとして関係が「無関係」で信頼度Ａとして０．７を取得する（ステップＳ１１７）。先行文書Ｂは先頭文書ではないので、文書Ｂから先頭文書Ａまでのパスとして、先頭文書Ａから文書Ｂまでの間の確定パス（関係が「類似」であり、信頼度Ｂが０．８）を取得する（ステップＳ１１８）。上記（１）式に従って、文書Ｄから先頭文書Ａまでのパス候補の信頼度Ｃは、０．５６（＝０．８*０．７）と計算される（ステップＳ１１９）。
【００５４】
続いて、文書Ｃを先行文書として選択する。先行文書Ｃと文書Ｄのパス（関係が「無関係」であり、信頼度Ａが０．６）を取得する（ステップＳ１１７）。先行文書Ｃは先頭文書ではないので、文書Ｃから先頭文書Ａまでのパスとして、先頭文書Ａから文書Ｃまでの間の確定パス（関係が「対立」であり、信頼度Ｂが０．５）を取得する（ステップＳ１１８）。上記（１）式に従って、文書Ｄから先行文書Ａまでのパス候補の信頼度Ｃは０．３（＝０．６＊０．５）と計算される（ステップＳ１１９）。
【００５５】
文書Ｄから先頭文書Ａまでの３つのパス候補の信頼度Ｃを比較し、最も高い値である０．５６を有する文書Ｄから文書Ｂを経由して文書Ａにいたるパスを確定パスとして、当該パスとパス上の関係と信頼度Ｃの値とを登録する（ステップＳ１２１）。
【００５６】
さらに、文書群の全ての文書を対象文書として確定パスが得られたら、「類似」という関係を用いることにより、確定パスの関係として「類似」の関係で登録されている文書同士を同じクラスタにするように分類する（ステップＳ１０４）。
【００５７】
以上説明したように、本実施の形態に係る文書クラスタリング装置によれば、文書群の全ての文書間の関係を判定し、文書群の各文書について、早い時間順に、先行文書との関係を確定し、確定された文書間の関係を用いて、文書群をクラスタリングすることにより、ある質問に対する一連の回答文書からなる文書群を適切にクラスタリングすることができる。
【００５８】
また、質問に対する一連の複数の回答文書に対して、回答文書同士の個々の関係を信頼度付きで判定し、判定した回答文書同士の関係の信頼度に基づいて回答文書全体をクラスタリングし、クラスタ間の関係を可視化するため、同一の話題で正反対の主張を含む回答文書を異なるクラスタに分類し、クラスタ間の関係を明示することができる。
【００５９】
また、文書群の全ての文書間の関係を判定し、文書群の各文書について、早い時間順に、先行文書との関係を確定することにより、文書群全体において矛盾がないように、文書間の関係を確定することができる。
【００６０】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６１】
例えば、パス候補上の文書間の関係の信頼度の平均を計算し、信頼度の平均が最大となるパス候補を、確定パスとしてもよい。
【００６２】
また、文書群全体で確定パスを決めた後に、「類似」の関係を持つ文書同士を同じクラスタに分類する場合を例に説明したが、これに限定されるものではなく、文書群全体で確定パスを決めたときに得られる文書間の関係を用いた他の方法により、文書群をクラスタリングするようにしてもよい。
【００６３】
また、ある質問に対する一連の回答文書を、文書群として入力する場合を例に説明したが、これに限定されるものではなく、質問以外の特定の話題に関連する一連の文書を、文書群として入力するようにしてもよい。
【００６４】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００６５】
１０ 入力部
２０ 演算部
２１ 文書群データベース
２２ 素性抽出部
２３ 関係判定部
２４ 文書間関係モデル記憶部
２５ クラスタリング部
３０ 出力部
１００ 文書クラスタリング装置
【特許請求の範囲】
【請求項１】
時間情報が各々付与され、かつ、関連する複数の文書からなる文書群における全ての文書間の各々について、文書間の関係及び前記関係の信頼度を判定する関係判定手段と、
前記文書群の各文書について、時間順に、最も早い時間情報が付与された先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記文書より早い時間情報が付与された先行文書のうちの何れか１つとの間について判定された関係を確定する関係確定手段と、
前記関係確定手段によって確定された文書間の関係を用いて、前記文書群をクラスタリングするクラスタリング手段と、
を含む文書クラスタリング装置。
【請求項２】
前記関係確定手段は、前記文書群の各文書について、時間順に、既に確定された文書間の関係の各々の信頼度と、前記文書と前記先行文書との間について判定された前記関係の信頼度とに基づいて、前記先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記先行文書のうちの何れか１つとの間について判定された関係を確定する請求項１記載の文書クラスタリング装置。
【請求項３】
前記文書群における全ての文書間の各々について、文書間の素性を抽出する素性抽出手段を更に含み、
前記関係判定手段は、前記文書群における全ての文書間の各々について、前記素性抽出手段によって抽出された前記文書間の素性と、前記文書間の素性と前記文書間の関係とに基づいて予め学習した文書間関係モデルとに基づいて、前記文書間の関係及び前記関係の信頼度を判定する請求項１又は２記載の文書クラスタリング装置。
【請求項４】
前記文書群を、特定の話題に関連する複数の文書からなる文書群とした請求項１〜請求項３の何れか１項記載の文書クラスタリング装置。
【請求項５】
前記関係判定手段は、前記文書間の関係として、類似、対立、及び無関係の何れかを判定する請求項１〜請求項４の何れか１項記載の文書クラスタリング装置。
【請求項６】
関係判定手段、関係確定手段、及びクラスタリング手段を含む文書クラスタリング装置における文書クラスタリング方法であって、
前記文書クラスタリング装置は、
前記関係判定手段によって、時間情報が各々付与され、かつ、関連する複数の文書からなる文書群における全ての文書間の各々について、文書間の関係及び前記関係の信頼度を判定するステップと、
前記関係確定手段によって、前記文書群の各文書について、時間順に、最も早い時間情報が付与された先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記文書より早い時間情報が付与された先行文書のうちの何れか１つとの間について判定された関係を確定するステップと、
前記クラスタリング手段によって、前記関係確定手段によって確定された文書間の関係を用いて、前記文書群をクラスタリングするステップと、
を含んで実行することを特徴とする文書クラスタリング方法。
【請求項７】
コンピュータを、請求項１〜請求項５の何れか１項記載の文書クラスタリング装置の各手段として機能させるためのプログラム。
【請求項１】
時間情報が各々付与され、かつ、関連する複数の文書からなる文書群における全ての文書間の各々について、文書間の関係及び前記関係の信頼度を判定する関係判定手段と、
前記文書群の各文書について、時間順に、最も早い時間情報が付与された先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記文書より早い時間情報が付与された先行文書のうちの何れか１つとの間について判定された関係を確定する関係確定手段と、
前記関係確定手段によって確定された文書間の関係を用いて、前記文書群をクラスタリングするクラスタリング手段と、
を含む文書クラスタリング装置。
【請求項２】
前記関係確定手段は、前記文書群の各文書について、時間順に、既に確定された文書間の関係の各々の信頼度と、前記文書と前記先行文書との間について判定された前記関係の信頼度とに基づいて、前記先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記先行文書のうちの何れか１つとの間について判定された関係を確定する請求項１記載の文書クラスタリング装置。
【請求項３】
前記文書群における全ての文書間の各々について、文書間の素性を抽出する素性抽出手段を更に含み、
前記関係判定手段は、前記文書群における全ての文書間の各々について、前記素性抽出手段によって抽出された前記文書間の素性と、前記文書間の素性と前記文書間の関係とに基づいて予め学習した文書間関係モデルとに基づいて、前記文書間の関係及び前記関係の信頼度を判定する請求項１又は２記載の文書クラスタリング装置。
【請求項４】
前記文書群を、特定の話題に関連する複数の文書からなる文書群とした請求項１〜請求項３の何れか１項記載の文書クラスタリング装置。
【請求項５】
前記関係判定手段は、前記文書間の関係として、類似、対立、及び無関係の何れかを判定する請求項１〜請求項４の何れか１項記載の文書クラスタリング装置。
【請求項６】
関係判定手段、関係確定手段、及びクラスタリング手段を含む文書クラスタリング装置における文書クラスタリング方法であって、
前記文書クラスタリング装置は、
前記関係判定手段によって、時間情報が各々付与され、かつ、関連する複数の文書からなる文書群における全ての文書間の各々について、文書間の関係及び前記関係の信頼度を判定するステップと、
前記関係確定手段によって、前記文書群の各文書について、時間順に、最も早い時間情報が付与された先頭文書まで繋がる文書間の関係の信頼度が最も高くなるように、前記文書より早い時間情報が付与された先行文書のうちの何れか１つとの間について判定された関係を確定するステップと、
前記クラスタリング手段によって、前記関係確定手段によって確定された文書間の関係を用いて、前記文書群をクラスタリングするステップと、
を含んで実行することを特徴とする文書クラスタリング方法。
【請求項７】
コンピュータを、請求項１〜請求項５の何れか１項記載の文書クラスタリング装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２４３２１４（Ｐ２０１２−２４３２１４Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１４９６７（Ｐ２０１１−１１４９６７）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
[ Back to top ]