テキスト分割装置、テキスト分割学習装置、テキスト分割方法、テキスト分割学習方法、プログラム
【課題】あらかじめ決められた話題に合わせて、個々の境界ごとに最適な特徴パラメータを用いてテキストを分割する。
【解決手段】本発明のテキスト分割装置は、単語分割部、削除部、ベクトル化部、学習情報取得部、線形変換学習部、重心学習部、分割対象情報取得部、割付部を備える。線形変換学習部は、隣接する２つの話題ブロックの組ごとに、割付けられた単語の単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルを求める。重心学習部は、隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の単語ベクトルを用いて各話題ブロックの重心点を求める。割付部は、線形変換係数ベクトルと前記重心点を用いて、前記分割対象のテキストの単語をどの話題ブロックに割付けるかを決める。
【解決手段】本発明のテキスト分割装置は、単語分割部、削除部、ベクトル化部、学習情報取得部、線形変換学習部、重心学習部、分割対象情報取得部、割付部を備える。線形変換学習部は、隣接する２つの話題ブロックの組ごとに、割付けられた単語の単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルを求める。重心学習部は、隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の単語ベクトルを用いて各話題ブロックの重心点を求める。割付部は、線形変換係数ベクトルと前記重心点を用いて、前記分割対象のテキストの単語をどの話題ブロックに割付けるかを決める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、あらかじめ与えられた話題ブロックごとに、テキストを記述内容に応じて文単位に分割するテキスト分割装置、テキスト分割学習装置、テキスト分割方法、テキスト分割学習方法、プログラムに関する。
【背景技術】
【０００２】
近年、急速な計算機の性能向上に伴い、大量のテキスト（文の集合）を蓄積・処理することが可能となってきている。蓄積されたテキストを人手で整理・管理することは一般的に困難であるため、テキストを内容的なまとまりの単位（意味段落）に分割するテキスト分割の技術がこれまで様々提案されており（非特許文献１）、この技術をベースに、テキストの必要な部分の取り出しや、要約の作成といった処理を行うことができる。その結果、人間によるテキスト全体の内容把握や、テキストの分類・検索の精度向上が可能となる。
【０００３】
一方、音声認識技術の性能向上により、多少の認識誤りは含まれるものの、人が発話した音声をテキストに変換し、蓄積することも可能となってきている（非特許文献２）。例えば、コールセンタの通話音声を全て音声認識してテキスト化することで、通話の検索はもとより、テキストマイニング等の統計処理により、オペレータの応対品質向上やマーケティング情報抽出などに用いることが期待されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】別所克人、「クラスタ内変動最小基準に基づくテキストセグメンテーション」、情報処理学会論文誌、Vol.47、No.3, pp.957-967 (2006).
【非特許文献２】野田喜昭、高橋敏、「コンタクトセンタ向け音声処理技術の展開」、NTT技術ジャーナル、Vol.18、No.11、pp.8-10 (2006).
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のコールセンタの通話音声のように、比較的厳密に通話内容（話題）やその順番が、スクリプト等であらかじめ決められているテキストを入力として、非特許文献１のような従来のテキスト分割技術を用いた場合、単語の概念ベクトルなどのある特徴パラメータの変化が大きいところを境界として分割されるため、あらかじめ決められた通話内容（話題）や順番通りにテキストが分割されない場合がある。また、１つの概念ベクトル空間内で全ての境界を決定するため、ある境界の決定にとっては最適な特徴パラメータになっていない可能性がある。
【０００６】
本発明は、上記のコールセンタの通話音声等のような応用を想定して、あらかじめ決められた内容（話題）や順番に合わせて、個々の境界ごとに最適な特徴パラメータを用いてテキストを分割する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のテキスト分割装置は、単語分割部、削除部、ベクトル化部、学習情報取得部、線形変換学習部、重心学習部、分割対象情報取得部、割付部を備える。単語分割部は、入力されたテキストを形態素解析により単語に分割する。削除部は、内容語以外を削除する。ベクトル化部は、各単語をベクトル化し、単語ベクトルを得る。学習情報取得部は、学習用テキスト、複数の話題ブロックの情報、学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報を取得する。線形変換学習部は、隣接する２つの話題ブロックの組ごとに、割付けられた単語の単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルを求める。重心学習部は、隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の単語ベクトルを用いて各話題ブロックの重心点を求める。分割対象情報取得部は、分割対象のテキストを取得する。割付部は、仮割付手段、距離計算手段、総和計算手段、繰返し制御手段を有し、線形変換係数ベクトルと前記重心点を用いて、前記分割対象のテキストの単語をどの話題ブロックに割付けるかを決める。なお、仮割付手段は、分割対象のテキストの単語をあらかじめ定めた方法で、当該単語の属する話題ブロックと、どちらの隣接する話題ブロックと分離するために使用するのかを仮割付けする。距離計算手段は、隣接する２つの話題ブロックの組ごとに、当該２つの話題ブロックの組の線形変換係数ベクトルによって当該２つの話題ブロックを分離するために仮割付けされた単語の単語ベクトルを写像し、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点との距離を求める。総和計算手段は、前記距離の総和を求める。繰返し制御手段は、前記仮割付手段、前記距離計算手段、前記総和計算手段の処理を、前記あらかじめ定めた方法に定められたすべての仮割付を行うまで繰返し、前記総和が最も小さい仮割付けを、分割対象のテキストの単語の割付けとする。
【発明の効果】
【０００８】
本発明のテキスト分割装置によれば、隣接する２つの話題ブロックの組ごとに線形変換係数ベクトルと重心点を学習しておき、分割する際には隣接する２つの話題ブロックの組ごとに当該話題ブロックの組用の線形変換係数ベクトルと重心点とを用いてテキストを分割する。したがって、必ず話題ブロックの組ごとに最適な特徴パラメータで分割できる。
【図面の簡単な説明】
【０００９】
【図１】比較的厳密に通話内容（話題）やその順番があらかじめ決められている場合の話題ブロックの例を示す図。
【図２】実施例１のテキスト分割装置の機能構成例を示す図。
【図３】学習時の処理フローを示す図。
【図４】学習用テキストを人手で話題ブロックごとに割付けるイメージを示す図。
【図５】隣接する２つの話題ブロックを分離するための線形変換ベクトルを求めるときのイメージを示す図。
【図６】学習が終了したときに得られる学習結果のイメージを示す図。
【図７】テキストを分割するときの処理フローを示す図。
【図８】距離計算手段１８２の詳細な処理フローを示す図。
【図９】割付けのイメージを示す図。
【図１０】本変形例のテキスト分割学習装置の機能構成例を示す図。
【図１１】本変形例のテキスト分割装置の機能構成例を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例１】
【００１１】
図１に、比較的厳密に通話内容（話題）やその順番があらかじめ決められている場合の話題ブロックの例を示す。図１の例では、話題は「最初の挨拶」「用件確認」「本人確認」「問題の発生条件確認」・・・「最後の挨拶」のように変化する。これらの１つ１つを話題ブロックと呼ぶことにする。コールセンタのように話題の流れが厳密に決まっている場合は、ほとんどすべての会話があらかじめ定めた話題ブロックの流れに従って進む。
【００１２】
図２に実施例１のテキスト分割装置の機能構成例を、図３に学習時の処理フローを示す。図４は学習用テキストを人手で話題ブロックごとに割付けるイメージを示す図、図５は隣接する２つの話題ブロックを分離するための線形変換ベクトルを求めるときのイメージを示す図、図６は学習が終了したときに得られる学習結果のイメージを示す図である。テキスト分割装置１００は、単語分割部１１０、削除部１２０、ベクトル化部１３０、学習情報取得部１４０、線形変換学習部１５０、重心学習部１６０、分割対象情報取得部１７０、割付部１８０、記録部１９０を備える。記録部１９０は、内容語辞書、入力された学習用の情報、学習結果、分割対象のテキストなどを記録する。なお、内容語辞書とは、テキストの内容を理解するために必要な単語（名詞、動詞、形容詞など）が登録されている辞書である。
【００１３】
まず、学習時の処理フローについて説明する。学習情報取得部１４０は、学習用テキスト、複数の話題ブロックの情報、学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報を取得する（Ｓ１４０）。学習用テキストとは、図４に示された「学習用通話１」のようなテキストである。複数の話題ブロックの情報とは、図１に示した話題ブロックの流れ（話題フロー）である。学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報とは、図４に示しているように学習用テキストを文単位に話題ブロックに割付けた情報である。
【００１４】
単語分割部１１０は、入力されたテキストを形態素解析により単語に分割する（Ｓ１１０）。なお、学習用テキストは、文単位に話題ブロックに割付けられているので、同一の文の単語は同一の話題ブロックに割付けられることになる。また、単語に分割した後に、人手で文単位に単語を、話題ブロックに割付けてもかまわない。
【００１５】
削除部１２０は、記録部１９０に記録された内容語辞書を参照し、内容語以外を削除する（Ｓ１２０）。ベクトル化部１３０は、各単語をベクトル化し、単語ベクトルＶｉｊを得る（Ｓ１３０）。ここで、ｉはテキスト中の文の番号、ｊは文中の単語の番号を表す。ベクトル化では、非特許文献１などに示されているように、例えば、単語間の共起関係を用いる概念ベクトルなどを利用すればよい。
【００１６】
線形変換学習部１５０は、隣接する２つの話題ブロックの組ごとに、割付けられた単語の単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルＣｐｑｒを求め、記録部１９０に記録する（Ｓ１５０）。ここで、ｐは２つの話題ブロックの組の前側の話題ブロックの番号、ｑは２つの話題ブロックの組の後側の話題ブロックの番号、ｒは何番目の線形変換係数ベクトルであるかを示す数値である。図５の「よく判別する軸」が線形変換係数ベクトルＣｐｑｒに相当する。線形変換係数ベクトルＣｐｑｒは、例えば以下のように求めればよい。２つの話題ブロックの組ごとに、当該２つの話題ブロックに割付けされた単語の単語ベクトルを用いて、話題ブロック間の分散・共分散行列Ａと話題ブロック内の分散・共分散行列Ｂを求める。そして、
｜Ａ−λＢ｜＝０
となる固有値λを求め、固有ベクトルを前記線形変換係数ベクトルＣｐｑｒとする。分散・共分散行列の求め方などついては、参考文献１（R. A. Johnson, D. W. Wichern共著, 西田俊夫訳, “多変量解析の徹底研究”, 現代数学社, 1992年.）、参考文献２（生松宏規, 大堀哲史, 小杉信, “モザイク表現とFisher判別分析法を用いた照明方向にロバストな顔画像の認識”, 信学技報, IE2001-112, pp.21-28, 2001年11月.）の４．１節に示された方法を用いればよい。
【００１７】
重心学習部１６０は、隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の単語ベクトルを用いて各話題ブロックの重心点Ｇｐｑｓを求め、記録部１９０に記録する（Ｓ１６０）。ここで、ｐは２つの話題ブロックの組の前側の話題ブロックの番号、ｑは２つの話題ブロックの組の後側の話題ブロックの番号、ｓはｐまたはｑである。つまり、話題ブロックｐとｑとを分離するベクトル空間上でのｐの重心点またはｑの重心点を示している。学習が終了すると、図６に示すように隣接する２つの話題ブロックごとに、話題ブロックを分離するための線形変換係数ベクトルＣｐｑｒと、当該線形変換係数ベクトルＣｐｑｒで写像されたベクトル空間での単語ベクトルの重心点Ｇｐｑｓが求められ、記録部１９０に記録された状態となる。
【００１８】
図７は、テキストを分割するときの処理フローを示す図である。図８に距離計算手段１８２の詳細な処理フローを、図９に割付けのイメージを示す。分割対象情報取得部１７０は、分割対象のテキストを取得する（Ｓ１７０）。割付部１８０は、仮割付手段１８１、距離計算手段１８２、総和計算手段１８３、繰返し制御手段１８４を有し、線形変換係数ベクトルＣｐｑｒと重心点Ｇｐｑｓを用いて、分割対象のテキストの単語をどの話題ブロックに割付けるかを決める（Ｓ１８０）。具体的には以下のような処理を行えばよい。仮割付手段１８１は、分割対象のテキストの単語をあらかじめ定めた方法で、当該単語の属する話題ブロックと、どちらの隣接する話題ブロックと分離するために使用するのかを仮割付けする（Ｓ１８１）。例えば、図９の例では、＊１の単語は、「最初の挨拶」の話題ブロックに属することと、隣接する「用件確認」の話題ブロックと分離するために使用することが仮割付けされている。＊２の単語は、「用件確認」の話題ブロックに属することと、隣接する「最初の挨拶」の話題ブロックと分離するために使用することが仮割付けされている。＊３の単語は、「用件確認」の話題ブロックに属することと、隣接する「本人確認」の話題ブロックと分離するために使用することが仮割付けされている。あらかじめ定めた方法とは、ステップＳ１８１〜Ｓ１８４の繰返し処理で順次仮割付けを変更していくための方法である。単純な方法としては、少なくとも１つの文をそれぞれの話題ブロックに割付けるようにしながら、時間方向で文の順番が入れ替わらない範囲で文単位ですべての組合せを仮割付けするまで繰り返す方法がある。ただし、文の数が膨大になると処理時間も膨大になってしまうため、動的計画法を用いて仮割付けを行えばよい。
【００１９】
距離計算手段１８２は、隣接する２つの話題ブロックの組ごとに、当該２つの話題ブロックの組の線形変換係数ベクトルＣｐｑｒによって当該２つの話題ブロックを分離するために仮割付けされた単語の単語ベクトルを写像し、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点との距離を求める（Ｓ１８２）。より具体的には、以下のように処理すればよい（図８参照）。まず、いずれかの隣接する２つの話題ブロックの組（話題ブロックｐ、ｑ）を選定する（Ｓ１８２１）。話題ブロックｐに属し話題ブロックｐとｑとを分離するための単語の単語ベクトルと、話題ブロックｑに属し話題ブロックｐとｑとを分離するための単語の単語ベクトルとを、線形変換係数ベクトルＣｐｑｒを用いて線形変換（写像）する（Ｓ１８２２）。そして、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点Ｇｐｑｓとの距離を求める（Ｓ１８２３）。例えば、ステップＳ１８２１で「最初の挨拶」と「用件確認」とが選択されたとする。この場合は、ｐ＝１、ｑ＝２である。ステップＳ１８２２では、図９の＊１の単語と＊２の単語を、線形変換係数ベクトルＣ１２ｒを用いて線形変換（写像）する。ステップＳ１８２３では、写像された空間上で、図９の＊１の単語ごとに重心点Ｇ１２１との距離を求め、図９の＊２の単語ごとに重心点Ｇ１２２との距離を求める。このような処理を、隣接する話題ブロックの全組合せについて行ったかを確認し、全組合せに対して行っていない場合はステップＳ１８２１に戻り組合せを変更する。全組合せに対して行った場合にはステップＳ１８２を終了する（Ｓ１８２４）。
【００２０】
総和計算手段１８３は、ステップＳ１８２で求めた各単語とその単語と対応する重心点Ｇｐｑｓとの距離の総和を求める（Ｓ１８３）。繰返し制御手段１８４は、仮割付手段１８１、距離計算手段１８２、総和計算手段１８３を、あらかじめ定めた方法に定められたすべての仮割付を行うまで繰返す（Ｓ１８４）。そして、総和計算手段１８３が求めた総和が最も小さい仮割付けを、分割対象のテキストの単語の割付けとし、その結果に基づいてテキストを分割する（Ｓ１８５）。
【００２１】
実施例１のテキスト分割装置によれば、隣接する２つの話題ブロックの組ごとに線形変換係数ベクトルと重心点を学習しておき、分割する際には隣接する２つの話題ブロックの組ごとに当該話題ブロックの組用の線形変換係数ベクトルと重心点とを用いてテキストを分割する。したがって、必ず話題ブロックの組ごとに最適な特徴パラメータで分割できる。
【００２２】
［変形例］
実施例１のテキスト分割装置は、１つの装置で学習と分割とを行ったが、学習結果を得るための装置（テキスト分割学習装置）とテキストを分割する装置（テキスト分割装置）とを別にしてもよい。図１０は、本変形例のテキスト分割学習装置の機能構成例を示す図である。また、図１１は、本変形例のテキスト分割装置の機能構成例を示す図である。テキスト分割学習装置２００は、学習に必要な構成部のみを備えており、図３と同じ処理フローで学習を行う。テキスト分割装置１００’は、テキストの分割に必要な構成部のみを備えている。なお、テキスト分割装置１００’の記録部１９０には、あらかじめ話題ブロック、線形変換係数ベクトルＣｐｑｒ、重心点Ｇｐｑｓが記録されている。そして、テキスト分割装置１００’は、図７と同じ処理フローでテキストの分割を行う。したがって、本変形例のテキスト分割装置１００’でも実施例１と同じ効果が得られる。
なお、プログラムによって上記の各処理を実行させることで、コンピュータを実施例１のテキスト分割装置、および変形例のテキスト分割学習装置とテキスト分割装置として機能させてもよい。
【産業上の利用可能性】
【００２３】
本発明は、コールセンタのような話題の流れが固定している場合に、話題ごとに文を分割する装置として利用できる。
【符号の説明】
【００２４】
１００、１００’ テキスト分割装置 １１０ 単語分割部
１２０ 削除部 １３０ ベクトル化部
１４０ 学習情報取得部 １５０ 線形変換学習部
１６０ 重心学習部 １７０ 分割対象情報取得部
１８０ 割付部 １８１ 仮割付手段
１８２ 距離計算手段 １８３ 総和計算手段
１８４ 繰返し制御手段 １９０ 記録部
２００ テキスト分割学習装置
【技術分野】
【０００１】
本発明は、あらかじめ与えられた話題ブロックごとに、テキストを記述内容に応じて文単位に分割するテキスト分割装置、テキスト分割学習装置、テキスト分割方法、テキスト分割学習方法、プログラムに関する。
【背景技術】
【０００２】
近年、急速な計算機の性能向上に伴い、大量のテキスト（文の集合）を蓄積・処理することが可能となってきている。蓄積されたテキストを人手で整理・管理することは一般的に困難であるため、テキストを内容的なまとまりの単位（意味段落）に分割するテキスト分割の技術がこれまで様々提案されており（非特許文献１）、この技術をベースに、テキストの必要な部分の取り出しや、要約の作成といった処理を行うことができる。その結果、人間によるテキスト全体の内容把握や、テキストの分類・検索の精度向上が可能となる。
【０００３】
一方、音声認識技術の性能向上により、多少の認識誤りは含まれるものの、人が発話した音声をテキストに変換し、蓄積することも可能となってきている（非特許文献２）。例えば、コールセンタの通話音声を全て音声認識してテキスト化することで、通話の検索はもとより、テキストマイニング等の統計処理により、オペレータの応対品質向上やマーケティング情報抽出などに用いることが期待されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】別所克人、「クラスタ内変動最小基準に基づくテキストセグメンテーション」、情報処理学会論文誌、Vol.47、No.3, pp.957-967 (2006).
【非特許文献２】野田喜昭、高橋敏、「コンタクトセンタ向け音声処理技術の展開」、NTT技術ジャーナル、Vol.18、No.11、pp.8-10 (2006).
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のコールセンタの通話音声のように、比較的厳密に通話内容（話題）やその順番が、スクリプト等であらかじめ決められているテキストを入力として、非特許文献１のような従来のテキスト分割技術を用いた場合、単語の概念ベクトルなどのある特徴パラメータの変化が大きいところを境界として分割されるため、あらかじめ決められた通話内容（話題）や順番通りにテキストが分割されない場合がある。また、１つの概念ベクトル空間内で全ての境界を決定するため、ある境界の決定にとっては最適な特徴パラメータになっていない可能性がある。
【０００６】
本発明は、上記のコールセンタの通話音声等のような応用を想定して、あらかじめ決められた内容（話題）や順番に合わせて、個々の境界ごとに最適な特徴パラメータを用いてテキストを分割する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のテキスト分割装置は、単語分割部、削除部、ベクトル化部、学習情報取得部、線形変換学習部、重心学習部、分割対象情報取得部、割付部を備える。単語分割部は、入力されたテキストを形態素解析により単語に分割する。削除部は、内容語以外を削除する。ベクトル化部は、各単語をベクトル化し、単語ベクトルを得る。学習情報取得部は、学習用テキスト、複数の話題ブロックの情報、学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報を取得する。線形変換学習部は、隣接する２つの話題ブロックの組ごとに、割付けられた単語の単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルを求める。重心学習部は、隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の単語ベクトルを用いて各話題ブロックの重心点を求める。分割対象情報取得部は、分割対象のテキストを取得する。割付部は、仮割付手段、距離計算手段、総和計算手段、繰返し制御手段を有し、線形変換係数ベクトルと前記重心点を用いて、前記分割対象のテキストの単語をどの話題ブロックに割付けるかを決める。なお、仮割付手段は、分割対象のテキストの単語をあらかじめ定めた方法で、当該単語の属する話題ブロックと、どちらの隣接する話題ブロックと分離するために使用するのかを仮割付けする。距離計算手段は、隣接する２つの話題ブロックの組ごとに、当該２つの話題ブロックの組の線形変換係数ベクトルによって当該２つの話題ブロックを分離するために仮割付けされた単語の単語ベクトルを写像し、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点との距離を求める。総和計算手段は、前記距離の総和を求める。繰返し制御手段は、前記仮割付手段、前記距離計算手段、前記総和計算手段の処理を、前記あらかじめ定めた方法に定められたすべての仮割付を行うまで繰返し、前記総和が最も小さい仮割付けを、分割対象のテキストの単語の割付けとする。
【発明の効果】
【０００８】
本発明のテキスト分割装置によれば、隣接する２つの話題ブロックの組ごとに線形変換係数ベクトルと重心点を学習しておき、分割する際には隣接する２つの話題ブロックの組ごとに当該話題ブロックの組用の線形変換係数ベクトルと重心点とを用いてテキストを分割する。したがって、必ず話題ブロックの組ごとに最適な特徴パラメータで分割できる。
【図面の簡単な説明】
【０００９】
【図１】比較的厳密に通話内容（話題）やその順番があらかじめ決められている場合の話題ブロックの例を示す図。
【図２】実施例１のテキスト分割装置の機能構成例を示す図。
【図３】学習時の処理フローを示す図。
【図４】学習用テキストを人手で話題ブロックごとに割付けるイメージを示す図。
【図５】隣接する２つの話題ブロックを分離するための線形変換ベクトルを求めるときのイメージを示す図。
【図６】学習が終了したときに得られる学習結果のイメージを示す図。
【図７】テキストを分割するときの処理フローを示す図。
【図８】距離計算手段１８２の詳細な処理フローを示す図。
【図９】割付けのイメージを示す図。
【図１０】本変形例のテキスト分割学習装置の機能構成例を示す図。
【図１１】本変形例のテキスト分割装置の機能構成例を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例１】
【００１１】
図１に、比較的厳密に通話内容（話題）やその順番があらかじめ決められている場合の話題ブロックの例を示す。図１の例では、話題は「最初の挨拶」「用件確認」「本人確認」「問題の発生条件確認」・・・「最後の挨拶」のように変化する。これらの１つ１つを話題ブロックと呼ぶことにする。コールセンタのように話題の流れが厳密に決まっている場合は、ほとんどすべての会話があらかじめ定めた話題ブロックの流れに従って進む。
【００１２】
図２に実施例１のテキスト分割装置の機能構成例を、図３に学習時の処理フローを示す。図４は学習用テキストを人手で話題ブロックごとに割付けるイメージを示す図、図５は隣接する２つの話題ブロックを分離するための線形変換ベクトルを求めるときのイメージを示す図、図６は学習が終了したときに得られる学習結果のイメージを示す図である。テキスト分割装置１００は、単語分割部１１０、削除部１２０、ベクトル化部１３０、学習情報取得部１４０、線形変換学習部１５０、重心学習部１６０、分割対象情報取得部１７０、割付部１８０、記録部１９０を備える。記録部１９０は、内容語辞書、入力された学習用の情報、学習結果、分割対象のテキストなどを記録する。なお、内容語辞書とは、テキストの内容を理解するために必要な単語（名詞、動詞、形容詞など）が登録されている辞書である。
【００１３】
まず、学習時の処理フローについて説明する。学習情報取得部１４０は、学習用テキスト、複数の話題ブロックの情報、学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報を取得する（Ｓ１４０）。学習用テキストとは、図４に示された「学習用通話１」のようなテキストである。複数の話題ブロックの情報とは、図１に示した話題ブロックの流れ（話題フロー）である。学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報とは、図４に示しているように学習用テキストを文単位に話題ブロックに割付けた情報である。
【００１４】
単語分割部１１０は、入力されたテキストを形態素解析により単語に分割する（Ｓ１１０）。なお、学習用テキストは、文単位に話題ブロックに割付けられているので、同一の文の単語は同一の話題ブロックに割付けられることになる。また、単語に分割した後に、人手で文単位に単語を、話題ブロックに割付けてもかまわない。
【００１５】
削除部１２０は、記録部１９０に記録された内容語辞書を参照し、内容語以外を削除する（Ｓ１２０）。ベクトル化部１３０は、各単語をベクトル化し、単語ベクトルＶｉｊを得る（Ｓ１３０）。ここで、ｉはテキスト中の文の番号、ｊは文中の単語の番号を表す。ベクトル化では、非特許文献１などに示されているように、例えば、単語間の共起関係を用いる概念ベクトルなどを利用すればよい。
【００１６】
線形変換学習部１５０は、隣接する２つの話題ブロックの組ごとに、割付けられた単語の単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルＣｐｑｒを求め、記録部１９０に記録する（Ｓ１５０）。ここで、ｐは２つの話題ブロックの組の前側の話題ブロックの番号、ｑは２つの話題ブロックの組の後側の話題ブロックの番号、ｒは何番目の線形変換係数ベクトルであるかを示す数値である。図５の「よく判別する軸」が線形変換係数ベクトルＣｐｑｒに相当する。線形変換係数ベクトルＣｐｑｒは、例えば以下のように求めればよい。２つの話題ブロックの組ごとに、当該２つの話題ブロックに割付けされた単語の単語ベクトルを用いて、話題ブロック間の分散・共分散行列Ａと話題ブロック内の分散・共分散行列Ｂを求める。そして、
｜Ａ−λＢ｜＝０
となる固有値λを求め、固有ベクトルを前記線形変換係数ベクトルＣｐｑｒとする。分散・共分散行列の求め方などついては、参考文献１（R. A. Johnson, D. W. Wichern共著, 西田俊夫訳, “多変量解析の徹底研究”, 現代数学社, 1992年.）、参考文献２（生松宏規, 大堀哲史, 小杉信, “モザイク表現とFisher判別分析法を用いた照明方向にロバストな顔画像の認識”, 信学技報, IE2001-112, pp.21-28, 2001年11月.）の４．１節に示された方法を用いればよい。
【００１７】
重心学習部１６０は、隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の単語ベクトルを用いて各話題ブロックの重心点Ｇｐｑｓを求め、記録部１９０に記録する（Ｓ１６０）。ここで、ｐは２つの話題ブロックの組の前側の話題ブロックの番号、ｑは２つの話題ブロックの組の後側の話題ブロックの番号、ｓはｐまたはｑである。つまり、話題ブロックｐとｑとを分離するベクトル空間上でのｐの重心点またはｑの重心点を示している。学習が終了すると、図６に示すように隣接する２つの話題ブロックごとに、話題ブロックを分離するための線形変換係数ベクトルＣｐｑｒと、当該線形変換係数ベクトルＣｐｑｒで写像されたベクトル空間での単語ベクトルの重心点Ｇｐｑｓが求められ、記録部１９０に記録された状態となる。
【００１８】
図７は、テキストを分割するときの処理フローを示す図である。図８に距離計算手段１８２の詳細な処理フローを、図９に割付けのイメージを示す。分割対象情報取得部１７０は、分割対象のテキストを取得する（Ｓ１７０）。割付部１８０は、仮割付手段１８１、距離計算手段１８２、総和計算手段１８３、繰返し制御手段１８４を有し、線形変換係数ベクトルＣｐｑｒと重心点Ｇｐｑｓを用いて、分割対象のテキストの単語をどの話題ブロックに割付けるかを決める（Ｓ１８０）。具体的には以下のような処理を行えばよい。仮割付手段１８１は、分割対象のテキストの単語をあらかじめ定めた方法で、当該単語の属する話題ブロックと、どちらの隣接する話題ブロックと分離するために使用するのかを仮割付けする（Ｓ１８１）。例えば、図９の例では、＊１の単語は、「最初の挨拶」の話題ブロックに属することと、隣接する「用件確認」の話題ブロックと分離するために使用することが仮割付けされている。＊２の単語は、「用件確認」の話題ブロックに属することと、隣接する「最初の挨拶」の話題ブロックと分離するために使用することが仮割付けされている。＊３の単語は、「用件確認」の話題ブロックに属することと、隣接する「本人確認」の話題ブロックと分離するために使用することが仮割付けされている。あらかじめ定めた方法とは、ステップＳ１８１〜Ｓ１８４の繰返し処理で順次仮割付けを変更していくための方法である。単純な方法としては、少なくとも１つの文をそれぞれの話題ブロックに割付けるようにしながら、時間方向で文の順番が入れ替わらない範囲で文単位ですべての組合せを仮割付けするまで繰り返す方法がある。ただし、文の数が膨大になると処理時間も膨大になってしまうため、動的計画法を用いて仮割付けを行えばよい。
【００１９】
距離計算手段１８２は、隣接する２つの話題ブロックの組ごとに、当該２つの話題ブロックの組の線形変換係数ベクトルＣｐｑｒによって当該２つの話題ブロックを分離するために仮割付けされた単語の単語ベクトルを写像し、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点との距離を求める（Ｓ１８２）。より具体的には、以下のように処理すればよい（図８参照）。まず、いずれかの隣接する２つの話題ブロックの組（話題ブロックｐ、ｑ）を選定する（Ｓ１８２１）。話題ブロックｐに属し話題ブロックｐとｑとを分離するための単語の単語ベクトルと、話題ブロックｑに属し話題ブロックｐとｑとを分離するための単語の単語ベクトルとを、線形変換係数ベクトルＣｐｑｒを用いて線形変換（写像）する（Ｓ１８２２）。そして、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点Ｇｐｑｓとの距離を求める（Ｓ１８２３）。例えば、ステップＳ１８２１で「最初の挨拶」と「用件確認」とが選択されたとする。この場合は、ｐ＝１、ｑ＝２である。ステップＳ１８２２では、図９の＊１の単語と＊２の単語を、線形変換係数ベクトルＣ１２ｒを用いて線形変換（写像）する。ステップＳ１８２３では、写像された空間上で、図９の＊１の単語ごとに重心点Ｇ１２１との距離を求め、図９の＊２の単語ごとに重心点Ｇ１２２との距離を求める。このような処理を、隣接する話題ブロックの全組合せについて行ったかを確認し、全組合せに対して行っていない場合はステップＳ１８２１に戻り組合せを変更する。全組合せに対して行った場合にはステップＳ１８２を終了する（Ｓ１８２４）。
【００２０】
総和計算手段１８３は、ステップＳ１８２で求めた各単語とその単語と対応する重心点Ｇｐｑｓとの距離の総和を求める（Ｓ１８３）。繰返し制御手段１８４は、仮割付手段１８１、距離計算手段１８２、総和計算手段１８３を、あらかじめ定めた方法に定められたすべての仮割付を行うまで繰返す（Ｓ１８４）。そして、総和計算手段１８３が求めた総和が最も小さい仮割付けを、分割対象のテキストの単語の割付けとし、その結果に基づいてテキストを分割する（Ｓ１８５）。
【００２１】
実施例１のテキスト分割装置によれば、隣接する２つの話題ブロックの組ごとに線形変換係数ベクトルと重心点を学習しておき、分割する際には隣接する２つの話題ブロックの組ごとに当該話題ブロックの組用の線形変換係数ベクトルと重心点とを用いてテキストを分割する。したがって、必ず話題ブロックの組ごとに最適な特徴パラメータで分割できる。
【００２２】
［変形例］
実施例１のテキスト分割装置は、１つの装置で学習と分割とを行ったが、学習結果を得るための装置（テキスト分割学習装置）とテキストを分割する装置（テキスト分割装置）とを別にしてもよい。図１０は、本変形例のテキスト分割学習装置の機能構成例を示す図である。また、図１１は、本変形例のテキスト分割装置の機能構成例を示す図である。テキスト分割学習装置２００は、学習に必要な構成部のみを備えており、図３と同じ処理フローで学習を行う。テキスト分割装置１００’は、テキストの分割に必要な構成部のみを備えている。なお、テキスト分割装置１００’の記録部１９０には、あらかじめ話題ブロック、線形変換係数ベクトルＣｐｑｒ、重心点Ｇｐｑｓが記録されている。そして、テキスト分割装置１００’は、図７と同じ処理フローでテキストの分割を行う。したがって、本変形例のテキスト分割装置１００’でも実施例１と同じ効果が得られる。
なお、プログラムによって上記の各処理を実行させることで、コンピュータを実施例１のテキスト分割装置、および変形例のテキスト分割学習装置とテキスト分割装置として機能させてもよい。
【産業上の利用可能性】
【００２３】
本発明は、コールセンタのような話題の流れが固定している場合に、話題ごとに文を分割する装置として利用できる。
【符号の説明】
【００２４】
１００、１００’ テキスト分割装置 １１０ 単語分割部
１２０ 削除部 １３０ ベクトル化部
１４０ 学習情報取得部 １５０ 線形変換学習部
１６０ 重心学習部 １７０ 分割対象情報取得部
１８０ 割付部 １８１ 仮割付手段
１８２ 距離計算手段 １８３ 総和計算手段
１８４ 繰返し制御手段 １９０ 記録部
２００ テキスト分割学習装置
【特許請求の範囲】
【請求項１】
入力されたテキストを形態素解析により単語に分割する単語分割部と、
内容語以外を削除する削除部と、
各単語をベクトル化し、単語ベクトルを得るベクトル化部と、
学習用テキスト、複数の話題ブロックの情報、学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報を取得する学習情報取得部と、
隣接する２つの話題ブロックの組ごとに、割付けられた単語の単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルを求める線形変換学習部と、
隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の単語ベクトルを用いて各話題ブロックの重心点を求める重心学習部と、
分割対象のテキストを取得する分割対象情報取得部と、
前記線形変換係数ベクトルと前記重心点を用いて、前記分割対象のテキストの単語をどの話題ブロックに割付けるかを決める割付部と、
を備え、
前記割付部は、
分割対象のテキストの単語をあらかじめ定めた方法で、当該単語の属する話題ブロックと、どちらの隣接する話題ブロックと分離するために使用するのかを仮割付けする仮割付手段と、
隣接する２つの話題ブロックの組ごとに、当該２つの話題ブロックの組の線形変換係数ベクトルによって当該２つの話題ブロックを分離するために仮割付けされた単語の単語ベクトルを写像し、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点との距離を求める距離計算手段と、
前記距離の総和を求める総和計算手段と、
前記仮割付手段、前記距離計算手段、前記総和計算手段の処理を、前記あらかじめ定めた方法に定められたすべての仮割付を行うまで繰返し、前記総和が最も小さい仮割付けを、分割対象のテキストの単語の割付けとする繰返し制御手段と
を有する
ことを特徴とするテキスト分割装置。
【請求項２】
入力されたテキストを形態素解析により単語に分割する単語分割部と、
内容語以外を削除する削除部と、
各単語をベクトル化し、単語ベクトルを得るベクトル化部と、
学習用テキスト、複数の話題ブロックの情報、学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報を取得する学習情報取得部と、
隣接する２つの話題ブロックの組ごとに、割付けられた単語の単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルを求める線形変換学習部と、
隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の単語ベクトルを用いて各話題ブロックの重心点を求める重心学習部と、
を備えるテキスト分割学習装置。
【請求項３】
入力されたテキストを形態素解析により単語に分割する単語分割部と、
内容語以外を削除する削除部と、
各単語をベクトル化し、単語ベクトルを得るベクトル化部と、
分割対象のテキストを取得する分割対象情報取得部と、
記録部と、
前記線形変換係数ベクトルと前記重心点を用いて、前記分割対象のテキストの単語をどの話題ブロックに割付けるかを決める割付部と、
を備え、
前記記録部は、あらかじめ
複数の話題ブロックの情報、隣接する話題ブロックを分離するための線形変換係数ベクトル、各話題ブロックの重心点
を記録し、
前記割付部は、
分割対象のテキストの単語をあらかじめ定めた方法で、当該単語の属する話題ブロックと、どちらの隣接する話題ブロックと分離するために使用するのかを仮割付けする仮割付手段と、
隣接する２つの話題ブロックの組ごとに、当該２つの話題ブロックの組の線形変換係数ベクトルによって当該２つの話題ブロックを分離するために仮割付けされた単語の単語ベクトルを写像し、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点との距離を求める距離計算手段と、
前記距離の総和を求める総和計算手段と、
前記仮割付手段、前記距離計算手段、前記総和計算手段の処理を、前記あらかじめ定めた方法に定められたすべての仮割付を行うまで繰返し、前記総和が最も小さい仮割付けを、分割対象のテキストの単語の割付けとする繰返し制御手段と
を有する
ことを特徴とするテキスト分割装置。
【請求項４】
請求項１または３記載のテキスト分割装置であって、
前記仮割付手段は、時間方向で文の順番が入れ替わらない範囲で文単位で前記分割対象のテキストの単語を仮割付けする
ことを特徴とするテキスト分割装置。
【請求項５】
テキスト分割装置によって、入力されたテキストを話題ブロックごとに分割するテキスト分割方法であって、
学習用テキスト、複数の話題ブロックの情報、学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報を取得する学習情報取得ステップと、
学習用テキストを形態素解析により単語に分割する学習単語分割ステップと、
前記学習単語分割ステップによって求められた単語から、内容語以外を削除する学習削除ステップと、
前記学習削除ステップで内容語以外が削除された後の各単語をベクトル化し、学習単語ベクトルを得る学習ベクトル化ステップと、
隣接する２つの話題ブロックの組ごとに、割付けられた単語の学習単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルを求める線形変換学習ステップと、
隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の学習単語ベクトルを用いて各話題ブロックの重心点を求める重心学習ステップと、
分割対象のテキストを取得する分割対象情報取得ステップと、
分割対象のテキストを形態素解析により単語に分割する単語分割ステップと、
前記単語分割ステップによって求められた単語から、内容語以外を削除する削除ステップと、
前記削除ステップで内容語以外が削除された後の各単語をベクトル化し、単語ベクトルを得るベクトル化ステップと、
前記線形変換係数ベクトルと前記重心点を用いて、前記分割対象のテキストの単語をどの話題ブロックに割付けるかを決める割付ステップと、
を有し、
前記割付ステップは、
分割対象のテキストの単語をあらかじめ定めた方法で、当該単語の属する話題ブロックと、どちらの隣接する話題ブロックと分離するために使用するのかを仮割付けする仮割付サブステップと、
隣接する２つの話題ブロックの組ごとに、当該２つの話題ブロックの組の線形変換係数ベクトルによって当該２つの話題ブロックを分離するために仮割付けされた単語の単語ベクトルを写像し、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点との距離を求める距離計算サブステップと、
前記距離の総和を求める総和計算サブステップと、
前記仮割付手段、前記距離計算手段、前記総和計算手段の処理を、前記あらかじめ定めた方法に定められたすべての仮割付を行うまで繰返し、前記総和が最も小さい仮割付けを、分割対象のテキストの単語の割付けとする繰返し制御サブステップと
を有する
ことを特徴とするテキスト分割方法。
【請求項６】
テキスト分割学習装置によって、入力されたテキストを話題ブロックごとに分割するための学習結果を得るテキスト分割学習方法であって、
学習用テキスト、複数の話題ブロックの情報、学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報を取得する学習情報取得ステップと、
学習用テキストを形態素解析により単語に分割する学習単語分割ステップと、
前記学習単語分割ステップによって求められた単語から、内容語以外を削除する学習削除ステップと、
前記学習削除ステップで内容語以外が削除された後の各単語をベクトル化し、学習単語ベクトルを得る学習ベクトル化ステップと、
隣接する２つの話題ブロックの組ごとに、割付けられた単語の学習単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルを求める線形変換学習ステップと、
隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の学習単語ベクトルを用いて各話題ブロックの重心点を求める重心学習ステップと、
を有するテキスト分割学習方法。
【請求項７】
あらかじめ複数の話題ブロックの情報、隣接する話題ブロックを分離するための線形変換係数ベクトル、各話題ブロックの重心点を記録したテキスト分割装置によって、入力されたテキストを話題ブロックごとに分割するテキスト分割方法であって、
分割対象のテキストを取得する分割対象情報取得ステップと、
分割対象のテキストを形態素解析により単語に分割する単語分割ステップと、
前記単語分割ステップによって求められた単語から、内容語以外を削除する削除ステップと、
前記削除ステップで内容語以外が削除された後の各単語をベクトル化し、単語ベクトルを得るベクトル化ステップと、
前記線形変換係数ベクトルと前記重心点を用いて、前記分割対象のテキストの単語をどの話題ブロックに割付けるかを決める割付ステップと、
を有し、
前記割付ステップは、
分割対象のテキストの単語をあらかじめ定めた方法で、当該単語の属する話題ブロックと、どちらの隣接する話題ブロックと分離するために使用するのかを仮割付けする仮割付サブステップと、
隣接する２つの話題ブロックの組ごとに、当該２つの話題ブロックの組の線形変換係数ベクトルによって当該２つの話題ブロックを分離するために仮割付けされた単語の単語ベクトルを写像し、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点との距離を求める距離計算サブステップと、
前記距離の総和を求める総和計算サブステップと、
前記仮割付手段、前記距離計算手段、前記総和計算手段の処理を、前記あらかじめ定めた方法に定められたすべての仮割付を行うまで繰返し、前記総和が最も小さい仮割付けを、分割対象のテキストの単語の割付けとする繰返し制御サブステップと
を有する
ことを特徴とするテキスト分割方法。
【請求項８】
請求項５または７記載のテキスト分割方法であって、
前記仮割付サブステップは、時間方向で文の順番が入れ替わらない範囲で文単位で前記分割対象のテキストの単語を仮割付けする
ことを特徴とするテキスト分割方法。
【請求項９】
請求項１、３、４のいずれかに記載のテキスト分割装置、または請求項２記載のテキスト分割学習装置としてコンピュータを機能させるためのプログラム。
【請求項１】
入力されたテキストを形態素解析により単語に分割する単語分割部と、
内容語以外を削除する削除部と、
各単語をベクトル化し、単語ベクトルを得るベクトル化部と、
学習用テキスト、複数の話題ブロックの情報、学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報を取得する学習情報取得部と、
隣接する２つの話題ブロックの組ごとに、割付けられた単語の単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルを求める線形変換学習部と、
隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の単語ベクトルを用いて各話題ブロックの重心点を求める重心学習部と、
分割対象のテキストを取得する分割対象情報取得部と、
前記線形変換係数ベクトルと前記重心点を用いて、前記分割対象のテキストの単語をどの話題ブロックに割付けるかを決める割付部と、
を備え、
前記割付部は、
分割対象のテキストの単語をあらかじめ定めた方法で、当該単語の属する話題ブロックと、どちらの隣接する話題ブロックと分離するために使用するのかを仮割付けする仮割付手段と、
隣接する２つの話題ブロックの組ごとに、当該２つの話題ブロックの組の線形変換係数ベクトルによって当該２つの話題ブロックを分離するために仮割付けされた単語の単語ベクトルを写像し、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点との距離を求める距離計算手段と、
前記距離の総和を求める総和計算手段と、
前記仮割付手段、前記距離計算手段、前記総和計算手段の処理を、前記あらかじめ定めた方法に定められたすべての仮割付を行うまで繰返し、前記総和が最も小さい仮割付けを、分割対象のテキストの単語の割付けとする繰返し制御手段と
を有する
ことを特徴とするテキスト分割装置。
【請求項２】
入力されたテキストを形態素解析により単語に分割する単語分割部と、
内容語以外を削除する削除部と、
各単語をベクトル化し、単語ベクトルを得るベクトル化部と、
学習用テキスト、複数の話題ブロックの情報、学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報を取得する学習情報取得部と、
隣接する２つの話題ブロックの組ごとに、割付けられた単語の単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルを求める線形変換学習部と、
隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の単語ベクトルを用いて各話題ブロックの重心点を求める重心学習部と、
を備えるテキスト分割学習装置。
【請求項３】
入力されたテキストを形態素解析により単語に分割する単語分割部と、
内容語以外を削除する削除部と、
各単語をベクトル化し、単語ベクトルを得るベクトル化部と、
分割対象のテキストを取得する分割対象情報取得部と、
記録部と、
前記線形変換係数ベクトルと前記重心点を用いて、前記分割対象のテキストの単語をどの話題ブロックに割付けるかを決める割付部と、
を備え、
前記記録部は、あらかじめ
複数の話題ブロックの情報、隣接する話題ブロックを分離するための線形変換係数ベクトル、各話題ブロックの重心点
を記録し、
前記割付部は、
分割対象のテキストの単語をあらかじめ定めた方法で、当該単語の属する話題ブロックと、どちらの隣接する話題ブロックと分離するために使用するのかを仮割付けする仮割付手段と、
隣接する２つの話題ブロックの組ごとに、当該２つの話題ブロックの組の線形変換係数ベクトルによって当該２つの話題ブロックを分離するために仮割付けされた単語の単語ベクトルを写像し、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点との距離を求める距離計算手段と、
前記距離の総和を求める総和計算手段と、
前記仮割付手段、前記距離計算手段、前記総和計算手段の処理を、前記あらかじめ定めた方法に定められたすべての仮割付を行うまで繰返し、前記総和が最も小さい仮割付けを、分割対象のテキストの単語の割付けとする繰返し制御手段と
を有する
ことを特徴とするテキスト分割装置。
【請求項４】
請求項１または３記載のテキスト分割装置であって、
前記仮割付手段は、時間方向で文の順番が入れ替わらない範囲で文単位で前記分割対象のテキストの単語を仮割付けする
ことを特徴とするテキスト分割装置。
【請求項５】
テキスト分割装置によって、入力されたテキストを話題ブロックごとに分割するテキスト分割方法であって、
学習用テキスト、複数の話題ブロックの情報、学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報を取得する学習情報取得ステップと、
学習用テキストを形態素解析により単語に分割する学習単語分割ステップと、
前記学習単語分割ステップによって求められた単語から、内容語以外を削除する学習削除ステップと、
前記学習削除ステップで内容語以外が削除された後の各単語をベクトル化し、学習単語ベクトルを得る学習ベクトル化ステップと、
隣接する２つの話題ブロックの組ごとに、割付けられた単語の学習単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルを求める線形変換学習ステップと、
隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の学習単語ベクトルを用いて各話題ブロックの重心点を求める重心学習ステップと、
分割対象のテキストを取得する分割対象情報取得ステップと、
分割対象のテキストを形態素解析により単語に分割する単語分割ステップと、
前記単語分割ステップによって求められた単語から、内容語以外を削除する削除ステップと、
前記削除ステップで内容語以外が削除された後の各単語をベクトル化し、単語ベクトルを得るベクトル化ステップと、
前記線形変換係数ベクトルと前記重心点を用いて、前記分割対象のテキストの単語をどの話題ブロックに割付けるかを決める割付ステップと、
を有し、
前記割付ステップは、
分割対象のテキストの単語をあらかじめ定めた方法で、当該単語の属する話題ブロックと、どちらの隣接する話題ブロックと分離するために使用するのかを仮割付けする仮割付サブステップと、
隣接する２つの話題ブロックの組ごとに、当該２つの話題ブロックの組の線形変換係数ベクトルによって当該２つの話題ブロックを分離するために仮割付けされた単語の単語ベクトルを写像し、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点との距離を求める距離計算サブステップと、
前記距離の総和を求める総和計算サブステップと、
前記仮割付手段、前記距離計算手段、前記総和計算手段の処理を、前記あらかじめ定めた方法に定められたすべての仮割付を行うまで繰返し、前記総和が最も小さい仮割付けを、分割対象のテキストの単語の割付けとする繰返し制御サブステップと
を有する
ことを特徴とするテキスト分割方法。
【請求項６】
テキスト分割学習装置によって、入力されたテキストを話題ブロックごとに分割するための学習結果を得るテキスト分割学習方法であって、
学習用テキスト、複数の話題ブロックの情報、学習用テキストの単語を前記話題ブロックのいずれに割付けるのかの情報を取得する学習情報取得ステップと、
学習用テキストを形態素解析により単語に分割する学習単語分割ステップと、
前記学習単語分割ステップによって求められた単語から、内容語以外を削除する学習削除ステップと、
前記学習削除ステップで内容語以外が削除された後の各単語をベクトル化し、学習単語ベクトルを得る学習ベクトル化ステップと、
隣接する２つの話題ブロックの組ごとに、割付けられた単語の学習単語ベクトルを用いて、隣接する話題ブロックを分離するための線形変換係数ベクトルを求める線形変換学習ステップと、
隣接する２つの話題ブロックの組ごとに、各話題ブロックに割付けられた単語の学習単語ベクトルを用いて各話題ブロックの重心点を求める重心学習ステップと、
を有するテキスト分割学習方法。
【請求項７】
あらかじめ複数の話題ブロックの情報、隣接する話題ブロックを分離するための線形変換係数ベクトル、各話題ブロックの重心点を記録したテキスト分割装置によって、入力されたテキストを話題ブロックごとに分割するテキスト分割方法であって、
分割対象のテキストを取得する分割対象情報取得ステップと、
分割対象のテキストを形態素解析により単語に分割する単語分割ステップと、
前記単語分割ステップによって求められた単語から、内容語以外を削除する削除ステップと、
前記削除ステップで内容語以外が削除された後の各単語をベクトル化し、単語ベクトルを得るベクトル化ステップと、
前記線形変換係数ベクトルと前記重心点を用いて、前記分割対象のテキストの単語をどの話題ブロックに割付けるかを決める割付ステップと、
を有し、
前記割付ステップは、
分割対象のテキストの単語をあらかじめ定めた方法で、当該単語の属する話題ブロックと、どちらの隣接する話題ブロックと分離するために使用するのかを仮割付けする仮割付サブステップと、
隣接する２つの話題ブロックの組ごとに、当該２つの話題ブロックの組の線形変換係数ベクトルによって当該２つの話題ブロックを分離するために仮割付けされた単語の単語ベクトルを写像し、写像された空間上で、単語ベクトルと当該単語が仮割付けされた話題ブロックの当該空間上での前記重心点との距離を求める距離計算サブステップと、
前記距離の総和を求める総和計算サブステップと、
前記仮割付手段、前記距離計算手段、前記総和計算手段の処理を、前記あらかじめ定めた方法に定められたすべての仮割付を行うまで繰返し、前記総和が最も小さい仮割付けを、分割対象のテキストの単語の割付けとする繰返し制御サブステップと
を有する
ことを特徴とするテキスト分割方法。
【請求項８】
請求項５または７記載のテキスト分割方法であって、
前記仮割付サブステップは、時間方向で文の順番が入れ替わらない範囲で文単位で前記分割対象のテキストの単語を仮割付けする
ことを特徴とするテキスト分割方法。
【請求項９】
請求項１、３、４のいずれかに記載のテキスト分割装置、または請求項２記載のテキスト分割学習装置としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−９３９４３（Ｐ２０１２−９３９４３Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２４０４４５（Ｐ２０１０−２４０４４５）
【出願日】平成２２年１０月２７日（２０１０．１０．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２７日（２０１０．１０．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]