言い換え表現獲得システム、言い換え表現獲得方法及び言い換え表現獲得プログラム
【課題】同じ意味内容を異なる表現で言い表す言い換え表現を、構文解析を必要とせず、また予め特定の関係にある事例を与えることなく、文書集合から獲得すること。
【解決手段】共起単語対文脈収集部１２により文書集合ＤＢ１に格納された文書集合から任意の共起単語対を含む文脈を収集し、共起単語対毎に個々の文脈を共起単語対文脈ＤＢ２に格納し、文脈ベクトル生成部１４により各共起単語対に対応する個々の文脈を構成する単語の単語頻度を求め、重みを計算して文脈ベクトルを文脈ベクトルＤＢ４に格納し、文脈ベクトル類似度計算部１５により２つの文脈ベクトル間の全ての類似度を求め、共起単語対クラスタリング部１６により文脈ベクトル間の類似度が近い共起単語対をクラスタリングし、関係ラベル獲得部１７により各クラスタを表す単語を獲得し、クラスタ内文脈選択部１８によりＤＢ２から当該単語を含む文脈を言い換え表現として選択する。
【解決手段】共起単語対文脈収集部１２により文書集合ＤＢ１に格納された文書集合から任意の共起単語対を含む文脈を収集し、共起単語対毎に個々の文脈を共起単語対文脈ＤＢ２に格納し、文脈ベクトル生成部１４により各共起単語対に対応する個々の文脈を構成する単語の単語頻度を求め、重みを計算して文脈ベクトルを文脈ベクトルＤＢ４に格納し、文脈ベクトル類似度計算部１５により２つの文脈ベクトル間の全ての類似度を求め、共起単語対クラスタリング部１６により文脈ベクトル間の類似度が近い共起単語対をクラスタリングし、関係ラベル獲得部１７により各クラスタを表す単語を獲得し、クラスタ内文脈選択部１８によりＤＢ２から当該単語を含む文脈を言い換え表現として選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同じ意味内容を異なる表現で言い表す言い換え表現を、多数の文書よりなる文書集合から収集する技術に関わり、特に任意の２つの単語または単語列の間に存在する特定の関係を表す言い換え表現を獲得する技術に関する。
【背景技術】
【０００２】
ハードウェアの進歩により大規模な文書集合を扱うことが可能になり、人手により構築された言い換え表現のための知識に頼らず、文書集合から機械的に言い換え表現を獲得しようとする試みが提案されてきた。
【０００３】
機械的に言い換え表現を文書集合から獲得する方法として、同じ日の同じ出来事を伝える二つのコンパラブルなコーパスを用いて、対応が付けられた文同士を構文解析し、その出来事についてのキーとなる単語を手がかりとして言い換え表現を抽出する方法が提案されている（非特許文献１参照）。
【０００４】
また、文書集合を構文解析して得られたそれぞれの文の構造から動詞とその主語と目的語を得て、文書集合全体を対象として各々の動詞の持つ主語と目的語を収集し、任意の動詞間の主語と目的語についての相互情報量を計算することにより、類似した動詞を発見し、これを言い換え表現とする方法も提案されている（非特許文献２参照）。
【０００５】
一方、特定の関係に限定した言い換え表現を獲得するために、収集したい言い換え表現が表す特定の関係にある既知の事例を用いて、文書集合からその関係を表す表現を収集する方法も提案されている（非特許文献３参照）。この方法では構文解析は行われず、指定された事例が多くの文書で共通して出現する表現を抜き出し、その表現が含まれる文を収集した後にその事例だけが高頻度で出現するものを選択することによって言い換え表現を獲得している。
【非特許文献１】関根 聡「複数の新聞を使用した言い換え表現の自動抽出」、言語処理学会第７回年次大会ワークショップ論文集、２００１、Ｐ９〜１４
【非特許文献２】D. Lin and P. Pantel, "DIRT-Discovery of Inference Rules from Text", Proceedings of the Seventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2001, pp.323-328
【非特許文献３】D. Ravichandran and E. Hovy, "Learning Surface Text Patterns for a Question Answering system", Proceedings of the 40th Annual Meeting of the ACL, Philadelphia, 2002, pp.41-47
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の技術における構文解析を用いる方法では、構文解析の精度が十分に高くないとその後の言い換え表現の獲得の精度が大きく低下するという問題が存在する。また、構文解析を用いない方法では、獲得したい言い換え表現が表す特定の関係にある事例を事前に与える必要があり、どういう事例を与えるかによって結果が大きく左右されるという問題がある。
【０００７】
本発明は、このような問題を解決するため、構文解析を必要とせず、また予め特定の関係にある事例を与えることなく、文書集合全体から収集した特定の属性を持つ任意の２つの共起する単語または単語列の出現する文脈の集合に基づくクラスタリングにより、共起する単語または単語列の間にある特定の関係を発見し、発見された特定の関係を表す文脈だけを選択することによって、言い換え表現の獲得を可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するための本発明の言い換え表現獲得システムは、
単語または単語列に特定の属性を表すタグが付されている文書を多数格納した文書集合データベースと、
共起単語対毎の個々の文脈を少なくともその頻度とともに格納する共起単語対文脈データベースと、
単語毎の文書頻度を格納する文書頻度データベースと、
共起単語対毎の文脈ベクトルを格納する文脈ベクトルデータベースと、
文脈ベクトル間の類似度を格納する文脈ベクトル類似度データベースと、
クラスタ毎の共起単語対を格納する共起単語対クラスタデータベースと、
文書集合データベースから文書集合を入力する文書集合入力部と、
入力された文書から特定の属性を表すタグが付されている任意の２つの単語または単語列が共起して出現する文脈を収集し、これを全ての文書に対して行い、前記任意の２つの単語または単語列の組み合わせからなる共起単語対毎に個々の文脈をその頻度とともに共起単語対文脈データベースに格納する共起単語対文脈収集部と、
入力された文書を単語に分解し、単語毎に当該単語を含む文書数をカウントし、これを全ての文書に対して行い、単語を含む文書数の全文書数に対する割合である文書頻度を全ての単語について計算し、これを文書頻度データベースに格納する文書頻度計算部と、
共起単語対文脈データベースから一の共起単語対に対応する個々の文脈とその頻度を読み出し、各文脈を単語に分割し、各単語毎に当該単語を含む文脈の頻度の総和を求めて各単語の単語頻度とし、当該各単語の文書頻度を文書頻度データベースから読み出し、両者から各単語の重みを計算し、前記一の共起単語対に対応する個々の文脈を構成する単語とその重みからなる文脈ベクトルを生成し、文脈ベクトルデータベースに格納し、これを全ての共起単語対に対して行う文脈ベクトル生成部と、
文脈ベクトルデータベースから２つの共起単語対に対応する文脈ベクトルを読み出し、その間の類似度を計算し、これを２つの共起単語対に対応する文脈ベクトルの全ての組み合わせについて行い、文脈ベクトル類似度データベースに格納する文脈ベクトル類似度計算部と、
文脈ベクトル類似度データベースから文脈ベクトル間の全ての類似度を読み出し、文脈ベクトル間の類似度が近い共起単語対を含むクラスタを形成し、各クラスタに含まれる共起単語対を共起単語対クラスタデータベースに格納する共起単語対クラスタリング部と、
共起単語対クラスタデータベースから一のクラスタに含まれる個々の共起単語対を読み出し、文脈ベクトルデータベースから前記個々の共起単語対に対応する文脈を構成する単語を読み出し、多くの共起単語対の文脈間で共通する単語を前記一のクラスタに含まれる個々の共起単語対の関係を表すラベルとして獲得し、共起単語対クラスタデータベースの対応するクラスタに格納し、これを全てのクラスタについて行う関係ラベル獲得部と、
共起単語対クラスタデータベース及び共起単語対文脈データベースから各クラスタに含まれる個々の共起単語対に共通する文脈や関係を表すラベルとしての単語を含む文脈を言い換え表現として獲得するクラスタ内文脈選択部と、
得られたクラスタやクラスタにおける関係を表すラベルとしての単語や言い換え表現を出力する出力部とを備えている。
【発明の効果】
【０００９】
本発明の言い換え表現獲得システムによれば、同一内容を表す文書の対を集めることなく、また関係や言い換え表現についての知識を事前に与えることなく、大規模なコーパス（文書集合）から類似した文脈を持つ単語の対のクラスタリングにより、同じ関係を持つ単語対のクラスタを得ることができ、各クラスタ内の文脈や単語の共通性に基づいて、クラスタが持つ関係に特有な文脈だけを選択することにより、言い換え表現を獲得することが可能となる。
【発明を実施するための最良の形態】
【００１０】
図１は本発明の言い換え表現獲得システムの実施の形態の一例を示すもので、図中、１は文書集合データベース（文書集合ＤＢ）、２は共起単語対文脈データベース（共起単語対文脈ＤＢ）、３は文書頻度データベース（文書頻度ＤＢ）、４は文脈ベクトルデータベース（文脈ベクトルＤＢ）、５は文脈ベクトル類似度データベース（文脈ベクトル類似度ＤＢ）、６は共起単語対クラスタデータベース（共起単語対クラスタＤＢ）、１１は文書集合入力部、１２は共起単語対文脈収集部、１３は文書頻度計算部、１４は文脈ベクトル生成部、１５は文脈ベクトル類似度計算部、１６は共起単語対クラスタリング部、１７は関係ラベル獲得部、１８はクラスタ内文脈選択部、１９は出力部である。
【００１１】
文書集合データベース１は、単語または単語列に特定の属性を表すタグが付されている文書を多数格納している。共起単語対文脈データベース２は、共起単語対毎の個々の文脈を少なくともその頻度とともに格納する。文書頻度データベース３は、単語毎の文書頻度を格納する。文脈ベクトルデータベース４は、共起単語対毎の文脈ベクトルを格納する文脈ベクトル類似度データベース５は、文脈ベクトル間の類似度を格納する。共起単語対クラスタデータベース６は、クラスタ毎の共起単語対を格納する。
【００１２】
文書集合入力部１１は、文書集合データベース１から文書集合を入力する。共起単語対文脈収集部１２は、入力された文書から特定の属性を表すタグが付されている任意の２つの単語または単語列が共起して出現する文脈を収集し、これを全ての文書に対して行い、前記任意の２つの単語または単語列の組み合わせからなる共起単語対毎に個々の文脈をその頻度とともに共起単語対文脈データベース２に格納する。文書頻度計算部１３は、入力された文書を単語に分解し、単語毎に当該単語を含む文書数をカウントし、これを全ての文書に対して行い、単語を含む文書数の全文書数に対する割合である文書頻度を全ての単語について計算し、これを文書頻度データベース３に格納する。
【００１３】
文脈ベクトル生成部１４は、共起単語対文脈データベース２から一の共起単語対に対応する個々の文脈とその頻度を読み出し、各文脈を単語に分割し、各単語毎に当該単語を含む文脈の頻度の総和を求めて各単語の単語頻度とし、当該各単語の文書頻度を文書頻度データベース３から読み出し、両者から各単語の重みを計算し、前記一の共起単語対に対応する個々の文脈を構成する単語とその重みからなる文脈ベクトルを生成し、文脈ベクトルデータベース４に格納し、これを全ての共起単語対に対して行う。
【００１４】
文脈ベクトル類似度計算部１５は、文脈ベクトルデータベース４から２つの共起単語対に対応する文脈ベクトルを読み出し、その間の類似度を計算し、これを２つの共起単語対に対応する文脈ベクトルの全ての組み合わせについて行い、文脈ベクトル類似度データベース５に格納する。共起単語対クラスタリング部１６は、文脈ベクトル類似度データベース５から文脈ベクトル間の全ての類似度を読み出し、文脈ベクトル間の類似度が近い共起単語対を含むクラスタを形成（クラスタリング）し、各クラスタに含まれる共起単語対を共起単語対クラスタデータベース６に格納する。
【００１５】
関係ラベル獲得部１７は、共起単語対クラスタデータベース６から一のクラスタに含まれる個々の共起単語対を読み出し、文脈ベクトルデータベース４から前記個々の共起単語対に対応する文脈を構成する単語を読み出し、多くの共起単語対間で共通する単語を前記一のクラスタに含まれる個々の共起単語対の関係を表すラベルとして獲得し、共起単語対クラスタデータベースの対応するクラスタに格納し、これを全てのクラスタについて行う。
【００１６】
クラスタ内文脈選択部１８は、共起単語対クラスタデータベース６及び共起単語対文脈データベース２から各クラスタに含まれる個々の共起単語対に共通する文脈や関係を表すラベルとしての単語を含む文脈を言い換え表現として獲得する。出力部１９は、得られたクラスタやクラスタにおける関係を表すラベルとしての単語や言い換え表現を出力する。
【００１７】
前述した言い換え表現獲得システムは、前記各データベースを備えたコンピュータ（ハードウェア）と、これらと協働して各種機能を実現させるプログラム（ソフトウェア）とによっても実現可能であり、このプログラムに対応する処理の流れの一例を図２に示す。
【００１８】
以下、具体例を用いて、本発明の言い換え表現獲得システムの詳細な構成をその動作とともに説明する。
【００１９】
ここでは、例えば文書集合データベース１には特定の属性として人名や地名等の固有名詞を表すタグが付されている文書が大量に格納され文書集合をなしているとし、該文書集合から固有名詞の間の関係とそれを表す言い換え表現を獲得する動作について説明する。
【００２０】
文書集合入力部１１は、文書集合データベース１に格納されている文書集合を逐次取り出す（ｓ１）。
【００２１】
共起単語対文脈収集部１２は、入力された文書から予め指定された２つの固有名詞の種別、例えば人名と地名や会社名と会社名のタグが付いている任意の２つの単語または単語列が共起して出現する文脈（単語列）を検出し、全ての文書に対してこのような文脈を共起単語対毎に収集し、共起単語の順序及び文脈の頻度とともに共起単語対文脈データベース２に格納する（ｓ２）。
【００２２】
なお、ここでいう共起とは、同一の文内に同時に出現することを指すが、同一文内でも共起する２つの単語の距離はＮ単語（Ｎは整数）以内という条件を付けても良いし、これにさらに２つの単語の外側のＭ単語（Ｍは整数）を含むなどとしても良い。
【００２３】
図３は共起単語対文脈データベース２に格納される共起単語対と文脈の例である。共起単語対の種別は会社名と会社名であり、ここではCompany AとCompany Bの対と、Company CとCompany Dの対が示されている。２つの会社名の共起単語の間の５単語以内の文脈について、共起単語対毎に共起単語の順序と文脈の頻度とが格納される。共起単語の順序は、例えばCompany Aが先でCompany Bが後に出現する順序を０、Company Bが先でCompany Aが後に出現する順序を１と表現する。また、共起単語対データベース２に格納する際には、各共起単語対の頻度、即ち各共起単語対における全ての文脈の頻度の総和が予め定められた閾値を超えるものだけを格納するように限定しても良い。
【００２４】
文書頻度計算部１３は、入力された文書を単語に分解し、単語毎に当該単語を含む文書数をカウント（計数）し、これを全ての文書に対して行い、単語を含む文書数の全文書数に対する割合である文書頻度を全ての単語について計算し、文書頻度データベース３に格納する（ｓ３）。各単語ｗの文書頻度ｄｆ（ｗ）は次式により計算するが、これに限定するものではない。
【００２５】
ｄｆ（ｗ）＝ｌｏｇ（Ｃｗ／Ｎ）
但し、Ｃｗは単語ｗを含む文書数で、Ｎは文書集合における全文書数とする。
【００２６】
文書頻度データベース３は、単語ｗと文書集合全体における単語ｗの頻度Ｆ（ｗ）と計算された文書頻度ｄｆ（ｗ）から構成される。
【００２７】
文脈ベクトル生成部１４は、共起単語対文脈データベース２に格納されている各共起単語対ｘに関する文脈の集合Ｐを取り出し、この中の全ての文脈を単語に分割した後、各単語について、単語ｗを含む各文脈Ｐｉ（ｗ）の頻度Ｃ（Ｐｉ（ｗ））の総和ΣＣ（Ｐｉ（ｗ））を単語ｗの単語頻度ｔｆ（ｗ）として求め、文書頻度データベース３から単語ｗの文書頻度ｄｆ（ｗ）を参照し、得られた単語頻度ｔｆ（ｗ）と文書頻度ｄｆ（ｗ）とからその単語の重みＶｘ（ｗ）を決定し、共起単語対ｘ毎に個々の文脈を構成する単語とその重みからなる文脈ベクトルＶｘを生成し、文脈ベクトルデータベース４に格納する（ｓ４）。
【００２８】
図４に文脈ベクトルデータベース４に格納される文脈ベクトルの一例を示す。共起単語対毎に文脈ベクトルを構成する単語とその重みが格納される。
【００２９】
なお、一般的過ぎて意味のない単語を除くために、ストップワードとして、文書頻度データベース３に格納されている文書集合全体における単語ｗの頻度Ｆ（ｗ）が予め定められた閾値よりも高い単語は対象外としても良いし、あるいは前置詞や冠詞など品詞情報を用いて対象外とする単語を選択しても良い。逆に単語の頻度があまりにも低い特殊な単語も除外するために、予め定められた別の閾値よりも文書全体における単語の頻度が低い単語も対象外としても良い。また、活用のある単語は基本形を用いて統一しても良く、受動態に用いられる動詞の過去分詞だけを能動態における過去形等の他の活用形とは区別しても良い。
【００３０】
単語頻度を求めるには、例えば図３においてCompany C :: Company Dにおける文脈の単語buyの単語頻度は、buyを含む文脈のそれぞれの頻度から１１と８と３の総和で２２とする。また、単語頻度をカウントする際に、共起単語の順序を考慮し、ある単語における頻度が共起単語の順序が０の場合にＬ回で、１の場合にＲ回だとすると、その単語頻度をＬ−Ｒとしても良い。これにより、共起単語対の有する関係の方向を表現することも可能である。文脈の単語の重みの決定には、単語ｗの単語頻度ｔｆ（ｗ）と文書頻度ｄｆ（ｗ）の逆数の積であるｔｆ＊ｉｄｆを用いるが、これに限定されるものではない。
【００３１】
文脈ベクトル類似度計算部１５は、文脈ベクトルデータベース４から２つの共起単語対に対応する文脈ベクトルを読み出し、その間の類似度を計算し、これを２つの共起単語対に対応する文脈ベクトルの全ての組み合わせについて行う。文脈ベクトルαとβの類似度Ｓｉｍ（α，β）は、下記の式から２つの文脈ベクトルのなす角度θの余弦ｃｏｓ（θ）を計算することで求める。
【００３２】
Ｓｉｍ（α，β）＝ｃｏｓ（θ）＝（α・β）／（｜α｜｜β｜）
なお、図４の例ではベクトルを構成する単語の並びが異なるが、ベクトルの内積は２つのベクトルを構成する単語の並びを同じにして計算することは言うまでもない。この際、一方に存在し、他方に存在しない単語の重みは、存在しない方の単語の重みを０とする。計算された全ての組み合わせの文脈ベクトルの類似度は、文脈ベクトル類似度データベース５に格納する（ｓ５）。
【００３３】
共起単語対クラスタリング部１６は、文脈ベクトル類似度データベース５に格納されている全ての文脈ベクトルと文脈ベクトル同士の類似度を参照し、類似している文脈ベクトルの階層的なクラスタをボトムアップに構築する。クラスタリングアルゴリズムは様々なものが提案されているが、ここでは特に規定しない。予め類似度に対する閾値を設けておき、その閾値以上で構築されたクラスタリングの結果を共起単語対クラスタデータベース６に格納する（ｓ６）。
【００３４】
関係ラベル獲得部１７は、共起単語対クラスタデータベース６から一のクラスタに含まれる個々の共起単語対を読み出し、文脈ベクトルデータベース４から前記個々の共起単語対に対応する文脈を構成する単語を読み出し、多くの共起単語対の文脈間で共通する単語の重なりの度合いを求め、当該単語を前記一のクラスタに含まれる個々の共起単語対の関係を表すラベルとしてその重なりの度合いとともに共起単語対クラスタデータベース６の対応するクラスタに格納し、これを全てのクラスタについて行う（ｓ７）。
【００３５】
図５に共起単語対クラスタデータベース６の一例を示す。共起単語対クラスタデータベース６は、クラスタの番号、各クラスタに含まれる共起単語対、各クラスタの共起単語対の文脈に共通な単語とその重なり度合いからなっている。
【００３６】
文脈ベクトルに共通な単語の重なり度合いを求めるには、例えば、全ての文脈ベクトルの組み合わせから共通する単語を検出し、その単語が文脈ベクトルの全組み合わせのうちいくつの組み合わせに存在するかを割合として求めても良い。一例として、クラスタが５つの共起単語対からなる場合には、１０組の共起単語対の組み合わせがあるが、仮に４つの共起単語対の文脈の集合にある単語が共通する場合には６組の共起単語対の組み合わせが存在することになるので、割合は０．６として求めることができる。なお、クラスタ内の全ての文脈ベクトルに共通の単語が存在する場合には、そのクラスタにおけるその単語の重なり度合いは１になる。
【００３７】
クラスタ内文脈選択部１８は、（１）共起単語対クラスタデータベース６に格納されているクラスタ毎の共起単語対と共起単語対文脈データベース２に格納されている共起単語対の文脈の集合とから、クラスタ内の複数の共起単語対に共通する文脈だけを選択する（ｓ８）。
【００３８】
例えば、図３の", which is acquired by"という文脈はCompany A :: Company BとCompany C :: Company Dという２つの共起単語対に共通するので、この文脈をこれらの２つの共起単語対を含むクラスタの関係を表す表現として選択する。
【００３９】
あるいは、（２）共起単語対クラスタデータベース６に格納されているクラスタ毎の共起単語対及び文脈ベクトルに共通な単語と共起単語対文脈データベース２に格納されている共起単語対の文脈の集合とから、クラスタ内の共起単語対の多くに共通な単語、例えば予め定められた閾値以上の重なり度合いを持つ単語を含む文脈だけを選択する（ｓ８）。
【００４０】
例えば、図３と図５から図５におけるクラスタ１の共通単語のうち、重なり度合いが０．５以上の単語を含む文脈だけを選択するという条件を設けるならば、図５より重なり度合いが１である単語buy（過去分詞は除いている）だけがこの条件に該当する。この条件より、図３の文脈の中からbuy（過去分詞を除く）を含むCompany A :: Company Bの"is offering to buy"およびCompany C :: Company Dの"said it intends to buy"，"agreed to buy"，"plans to buy"の４つだけを選択することができる。
【００４１】
図５におけるクラスタ１は、文脈に共通の単語からＭ＆Ａの関係を表していると考えられ、とりわけ最も重なり度合いの高いbuyという単語はＭ＆Ａの関係を表すラベルとして見なすことができ、buyを含む文脈だけを選択することは、Ｍ＆Ａの関係を必ずしも表しているとはいえない文脈をフィルタリングすることと等価であるため、高い精度でＭ＆Ａの関係を表す言い換え表現だけを獲得することに繋がる。
【００４２】
なお、文脈の選択には、上記の（１）と（２）の論理和を用いても良い。この場合、（１）で得られる１つと（２）で得られる４つの文脈がＭ＆Ａの関係を表す言い換え表現として獲得される。以上を各クラスタにおいても繰り返す。
【００４３】
出力部１９は、共起単語対クラスタデータベース６に格納されているクラスタとそれに含まれる共起単語対、関係ラベル獲得部１７で得られるクラスタの関係を表すラベルとしての単語、クラスタ内文脈選択部１８で得られる関係についての言い換え表現となる文脈を出力表示する（ｓ９）。
【図面の簡単な説明】
【００４４】
【図１】本発明の言い換え表現獲得システムの実施の形態の一例を示す構成図
【図２】本発明の言い換え表現獲得プログラムに対応する処理の流れの一例を示す図
【図３】共起単語対文脈データベースの一例を示す図
【図４】文脈ベクトルデータベースの一例を示す図
【図５】共起単語対クラスタデータベースの一例を示す図
【符号の説明】
【００４５】
１：文書集合データベース（文書集合ＤＢ）、２：共起単語対文脈データベース（共起単語対文脈ＤＢ）、３：文書頻度データベース（文書頻度ＤＢ）、４：文脈ベクトルデータベース（文脈ベクトルＤＢ）、５：文脈ベクトル類似度データベース（文脈ベクトル類似度ＤＢ）、６：共起単語対クラスタデータベース（共起単語対クラスタＤＢ）、１１：文書集合入力部、１２：共起単語対文脈収集部、１３：文書頻度計算部、１４：文脈ベクトル生成部、１５：文脈ベクトル類似度計算部、１６：共起単語対クラスタリング部、１７：関係ラベル獲得部、１８：クラスタ内文脈選択部、１９：出力部。
【技術分野】
【０００１】
本発明は、同じ意味内容を異なる表現で言い表す言い換え表現を、多数の文書よりなる文書集合から収集する技術に関わり、特に任意の２つの単語または単語列の間に存在する特定の関係を表す言い換え表現を獲得する技術に関する。
【背景技術】
【０００２】
ハードウェアの進歩により大規模な文書集合を扱うことが可能になり、人手により構築された言い換え表現のための知識に頼らず、文書集合から機械的に言い換え表現を獲得しようとする試みが提案されてきた。
【０００３】
機械的に言い換え表現を文書集合から獲得する方法として、同じ日の同じ出来事を伝える二つのコンパラブルなコーパスを用いて、対応が付けられた文同士を構文解析し、その出来事についてのキーとなる単語を手がかりとして言い換え表現を抽出する方法が提案されている（非特許文献１参照）。
【０００４】
また、文書集合を構文解析して得られたそれぞれの文の構造から動詞とその主語と目的語を得て、文書集合全体を対象として各々の動詞の持つ主語と目的語を収集し、任意の動詞間の主語と目的語についての相互情報量を計算することにより、類似した動詞を発見し、これを言い換え表現とする方法も提案されている（非特許文献２参照）。
【０００５】
一方、特定の関係に限定した言い換え表現を獲得するために、収集したい言い換え表現が表す特定の関係にある既知の事例を用いて、文書集合からその関係を表す表現を収集する方法も提案されている（非特許文献３参照）。この方法では構文解析は行われず、指定された事例が多くの文書で共通して出現する表現を抜き出し、その表現が含まれる文を収集した後にその事例だけが高頻度で出現するものを選択することによって言い換え表現を獲得している。
【非特許文献１】関根 聡「複数の新聞を使用した言い換え表現の自動抽出」、言語処理学会第７回年次大会ワークショップ論文集、２００１、Ｐ９〜１４
【非特許文献２】D. Lin and P. Pantel, "DIRT-Discovery of Inference Rules from Text", Proceedings of the Seventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2001, pp.323-328
【非特許文献３】D. Ravichandran and E. Hovy, "Learning Surface Text Patterns for a Question Answering system", Proceedings of the 40th Annual Meeting of the ACL, Philadelphia, 2002, pp.41-47
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の技術における構文解析を用いる方法では、構文解析の精度が十分に高くないとその後の言い換え表現の獲得の精度が大きく低下するという問題が存在する。また、構文解析を用いない方法では、獲得したい言い換え表現が表す特定の関係にある事例を事前に与える必要があり、どういう事例を与えるかによって結果が大きく左右されるという問題がある。
【０００７】
本発明は、このような問題を解決するため、構文解析を必要とせず、また予め特定の関係にある事例を与えることなく、文書集合全体から収集した特定の属性を持つ任意の２つの共起する単語または単語列の出現する文脈の集合に基づくクラスタリングにより、共起する単語または単語列の間にある特定の関係を発見し、発見された特定の関係を表す文脈だけを選択することによって、言い換え表現の獲得を可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するための本発明の言い換え表現獲得システムは、
単語または単語列に特定の属性を表すタグが付されている文書を多数格納した文書集合データベースと、
共起単語対毎の個々の文脈を少なくともその頻度とともに格納する共起単語対文脈データベースと、
単語毎の文書頻度を格納する文書頻度データベースと、
共起単語対毎の文脈ベクトルを格納する文脈ベクトルデータベースと、
文脈ベクトル間の類似度を格納する文脈ベクトル類似度データベースと、
クラスタ毎の共起単語対を格納する共起単語対クラスタデータベースと、
文書集合データベースから文書集合を入力する文書集合入力部と、
入力された文書から特定の属性を表すタグが付されている任意の２つの単語または単語列が共起して出現する文脈を収集し、これを全ての文書に対して行い、前記任意の２つの単語または単語列の組み合わせからなる共起単語対毎に個々の文脈をその頻度とともに共起単語対文脈データベースに格納する共起単語対文脈収集部と、
入力された文書を単語に分解し、単語毎に当該単語を含む文書数をカウントし、これを全ての文書に対して行い、単語を含む文書数の全文書数に対する割合である文書頻度を全ての単語について計算し、これを文書頻度データベースに格納する文書頻度計算部と、
共起単語対文脈データベースから一の共起単語対に対応する個々の文脈とその頻度を読み出し、各文脈を単語に分割し、各単語毎に当該単語を含む文脈の頻度の総和を求めて各単語の単語頻度とし、当該各単語の文書頻度を文書頻度データベースから読み出し、両者から各単語の重みを計算し、前記一の共起単語対に対応する個々の文脈を構成する単語とその重みからなる文脈ベクトルを生成し、文脈ベクトルデータベースに格納し、これを全ての共起単語対に対して行う文脈ベクトル生成部と、
文脈ベクトルデータベースから２つの共起単語対に対応する文脈ベクトルを読み出し、その間の類似度を計算し、これを２つの共起単語対に対応する文脈ベクトルの全ての組み合わせについて行い、文脈ベクトル類似度データベースに格納する文脈ベクトル類似度計算部と、
文脈ベクトル類似度データベースから文脈ベクトル間の全ての類似度を読み出し、文脈ベクトル間の類似度が近い共起単語対を含むクラスタを形成し、各クラスタに含まれる共起単語対を共起単語対クラスタデータベースに格納する共起単語対クラスタリング部と、
共起単語対クラスタデータベースから一のクラスタに含まれる個々の共起単語対を読み出し、文脈ベクトルデータベースから前記個々の共起単語対に対応する文脈を構成する単語を読み出し、多くの共起単語対の文脈間で共通する単語を前記一のクラスタに含まれる個々の共起単語対の関係を表すラベルとして獲得し、共起単語対クラスタデータベースの対応するクラスタに格納し、これを全てのクラスタについて行う関係ラベル獲得部と、
共起単語対クラスタデータベース及び共起単語対文脈データベースから各クラスタに含まれる個々の共起単語対に共通する文脈や関係を表すラベルとしての単語を含む文脈を言い換え表現として獲得するクラスタ内文脈選択部と、
得られたクラスタやクラスタにおける関係を表すラベルとしての単語や言い換え表現を出力する出力部とを備えている。
【発明の効果】
【０００９】
本発明の言い換え表現獲得システムによれば、同一内容を表す文書の対を集めることなく、また関係や言い換え表現についての知識を事前に与えることなく、大規模なコーパス（文書集合）から類似した文脈を持つ単語の対のクラスタリングにより、同じ関係を持つ単語対のクラスタを得ることができ、各クラスタ内の文脈や単語の共通性に基づいて、クラスタが持つ関係に特有な文脈だけを選択することにより、言い換え表現を獲得することが可能となる。
【発明を実施するための最良の形態】
【００１０】
図１は本発明の言い換え表現獲得システムの実施の形態の一例を示すもので、図中、１は文書集合データベース（文書集合ＤＢ）、２は共起単語対文脈データベース（共起単語対文脈ＤＢ）、３は文書頻度データベース（文書頻度ＤＢ）、４は文脈ベクトルデータベース（文脈ベクトルＤＢ）、５は文脈ベクトル類似度データベース（文脈ベクトル類似度ＤＢ）、６は共起単語対クラスタデータベース（共起単語対クラスタＤＢ）、１１は文書集合入力部、１２は共起単語対文脈収集部、１３は文書頻度計算部、１４は文脈ベクトル生成部、１５は文脈ベクトル類似度計算部、１６は共起単語対クラスタリング部、１７は関係ラベル獲得部、１８はクラスタ内文脈選択部、１９は出力部である。
【００１１】
文書集合データベース１は、単語または単語列に特定の属性を表すタグが付されている文書を多数格納している。共起単語対文脈データベース２は、共起単語対毎の個々の文脈を少なくともその頻度とともに格納する。文書頻度データベース３は、単語毎の文書頻度を格納する。文脈ベクトルデータベース４は、共起単語対毎の文脈ベクトルを格納する文脈ベクトル類似度データベース５は、文脈ベクトル間の類似度を格納する。共起単語対クラスタデータベース６は、クラスタ毎の共起単語対を格納する。
【００１２】
文書集合入力部１１は、文書集合データベース１から文書集合を入力する。共起単語対文脈収集部１２は、入力された文書から特定の属性を表すタグが付されている任意の２つの単語または単語列が共起して出現する文脈を収集し、これを全ての文書に対して行い、前記任意の２つの単語または単語列の組み合わせからなる共起単語対毎に個々の文脈をその頻度とともに共起単語対文脈データベース２に格納する。文書頻度計算部１３は、入力された文書を単語に分解し、単語毎に当該単語を含む文書数をカウントし、これを全ての文書に対して行い、単語を含む文書数の全文書数に対する割合である文書頻度を全ての単語について計算し、これを文書頻度データベース３に格納する。
【００１３】
文脈ベクトル生成部１４は、共起単語対文脈データベース２から一の共起単語対に対応する個々の文脈とその頻度を読み出し、各文脈を単語に分割し、各単語毎に当該単語を含む文脈の頻度の総和を求めて各単語の単語頻度とし、当該各単語の文書頻度を文書頻度データベース３から読み出し、両者から各単語の重みを計算し、前記一の共起単語対に対応する個々の文脈を構成する単語とその重みからなる文脈ベクトルを生成し、文脈ベクトルデータベース４に格納し、これを全ての共起単語対に対して行う。
【００１４】
文脈ベクトル類似度計算部１５は、文脈ベクトルデータベース４から２つの共起単語対に対応する文脈ベクトルを読み出し、その間の類似度を計算し、これを２つの共起単語対に対応する文脈ベクトルの全ての組み合わせについて行い、文脈ベクトル類似度データベース５に格納する。共起単語対クラスタリング部１６は、文脈ベクトル類似度データベース５から文脈ベクトル間の全ての類似度を読み出し、文脈ベクトル間の類似度が近い共起単語対を含むクラスタを形成（クラスタリング）し、各クラスタに含まれる共起単語対を共起単語対クラスタデータベース６に格納する。
【００１５】
関係ラベル獲得部１７は、共起単語対クラスタデータベース６から一のクラスタに含まれる個々の共起単語対を読み出し、文脈ベクトルデータベース４から前記個々の共起単語対に対応する文脈を構成する単語を読み出し、多くの共起単語対間で共通する単語を前記一のクラスタに含まれる個々の共起単語対の関係を表すラベルとして獲得し、共起単語対クラスタデータベースの対応するクラスタに格納し、これを全てのクラスタについて行う。
【００１６】
クラスタ内文脈選択部１８は、共起単語対クラスタデータベース６及び共起単語対文脈データベース２から各クラスタに含まれる個々の共起単語対に共通する文脈や関係を表すラベルとしての単語を含む文脈を言い換え表現として獲得する。出力部１９は、得られたクラスタやクラスタにおける関係を表すラベルとしての単語や言い換え表現を出力する。
【００１７】
前述した言い換え表現獲得システムは、前記各データベースを備えたコンピュータ（ハードウェア）と、これらと協働して各種機能を実現させるプログラム（ソフトウェア）とによっても実現可能であり、このプログラムに対応する処理の流れの一例を図２に示す。
【００１８】
以下、具体例を用いて、本発明の言い換え表現獲得システムの詳細な構成をその動作とともに説明する。
【００１９】
ここでは、例えば文書集合データベース１には特定の属性として人名や地名等の固有名詞を表すタグが付されている文書が大量に格納され文書集合をなしているとし、該文書集合から固有名詞の間の関係とそれを表す言い換え表現を獲得する動作について説明する。
【００２０】
文書集合入力部１１は、文書集合データベース１に格納されている文書集合を逐次取り出す（ｓ１）。
【００２１】
共起単語対文脈収集部１２は、入力された文書から予め指定された２つの固有名詞の種別、例えば人名と地名や会社名と会社名のタグが付いている任意の２つの単語または単語列が共起して出現する文脈（単語列）を検出し、全ての文書に対してこのような文脈を共起単語対毎に収集し、共起単語の順序及び文脈の頻度とともに共起単語対文脈データベース２に格納する（ｓ２）。
【００２２】
なお、ここでいう共起とは、同一の文内に同時に出現することを指すが、同一文内でも共起する２つの単語の距離はＮ単語（Ｎは整数）以内という条件を付けても良いし、これにさらに２つの単語の外側のＭ単語（Ｍは整数）を含むなどとしても良い。
【００２３】
図３は共起単語対文脈データベース２に格納される共起単語対と文脈の例である。共起単語対の種別は会社名と会社名であり、ここではCompany AとCompany Bの対と、Company CとCompany Dの対が示されている。２つの会社名の共起単語の間の５単語以内の文脈について、共起単語対毎に共起単語の順序と文脈の頻度とが格納される。共起単語の順序は、例えばCompany Aが先でCompany Bが後に出現する順序を０、Company Bが先でCompany Aが後に出現する順序を１と表現する。また、共起単語対データベース２に格納する際には、各共起単語対の頻度、即ち各共起単語対における全ての文脈の頻度の総和が予め定められた閾値を超えるものだけを格納するように限定しても良い。
【００２４】
文書頻度計算部１３は、入力された文書を単語に分解し、単語毎に当該単語を含む文書数をカウント（計数）し、これを全ての文書に対して行い、単語を含む文書数の全文書数に対する割合である文書頻度を全ての単語について計算し、文書頻度データベース３に格納する（ｓ３）。各単語ｗの文書頻度ｄｆ（ｗ）は次式により計算するが、これに限定するものではない。
【００２５】
ｄｆ（ｗ）＝ｌｏｇ（Ｃｗ／Ｎ）
但し、Ｃｗは単語ｗを含む文書数で、Ｎは文書集合における全文書数とする。
【００２６】
文書頻度データベース３は、単語ｗと文書集合全体における単語ｗの頻度Ｆ（ｗ）と計算された文書頻度ｄｆ（ｗ）から構成される。
【００２７】
文脈ベクトル生成部１４は、共起単語対文脈データベース２に格納されている各共起単語対ｘに関する文脈の集合Ｐを取り出し、この中の全ての文脈を単語に分割した後、各単語について、単語ｗを含む各文脈Ｐｉ（ｗ）の頻度Ｃ（Ｐｉ（ｗ））の総和ΣＣ（Ｐｉ（ｗ））を単語ｗの単語頻度ｔｆ（ｗ）として求め、文書頻度データベース３から単語ｗの文書頻度ｄｆ（ｗ）を参照し、得られた単語頻度ｔｆ（ｗ）と文書頻度ｄｆ（ｗ）とからその単語の重みＶｘ（ｗ）を決定し、共起単語対ｘ毎に個々の文脈を構成する単語とその重みからなる文脈ベクトルＶｘを生成し、文脈ベクトルデータベース４に格納する（ｓ４）。
【００２８】
図４に文脈ベクトルデータベース４に格納される文脈ベクトルの一例を示す。共起単語対毎に文脈ベクトルを構成する単語とその重みが格納される。
【００２９】
なお、一般的過ぎて意味のない単語を除くために、ストップワードとして、文書頻度データベース３に格納されている文書集合全体における単語ｗの頻度Ｆ（ｗ）が予め定められた閾値よりも高い単語は対象外としても良いし、あるいは前置詞や冠詞など品詞情報を用いて対象外とする単語を選択しても良い。逆に単語の頻度があまりにも低い特殊な単語も除外するために、予め定められた別の閾値よりも文書全体における単語の頻度が低い単語も対象外としても良い。また、活用のある単語は基本形を用いて統一しても良く、受動態に用いられる動詞の過去分詞だけを能動態における過去形等の他の活用形とは区別しても良い。
【００３０】
単語頻度を求めるには、例えば図３においてCompany C :: Company Dにおける文脈の単語buyの単語頻度は、buyを含む文脈のそれぞれの頻度から１１と８と３の総和で２２とする。また、単語頻度をカウントする際に、共起単語の順序を考慮し、ある単語における頻度が共起単語の順序が０の場合にＬ回で、１の場合にＲ回だとすると、その単語頻度をＬ−Ｒとしても良い。これにより、共起単語対の有する関係の方向を表現することも可能である。文脈の単語の重みの決定には、単語ｗの単語頻度ｔｆ（ｗ）と文書頻度ｄｆ（ｗ）の逆数の積であるｔｆ＊ｉｄｆを用いるが、これに限定されるものではない。
【００３１】
文脈ベクトル類似度計算部１５は、文脈ベクトルデータベース４から２つの共起単語対に対応する文脈ベクトルを読み出し、その間の類似度を計算し、これを２つの共起単語対に対応する文脈ベクトルの全ての組み合わせについて行う。文脈ベクトルαとβの類似度Ｓｉｍ（α，β）は、下記の式から２つの文脈ベクトルのなす角度θの余弦ｃｏｓ（θ）を計算することで求める。
【００３２】
Ｓｉｍ（α，β）＝ｃｏｓ（θ）＝（α・β）／（｜α｜｜β｜）
なお、図４の例ではベクトルを構成する単語の並びが異なるが、ベクトルの内積は２つのベクトルを構成する単語の並びを同じにして計算することは言うまでもない。この際、一方に存在し、他方に存在しない単語の重みは、存在しない方の単語の重みを０とする。計算された全ての組み合わせの文脈ベクトルの類似度は、文脈ベクトル類似度データベース５に格納する（ｓ５）。
【００３３】
共起単語対クラスタリング部１６は、文脈ベクトル類似度データベース５に格納されている全ての文脈ベクトルと文脈ベクトル同士の類似度を参照し、類似している文脈ベクトルの階層的なクラスタをボトムアップに構築する。クラスタリングアルゴリズムは様々なものが提案されているが、ここでは特に規定しない。予め類似度に対する閾値を設けておき、その閾値以上で構築されたクラスタリングの結果を共起単語対クラスタデータベース６に格納する（ｓ６）。
【００３４】
関係ラベル獲得部１７は、共起単語対クラスタデータベース６から一のクラスタに含まれる個々の共起単語対を読み出し、文脈ベクトルデータベース４から前記個々の共起単語対に対応する文脈を構成する単語を読み出し、多くの共起単語対の文脈間で共通する単語の重なりの度合いを求め、当該単語を前記一のクラスタに含まれる個々の共起単語対の関係を表すラベルとしてその重なりの度合いとともに共起単語対クラスタデータベース６の対応するクラスタに格納し、これを全てのクラスタについて行う（ｓ７）。
【００３５】
図５に共起単語対クラスタデータベース６の一例を示す。共起単語対クラスタデータベース６は、クラスタの番号、各クラスタに含まれる共起単語対、各クラスタの共起単語対の文脈に共通な単語とその重なり度合いからなっている。
【００３６】
文脈ベクトルに共通な単語の重なり度合いを求めるには、例えば、全ての文脈ベクトルの組み合わせから共通する単語を検出し、その単語が文脈ベクトルの全組み合わせのうちいくつの組み合わせに存在するかを割合として求めても良い。一例として、クラスタが５つの共起単語対からなる場合には、１０組の共起単語対の組み合わせがあるが、仮に４つの共起単語対の文脈の集合にある単語が共通する場合には６組の共起単語対の組み合わせが存在することになるので、割合は０．６として求めることができる。なお、クラスタ内の全ての文脈ベクトルに共通の単語が存在する場合には、そのクラスタにおけるその単語の重なり度合いは１になる。
【００３７】
クラスタ内文脈選択部１８は、（１）共起単語対クラスタデータベース６に格納されているクラスタ毎の共起単語対と共起単語対文脈データベース２に格納されている共起単語対の文脈の集合とから、クラスタ内の複数の共起単語対に共通する文脈だけを選択する（ｓ８）。
【００３８】
例えば、図３の", which is acquired by"という文脈はCompany A :: Company BとCompany C :: Company Dという２つの共起単語対に共通するので、この文脈をこれらの２つの共起単語対を含むクラスタの関係を表す表現として選択する。
【００３９】
あるいは、（２）共起単語対クラスタデータベース６に格納されているクラスタ毎の共起単語対及び文脈ベクトルに共通な単語と共起単語対文脈データベース２に格納されている共起単語対の文脈の集合とから、クラスタ内の共起単語対の多くに共通な単語、例えば予め定められた閾値以上の重なり度合いを持つ単語を含む文脈だけを選択する（ｓ８）。
【００４０】
例えば、図３と図５から図５におけるクラスタ１の共通単語のうち、重なり度合いが０．５以上の単語を含む文脈だけを選択するという条件を設けるならば、図５より重なり度合いが１である単語buy（過去分詞は除いている）だけがこの条件に該当する。この条件より、図３の文脈の中からbuy（過去分詞を除く）を含むCompany A :: Company Bの"is offering to buy"およびCompany C :: Company Dの"said it intends to buy"，"agreed to buy"，"plans to buy"の４つだけを選択することができる。
【００４１】
図５におけるクラスタ１は、文脈に共通の単語からＭ＆Ａの関係を表していると考えられ、とりわけ最も重なり度合いの高いbuyという単語はＭ＆Ａの関係を表すラベルとして見なすことができ、buyを含む文脈だけを選択することは、Ｍ＆Ａの関係を必ずしも表しているとはいえない文脈をフィルタリングすることと等価であるため、高い精度でＭ＆Ａの関係を表す言い換え表現だけを獲得することに繋がる。
【００４２】
なお、文脈の選択には、上記の（１）と（２）の論理和を用いても良い。この場合、（１）で得られる１つと（２）で得られる４つの文脈がＭ＆Ａの関係を表す言い換え表現として獲得される。以上を各クラスタにおいても繰り返す。
【００４３】
出力部１９は、共起単語対クラスタデータベース６に格納されているクラスタとそれに含まれる共起単語対、関係ラベル獲得部１７で得られるクラスタの関係を表すラベルとしての単語、クラスタ内文脈選択部１８で得られる関係についての言い換え表現となる文脈を出力表示する（ｓ９）。
【図面の簡単な説明】
【００４４】
【図１】本発明の言い換え表現獲得システムの実施の形態の一例を示す構成図
【図２】本発明の言い換え表現獲得プログラムに対応する処理の流れの一例を示す図
【図３】共起単語対文脈データベースの一例を示す図
【図４】文脈ベクトルデータベースの一例を示す図
【図５】共起単語対クラスタデータベースの一例を示す図
【符号の説明】
【００４５】
１：文書集合データベース（文書集合ＤＢ）、２：共起単語対文脈データベース（共起単語対文脈ＤＢ）、３：文書頻度データベース（文書頻度ＤＢ）、４：文脈ベクトルデータベース（文脈ベクトルＤＢ）、５：文脈ベクトル類似度データベース（文脈ベクトル類似度ＤＢ）、６：共起単語対クラスタデータベース（共起単語対クラスタＤＢ）、１１：文書集合入力部、１２：共起単語対文脈収集部、１３：文書頻度計算部、１４：文脈ベクトル生成部、１５：文脈ベクトル類似度計算部、１６：共起単語対クラスタリング部、１７：関係ラベル獲得部、１８：クラスタ内文脈選択部、１９：出力部。
【特許請求の範囲】
【請求項１】
同じ意味内容を異なる表現で言い表す言い換え表現を文書集合から獲得する言い換え表現獲得システムであって、
単語または単語列に特定の属性を表すタグが付されている文書を多数格納した文書集合データベースと、
共起単語対毎の個々の文脈を少なくともその頻度とともに格納する共起単語対文脈データベースと、
単語毎の文書頻度を格納する文書頻度データベースと、
共起単語対毎の文脈ベクトルを格納する文脈ベクトルデータベースと、
文脈ベクトル間の類似度を格納する文脈ベクトル類似度データベースと、
クラスタ毎の共起単語対を格納する共起単語対クラスタデータベースと、
文書集合データベースから文書集合を入力する文書集合入力部と、
入力された文書から特定の属性を表すタグが付されている任意の２つの単語または単語列が共起して出現する文脈を収集し、これを全ての文書に対して行い、前記任意の２つの単語または単語列の組み合わせからなる共起単語対毎に個々の文脈をその頻度とともに共起単語対文脈データベースに格納する共起単語対文脈収集部と、
入力された文書を単語に分解し、単語毎に当該単語を含む文書数をカウントし、これを全ての文書に対して行い、単語を含む文書数の全文書数に対する割合である文書頻度を全ての単語について計算し、これを文書頻度データベースに格納する文書頻度計算部と、
共起単語対文脈データベースから一の共起単語対に対応する個々の文脈とその頻度を読み出し、各文脈を単語に分割し、各単語毎に当該単語を含む文脈の頻度の総和を求めて各単語の単語頻度とし、当該各単語の文書頻度を文書頻度データベースから読み出し、両者から各単語の重みを計算し、前記一の共起単語対に対応する個々の文脈を構成する単語とその重みからなる文脈ベクトルを生成し、文脈ベクトルデータベースに格納し、これを全ての共起単語対に対して行う文脈ベクトル生成部と、
文脈ベクトルデータベースから２つの共起単語対に対応する文脈ベクトルを読み出し、その間の類似度を計算し、これを２つの共起単語対に対応する文脈ベクトルの全ての組み合わせについて行い、文脈ベクトル類似度データベースに格納する文脈ベクトル類似度計算部と、
文脈ベクトル類似度データベースから文脈ベクトル間の全ての類似度を読み出し、文脈ベクトル間の類似度が近い共起単語対を含むクラスタを形成し、各クラスタに含まれる共起単語対を共起単語対クラスタデータベースに格納する共起単語対クラスタリング部と、
共起単語対クラスタデータベースから一のクラスタに含まれる個々の共起単語対を読み出し、文脈ベクトルデータベースから前記個々の共起単語対に対応する文脈を構成する単語を読み出し、多くの共起単語対の文脈間で共通する単語を前記一のクラスタに含まれる個々の共起単語対の関係を表すラベルとして獲得し、共起単語対クラスタデータベースの対応するクラスタに格納し、これを全てのクラスタについて行う関係ラベル獲得部と、
共起単語対クラスタデータベース及び共起単語対文脈データベースから各クラスタに含まれる個々の共起単語対に共通する文脈や関係を表すラベルとしての単語を含む文脈を言い換え表現として獲得するクラスタ内文脈選択部と、
得られたクラスタやクラスタにおける関係を表すラベルとしての単語や言い換え表現を出力する出力部とを備えた
ことを特徴とする言い換え表現獲得システム。
【請求項２】
同じ意味内容を異なる表現で言い表す言い換え表現を文書集合から獲得する言い換え表現獲得方法であって、
単語または単語列に特定の属性を表すタグが付されている文書を多数格納した文書集合データベースと、共起単語対毎の個々の文脈を少なくともその頻度とともに格納する共起単語対文脈データベースと、単語毎の文書頻度を格納する文書頻度データベースと、共起単語対毎の文脈ベクトルを格納する文脈ベクトルデータベースと、文脈ベクトル間の類似度を格納する文脈ベクトル類似度データベースと、クラスタ毎の共起単語対を格納する共起単語対クラスタデータベースとを備えたコンピュータを用い、
当該コンピュータが、
文書集合データベースから文書集合を入力する工程と、
入力された文書から特定の属性を表すタグが付されている任意の２つの単語または単語列が共起して出現する文脈を収集し、これを全ての文書に対して行い、前記任意の２つの単語または単語列の組み合わせからなる共起単語対毎に個々の文脈をその頻度とともに共起単語対文脈データベースに格納する工程と、
入力された文書を単語に分解し、単語毎に当該単語を含む文書数をカウントし、これを全ての文書に対して行い、単語を含む文書数の全文書数に対する割合である文書頻度を全ての単語について計算し、これを文書頻度データベースに格納する工程と、
共起単語対文脈データベースから一の共起単語対に対応する個々の文脈とその頻度を読み出し、各文脈を単語に分割し、各単語毎に当該単語を含む文脈の頻度の総和を求めて各単語の単語頻度とし、当該各単語の文書頻度を文書頻度データベースから読み出し、両者から各単語の重みを計算し、前記一の共起単語対に対応する個々の文脈を構成する単語とその重みからなる文脈ベクトルを生成し、文脈ベクトルデータベースに格納し、これを全ての共起単語対に対して行う工程と、
文脈ベクトルデータベースから２つの共起単語対に対応する文脈ベクトルを読み出し、その間の類似度を計算し、これを２つの共起単語対に対応する文脈ベクトルの全ての組み合わせについて行い、文脈ベクトル類似度データベースに格納する工程と、
文脈ベクトル類似度データベースから文脈ベクトル間の全ての類似度を読み出し、文脈ベクトル間の類似度が近い共起単語対を含むクラスタを形成し、各クラスタに含まれる共起単語対を共起単語対クラスタデータベースに格納する工程と、
共起単語対クラスタデータベースから一のクラスタに含まれる個々の共起単語対を読み出し、文脈ベクトルデータベースから前記個々の共起単語対に対応する文脈を構成する単語を読み出し、多くの共起単語対の文脈間で共通する単語を前記一のクラスタに含まれる個々の共起単語対の関係を表すラベルとして獲得し、共起単語対クラスタデータベースの対応するクラスタに格納し、これを全てのクラスタについて行う工程と、
共起単語対クラスタデータベース及び共起単語対文脈データベースから各クラスタに含まれる個々の共起単語対に共通する文脈や関係を表すラベルとしての単語を含む文脈を言い換え表現として獲得する工程と、
得られたクラスタやクラスタにおける関係を表すラベルとしての単語や言い換え表現を出力する工程とを実行する
ことを特徴とする言い換え表現獲得方法。
【請求項３】
同じ意味内容を異なる表現で言い表す言い換え表現を文書集合から獲得する言い換え表現獲得プログラムであって、
単語または単語列に特定の属性を表すタグが付されている文書を多数格納した文書集合データベースと、共起単語対毎の個々の文脈を少なくともその頻度とともに格納する共起単語対文脈データベースと、単語毎の文書頻度を格納する文書頻度データベースと、共起単語対毎の文脈ベクトルを格納する文脈ベクトルデータベースと、文脈ベクトル間の類似度を格納する文脈ベクトル類似度データベースと、クラスタ毎の共起単語対を格納する共起単語対クラスタデータベースとを備えたコンピュータに、
文書集合データベースから文書集合を入力する工程と、
入力された文書から特定の属性を表すタグが付されている任意の２つの単語または単語列が共起して出現する文脈を収集し、これを全ての文書に対して行い、前記任意の２つの単語または単語列の組み合わせからなる共起単語対毎に個々の文脈をその頻度とともに共起単語対文脈データベースに格納する工程と、
入力された文書を単語に分解し、単語毎に当該単語を含む文書数をカウントし、これを全ての文書に対して行い、単語を含む文書数の全文書数に対する割合である文書頻度を全ての単語について計算し、これを文書頻度データベースに格納する工程と、
共起単語対文脈データベースから一の共起単語対に対応する個々の文脈とその頻度を読み出し、各文脈を単語に分割し、各単語毎に当該単語を含む文脈の頻度の総和を求めて各単語の単語頻度とし、当該各単語の文書頻度を文書頻度データベースから読み出し、両者から各単語の重みを計算し、前記一の共起単語対に対応する個々の文脈を構成する単語とその重みからなる文脈ベクトルを生成し、文脈ベクトルデータベースに格納し、これを全ての共起単語対に対して行う工程と、
文脈ベクトルデータベースから２つの共起単語対に対応する文脈ベクトルを読み出し、その間の類似度を計算し、これを２つの共起単語対に対応する文脈ベクトルの全ての組み合わせについて行い、文脈ベクトル類似度データベースに格納する工程と、
文脈ベクトル類似度データベースから文脈ベクトル間の全ての類似度を読み出し、文脈ベクトル間の類似度が近い共起単語対を含むクラスタを形成し、各クラスタに含まれる共起単語対を共起単語対クラスタデータベースに格納する工程と、
共起単語対クラスタデータベースから一のクラスタに含まれる個々の共起単語対を読み出し、文脈ベクトルデータベースから前記個々の共起単語対に対応する文脈を構成する単語を読み出し、多くの共起単語対の文脈間で共通する単語を前記一のクラスタに含まれる個々の共起単語対の関係を表すラベルとして獲得し、共起単語対クラスタデータベースの対応するクラスタに格納し、これを全てのクラスタについて行う工程と、
共起単語対クラスタデータベース及び共起単語対文脈データベースから各クラスタに含まれる個々の共起単語対に共通する文脈や関係を表すラベルとしての単語を含む文脈を言い換え表現として獲得する工程と、
得られたクラスタやクラスタにおける関係を表すラベルとしての単語や言い換え表現を出力する工程とを実行させる
ことを特徴とする言い換え表現獲得プログラム。
【請求項１】
同じ意味内容を異なる表現で言い表す言い換え表現を文書集合から獲得する言い換え表現獲得システムであって、
単語または単語列に特定の属性を表すタグが付されている文書を多数格納した文書集合データベースと、
共起単語対毎の個々の文脈を少なくともその頻度とともに格納する共起単語対文脈データベースと、
単語毎の文書頻度を格納する文書頻度データベースと、
共起単語対毎の文脈ベクトルを格納する文脈ベクトルデータベースと、
文脈ベクトル間の類似度を格納する文脈ベクトル類似度データベースと、
クラスタ毎の共起単語対を格納する共起単語対クラスタデータベースと、
文書集合データベースから文書集合を入力する文書集合入力部と、
入力された文書から特定の属性を表すタグが付されている任意の２つの単語または単語列が共起して出現する文脈を収集し、これを全ての文書に対して行い、前記任意の２つの単語または単語列の組み合わせからなる共起単語対毎に個々の文脈をその頻度とともに共起単語対文脈データベースに格納する共起単語対文脈収集部と、
入力された文書を単語に分解し、単語毎に当該単語を含む文書数をカウントし、これを全ての文書に対して行い、単語を含む文書数の全文書数に対する割合である文書頻度を全ての単語について計算し、これを文書頻度データベースに格納する文書頻度計算部と、
共起単語対文脈データベースから一の共起単語対に対応する個々の文脈とその頻度を読み出し、各文脈を単語に分割し、各単語毎に当該単語を含む文脈の頻度の総和を求めて各単語の単語頻度とし、当該各単語の文書頻度を文書頻度データベースから読み出し、両者から各単語の重みを計算し、前記一の共起単語対に対応する個々の文脈を構成する単語とその重みからなる文脈ベクトルを生成し、文脈ベクトルデータベースに格納し、これを全ての共起単語対に対して行う文脈ベクトル生成部と、
文脈ベクトルデータベースから２つの共起単語対に対応する文脈ベクトルを読み出し、その間の類似度を計算し、これを２つの共起単語対に対応する文脈ベクトルの全ての組み合わせについて行い、文脈ベクトル類似度データベースに格納する文脈ベクトル類似度計算部と、
文脈ベクトル類似度データベースから文脈ベクトル間の全ての類似度を読み出し、文脈ベクトル間の類似度が近い共起単語対を含むクラスタを形成し、各クラスタに含まれる共起単語対を共起単語対クラスタデータベースに格納する共起単語対クラスタリング部と、
共起単語対クラスタデータベースから一のクラスタに含まれる個々の共起単語対を読み出し、文脈ベクトルデータベースから前記個々の共起単語対に対応する文脈を構成する単語を読み出し、多くの共起単語対の文脈間で共通する単語を前記一のクラスタに含まれる個々の共起単語対の関係を表すラベルとして獲得し、共起単語対クラスタデータベースの対応するクラスタに格納し、これを全てのクラスタについて行う関係ラベル獲得部と、
共起単語対クラスタデータベース及び共起単語対文脈データベースから各クラスタに含まれる個々の共起単語対に共通する文脈や関係を表すラベルとしての単語を含む文脈を言い換え表現として獲得するクラスタ内文脈選択部と、
得られたクラスタやクラスタにおける関係を表すラベルとしての単語や言い換え表現を出力する出力部とを備えた
ことを特徴とする言い換え表現獲得システム。
【請求項２】
同じ意味内容を異なる表現で言い表す言い換え表現を文書集合から獲得する言い換え表現獲得方法であって、
単語または単語列に特定の属性を表すタグが付されている文書を多数格納した文書集合データベースと、共起単語対毎の個々の文脈を少なくともその頻度とともに格納する共起単語対文脈データベースと、単語毎の文書頻度を格納する文書頻度データベースと、共起単語対毎の文脈ベクトルを格納する文脈ベクトルデータベースと、文脈ベクトル間の類似度を格納する文脈ベクトル類似度データベースと、クラスタ毎の共起単語対を格納する共起単語対クラスタデータベースとを備えたコンピュータを用い、
当該コンピュータが、
文書集合データベースから文書集合を入力する工程と、
入力された文書から特定の属性を表すタグが付されている任意の２つの単語または単語列が共起して出現する文脈を収集し、これを全ての文書に対して行い、前記任意の２つの単語または単語列の組み合わせからなる共起単語対毎に個々の文脈をその頻度とともに共起単語対文脈データベースに格納する工程と、
入力された文書を単語に分解し、単語毎に当該単語を含む文書数をカウントし、これを全ての文書に対して行い、単語を含む文書数の全文書数に対する割合である文書頻度を全ての単語について計算し、これを文書頻度データベースに格納する工程と、
共起単語対文脈データベースから一の共起単語対に対応する個々の文脈とその頻度を読み出し、各文脈を単語に分割し、各単語毎に当該単語を含む文脈の頻度の総和を求めて各単語の単語頻度とし、当該各単語の文書頻度を文書頻度データベースから読み出し、両者から各単語の重みを計算し、前記一の共起単語対に対応する個々の文脈を構成する単語とその重みからなる文脈ベクトルを生成し、文脈ベクトルデータベースに格納し、これを全ての共起単語対に対して行う工程と、
文脈ベクトルデータベースから２つの共起単語対に対応する文脈ベクトルを読み出し、その間の類似度を計算し、これを２つの共起単語対に対応する文脈ベクトルの全ての組み合わせについて行い、文脈ベクトル類似度データベースに格納する工程と、
文脈ベクトル類似度データベースから文脈ベクトル間の全ての類似度を読み出し、文脈ベクトル間の類似度が近い共起単語対を含むクラスタを形成し、各クラスタに含まれる共起単語対を共起単語対クラスタデータベースに格納する工程と、
共起単語対クラスタデータベースから一のクラスタに含まれる個々の共起単語対を読み出し、文脈ベクトルデータベースから前記個々の共起単語対に対応する文脈を構成する単語を読み出し、多くの共起単語対の文脈間で共通する単語を前記一のクラスタに含まれる個々の共起単語対の関係を表すラベルとして獲得し、共起単語対クラスタデータベースの対応するクラスタに格納し、これを全てのクラスタについて行う工程と、
共起単語対クラスタデータベース及び共起単語対文脈データベースから各クラスタに含まれる個々の共起単語対に共通する文脈や関係を表すラベルとしての単語を含む文脈を言い換え表現として獲得する工程と、
得られたクラスタやクラスタにおける関係を表すラベルとしての単語や言い換え表現を出力する工程とを実行する
ことを特徴とする言い換え表現獲得方法。
【請求項３】
同じ意味内容を異なる表現で言い表す言い換え表現を文書集合から獲得する言い換え表現獲得プログラムであって、
単語または単語列に特定の属性を表すタグが付されている文書を多数格納した文書集合データベースと、共起単語対毎の個々の文脈を少なくともその頻度とともに格納する共起単語対文脈データベースと、単語毎の文書頻度を格納する文書頻度データベースと、共起単語対毎の文脈ベクトルを格納する文脈ベクトルデータベースと、文脈ベクトル間の類似度を格納する文脈ベクトル類似度データベースと、クラスタ毎の共起単語対を格納する共起単語対クラスタデータベースとを備えたコンピュータに、
文書集合データベースから文書集合を入力する工程と、
入力された文書から特定の属性を表すタグが付されている任意の２つの単語または単語列が共起して出現する文脈を収集し、これを全ての文書に対して行い、前記任意の２つの単語または単語列の組み合わせからなる共起単語対毎に個々の文脈をその頻度とともに共起単語対文脈データベースに格納する工程と、
入力された文書を単語に分解し、単語毎に当該単語を含む文書数をカウントし、これを全ての文書に対して行い、単語を含む文書数の全文書数に対する割合である文書頻度を全ての単語について計算し、これを文書頻度データベースに格納する工程と、
共起単語対文脈データベースから一の共起単語対に対応する個々の文脈とその頻度を読み出し、各文脈を単語に分割し、各単語毎に当該単語を含む文脈の頻度の総和を求めて各単語の単語頻度とし、当該各単語の文書頻度を文書頻度データベースから読み出し、両者から各単語の重みを計算し、前記一の共起単語対に対応する個々の文脈を構成する単語とその重みからなる文脈ベクトルを生成し、文脈ベクトルデータベースに格納し、これを全ての共起単語対に対して行う工程と、
文脈ベクトルデータベースから２つの共起単語対に対応する文脈ベクトルを読み出し、その間の類似度を計算し、これを２つの共起単語対に対応する文脈ベクトルの全ての組み合わせについて行い、文脈ベクトル類似度データベースに格納する工程と、
文脈ベクトル類似度データベースから文脈ベクトル間の全ての類似度を読み出し、文脈ベクトル間の類似度が近い共起単語対を含むクラスタを形成し、各クラスタに含まれる共起単語対を共起単語対クラスタデータベースに格納する工程と、
共起単語対クラスタデータベースから一のクラスタに含まれる個々の共起単語対を読み出し、文脈ベクトルデータベースから前記個々の共起単語対に対応する文脈を構成する単語を読み出し、多くの共起単語対の文脈間で共通する単語を前記一のクラスタに含まれる個々の共起単語対の関係を表すラベルとして獲得し、共起単語対クラスタデータベースの対応するクラスタに格納し、これを全てのクラスタについて行う工程と、
共起単語対クラスタデータベース及び共起単語対文脈データベースから各クラスタに含まれる個々の共起単語対に共通する文脈や関係を表すラベルとしての単語を含む文脈を言い換え表現として獲得する工程と、
得られたクラスタやクラスタにおける関係を表すラベルとしての単語や言い換え表現を出力する工程とを実行させる
ことを特徴とする言い換え表現獲得プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００６−１９０１４６（Ｐ２００６−１９０１４６Ａ）
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願番号】特願２００５−２３６６（Ｐ２００５−２３６６）
【出願日】平成１７年１月７日（２００５．１．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願日】平成１７年１月７日（２００５．１．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]