概念情報データベース作成装置、概念情報データベース作成方法、プログラムおよび記録媒体
【課題】 結果として、充分な精度を持つ概念情報データベースを得ることが容易である概念情報データベース作成装置、概念情報データベース作成方法、プログラムおよび記録媒体を提供することを目的とするものである。
【解決手段】 与えられた文書集合を解析し、上記与えられた文書集合中に存在している語を抽出し、上記与えられた文書集合中に存在している語連鎖を抽出し、上記語のそれぞれと上記語連鎖のそれぞれとの共起回数を検出し、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語の概念情報を、定量化し、上記得られた上記語の概念情報を、データベースとする。
【解決手段】 与えられた文書集合を解析し、上記与えられた文書集合中に存在している語を抽出し、上記与えられた文書集合中に存在している語連鎖を抽出し、上記語のそれぞれと上記語連鎖のそれぞれとの共起回数を検出し、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語の概念情報を、定量化し、上記得られた上記語の概念情報を、データベースとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、語または語連鎖の持つ概念情報を定量化してデータベース化する装置および方法に係り、特に、与えられた文書中に現れる語または語連鎖の概念情報を、上記与えられた文書中に現れる語または語連鎖と、上記語または語連鎖との共起度に基づいて、定量化する概念情報データベース作成装置および方法に関する。
【背景技術】
【０００２】
従来、単語間の類似性判別や、文書検索の高精度化を目的として、単語の概念情報をデータベース化する装置・方法が提案されている。つまり、単語間の類似性判別を目的として、単語を要素とした多次元空間を用意し、この多次元空間中に、各単語をベクトルとして配置するデータベースの作成手法が提案されている（たとえば、非特許文献１、非特許文献２参照）。
【０００３】
また、文中の「語」の概念を定量化する場合、構文解析を用いて、「語」と文法上の組を形成する関係にある「関係語」を取り出し、それらの間の「結合度」を用いる手法が提案されている（たとえば、特許文献１参照）。
【０００４】
非特許文献１、非被特許文献２記載の従来例は、ある単語の概念を、共起する複数の単語で構成される多次元空間で表現する。これに対して、特許文献１記載の従来例は、共起だけではなく、ある単語と文法的に関係（たとえば主語と述語との関係）がある複数の単語で構成される多次元空間で表現するという点が大きく異なる。
【非特許文献１】Schuetze, H., “Dimensions of Meaning”, in Proceedings of Supercomputing '92, pp.787-796, 1992
【非特許文献２】笠原，松澤，石川、「国語辞書を利用した日常語の類似性判別」、情報処理学会論文誌、Vol.38、No.7、pp.1272-1284、１９９７年
【特許文献１】特開平９−１３４３６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１、非特許文献２記載の従来例では、文法的・意味的な関係を考慮せずに共起頻度を算出するので、単語間の類似性を判別する場合や文書検索を高精度化する場合に利用するには、充分ではないという問題がある。
【０００６】
また、特許文献１記載の従来例では、文法的・意味的な関係を捉えるために、構文解析を行うが、現在の技術では、文法的・意味的な関係を完全に捉えることは難しいという問題がある。
【０００７】
すなわち、上記従来例では、結果として、充分な精度を持つ概念情報データベースを得ることが困難であるという問題がある。
【０００８】
本発明は、結果として、充分な精度を持つ概念情報データベースを得ることが容易である概念情報データベース作成装置、概念情報データベース作成方法、プログラムおよび記録媒体を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明は、与えられた文書集合を解析する文書解析手段と、上記与えられた文書集合中に存在している語を抽出し、記憶装置に記憶する語抽出手段と、上記与えられた文書集合中に存在している語連鎖を抽出し、記憶装置に記憶する語連鎖抽出手段と、上記語のそれぞれと上記語連鎖のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出手段と、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語の概念情報を、定量化し、記憶装置に記憶する概念情報定量化手段と、上記概念情報定量化手段で得られた上記語の概念情報を、データベースとする概念情報データベース作成手段とを有する概念情報データベース作成装置である。
【００１０】
また、本発明は、与えられた文書集合を解析する文書解析手段と、上記与えられた文書集合中に存在している語連鎖を抽出するか、または、語連鎖と語とを抽出し、記憶装置に記憶する抽出手段と、上記語連鎖のそれぞれと上記語連鎖または語のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出手段と、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する概念情報定量化手段と、上記概念情報定量化手段で得られた上記語連鎖の概念情報を、データベースとする概念情報データベース作成手段とを有する概念情報データベース作成装置である。
【発明の効果】
【００１１】
本発明によれば、語連鎖との共起を用いるので、構文解析を行うことなく間接的に文法的・意味的な関係を捉えることができ、単語間の類似性を判別する場合や文書検索を高精度化する場合に、充分な精度で概念情報データベースを作成することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１２】
発明を実施するための最良の形態は、以下の実施例である。
【実施例１】
【００１３】
図１は、本発明の実施例１である概念情報データベース作成装置１０の基本構成を示すブロック図である。
【００１４】
概念情報データベース作成装置１０は、概念情報データベースを作成する元となる大量の文書集合２０を入力し、概念情報データベース３０を出力し、文書解析部１１と、語抽出部１２、語連鎖抽出部１３、共起回数検出部１４と、概念情報定量化部１５と、概念情報データベース作成部１６とを有する。
【００１５】
文書解析部１１は、文書集合２０に含まれている全ての文に対して形態素解析を行い、単語に分割するとともに、各単語に品詞を付与する。
【００１６】
語抽出部１２は、文書集合２０に含まれている語を抽出し、記憶装置に記憶する。
【００１７】
語連鎖抽出部１３は、文書集合２０に含まれている語連鎖を抽出し、記憶装置に記憶する。
【００１８】
共起回数検出部１４は、文書解析部１１が行った解析結果に基づいて、ある語または語連鎖に対して共起する語または語連鎖を、抽出し、共起回数をカウントし、記憶装置に記憶する。
【００１９】
上記「語連鎖」は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）である。
【００２０】
概念情報定量化部１５は、共起回数検出部１４でカウントされた共起回数に基づいて、着目している語または語連鎖と、語または語連鎖との共起度を計算し、着目している語または語連鎖に対する概念情報を定量化する。なお、上記定量化については、後述する。
【００２１】
概念情報データベース作成部１６は、語または語連鎖をキーとして、概念情報定量化部１５で定量化された概念情報を検索できるようにデータベース化する。
【００２２】
図２は、概念情報データベース作成装置１０の概略動作を示すフローチャートである。
【００２３】
Ｓ１では、文書解析部１１が、文書集合２０から１つの文書を抽出する。
【００２４】
Ｓ２では、文書解析部１１が、Ｓ１で取り出された文書中から１つの文を抽出する。
【００２５】
Ｓ３では、文書解析部１１が、Ｓ２で取り出された１文に対して形態素解析を行い、単語単位に分割し、単語に分割するとともに、各単語に品詞を付与する。
【００２６】
Ｓ４では、取り出された文書中の全文を処理したかどうかを判断する。未処理の文が存在する場合、Ｓ５に進み、未処理の文が存在しない場合（全ての文を処理済の場合）、Ｓ６に進む。
【００２７】
Ｓ５では、次の文を処理対象として、Ｓ２〜Ｓ５の処理を繰り返す。
【００２８】
Ｓ６では、文書集合２０に含まれている全文書を処理したかどうかを判断する。未処理の文書が存在する場合、Ｓ７に進み、未処理の文書が存在しない場合（全ての文書を処理済の場合）、文書集合２０中の全文書の形態素解析結果を語抽出部１２、語連鎖抽出部１３に送り、Ｓ８に進む。
【００２９】
Ｓ７では、文書集合２０中の次の文書を処理対象として、Ｓ１〜Ｓ６の処理を繰り返す。
【００３０】
Ｓ８では、語抽出部１２、語連鎖抽出部１３が、形態素解析結果から、全ての語または語連鎖（２単語連鎖以上の連鎖）を抽出し、記憶装置に記憶する。
【００３１】
Ｓ９では、共起回数検出部１４が、抽出された自立語（名詞、代名詞、動詞、形容詞、副詞）または語連鎖のそれぞれに対して、共起する自立語または語連鎖を抽出し、出現回数をカウントし、このカウント結果を、概念情報定量化部１５に送る。
【００３２】
なお、実施例において、出現回数をカウントする場合、次の３つの類型がある。すなわち、
（１）文書集合２０から語（自立語）と、語連鎖とを抽出し、所定の文書範囲に存在している上記抽出された語のそれぞれと、上記所定の文書範囲に存在している語連鎖のそれぞれとの共起回数をカウントする類型。
（２）文書集合２０から、語連鎖を抽出し、所定の文書範囲に存在している上記抽出された第１の語連鎖のそれぞれと、上記所定の文書範囲に存在している第２の語連鎖のそれぞれとの共起回数をカウントする類型。
（３）文書集合２０から、語連鎖と語（独立語）とを抽出し、所定の文書範囲に存在している上記抽出された語連鎖のそれぞれと、上記所定の文書範囲に存在している語のそれぞれとの共起回数をカウントする類型。
がある。
【００３３】
なお、上記「所定の文書範囲」は、共起回数をカウントする文書範囲であり、たとえば、上記与えられた文書集合の部分集合、上記文書に含まれている少なくとも１つの段落、上記１つの段落に含まれている少なくとも１つの文のうちの１つである。
【００３４】
Ｓ１０では、共起回数検出部１４がカウントした結果に基づいて、概念情報定量化部１５が、抽出された語または語連鎖のそれぞれについて、語または語連鎖のそれぞれとの共起度を計算する。
【００３５】
Ｓ１１では、上記計算された共起度に基づいて、概念情報定量化部１５が、それぞれの語または語連鎖の概念情報を定量化し、この定量化した結果を、概念情報データベース作成部１６に送る。
【００３６】
ここで、上記「概念情報」は、語または語連鎖を行とし、共起する対象として調べる語または語連鎖を列とし、共起度を値とする行列として定量化される。すなわち、語または語連鎖の概念情報は、語または語連鎖の共起度を要素とする行ベクトルとして表現される。
【００３７】
この場合、行列の行、列のそれぞれの個数を、語または語連鎖の頻度に応じて設定するようにしてもよい。
【００３８】
さらに、共起度が０であるものが多く存在する場合、図８に示すように、文書集合２０から抽出した語連鎖の数を、選択的に少なくするようにしてもよい。また、共起度が０のものが多く存在する場合における語連鎖を構成する語の数を少なくした語連鎖（たとえば、３単語連鎖に対する２単語連鎖（単語ｂｉｇｒａｍ）や、１単語連鎖（単語ｕｎｉｇｒａｍ））の共起頻度を求め、この求めた共起度を使用して、概念情報を補完するようにしてもよい。また、特異値分解によって、列数を縮退するようにしてもよい。なお、ここでは、上記共起度を補完する方法については、特に限定しない。
【００３９】
Ｓ１２では、概念情報データベース作成部１６が、語または語連鎖をキーとして、上記語または語連鎖の概念情報を検索できるように概念情報データベース３０を作成する。そして、概念情報データベース作成処理を終了する。
【００４０】
次に、具体例を用いて、概念情報データベース作成装置１０の動作を説明する。
【００４１】
図３は、実施例の具体例で使用する文書集合２０の内容例を示す図である。
【００４２】
文書集合２０は、ｎ個（ｎは整数）の文書によって構成されている。
【００４３】
第１文書２１、第２文書２２、……、第ｎ文書２ｎは、文書集合２０に含まれている文書であり、第１文書２１、第２文書２２、……、第ｎ文書２ｎの順で、文書集合を構成し、第ｎ文書２ｎは、文書集合２０に含まれている最終文書である。
【００４４】
［具体例１］（単語対単語ｔｒｉｇｒａｍの例）
具体例１では、図３に示す文書集合２０を対象として、概念情報データベース３０を作成する。第１文書２１から抽出した語は、自立語であり、この抽出された自立語と共起する回数を調べる対象としての語連鎖は、３単語連鎖（単語ｔｒｉｇｒａｍ）である。
【００４５】
また、具体例として、共起回数をカウントする文書範囲が、同一文書内である例を示す。つまり、たとえば、第１文書２１に含まれている自立語については、第１文書２１のみに含まれている３単語連鎖との共起をカウントする。
【００４６】
文書解析部１１が、図３に示す文書集合２０から第１文書２１を抽出する（Ｓ１）。次に、文書解析部１１が、Ｓ１で取り出された第１文書２１中から第１文を抽出する（Ｓ２）。第１文書２１は、図３に示す文書であり、第１文として、「我々は検索システムの研究開発を進めている。」が抽出される。さらに、文書解析部１１が、この第１文に対して形態素解析を行い、記憶装置に記憶し、単語単位で分割し、各単語に品詞を表す識別子を付与し、記憶装置に記憶する（Ｓ３）。
【００４７】
単語境界を「／」で示すと、上記形態素解析の結果は、以下のようになる。なお、記号［ ］は、品詞等を示す。
【００４８】
第１文書：第１段落：第１文：我々［代名詞］／は［副助詞］／検索システム［複合名詞］／の［格助詞］／研究［サ変名詞］／開発［サ変名詞］／を［格助詞］／進める［動詞］／て［接続助詞］／いる［補助動詞］／。［記号］／
次に、取り出された第１文書２１中の全文を処理したかどうかを判断し（Ｓ４）、まだ処理していない文が残っているので、次の第２文として、「ＰＢ電話機からの入力を簡単なものとするために、新しい日本語入力方式を採用している。」を処理対象とする（Ｓ５）。上記第２文についても、上記第１文における処理と同様に、形態素解析と識別子付与とを行い、記憶装置に記憶する（Ｓ３）。
【００４９】
第１文書２１に含まれている全ての文が処理されると（Ｓ４）、文書集合２０に含まれている全文書を処理したかどうかを判断する（Ｓ６）。文書集合２０は、図３に示す集合であるので、第２文書２２を、次の処理対象とする（Ｓ７）。
【００５０】
第２文書２２の全文も処理され（Ｓ４）、文書集合２０の全文書が処理され、つまり、第ｎ文書２ｎまで処理が済むと（Ｓ６）、文書解析部２は、文書集合２０中の全文書の形態素解析結果を、語抽出部１２、語連鎖抽出部１３に送る（Ｓ７）。
【００５１】
語抽出部１２、語連鎖抽出部１３が、形態素解析結果から、全ての語または語連鎖を抽出し、記憶装置に記憶する（Ｓ８）。ここで、具体例１では、抽出する語は、自立語であるので、第１文書２１の第１文の形態素解析結果からは、「我々」、「検索システム」、「研究」、「開発」、「進める」の５つの自立語が抽出される。同様に、第２文以降、文書集合２０に含まれている全文の形態素解析結果から、全ての自立語を抽出する。
【００５２】
さらに、共起回数検出部１４が、抽出された自立語のそれぞれに対して、語連鎖（３単語連鎖）を抽出し、上記抽出された自立語と上記３単語連鎖との共起回数をカウントし、このカウントされた結果を、概念情報定量化部１５に送る（Ｓ９）。
【００５３】
図４は、具体例１において、「文書集合２０から抽出した語（自立語）」のそれぞれと、「文書集合２０から抽出した語連鎖（３単語連鎖）」のそれぞれとの共起回数の例を示す図である。
【００５４】
図４において、まず、たとえば、第１文書２１の範囲で、自立語「我々」と語連鎖「検索システムの研究」との共起回数をカウントし、次に、第２文書２２の範囲で、自立語「我々」と語連鎖「検索システムの研究」との共起回数をカウントし、……、最後に、第ｎ文書２ｎの範囲で、自立語「我々」と語連鎖「検索システムの研究」との共起回数をカウントし、これらカウントした共起回数の合計値が、図４に示すように、５６回である。
【００５５】
また、自立語「我々」と、語連鎖「検索システムの研究」との共起回数をカウントする場合、同一文書中であれば、自立語「我々」と、語連鎖「検索システムの研究」との間に、どのような語が存在してもカウントし、また、自立語「我々」と、語連鎖「検索システムの研究」との間に存在する語の数がいくつであってもカウントする。さらに、同一文書中で、語連鎖「検索システムの研究」が自立語「我々」よりも先に出現する場合でもカウントする。
【００５６】
これと同様に、たとえば、自立語「研究」に着目した場合、この自立語「研究」と語連鎖「ている。」との共起回数を、文書ごとにカウントし、このカウントした共起回数の合計値が、図４に示すように、７６回である。
【００５７】
具体例１では、共起する語連鎖は、３単語連鎖（単語ｔｒｉｇｒａｍ）であるので、第１文書２１の第１文の形態素解析結果からは、「★★我々」、「★我々は」、「我々は検索システム」、「は検索システムの」、「検索システムの研究」、「の研究開発」、「研究開発を」、「開発を進める」、「を進めるて」、「進めるている」、「ている。」、「いる。本」、「。本システム」が、抽出される。なお、最初の２つの語連鎖に含まれている★印は、空単語を表す。また、最後の２つの３単語連鎖には、第２文の文頭の語である「本」、「システム」が含まれている。
【００５８】
上記と同様にして、文書集合２０に含まれている全文から、全ての３単語連鎖（単語ｔｒｉｇｒａｍ）を抽出する。
【００５９】
図４において、「語連鎖」は、３単語であるが、２単語連鎖であってもよく、４単語以上が連鎖した語連鎖であってもよい。
【００６０】
次に、共起回数検出部１４がカウントした結果に基づいて、第１文書２１から抽出した自立語のそれぞれについて、概念情報定量化部１５が、３単語連鎖（単語ｔｒｉｇｒａｍ）との共起度を計算する（Ｓ１０）。
【００６１】
ここで、共起度として正規化した値を用い、上記正規化した値として、着目している自立語に関する３単語連鎖の全ての出現回数に対する個々の３単語連鎖の出現回数の割合を使用する。
【００６２】
たとえば、図４において、自立語「我々」に関する３単語連鎖の出現回数の合計が１０００であったとすると、個々の３単語連鎖の出現回数の割合は、図４における自立語「我々」に関するカウント値を１０００で割った値が、正規化した値である。
【００６３】
図５は、具体例１において、図４に示す場合において、「自立語」と、「語連鎖」との共起度の例を示す図である。
【００６４】
さらに、概念情報定量化部１５は、共起度に基づいて、それぞれの自立語の概念情報を定量化した後に、この定量化した結果を、概念情報データベース作成部１６に送る（Ｓ１１）。
【００６５】
また、図５に示す場合において、自立語を行とし、３単語連鎖を列とし、共起度をそのまま値として行列をつくり、この行列が、概念情報を定量化するものであるとすれば、図５に示す共起度計算結果例が、そのまま概念情報定量化結果例となる。
【００６６】
概念情報の定量化結果を受け取った概念情報データベース作成部１６は、自立語をキーとして、この自立語の概念情報を検索できるように、概念情報データベース３０を作成し、概念情報データベース作成処理を終了する（Ｓ１２）。
【００６７】
以上の動作によって、文書集合２０から、３単語連鎖（単語ｔｒｉｇｒａｍ）の共起度を要素とする行ベクトルによって、自立語の概念情報が表現された概念情報データベース３０を作成することができる。
【００６８】
［具体例２］（単語ｔｒｉｇｒａｍ対単語ｔｒｉｇｒａｍの例）
具体例２においても、図３に示す文書集合２０を対象に、概念情報データベース３０を作成する。具体例１における自立語の代わりに、３単語連鎖（単語ｔｒｉｇｒａｍ）を使用し、具体例１における語連鎖は、同じく語連鎖を使用し、語連鎖同士で共起回数をカウントし、語連鎖として、３単語連鎖（単語ｔｒｉｇｒａｍ）を使用する。また、共起回数をカウントする文書範囲は、同一文書内（第１文書２１に含まれている３単語連鎖に対して第１文書２１内に含まれる３単語連鎖のみをカウントする等）とする。
【００６９】
図２に示すＳ１〜Ｓ７に対応する動作は、具体例１と同じであるので、その説明を省略する。
【００７０】
次に、語連鎖抽出部１３は、形態素解析結果から、全ての語連鎖を抽出する（Ｓ８）。ここで、具体例２では、抽出する語連鎖は、３単語連鎖（単語ｔｒｉｇｒａｍ）であるので、第１文書２１の第１文の形態素解析結果からは、「★★我々」、「★我々は」、「我々は検索システム」、「は検索システムの」、「検索システムの研究」、「の研究開発」、「研究開発を」、「開発を進める」、「を進めるて」、「進めるている」、「ている。」、「いる。本」、「。本システム」の１３個の３単語連鎖（単語ｔｒｉｇｒａｍ）が抽出される。なお、最初の２つに含まれる★印は空単語を表す。また、最後の２つに３単語連鎖に含まれる「本」と「システム」は、第２文の単語である。
【００７１】
上記と同様に、第２文以降、文書集合２０に含まれる全文の形態素解析結果から、全ての３単語連鎖（単語ｔｒｉｇｒａｍ）を抽出する。
【００７２】
さらに、共起回数検出部１４は、抽出された３単語連鎖（単語ｔｒｉｇｒａｍ）のそれぞれに対して、共起する語連鎖を抽出し、共起回数をカウントし、このカウント結果を概念情報定量化部１５に送る（Ｓ９）。
【００７３】
具体例２では、抽出した語連鎖は、３単語連鎖（単語ｔｒｉｇｒａｍ）であるので、第１文書２１の第１文の形態素解析結果から、上記１３個の３単語連鎖（単語ｔｒｉｇｒａｍ）が抽出される。これと同様にして、文書集合２０に含まれている全文から、全ての３単語連鎖（単語ｔｒｉｇｒａｍ）を抽出する。
【００７４】
図６は、具体例２において、文書集合２０から抽出した語連鎖同士の共起回数の例を示す図である。
【００７５】
次に、共起回数検出部１４がカウントした結果をもとに、３単語連鎖（単語ｔｒｉｇｒａｍ）のそれぞれについて、概念情報定量化部１５が、同一文書内に共起する３単語連鎖（単語ｔｒｉｇｒａｍ）との共起度を計算する（Ｓ１０）。
【００７６】
ここで、共起度として、正規化した値を用い、正規化した値として、着目している自立語に関する３単語連鎖の全ての出現回数に対する個々の３単語連鎖の出現回数の割合を使用する。
【００７７】
たとえぱ、図６において、３単語連鎖（単語ｔｒｉｇｒａｍ）「★★我々」に関する３単語連鎖の全ての出現回数（３単語連鎖「★★我々」について、３単語連鎖との共起回数の合計）が、２００であったとすると、個々の共起する３単語連鎖の出現回数の割合は、図６の３単語連鎖（単語ｔｒｉｇｒａｍ）「★★我々」に関する計数値のそれぞれを、２００で割った値が、正規化した値である。
【００７８】
図７は、具体例２において、図６に示す場合において、語連鎖同士の共起度の例を示す図である。
【００７９】
さらに、概念情報定量化部１５は、共起度に基づいて、それぞれの３単語連鎖（単語ｔｒｉｇｒａｍ）の概念情報を定量化した後に、この結果を概念情報データベース作成部１６に送る（Ｓ１１）。
【００８０】
３単語連鎖（単語ｔｒｉｇｒａｍ）を行とし、共起する３単語連鎖（単語ｔｒｉｇｒａｍ）を列とする。
【００８１】
図８は、具体例２において、共起回数を調べる２つの語連鎖のうちの一方の語連鎖の数を減らした場合における語連鎖同士の共起度の例を示す図である。
【００８２】
図７に示す例において、文書集合２０から抽出した語連鎖の全部を使用するのではなく、いくつかを選択し、つまり、一方の３単語連鎖として、「我々は検索システム」、「は検索システムの」、「検索システムの研究」、「の研究開発」、「研究開発を」、「やＷｅｂを」、「を利用するた」の７個に限定した場合における概念情報定量化結果例を、図８に示してある。
【００８３】
なお、上記一方の３単語連鎖の数を、７個以外に限定するようにしてもよい。
【００８４】
このように、上記一方の３単語連鎖を、少ない個数に限定すると、計算が容易になる。
【００８５】
ここで、上記一方の３単語連鎖を限定し、この限定された３単語連鎖との共起回数によって、共起度を再計算するようにしてもよい。
【００８６】
概念情報データベース作成部１６は、概念情報の定量化結果を受け取ると、３単語連鎖（単語ｔｒｉｇｒａｍ）をキーとして、該３単語連鎖（単語ｔｒｉｇｒａｍ）の概念情報を検索可能なように概念情報データベース３０を作成し、概念情報データベース作成処理を終了する（Ｓ１２）。
【００８７】
なお、キーとして、３単語連鎖（単語ｔｒｉｇｒａｍ）だけではなく、各３単語連鎖に含まれている単語を副次キーとして使用するようにしてもよい。つまり、単語を副次キーとし、この単語からも、当該３単語連鎖を検索できるようにしてもよく、また、自立語を副次キーとしてもよく、ここでは、副次キーについては限定しない。
【００８８】
つまり、具体例２において、概念情報定量化手段は、第１の語連鎖のそれぞれと第２の語連鎖のそれぞれとの共起回収に基づいて共起度を求め、この求めた共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する手段であり、上記第１の語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）であり、上記第２の語連鎖は、文書中で連続するｍ単語の連鎖（ｍは２以上の整数）である。
【００８９】
以上の動作によって、文書集合２０から、３単語連鎖（単語ｔｒｉｇｒａｍ）の共起度を要素とする行ベクトルによって、３単語連鎖（単語ｔｒｉｇｒａｍ）の概念情報が表現された概念情報データベース３０を作成することができる。
【００９０】
［具体例３］
具体例３は、第１文書２１から抽出した「語連鎖」と、「語」との共起回数をカウントし、このカウントされた共起回数に基づいて、上記と同様に、上記語連鎖の概念情報を、定量化し、共起度を求める例である。
【００９１】
つまり、具体例３は、図４に示す行と列とを転置させて、共起回数を求め、共起度を求める例である。
【００９２】
上記実施例によれば、与えられた文書を単語ごとに分割し、品詞等の文法情報を付与し（文書解析）、上記文書中に現れる語または語連鎖と一定の文書範囲内（同一の文書中、同一の段落中、または同一の文中等）に現れる語または語連鎖を抽出し、上記語または語連鎖の概念情報を、上記語または語連鎖のそれぞれの共起度に基づいて定量化し、この定量化して得られた全ての語または語連鎖の概念情報をデータベースとして作成するので、与えられた文書中に現れる語または語連鎖の概念情報を、それと共起する語または語連鎖との共起度に基づいて定量化することができる。
【００９３】
つまり、上記実施例例は、語と語連鎖との組み合わせによって、データベースを作る実施例であり、与えられた文書集合を解析する文書解析手段と、上記与えられた文書集合中に存在している語を抽出し、記憶装置に記憶する語抽出手段と、上記与えられた文書集合中に存在している語連鎖を抽出し、記憶装置に記憶する語連鎖抽出手段と、上記語のそれぞれと上記語連鎖のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出手段と、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語の概念情報を、定量化し、記憶装置に記憶する概念情報定量化手段と、上記概念情報定量化手段で得られた上記語の概念情報を、データベースとする概念情報データベース作成手段とを有する概念情報データベース作成装置の例である。
【００９４】
この場合、上記共起度は、上記語のうちで、着目している語に関する上記語連鎖のそれぞれの出現回数を正規化した値である。また、上記正規化した値は、上記着目している語に関する上記語連鎖の出現回数の合計に対する個々の上記語連鎖の出現回数の割合である。さらに、上記正規化した値は、上記着目している語に関する上記語連鎖の出現回数の中で、最大の出現回数に対する個々の上記語連鎖の出現回数の割合である。そして、上記語は、自立語であり、上記語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）である。また、上記概念情報定量化手段は、上記文書集合における共起回数をカウントする文書範囲に存在している上記語と、上記語連鎖との共起度に基づいて、上記語の概念情報を定量化し、記憶装置に記憶する手段であり、上記共起回数をカウントする文書範囲は、上記与えられた文書集合の部分集合、上記文書に含まれている少なくとも１つの段落、上記１つの段落に含まれている少なくとも１つの文のうちの１つである。
【００９５】
また、上記実施例は、語連鎖と語連鎖または語との組み合わせによって、データベースを作る実施例であり、与えられた文書集合を解析する文書解析手段と、上記与えられた文書集合中に存在している語連鎖を抽出するか、または、語連鎖と語とを抽出し、記憶装置に記憶する抽出手段と、上記語連鎖のそれぞれと上記語連鎖または語のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出手段と、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する概念情報定量化手段と、上記概念情報定量化手段で得られた上記語連鎖の概念情報を、データベースとする概念情報データベース作成手段とを有する概念情報データベース作成装置の例である。
【００９６】
この場合、上記共起度は、上記語連鎖のうちで、着目している語連鎖に関する上記語連鎖または上記語のそれぞれの出現回数を正規化した値である。また、上記正規化した値は、上記着目している語連鎖に関する上記語連鎖または上記語の出現回数の合計に対する個々の上記語連鎖または上記語の出現回数の割合である。さらに、上記正規化した値は、上記着目している語連鎖に関する上記語連鎖または上記語の出現回数の中で、最大の出現回数に対する個々の上記語連鎖または上記語の出現回数の割合である。そして、上記語は、自立語であり、上記語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）であるまた、上記概念情報定量化手段は、上記文書集合における共起回数をカウントする文書範囲に存在している上記語連鎖と、上記語または語連鎖との共起度に基づいて、上記語の概念情報を定量化し、記憶装置に記憶する手段であり、上記共起回数をカウントする文書範囲は、上記与えられた文書集合の部分集合、上記文書に含まれている少なくとも１つの段落、上記１つの段落に含まれている少なくとも１つの文のうちの１つである。さらに、上記概念情報定量化手段は、第１の語連鎖のそれぞれと第２の語連鎖のそれぞれとの共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する手段であり、上記第１の語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）であり、上記第２の語連鎖は、文書中で連続するｍ単語の連鎖（ｍは２以上の整数）である。
【００９７】
また、上記実施例は、方法の実施例として把握することができ、与えられた文書集合を解析する文書解析段階と、上記与えられた文書集合中に存在している語を抽出し、記憶装置に記憶する語抽出段階と、上記与えられた文書集合中に存在している語連鎖を抽出し、記憶装置に記憶する語連鎖抽出段階と、上記語のそれぞれと上記語連鎖のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出段階と、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語の概念情報を、定量化し、記憶装置に記憶する概念情報定量化段階と、上記概念情報定量化段階で得られた上記語の概念情報を、データベースとする概念情報データベース作成段階とを有する概念情報データベース作成方法の例である。
【００９８】
さらに、上記実施例は、方法の別の実施例として把握することができ、与えられた文書集合を解析する文書解析段階と、上記与えられた文書集合中に存在している語連鎖を抽出するか、または、語連鎖と語とを抽出し、記憶装置に記憶する抽出段階と、上記語連鎖のそれぞれと上記語連鎖または語のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出段階と、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する概念情報定量化段階と、上記概念情報定量化段階で得られた上記語連鎖の概念情報を、データベースとする概念情報データベース作成段階とを有する概念情報データベース作成方法の例である。
【００９９】
そして、上記実施例は、上記両概念情報データベース作成方法のそれぞれにおける上記各段階をコンピュータに実行させるプログラムの例である。
【０１００】
また、上記プログラムを、ＣＤ、ＤＶＤ、半導体メモリ等の記録媒体に記録するようにしてもよい。つまり、上記実施例は、上記両概念情報データベース作成方法のそれぞれにおける上記各段階をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体の例である。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施例１である概念情報データベース作成装置１０の基本構成を示すブロック図である。
【図２】概念情報データベース作成装置１０の概略動作を示すフローチャートである。
【図３】実施例の具体例で使用する文書集合２０の内容例を示す図である。
【図４】具体例１において、「文書集合２０から抽出した語（自立語）」のそれぞれと、「文書集合２０から抽出した語連鎖（３単語連鎖）」のそれぞれとの共起回数の例を示す図である。
【図５】具体例１において、図４に示す場合において、「自立語」と、「語連鎖」との共起度の例を示す図である。
【図６】具体例２において、文書集合２０から抽出した語連鎖同士の共起回数の例を示す図である。
【図７】具体例２において、図６に示す場合において、語連鎖同士の共起度の例を示す図である。
【図８】具体例２において、共起回数を調べる２つの語連鎖のうちの一方の語連鎖の数を減らした場合における語連鎖同士の共起度の例を示す図である。
【符号の説明】
【０１０２】
１０…概念情報データベース作成装置、
１１…文書解析部、
１２…語抽出部、
１３…語連鎖抽出部、
１４…共起回数検出部、
１５…概念情報定量化部、
１６…概念情報データベース作成部、
２０…文書集合、
３０…概念情報データベース、
２１…第１文書、
２２…第２文書、
２ｎ…第ｎ文書（最終文書）。
【技術分野】
【０００１】
本発明は、語または語連鎖の持つ概念情報を定量化してデータベース化する装置および方法に係り、特に、与えられた文書中に現れる語または語連鎖の概念情報を、上記与えられた文書中に現れる語または語連鎖と、上記語または語連鎖との共起度に基づいて、定量化する概念情報データベース作成装置および方法に関する。
【背景技術】
【０００２】
従来、単語間の類似性判別や、文書検索の高精度化を目的として、単語の概念情報をデータベース化する装置・方法が提案されている。つまり、単語間の類似性判別を目的として、単語を要素とした多次元空間を用意し、この多次元空間中に、各単語をベクトルとして配置するデータベースの作成手法が提案されている（たとえば、非特許文献１、非特許文献２参照）。
【０００３】
また、文中の「語」の概念を定量化する場合、構文解析を用いて、「語」と文法上の組を形成する関係にある「関係語」を取り出し、それらの間の「結合度」を用いる手法が提案されている（たとえば、特許文献１参照）。
【０００４】
非特許文献１、非被特許文献２記載の従来例は、ある単語の概念を、共起する複数の単語で構成される多次元空間で表現する。これに対して、特許文献１記載の従来例は、共起だけではなく、ある単語と文法的に関係（たとえば主語と述語との関係）がある複数の単語で構成される多次元空間で表現するという点が大きく異なる。
【非特許文献１】Schuetze, H., “Dimensions of Meaning”, in Proceedings of Supercomputing '92, pp.787-796, 1992
【非特許文献２】笠原，松澤，石川、「国語辞書を利用した日常語の類似性判別」、情報処理学会論文誌、Vol.38、No.7、pp.1272-1284、１９９７年
【特許文献１】特開平９−１３４３６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１、非特許文献２記載の従来例では、文法的・意味的な関係を考慮せずに共起頻度を算出するので、単語間の類似性を判別する場合や文書検索を高精度化する場合に利用するには、充分ではないという問題がある。
【０００６】
また、特許文献１記載の従来例では、文法的・意味的な関係を捉えるために、構文解析を行うが、現在の技術では、文法的・意味的な関係を完全に捉えることは難しいという問題がある。
【０００７】
すなわち、上記従来例では、結果として、充分な精度を持つ概念情報データベースを得ることが困難であるという問題がある。
【０００８】
本発明は、結果として、充分な精度を持つ概念情報データベースを得ることが容易である概念情報データベース作成装置、概念情報データベース作成方法、プログラムおよび記録媒体を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明は、与えられた文書集合を解析する文書解析手段と、上記与えられた文書集合中に存在している語を抽出し、記憶装置に記憶する語抽出手段と、上記与えられた文書集合中に存在している語連鎖を抽出し、記憶装置に記憶する語連鎖抽出手段と、上記語のそれぞれと上記語連鎖のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出手段と、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語の概念情報を、定量化し、記憶装置に記憶する概念情報定量化手段と、上記概念情報定量化手段で得られた上記語の概念情報を、データベースとする概念情報データベース作成手段とを有する概念情報データベース作成装置である。
【００１０】
また、本発明は、与えられた文書集合を解析する文書解析手段と、上記与えられた文書集合中に存在している語連鎖を抽出するか、または、語連鎖と語とを抽出し、記憶装置に記憶する抽出手段と、上記語連鎖のそれぞれと上記語連鎖または語のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出手段と、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する概念情報定量化手段と、上記概念情報定量化手段で得られた上記語連鎖の概念情報を、データベースとする概念情報データベース作成手段とを有する概念情報データベース作成装置である。
【発明の効果】
【００１１】
本発明によれば、語連鎖との共起を用いるので、構文解析を行うことなく間接的に文法的・意味的な関係を捉えることができ、単語間の類似性を判別する場合や文書検索を高精度化する場合に、充分な精度で概念情報データベースを作成することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１２】
発明を実施するための最良の形態は、以下の実施例である。
【実施例１】
【００１３】
図１は、本発明の実施例１である概念情報データベース作成装置１０の基本構成を示すブロック図である。
【００１４】
概念情報データベース作成装置１０は、概念情報データベースを作成する元となる大量の文書集合２０を入力し、概念情報データベース３０を出力し、文書解析部１１と、語抽出部１２、語連鎖抽出部１３、共起回数検出部１４と、概念情報定量化部１５と、概念情報データベース作成部１６とを有する。
【００１５】
文書解析部１１は、文書集合２０に含まれている全ての文に対して形態素解析を行い、単語に分割するとともに、各単語に品詞を付与する。
【００１６】
語抽出部１２は、文書集合２０に含まれている語を抽出し、記憶装置に記憶する。
【００１７】
語連鎖抽出部１３は、文書集合２０に含まれている語連鎖を抽出し、記憶装置に記憶する。
【００１８】
共起回数検出部１４は、文書解析部１１が行った解析結果に基づいて、ある語または語連鎖に対して共起する語または語連鎖を、抽出し、共起回数をカウントし、記憶装置に記憶する。
【００１９】
上記「語連鎖」は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）である。
【００２０】
概念情報定量化部１５は、共起回数検出部１４でカウントされた共起回数に基づいて、着目している語または語連鎖と、語または語連鎖との共起度を計算し、着目している語または語連鎖に対する概念情報を定量化する。なお、上記定量化については、後述する。
【００２１】
概念情報データベース作成部１６は、語または語連鎖をキーとして、概念情報定量化部１５で定量化された概念情報を検索できるようにデータベース化する。
【００２２】
図２は、概念情報データベース作成装置１０の概略動作を示すフローチャートである。
【００２３】
Ｓ１では、文書解析部１１が、文書集合２０から１つの文書を抽出する。
【００２４】
Ｓ２では、文書解析部１１が、Ｓ１で取り出された文書中から１つの文を抽出する。
【００２５】
Ｓ３では、文書解析部１１が、Ｓ２で取り出された１文に対して形態素解析を行い、単語単位に分割し、単語に分割するとともに、各単語に品詞を付与する。
【００２６】
Ｓ４では、取り出された文書中の全文を処理したかどうかを判断する。未処理の文が存在する場合、Ｓ５に進み、未処理の文が存在しない場合（全ての文を処理済の場合）、Ｓ６に進む。
【００２７】
Ｓ５では、次の文を処理対象として、Ｓ２〜Ｓ５の処理を繰り返す。
【００２８】
Ｓ６では、文書集合２０に含まれている全文書を処理したかどうかを判断する。未処理の文書が存在する場合、Ｓ７に進み、未処理の文書が存在しない場合（全ての文書を処理済の場合）、文書集合２０中の全文書の形態素解析結果を語抽出部１２、語連鎖抽出部１３に送り、Ｓ８に進む。
【００２９】
Ｓ７では、文書集合２０中の次の文書を処理対象として、Ｓ１〜Ｓ６の処理を繰り返す。
【００３０】
Ｓ８では、語抽出部１２、語連鎖抽出部１３が、形態素解析結果から、全ての語または語連鎖（２単語連鎖以上の連鎖）を抽出し、記憶装置に記憶する。
【００３１】
Ｓ９では、共起回数検出部１４が、抽出された自立語（名詞、代名詞、動詞、形容詞、副詞）または語連鎖のそれぞれに対して、共起する自立語または語連鎖を抽出し、出現回数をカウントし、このカウント結果を、概念情報定量化部１５に送る。
【００３２】
なお、実施例において、出現回数をカウントする場合、次の３つの類型がある。すなわち、
（１）文書集合２０から語（自立語）と、語連鎖とを抽出し、所定の文書範囲に存在している上記抽出された語のそれぞれと、上記所定の文書範囲に存在している語連鎖のそれぞれとの共起回数をカウントする類型。
（２）文書集合２０から、語連鎖を抽出し、所定の文書範囲に存在している上記抽出された第１の語連鎖のそれぞれと、上記所定の文書範囲に存在している第２の語連鎖のそれぞれとの共起回数をカウントする類型。
（３）文書集合２０から、語連鎖と語（独立語）とを抽出し、所定の文書範囲に存在している上記抽出された語連鎖のそれぞれと、上記所定の文書範囲に存在している語のそれぞれとの共起回数をカウントする類型。
がある。
【００３３】
なお、上記「所定の文書範囲」は、共起回数をカウントする文書範囲であり、たとえば、上記与えられた文書集合の部分集合、上記文書に含まれている少なくとも１つの段落、上記１つの段落に含まれている少なくとも１つの文のうちの１つである。
【００３４】
Ｓ１０では、共起回数検出部１４がカウントした結果に基づいて、概念情報定量化部１５が、抽出された語または語連鎖のそれぞれについて、語または語連鎖のそれぞれとの共起度を計算する。
【００３５】
Ｓ１１では、上記計算された共起度に基づいて、概念情報定量化部１５が、それぞれの語または語連鎖の概念情報を定量化し、この定量化した結果を、概念情報データベース作成部１６に送る。
【００３６】
ここで、上記「概念情報」は、語または語連鎖を行とし、共起する対象として調べる語または語連鎖を列とし、共起度を値とする行列として定量化される。すなわち、語または語連鎖の概念情報は、語または語連鎖の共起度を要素とする行ベクトルとして表現される。
【００３７】
この場合、行列の行、列のそれぞれの個数を、語または語連鎖の頻度に応じて設定するようにしてもよい。
【００３８】
さらに、共起度が０であるものが多く存在する場合、図８に示すように、文書集合２０から抽出した語連鎖の数を、選択的に少なくするようにしてもよい。また、共起度が０のものが多く存在する場合における語連鎖を構成する語の数を少なくした語連鎖（たとえば、３単語連鎖に対する２単語連鎖（単語ｂｉｇｒａｍ）や、１単語連鎖（単語ｕｎｉｇｒａｍ））の共起頻度を求め、この求めた共起度を使用して、概念情報を補完するようにしてもよい。また、特異値分解によって、列数を縮退するようにしてもよい。なお、ここでは、上記共起度を補完する方法については、特に限定しない。
【００３９】
Ｓ１２では、概念情報データベース作成部１６が、語または語連鎖をキーとして、上記語または語連鎖の概念情報を検索できるように概念情報データベース３０を作成する。そして、概念情報データベース作成処理を終了する。
【００４０】
次に、具体例を用いて、概念情報データベース作成装置１０の動作を説明する。
【００４１】
図３は、実施例の具体例で使用する文書集合２０の内容例を示す図である。
【００４２】
文書集合２０は、ｎ個（ｎは整数）の文書によって構成されている。
【００４３】
第１文書２１、第２文書２２、……、第ｎ文書２ｎは、文書集合２０に含まれている文書であり、第１文書２１、第２文書２２、……、第ｎ文書２ｎの順で、文書集合を構成し、第ｎ文書２ｎは、文書集合２０に含まれている最終文書である。
【００４４】
［具体例１］（単語対単語ｔｒｉｇｒａｍの例）
具体例１では、図３に示す文書集合２０を対象として、概念情報データベース３０を作成する。第１文書２１から抽出した語は、自立語であり、この抽出された自立語と共起する回数を調べる対象としての語連鎖は、３単語連鎖（単語ｔｒｉｇｒａｍ）である。
【００４５】
また、具体例として、共起回数をカウントする文書範囲が、同一文書内である例を示す。つまり、たとえば、第１文書２１に含まれている自立語については、第１文書２１のみに含まれている３単語連鎖との共起をカウントする。
【００４６】
文書解析部１１が、図３に示す文書集合２０から第１文書２１を抽出する（Ｓ１）。次に、文書解析部１１が、Ｓ１で取り出された第１文書２１中から第１文を抽出する（Ｓ２）。第１文書２１は、図３に示す文書であり、第１文として、「我々は検索システムの研究開発を進めている。」が抽出される。さらに、文書解析部１１が、この第１文に対して形態素解析を行い、記憶装置に記憶し、単語単位で分割し、各単語に品詞を表す識別子を付与し、記憶装置に記憶する（Ｓ３）。
【００４７】
単語境界を「／」で示すと、上記形態素解析の結果は、以下のようになる。なお、記号［ ］は、品詞等を示す。
【００４８】
第１文書：第１段落：第１文：我々［代名詞］／は［副助詞］／検索システム［複合名詞］／の［格助詞］／研究［サ変名詞］／開発［サ変名詞］／を［格助詞］／進める［動詞］／て［接続助詞］／いる［補助動詞］／。［記号］／
次に、取り出された第１文書２１中の全文を処理したかどうかを判断し（Ｓ４）、まだ処理していない文が残っているので、次の第２文として、「ＰＢ電話機からの入力を簡単なものとするために、新しい日本語入力方式を採用している。」を処理対象とする（Ｓ５）。上記第２文についても、上記第１文における処理と同様に、形態素解析と識別子付与とを行い、記憶装置に記憶する（Ｓ３）。
【００４９】
第１文書２１に含まれている全ての文が処理されると（Ｓ４）、文書集合２０に含まれている全文書を処理したかどうかを判断する（Ｓ６）。文書集合２０は、図３に示す集合であるので、第２文書２２を、次の処理対象とする（Ｓ７）。
【００５０】
第２文書２２の全文も処理され（Ｓ４）、文書集合２０の全文書が処理され、つまり、第ｎ文書２ｎまで処理が済むと（Ｓ６）、文書解析部２は、文書集合２０中の全文書の形態素解析結果を、語抽出部１２、語連鎖抽出部１３に送る（Ｓ７）。
【００５１】
語抽出部１２、語連鎖抽出部１３が、形態素解析結果から、全ての語または語連鎖を抽出し、記憶装置に記憶する（Ｓ８）。ここで、具体例１では、抽出する語は、自立語であるので、第１文書２１の第１文の形態素解析結果からは、「我々」、「検索システム」、「研究」、「開発」、「進める」の５つの自立語が抽出される。同様に、第２文以降、文書集合２０に含まれている全文の形態素解析結果から、全ての自立語を抽出する。
【００５２】
さらに、共起回数検出部１４が、抽出された自立語のそれぞれに対して、語連鎖（３単語連鎖）を抽出し、上記抽出された自立語と上記３単語連鎖との共起回数をカウントし、このカウントされた結果を、概念情報定量化部１５に送る（Ｓ９）。
【００５３】
図４は、具体例１において、「文書集合２０から抽出した語（自立語）」のそれぞれと、「文書集合２０から抽出した語連鎖（３単語連鎖）」のそれぞれとの共起回数の例を示す図である。
【００５４】
図４において、まず、たとえば、第１文書２１の範囲で、自立語「我々」と語連鎖「検索システムの研究」との共起回数をカウントし、次に、第２文書２２の範囲で、自立語「我々」と語連鎖「検索システムの研究」との共起回数をカウントし、……、最後に、第ｎ文書２ｎの範囲で、自立語「我々」と語連鎖「検索システムの研究」との共起回数をカウントし、これらカウントした共起回数の合計値が、図４に示すように、５６回である。
【００５５】
また、自立語「我々」と、語連鎖「検索システムの研究」との共起回数をカウントする場合、同一文書中であれば、自立語「我々」と、語連鎖「検索システムの研究」との間に、どのような語が存在してもカウントし、また、自立語「我々」と、語連鎖「検索システムの研究」との間に存在する語の数がいくつであってもカウントする。さらに、同一文書中で、語連鎖「検索システムの研究」が自立語「我々」よりも先に出現する場合でもカウントする。
【００５６】
これと同様に、たとえば、自立語「研究」に着目した場合、この自立語「研究」と語連鎖「ている。」との共起回数を、文書ごとにカウントし、このカウントした共起回数の合計値が、図４に示すように、７６回である。
【００５７】
具体例１では、共起する語連鎖は、３単語連鎖（単語ｔｒｉｇｒａｍ）であるので、第１文書２１の第１文の形態素解析結果からは、「★★我々」、「★我々は」、「我々は検索システム」、「は検索システムの」、「検索システムの研究」、「の研究開発」、「研究開発を」、「開発を進める」、「を進めるて」、「進めるている」、「ている。」、「いる。本」、「。本システム」が、抽出される。なお、最初の２つの語連鎖に含まれている★印は、空単語を表す。また、最後の２つの３単語連鎖には、第２文の文頭の語である「本」、「システム」が含まれている。
【００５８】
上記と同様にして、文書集合２０に含まれている全文から、全ての３単語連鎖（単語ｔｒｉｇｒａｍ）を抽出する。
【００５９】
図４において、「語連鎖」は、３単語であるが、２単語連鎖であってもよく、４単語以上が連鎖した語連鎖であってもよい。
【００６０】
次に、共起回数検出部１４がカウントした結果に基づいて、第１文書２１から抽出した自立語のそれぞれについて、概念情報定量化部１５が、３単語連鎖（単語ｔｒｉｇｒａｍ）との共起度を計算する（Ｓ１０）。
【００６１】
ここで、共起度として正規化した値を用い、上記正規化した値として、着目している自立語に関する３単語連鎖の全ての出現回数に対する個々の３単語連鎖の出現回数の割合を使用する。
【００６２】
たとえば、図４において、自立語「我々」に関する３単語連鎖の出現回数の合計が１０００であったとすると、個々の３単語連鎖の出現回数の割合は、図４における自立語「我々」に関するカウント値を１０００で割った値が、正規化した値である。
【００６３】
図５は、具体例１において、図４に示す場合において、「自立語」と、「語連鎖」との共起度の例を示す図である。
【００６４】
さらに、概念情報定量化部１５は、共起度に基づいて、それぞれの自立語の概念情報を定量化した後に、この定量化した結果を、概念情報データベース作成部１６に送る（Ｓ１１）。
【００６５】
また、図５に示す場合において、自立語を行とし、３単語連鎖を列とし、共起度をそのまま値として行列をつくり、この行列が、概念情報を定量化するものであるとすれば、図５に示す共起度計算結果例が、そのまま概念情報定量化結果例となる。
【００６６】
概念情報の定量化結果を受け取った概念情報データベース作成部１６は、自立語をキーとして、この自立語の概念情報を検索できるように、概念情報データベース３０を作成し、概念情報データベース作成処理を終了する（Ｓ１２）。
【００６７】
以上の動作によって、文書集合２０から、３単語連鎖（単語ｔｒｉｇｒａｍ）の共起度を要素とする行ベクトルによって、自立語の概念情報が表現された概念情報データベース３０を作成することができる。
【００６８】
［具体例２］（単語ｔｒｉｇｒａｍ対単語ｔｒｉｇｒａｍの例）
具体例２においても、図３に示す文書集合２０を対象に、概念情報データベース３０を作成する。具体例１における自立語の代わりに、３単語連鎖（単語ｔｒｉｇｒａｍ）を使用し、具体例１における語連鎖は、同じく語連鎖を使用し、語連鎖同士で共起回数をカウントし、語連鎖として、３単語連鎖（単語ｔｒｉｇｒａｍ）を使用する。また、共起回数をカウントする文書範囲は、同一文書内（第１文書２１に含まれている３単語連鎖に対して第１文書２１内に含まれる３単語連鎖のみをカウントする等）とする。
【００６９】
図２に示すＳ１〜Ｓ７に対応する動作は、具体例１と同じであるので、その説明を省略する。
【００７０】
次に、語連鎖抽出部１３は、形態素解析結果から、全ての語連鎖を抽出する（Ｓ８）。ここで、具体例２では、抽出する語連鎖は、３単語連鎖（単語ｔｒｉｇｒａｍ）であるので、第１文書２１の第１文の形態素解析結果からは、「★★我々」、「★我々は」、「我々は検索システム」、「は検索システムの」、「検索システムの研究」、「の研究開発」、「研究開発を」、「開発を進める」、「を進めるて」、「進めるている」、「ている。」、「いる。本」、「。本システム」の１３個の３単語連鎖（単語ｔｒｉｇｒａｍ）が抽出される。なお、最初の２つに含まれる★印は空単語を表す。また、最後の２つに３単語連鎖に含まれる「本」と「システム」は、第２文の単語である。
【００７１】
上記と同様に、第２文以降、文書集合２０に含まれる全文の形態素解析結果から、全ての３単語連鎖（単語ｔｒｉｇｒａｍ）を抽出する。
【００７２】
さらに、共起回数検出部１４は、抽出された３単語連鎖（単語ｔｒｉｇｒａｍ）のそれぞれに対して、共起する語連鎖を抽出し、共起回数をカウントし、このカウント結果を概念情報定量化部１５に送る（Ｓ９）。
【００７３】
具体例２では、抽出した語連鎖は、３単語連鎖（単語ｔｒｉｇｒａｍ）であるので、第１文書２１の第１文の形態素解析結果から、上記１３個の３単語連鎖（単語ｔｒｉｇｒａｍ）が抽出される。これと同様にして、文書集合２０に含まれている全文から、全ての３単語連鎖（単語ｔｒｉｇｒａｍ）を抽出する。
【００７４】
図６は、具体例２において、文書集合２０から抽出した語連鎖同士の共起回数の例を示す図である。
【００７５】
次に、共起回数検出部１４がカウントした結果をもとに、３単語連鎖（単語ｔｒｉｇｒａｍ）のそれぞれについて、概念情報定量化部１５が、同一文書内に共起する３単語連鎖（単語ｔｒｉｇｒａｍ）との共起度を計算する（Ｓ１０）。
【００７６】
ここで、共起度として、正規化した値を用い、正規化した値として、着目している自立語に関する３単語連鎖の全ての出現回数に対する個々の３単語連鎖の出現回数の割合を使用する。
【００７７】
たとえぱ、図６において、３単語連鎖（単語ｔｒｉｇｒａｍ）「★★我々」に関する３単語連鎖の全ての出現回数（３単語連鎖「★★我々」について、３単語連鎖との共起回数の合計）が、２００であったとすると、個々の共起する３単語連鎖の出現回数の割合は、図６の３単語連鎖（単語ｔｒｉｇｒａｍ）「★★我々」に関する計数値のそれぞれを、２００で割った値が、正規化した値である。
【００７８】
図７は、具体例２において、図６に示す場合において、語連鎖同士の共起度の例を示す図である。
【００７９】
さらに、概念情報定量化部１５は、共起度に基づいて、それぞれの３単語連鎖（単語ｔｒｉｇｒａｍ）の概念情報を定量化した後に、この結果を概念情報データベース作成部１６に送る（Ｓ１１）。
【００８０】
３単語連鎖（単語ｔｒｉｇｒａｍ）を行とし、共起する３単語連鎖（単語ｔｒｉｇｒａｍ）を列とする。
【００８１】
図８は、具体例２において、共起回数を調べる２つの語連鎖のうちの一方の語連鎖の数を減らした場合における語連鎖同士の共起度の例を示す図である。
【００８２】
図７に示す例において、文書集合２０から抽出した語連鎖の全部を使用するのではなく、いくつかを選択し、つまり、一方の３単語連鎖として、「我々は検索システム」、「は検索システムの」、「検索システムの研究」、「の研究開発」、「研究開発を」、「やＷｅｂを」、「を利用するた」の７個に限定した場合における概念情報定量化結果例を、図８に示してある。
【００８３】
なお、上記一方の３単語連鎖の数を、７個以外に限定するようにしてもよい。
【００８４】
このように、上記一方の３単語連鎖を、少ない個数に限定すると、計算が容易になる。
【００８５】
ここで、上記一方の３単語連鎖を限定し、この限定された３単語連鎖との共起回数によって、共起度を再計算するようにしてもよい。
【００８６】
概念情報データベース作成部１６は、概念情報の定量化結果を受け取ると、３単語連鎖（単語ｔｒｉｇｒａｍ）をキーとして、該３単語連鎖（単語ｔｒｉｇｒａｍ）の概念情報を検索可能なように概念情報データベース３０を作成し、概念情報データベース作成処理を終了する（Ｓ１２）。
【００８７】
なお、キーとして、３単語連鎖（単語ｔｒｉｇｒａｍ）だけではなく、各３単語連鎖に含まれている単語を副次キーとして使用するようにしてもよい。つまり、単語を副次キーとし、この単語からも、当該３単語連鎖を検索できるようにしてもよく、また、自立語を副次キーとしてもよく、ここでは、副次キーについては限定しない。
【００８８】
つまり、具体例２において、概念情報定量化手段は、第１の語連鎖のそれぞれと第２の語連鎖のそれぞれとの共起回収に基づいて共起度を求め、この求めた共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する手段であり、上記第１の語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）であり、上記第２の語連鎖は、文書中で連続するｍ単語の連鎖（ｍは２以上の整数）である。
【００８９】
以上の動作によって、文書集合２０から、３単語連鎖（単語ｔｒｉｇｒａｍ）の共起度を要素とする行ベクトルによって、３単語連鎖（単語ｔｒｉｇｒａｍ）の概念情報が表現された概念情報データベース３０を作成することができる。
【００９０】
［具体例３］
具体例３は、第１文書２１から抽出した「語連鎖」と、「語」との共起回数をカウントし、このカウントされた共起回数に基づいて、上記と同様に、上記語連鎖の概念情報を、定量化し、共起度を求める例である。
【００９１】
つまり、具体例３は、図４に示す行と列とを転置させて、共起回数を求め、共起度を求める例である。
【００９２】
上記実施例によれば、与えられた文書を単語ごとに分割し、品詞等の文法情報を付与し（文書解析）、上記文書中に現れる語または語連鎖と一定の文書範囲内（同一の文書中、同一の段落中、または同一の文中等）に現れる語または語連鎖を抽出し、上記語または語連鎖の概念情報を、上記語または語連鎖のそれぞれの共起度に基づいて定量化し、この定量化して得られた全ての語または語連鎖の概念情報をデータベースとして作成するので、与えられた文書中に現れる語または語連鎖の概念情報を、それと共起する語または語連鎖との共起度に基づいて定量化することができる。
【００９３】
つまり、上記実施例例は、語と語連鎖との組み合わせによって、データベースを作る実施例であり、与えられた文書集合を解析する文書解析手段と、上記与えられた文書集合中に存在している語を抽出し、記憶装置に記憶する語抽出手段と、上記与えられた文書集合中に存在している語連鎖を抽出し、記憶装置に記憶する語連鎖抽出手段と、上記語のそれぞれと上記語連鎖のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出手段と、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語の概念情報を、定量化し、記憶装置に記憶する概念情報定量化手段と、上記概念情報定量化手段で得られた上記語の概念情報を、データベースとする概念情報データベース作成手段とを有する概念情報データベース作成装置の例である。
【００９４】
この場合、上記共起度は、上記語のうちで、着目している語に関する上記語連鎖のそれぞれの出現回数を正規化した値である。また、上記正規化した値は、上記着目している語に関する上記語連鎖の出現回数の合計に対する個々の上記語連鎖の出現回数の割合である。さらに、上記正規化した値は、上記着目している語に関する上記語連鎖の出現回数の中で、最大の出現回数に対する個々の上記語連鎖の出現回数の割合である。そして、上記語は、自立語であり、上記語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）である。また、上記概念情報定量化手段は、上記文書集合における共起回数をカウントする文書範囲に存在している上記語と、上記語連鎖との共起度に基づいて、上記語の概念情報を定量化し、記憶装置に記憶する手段であり、上記共起回数をカウントする文書範囲は、上記与えられた文書集合の部分集合、上記文書に含まれている少なくとも１つの段落、上記１つの段落に含まれている少なくとも１つの文のうちの１つである。
【００９５】
また、上記実施例は、語連鎖と語連鎖または語との組み合わせによって、データベースを作る実施例であり、与えられた文書集合を解析する文書解析手段と、上記与えられた文書集合中に存在している語連鎖を抽出するか、または、語連鎖と語とを抽出し、記憶装置に記憶する抽出手段と、上記語連鎖のそれぞれと上記語連鎖または語のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出手段と、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する概念情報定量化手段と、上記概念情報定量化手段で得られた上記語連鎖の概念情報を、データベースとする概念情報データベース作成手段とを有する概念情報データベース作成装置の例である。
【００９６】
この場合、上記共起度は、上記語連鎖のうちで、着目している語連鎖に関する上記語連鎖または上記語のそれぞれの出現回数を正規化した値である。また、上記正規化した値は、上記着目している語連鎖に関する上記語連鎖または上記語の出現回数の合計に対する個々の上記語連鎖または上記語の出現回数の割合である。さらに、上記正規化した値は、上記着目している語連鎖に関する上記語連鎖または上記語の出現回数の中で、最大の出現回数に対する個々の上記語連鎖または上記語の出現回数の割合である。そして、上記語は、自立語であり、上記語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）であるまた、上記概念情報定量化手段は、上記文書集合における共起回数をカウントする文書範囲に存在している上記語連鎖と、上記語または語連鎖との共起度に基づいて、上記語の概念情報を定量化し、記憶装置に記憶する手段であり、上記共起回数をカウントする文書範囲は、上記与えられた文書集合の部分集合、上記文書に含まれている少なくとも１つの段落、上記１つの段落に含まれている少なくとも１つの文のうちの１つである。さらに、上記概念情報定量化手段は、第１の語連鎖のそれぞれと第２の語連鎖のそれぞれとの共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する手段であり、上記第１の語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）であり、上記第２の語連鎖は、文書中で連続するｍ単語の連鎖（ｍは２以上の整数）である。
【００９７】
また、上記実施例は、方法の実施例として把握することができ、与えられた文書集合を解析する文書解析段階と、上記与えられた文書集合中に存在している語を抽出し、記憶装置に記憶する語抽出段階と、上記与えられた文書集合中に存在している語連鎖を抽出し、記憶装置に記憶する語連鎖抽出段階と、上記語のそれぞれと上記語連鎖のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出段階と、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語の概念情報を、定量化し、記憶装置に記憶する概念情報定量化段階と、上記概念情報定量化段階で得られた上記語の概念情報を、データベースとする概念情報データベース作成段階とを有する概念情報データベース作成方法の例である。
【００９８】
さらに、上記実施例は、方法の別の実施例として把握することができ、与えられた文書集合を解析する文書解析段階と、上記与えられた文書集合中に存在している語連鎖を抽出するか、または、語連鎖と語とを抽出し、記憶装置に記憶する抽出段階と、上記語連鎖のそれぞれと上記語連鎖または語のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出段階と、上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する概念情報定量化段階と、上記概念情報定量化段階で得られた上記語連鎖の概念情報を、データベースとする概念情報データベース作成段階とを有する概念情報データベース作成方法の例である。
【００９９】
そして、上記実施例は、上記両概念情報データベース作成方法のそれぞれにおける上記各段階をコンピュータに実行させるプログラムの例である。
【０１００】
また、上記プログラムを、ＣＤ、ＤＶＤ、半導体メモリ等の記録媒体に記録するようにしてもよい。つまり、上記実施例は、上記両概念情報データベース作成方法のそれぞれにおける上記各段階をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体の例である。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施例１である概念情報データベース作成装置１０の基本構成を示すブロック図である。
【図２】概念情報データベース作成装置１０の概略動作を示すフローチャートである。
【図３】実施例の具体例で使用する文書集合２０の内容例を示す図である。
【図４】具体例１において、「文書集合２０から抽出した語（自立語）」のそれぞれと、「文書集合２０から抽出した語連鎖（３単語連鎖）」のそれぞれとの共起回数の例を示す図である。
【図５】具体例１において、図４に示す場合において、「自立語」と、「語連鎖」との共起度の例を示す図である。
【図６】具体例２において、文書集合２０から抽出した語連鎖同士の共起回数の例を示す図である。
【図７】具体例２において、図６に示す場合において、語連鎖同士の共起度の例を示す図である。
【図８】具体例２において、共起回数を調べる２つの語連鎖のうちの一方の語連鎖の数を減らした場合における語連鎖同士の共起度の例を示す図である。
【符号の説明】
【０１０２】
１０…概念情報データベース作成装置、
１１…文書解析部、
１２…語抽出部、
１３…語連鎖抽出部、
１４…共起回数検出部、
１５…概念情報定量化部、
１６…概念情報データベース作成部、
２０…文書集合、
３０…概念情報データベース、
２１…第１文書、
２２…第２文書、
２ｎ…第ｎ文書（最終文書）。
【特許請求の範囲】
【請求項１】
与えられた文書集合を解析する文書解析手段と；
上記与えられた文書集合中に存在している語を抽出し、記憶装置に記憶する語抽出手段と；
上記与えられた文書集合中に存在している語連鎖を抽出し、記憶装置に記憶する語連鎖抽出手段と；
上記語のそれぞれと上記語連鎖のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出手段と；
上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語の概念情報を、定量化し、記憶装置に記憶する概念情報定量化手段と；
上記概念情報定量化手段で得られた上記語の概念情報を、データベースとする概念情報データベース作成手段と；
を有することを特徴とする概念情報データベース作成装置。
【請求項２】
請求項１において、
上記共起度は、上記語のうちで、着目している語に関する上記語連鎖のそれぞれの出現回数を正規化した値であることを特徴とする概念情報データベース作成装置。
【請求項３】
請求項２において、
上記正規化した値は、上記着目している語に関する上記語連鎖の出現回数の合計に対する個々の上記語連鎖の出現回数の割合であることを特徴とする概念情報データベース作成装置。
【請求項４】
請求項２において、
上記正規化した値は、上記着目している語に関する上記語連鎖の出現回数の中で、最大の出現回数に対する個々の上記語連鎖の出現回数の割合であることを特徴とする概念情報データベース作成装置。
【請求項５】
請求項１〜請求項４のいずれか１項において、
上記語は、自立語であり、
上記語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）であることを特徴とする概念情報データベース作成装置。
【請求項６】
請求項１において、
上記概念情報定量化手段は、上記文書集合における共起回数をカウントする文書範囲に存在している上記語と、上記語連鎖との共起度に基づいて、上記語の概念情報を定量化し、記憶装置に記憶する手段であり、
上記共起回数をカウントする文書範囲は、上記与えられた文書集合の部分集合、上記文書に含まれている少なくとも１つの段落、上記１つの段落に含まれている少なくとも１つの文のうちの１つであることを特徴とする概念情報データベース作成装置。
【請求項７】
与えられた文書集合を解析する文書解析手段と；
上記与えられた文書集合中に存在している語連鎖を抽出するか、または、語連鎖と語とを抽出し、記憶装置に記憶する抽出手段と；
上記語連鎖のそれぞれと上記語連鎖または語のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出手段と；
上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する概念情報定量化手段と；
上記概念情報定量化手段で得られた上記語連鎖の概念情報を、データベースとする概念情報データベース作成手段と；
を有することを特徴とする概念情報データベース作成装置。
【請求項８】
請求項７において、
上記共起度は、上記語連鎖のうちで、着目している語連鎖に関する上記語連鎖または上記語のそれぞれの出現回数を正規化した値であることを特徴とする概念情報データベース作成装置。
【請求項９】
請求項８において、
上記正規化した値は、上記着目している語連鎖に関する上記語連鎖または上記語の出現回数の合計に対する個々の上記語連鎖または上記語の出現回数の割合であることを特徴とする概念情報データベース作成装置。
【請求項１０】
請求項８において、
上記正規化した値は、上記着目している語連鎖に関する上記語連鎖または上記語の出現回数の中で、最大の出現回数に対する個々の上記語連鎖または上記語の出現回数の割合であることを特徴とする概念情報データベース作成装置。
【請求項１１】
請求項７〜請求項１０のいずれか１項において、
上記語は、自立語であり、
上記語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）であることを特徴とする概念情報データベース作成装置。
【請求項１２】
請求項７において、
上記概念情報定量化手段は、上記文書集合における共起回数をカウントする文書範囲に存在している上記語連鎖と、上記語または語連鎖との共起度に基づいて、上記語の概念情報を定量化し、記憶装置に記憶する手段であり、
上記共起回数をカウントする文書範囲は、上記与えられた文書集合の部分集合、上記文書に含まれている少なくとも１つの段落、上記１つの段落に含まれている少なくとも１つの文のうちの１つであることを特徴とする概念情報データベース作成装置。
【請求項１３】
請求項７〜請求項１０のいずれか１項において、
上記概念情報定量化手段は、第１の語連鎖のそれぞれと第２の語連鎖のそれぞれとの共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する手段であり、
上記第１の語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）であり、
上記第２の語連鎖は、文書中で連続するｍ単語の連鎖（ｍは２以上の整数）であることを特徴とする概念情報データベース作成装置。
【請求項１４】
与えられた文書集合を解析する文書解析段階と；
上記与えられた文書集合中に存在している語を抽出し、記憶装置に記憶する語抽出段階と；
上記与えられた文書集合中に存在している語連鎖を抽出し、記憶装置に記憶する語連鎖抽出段階と；
上記語のそれぞれと上記語連鎖のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出段階と；
上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語の概念情報を、定量化し、記憶装置に記憶する概念情報定量化段階と；
上記概念情報定量化段階で得られた上記語の概念情報を、データベースとする概念情報データベース作成段階と；
を有することを特徴とする概念情報データベース作成方法。
【請求項１５】
与えられた文書集合を解析する文書解析段階と；
上記与えられた文書集合中に存在している語連鎖を抽出するか、または、語連鎖と語とを抽出し、記憶装置に記憶する抽出段階と；
上記語連鎖のそれぞれと上記語連鎖または語のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出段階と；
上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する概念情報定量化段階と；
上記概念情報定量化段階で得られた上記語連鎖の概念情報を、データベースとする概念情報データベース作成段階と；
を有することを特徴とする概念情報データベース作成方法。
【請求項１６】
請求項１４または請求項１５に記載のデータベース作成方法における上記各段階をコンピュータに実行させるプログラム。
【請求項１７】
請求項１４または請求項１５に記載のデータベース作成方法における上記各段階をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
与えられた文書集合を解析する文書解析手段と；
上記与えられた文書集合中に存在している語を抽出し、記憶装置に記憶する語抽出手段と；
上記与えられた文書集合中に存在している語連鎖を抽出し、記憶装置に記憶する語連鎖抽出手段と；
上記語のそれぞれと上記語連鎖のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出手段と；
上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語の概念情報を、定量化し、記憶装置に記憶する概念情報定量化手段と；
上記概念情報定量化手段で得られた上記語の概念情報を、データベースとする概念情報データベース作成手段と；
を有することを特徴とする概念情報データベース作成装置。
【請求項２】
請求項１において、
上記共起度は、上記語のうちで、着目している語に関する上記語連鎖のそれぞれの出現回数を正規化した値であることを特徴とする概念情報データベース作成装置。
【請求項３】
請求項２において、
上記正規化した値は、上記着目している語に関する上記語連鎖の出現回数の合計に対する個々の上記語連鎖の出現回数の割合であることを特徴とする概念情報データベース作成装置。
【請求項４】
請求項２において、
上記正規化した値は、上記着目している語に関する上記語連鎖の出現回数の中で、最大の出現回数に対する個々の上記語連鎖の出現回数の割合であることを特徴とする概念情報データベース作成装置。
【請求項５】
請求項１〜請求項４のいずれか１項において、
上記語は、自立語であり、
上記語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）であることを特徴とする概念情報データベース作成装置。
【請求項６】
請求項１において、
上記概念情報定量化手段は、上記文書集合における共起回数をカウントする文書範囲に存在している上記語と、上記語連鎖との共起度に基づいて、上記語の概念情報を定量化し、記憶装置に記憶する手段であり、
上記共起回数をカウントする文書範囲は、上記与えられた文書集合の部分集合、上記文書に含まれている少なくとも１つの段落、上記１つの段落に含まれている少なくとも１つの文のうちの１つであることを特徴とする概念情報データベース作成装置。
【請求項７】
与えられた文書集合を解析する文書解析手段と；
上記与えられた文書集合中に存在している語連鎖を抽出するか、または、語連鎖と語とを抽出し、記憶装置に記憶する抽出手段と；
上記語連鎖のそれぞれと上記語連鎖または語のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出手段と；
上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する概念情報定量化手段と；
上記概念情報定量化手段で得られた上記語連鎖の概念情報を、データベースとする概念情報データベース作成手段と；
を有することを特徴とする概念情報データベース作成装置。
【請求項８】
請求項７において、
上記共起度は、上記語連鎖のうちで、着目している語連鎖に関する上記語連鎖または上記語のそれぞれの出現回数を正規化した値であることを特徴とする概念情報データベース作成装置。
【請求項９】
請求項８において、
上記正規化した値は、上記着目している語連鎖に関する上記語連鎖または上記語の出現回数の合計に対する個々の上記語連鎖または上記語の出現回数の割合であることを特徴とする概念情報データベース作成装置。
【請求項１０】
請求項８において、
上記正規化した値は、上記着目している語連鎖に関する上記語連鎖または上記語の出現回数の中で、最大の出現回数に対する個々の上記語連鎖または上記語の出現回数の割合であることを特徴とする概念情報データベース作成装置。
【請求項１１】
請求項７〜請求項１０のいずれか１項において、
上記語は、自立語であり、
上記語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）であることを特徴とする概念情報データベース作成装置。
【請求項１２】
請求項７において、
上記概念情報定量化手段は、上記文書集合における共起回数をカウントする文書範囲に存在している上記語連鎖と、上記語または語連鎖との共起度に基づいて、上記語の概念情報を定量化し、記憶装置に記憶する手段であり、
上記共起回数をカウントする文書範囲は、上記与えられた文書集合の部分集合、上記文書に含まれている少なくとも１つの段落、上記１つの段落に含まれている少なくとも１つの文のうちの１つであることを特徴とする概念情報データベース作成装置。
【請求項１３】
請求項７〜請求項１０のいずれか１項において、
上記概念情報定量化手段は、第１の語連鎖のそれぞれと第２の語連鎖のそれぞれとの共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する手段であり、
上記第１の語連鎖は、文書中で連続するｎ単語の連鎖（ｎは２以上の整数）であり、
上記第２の語連鎖は、文書中で連続するｍ単語の連鎖（ｍは２以上の整数）であることを特徴とする概念情報データベース作成装置。
【請求項１４】
与えられた文書集合を解析する文書解析段階と；
上記与えられた文書集合中に存在している語を抽出し、記憶装置に記憶する語抽出段階と；
上記与えられた文書集合中に存在している語連鎖を抽出し、記憶装置に記憶する語連鎖抽出段階と；
上記語のそれぞれと上記語連鎖のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出段階と；
上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語の概念情報を、定量化し、記憶装置に記憶する概念情報定量化段階と；
上記概念情報定量化段階で得られた上記語の概念情報を、データベースとする概念情報データベース作成段階と；
を有することを特徴とする概念情報データベース作成方法。
【請求項１５】
与えられた文書集合を解析する文書解析段階と；
上記与えられた文書集合中に存在している語連鎖を抽出するか、または、語連鎖と語とを抽出し、記憶装置に記憶する抽出段階と；
上記語連鎖のそれぞれと上記語連鎖または語のそれぞれとの共起回数を検出し、記憶装置に記憶する共起回数検出段階と；
上記共起回数に応じて共起度を検出し、この検出された共起度に基づいて、上記語連鎖の概念情報を、定量化し、記憶装置に記憶する概念情報定量化段階と；
上記概念情報定量化段階で得られた上記語連鎖の概念情報を、データベースとする概念情報データベース作成段階と；
を有することを特徴とする概念情報データベース作成方法。
【請求項１６】
請求項１４または請求項１５に記載のデータベース作成方法における上記各段階をコンピュータに実行させるプログラム。
【請求項１７】
請求項１４または請求項１５に記載のデータベース作成方法における上記各段階をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−２１５８５０（Ｐ２００６−２１５８５０Ａ）
【公開日】平成１８年８月１７日（２００６．８．１７）
【国際特許分類】
【出願番号】特願２００５−２８５５５（Ｐ２００５−２８５５５）
【出願日】平成１７年２月４日（２００５．２．４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１８年８月１７日（２００６．８．１７）
【国際特許分類】
【出願日】平成１７年２月４日（２００５．２．４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]