キーワード獲得装置、キーワード獲得方法、キーワード獲得プログラム
【課題】入力されたキーワード集合の上位概念と関係のないキーワードの抽出を抑える。
【解決手段】キーワード獲得装置１において、表層パターン選択部１０８が、獲得したいキーワード集合と同一の上位概念を有するキーワード集合と関連性の高い表層パターンを抽出する際に、前記抽出された一つの表層パターンに対応するキーワード群からなるキーワード集合と、ログ統計ＤＢ２０２における前記一つの表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく前記一つの表層パターンの一般性評価値を前記全ての表層パターンについて算出し、表層パターン選択部１０８が一般性評価値の高い表層パターンを選択することで、前記獲得したいキーワード集合の上位概念と関係のないキーワードの抽出を抑制できる。
【解決手段】キーワード獲得装置１において、表層パターン選択部１０８が、獲得したいキーワード集合と同一の上位概念を有するキーワード集合と関連性の高い表層パターンを抽出する際に、前記抽出された一つの表層パターンに対応するキーワード群からなるキーワード集合と、ログ統計ＤＢ２０２における前記一つの表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく前記一つの表層パターンの一般性評価値を前記全ての表層パターンについて算出し、表層パターン選択部１０８が一般性評価値の高い表層パターンを選択することで、前記獲得したいキーワード集合の上位概念と関係のないキーワードの抽出を抑制できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ内部に存在もしくはコンピュータネットワークを介してアクセスできる文書集合を、一つ以上のキーワードから構成される検索条件を元に検索する検索エンジンのログを利用して、予め入力されたキーワード集合と同様の上位概念を持つキーワード集合を獲得する技術に関する。
【背景技術】
【０００２】
従来、特定の上位概念を持つキーワードを自動的に獲得しようとする手法として、大量のテキストデータを解析して、抽出しようとする方法がある。例えば、非特許文献１によると、英文のテキストから上位下位概念の組合せを獲得するため、例えば“Ａ ｓｕｃｈ ａｓ Ｂ，Ｃ，ａｎｄ Ｄ”のようなテキストパターンに基づき、ブートストラップ法を用いる手法が提案されている。
【０００３】
また、非特許文献２は、大量のテキスト情報を対象に、特定の上位概念を持つキーワードの例に基づき、それらキーワードがよく出現するパターンを抽出しこのパターンを用いてキーワードを獲得するブートストラップ法によって、予め入力したキーワードの持つ上位概念を持つキーワードを獲得する方法を提案している。
【０００４】
さらに、非特許文献３では、非特許文献２の手法を検索条件のログ（以下、クエリログ）に適用することで、計算コストを抑えながら、入力したキーワード集合と同等の上位概念を持つキーワード集合を特定する手法が提案されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｈｅａｒｓｔ，Ｍ．：“Ａｕｔｏｍａｔｉｃ Ａｃｑｕｉｓｉｔｉｏｎ ｏｆ Ｈｙｐｏｎｙｍｓ ｆｒｏｍ Ｌａｒｇｅ Ｔｅｘｔ Ｃｏｒｐｏｒａ．”，Ｐｒｏｃ．ｏｆ ＣＯＬＩＮＧ，ＮＡＮＴＥＳ，ＡＵＧ，１９９２，ｐ．５３９−５４５
【非特許文献２】Ｐａｔｒｉｃｋ Ｐａｎｔｅｌ，Ｍａｒｃｏ Ｐｅｎｎａｃｃｈｉｏｔｔｉ：“Ｅｓｐｒｅｓｓｏ：Ｌｅｖｅｒａｇｉｎｇ Ｇｅｎｅｒｉｃ Ｐａｔｔｅｒｎｓ ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｈａｒｖｅｓｔｉｎｇ Ｓｅｍａｎｔｉｃ Ｒｅｌａｔｉｏｎｓ”．Ｐｒｏｃ．ｏｆ ＡＣＬ，Ｊｕｌｙ，２００６，ｐ．１１３−１２０
【非特許文献３】小町守，鈴木久美，「検索ログからの半教師あり意味知識獲得の改善」，人工知能学会論文誌，Ｖｏｌ．２３，Ｎｏ．３，Ｍａｒｃｈ，２００８，ｐ．２１７−２２５
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献１のキーワード獲得技術は、さまざまな上位概念、下位概念のキーワードの組合せを網羅的に取得する方法であり、ユーザが指定した上位概念のキーワードを抽出する方法ではない。
【０００７】
非特許文献２，３のキーワード獲得技術の問題として、一般的なパターンの存在があげられる。ブートストラップ法でパターンとキーワードを交互に抽出する際に、このような一般的なパターンを採用した場合、獲得されるキーワードに目的外のキーワードが含まれる可能性がある。尚、一般的なパターンとは特定の上位概念を持つキーワードだけでなく、より一般的なキーワードとの関連性も高いパターンを意味する。
【０００８】
また、非特許文献３の手法においては、クエリログを利用するにあたって、この点について対策が行われているが、パターンにより獲得されたキーワードの数を利用した手法であり、本質的な解決となっていない。
【０００９】
本発明は上記の問題を鑑みなされたもので、その目的は、一般的なパターンの獲得を防ぎ、高い精度で入力されたキーワード集合と同一の上位概念を持つキーワード集合を獲得するキーワード獲得技術の提供にある。
【課題を解決するための手段】
【００１０】
本発明は、検索条件のログに基づく検索キーワードのテキストパターンを採用するか否かを判定する際にそのパターンにより獲得されるキーワード集合と既に獲得されたキーワード集合の重複を考慮することにより、前記テキストパターンの一般性を評価し、一般的なパターンの採用を防ぐ。
【００１１】
本発明のキーワード獲得装置の態様としては、同一の上位概念を有する複数のキーワードの集合と同一の上位概念を有し且つその集合に属さないキーワード集合を獲得するキーワード獲得装置であって、獲得したいキーワード集合と同一の上位概念を有するキーワード集合が処理対象キーワード集合として供され、この集合に属するキーワードを含むキーワードペアの群を、複数のキーワードの検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアをその頻度と対応づけて記録したログ統計情報から取得し、この取得したキーワードペアの群から前記処理対象キーワード集合に属するキーワード毎にそのキーワードを含んだ表層パターンを抽出する表層パターン抽出手段と、前記抽出された全ての表層パターンとその表層パターンの抽出に利用したキーワードの情報と前記ログ統計情報とに基づき、前記処理対象キーワード集合の上位概念に関係するキーワードの取得しやすさを評価する指標である表層パターンのスコアを前記全ての表層パターンについて算出する表層パターンスコア算出手段と、前記抽出された一つの表層パターンに対応するキーワード群からなるキーワード集合と、前記ログ統計情報における前記一つの表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく前記一つの表層パターンの一般性評価値を前記全ての表層パターンについて算出する表層パターン一般性評価手段と、前記算出された全ての表層パターンの一般性評価値とスコアとに基づき一定数の表層パターンを選択する表層パターン選択手段と、前記選択された各表層パターンと一致するキーワードペアを前記ログ統計情報から取得し、この取得したキーワードペアから当該表層パターンに含まれるキーワードの集合を特定するキーワードインスタンス抽出手段と、前記特定されたキーワードとその頻度に基づき、当該キーワードと前記処理対象キーワード集合の上位概念との関連性を評価する指標であるスコアを前記特定された集合に属する全てのキーワードについて算出するキーワードインスタンススコア算出手段と、前記スコアが算出されたキーワードの集合から当該スコアの値に基づき複数のキーワードを前記獲得したいキーワード集合として選択するキーワードインスタンス選択手段とを備える。
【００１２】
本発明のキーワード獲得方法の態様としては、同一の上位概念を有する複数のキーワードの集合と同一の上位概念を有し且つその集合に属さないキーワード集合を獲得するキーワード獲得方法であって、表層パターン抽出手段が、獲得したいキーワード集合と同一の上位概念を有するキーワード集合を、処理対象キーワード集合として受け付けると、この集合に属するキーワードを含むキーワードペアの群を、複数のキーワードの検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアをその頻度と対応づけて記録したログ統計情報から取得し、この取得したキーワードペアの群から前記処理対象キーワード集合に属するキーワード毎にそのキーワードを含んだ表層パターンを抽出するステップと、表層パターンスコア算出手段が、前記抽出された全ての表層パターンとその表層パターンの抽出に利用したキーワードの情報と前記ログ統計情報とに基づき、前記処理対象キーワード集合の上位概念に関係するキーワードの取得しやすさを評価する指標である表層パターンのスコアを前記全ての表層パターンについて算出するステップと、表層パターン一般性評価手段が、前記抽出された一つの表層パターンに対応するキーワード群からなるキーワード集合と、前記ログ統計情報における前記一つの表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく前記一つの表層パターンの一般性評価値を前記全ての表層パターンについて算出するステップと、表層パターン選択手段が前記算出された全ての表層パターンの一般性評価値とスコアとに基づき一定数の表層パターンを選択するステップと、キーワードインスタンス抽出手段が、前記選択された各表層パターンと一致するキーワードペアを前記ログ統計情報から取得し、この取得したキーワードペアから当該表層パターンに含まれるキーワードの集合を特定するステップと、キーワードインスタンススコア算出手段が、前記特定されたキーワードとその頻度に基づき、当該キーワードと前記処理対象キーワード集合の上位概念との関連性を評価する指標であるスコアを前記特定された集合に属する全てのキーワードについて算出するステップと、キーワードインスタンス選択手段が、前記スコアが算出されたキーワードの集合から当該スコアの値に基づき複数のキーワードを前記獲得したいキーワード集合として選択するステップとを有する。
【００１３】
尚、本発明は前記キーワード獲得装置を構成する各手段としてコンピュータを機能させるキーワード獲得プログラムの態様とすることもできる。
【発明の効果】
【００１４】
以上の発明によれば、入力されたキーワード集合の上位概念と関係のないキーワードの抽出を抑えることができるので、高い精度でのキーワード集合の獲得ができる。
【図面の簡単な説明】
【００１５】
【図１】発明の実施形態に係るキーワード獲得装置のブロック構成図。
【図２】発明の実施形態に係るキーワード獲得装置を実装するハードウェア構成図。
【図３】発明の実施形態に係る処理手順を説明したチャート図。
【図４】発明の実施形態に係るログ収集処理手順を説明したチャート図。
【図５】発明の実施形態に係るログ利用キーワード抽出処理手順を説明したフローチャート図。
【図６】ログ格納装置２０１のデータの一例。
【図７】ログ統計ＤＢ２０２に格納されたログ統計情報の一例。
【図８】出力結果一時記憶部２０３に格納されるデータの一例。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１７】
［概要］
図１に示された本実施形態に係るキーワード獲得装置１は、検索ログに基づく表層パターンから獲得されるキーワード集合と既に獲得されたキーワード集合の重複に基づき、前記表層パターンの一般性を評価して一般的なパターンの採用を防ぐ。
【００１８】
［装置の構成］
図１に示されたキーワード獲得装置１は、図２に示されたＣＰＵ２１、メモリ２２、記憶装置２３，２４、入力デバイス２５、出力デバイス２６等のハードウェアリソースと、記憶装置２３に格納されたソフトウェアリソース（ＯＳ、アプリケーション等）との協働の結果、ログ取得部１００、ログ処理部１０１、シードインスタンス取得部１０２、出力結果判定部１０３、結果出力部１０４、表層パターン抽出部１０５、表層パターンスコア算出部１０６、表層パターン一般性評価部１０７、表層パターン選択部１０８、キーワードインスタンス抽出部１０９、キーワードインスタンススコア算出部１１０、キーワードインスタンス選択部１１１、出力結果一時記憶部２０３を実装する。メモリ２２としてはＲＡＭ等の揮発性のメモリが挙げられる。記憶装置２３，２４にはハードディスクドライブ装置等の周知の記憶手段を適用すればよい。
【００１９】
図１に示されたキーワード獲得装置１を構成する各機能部１００〜１１１，２０３について説明する。
【００２０】
ログ取得部１００は検索エンジンに対してユーザが入力した検索条件（クエリ）のログを当該検索エンジンから取得してログ格納装置２０１に格納する。
【００２１】
ログ格納装置２０１はログ取得部１００により取得された検索エンジンに入力された検索条件（クエリ）のログを格納している。検索条件の一例を図６に示した。ログ格納装置２０１はハードディスク装置、サーバ装置等に例示される周知の記憶手段によって実現できる。
【００２２】
ログ処理部１０１は、ログ格納装置２０１に格納された前記ユーザの検索条件のログのうち、二語の組合せで構成されるクエリを取得し、その頻度を算出する。二語の組合せで構成されるクエリとは、半角もしくは全角のスペースで２つのキーワードが接続されたクエリのことを示し、それをキーワードペアと呼ぶ。前記算出された頻度が前記キーワードペアと対応付けられて記録されたログ統計情報が統計ログデータベース（以下、統計ログＤＢ）２０２に格納される。前記頻度の算出方法は形態素分析等に採用されている周知の頻度算出方法を適用すればよい。
【００２３】
統計ログＤＢ２０２の一例を図７に示した。ログ統計ＤＢ２０２は、ログ処理部１０１により検索エンジンのログから抽出される、キーワードペアとその出現頻度を記録する記憶装置である。統計ログＤＢ２０２はハードディスクドライブ装置やサーバ装置等に例示される記憶装置２４によって実現すればよい。
【００２４】
シードインスタンス取得部１０２は、ユーザが語彙獲得を行いたい上位概念に含まれる複数のキーワードの入力を受け付ける。
【００２５】
表層パターン抽出部１０５は、シードインスタンス取得部１０２または出力結果判定部１０３から受信したキーワードのリスト（集合）に基づきログ格納装置２０１にアクセスしてログ統計ＤＢ２０２から前記キーワードを含むキーワードペアとその頻度を取得する。そして、この取得したキーワードペアのうち、問い合わせ（検索）に利用したキーワードを予め決められていた文字列（下記の事例では、＃＃＃）で置き換えて表層パターンを抽出する。問い合わせキーワード、取得されるキーワードペアとその頻度、表層パターンの事例を表１に示した。表層パターン抽出部１０５はキーワード毎に抽出した全てのキーワードペアとその頻度及び表層パターンを集計してキーワードスコア算出部１１０に送信する。
【００２６】
【表１】
【００２７】
表層パターンスコア算出部１０６は、表層パターン抽出部１０５から取得したキーワード毎に抽出した全てのキーワードペアとその頻度及び表層パターンとその表層パターンの抽出に利用したキーワードの情報とに基づき、それぞれの表層パターンのスコアを算出する。表層パターンのスコアとは、初期の入力として与えられたキーワード集合の上位概念に関係するキーワードの取得しやすさを評価するための指標であり、例えば以下の式（１）で算出される。算出された表層パターンのスコアは当該表層パターンと共に表層パターン選択部１０８に供される。
【００２８】
【数１】
【００２９】
式（１）において、Ｓｃｏｒｅpattern（ｐ）は表層パターンｐのスコアを表す。Ｓｃｏｒｅkeyword（ｋ）は、表層パターンの抽出に利用したキーワードの情報であって、キーワードｋのスコア（スコアが定義されていない場合すなわち初期値の場合は１）を表し、後述の式（４）によって算出できる。Ｋは表層パターンｐで取得できるキーワードの集合を表す。また、ｐｍｉ（ｘ，ｙ）はキーワードｘと表層パターンｙの関連性の強さを表す相互情報量を示し、以下の式（２）で算出される（式（４）についても同様）。
【００３０】
【数２】
【００３１】
式（２）において、Ｎは全キーワードペアの数、｜ｋ，ｐ｜はキーワードｋを持つキーワードペアの頻度、｜ｋ，＊｜はキーワードｋを持つキーワードペアの数、｜＊，ｐ｜は表層パターンｐを持つキーワードペアの数を表す。これらの情報はログ統計ＤＢ２０２から取得できる。
【００３２】
表層パターン一般性評価部１０７は以下の処理１〜４によって表層パターンの一般性評価値を算出する。
【００３３】
（処理１）表層パターン抽出部１０５からキーワード毎に抽出した表層パターンを取得する。取得される情報の一例を表２に示す。
【００３４】
【表２】
【００３５】
（処理２）処理１で得られた情報からパターン毎にどのキーワードから抽出されたかを示す情報を作成する。作成される情報の一例を表３に示す。そして、この情報における一つの表層パターンに対応するキーワード群をキーワード集合（Ｋ１）と特定する。表３の事例では表層パターン「＃＃＃ 偏差値」に対応したキーワード集合（Ｋ１）は「ＡＢＣ大学 ＤＥ大学 ＪＫ大学」となる。
【００３６】
【表３】
【００３７】
（処理３）処理２で作成された情報における一つの表層パターンをキーとしてログ統計ＤＢ２０２にアクセスして当該表層パターンと一致するキーワードペア群を取得し、この取得したキーワードペア群から当該表層パターンに含まれるキーワード群を抽出する。この抽出されたキーワード群をキーワード集合（Ｋ２）と特定する。表層パターンとこれによって取得されるキーワード群の例を表４に示した。
【００３８】
【表４】
【００３９】
（処理４）処理２で取得されたキーワード集合（Ｋ１）と処理３で取得されたキーワード集合（Ｋ２）とに基づき前記一つの表層パターンの一般性評価値を算出する。一般性評価値は例えば以下の式（３）によって算出する。式（３）において、Ｇｅｎｅｒａｌｉｔｙ（ｐ）は表層パターンｐの一般性を評価する値である。Ｋ１はキーワード集合（Ｋ１）を、Ｋ２はキーワード集合（Ｋ２）を示す。表層パターンとその一般性評価値は、表層パターン選択部１０８に供される。
【００４０】
【数３】
【００４１】
表層パターン選択部１０８は、表層パターンスコア算出部１０６から供された表層パターンとそのスコアと、表層パターン一般性評価部１０７から供された各表層パターンの一般性評価値とに基づき、キーワードを選択するための表層パターンを決定する。具体的には、一般性評価値に一定の閾値を設け、この閾値以上の一般性評価値の表層パターンの群を一般的ではない表層パターンの群と特定し、これらの特定した表層パターンをそのスコアの降順にならべ、スコアの高いものから順に一定数のパターンを取得する方法が採られる。
【００４２】
キーワードインスタンス抽出部１０９は、表層パターン選択部１０８から供された表層パターン集合におけるそれぞれの表層パターンと一致するキーワードペアとその頻度をログ統計ＤＢ２０２から取得し、この取得したキーワードペアから前記表層パターンに含まれるキーワードの集合を特定する。表層パターン毎に抽出した全てのキーワードとその頻度をキーワードスコア算出部１１０に供する。
【００４３】
キーワードインスタンススコア算出部１１０は、キーワードインスタンス抽出部１０９から供された表層パターン毎に含まれるキーワードの集合とこれに属する個々のキーワードの頻度に基づき、個々のキーワードのスコアを算出する。キーワードインスタンス（前記キーワードの集合）とこれに属する個々のキーワードのスコアは、表層パターン選択部１０８に供される。
【００４４】
前記キーワードインスタンスのスコアは、キーワードの取得に利用した表層パターンとの関連性を元に、予め指定されたキーワード集合の上位概念と該キーワードの関連性を評価する指標である。このスコアの算出式の例としては以下の式（４）が挙げられる。
【００４５】
【数４】
【００４６】
式（４）において、Ｓｃｏｒｅkeyword（ｋ）はキーワードｋのスコアを表す。Ｐはキーワードｋが出現する表層パターンの集合を表し、ｐはその表層パターン集合中の一つの表層パターンを表す。これらの情報はログ統計ＤＢ２０２から取得できる。尚、Ｓｃｏｒｅpattern（ｐ）は式（１）で算出された値である。
【００４７】
キーワードインスタンス選択部１１１はキーワードインスタンススコア算出部１１０からキーワードとそのスコアの一覧を取得し、スコアの高いものから予め決められた個数分のキーワードを選択する。
【００４８】
出力結果判定部１０３は、キーワードインスタンス選択部１１０からキーワードの抽出結果を取得し、出力結果一時記憶部２０３にそのキーワード抽出結果を記憶する。出力結果一時記憶部２０３において既に記憶していたキーワード抽出結果が存在する場合には、既に存在する抽出結果に追加する態様で記憶させる。また、一度の入力に対して行ったキーワード抽出の回数が、予め決められている回数に到達したか否かを判定し、到達していれば、結果出力部１０４に結果をスコアと共に出力する旨を送信する。また、到達していなければ、キーワード抽出結果を表層パターン抽出部１０５に送信する。尚、前記回数は任意である。
【００４９】
出力結果一時記憶部２０３は、出力結果判定部１０３から送信されたデータを一時的に記憶する記憶装置である。出力結果一時記憶部２０３に対しては結果出力部１０４からもアクセスできるようになっている。出力結果データの一例を図８に示す。出力結果一時記憶部２０３は図２に示されたメモリ２２によって実現すればよい。
【００５０】
結果出力部１０４は、出力結果判定部１０３から結果を出力する旨を受信すると、出力結果一時記憶部２０３にアクセスし、記憶しているキーワード抽出結果をすべて取得し、この取得した抽出結果を出力する。
【００５１】
［処理手順の説明］
キーワード獲得装置１による処理手順について説明する。処理手順は図３に示したようにログ収集処理手順（Ｓ１）とログ利用キーワード抽出処理手順（Ｓ２）とからなる。
【００５２】
ログ収集処理手順（Ｓ１）では、検索エンジンから検索条件のログを取得してログ格納装置２０１に格納し、このログ格納装置２０１に格納されたクエリの分析（頻度算出）をバッチ方式で実行して分析結果（ログ統計情報）をログ統計ＤＢ２０２に格納する。
【００５３】
ログ利用キーワード抽出処理手順（Ｓ２）では、ログ収集処理手順（Ｓ１）で得られたログ統計ＤＢ２０２に含まれる分析結果を利用して、ユーザの指定したキーワード集合と同一の上位概念を持つキーワード集合の中で前記ユーザの指定したキーワード集合に含まれないキーワードを抽出する。
【００５４】
以上のログ収集処理手順（Ｓ１），ログ利用キーワード抽出処理手順（Ｓ２）の具体的な手順について図４，図５を参照しながら説明する。
【００５５】
先ず、ログ収集処理手順（Ｓ１）について説明する。処理手順（Ｓ１）は図４に示したステップＳ１１，Ｓ１２からなる。
【００５６】
Ｓ１１：ログ取得部１００はＷｅｂサーチエンジン等の検索装置に対して利用者が入力した検索条件のログを当該検索装置から取得してログ格納装置２０１に格納する。例えば、図６に示したような検索条件のログが取得されログ格納装置２０１に格納される。
【００５７】
Ｓ１２：ログ処理部１０１はログ格納装置２１に格納された検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアを取得し、これをその頻度と対応づけて記録したログ統計情報をログ統計ＤＢ２０２に格納する。例えば、図７に示したログ統計情報がログ統計ＤＢ２０２に格納される。
【００５８】
次に、ログ利用キーワード抽出処理手順（Ｓ２）について説明する。処理手順（Ｓ２）は図４に示したステップＳ２１〜Ｓ３５からなる。
【００５９】
Ｓ２１：シードインスタンス取得部１０２は獲得したいキーワードと同じ上位概念を有するキーワード集合を処理対象キーワード集合として入力デバイス２５から受ける。
【００６０】
Ｓ２２：シードインスタンス取得部１０２はＳ２１で受け付けた処理対象キーワード集合を表層パターン抽出部１０５に供する。
【００６１】
Ｓ２３：表層パターン抽出部１０５はシードインスタンス取得部１０２から供された処理対象キーワード集合の情報に基づきログ統計ＤＢ２０２にアクセスして当該キーワード集合のキーワードを含むキーワードペアとその頻度を取得する。例えば、表１に示したようにキーワードを含むキーワードペア「ＡＢＣ大学 偏差値」とその頻度「２０００」が取得される。
【００６２】
Ｓ２４：表層パターン抽出部１０５はＳ２３で取得されたキーワードペアのうち、問い合わせ（検索）に利用したキーワードを予め決められていた文字列（例えば、＃＃＃）で置き換えて表層パターンを抽出する。例えば、表１に示したような表層パターン「＃＃＃ 偏差値」が取得される。そして、表層パターン抽出部１０５はキーワード毎に抽出した全てのキーワードペアとその頻度及び表層パターンを集計したものを表層パターンスコア算出部１０６と表層パターン一般性評価部１０７とに供する。
【００６３】
Ｓ２５：表層パターンスコア算出部１０６は、表層パターン抽出部１０５から供されたキーワード毎に抽出した表層パターンを式（１）の演算に供して各表層パターンのスコアを算出する。そして、この算出した全ての表層パターンのスコアを表層パターン選択部１０８に供する。
【００６４】
Ｓ２６：表層パターン一般性評価部１０７は、表層パターン抽出部１０５から供されたキーワード毎に抽出した表層パターンを前述の（処理２）〜（処理４）に供して各表層パターンの一般性評価値を算出する。そして、この算出した各表層パターンの一般性評価値を表層パターン選択部１０８に供する。
【００６５】
Ｓ２７：表層パターン選択部１０８は、表層パターン一般性評価部１０７から各表層パターンの一般性評価値を受けると、閾値以上の一般性評価値である表層パターンの群を一般的ではない表層パターンの群と特定する。次いで、この特定した表層パターンの群をＳ２５で算出されたスコアの降順にならべ、スコアの高いものから順に一定数の表層パターンを取得する。そして、この特定した表層パターンの集合をキーワードインスタンス抽出部１０９に供する。
【００６６】
Ｓ２８：キーワードインスタンス抽出部１０９は、表層パターン選択部１０８から表層パターンの集合を受けると当該集合における各表層パターンと一致するキーワードペアとその頻度をログ統計ＤＢ２０２から取得する。そして、この取得したキーワードペアから表層パターンに含まれるキーワードの集合を特定する。表層パターン毎に抽出した全てのキーワードとその頻度をキーワードスコア算出部１１０に供する。
【００６７】
Ｓ２９：キーワードインスタンススコア算出部１１０は、キーワードインスタンス抽出部１０９から供されたキーワード集合とその頻度を式（４）の演算に供して各キーワードのスコアを算出する。そして、この算出された全てのキーワードのスコアをキーワードインスタンス選択部１１１に送信する。
【００６８】
Ｓ３０：キーワードインスタンス選択部１１１は、キーワードインスタンススコア算出部１１０から供された各キーワードのスコアを受けると、スコアの高いものから予め決められた個数分のキーワードを選択し、スコアと共に、出力結果判定部１０３に供する。
【００６９】
Ｓ３１：出力結果判定部１０３はＳ３０で選択されたキーワードの集合を出力結果一時記憶部２０３に格納する。
【００７０】
Ｓ３２：出力結果判定部１０３はＳ２３〜Ｓ３１のキーワード抽出処理が予め決められた回数実行されたか否かを判定する。
【００７１】
Ｓ３３：出力結果判定部１０３は、Ｓ２３〜Ｓ３１のキーワード抽出処理の実行回数が決められた回数に達していると判断すると、Ｓ３０で選択されたキーワードの集合を出力する旨のメッセージを結果出力部１０４に供する。
【００７２】
Ｓ３４：結果出力部１０４は、出力結果判定部１０３から前記メッセージを受けると、出力結果一時記憶部２０３に格納してあるキーワードの集合を取得し、この出力されたキーワードの集合がユーザにとって適切なキーワード集合として出力デバイス２６から出力させる。例えば図８に示した出力結果データが出力される。
【００７３】
Ｓ３５：出力結果判定部１０３は、Ｓ２３〜Ｓ３１のキーワード抽出処理の実行回数が決められた回数に達していないと判断すると、出力結果一時記憶部２０３に格納してあるキーワードの集合をＳ２３の表層パターン抽出処理に供する。
【００７４】
［本実施形態の効果］
以上のように、キーワード獲得装置１は、ユーザが指定した初期キーワード集合と同一の上位概念を持つキーワードの集合を取得するタスクにおいて、与えられたキーワード集合と関連性の高い表層パターンを抽出する際に、該キーワード集合と該パターンで抽出できるキーワード集合の重なりを元に表層パターンの一般性を評価することで、一般性の高い表層パターンを把握できる。これにより、一般性の高い表層パターンのキーワードを利用しないようにすることができ、入力されたキーワード集合の上位概念と関係のないキーワードの抽出を抑えることできる。したがって、検索キーワードを精度高く収集できる。
【００７５】
ブートストラッピングを用いた情報抽出においては、インスタンスを取得するためのパターンに広義なものを選択してしまうと、意にそぐわないインスタンスを抽出してしまう、意味ドリフトという問題がある。キーワード獲得装置１によると、パターン選択時に、今までに抽出したインスタンス集合とパターン選択によって得られるインスタンス集合の重複が、後者の集合の半分になると最も値が高くなる指標である一般性評価値を用いることで、キーワードの収集精度が向上する。
【００７６】
特に、キーワード獲得装置１では、出力結果判定部１０３が、前記キーワードの選択の回数が予め決められた回数に達しているか否かの判定を行い、前記選択の回数が前記決められた回数に達していると判断すると前記キーワードインスタンス選択部１１１にて選択されたキーワードの集合を出力させる一方で、前記キーワードの選択の回数が予め決められた回数に達していないと判断すると前記選択部１１１にて選択されたキーワードの集合を前記処理対象キーワード集合として表層パターン抽出部１０５に供するようにすることで、より多くの適切なキーワードの集合を得られる。
【００７７】
また、表層パターン選択部１０８が、前記算出された一般性評価値のうちで閾値以上の一般性評価値である表層パターンの群を一般的ではない表層パターンの群と特定し、この特定した表層パターンの群を当該各表層パターンのスコアの降順にならべ、スコアの高いものから順に一定数の表層パターンを選択することで、より一層確実に一般性の高い表層パターンを除外できる。
【００７８】
さらに、キーワードインスタンス選択部１１１が、スコアが算出されたキーワードの集合からスコアの高いものから予め決められた個数分のキーワードを選択することで、一般性の高い表層パターンの除外能がさらに高まる。
【００７９】
［本発明のプログラムとしての態様］
本発明は、専用のハードウェアにより実現されるもの以外に、上述のキーワード獲得装置１を構成する機能部１００〜１１１，２０１〜２０３としてコンピュータを機能させるキーワード獲得プログラムの態様とすることもできる。また、この辞書作成プログラムを格納したコンピュータ読み取り可能な記録媒体も本発明の一態様となる。前記記録媒体としては、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、その他の既知の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置が例示される。さらに、前記記録媒体としては、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含まれる。
【符号の説明】
【００８０】
１…キーワード獲得装置
１０１…ログ処理部（ログ処理手段）
１０２…シードインスタンス取得部（シード情報取得手段）
１０３…出力結果判定部（出力結果判定手段）
１０４…結果出力部（結果出力手段）
１０５…表層パターン抽出部（表層パターン抽出手段）
１０６…表層パターンスコア算出部（表層パターンスコア算出手段）
１０７…表層パターン一般性評価部（表層パターン一般性評価手段）
１０８…表層パターン選択部（表層パターン選択手段）
１０９…キーワードインスタンス抽出部（キーワードインスタンス抽出手段）
１１０…キーワードインスタンススコア算出部（キーワードインスタンススコア算出手段）
１１１…キーワードインスタンス選択部（キーワードインスタンス選択手段）
２０２…ログ統計ＤＢ（ログ統計情報）
【技術分野】
【０００１】
本発明は、コンピュータ内部に存在もしくはコンピュータネットワークを介してアクセスできる文書集合を、一つ以上のキーワードから構成される検索条件を元に検索する検索エンジンのログを利用して、予め入力されたキーワード集合と同様の上位概念を持つキーワード集合を獲得する技術に関する。
【背景技術】
【０００２】
従来、特定の上位概念を持つキーワードを自動的に獲得しようとする手法として、大量のテキストデータを解析して、抽出しようとする方法がある。例えば、非特許文献１によると、英文のテキストから上位下位概念の組合せを獲得するため、例えば“Ａ ｓｕｃｈ ａｓ Ｂ，Ｃ，ａｎｄ Ｄ”のようなテキストパターンに基づき、ブートストラップ法を用いる手法が提案されている。
【０００３】
また、非特許文献２は、大量のテキスト情報を対象に、特定の上位概念を持つキーワードの例に基づき、それらキーワードがよく出現するパターンを抽出しこのパターンを用いてキーワードを獲得するブートストラップ法によって、予め入力したキーワードの持つ上位概念を持つキーワードを獲得する方法を提案している。
【０００４】
さらに、非特許文献３では、非特許文献２の手法を検索条件のログ（以下、クエリログ）に適用することで、計算コストを抑えながら、入力したキーワード集合と同等の上位概念を持つキーワード集合を特定する手法が提案されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｈｅａｒｓｔ，Ｍ．：“Ａｕｔｏｍａｔｉｃ Ａｃｑｕｉｓｉｔｉｏｎ ｏｆ Ｈｙｐｏｎｙｍｓ ｆｒｏｍ Ｌａｒｇｅ Ｔｅｘｔ Ｃｏｒｐｏｒａ．”，Ｐｒｏｃ．ｏｆ ＣＯＬＩＮＧ，ＮＡＮＴＥＳ，ＡＵＧ，１９９２，ｐ．５３９−５４５
【非特許文献２】Ｐａｔｒｉｃｋ Ｐａｎｔｅｌ，Ｍａｒｃｏ Ｐｅｎｎａｃｃｈｉｏｔｔｉ：“Ｅｓｐｒｅｓｓｏ：Ｌｅｖｅｒａｇｉｎｇ Ｇｅｎｅｒｉｃ Ｐａｔｔｅｒｎｓ ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｈａｒｖｅｓｔｉｎｇ Ｓｅｍａｎｔｉｃ Ｒｅｌａｔｉｏｎｓ”．Ｐｒｏｃ．ｏｆ ＡＣＬ，Ｊｕｌｙ，２００６，ｐ．１１３−１２０
【非特許文献３】小町守，鈴木久美，「検索ログからの半教師あり意味知識獲得の改善」，人工知能学会論文誌，Ｖｏｌ．２３，Ｎｏ．３，Ｍａｒｃｈ，２００８，ｐ．２１７−２２５
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献１のキーワード獲得技術は、さまざまな上位概念、下位概念のキーワードの組合せを網羅的に取得する方法であり、ユーザが指定した上位概念のキーワードを抽出する方法ではない。
【０００７】
非特許文献２，３のキーワード獲得技術の問題として、一般的なパターンの存在があげられる。ブートストラップ法でパターンとキーワードを交互に抽出する際に、このような一般的なパターンを採用した場合、獲得されるキーワードに目的外のキーワードが含まれる可能性がある。尚、一般的なパターンとは特定の上位概念を持つキーワードだけでなく、より一般的なキーワードとの関連性も高いパターンを意味する。
【０００８】
また、非特許文献３の手法においては、クエリログを利用するにあたって、この点について対策が行われているが、パターンにより獲得されたキーワードの数を利用した手法であり、本質的な解決となっていない。
【０００９】
本発明は上記の問題を鑑みなされたもので、その目的は、一般的なパターンの獲得を防ぎ、高い精度で入力されたキーワード集合と同一の上位概念を持つキーワード集合を獲得するキーワード獲得技術の提供にある。
【課題を解決するための手段】
【００１０】
本発明は、検索条件のログに基づく検索キーワードのテキストパターンを採用するか否かを判定する際にそのパターンにより獲得されるキーワード集合と既に獲得されたキーワード集合の重複を考慮することにより、前記テキストパターンの一般性を評価し、一般的なパターンの採用を防ぐ。
【００１１】
本発明のキーワード獲得装置の態様としては、同一の上位概念を有する複数のキーワードの集合と同一の上位概念を有し且つその集合に属さないキーワード集合を獲得するキーワード獲得装置であって、獲得したいキーワード集合と同一の上位概念を有するキーワード集合が処理対象キーワード集合として供され、この集合に属するキーワードを含むキーワードペアの群を、複数のキーワードの検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアをその頻度と対応づけて記録したログ統計情報から取得し、この取得したキーワードペアの群から前記処理対象キーワード集合に属するキーワード毎にそのキーワードを含んだ表層パターンを抽出する表層パターン抽出手段と、前記抽出された全ての表層パターンとその表層パターンの抽出に利用したキーワードの情報と前記ログ統計情報とに基づき、前記処理対象キーワード集合の上位概念に関係するキーワードの取得しやすさを評価する指標である表層パターンのスコアを前記全ての表層パターンについて算出する表層パターンスコア算出手段と、前記抽出された一つの表層パターンに対応するキーワード群からなるキーワード集合と、前記ログ統計情報における前記一つの表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく前記一つの表層パターンの一般性評価値を前記全ての表層パターンについて算出する表層パターン一般性評価手段と、前記算出された全ての表層パターンの一般性評価値とスコアとに基づき一定数の表層パターンを選択する表層パターン選択手段と、前記選択された各表層パターンと一致するキーワードペアを前記ログ統計情報から取得し、この取得したキーワードペアから当該表層パターンに含まれるキーワードの集合を特定するキーワードインスタンス抽出手段と、前記特定されたキーワードとその頻度に基づき、当該キーワードと前記処理対象キーワード集合の上位概念との関連性を評価する指標であるスコアを前記特定された集合に属する全てのキーワードについて算出するキーワードインスタンススコア算出手段と、前記スコアが算出されたキーワードの集合から当該スコアの値に基づき複数のキーワードを前記獲得したいキーワード集合として選択するキーワードインスタンス選択手段とを備える。
【００１２】
本発明のキーワード獲得方法の態様としては、同一の上位概念を有する複数のキーワードの集合と同一の上位概念を有し且つその集合に属さないキーワード集合を獲得するキーワード獲得方法であって、表層パターン抽出手段が、獲得したいキーワード集合と同一の上位概念を有するキーワード集合を、処理対象キーワード集合として受け付けると、この集合に属するキーワードを含むキーワードペアの群を、複数のキーワードの検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアをその頻度と対応づけて記録したログ統計情報から取得し、この取得したキーワードペアの群から前記処理対象キーワード集合に属するキーワード毎にそのキーワードを含んだ表層パターンを抽出するステップと、表層パターンスコア算出手段が、前記抽出された全ての表層パターンとその表層パターンの抽出に利用したキーワードの情報と前記ログ統計情報とに基づき、前記処理対象キーワード集合の上位概念に関係するキーワードの取得しやすさを評価する指標である表層パターンのスコアを前記全ての表層パターンについて算出するステップと、表層パターン一般性評価手段が、前記抽出された一つの表層パターンに対応するキーワード群からなるキーワード集合と、前記ログ統計情報における前記一つの表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく前記一つの表層パターンの一般性評価値を前記全ての表層パターンについて算出するステップと、表層パターン選択手段が前記算出された全ての表層パターンの一般性評価値とスコアとに基づき一定数の表層パターンを選択するステップと、キーワードインスタンス抽出手段が、前記選択された各表層パターンと一致するキーワードペアを前記ログ統計情報から取得し、この取得したキーワードペアから当該表層パターンに含まれるキーワードの集合を特定するステップと、キーワードインスタンススコア算出手段が、前記特定されたキーワードとその頻度に基づき、当該キーワードと前記処理対象キーワード集合の上位概念との関連性を評価する指標であるスコアを前記特定された集合に属する全てのキーワードについて算出するステップと、キーワードインスタンス選択手段が、前記スコアが算出されたキーワードの集合から当該スコアの値に基づき複数のキーワードを前記獲得したいキーワード集合として選択するステップとを有する。
【００１３】
尚、本発明は前記キーワード獲得装置を構成する各手段としてコンピュータを機能させるキーワード獲得プログラムの態様とすることもできる。
【発明の効果】
【００１４】
以上の発明によれば、入力されたキーワード集合の上位概念と関係のないキーワードの抽出を抑えることができるので、高い精度でのキーワード集合の獲得ができる。
【図面の簡単な説明】
【００１５】
【図１】発明の実施形態に係るキーワード獲得装置のブロック構成図。
【図２】発明の実施形態に係るキーワード獲得装置を実装するハードウェア構成図。
【図３】発明の実施形態に係る処理手順を説明したチャート図。
【図４】発明の実施形態に係るログ収集処理手順を説明したチャート図。
【図５】発明の実施形態に係るログ利用キーワード抽出処理手順を説明したフローチャート図。
【図６】ログ格納装置２０１のデータの一例。
【図７】ログ統計ＤＢ２０２に格納されたログ統計情報の一例。
【図８】出力結果一時記憶部２０３に格納されるデータの一例。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１７】
［概要］
図１に示された本実施形態に係るキーワード獲得装置１は、検索ログに基づく表層パターンから獲得されるキーワード集合と既に獲得されたキーワード集合の重複に基づき、前記表層パターンの一般性を評価して一般的なパターンの採用を防ぐ。
【００１８】
［装置の構成］
図１に示されたキーワード獲得装置１は、図２に示されたＣＰＵ２１、メモリ２２、記憶装置２３，２４、入力デバイス２５、出力デバイス２６等のハードウェアリソースと、記憶装置２３に格納されたソフトウェアリソース（ＯＳ、アプリケーション等）との協働の結果、ログ取得部１００、ログ処理部１０１、シードインスタンス取得部１０２、出力結果判定部１０３、結果出力部１０４、表層パターン抽出部１０５、表層パターンスコア算出部１０６、表層パターン一般性評価部１０７、表層パターン選択部１０８、キーワードインスタンス抽出部１０９、キーワードインスタンススコア算出部１１０、キーワードインスタンス選択部１１１、出力結果一時記憶部２０３を実装する。メモリ２２としてはＲＡＭ等の揮発性のメモリが挙げられる。記憶装置２３，２４にはハードディスクドライブ装置等の周知の記憶手段を適用すればよい。
【００１９】
図１に示されたキーワード獲得装置１を構成する各機能部１００〜１１１，２０３について説明する。
【００２０】
ログ取得部１００は検索エンジンに対してユーザが入力した検索条件（クエリ）のログを当該検索エンジンから取得してログ格納装置２０１に格納する。
【００２１】
ログ格納装置２０１はログ取得部１００により取得された検索エンジンに入力された検索条件（クエリ）のログを格納している。検索条件の一例を図６に示した。ログ格納装置２０１はハードディスク装置、サーバ装置等に例示される周知の記憶手段によって実現できる。
【００２２】
ログ処理部１０１は、ログ格納装置２０１に格納された前記ユーザの検索条件のログのうち、二語の組合せで構成されるクエリを取得し、その頻度を算出する。二語の組合せで構成されるクエリとは、半角もしくは全角のスペースで２つのキーワードが接続されたクエリのことを示し、それをキーワードペアと呼ぶ。前記算出された頻度が前記キーワードペアと対応付けられて記録されたログ統計情報が統計ログデータベース（以下、統計ログＤＢ）２０２に格納される。前記頻度の算出方法は形態素分析等に採用されている周知の頻度算出方法を適用すればよい。
【００２３】
統計ログＤＢ２０２の一例を図７に示した。ログ統計ＤＢ２０２は、ログ処理部１０１により検索エンジンのログから抽出される、キーワードペアとその出現頻度を記録する記憶装置である。統計ログＤＢ２０２はハードディスクドライブ装置やサーバ装置等に例示される記憶装置２４によって実現すればよい。
【００２４】
シードインスタンス取得部１０２は、ユーザが語彙獲得を行いたい上位概念に含まれる複数のキーワードの入力を受け付ける。
【００２５】
表層パターン抽出部１０５は、シードインスタンス取得部１０２または出力結果判定部１０３から受信したキーワードのリスト（集合）に基づきログ格納装置２０１にアクセスしてログ統計ＤＢ２０２から前記キーワードを含むキーワードペアとその頻度を取得する。そして、この取得したキーワードペアのうち、問い合わせ（検索）に利用したキーワードを予め決められていた文字列（下記の事例では、＃＃＃）で置き換えて表層パターンを抽出する。問い合わせキーワード、取得されるキーワードペアとその頻度、表層パターンの事例を表１に示した。表層パターン抽出部１０５はキーワード毎に抽出した全てのキーワードペアとその頻度及び表層パターンを集計してキーワードスコア算出部１１０に送信する。
【００２６】
【表１】
【００２７】
表層パターンスコア算出部１０６は、表層パターン抽出部１０５から取得したキーワード毎に抽出した全てのキーワードペアとその頻度及び表層パターンとその表層パターンの抽出に利用したキーワードの情報とに基づき、それぞれの表層パターンのスコアを算出する。表層パターンのスコアとは、初期の入力として与えられたキーワード集合の上位概念に関係するキーワードの取得しやすさを評価するための指標であり、例えば以下の式（１）で算出される。算出された表層パターンのスコアは当該表層パターンと共に表層パターン選択部１０８に供される。
【００２８】
【数１】
【００２９】
式（１）において、Ｓｃｏｒｅpattern（ｐ）は表層パターンｐのスコアを表す。Ｓｃｏｒｅkeyword（ｋ）は、表層パターンの抽出に利用したキーワードの情報であって、キーワードｋのスコア（スコアが定義されていない場合すなわち初期値の場合は１）を表し、後述の式（４）によって算出できる。Ｋは表層パターンｐで取得できるキーワードの集合を表す。また、ｐｍｉ（ｘ，ｙ）はキーワードｘと表層パターンｙの関連性の強さを表す相互情報量を示し、以下の式（２）で算出される（式（４）についても同様）。
【００３０】
【数２】
【００３１】
式（２）において、Ｎは全キーワードペアの数、｜ｋ，ｐ｜はキーワードｋを持つキーワードペアの頻度、｜ｋ，＊｜はキーワードｋを持つキーワードペアの数、｜＊，ｐ｜は表層パターンｐを持つキーワードペアの数を表す。これらの情報はログ統計ＤＢ２０２から取得できる。
【００３２】
表層パターン一般性評価部１０７は以下の処理１〜４によって表層パターンの一般性評価値を算出する。
【００３３】
（処理１）表層パターン抽出部１０５からキーワード毎に抽出した表層パターンを取得する。取得される情報の一例を表２に示す。
【００３４】
【表２】
【００３５】
（処理２）処理１で得られた情報からパターン毎にどのキーワードから抽出されたかを示す情報を作成する。作成される情報の一例を表３に示す。そして、この情報における一つの表層パターンに対応するキーワード群をキーワード集合（Ｋ１）と特定する。表３の事例では表層パターン「＃＃＃ 偏差値」に対応したキーワード集合（Ｋ１）は「ＡＢＣ大学 ＤＥ大学 ＪＫ大学」となる。
【００３６】
【表３】
【００３７】
（処理３）処理２で作成された情報における一つの表層パターンをキーとしてログ統計ＤＢ２０２にアクセスして当該表層パターンと一致するキーワードペア群を取得し、この取得したキーワードペア群から当該表層パターンに含まれるキーワード群を抽出する。この抽出されたキーワード群をキーワード集合（Ｋ２）と特定する。表層パターンとこれによって取得されるキーワード群の例を表４に示した。
【００３８】
【表４】
【００３９】
（処理４）処理２で取得されたキーワード集合（Ｋ１）と処理３で取得されたキーワード集合（Ｋ２）とに基づき前記一つの表層パターンの一般性評価値を算出する。一般性評価値は例えば以下の式（３）によって算出する。式（３）において、Ｇｅｎｅｒａｌｉｔｙ（ｐ）は表層パターンｐの一般性を評価する値である。Ｋ１はキーワード集合（Ｋ１）を、Ｋ２はキーワード集合（Ｋ２）を示す。表層パターンとその一般性評価値は、表層パターン選択部１０８に供される。
【００４０】
【数３】
【００４１】
表層パターン選択部１０８は、表層パターンスコア算出部１０６から供された表層パターンとそのスコアと、表層パターン一般性評価部１０７から供された各表層パターンの一般性評価値とに基づき、キーワードを選択するための表層パターンを決定する。具体的には、一般性評価値に一定の閾値を設け、この閾値以上の一般性評価値の表層パターンの群を一般的ではない表層パターンの群と特定し、これらの特定した表層パターンをそのスコアの降順にならべ、スコアの高いものから順に一定数のパターンを取得する方法が採られる。
【００４２】
キーワードインスタンス抽出部１０９は、表層パターン選択部１０８から供された表層パターン集合におけるそれぞれの表層パターンと一致するキーワードペアとその頻度をログ統計ＤＢ２０２から取得し、この取得したキーワードペアから前記表層パターンに含まれるキーワードの集合を特定する。表層パターン毎に抽出した全てのキーワードとその頻度をキーワードスコア算出部１１０に供する。
【００４３】
キーワードインスタンススコア算出部１１０は、キーワードインスタンス抽出部１０９から供された表層パターン毎に含まれるキーワードの集合とこれに属する個々のキーワードの頻度に基づき、個々のキーワードのスコアを算出する。キーワードインスタンス（前記キーワードの集合）とこれに属する個々のキーワードのスコアは、表層パターン選択部１０８に供される。
【００４４】
前記キーワードインスタンスのスコアは、キーワードの取得に利用した表層パターンとの関連性を元に、予め指定されたキーワード集合の上位概念と該キーワードの関連性を評価する指標である。このスコアの算出式の例としては以下の式（４）が挙げられる。
【００４５】
【数４】
【００４６】
式（４）において、Ｓｃｏｒｅkeyword（ｋ）はキーワードｋのスコアを表す。Ｐはキーワードｋが出現する表層パターンの集合を表し、ｐはその表層パターン集合中の一つの表層パターンを表す。これらの情報はログ統計ＤＢ２０２から取得できる。尚、Ｓｃｏｒｅpattern（ｐ）は式（１）で算出された値である。
【００４７】
キーワードインスタンス選択部１１１はキーワードインスタンススコア算出部１１０からキーワードとそのスコアの一覧を取得し、スコアの高いものから予め決められた個数分のキーワードを選択する。
【００４８】
出力結果判定部１０３は、キーワードインスタンス選択部１１０からキーワードの抽出結果を取得し、出力結果一時記憶部２０３にそのキーワード抽出結果を記憶する。出力結果一時記憶部２０３において既に記憶していたキーワード抽出結果が存在する場合には、既に存在する抽出結果に追加する態様で記憶させる。また、一度の入力に対して行ったキーワード抽出の回数が、予め決められている回数に到達したか否かを判定し、到達していれば、結果出力部１０４に結果をスコアと共に出力する旨を送信する。また、到達していなければ、キーワード抽出結果を表層パターン抽出部１０５に送信する。尚、前記回数は任意である。
【００４９】
出力結果一時記憶部２０３は、出力結果判定部１０３から送信されたデータを一時的に記憶する記憶装置である。出力結果一時記憶部２０３に対しては結果出力部１０４からもアクセスできるようになっている。出力結果データの一例を図８に示す。出力結果一時記憶部２０３は図２に示されたメモリ２２によって実現すればよい。
【００５０】
結果出力部１０４は、出力結果判定部１０３から結果を出力する旨を受信すると、出力結果一時記憶部２０３にアクセスし、記憶しているキーワード抽出結果をすべて取得し、この取得した抽出結果を出力する。
【００５１】
［処理手順の説明］
キーワード獲得装置１による処理手順について説明する。処理手順は図３に示したようにログ収集処理手順（Ｓ１）とログ利用キーワード抽出処理手順（Ｓ２）とからなる。
【００５２】
ログ収集処理手順（Ｓ１）では、検索エンジンから検索条件のログを取得してログ格納装置２０１に格納し、このログ格納装置２０１に格納されたクエリの分析（頻度算出）をバッチ方式で実行して分析結果（ログ統計情報）をログ統計ＤＢ２０２に格納する。
【００５３】
ログ利用キーワード抽出処理手順（Ｓ２）では、ログ収集処理手順（Ｓ１）で得られたログ統計ＤＢ２０２に含まれる分析結果を利用して、ユーザの指定したキーワード集合と同一の上位概念を持つキーワード集合の中で前記ユーザの指定したキーワード集合に含まれないキーワードを抽出する。
【００５４】
以上のログ収集処理手順（Ｓ１），ログ利用キーワード抽出処理手順（Ｓ２）の具体的な手順について図４，図５を参照しながら説明する。
【００５５】
先ず、ログ収集処理手順（Ｓ１）について説明する。処理手順（Ｓ１）は図４に示したステップＳ１１，Ｓ１２からなる。
【００５６】
Ｓ１１：ログ取得部１００はＷｅｂサーチエンジン等の検索装置に対して利用者が入力した検索条件のログを当該検索装置から取得してログ格納装置２０１に格納する。例えば、図６に示したような検索条件のログが取得されログ格納装置２０１に格納される。
【００５７】
Ｓ１２：ログ処理部１０１はログ格納装置２１に格納された検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアを取得し、これをその頻度と対応づけて記録したログ統計情報をログ統計ＤＢ２０２に格納する。例えば、図７に示したログ統計情報がログ統計ＤＢ２０２に格納される。
【００５８】
次に、ログ利用キーワード抽出処理手順（Ｓ２）について説明する。処理手順（Ｓ２）は図４に示したステップＳ２１〜Ｓ３５からなる。
【００５９】
Ｓ２１：シードインスタンス取得部１０２は獲得したいキーワードと同じ上位概念を有するキーワード集合を処理対象キーワード集合として入力デバイス２５から受ける。
【００６０】
Ｓ２２：シードインスタンス取得部１０２はＳ２１で受け付けた処理対象キーワード集合を表層パターン抽出部１０５に供する。
【００６１】
Ｓ２３：表層パターン抽出部１０５はシードインスタンス取得部１０２から供された処理対象キーワード集合の情報に基づきログ統計ＤＢ２０２にアクセスして当該キーワード集合のキーワードを含むキーワードペアとその頻度を取得する。例えば、表１に示したようにキーワードを含むキーワードペア「ＡＢＣ大学 偏差値」とその頻度「２０００」が取得される。
【００６２】
Ｓ２４：表層パターン抽出部１０５はＳ２３で取得されたキーワードペアのうち、問い合わせ（検索）に利用したキーワードを予め決められていた文字列（例えば、＃＃＃）で置き換えて表層パターンを抽出する。例えば、表１に示したような表層パターン「＃＃＃ 偏差値」が取得される。そして、表層パターン抽出部１０５はキーワード毎に抽出した全てのキーワードペアとその頻度及び表層パターンを集計したものを表層パターンスコア算出部１０６と表層パターン一般性評価部１０７とに供する。
【００６３】
Ｓ２５：表層パターンスコア算出部１０６は、表層パターン抽出部１０５から供されたキーワード毎に抽出した表層パターンを式（１）の演算に供して各表層パターンのスコアを算出する。そして、この算出した全ての表層パターンのスコアを表層パターン選択部１０８に供する。
【００６４】
Ｓ２６：表層パターン一般性評価部１０７は、表層パターン抽出部１０５から供されたキーワード毎に抽出した表層パターンを前述の（処理２）〜（処理４）に供して各表層パターンの一般性評価値を算出する。そして、この算出した各表層パターンの一般性評価値を表層パターン選択部１０８に供する。
【００６５】
Ｓ２７：表層パターン選択部１０８は、表層パターン一般性評価部１０７から各表層パターンの一般性評価値を受けると、閾値以上の一般性評価値である表層パターンの群を一般的ではない表層パターンの群と特定する。次いで、この特定した表層パターンの群をＳ２５で算出されたスコアの降順にならべ、スコアの高いものから順に一定数の表層パターンを取得する。そして、この特定した表層パターンの集合をキーワードインスタンス抽出部１０９に供する。
【００６６】
Ｓ２８：キーワードインスタンス抽出部１０９は、表層パターン選択部１０８から表層パターンの集合を受けると当該集合における各表層パターンと一致するキーワードペアとその頻度をログ統計ＤＢ２０２から取得する。そして、この取得したキーワードペアから表層パターンに含まれるキーワードの集合を特定する。表層パターン毎に抽出した全てのキーワードとその頻度をキーワードスコア算出部１１０に供する。
【００６７】
Ｓ２９：キーワードインスタンススコア算出部１１０は、キーワードインスタンス抽出部１０９から供されたキーワード集合とその頻度を式（４）の演算に供して各キーワードのスコアを算出する。そして、この算出された全てのキーワードのスコアをキーワードインスタンス選択部１１１に送信する。
【００６８】
Ｓ３０：キーワードインスタンス選択部１１１は、キーワードインスタンススコア算出部１１０から供された各キーワードのスコアを受けると、スコアの高いものから予め決められた個数分のキーワードを選択し、スコアと共に、出力結果判定部１０３に供する。
【００６９】
Ｓ３１：出力結果判定部１０３はＳ３０で選択されたキーワードの集合を出力結果一時記憶部２０３に格納する。
【００７０】
Ｓ３２：出力結果判定部１０３はＳ２３〜Ｓ３１のキーワード抽出処理が予め決められた回数実行されたか否かを判定する。
【００７１】
Ｓ３３：出力結果判定部１０３は、Ｓ２３〜Ｓ３１のキーワード抽出処理の実行回数が決められた回数に達していると判断すると、Ｓ３０で選択されたキーワードの集合を出力する旨のメッセージを結果出力部１０４に供する。
【００７２】
Ｓ３４：結果出力部１０４は、出力結果判定部１０３から前記メッセージを受けると、出力結果一時記憶部２０３に格納してあるキーワードの集合を取得し、この出力されたキーワードの集合がユーザにとって適切なキーワード集合として出力デバイス２６から出力させる。例えば図８に示した出力結果データが出力される。
【００７３】
Ｓ３５：出力結果判定部１０３は、Ｓ２３〜Ｓ３１のキーワード抽出処理の実行回数が決められた回数に達していないと判断すると、出力結果一時記憶部２０３に格納してあるキーワードの集合をＳ２３の表層パターン抽出処理に供する。
【００７４】
［本実施形態の効果］
以上のように、キーワード獲得装置１は、ユーザが指定した初期キーワード集合と同一の上位概念を持つキーワードの集合を取得するタスクにおいて、与えられたキーワード集合と関連性の高い表層パターンを抽出する際に、該キーワード集合と該パターンで抽出できるキーワード集合の重なりを元に表層パターンの一般性を評価することで、一般性の高い表層パターンを把握できる。これにより、一般性の高い表層パターンのキーワードを利用しないようにすることができ、入力されたキーワード集合の上位概念と関係のないキーワードの抽出を抑えることできる。したがって、検索キーワードを精度高く収集できる。
【００７５】
ブートストラッピングを用いた情報抽出においては、インスタンスを取得するためのパターンに広義なものを選択してしまうと、意にそぐわないインスタンスを抽出してしまう、意味ドリフトという問題がある。キーワード獲得装置１によると、パターン選択時に、今までに抽出したインスタンス集合とパターン選択によって得られるインスタンス集合の重複が、後者の集合の半分になると最も値が高くなる指標である一般性評価値を用いることで、キーワードの収集精度が向上する。
【００７６】
特に、キーワード獲得装置１では、出力結果判定部１０３が、前記キーワードの選択の回数が予め決められた回数に達しているか否かの判定を行い、前記選択の回数が前記決められた回数に達していると判断すると前記キーワードインスタンス選択部１１１にて選択されたキーワードの集合を出力させる一方で、前記キーワードの選択の回数が予め決められた回数に達していないと判断すると前記選択部１１１にて選択されたキーワードの集合を前記処理対象キーワード集合として表層パターン抽出部１０５に供するようにすることで、より多くの適切なキーワードの集合を得られる。
【００７７】
また、表層パターン選択部１０８が、前記算出された一般性評価値のうちで閾値以上の一般性評価値である表層パターンの群を一般的ではない表層パターンの群と特定し、この特定した表層パターンの群を当該各表層パターンのスコアの降順にならべ、スコアの高いものから順に一定数の表層パターンを選択することで、より一層確実に一般性の高い表層パターンを除外できる。
【００７８】
さらに、キーワードインスタンス選択部１１１が、スコアが算出されたキーワードの集合からスコアの高いものから予め決められた個数分のキーワードを選択することで、一般性の高い表層パターンの除外能がさらに高まる。
【００７９】
［本発明のプログラムとしての態様］
本発明は、専用のハードウェアにより実現されるもの以外に、上述のキーワード獲得装置１を構成する機能部１００〜１１１，２０１〜２０３としてコンピュータを機能させるキーワード獲得プログラムの態様とすることもできる。また、この辞書作成プログラムを格納したコンピュータ読み取り可能な記録媒体も本発明の一態様となる。前記記録媒体としては、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、その他の既知の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置が例示される。さらに、前記記録媒体としては、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含まれる。
【符号の説明】
【００８０】
１…キーワード獲得装置
１０１…ログ処理部（ログ処理手段）
１０２…シードインスタンス取得部（シード情報取得手段）
１０３…出力結果判定部（出力結果判定手段）
１０４…結果出力部（結果出力手段）
１０５…表層パターン抽出部（表層パターン抽出手段）
１０６…表層パターンスコア算出部（表層パターンスコア算出手段）
１０７…表層パターン一般性評価部（表層パターン一般性評価手段）
１０８…表層パターン選択部（表層パターン選択手段）
１０９…キーワードインスタンス抽出部（キーワードインスタンス抽出手段）
１１０…キーワードインスタンススコア算出部（キーワードインスタンススコア算出手段）
１１１…キーワードインスタンス選択部（キーワードインスタンス選択手段）
２０２…ログ統計ＤＢ（ログ統計情報）
【特許請求の範囲】
【請求項１】
同一の上位概念を有する複数のキーワードの集合と同一の上位概念を有し且つその集合に属さないキーワード集合を獲得するキーワード獲得装置であって、
獲得したいキーワード集合と同一の上位概念を有するキーワード集合が処理対象キーワード集合として供され、この集合に属するキーワードを含むキーワードペアの群を、複数のキーワードの検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアをその頻度と対応づけて記録したログ統計情報から取得し、この取得したキーワードペアの群から前記処理対象キーワード集合に属するキーワード毎にそのキーワードを含んだ表層パターンを抽出する表層パターン抽出手段と、
前記抽出された全ての表層パターンとその表層パターンの抽出に利用したキーワードの情報と前記ログ統計情報とに基づき、前記処理対象キーワード集合の上位概念に関係するキーワードの取得しやすさを評価する指標である表層パターンのスコアを前記全ての表層パターンについて算出する表層パターンスコア算出手段と、
前記抽出された一つの表層パターンに対応するキーワード群からなるキーワード集合と、前記ログ統計情報における前記一つの表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく前記一つの表層パターンの一般性評価値を前記全ての表層パターンについて算出する表層パターン一般性評価手段と、
前記算出された全ての表層パターンの一般性評価値とスコアとに基づき一定数の表層パターンを選択する表層パターン選択手段と、
前記選択された各表層パターンと一致するキーワードペアを前記ログ統計情報から取得し、この取得したキーワードペアから当該表層パターンに含まれるキーワードの集合を特定するキーワードインスタンス抽出手段と、
前記特定されたキーワードとその頻度に基づき、当該キーワードと前記処理対象キーワード集合の上位概念との関連性を評価する指標であるスコアを前記特定された集合に属する全てのキーワードについて算出するキーワードインスタンススコア算出手段と、
前記スコアが算出されたキーワードの集合から当該スコアの値に基づき複数のキーワードを前記獲得したいキーワード集合として選択するキーワードインスタンス選択手段と
を備えたこと
を特徴とするキーワード獲得装置。
【請求項２】
前記キーワードの選択の回数が予め決められた回数に達しているか否かの判定を行い、前記選択の回数が前記決められた回数に達していると判断すると前記キーワードインスタンス選択手段にて選択されたキーワードの集合を出力させる一方で、前記キーワードの選択の回数が予め決められた回数に達していないと判断すると前記キーワードインスタンス選択手段にて選択されたキーワードの集合を前記処理対象キーワード集合として前記表層パターン抽出手段に供する出力結果判定手段をさらに備えたこと
を特徴とする請求項１に記載のキーワード獲得装置。
【請求項３】
前記表層パターン選択手段は、前記算出された一般性評価値のうちで閾値以上の一般性評価値である表層パターンの群を一般的ではない表層パターンの群と特定し、この特定した表層パターンの群を当該各表層パターンのスコアの降順にならべ、スコアの高いものから順に一定数の表層パターンを選択すること
を特徴とする請求項１または２に記載のキーワード獲得装置。
【請求項４】
前記キーワードインスタンス選択手段は前記スコアが算出されたキーワードの集合からスコアの高いものから予め決められた個数分のキーワードを選択すること
を特徴とする請求項１から３のいずれか１項に記載のキーワード獲得装置。
【請求項５】
同一の上位概念を有する複数のキーワードの集合と同一の上位概念を有し且つその集合に属さないキーワード集合を獲得するキーワード獲得方法であって、
表層パターン抽出手段が、獲得したいキーワード集合と同一の上位概念を有するキーワード集合を、処理対象キーワード集合として受け付けると、この集合に属するキーワードを含むキーワードペアの群を、複数のキーワードの検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアをその頻度と対応づけて記録したログ統計情報から取得し、この取得したキーワードペアの群から前記処理対象キーワード集合に属するキーワード毎にそのキーワードを含んだ表層パターンを抽出するステップと、
表層パターンスコア算出手段が、前記抽出された全ての表層パターンとその表層パターンの抽出に利用したキーワードの情報と前記ログ統計情報とに基づき、前記処理対象キーワード集合の上位概念に関係するキーワードの取得しやすさを評価する指標である表層パターンのスコアを前記全ての表層パターンについて算出するステップと、
表層パターン一般性評価手段が、前記抽出された一つの表層パターンに対応するキーワード群からなるキーワード集合と、前記ログ統計情報における前記一つの表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく前記一つの表層パターンの一般性評価値を前記全ての表層パターンについて算出するステップと、
表層パターン選択手段が前記算出された全ての表層パターンの一般性評価値とスコアとに基づき一定数の表層パターンを選択するステップと、
キーワードインスタンス抽出手段が、前記選択された各表層パターンと一致するキーワードペアを前記ログ統計情報から取得し、この取得したキーワードペアから当該表層パターンに含まれるキーワードの集合を特定するステップと、
キーワードインスタンススコア算出手段が、前記特定されたキーワードとその頻度に基づき、当該キーワードと前記処理対象キーワード集合の上位概念との関連性を評価する指標であるスコアを前記特定された集合に属する全てのキーワードについて算出するステップと、
キーワードインスタンス選択手段が、前記スコアが算出されたキーワードの集合から当該スコアの値に基づき複数のキーワードを前記獲得したいキーワード集合として選択するステップと
を有すること
を特徴とするキーワード獲得方法。
【請求項６】
前記出力結果判定手段が、前記キーワードの選択の回数が予め決められた回数に達しているか否かの判定を行い、前記選択の回数が前記決められた回数に達していると判断すると前記キーワードインスタンス選択手段にて選択されたキーワードの集合を出力させる一方で、前記キーワードの選択の回数が予め決められた回数に達していないと判断すると前記キーワードインスタンス選択手段にて選択されたキーワードの集合を前記処理対象キーワード集合として前記表層パターン抽出手段に供するステップ
をさらに有すること
を特徴とする請求項５に記載のキーワード獲得方法。
【請求項７】
前記表層パターンを選択するステップでは、前記算出された一般性評価値のうちで閾値以上の一般性評価値である表層パターンの群を一般的ではない表層パターンの群と特定し、この特定された表層パターンの群を当該各表層パターンのスコアの降順にならべ、スコアの高いものから順に一定数の表層パターンを選択すること
を特徴とする請求項５または６に記載のキーワード獲得方法。
【請求項８】
前記獲得したいキーワード集合として選択するステップでは、前記スコアが算出されたキーワードの集合からスコアの高いものから予め決められた個数分のキーワードを選択すること
を特徴とする請求項５から７のいずれか１項に記載のキーワード獲得方法。
【請求項９】
請求項１から４のいずれか１項に記載のキーワード獲得装置を構成する各手段としてコンピュータを機能させることを特徴とするキーワード獲得プログラム。
【請求項１】
同一の上位概念を有する複数のキーワードの集合と同一の上位概念を有し且つその集合に属さないキーワード集合を獲得するキーワード獲得装置であって、
獲得したいキーワード集合と同一の上位概念を有するキーワード集合が処理対象キーワード集合として供され、この集合に属するキーワードを含むキーワードペアの群を、複数のキーワードの検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアをその頻度と対応づけて記録したログ統計情報から取得し、この取得したキーワードペアの群から前記処理対象キーワード集合に属するキーワード毎にそのキーワードを含んだ表層パターンを抽出する表層パターン抽出手段と、
前記抽出された全ての表層パターンとその表層パターンの抽出に利用したキーワードの情報と前記ログ統計情報とに基づき、前記処理対象キーワード集合の上位概念に関係するキーワードの取得しやすさを評価する指標である表層パターンのスコアを前記全ての表層パターンについて算出する表層パターンスコア算出手段と、
前記抽出された一つの表層パターンに対応するキーワード群からなるキーワード集合と、前記ログ統計情報における前記一つの表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく前記一つの表層パターンの一般性評価値を前記全ての表層パターンについて算出する表層パターン一般性評価手段と、
前記算出された全ての表層パターンの一般性評価値とスコアとに基づき一定数の表層パターンを選択する表層パターン選択手段と、
前記選択された各表層パターンと一致するキーワードペアを前記ログ統計情報から取得し、この取得したキーワードペアから当該表層パターンに含まれるキーワードの集合を特定するキーワードインスタンス抽出手段と、
前記特定されたキーワードとその頻度に基づき、当該キーワードと前記処理対象キーワード集合の上位概念との関連性を評価する指標であるスコアを前記特定された集合に属する全てのキーワードについて算出するキーワードインスタンススコア算出手段と、
前記スコアが算出されたキーワードの集合から当該スコアの値に基づき複数のキーワードを前記獲得したいキーワード集合として選択するキーワードインスタンス選択手段と
を備えたこと
を特徴とするキーワード獲得装置。
【請求項２】
前記キーワードの選択の回数が予め決められた回数に達しているか否かの判定を行い、前記選択の回数が前記決められた回数に達していると判断すると前記キーワードインスタンス選択手段にて選択されたキーワードの集合を出力させる一方で、前記キーワードの選択の回数が予め決められた回数に達していないと判断すると前記キーワードインスタンス選択手段にて選択されたキーワードの集合を前記処理対象キーワード集合として前記表層パターン抽出手段に供する出力結果判定手段をさらに備えたこと
を特徴とする請求項１に記載のキーワード獲得装置。
【請求項３】
前記表層パターン選択手段は、前記算出された一般性評価値のうちで閾値以上の一般性評価値である表層パターンの群を一般的ではない表層パターンの群と特定し、この特定した表層パターンの群を当該各表層パターンのスコアの降順にならべ、スコアの高いものから順に一定数の表層パターンを選択すること
を特徴とする請求項１または２に記載のキーワード獲得装置。
【請求項４】
前記キーワードインスタンス選択手段は前記スコアが算出されたキーワードの集合からスコアの高いものから予め決められた個数分のキーワードを選択すること
を特徴とする請求項１から３のいずれか１項に記載のキーワード獲得装置。
【請求項５】
同一の上位概念を有する複数のキーワードの集合と同一の上位概念を有し且つその集合に属さないキーワード集合を獲得するキーワード獲得方法であって、
表層パターン抽出手段が、獲得したいキーワード集合と同一の上位概念を有するキーワード集合を、処理対象キーワード集合として受け付けると、この集合に属するキーワードを含むキーワードペアの群を、複数のキーワードの検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアをその頻度と対応づけて記録したログ統計情報から取得し、この取得したキーワードペアの群から前記処理対象キーワード集合に属するキーワード毎にそのキーワードを含んだ表層パターンを抽出するステップと、
表層パターンスコア算出手段が、前記抽出された全ての表層パターンとその表層パターンの抽出に利用したキーワードの情報と前記ログ統計情報とに基づき、前記処理対象キーワード集合の上位概念に関係するキーワードの取得しやすさを評価する指標である表層パターンのスコアを前記全ての表層パターンについて算出するステップと、
表層パターン一般性評価手段が、前記抽出された一つの表層パターンに対応するキーワード群からなるキーワード集合と、前記ログ統計情報における前記一つの表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく前記一つの表層パターンの一般性評価値を前記全ての表層パターンについて算出するステップと、
表層パターン選択手段が前記算出された全ての表層パターンの一般性評価値とスコアとに基づき一定数の表層パターンを選択するステップと、
キーワードインスタンス抽出手段が、前記選択された各表層パターンと一致するキーワードペアを前記ログ統計情報から取得し、この取得したキーワードペアから当該表層パターンに含まれるキーワードの集合を特定するステップと、
キーワードインスタンススコア算出手段が、前記特定されたキーワードとその頻度に基づき、当該キーワードと前記処理対象キーワード集合の上位概念との関連性を評価する指標であるスコアを前記特定された集合に属する全てのキーワードについて算出するステップと、
キーワードインスタンス選択手段が、前記スコアが算出されたキーワードの集合から当該スコアの値に基づき複数のキーワードを前記獲得したいキーワード集合として選択するステップと
を有すること
を特徴とするキーワード獲得方法。
【請求項６】
前記出力結果判定手段が、前記キーワードの選択の回数が予め決められた回数に達しているか否かの判定を行い、前記選択の回数が前記決められた回数に達していると判断すると前記キーワードインスタンス選択手段にて選択されたキーワードの集合を出力させる一方で、前記キーワードの選択の回数が予め決められた回数に達していないと判断すると前記キーワードインスタンス選択手段にて選択されたキーワードの集合を前記処理対象キーワード集合として前記表層パターン抽出手段に供するステップ
をさらに有すること
を特徴とする請求項５に記載のキーワード獲得方法。
【請求項７】
前記表層パターンを選択するステップでは、前記算出された一般性評価値のうちで閾値以上の一般性評価値である表層パターンの群を一般的ではない表層パターンの群と特定し、この特定された表層パターンの群を当該各表層パターンのスコアの降順にならべ、スコアの高いものから順に一定数の表層パターンを選択すること
を特徴とする請求項５または６に記載のキーワード獲得方法。
【請求項８】
前記獲得したいキーワード集合として選択するステップでは、前記スコアが算出されたキーワードの集合からスコアの高いものから予め決められた個数分のキーワードを選択すること
を特徴とする請求項５から７のいずれか１項に記載のキーワード獲得方法。
【請求項９】
請求項１から４のいずれか１項に記載のキーワード獲得装置を構成する各手段としてコンピュータを機能させることを特徴とするキーワード獲得プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１６４７１８（Ｐ２０１１−１６４７１８Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２３５９４（Ｐ２０１０−２３５９４）
【出願日】平成２２年２月４日（２０１０．２．４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月４日（２０１０．２．４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]