知識情報収集システム、知識情報収集方法及びプログラム
【課題】ユーザにとって有用な情報だけを収集できるようにする。
【解決手段】設定ファイル１３には、起点ＵＲＬと、情報収集の対象となるリンクの段数と、不要語を表すキーワードとが設定される。リンクラベル抽出モジュール１１３は、ネットワーク（インターネット／イントラネット）２０から収集されたページ情報からリンク文字列を抽出する。リンク判定モジュール１１４は、抽出されたリンク文字列と設定された不要語を表すキーワードとから、リンク先のページ情報が無用であるかを判定する。収集制御モジュール１１１は、起点ＵＲＬからリンクを辿ることによりネットワーク２０からの情報収集を制御する。収集制御モジュール１１１は、リンク判定モジュール１１４によって無用であると判定されたリンクの先のページ情報は、設定された段数の範囲内であっても収集の対象外とする。
【解決手段】設定ファイル１３には、起点ＵＲＬと、情報収集の対象となるリンクの段数と、不要語を表すキーワードとが設定される。リンクラベル抽出モジュール１１３は、ネットワーク（インターネット／イントラネット）２０から収集されたページ情報からリンク文字列を抽出する。リンク判定モジュール１１４は、抽出されたリンク文字列と設定された不要語を表すキーワードとから、リンク先のページ情報が無用であるかを判定する。収集制御モジュール１１１は、起点ＵＲＬからリンクを辿ることによりネットワーク２０からの情報収集を制御する。収集制御モジュール１１１は、リンク判定モジュール１１４によって無用であると判定されたリンクの先のページ情報は、設定された段数の範囲内であっても収集の対象外とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ナレッジマネジメントシステムで用いられる知識データベースに登録すべき情報をネットワーク上から収集するのに好適な知識情報収集システム、知識情報収集方法及びプログラムに関する。
【背景技術】
【０００２】
近年、知識情報の共有支援を図るためのナレッジマネジメントシステムが開発されている。このナレッジマネジメントシステムは、個人のノウハウなどの知識情報を知識データベースに蓄積して管理するためのものであり、自然言語検索などの検索機能と組み合わせることにより、蓄積された知識情報の効率的な活用を実現する。
【０００３】
このようなナレッジマネジメントシステムでは、知識情報をいかに効率よく収集するかが重要なポイントとなる。そこで最近は、ネットワーク、例えばインターネットから、ファイル形式の異なる様々な種類の文書ファイルを知識情報として効率よく収集するための知識情報収集システムが開発されている（例えば、特許文献１参照）。この特許文献１に記載された知識情報収集システムにおいては、設定ファイルに設定された知識情報収集のための条件（知識情報収集条件）に従って、インターネットから、文書情報が次のように収集される。
【０００４】
まず、知識情報収集システムは、設定ファイルとＷｅｂ収集モジュールとを有する。設定ファイルには、ユーザ（例えば管理者である管理ユーザ）の操作によって、情報収集の対象となるリンクの段数及びリンク毎の収集ファイル個数の少なくとも一方が、起点ＵＲＬ（Uniform Resource Locator）と共に設定される。Ｗｅｂ収集モジュールは、起点ＵＲＬ及びリンクの段数が設定ファイルに設定されている場合、当該起点ＵＲＬから設定されたリンクの段数の上限を超えない範囲で、全てのリンクを辿ってインターネットから文書情報（ページ情報）を収集する。また、起点ＵＲＬ及びリンクの段数に加えて、リンク毎の収集ファイル個数が設定されている場合、Ｗｅｂ収集モジュールは、起点ＵＲＬから設定されたリンクの段数の上限を超えず、かつ設定されたリンク毎の収集ファイル個数を超えない範囲で、全てのリンクを辿ってインターネットから文書情報を収集する。
【特許文献１】特開２００３−３０３１９７号公報（段落０００８，００１０，００８６乃至００８９）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記したように、特許文献１に記載された知識情報収集技術（以下、先行技術と称する）によれば、設定ファイルを用いて、ネットワーク上からの情報収集の対象となるリンクの段数等を任意に指定することで、起点ＵＲＬから指定のリンクの段数の上限を超えない範囲で、全てのリンクを辿って文書情報が収集される。
【０００６】
しかし、上記先行技術においては、収集する文書情報（ページ情報）の内容に無関係に、指定のＵＲＬから、指定のリンクの段数の範囲で全ての情報を収集することから、ユーザにとって無用（不要）な情報が多数含まれる虞がある。また、上記先行技術においては、指定の段数よりより先のリンクにユーザにとって有用（重要）な情報があっても、その情報は収集されないという問題もある。
【０００７】
本発明は上記事情を考慮してなされたものでその目的は、ユーザにとって有用な情報だけを効率よく収集することができる知識情報収集システム、知識情報収集方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の１つの観点によれば、知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムが提供される。このシステムは、ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報及びネットワーク上からの情報収集の対象となるリンクの段数を設定すると共に、ネットワーク上からの情報収集の対象外とすべきリンクに関係する語句を、不要語を表すキーワードとして設定する設定手段と、ネットワーク上から収集されたページ情報からリンク文字列を抽出するリンク文字列抽出手段と、抽出されたリンク文字列と設定された不要語を表すキーワードとから、リンク先のページ情報が無用であるかを判定するリンク判定手段と、設定された起点ロケーション情報からリンクを辿ることによりネットワーク上からの情報収集を制御する情報収集制御手段であって、上記リンク判定手段によって無用であると判定されたリンク先のページ情報は、設定されたリンクの段数の範囲内であっても収集の対象外とする情報収集制御手段とを備える。
【０００９】
上記の構成においては、ページ内のリンク文字列と設定された不要語を表すキーワードとから、リンク先のページが無用であるかが判定されて、無用であると判定されたページは、予め設定されたリンクの段数の範囲内であっても収集の対象外とされる。これにより、予め設定されたリンクの段数の範囲内であるために、知識データベースに登録すべきでない無用な情報までも収集されるのを防止でき、知識データベースに登録すべき有用な情報だけをより効率よく収集できる。
【００１０】
ここで、上記設定手段に、ネットワーク上からの情報収集の対象外とすべきリンクに関係する語句を、不要語を表すキーワードとして設定する代わりに、ネットワーク上からの情報収集の対象とすべきリンクに関係する語句を、重要語を表すキーワードとして設定する機能を持たせると共に、上記リンク判定手段に、リンク先のページ情報が無用であるかを判定する代わりに、抽出されたリンク文字列と設定された重要語を表すキーワードとから、リンク先のページ情報が有用であるかを判定する機能を持たせると良い。この場合、情報収集制御手段には、有用であると判定されたリンク先のページ情報を、設定された段数の範囲を超えていても収集の対象とする機能を持たせると良い。
【００１１】
このような構成においては、ページ内のリンク文字列と設定された重要語を表すキーワードとから、リンク先のページが有用であるかが判定され、有用であると判定されたページは、予め設定されたリンクの段数を超えていても収集の対象とされる。これにより、予め設定されたリンクの段数の範囲外であるために、知識データベースに登録すべき有用な情報までも収集されなくなるのを防止でき、知識データベースに登録すべき有用な情報だけをより効率よく収集できる。
【００１２】
また、上記システムに、上記知識データベースに収集された情報を与えられた検索式に従って検索し、その検索結果をユーザに提示する検索手段と、この検索手段による検索結果に応じて参照された情報の有用性または無用性をユーザにより評価させる手段と、上記検索手段による検索に用いられた検索式と、上記知識データベースに収集された情報毎の当該情報が参照される参照回数と、当該情報毎の当該情報に対するユーザの評価結果とを、検索ログとして蓄積する検索ログ蓄積手段と、この検索ログ蓄積手段に蓄積された検索式に出現する語句と、情報毎の参照回数と、情報毎の評価結果とを分析して、検索式に出現する語句毎に、当該語句がユーザにとって重要または不要である程度を表す評価値を生成するログ統計生成手段と、生成された語句毎の評価値をもとに、上記設定手段によって設定可能な重要語または不要語を表すキーワードを生成するキーワード生成手段とが追加された構成とすると良い。
【００１３】
このような構成においては、過去の検索で用いられた検索式に出現する語句と、情報毎の参照回数と、情報毎の評価結果とから、検索式に出現する語句毎に、当該語句がユーザにとって重要または不要である程度を表す評価値が求められ、その語句毎の評価値から、つまり、検索システムの利用状況（検索ログ）に関する評価結果から、重要語または不要語を表すキーワードとして用いられる語句が自動抽出される。これにより、重要語を表すキーワードが自動抽出される構成であれば、ユーザが重要なキーワードを設定する手間が省ける。また、不要語を表すキーワードが自動抽出される構成であれば、ユーザにとって情報収集の対象外とすべきリンクに関係するキーワードを設定する手間が省ける。しかも、情報収集の対象外とすべきリンクに関係するキーワード（不要なキーワード）は、情報収集の対象とすべきリンクに関係するキーワード（重要なキーワード）と異なって、一度収集された情報をユーザが実際に参照してみないと判明しにくい。したがって、不要語を表すキーワードが自動抽出されることは、ユーザにとって極めて有用である。
【００１４】
ここで、自動抽出された重要語または不要語を表すキーワードが、上記設定手段により無条件に設定される構成とする代わりに、自動抽出された重要語または不要語を表すキーワードの一覧をユーザに提示して、その一覧から、上記設定手段により設定されるキーワードをユーザに選択させる構成としても良い。
【００１５】
このような構成においては、自動的に抽出された重要語または不要語を表すキーワードが本当に重要または不要であるかを、ユーザ自身が判断できる。
【発明の効果】
【００１６】
本発明によれば、ページ内のリンク文字列と設定された不要語を表すキーワードとから、リンク先のページが無用であるかを判定し、無用であると判定されたページは、予め設定されたリンクの段数の範囲内であっても収集の対象外とするようにしたので、予め設定されたリンクの段数の範囲内であるために、知識データベースに登録すべきでない無用な情報までも収集されるのを防止することができる。
【００１７】
また本発明によれば、ページ内のリンク文字列と設定された重要語を表すキーワードとから、リンク先のページが有用であるかを判定し、有用であると判定されたページは、予め設定されたリンクの段数を超えていても収集の対象とするようにしたので、予め設定されたリンクの段数の範囲外であるために、知識データベースに登録すべき有用な情報までも収集されなくなるのを防止することができる。
【００１８】
よって本発明によれば、ユーザにとってより有用な情報だけを効率よく収集することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の一実施形態につき図面を参照して説明する。
図１は本発明の一実施形態に係る知識情報収集システムを実現するナレッジマネジメントシステムの構成を示すブロック図である。このナレッジマネジメントシステムは、知識情報の収集、分析及び検索等のサービスを提供する。ナレッジマネジメントシステムは、Ｗｅｂ情報収集システム１１、知識検索システム１２、設定ファイル１３、キーワード生成モジュール１４及び同義語辞書１５を含む。これらＷｅｂ情報収集システム１１、知識検索システム１２、設定ファイル１３、キーワード生成モジュール１４及び同義語辞書１５は、ナレッジマネジメントシステムが提供するサービスの１つである知識情報の収集を行うための知識情報収集システムを構築する。
【００２０】
Ｗｅｂ情報収集システム１１は、ネットワーク、例えばインターネット／イントラネット２０上のＷｅｂサーバー２１からユーザに有用なＷｅｂ情報（ページ情報）を収集してテキスト部分を抽出し、そのテキスト部分を後述する知識データベース（知識ＤＢ）１２１に格納する。Ｗｅｂ情報収集システム１１は、収集制御モジュール１１１、テキスト抽出モジュール１１２、リンクラベル抽出モジュール１１３及びリンク判定モジュール１１４の各モジュールから構成される。
【００２１】
収集制御モジュール１１１は、設定ファイル１３の設定内容に従って、インターネット／イントラネット２０からの有用なページ情報の収集を制御する。テキスト抽出モジュール１１２は、収集制御モジュール１１１の制御によって収集されたページ情報からテキストを抽出して知識ＤＢ１２１に格納する。リンクラベル抽出モジュール１１３は、収集されたページ情報からページ内のリンク文字列であるリンクのラベルを抽出する。リンク判定モジュール１１４は、抽出されたリンクのラベルと設定ファイル１３の設定内容とから、リンク先のページを収集するかを判定する。この判定結果は収集制御モジュール１１１に渡されて、当該収集制御モジュール１１１による、ページ情報収集の制御に用いられる。
【００２２】
知識検索システム１２は、知識ＤＢ１２１、検索エンジン１２２、検索ログ１２３及びログ統計生成モジュール１２４から構成される。知識ＤＢ１２１は、Ｗｅｂ情報収集システム１１内の収集制御モジュール１１１によって収集されたページ情報から、テキスト抽出モジュール１１２によって抽出された文書情報（テキスト）を蓄積しておくのに用いられる。検索エンジン１２２は、ユーザ１０１の操作に応じてＷｅｂブラウザ１６から入力された検索要求の示す検索式（検索文、検索条件）に従って、当該検索式に合致する文書情報（テキスト）を知識ＤＢ１２１から検索し、その検索結果をＷｅｂブラウザ１６を介してユーザ１０１に提示する。検索エンジン１２２はまた、ユーザ１０１に提示された検索結果から選択された文書情報をユーザ１０１に提示する。これによりユーザ１０１は、目的の文書情報を参照することができる。検索ログ１２３は、検索エンジン１２２による情報検索・参照の履歴（ログ）、例えば検索に用いられた検索式、検索結果の参照回数及び参照された文書情報毎のユーザによる評価結果を、検索に関する統計情報として蓄積するのに用いられる。ログ統計生成モジュール１２４は、検索ログ１２３に従い、検索式に出現する語句、検索結果の参照回数、参照された各情報に対するユーザの評価結果を統計的に分析することにより、検索式に出現する各語句について、当該語句が、ユーザにとって重要であるか、不要であるか、そのどちらでもないかを判定するのに必要な情報（ログ統計情報）を生成する。
【００２３】
設定ファイル１３は、起点ＵＲＬ、インターネット／イントラネット２０上からの情報収集の対象となるリンクの段数（初期段数）ｎ、収集ページ数の上限、重要語及び不要語等、Ｗｅｂ情報収集のための条件（知識情報収集条件）を設定・保持する。本実施形態では、設定ファイル１３に設定される重要語及び不要語には、同義語辞書１５に登録されている代表語が用いられる。設定ファイル１３は、ユーザ、例えば管理ユーザ（管理者）１０２の操作に応じてＷｅｂブラウザ１７から入力された設定要求に従って生成される。図１では、１つの設定ファイル１３が示されている。しかし、複数の設定ファイル１３が生成され、その中から任意の設定ファイル１３がユーザの操作によって指定されることで、その指定された設定ファイル１３に設定されている条件に従うＷｅｂ情報収集が行われる構成であっても構わない。
【００２４】
起点ＵＲＬは、収集制御モジュール１１１によってインターネット／イントラネット２０上からの情報収集が制御される際の起点となるページ情報の所在を示すロケーション情報である。重要語及び不要語は、ページ情報内のリンクラベル（リンク文字列）から、リンク先のページ情報が有用であるか無用であるかを判定するのに用いられるキーワードである。キーワード生成モジュール１４は、ログ統計生成モジュール１２４によって生成された検索に関する統計情報（ログ統計情報）をもとに、重要語及び不要語をそれぞれキーワードとして生成する。キーワード生成モジュール１４によるキーワード生成には同義語辞書１５が利用される。同義語辞書１５には、意味が類似した語句の集合が同義語として予め登録されている。各同義語の集合は、それぞれ代表語に対応付けられている。例えば、「価格」「値段」「定価」「料金」は、「価格」を代表語とする同義語グループの要素として同義語辞書１５に登録されている。
【００２５】
Ｗｅｂ情報収集システム１１内の各モジュール、知識検索システム１２内の検索エンジン１２２及びログ統計生成モジュール１２４、そしてキーワード生成モジュール１４は、
コンピュータにインストールされた特別のソフトウェアプログラム（ナレッジマネジメントプログラム）を当該コンピュータ（内のＣＰＵ）が読み取って実行することにより実現される。このプログラムは、コンピュータで読み取り可能な記憶媒体（フロッピー（登録商標）ディスクに代表される磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤに代表される光ディスク、フラッシュメモリに代表される半導体メモリ等）に予め格納して頒布可能である。また、このプログラムが、ネットワークを介してダウンロード（頒布）されても構わない。
【００２６】
次に、図１のナレッジマネジメントシステムにおけるＷｅｂ情報収集処理について、図２及び図３のフローチャートを参照して説明する。
まず管理ユーザ１０２は、図１のナレッジマネジメントシステム（内のＷｅｂ情報収集システム１１）により、インターネット／イントラネット２０上のＷｅｂサーバーから知識ＤＢ１２１に登録すべきＷｅｂ情報（ページ情報）を収集したいものとする。この場合、管理ユーザ１０２は、キーボード等の図示せぬ入力手段を操作して、Ｗｅｂ情報収集システム１１を呼び出す。すると、Ｗｅｂ情報収集システム１１内の収集制御モジュール１１１は、管理ユーザ１０２に対し、設定ファイル１３を指定するための入力操作を要求する。収集制御モジュール１１１は、管理ユーザ１０２の入力操作によって任意の設定ファイル１３が指定されると、当該指定された設定ファイル１３の設定内容をＷｅｂ情報収集条件として用いて、インターネット／イントラネット２０から対応するＷｅｂ情報を次のように収集する、
まず、Ｗｅｂ情報収集システム１１内の収集制御モジュール１１１は、起点ページから始まる情報収集の対象となるリンクの段数Ｚを、初期値（初期段数）ｎに設定する（ステップＳ１）。本実施形態において、初期値ｎは２であるものとする。起点ページのＵＲＬ（起点ＵＲＬ）、及び段数Ｚの初期値ｎは、管理ユーザ１０２により指定された設定ファイル１３に設定されている。次に収集制御モジュール１１１は、起点ページ（のページ情報）を、例えばＨＴＴＰ（Hyper Text Transfer Protocol）を用いて収集する（ステップＳ２）。
【００２７】
次に収集制御モジュール１１１は、未処理の収集済みページが存在するかを調べる（ステップＳ３）。もし、未処理の収集済みページが存在するならば、その未処理の収集済みページを１つ選択する（ステップＳ４）。テキスト抽出モジュール１１２は、収集制御モジュール１１１によって選択されたページ（のページ情報）からテキストを抽出する（ステップＳ５）。
【００２８】
リンクラベル抽出モジュール１１３は、テキスト抽出モジュール１１２によって抽出されたテキスト中に、未処理のリンクが存在するかを調べる（ステップＳ６）。もし、未処理のリンクが存在するならば、リンクラベル抽出モジュール１１３は未処理のリンクを１つ選択する（ステップＳ７）。
【００２９】
リンクラベル抽出モジュール１１３は、選択されたリンクの種類を判定する（ステップＳ８）。もし、リンクの種類が文字リンクであるならば、リンクラベル抽出モジュール１１３は、文字リンク（タグ＜Ａ＞及び＜／Ａ＞）で囲まれた文字列（リンク文字列）をリンクラベルとして抽出する（ステップＳ９）。一方、リンクの種類が画像リンクであるならば、リンクラベル抽出モジュール１１３は、タグ＜Ａ＞及び＜／Ａ＞内のａｌｔプロパティの文字列（リンク文字列）をリンクラベルとして抽出する（ステップＳ１０）。
【００３０】
リンクラベル抽出モジュール１１３は、ステップＳ４で選択されたページに含まれている全てのリンクについて、上記リンク文字列（リンクラベル）を抽出する動作（ステップＳ７，Ｓ８，Ｓ９またはステップＳ７，Ｓ８，Ｓ１０）を繰り返す（ステップＳ６）。そして、リンク文字列（リンクラベル）を抽出する動作が、選択されたページ内の全リンクについて実行されると、リンクラベル抽出モジュール１１３からリンク判定モジュール１１４に制御が渡される。
【００３１】
すると、リンク判定モジュール１１４は、ステップＳ４で選択されたページから抽出された全てのリンク文字列の中に、設定ファイル１３に設定されている重要語を含むリンク文字列が存在するかを判定する（ステップＳ１１）。このステップＳ１１の判定では、同義語辞書１５が参照され、設定ファイル１３に設定されている重要語の同義語も重要語として扱われる。例えば、設定ファイル１３に設定されている重要語が上述の「価格」の場合であれば、「価格」の同義語である「値段」「定価」「料金」も設定ファイル１３に重要語として設定されているものとして扱われる。なお、設定ファイル１３の生成時に、「値段」「定価」「料金」も「価格」と共に、重要語として設定される構成としても構わない。この場合には、ステップＳ１１の判定において同義語辞書１５を参照する必要はなくなる。
【００３２】
もし、重要語を含むリンク文字列が存在するならば（ステップＳ１１）、リンク判定モジュール１１４は対応するリンク列に関して現在設定されているリンク収集の段数Ｚはｎ（初期段数）を超えているかを判定する（ステップＳ１２）。もし、Ｚがｎを超えていないならば、即ちＺがｎに一致するならば、リンク判定モジュール１１４は、ＺをＺ＋ｍ、つまり初期段数ｎよりｍだけ多い段数ｎ＋ｍに更新する（ステップＳ１３）。これに対し、Ｚがｎを超えているならば、リンク判定モジュール１１４は、起点ページからリンク先までのリンクの段数が現在設定されているリンク収集の段数Ｚ以内であるかを判定する（ステップＳ１４）。もし、リンク先までのリンクの段数がＺを超えているならば、Ｚを現在の段数より１だけ多い段数Ｚ＋１に更新する（ステップＳ１５）。
【００３３】
リンク判定モジュール１１４は、ステップＳ１３またはＳ１５を実行すると、ステップＳ１６に進む。これに対し、リンク先までのリンク収集の段数がＺ以内であるならば（ステップＳ１４）、リンク判定モジュール１１４はＺを更新することなく、そのままステップＳ１６に進む。ステップＳ１６において、キーワード生成モジュール１４は、ステップＳ４で選択されたページから抽出されたリンク文字列の中に、未処理のリンク文字列が存在するかを調べる。この例のように、未処理のリンク文字列が存在するならば、リンク判定モジュール１１４は、未処理のリンク文字列を１つ選択する（ステップＳ１７）
リンク判定モジュール１１４は、ステップＳ１７で選択されたリンクの文字列（リンクラベル）が、設定ファイル１３に設定されている重要語を含むかを判定する（ステップＳ１８）。このステップＳ１８の判定では、同義語辞書１５が参照され、設定ファイル１３に設定されている重要語の同義語も重要語として扱われる。
【００３４】
もし、リンク文字列が重要語を含むならば（ステップＳ１８）、リンク判定モジュール１１４は、対応するページ（ステップＳ４で選択されたページ）を含むリンク列に関するリンク収集の現在の段数Ｚに無関係にリンク先ページを収集することを判定（決定）する。すると収集制御モジュール１１１は、リンク先のページを収集する（ステップＳ２１）。収集制御モジュール１１１によって収集された「ページ」（のページ情報）は、「リンク元のラベル（リンク文字列）」と組にして、知識ＤＢ１２１に格納される。
【００３５】
これに対し、リンク文字列が重要語を含まないならば（ステップＳ１８）、リンク判定モジュール１１４は、当該文字列が、設定ファイル１３に設定されている不要語を含むかを判定する（ステップＳ１９）。このステップＳ１９の判定でも、上記ステップＳ１１またはＳ１８と同様に同義語辞書１５が参照され、設定ファイル１３に設定されている不要語の同義語も不要語として扱われる。ここで、リンク文字列が不要語を含むならば（ステップＳ１９）、リンク判定モジュール１１４は対応するページを含むリンク列に関するリンク収集の現在の段数Ｚに無関係にリンク先ページを収集しないことを判定（決定）する。この場合、収集制御モジュール１１１は、リンク先ページを収集することを控える（ステップＳ２３）。なお、本実施形態では、１つのリンクに重要語と不要語の両方が存在する場合には、図３のフローチャートから明らかなように重要語が優先され（ステップＳ１８）、「重要語を含むリンク」として扱われる。
【００３６】
一方、リンク文字列が不要語を含まないならば（ステップＳ１９）、つまりリンク文字列が重要語も不要語も含まないならば（ステップＳ１８，Ｓ１９）、リンク判定モジュール１１４は起点ページからリンク先までのリンクの段数は現在の設定段数Ｚ以内かを判定する（ス２０）。リンク判定モジュール１１４は、リンク文字列が重要語も不要語も含まない場合には（ステップＳ１８，Ｓ１９）、起点ページからリンク先までのリンクの段数が現在の設定段数Ｚ以内である場合に限って（ステップＳ２０）、収集制御モジュール１１１に対してリンク先ページの収集を要求する。収集制御モジュール１１１は、リンク判定モジュール１１４からの要求に応じてリンク先のページを収集する（ステップＳ２１）。これに対し、リンク文字列が重要語も不要語も含まず（ステップＳ１８，Ｓ１９）、しかも起点ページからリンク先までのリンクの段数が現在の設定段数Ｚを超えているならば（ステップＳ２０）、リンク判定モジュール１１４は収集制御モジュール１１１に対してリンク先ページを収集しないことを要求する。これにより収集制御モジュール１１１は、リンク先ページの収集を控える（ステップＳ２３）。この場合、収集制御モジュール１１１からリンク判定モジュール１１４に制御が渡されて、上記ステップＳ１６の判定が行われる。
【００３７】
収集制御モジュール１１１は、上記ステップＳ２１によりリンク先ページ（のページ情報）を収集すると、対応するリンクの収集ページ数の総数が設定された収集ページ数の上限を超えたかを判定する（ステップＳ２２）。もし、収集ページ数の総数が設定された収集ページ数の上限を超えていないならば、収集制御モジュール１１１からリンク判定モジュール１１４に制御が渡されて、上記ステップＳ１６の判定が行われる。
【００３８】
このようにして、ステップＳ４で選択されたページから抽出された全てのリンク文字列について、重要語、不要語またはそれ以外が含まれているかのリンク判定処理と、その判定結果等に基づいてリンク先ページを収集する、または収集しない収集制御とが実行されると、収集ページ数の総数が設定された収集ページ数の上限を超えていない限り、収集制御モジュール１１１は再びステップＳ３の判定を行う。そして、未処理の収集済みページが残っている場合、そのページについて、上記ステップＳ４から始まる処理が行われる。即ち、収集ページ数の総数が収集ページ数の上限を超えるか（ステップＳ２２）、収集されたページ上の全てのリンクについて処理し終えるまで（ステップＳ３）、ステップＳ４から始まる処理が繰り返される。
【００３９】
このように本実施形態においては、ページ中のリンク文字列（リンクラベル）が不要語を含む場合（ステップＳ１９）、リンク先のページはユーザにとって無用である可能性が高いことから、その時点における設定段数Ｚとリンク先までのリンクの段数とに拘わらずに（つまり、リンク先が設定段数Ｚの範囲内であったとしても）、リンク先のページの収集が抑止される（ステップＳ２３）。
【００４０】
また、リンク収集の現在の段数Ｚが初期段数ｎである状態で、対応するリンク列中のページ（つまりｎ段までのページ）に重要語を含むリンクが存在する場合（ステップＳ１１，Ｓ１２）、そのページにつながるリンク収集の段数ＺがＺ＝ｎからＺ＝Ｚ＋ｍ＝ｎ＋ｍに増加される（ステップＳ１３）。同様に、リンク収集の現在の段数Ｚが初期段数ｎを超えている状態で、対応するリンク列中のＺ段目のページに重要語を含むリンクが存在する場合、つまりリンク先までの段数がＺを超える場合（ステップＳ１１，Ｓ１２，Ｓ１４）、そのＺ段目のページにつながるリンク収集の段数Ｚが１だけ増加される（ステップＳ１５）。これにより、ページ中のリンク文字列（リンクラベル）が不要語を含む場合（ステップＳ１８）、リンク先のページはユーザにとって有用である可能性が高いことから、リンク先がリンク収集の初期段数ｎを超えていても、リンク先のページの収集が抑止される（ステップＳ２１）。
【００４１】
また、本実施形態においては、ページから抽出されたリンクラベルが重要語及び不要語のいずれのキーワードも含まない場合には（ステップＳ１８，Ｓ１９）、リンク先までのリンクの段数がその時点における対応するリンク収集の設定段数Ｚ以内である場合に限り（ステップＳ２０）、リンク先のページが収集される（ステップＳ２１）。換言すれば、リンクラベルが重要語及び不要語のいずれも含まず（ステップＳ１８，Ｓ１９）、且つリンク先までのリンクの段数がその時点における対応するリンク収集の設定段数Ｚ以内でない場合には（ステップＳ２０）、リンク先のページは収集されない（ステップＳ２３）。
【００４２】
次に、上述のＷｅｂ情報収集処理の具体例について、図４のリンク判定／ページ収集の一例を示す図を参照して説明する。図４には、設定ファイル１３に設定された起点ＵＲＬで指定される起点ページＰｓが示されている。このページＰｓには、当該ページＰｓを起点とする１段目のページＰ11，Ｐ12，Ｐ13へのリンクが存在する。このページＰ11，Ｐ12，Ｐ13へのリンク（のラベル）は、それぞれ記号○、△、×で示される語句を含む。設定ファイル１３には、記号○、×で示される語句が、それぞれ重要語、不要語として設定されている。以後の説明では、簡略化のために○、×をそれぞれ重要語、不要語であるとする。また、△を○、×どちらでもない語句であるとする。この場合、１段目のページＰ11，Ｐ12，Ｐ13のうち、×を含むリンクの先のページＰ13は、その時点におけるリンク収集の設定段数Ｚ＝２（ｎ＝２）の範囲内であるにも拘わらずに、収集の対象外となる。一方、△を含むリンクの先のページＰ12は、リンク収集の設定段数Ｚ＝２（ｎ＝２）の範囲内であることから、収集される。また、○を含むリンクの先のページＰ11は、リンク収集の設定段数Ｚに無関係に収集される。
【００４３】
ページＰ11は、○、△に対応する２段目のページＰ210、Ｐ211にリンクしている。この場合、ページＰｓを起点とし、且つページＰ11を含むリンク列に関する、収集するリンクの段数Ｚが２（ｎ）から２＋２（ｎ＋ｍ）に増やされる。これにより、２段目のページＰ210と、当該ページＰ210にリンクした３段目のページＰ310には、いずれも△を含むリンクしか存在しないにも拘わらず、そのリンクの先の３段目のページＰ310及び４段目のページＰ410は収集される。このページＰ410には、△を含むリンクしか存在しない。このリンクの先の５段目のページＰ510は、その時点における収集するリンクの段数Ｚ＝４を超える。このため、ページＰ510は収集の対象外となる。なお、本実施形態では、ページＰ11を含むリンク列に関する、収集するリンクの段数が増やされるのは１回だけである。
【００４４】
一方、ページＰ211にリンクした３段目のページＰ311には、△を含むリンクと○を含むリンクとが存在し、そのリンクの先の４段目のページＰ411，Ｐ412は共に収集される。ページＰ411には、△を含むリンクしか存在しない。このリンクの先の５段目のページＰ511は、その時点における収集するリンクの段数Ｚ＝４を超えている。このため、ページＰ511は収集の対象外となる。
【００４５】
これに対し、ページＰ412には△を含むリンクと○’を含むリンクとが存在する。○’は○の同義語である。つまり、ページＰ412には、重要語を含むリンクが存在する。ここで、ページＰ412は起点ページＰｓから４段目であり、ページＰ412のリンク先までの段数は収集するリンクの段数Ｚ＝４を超える。しかし、ページＰ412には重要語を含むリンクが存在するため、Ｚが１増やされてＺ＝５となり、ページＰ412にリンクしている５段目のページＰ513，Ｐ514が収集される。ページＰ513には、△を含むリンクしか存在しない。このリンクの先の６段目のページＰ613は、その時点における収集するリンクの段数Ｚ＝５を超える。このため、ページＰ613は収集の対象外となる。一方、ページＰ514には、○を含むリンクが存在する。そこで、このリンクの先の６段目のページＰ614は収集される。
【００４６】
なお、上記実施形態では、起点ページからｎ（＝２）段までのページに重要語を含むリンクが存在し、そのリンクを含むリンク列に関するリンク収集の設定段数Ｚがｎを超えていない場合（Ｚが初期段数ｎの場合）、当該Ｚがｍ（＝２）だけ増やされる。しかし、任意の段のページに重要語を含むリンクが存在し、そのリンクを含むリンク列に関するリンク収集の設定段数Ｚがｎ以上の場合に、当該Ｚが１だけ増やされる構成であっても構わない。
【００４７】
次に、ログ統計生成モジュール１２４を中心とする知識検索システム１２の動作について説明する。
知識検索システム１２内の検索エンジン１２２は、ユーザ１０１の操作に従う検索要求をＷｅｂブラウザ１６を介して受け取ると、その検索要求の示す検索式に合致する文書情報（ページ情報）を知識ＤＢ１２１から検索する。このとき検索エンジン１２２は、検索式を検索ログ１２３に保存する。
【００４８】
検索エンジン１２２は、検索式に合致する文書情報を検索すると、その検索結果の一覧の画像情報を生成して、Ｗｅｂブラウザ１６を介してユーザ１０１に提示する。この検索結果の一覧は、検索要求の示す検索式に合致する各文書情報の例えばＩＤ（情報ＩＤ）を含む。また、検索結果の一覧に、検索された各文書情報の要約を含めることも可能である。ユーザ１０１は、検索結果の一覧から、自身が参照したい文書情報の情報ＩＤを選択する。検索エンジン１２２は、検索結果の一覧から情報ＩＤが選択されたことを検出すると、選択されたＩＤにより示される文書情報を知識ＤＢ１２１から読み出し、その文書情報をＷｅｂブラウザ１６を介してユーザ１０１に提示する。
【００４９】
検索ログ１２３は、図５に示すデータ構造のログテーブル１２３ａを含む。ログテーブル１２３ａの各エントリは、知識ＤＢ１２１に格納されている文書情報（ページ情報）毎に、その文書情報のＩＤ（情報ＩＤ）と、その文書情報と組にして知識ＤＢ１２１に格納されているリンク元のラベル（リンク文字列）と、その文書情報がユーザにより参照された回数（参照回数）と、その文書情報に関するユーザの評価結果とがそれぞれ設定される項目を有する。評価結果の項目は、文書情報が重要（有用）であった場合に１加点される重要評価回数と、不要（無用）であった場合に１加点される不要評価回数の各項目からなる。
【００５０】
本実施形態では、文書情報（ページ情報）が知識ＤＢ１２１に格納された際に、その文書情報のＩＤと、その文書情報（ページ情報）と組をなして当該知識ＤＢ１２１に格納されるリンク元のラベル（リンク文字列）とを含むエントリ情報が生成されて、ログテーブル１２３ａに格納される。このとき、エントリ情報中の参照回数、重要評価回数及び不要評価回数は、いずれも０に初期化されている。
【００５１】
ログテーブル１２３ａのエントリ情報中の参照回数は、検索結果の一覧から、ユーザ１０１によって対応する文書情報のＩＤが選択され、その選択されたＩＤの示す文書情報がユーザ１０１によって参照された場合に、検索エンジン１２２によって１だけインクリメントされる。また、文書情報が参照された場合、検索エンジン１２２はユーザ１０１に対して、その文書情報が重要（有用）であったか、或は不要（無用）であったかの評価結果の入力を要求する。もし、評価結果として「重要」が入力（選択）された場合、ログテーブル１２３ａの対応するエントリ情報中の重要評価回数が１だけインクリメントされる。これに対し、評価結果として「不要」が入力（選択）された場合、ログテーブル１２３ａの対応するエントリ情報中の不要評価回数が１だけインクリメントされる。
【００５２】
検索ログ１２３はまた、図６に示すデータ構造のログ統計テーブル１２３ｂを含む。ログ統計テーブル１２３ｂの各エントリは、検索ログ１２３に保存されている、文書情報の検索に用いられた検索式に出現する単語（語句）毎に、検索式出現回数と、重要評価割合と、不要評価割合と、出現回数順位と、重要評価順位と、不要評価順位と、重要度と、判定結果との各項目からなる。検索式出現回数は、対応する単語が検索式に出現する回数を示す。重要評価割合及び不要評価割合は、それぞれ対応する単語の参照回数に対する重要評価回数及び不要評価回数の割合を示す。出現回数順位は、検索式出現回数の順位を示す。重要評価順位及び不要評価順位は、それぞれ「重要」評価割合及び「不要」評価割合の順位を示す。重要度は、対応する単語の重要度を示す。判定結果は、対応する単語の重要度から判定される、当該単語が「重要語」であるか、或は「不要語」であるか、或はそのいずれでもないかを示す。
【００５３】
本実施形態では、ログ統計テーブル１２３ｂが、ログ統計生成モジュール１２４によって定期的に生成される。以下、ログ統計生成モジュール１２４によるログ統計テーブル生成処理について、図７及び図８のフローチャートを参照して説明する。
【００５４】
まずログ統計生成モジュール１２４は、検索ログ１２３に保存されている検索式の中から未処理の検索式を１つ取り出す（ステップＳ３１）。次にログ統計生成モジュール１２４は、取り出された検索式から、その検索式に出現する未処理の単語（語句）を抽出する（ステップＳ３２）。もし、ログ統計テーブル１２３ｂに格納されていない単語が抽出された場合（ステップＳ３３）、ログ統計生成モジュール１２４は、その単語を含むログ統計テーブル１２３ｂのエントリ情報を生成する（ステップＳ３４）。このとき、エントリ情報中の検索式出現回数は１に初期化され、それ以外の項目は空欄となっている。また、検索式から抽出された単語を含むエントリ情報が既にログ統計テーブル１２３ｂに格納されている場合（ステップＳ３３）、ログ統計生成モジュール１２４は、当該エントリ情報中の検索式出現回数を１インクリメントする（ステップＳ３５）。このログ統計テーブル１２３ｂの各エントリ情報の検索式出現回数は、検索に用いられた検索式に出現する単語を分析して得られる頻度情報（統計情報）である。
【００５５】
次にログ統計生成モジュール１２４は、ステップＳ３１で取り出された検索式に未処理の単語が存在するかを判定する（ステップＳ３６）。もし、未処理の単語が存在するならば、ログ統計生成モジュール１２４は上記ステップＳ３２の処理に戻る。これに対し、未処理の単語が存在しないならば、ログ統計生成モジュール１２４は検索ログ１２３内に未処理の検索式が存在するかを判定する（ステップＳ３７）。もし、未処理の検索式が存在するならば、ログ統計生成モジュール１２４は上記ステップＳ３１の処理に戻る。
【００５６】
ログ統計生成モジュール１２４は、検索ログ１２３に保存されている全ての検索式について処理し終えると（ステップＳ３７）、ログ統計テーブル１２３ｂ内の各エントリ情報中の、重要評価割合と、不要評価割合と、出現回数順位と、重要評価順位と、不要評価順位と、重要度と、判定結果とを、次のように決定する。
【００５７】
まずログ統計生成モジュール１２４は、ログ統計テーブル１２３ｂから未処理のエントリ情報を１つ選択する（ステップＳ３８）。次にログ統計生成モジュール１２４は、選択されたエントリ情報中の単語を読み出す（ステップＳ３９）。次にログ統計生成モジュール１２４は、ログテーブル１２３ａから、ステップＳ３９で読み出された単語を含むリンク文字列が設定されているエントリ情報を検索して、参照回数、重要評価回数及び不要評価回数を参照する（ステップＳ４０，Ｓ４１）。そしてログ統計生成モジュール１２４は、参照回数に対する重要評価回数及び不要評価回数各々の割合（％）を算出し、ログ統計テーブル１２３ｂ内の対応するエントリ情報に設定する（ステップＳ４２）。ここで、異なるリンク文字列に共通に含まれる単語（図４の例では「価格」）については、全ての参照回数と評価回数（重要評価回数及び不要評価回数）を、それぞれ合計して、参照回数に対する重要評価回数及び不要評価回数各々の割合（％）を算出する。ログ統計生成モジュール１２４は、上述したステップＳ３８乃至Ｓ４３の処理を、ログ統計テーブル１２３ｂ内の全てのエントリ情報について繰り返す（ステップＳ４４）。
【００５８】
次に、ログ統計生成モジュール１２４は、ログ統計テーブル１２３ｂ内の全てのエントリ情報について、検索式出現回数の降順となるように検索式出現回数の順位付けを行い、当該全てのエントリ情報中の出現回数順位を設定する（ステップＳ４５）。同様に、ログ統計生成モジュール１２４は、ログ統計テーブル１２３ｂ内の全てのエントリ情報の重要評価割合の降順となるように重要評価割合の順位付けを行い、当該全てのエントリ情報中の重要評価順位を設定する（ステップＳ４６）。この場合、順位が高いほど、重要評価割合が高いことを示す。同様に、ログ統計生成モジュール１２４は、ログ統計テーブル１２３ｂ内の全てのエントリ情報の不要評価割合の昇順となるように不要評価割合の順位付けを行い、当該全てのエントリ情報中の不要評価順位を設定する（ステップＳ４７）。この場合、順位が低いほど、不要評価割合が高いことを示す。
【００５９】
ログ統計生成モジュール１２４は、上記ステップＳ４５乃至Ｓ４６を実行すると、ログ統計テーブル１２３ｂ内の各エントリ情報毎に、出現回数順位と重要評価順位と不要評価順位との合計を算出し、その合計値を当該エントリ情報中の「重要度」として設定する（ステップＳ４８）。つまりログ統計生成モジュール１２４は、出現回数順位と重要評価順位と不要評価順位とを総合的に評価して、対応する単語の「重要度」を決定する。ここでは、対応する単語が検索式に出現する回数が多いほど、また重要評価順位が高いほど、そして不要評価順位が低いほど、「重要度」は高くなる（つまり「不要度」は低くなる）。同様に、対応する単語が検索式に出現する回数が少ないほど、また重要評価順位が低いほど、そして不要評価順位が高いほど、「重要度」は低くなる（つまり「不要度」は高くなる）。このように、「重要度」は、見方を変えれば、「不要度」を表すことと等価である。
【００６０】
次にログ統計生成モジュール１２４は、ログ統計テーブル１２３ｂ内の各単語毎のエントリ情報中の「重要度」を判定し、上位Ｘ％（例えば２０％）に属する単語を「重要語」の候補とし、下位Ｙ％（例えば２０％）に属する単語を「不要語」の候補とする（ステップＳ４９）。なお、この「重要語」及び「不要語」の候補を決定する処理（ステップＳ４９）、更には単語毎の「重要度」を算出する処理（ステップＳ４８）が、キーワード生成モジュール１４によって実行される構成であっても構わない。
【００６１】
このように本実施形態においては、（１）検索式に出現する語句、（２）検索結果の参照回数、（３）参照された各情報に対するユーザの評価を統計的に分析し処理することにより、「重要語」の候補及び「不要語」の候補が自動的に決定される。ここでは、検索式に出現する頻度が高く、参照回数の多い、または評価の高い情報に含まれる語句が、ユーザが必要とする情報を収集するためのキーワードとしての「重要語」の候補とされる。また、検索式に出現する頻度が低く、参照回数の少ない、または評価の低い情報に含まれる語句が、ユーザが必要としない情報が収集されるのを抑止するためのキーワードとしての「不要語」の候補とされる。なお、ログ統計テーブル１２３ｂを生成する際に、同義語辞書１５を利用することで同義語を例えば代表語に置き換えて、１つのエントリ情報にマージすると良い。
【００６２】
キーワード生成モジュール１４は、ログ統計生成モジュール１２４によって決定された、「重要度」の候補の一覧及び「不要語」の候補の一覧を、定期的に、或は管理ユーザ１０２から設定ファイル１３の生成が要求された場合に、当該管理ユーザ１０２にＷｅｂブラウザ１７を介して提示して、その一覧から、それぞれ「重要度」及び「不要語」を管理ユーザ１０２に選択させることで、「重要度」及び「不要語」を決定する。キーワード生成モジュール１４は、選択された「重要度」及び「不要語」が設定された設定ファイル１３を生成する。勿論、「重要度」の候補及び「不要語」の候補を、それぞれ「重要度」及び「不要語」として自動的に決定する構成であっても構わない。
【００６３】
図１には、知識ＤＢ１２１が１つだけ示されている。しかし、知識検索システム１２が有する知識ＤＢ１２１は複数であることが多い。この場合、設定ファイル１３に、情報収集先の知識ＤＢ１２１を指定する情報を含めると良い。また設定ファイル１３に、上記特許文献１に記載されている「収集するＵＲＬの文字列パターン」と「収集しないＵＲＬの文字列パターン」とを設定し、ＵＲＬ単位で収集するページと収集しないページとを指定するようにしても構わない。
【００６４】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施形態に係る知識情報収集システムを実現するナレッジマネジメントシステムの構成を示すブロック図。
【図２】同実施形態におけるＷｅｂ情報収集処理を説明するためのフローチャートの一部を示す図。
【図３】同実施形態におけるＷｅｂ情報収集処理を説明するためのフローチャートの残りを示す図。
【図４】Ｗｅｂ情報収集処理におけるリンク判定／ページ収集の一例を示す図。
【図５】ログテーブル１２３ａのデータ構造例を示す図。
【図６】ログ統計テーブル１２３ｂのデータ構造例を示す図。
【図７】同実施形態におけるログ統計テーブル生成処理を説明するためのフローチャートの一部を示す図。
【図８】同実施形態におけるログ統計テーブル生成処理を説明するためのフローチャートの残りを示す図。
【符号の説明】
【００６６】
１１…Ｗｅｂ情報収集システム、１２…知識検索システム、１３…設定ファイル（設定手段）、１４…キーワード生成モジュール、１５…同義語辞書、２０…インターネット／イントラネット（ネットワーク）、１１１…収集制御モジュール（情報収集制御手段）、１１２…テキスト抽出モジュール、１１３…リンクラベル抽出モジュール（リンク文字列抽出手段）、１１４…リンク判定モジュール、１２２…検索エンジン（検索手段、評価させる手段）、１２３…検索ログ（検索ログ蓄積手段）、１２３ａ…ログテーブル、１２３ｂ…ログ統計テーブル、１２４…ログ統計生成モジュール。
【技術分野】
【０００１】
本発明は、ナレッジマネジメントシステムで用いられる知識データベースに登録すべき情報をネットワーク上から収集するのに好適な知識情報収集システム、知識情報収集方法及びプログラムに関する。
【背景技術】
【０００２】
近年、知識情報の共有支援を図るためのナレッジマネジメントシステムが開発されている。このナレッジマネジメントシステムは、個人のノウハウなどの知識情報を知識データベースに蓄積して管理するためのものであり、自然言語検索などの検索機能と組み合わせることにより、蓄積された知識情報の効率的な活用を実現する。
【０００３】
このようなナレッジマネジメントシステムでは、知識情報をいかに効率よく収集するかが重要なポイントとなる。そこで最近は、ネットワーク、例えばインターネットから、ファイル形式の異なる様々な種類の文書ファイルを知識情報として効率よく収集するための知識情報収集システムが開発されている（例えば、特許文献１参照）。この特許文献１に記載された知識情報収集システムにおいては、設定ファイルに設定された知識情報収集のための条件（知識情報収集条件）に従って、インターネットから、文書情報が次のように収集される。
【０００４】
まず、知識情報収集システムは、設定ファイルとＷｅｂ収集モジュールとを有する。設定ファイルには、ユーザ（例えば管理者である管理ユーザ）の操作によって、情報収集の対象となるリンクの段数及びリンク毎の収集ファイル個数の少なくとも一方が、起点ＵＲＬ（Uniform Resource Locator）と共に設定される。Ｗｅｂ収集モジュールは、起点ＵＲＬ及びリンクの段数が設定ファイルに設定されている場合、当該起点ＵＲＬから設定されたリンクの段数の上限を超えない範囲で、全てのリンクを辿ってインターネットから文書情報（ページ情報）を収集する。また、起点ＵＲＬ及びリンクの段数に加えて、リンク毎の収集ファイル個数が設定されている場合、Ｗｅｂ収集モジュールは、起点ＵＲＬから設定されたリンクの段数の上限を超えず、かつ設定されたリンク毎の収集ファイル個数を超えない範囲で、全てのリンクを辿ってインターネットから文書情報を収集する。
【特許文献１】特開２００３−３０３１９７号公報（段落０００８，００１０，００８６乃至００８９）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記したように、特許文献１に記載された知識情報収集技術（以下、先行技術と称する）によれば、設定ファイルを用いて、ネットワーク上からの情報収集の対象となるリンクの段数等を任意に指定することで、起点ＵＲＬから指定のリンクの段数の上限を超えない範囲で、全てのリンクを辿って文書情報が収集される。
【０００６】
しかし、上記先行技術においては、収集する文書情報（ページ情報）の内容に無関係に、指定のＵＲＬから、指定のリンクの段数の範囲で全ての情報を収集することから、ユーザにとって無用（不要）な情報が多数含まれる虞がある。また、上記先行技術においては、指定の段数よりより先のリンクにユーザにとって有用（重要）な情報があっても、その情報は収集されないという問題もある。
【０００７】
本発明は上記事情を考慮してなされたものでその目的は、ユーザにとって有用な情報だけを効率よく収集することができる知識情報収集システム、知識情報収集方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の１つの観点によれば、知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムが提供される。このシステムは、ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報及びネットワーク上からの情報収集の対象となるリンクの段数を設定すると共に、ネットワーク上からの情報収集の対象外とすべきリンクに関係する語句を、不要語を表すキーワードとして設定する設定手段と、ネットワーク上から収集されたページ情報からリンク文字列を抽出するリンク文字列抽出手段と、抽出されたリンク文字列と設定された不要語を表すキーワードとから、リンク先のページ情報が無用であるかを判定するリンク判定手段と、設定された起点ロケーション情報からリンクを辿ることによりネットワーク上からの情報収集を制御する情報収集制御手段であって、上記リンク判定手段によって無用であると判定されたリンク先のページ情報は、設定されたリンクの段数の範囲内であっても収集の対象外とする情報収集制御手段とを備える。
【０００９】
上記の構成においては、ページ内のリンク文字列と設定された不要語を表すキーワードとから、リンク先のページが無用であるかが判定されて、無用であると判定されたページは、予め設定されたリンクの段数の範囲内であっても収集の対象外とされる。これにより、予め設定されたリンクの段数の範囲内であるために、知識データベースに登録すべきでない無用な情報までも収集されるのを防止でき、知識データベースに登録すべき有用な情報だけをより効率よく収集できる。
【００１０】
ここで、上記設定手段に、ネットワーク上からの情報収集の対象外とすべきリンクに関係する語句を、不要語を表すキーワードとして設定する代わりに、ネットワーク上からの情報収集の対象とすべきリンクに関係する語句を、重要語を表すキーワードとして設定する機能を持たせると共に、上記リンク判定手段に、リンク先のページ情報が無用であるかを判定する代わりに、抽出されたリンク文字列と設定された重要語を表すキーワードとから、リンク先のページ情報が有用であるかを判定する機能を持たせると良い。この場合、情報収集制御手段には、有用であると判定されたリンク先のページ情報を、設定された段数の範囲を超えていても収集の対象とする機能を持たせると良い。
【００１１】
このような構成においては、ページ内のリンク文字列と設定された重要語を表すキーワードとから、リンク先のページが有用であるかが判定され、有用であると判定されたページは、予め設定されたリンクの段数を超えていても収集の対象とされる。これにより、予め設定されたリンクの段数の範囲外であるために、知識データベースに登録すべき有用な情報までも収集されなくなるのを防止でき、知識データベースに登録すべき有用な情報だけをより効率よく収集できる。
【００１２】
また、上記システムに、上記知識データベースに収集された情報を与えられた検索式に従って検索し、その検索結果をユーザに提示する検索手段と、この検索手段による検索結果に応じて参照された情報の有用性または無用性をユーザにより評価させる手段と、上記検索手段による検索に用いられた検索式と、上記知識データベースに収集された情報毎の当該情報が参照される参照回数と、当該情報毎の当該情報に対するユーザの評価結果とを、検索ログとして蓄積する検索ログ蓄積手段と、この検索ログ蓄積手段に蓄積された検索式に出現する語句と、情報毎の参照回数と、情報毎の評価結果とを分析して、検索式に出現する語句毎に、当該語句がユーザにとって重要または不要である程度を表す評価値を生成するログ統計生成手段と、生成された語句毎の評価値をもとに、上記設定手段によって設定可能な重要語または不要語を表すキーワードを生成するキーワード生成手段とが追加された構成とすると良い。
【００１３】
このような構成においては、過去の検索で用いられた検索式に出現する語句と、情報毎の参照回数と、情報毎の評価結果とから、検索式に出現する語句毎に、当該語句がユーザにとって重要または不要である程度を表す評価値が求められ、その語句毎の評価値から、つまり、検索システムの利用状況（検索ログ）に関する評価結果から、重要語または不要語を表すキーワードとして用いられる語句が自動抽出される。これにより、重要語を表すキーワードが自動抽出される構成であれば、ユーザが重要なキーワードを設定する手間が省ける。また、不要語を表すキーワードが自動抽出される構成であれば、ユーザにとって情報収集の対象外とすべきリンクに関係するキーワードを設定する手間が省ける。しかも、情報収集の対象外とすべきリンクに関係するキーワード（不要なキーワード）は、情報収集の対象とすべきリンクに関係するキーワード（重要なキーワード）と異なって、一度収集された情報をユーザが実際に参照してみないと判明しにくい。したがって、不要語を表すキーワードが自動抽出されることは、ユーザにとって極めて有用である。
【００１４】
ここで、自動抽出された重要語または不要語を表すキーワードが、上記設定手段により無条件に設定される構成とする代わりに、自動抽出された重要語または不要語を表すキーワードの一覧をユーザに提示して、その一覧から、上記設定手段により設定されるキーワードをユーザに選択させる構成としても良い。
【００１５】
このような構成においては、自動的に抽出された重要語または不要語を表すキーワードが本当に重要または不要であるかを、ユーザ自身が判断できる。
【発明の効果】
【００１６】
本発明によれば、ページ内のリンク文字列と設定された不要語を表すキーワードとから、リンク先のページが無用であるかを判定し、無用であると判定されたページは、予め設定されたリンクの段数の範囲内であっても収集の対象外とするようにしたので、予め設定されたリンクの段数の範囲内であるために、知識データベースに登録すべきでない無用な情報までも収集されるのを防止することができる。
【００１７】
また本発明によれば、ページ内のリンク文字列と設定された重要語を表すキーワードとから、リンク先のページが有用であるかを判定し、有用であると判定されたページは、予め設定されたリンクの段数を超えていても収集の対象とするようにしたので、予め設定されたリンクの段数の範囲外であるために、知識データベースに登録すべき有用な情報までも収集されなくなるのを防止することができる。
【００１８】
よって本発明によれば、ユーザにとってより有用な情報だけを効率よく収集することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の一実施形態につき図面を参照して説明する。
図１は本発明の一実施形態に係る知識情報収集システムを実現するナレッジマネジメントシステムの構成を示すブロック図である。このナレッジマネジメントシステムは、知識情報の収集、分析及び検索等のサービスを提供する。ナレッジマネジメントシステムは、Ｗｅｂ情報収集システム１１、知識検索システム１２、設定ファイル１３、キーワード生成モジュール１４及び同義語辞書１５を含む。これらＷｅｂ情報収集システム１１、知識検索システム１２、設定ファイル１３、キーワード生成モジュール１４及び同義語辞書１５は、ナレッジマネジメントシステムが提供するサービスの１つである知識情報の収集を行うための知識情報収集システムを構築する。
【００２０】
Ｗｅｂ情報収集システム１１は、ネットワーク、例えばインターネット／イントラネット２０上のＷｅｂサーバー２１からユーザに有用なＷｅｂ情報（ページ情報）を収集してテキスト部分を抽出し、そのテキスト部分を後述する知識データベース（知識ＤＢ）１２１に格納する。Ｗｅｂ情報収集システム１１は、収集制御モジュール１１１、テキスト抽出モジュール１１２、リンクラベル抽出モジュール１１３及びリンク判定モジュール１１４の各モジュールから構成される。
【００２１】
収集制御モジュール１１１は、設定ファイル１３の設定内容に従って、インターネット／イントラネット２０からの有用なページ情報の収集を制御する。テキスト抽出モジュール１１２は、収集制御モジュール１１１の制御によって収集されたページ情報からテキストを抽出して知識ＤＢ１２１に格納する。リンクラベル抽出モジュール１１３は、収集されたページ情報からページ内のリンク文字列であるリンクのラベルを抽出する。リンク判定モジュール１１４は、抽出されたリンクのラベルと設定ファイル１３の設定内容とから、リンク先のページを収集するかを判定する。この判定結果は収集制御モジュール１１１に渡されて、当該収集制御モジュール１１１による、ページ情報収集の制御に用いられる。
【００２２】
知識検索システム１２は、知識ＤＢ１２１、検索エンジン１２２、検索ログ１２３及びログ統計生成モジュール１２４から構成される。知識ＤＢ１２１は、Ｗｅｂ情報収集システム１１内の収集制御モジュール１１１によって収集されたページ情報から、テキスト抽出モジュール１１２によって抽出された文書情報（テキスト）を蓄積しておくのに用いられる。検索エンジン１２２は、ユーザ１０１の操作に応じてＷｅｂブラウザ１６から入力された検索要求の示す検索式（検索文、検索条件）に従って、当該検索式に合致する文書情報（テキスト）を知識ＤＢ１２１から検索し、その検索結果をＷｅｂブラウザ１６を介してユーザ１０１に提示する。検索エンジン１２２はまた、ユーザ１０１に提示された検索結果から選択された文書情報をユーザ１０１に提示する。これによりユーザ１０１は、目的の文書情報を参照することができる。検索ログ１２３は、検索エンジン１２２による情報検索・参照の履歴（ログ）、例えば検索に用いられた検索式、検索結果の参照回数及び参照された文書情報毎のユーザによる評価結果を、検索に関する統計情報として蓄積するのに用いられる。ログ統計生成モジュール１２４は、検索ログ１２３に従い、検索式に出現する語句、検索結果の参照回数、参照された各情報に対するユーザの評価結果を統計的に分析することにより、検索式に出現する各語句について、当該語句が、ユーザにとって重要であるか、不要であるか、そのどちらでもないかを判定するのに必要な情報（ログ統計情報）を生成する。
【００２３】
設定ファイル１３は、起点ＵＲＬ、インターネット／イントラネット２０上からの情報収集の対象となるリンクの段数（初期段数）ｎ、収集ページ数の上限、重要語及び不要語等、Ｗｅｂ情報収集のための条件（知識情報収集条件）を設定・保持する。本実施形態では、設定ファイル１３に設定される重要語及び不要語には、同義語辞書１５に登録されている代表語が用いられる。設定ファイル１３は、ユーザ、例えば管理ユーザ（管理者）１０２の操作に応じてＷｅｂブラウザ１７から入力された設定要求に従って生成される。図１では、１つの設定ファイル１３が示されている。しかし、複数の設定ファイル１３が生成され、その中から任意の設定ファイル１３がユーザの操作によって指定されることで、その指定された設定ファイル１３に設定されている条件に従うＷｅｂ情報収集が行われる構成であっても構わない。
【００２４】
起点ＵＲＬは、収集制御モジュール１１１によってインターネット／イントラネット２０上からの情報収集が制御される際の起点となるページ情報の所在を示すロケーション情報である。重要語及び不要語は、ページ情報内のリンクラベル（リンク文字列）から、リンク先のページ情報が有用であるか無用であるかを判定するのに用いられるキーワードである。キーワード生成モジュール１４は、ログ統計生成モジュール１２４によって生成された検索に関する統計情報（ログ統計情報）をもとに、重要語及び不要語をそれぞれキーワードとして生成する。キーワード生成モジュール１４によるキーワード生成には同義語辞書１５が利用される。同義語辞書１５には、意味が類似した語句の集合が同義語として予め登録されている。各同義語の集合は、それぞれ代表語に対応付けられている。例えば、「価格」「値段」「定価」「料金」は、「価格」を代表語とする同義語グループの要素として同義語辞書１５に登録されている。
【００２５】
Ｗｅｂ情報収集システム１１内の各モジュール、知識検索システム１２内の検索エンジン１２２及びログ統計生成モジュール１２４、そしてキーワード生成モジュール１４は、
コンピュータにインストールされた特別のソフトウェアプログラム（ナレッジマネジメントプログラム）を当該コンピュータ（内のＣＰＵ）が読み取って実行することにより実現される。このプログラムは、コンピュータで読み取り可能な記憶媒体（フロッピー（登録商標）ディスクに代表される磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤに代表される光ディスク、フラッシュメモリに代表される半導体メモリ等）に予め格納して頒布可能である。また、このプログラムが、ネットワークを介してダウンロード（頒布）されても構わない。
【００２６】
次に、図１のナレッジマネジメントシステムにおけるＷｅｂ情報収集処理について、図２及び図３のフローチャートを参照して説明する。
まず管理ユーザ１０２は、図１のナレッジマネジメントシステム（内のＷｅｂ情報収集システム１１）により、インターネット／イントラネット２０上のＷｅｂサーバーから知識ＤＢ１２１に登録すべきＷｅｂ情報（ページ情報）を収集したいものとする。この場合、管理ユーザ１０２は、キーボード等の図示せぬ入力手段を操作して、Ｗｅｂ情報収集システム１１を呼び出す。すると、Ｗｅｂ情報収集システム１１内の収集制御モジュール１１１は、管理ユーザ１０２に対し、設定ファイル１３を指定するための入力操作を要求する。収集制御モジュール１１１は、管理ユーザ１０２の入力操作によって任意の設定ファイル１３が指定されると、当該指定された設定ファイル１３の設定内容をＷｅｂ情報収集条件として用いて、インターネット／イントラネット２０から対応するＷｅｂ情報を次のように収集する、
まず、Ｗｅｂ情報収集システム１１内の収集制御モジュール１１１は、起点ページから始まる情報収集の対象となるリンクの段数Ｚを、初期値（初期段数）ｎに設定する（ステップＳ１）。本実施形態において、初期値ｎは２であるものとする。起点ページのＵＲＬ（起点ＵＲＬ）、及び段数Ｚの初期値ｎは、管理ユーザ１０２により指定された設定ファイル１３に設定されている。次に収集制御モジュール１１１は、起点ページ（のページ情報）を、例えばＨＴＴＰ（Hyper Text Transfer Protocol）を用いて収集する（ステップＳ２）。
【００２７】
次に収集制御モジュール１１１は、未処理の収集済みページが存在するかを調べる（ステップＳ３）。もし、未処理の収集済みページが存在するならば、その未処理の収集済みページを１つ選択する（ステップＳ４）。テキスト抽出モジュール１１２は、収集制御モジュール１１１によって選択されたページ（のページ情報）からテキストを抽出する（ステップＳ５）。
【００２８】
リンクラベル抽出モジュール１１３は、テキスト抽出モジュール１１２によって抽出されたテキスト中に、未処理のリンクが存在するかを調べる（ステップＳ６）。もし、未処理のリンクが存在するならば、リンクラベル抽出モジュール１１３は未処理のリンクを１つ選択する（ステップＳ７）。
【００２９】
リンクラベル抽出モジュール１１３は、選択されたリンクの種類を判定する（ステップＳ８）。もし、リンクの種類が文字リンクであるならば、リンクラベル抽出モジュール１１３は、文字リンク（タグ＜Ａ＞及び＜／Ａ＞）で囲まれた文字列（リンク文字列）をリンクラベルとして抽出する（ステップＳ９）。一方、リンクの種類が画像リンクであるならば、リンクラベル抽出モジュール１１３は、タグ＜Ａ＞及び＜／Ａ＞内のａｌｔプロパティの文字列（リンク文字列）をリンクラベルとして抽出する（ステップＳ１０）。
【００３０】
リンクラベル抽出モジュール１１３は、ステップＳ４で選択されたページに含まれている全てのリンクについて、上記リンク文字列（リンクラベル）を抽出する動作（ステップＳ７，Ｓ８，Ｓ９またはステップＳ７，Ｓ８，Ｓ１０）を繰り返す（ステップＳ６）。そして、リンク文字列（リンクラベル）を抽出する動作が、選択されたページ内の全リンクについて実行されると、リンクラベル抽出モジュール１１３からリンク判定モジュール１１４に制御が渡される。
【００３１】
すると、リンク判定モジュール１１４は、ステップＳ４で選択されたページから抽出された全てのリンク文字列の中に、設定ファイル１３に設定されている重要語を含むリンク文字列が存在するかを判定する（ステップＳ１１）。このステップＳ１１の判定では、同義語辞書１５が参照され、設定ファイル１３に設定されている重要語の同義語も重要語として扱われる。例えば、設定ファイル１３に設定されている重要語が上述の「価格」の場合であれば、「価格」の同義語である「値段」「定価」「料金」も設定ファイル１３に重要語として設定されているものとして扱われる。なお、設定ファイル１３の生成時に、「値段」「定価」「料金」も「価格」と共に、重要語として設定される構成としても構わない。この場合には、ステップＳ１１の判定において同義語辞書１５を参照する必要はなくなる。
【００３２】
もし、重要語を含むリンク文字列が存在するならば（ステップＳ１１）、リンク判定モジュール１１４は対応するリンク列に関して現在設定されているリンク収集の段数Ｚはｎ（初期段数）を超えているかを判定する（ステップＳ１２）。もし、Ｚがｎを超えていないならば、即ちＺがｎに一致するならば、リンク判定モジュール１１４は、ＺをＺ＋ｍ、つまり初期段数ｎよりｍだけ多い段数ｎ＋ｍに更新する（ステップＳ１３）。これに対し、Ｚがｎを超えているならば、リンク判定モジュール１１４は、起点ページからリンク先までのリンクの段数が現在設定されているリンク収集の段数Ｚ以内であるかを判定する（ステップＳ１４）。もし、リンク先までのリンクの段数がＺを超えているならば、Ｚを現在の段数より１だけ多い段数Ｚ＋１に更新する（ステップＳ１５）。
【００３３】
リンク判定モジュール１１４は、ステップＳ１３またはＳ１５を実行すると、ステップＳ１６に進む。これに対し、リンク先までのリンク収集の段数がＺ以内であるならば（ステップＳ１４）、リンク判定モジュール１１４はＺを更新することなく、そのままステップＳ１６に進む。ステップＳ１６において、キーワード生成モジュール１４は、ステップＳ４で選択されたページから抽出されたリンク文字列の中に、未処理のリンク文字列が存在するかを調べる。この例のように、未処理のリンク文字列が存在するならば、リンク判定モジュール１１４は、未処理のリンク文字列を１つ選択する（ステップＳ１７）
リンク判定モジュール１１４は、ステップＳ１７で選択されたリンクの文字列（リンクラベル）が、設定ファイル１３に設定されている重要語を含むかを判定する（ステップＳ１８）。このステップＳ１８の判定では、同義語辞書１５が参照され、設定ファイル１３に設定されている重要語の同義語も重要語として扱われる。
【００３４】
もし、リンク文字列が重要語を含むならば（ステップＳ１８）、リンク判定モジュール１１４は、対応するページ（ステップＳ４で選択されたページ）を含むリンク列に関するリンク収集の現在の段数Ｚに無関係にリンク先ページを収集することを判定（決定）する。すると収集制御モジュール１１１は、リンク先のページを収集する（ステップＳ２１）。収集制御モジュール１１１によって収集された「ページ」（のページ情報）は、「リンク元のラベル（リンク文字列）」と組にして、知識ＤＢ１２１に格納される。
【００３５】
これに対し、リンク文字列が重要語を含まないならば（ステップＳ１８）、リンク判定モジュール１１４は、当該文字列が、設定ファイル１３に設定されている不要語を含むかを判定する（ステップＳ１９）。このステップＳ１９の判定でも、上記ステップＳ１１またはＳ１８と同様に同義語辞書１５が参照され、設定ファイル１３に設定されている不要語の同義語も不要語として扱われる。ここで、リンク文字列が不要語を含むならば（ステップＳ１９）、リンク判定モジュール１１４は対応するページを含むリンク列に関するリンク収集の現在の段数Ｚに無関係にリンク先ページを収集しないことを判定（決定）する。この場合、収集制御モジュール１１１は、リンク先ページを収集することを控える（ステップＳ２３）。なお、本実施形態では、１つのリンクに重要語と不要語の両方が存在する場合には、図３のフローチャートから明らかなように重要語が優先され（ステップＳ１８）、「重要語を含むリンク」として扱われる。
【００３６】
一方、リンク文字列が不要語を含まないならば（ステップＳ１９）、つまりリンク文字列が重要語も不要語も含まないならば（ステップＳ１８，Ｓ１９）、リンク判定モジュール１１４は起点ページからリンク先までのリンクの段数は現在の設定段数Ｚ以内かを判定する（ス２０）。リンク判定モジュール１１４は、リンク文字列が重要語も不要語も含まない場合には（ステップＳ１８，Ｓ１９）、起点ページからリンク先までのリンクの段数が現在の設定段数Ｚ以内である場合に限って（ステップＳ２０）、収集制御モジュール１１１に対してリンク先ページの収集を要求する。収集制御モジュール１１１は、リンク判定モジュール１１４からの要求に応じてリンク先のページを収集する（ステップＳ２１）。これに対し、リンク文字列が重要語も不要語も含まず（ステップＳ１８，Ｓ１９）、しかも起点ページからリンク先までのリンクの段数が現在の設定段数Ｚを超えているならば（ステップＳ２０）、リンク判定モジュール１１４は収集制御モジュール１１１に対してリンク先ページを収集しないことを要求する。これにより収集制御モジュール１１１は、リンク先ページの収集を控える（ステップＳ２３）。この場合、収集制御モジュール１１１からリンク判定モジュール１１４に制御が渡されて、上記ステップＳ１６の判定が行われる。
【００３７】
収集制御モジュール１１１は、上記ステップＳ２１によりリンク先ページ（のページ情報）を収集すると、対応するリンクの収集ページ数の総数が設定された収集ページ数の上限を超えたかを判定する（ステップＳ２２）。もし、収集ページ数の総数が設定された収集ページ数の上限を超えていないならば、収集制御モジュール１１１からリンク判定モジュール１１４に制御が渡されて、上記ステップＳ１６の判定が行われる。
【００３８】
このようにして、ステップＳ４で選択されたページから抽出された全てのリンク文字列について、重要語、不要語またはそれ以外が含まれているかのリンク判定処理と、その判定結果等に基づいてリンク先ページを収集する、または収集しない収集制御とが実行されると、収集ページ数の総数が設定された収集ページ数の上限を超えていない限り、収集制御モジュール１１１は再びステップＳ３の判定を行う。そして、未処理の収集済みページが残っている場合、そのページについて、上記ステップＳ４から始まる処理が行われる。即ち、収集ページ数の総数が収集ページ数の上限を超えるか（ステップＳ２２）、収集されたページ上の全てのリンクについて処理し終えるまで（ステップＳ３）、ステップＳ４から始まる処理が繰り返される。
【００３９】
このように本実施形態においては、ページ中のリンク文字列（リンクラベル）が不要語を含む場合（ステップＳ１９）、リンク先のページはユーザにとって無用である可能性が高いことから、その時点における設定段数Ｚとリンク先までのリンクの段数とに拘わらずに（つまり、リンク先が設定段数Ｚの範囲内であったとしても）、リンク先のページの収集が抑止される（ステップＳ２３）。
【００４０】
また、リンク収集の現在の段数Ｚが初期段数ｎである状態で、対応するリンク列中のページ（つまりｎ段までのページ）に重要語を含むリンクが存在する場合（ステップＳ１１，Ｓ１２）、そのページにつながるリンク収集の段数ＺがＺ＝ｎからＺ＝Ｚ＋ｍ＝ｎ＋ｍに増加される（ステップＳ１３）。同様に、リンク収集の現在の段数Ｚが初期段数ｎを超えている状態で、対応するリンク列中のＺ段目のページに重要語を含むリンクが存在する場合、つまりリンク先までの段数がＺを超える場合（ステップＳ１１，Ｓ１２，Ｓ１４）、そのＺ段目のページにつながるリンク収集の段数Ｚが１だけ増加される（ステップＳ１５）。これにより、ページ中のリンク文字列（リンクラベル）が不要語を含む場合（ステップＳ１８）、リンク先のページはユーザにとって有用である可能性が高いことから、リンク先がリンク収集の初期段数ｎを超えていても、リンク先のページの収集が抑止される（ステップＳ２１）。
【００４１】
また、本実施形態においては、ページから抽出されたリンクラベルが重要語及び不要語のいずれのキーワードも含まない場合には（ステップＳ１８，Ｓ１９）、リンク先までのリンクの段数がその時点における対応するリンク収集の設定段数Ｚ以内である場合に限り（ステップＳ２０）、リンク先のページが収集される（ステップＳ２１）。換言すれば、リンクラベルが重要語及び不要語のいずれも含まず（ステップＳ１８，Ｓ１９）、且つリンク先までのリンクの段数がその時点における対応するリンク収集の設定段数Ｚ以内でない場合には（ステップＳ２０）、リンク先のページは収集されない（ステップＳ２３）。
【００４２】
次に、上述のＷｅｂ情報収集処理の具体例について、図４のリンク判定／ページ収集の一例を示す図を参照して説明する。図４には、設定ファイル１３に設定された起点ＵＲＬで指定される起点ページＰｓが示されている。このページＰｓには、当該ページＰｓを起点とする１段目のページＰ11，Ｐ12，Ｐ13へのリンクが存在する。このページＰ11，Ｐ12，Ｐ13へのリンク（のラベル）は、それぞれ記号○、△、×で示される語句を含む。設定ファイル１３には、記号○、×で示される語句が、それぞれ重要語、不要語として設定されている。以後の説明では、簡略化のために○、×をそれぞれ重要語、不要語であるとする。また、△を○、×どちらでもない語句であるとする。この場合、１段目のページＰ11，Ｐ12，Ｐ13のうち、×を含むリンクの先のページＰ13は、その時点におけるリンク収集の設定段数Ｚ＝２（ｎ＝２）の範囲内であるにも拘わらずに、収集の対象外となる。一方、△を含むリンクの先のページＰ12は、リンク収集の設定段数Ｚ＝２（ｎ＝２）の範囲内であることから、収集される。また、○を含むリンクの先のページＰ11は、リンク収集の設定段数Ｚに無関係に収集される。
【００４３】
ページＰ11は、○、△に対応する２段目のページＰ210、Ｐ211にリンクしている。この場合、ページＰｓを起点とし、且つページＰ11を含むリンク列に関する、収集するリンクの段数Ｚが２（ｎ）から２＋２（ｎ＋ｍ）に増やされる。これにより、２段目のページＰ210と、当該ページＰ210にリンクした３段目のページＰ310には、いずれも△を含むリンクしか存在しないにも拘わらず、そのリンクの先の３段目のページＰ310及び４段目のページＰ410は収集される。このページＰ410には、△を含むリンクしか存在しない。このリンクの先の５段目のページＰ510は、その時点における収集するリンクの段数Ｚ＝４を超える。このため、ページＰ510は収集の対象外となる。なお、本実施形態では、ページＰ11を含むリンク列に関する、収集するリンクの段数が増やされるのは１回だけである。
【００４４】
一方、ページＰ211にリンクした３段目のページＰ311には、△を含むリンクと○を含むリンクとが存在し、そのリンクの先の４段目のページＰ411，Ｐ412は共に収集される。ページＰ411には、△を含むリンクしか存在しない。このリンクの先の５段目のページＰ511は、その時点における収集するリンクの段数Ｚ＝４を超えている。このため、ページＰ511は収集の対象外となる。
【００４５】
これに対し、ページＰ412には△を含むリンクと○’を含むリンクとが存在する。○’は○の同義語である。つまり、ページＰ412には、重要語を含むリンクが存在する。ここで、ページＰ412は起点ページＰｓから４段目であり、ページＰ412のリンク先までの段数は収集するリンクの段数Ｚ＝４を超える。しかし、ページＰ412には重要語を含むリンクが存在するため、Ｚが１増やされてＺ＝５となり、ページＰ412にリンクしている５段目のページＰ513，Ｐ514が収集される。ページＰ513には、△を含むリンクしか存在しない。このリンクの先の６段目のページＰ613は、その時点における収集するリンクの段数Ｚ＝５を超える。このため、ページＰ613は収集の対象外となる。一方、ページＰ514には、○を含むリンクが存在する。そこで、このリンクの先の６段目のページＰ614は収集される。
【００４６】
なお、上記実施形態では、起点ページからｎ（＝２）段までのページに重要語を含むリンクが存在し、そのリンクを含むリンク列に関するリンク収集の設定段数Ｚがｎを超えていない場合（Ｚが初期段数ｎの場合）、当該Ｚがｍ（＝２）だけ増やされる。しかし、任意の段のページに重要語を含むリンクが存在し、そのリンクを含むリンク列に関するリンク収集の設定段数Ｚがｎ以上の場合に、当該Ｚが１だけ増やされる構成であっても構わない。
【００４７】
次に、ログ統計生成モジュール１２４を中心とする知識検索システム１２の動作について説明する。
知識検索システム１２内の検索エンジン１２２は、ユーザ１０１の操作に従う検索要求をＷｅｂブラウザ１６を介して受け取ると、その検索要求の示す検索式に合致する文書情報（ページ情報）を知識ＤＢ１２１から検索する。このとき検索エンジン１２２は、検索式を検索ログ１２３に保存する。
【００４８】
検索エンジン１２２は、検索式に合致する文書情報を検索すると、その検索結果の一覧の画像情報を生成して、Ｗｅｂブラウザ１６を介してユーザ１０１に提示する。この検索結果の一覧は、検索要求の示す検索式に合致する各文書情報の例えばＩＤ（情報ＩＤ）を含む。また、検索結果の一覧に、検索された各文書情報の要約を含めることも可能である。ユーザ１０１は、検索結果の一覧から、自身が参照したい文書情報の情報ＩＤを選択する。検索エンジン１２２は、検索結果の一覧から情報ＩＤが選択されたことを検出すると、選択されたＩＤにより示される文書情報を知識ＤＢ１２１から読み出し、その文書情報をＷｅｂブラウザ１６を介してユーザ１０１に提示する。
【００４９】
検索ログ１２３は、図５に示すデータ構造のログテーブル１２３ａを含む。ログテーブル１２３ａの各エントリは、知識ＤＢ１２１に格納されている文書情報（ページ情報）毎に、その文書情報のＩＤ（情報ＩＤ）と、その文書情報と組にして知識ＤＢ１２１に格納されているリンク元のラベル（リンク文字列）と、その文書情報がユーザにより参照された回数（参照回数）と、その文書情報に関するユーザの評価結果とがそれぞれ設定される項目を有する。評価結果の項目は、文書情報が重要（有用）であった場合に１加点される重要評価回数と、不要（無用）であった場合に１加点される不要評価回数の各項目からなる。
【００５０】
本実施形態では、文書情報（ページ情報）が知識ＤＢ１２１に格納された際に、その文書情報のＩＤと、その文書情報（ページ情報）と組をなして当該知識ＤＢ１２１に格納されるリンク元のラベル（リンク文字列）とを含むエントリ情報が生成されて、ログテーブル１２３ａに格納される。このとき、エントリ情報中の参照回数、重要評価回数及び不要評価回数は、いずれも０に初期化されている。
【００５１】
ログテーブル１２３ａのエントリ情報中の参照回数は、検索結果の一覧から、ユーザ１０１によって対応する文書情報のＩＤが選択され、その選択されたＩＤの示す文書情報がユーザ１０１によって参照された場合に、検索エンジン１２２によって１だけインクリメントされる。また、文書情報が参照された場合、検索エンジン１２２はユーザ１０１に対して、その文書情報が重要（有用）であったか、或は不要（無用）であったかの評価結果の入力を要求する。もし、評価結果として「重要」が入力（選択）された場合、ログテーブル１２３ａの対応するエントリ情報中の重要評価回数が１だけインクリメントされる。これに対し、評価結果として「不要」が入力（選択）された場合、ログテーブル１２３ａの対応するエントリ情報中の不要評価回数が１だけインクリメントされる。
【００５２】
検索ログ１２３はまた、図６に示すデータ構造のログ統計テーブル１２３ｂを含む。ログ統計テーブル１２３ｂの各エントリは、検索ログ１２３に保存されている、文書情報の検索に用いられた検索式に出現する単語（語句）毎に、検索式出現回数と、重要評価割合と、不要評価割合と、出現回数順位と、重要評価順位と、不要評価順位と、重要度と、判定結果との各項目からなる。検索式出現回数は、対応する単語が検索式に出現する回数を示す。重要評価割合及び不要評価割合は、それぞれ対応する単語の参照回数に対する重要評価回数及び不要評価回数の割合を示す。出現回数順位は、検索式出現回数の順位を示す。重要評価順位及び不要評価順位は、それぞれ「重要」評価割合及び「不要」評価割合の順位を示す。重要度は、対応する単語の重要度を示す。判定結果は、対応する単語の重要度から判定される、当該単語が「重要語」であるか、或は「不要語」であるか、或はそのいずれでもないかを示す。
【００５３】
本実施形態では、ログ統計テーブル１２３ｂが、ログ統計生成モジュール１２４によって定期的に生成される。以下、ログ統計生成モジュール１２４によるログ統計テーブル生成処理について、図７及び図８のフローチャートを参照して説明する。
【００５４】
まずログ統計生成モジュール１２４は、検索ログ１２３に保存されている検索式の中から未処理の検索式を１つ取り出す（ステップＳ３１）。次にログ統計生成モジュール１２４は、取り出された検索式から、その検索式に出現する未処理の単語（語句）を抽出する（ステップＳ３２）。もし、ログ統計テーブル１２３ｂに格納されていない単語が抽出された場合（ステップＳ３３）、ログ統計生成モジュール１２４は、その単語を含むログ統計テーブル１２３ｂのエントリ情報を生成する（ステップＳ３４）。このとき、エントリ情報中の検索式出現回数は１に初期化され、それ以外の項目は空欄となっている。また、検索式から抽出された単語を含むエントリ情報が既にログ統計テーブル１２３ｂに格納されている場合（ステップＳ３３）、ログ統計生成モジュール１２４は、当該エントリ情報中の検索式出現回数を１インクリメントする（ステップＳ３５）。このログ統計テーブル１２３ｂの各エントリ情報の検索式出現回数は、検索に用いられた検索式に出現する単語を分析して得られる頻度情報（統計情報）である。
【００５５】
次にログ統計生成モジュール１２４は、ステップＳ３１で取り出された検索式に未処理の単語が存在するかを判定する（ステップＳ３６）。もし、未処理の単語が存在するならば、ログ統計生成モジュール１２４は上記ステップＳ３２の処理に戻る。これに対し、未処理の単語が存在しないならば、ログ統計生成モジュール１２４は検索ログ１２３内に未処理の検索式が存在するかを判定する（ステップＳ３７）。もし、未処理の検索式が存在するならば、ログ統計生成モジュール１２４は上記ステップＳ３１の処理に戻る。
【００５６】
ログ統計生成モジュール１２４は、検索ログ１２３に保存されている全ての検索式について処理し終えると（ステップＳ３７）、ログ統計テーブル１２３ｂ内の各エントリ情報中の、重要評価割合と、不要評価割合と、出現回数順位と、重要評価順位と、不要評価順位と、重要度と、判定結果とを、次のように決定する。
【００５７】
まずログ統計生成モジュール１２４は、ログ統計テーブル１２３ｂから未処理のエントリ情報を１つ選択する（ステップＳ３８）。次にログ統計生成モジュール１２４は、選択されたエントリ情報中の単語を読み出す（ステップＳ３９）。次にログ統計生成モジュール１２４は、ログテーブル１２３ａから、ステップＳ３９で読み出された単語を含むリンク文字列が設定されているエントリ情報を検索して、参照回数、重要評価回数及び不要評価回数を参照する（ステップＳ４０，Ｓ４１）。そしてログ統計生成モジュール１２４は、参照回数に対する重要評価回数及び不要評価回数各々の割合（％）を算出し、ログ統計テーブル１２３ｂ内の対応するエントリ情報に設定する（ステップＳ４２）。ここで、異なるリンク文字列に共通に含まれる単語（図４の例では「価格」）については、全ての参照回数と評価回数（重要評価回数及び不要評価回数）を、それぞれ合計して、参照回数に対する重要評価回数及び不要評価回数各々の割合（％）を算出する。ログ統計生成モジュール１２４は、上述したステップＳ３８乃至Ｓ４３の処理を、ログ統計テーブル１２３ｂ内の全てのエントリ情報について繰り返す（ステップＳ４４）。
【００５８】
次に、ログ統計生成モジュール１２４は、ログ統計テーブル１２３ｂ内の全てのエントリ情報について、検索式出現回数の降順となるように検索式出現回数の順位付けを行い、当該全てのエントリ情報中の出現回数順位を設定する（ステップＳ４５）。同様に、ログ統計生成モジュール１２４は、ログ統計テーブル１２３ｂ内の全てのエントリ情報の重要評価割合の降順となるように重要評価割合の順位付けを行い、当該全てのエントリ情報中の重要評価順位を設定する（ステップＳ４６）。この場合、順位が高いほど、重要評価割合が高いことを示す。同様に、ログ統計生成モジュール１２４は、ログ統計テーブル１２３ｂ内の全てのエントリ情報の不要評価割合の昇順となるように不要評価割合の順位付けを行い、当該全てのエントリ情報中の不要評価順位を設定する（ステップＳ４７）。この場合、順位が低いほど、不要評価割合が高いことを示す。
【００５９】
ログ統計生成モジュール１２４は、上記ステップＳ４５乃至Ｓ４６を実行すると、ログ統計テーブル１２３ｂ内の各エントリ情報毎に、出現回数順位と重要評価順位と不要評価順位との合計を算出し、その合計値を当該エントリ情報中の「重要度」として設定する（ステップＳ４８）。つまりログ統計生成モジュール１２４は、出現回数順位と重要評価順位と不要評価順位とを総合的に評価して、対応する単語の「重要度」を決定する。ここでは、対応する単語が検索式に出現する回数が多いほど、また重要評価順位が高いほど、そして不要評価順位が低いほど、「重要度」は高くなる（つまり「不要度」は低くなる）。同様に、対応する単語が検索式に出現する回数が少ないほど、また重要評価順位が低いほど、そして不要評価順位が高いほど、「重要度」は低くなる（つまり「不要度」は高くなる）。このように、「重要度」は、見方を変えれば、「不要度」を表すことと等価である。
【００６０】
次にログ統計生成モジュール１２４は、ログ統計テーブル１２３ｂ内の各単語毎のエントリ情報中の「重要度」を判定し、上位Ｘ％（例えば２０％）に属する単語を「重要語」の候補とし、下位Ｙ％（例えば２０％）に属する単語を「不要語」の候補とする（ステップＳ４９）。なお、この「重要語」及び「不要語」の候補を決定する処理（ステップＳ４９）、更には単語毎の「重要度」を算出する処理（ステップＳ４８）が、キーワード生成モジュール１４によって実行される構成であっても構わない。
【００６１】
このように本実施形態においては、（１）検索式に出現する語句、（２）検索結果の参照回数、（３）参照された各情報に対するユーザの評価を統計的に分析し処理することにより、「重要語」の候補及び「不要語」の候補が自動的に決定される。ここでは、検索式に出現する頻度が高く、参照回数の多い、または評価の高い情報に含まれる語句が、ユーザが必要とする情報を収集するためのキーワードとしての「重要語」の候補とされる。また、検索式に出現する頻度が低く、参照回数の少ない、または評価の低い情報に含まれる語句が、ユーザが必要としない情報が収集されるのを抑止するためのキーワードとしての「不要語」の候補とされる。なお、ログ統計テーブル１２３ｂを生成する際に、同義語辞書１５を利用することで同義語を例えば代表語に置き換えて、１つのエントリ情報にマージすると良い。
【００６２】
キーワード生成モジュール１４は、ログ統計生成モジュール１２４によって決定された、「重要度」の候補の一覧及び「不要語」の候補の一覧を、定期的に、或は管理ユーザ１０２から設定ファイル１３の生成が要求された場合に、当該管理ユーザ１０２にＷｅｂブラウザ１７を介して提示して、その一覧から、それぞれ「重要度」及び「不要語」を管理ユーザ１０２に選択させることで、「重要度」及び「不要語」を決定する。キーワード生成モジュール１４は、選択された「重要度」及び「不要語」が設定された設定ファイル１３を生成する。勿論、「重要度」の候補及び「不要語」の候補を、それぞれ「重要度」及び「不要語」として自動的に決定する構成であっても構わない。
【００６３】
図１には、知識ＤＢ１２１が１つだけ示されている。しかし、知識検索システム１２が有する知識ＤＢ１２１は複数であることが多い。この場合、設定ファイル１３に、情報収集先の知識ＤＢ１２１を指定する情報を含めると良い。また設定ファイル１３に、上記特許文献１に記載されている「収集するＵＲＬの文字列パターン」と「収集しないＵＲＬの文字列パターン」とを設定し、ＵＲＬ単位で収集するページと収集しないページとを指定するようにしても構わない。
【００６４】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施形態に係る知識情報収集システムを実現するナレッジマネジメントシステムの構成を示すブロック図。
【図２】同実施形態におけるＷｅｂ情報収集処理を説明するためのフローチャートの一部を示す図。
【図３】同実施形態におけるＷｅｂ情報収集処理を説明するためのフローチャートの残りを示す図。
【図４】Ｗｅｂ情報収集処理におけるリンク判定／ページ収集の一例を示す図。
【図５】ログテーブル１２３ａのデータ構造例を示す図。
【図６】ログ統計テーブル１２３ｂのデータ構造例を示す図。
【図７】同実施形態におけるログ統計テーブル生成処理を説明するためのフローチャートの一部を示す図。
【図８】同実施形態におけるログ統計テーブル生成処理を説明するためのフローチャートの残りを示す図。
【符号の説明】
【００６６】
１１…Ｗｅｂ情報収集システム、１２…知識検索システム、１３…設定ファイル（設定手段）、１４…キーワード生成モジュール、１５…同義語辞書、２０…インターネット／イントラネット（ネットワーク）、１１１…収集制御モジュール（情報収集制御手段）、１１２…テキスト抽出モジュール、１１３…リンクラベル抽出モジュール（リンク文字列抽出手段）、１１４…リンク判定モジュール、１２２…検索エンジン（検索手段、評価させる手段）、１２３…検索ログ（検索ログ蓄積手段）、１２３ａ…ログテーブル、１２３ｂ…ログ統計テーブル、１２４…ログ統計生成モジュール。
【特許請求の範囲】
【請求項１】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムにおいて、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報及び前記ネットワーク上からの情報収集の対象となるリンクの段数を設定すると共に、前記ネットワーク上からの情報収集の対象外とすべきリンクに関係する語句を、不要語を表すキーワードとして設定する設定手段と、
前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するリンク文字列抽出手段と、
前記抽出されたリンク文字列と前記設定された不要語を表すキーワードとから、リンク先のページ情報が無用であるかを判定するリンク判定手段と、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上からの情報収集を制御する情報収集制御手段であって、前記リンク判定手段によって無用であると判定されたリンク先のページ情報は、前記設定されたリンクの段数の範囲内であっても収集の対象外とする情報収集制御手段と
を具備することを特徴とする知識情報収集システム。
【請求項２】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムにおいて、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報及び前記ネットワーク上からの情報収集の対象となるリンクの段数を設定すると共に、前記ネットワーク上からの情報収集の対象とすべきリンクに関係する語句を、重要語を表すキーワードとして設定する設定手段と、
前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するリンク文字列抽出手段と、
前記抽出されたリンク文字列と前記設定された重要語を表すキーワードとから、リンク先のページ情報が有用であるかを判定するリンク判定手段と、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上からの情報収集を制御する情報収集制御手段であって、前記リンク判定手段によって有用であると判定されたリンク先のページ情報は、前記設定された段数の範囲を超えていても収集の対象とする情報収集制御手段と
を具備することを特徴とする知識情報収集システム。
【請求項３】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムにおいて、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報及び前記ネットワーク上からの情報収集の対象となるリンクの段数を設定すると共に、前記ネットワーク上からの情報収集の対象とすべきリンクに関係する語句を、重要語を表すキーワードとして、前記ネットワーク上からの情報収集の対象外とすべきリンクに関係する語句を、不要語を表すキーワードとして、それぞれ設定する設定手段と、
前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するリンク文字列抽出手段と、
前記抽出されたリンク文字列と前記設定された重要語を表すキーワードとから、リンク先のページ情報が有用であるかを判定すると共に、前記抽出されたリンク文字列と前記設定された不要語を表すキーワードとから、リンク先のページ情報が無用であるかを判定するリンク判定手段と、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上からの情報収集を制御する情報収集制御手段であって、前記リンク判定手段によって有用であると判定されたリンク先のページ情報は、前記設定された段数の範囲を超えていても収集の対象とし、前記リンク判定手段によって無用であると判定されたリンク先のページ情報は、前記設定された段数の範囲内であっても収集の対象外とする情報収集制御手段と
を具備することを特徴とする知識情報収集システム。
【請求項４】
前記知識データベースに収集された情報を与えられた検索式に従って検索し、その検索結果をユーザに提示する検索手段と、
前記検索手段による検索結果に応じて参照された前記知識データベースに収集された情報の有用性または無用性をユーザにより評価させる手段と、
前記検索手段による検索に用いられた検索式と、前記知識データベースに収集された情報毎の当該情報が参照される参照回数と、前記知識データベースに収集された情報毎の当該情報に対するユーザの評価結果とを、検索ログとして蓄積する検索ログ蓄積手段と、
前記検索ログ蓄積手段に蓄積された検索式に出現する語句と、前記検索ログ蓄積手段に蓄積された情報毎の参照回数と、前記検索ログ蓄積手段に蓄積された情報毎の評価結果とを分析して、前記検索式に出現する語句毎に、当該語句がユーザにとって重要または不要である程度を表す評価値を生成するログ統計生成手段と、
前記ログ統計生成手段によって生成された前記語句毎の評価値をもとに、前記設定手段によって設定可能な不要語を表すキーワードを生成するキーワード生成手段と
を更に具備することを特徴とする請求項１または３に記載の知識情報収集システム。
【請求項５】
前記キーワード生成手段によって生成された不要語を表すキーワードの一覧をユーザに提示することにより、当該一覧から、前記設定手段によって設定される不要語を表すキーワードをユーザに選択させる手段を更に具備することを特徴とする請求項４記載の知識情報収集システム。
【請求項６】
前記知識データベースに収集された情報を与えられた検索式に従って検索し、その検索結果をユーザに提示する検索手段と、
前記検索手段による検索結果に応じて参照された前記知識データベースに収集された情報の有用性または無用性をユーザにより評価させる手段と、
前記検索手段による検索に用いられた検索式と、前記知識データベースに収集された情報毎の当該情報が参照される参照回数と、前記知識データベースに収集された情報毎の当該情報に対するユーザの評価結果とを、検索ログとして蓄積する検索ログ蓄積手段と、
前記検索ログ蓄積手段に蓄積された検索式に出現する語句と、前記検索ログ蓄積手段に蓄積された情報毎の参照回数と、前記検索ログ蓄積手段に蓄積された情報毎の評価結果とを分析して、前記検索式に出現する語句毎に、当該語句がユーザにとって重要または不要である程度を表す評価値を生成するログ統計生成手段と、
前記ログ統計生成手段によって生成された前記語句毎の評価値をもとに、前記設定手段によって設定可能な重要語を表すキーワードを生成するキーワード生成手段と
を更に具備することを特徴とする請求項２または３に記載の知識情報収集システム。
【請求項７】
前記キーワード生成手段によって生成された重要語を表すキーワードの一覧をユーザに提示することにより、当該一覧から、前記設定手段によって設定される重要語を表すキーワードをユーザに選択させる手段を更に具備することを特徴とする請求項６記載の知識情報収集システム。
【請求項８】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムに適用される知識情報収集方法であって、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報と、前記ネットワーク上からの情報収集の対象となるリンクの段数と、前記ネットワーク上からの情報収集の対象外とすべきリンクに関係する不要語を表すキーワードとが設定された設定ファイルを生成するステップと、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上から情報を収集するステップと、
前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するステップと、
前記抽出されたリンク文字列と前記設定ファイルに設定された不要語を表すキーワードとから、リンク先のページ情報が無用であるかを判定するステップとを具備し、
前記情報を収集するステップは、リンク先のページ情報が無用であると判定されたリンク先のページ情報は、前記設定された段数の範囲内であっても収集の対象外とするステップを含むことを特徴とする知識情報収集方法。
【請求項９】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムに適用される知識情報収集方法であって、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報と、前記ネットワーク上からの情報収集の対象となるリンクの段数と、前記ネットワーク上からの情報収集の対象とすべきリンクに関係する重要語を表すキーワードとが設定された設定ファイルを生成するステップと、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上から情報を収集するステップと、
前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するステップと、
前記抽出されたリンク文字列と前記設定ファイルに設定された重要語を表すキーワードとから、リンク先のページ情報が有用であるかを判定するステップとを具備し、
前記情報を収集するステップは、リンク先のページ情報が有用であると判定されたリンク先のページ情報は、前記設定された段数の範囲を超えていても収集の対象とするステップを含むことを特徴とする知識情報収集方法。
【請求項１０】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムで実行されるプログラムであって、
コンピュータに、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報と、前記ネットワーク上からの情報収集の対象となるリンクの段数と、前記ネットワーク上からの情報収集の対象外とすべきリンクに関係する不要語を表すキーワードとが設定された設定ファイルを生成するステップと、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するステップと、
前記抽出されたリンク文字列と前記設定ファイルに設定された不要語を表すキーワードとから、リンク先のページ情報が無用であるかを判定するステップと、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上から情報を収集するステップであって、リンク先のページ情報が無用であると判定されたリンク先のページ情報は、前記設定された段数の範囲内であっても収集の対象外とするステップと
を実行させるためのプログラム。
【請求項１１】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムで実行されるプログラムであって、
コンピュータに、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報と、前記ネットワーク上からの情報収集の対象となるリンクの段数と、前記ネットワーク上からの情報収集の対象とすべきリンクに関係する重要語を表すキーワードとが設定された設定ファイルを生成するステップと、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するステップと、
前記抽出されたリンク文字列と前記設定ファイルに設定された重要語を表すキーワードとから、リンク先のページ情報が有用であるかを判定するステップと、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上から情報を収集するステップであって、リンク先のページ情報が有用であると判定されたリンク先のページ情報は、前記設定された段数の範囲を超えていても収集の対象とするステップと
を実行させるためのプログラム。
【請求項１】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムにおいて、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報及び前記ネットワーク上からの情報収集の対象となるリンクの段数を設定すると共に、前記ネットワーク上からの情報収集の対象外とすべきリンクに関係する語句を、不要語を表すキーワードとして設定する設定手段と、
前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するリンク文字列抽出手段と、
前記抽出されたリンク文字列と前記設定された不要語を表すキーワードとから、リンク先のページ情報が無用であるかを判定するリンク判定手段と、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上からの情報収集を制御する情報収集制御手段であって、前記リンク判定手段によって無用であると判定されたリンク先のページ情報は、前記設定されたリンクの段数の範囲内であっても収集の対象外とする情報収集制御手段と
を具備することを特徴とする知識情報収集システム。
【請求項２】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムにおいて、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報及び前記ネットワーク上からの情報収集の対象となるリンクの段数を設定すると共に、前記ネットワーク上からの情報収集の対象とすべきリンクに関係する語句を、重要語を表すキーワードとして設定する設定手段と、
前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するリンク文字列抽出手段と、
前記抽出されたリンク文字列と前記設定された重要語を表すキーワードとから、リンク先のページ情報が有用であるかを判定するリンク判定手段と、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上からの情報収集を制御する情報収集制御手段であって、前記リンク判定手段によって有用であると判定されたリンク先のページ情報は、前記設定された段数の範囲を超えていても収集の対象とする情報収集制御手段と
を具備することを特徴とする知識情報収集システム。
【請求項３】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムにおいて、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報及び前記ネットワーク上からの情報収集の対象となるリンクの段数を設定すると共に、前記ネットワーク上からの情報収集の対象とすべきリンクに関係する語句を、重要語を表すキーワードとして、前記ネットワーク上からの情報収集の対象外とすべきリンクに関係する語句を、不要語を表すキーワードとして、それぞれ設定する設定手段と、
前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するリンク文字列抽出手段と、
前記抽出されたリンク文字列と前記設定された重要語を表すキーワードとから、リンク先のページ情報が有用であるかを判定すると共に、前記抽出されたリンク文字列と前記設定された不要語を表すキーワードとから、リンク先のページ情報が無用であるかを判定するリンク判定手段と、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上からの情報収集を制御する情報収集制御手段であって、前記リンク判定手段によって有用であると判定されたリンク先のページ情報は、前記設定された段数の範囲を超えていても収集の対象とし、前記リンク判定手段によって無用であると判定されたリンク先のページ情報は、前記設定された段数の範囲内であっても収集の対象外とする情報収集制御手段と
を具備することを特徴とする知識情報収集システム。
【請求項４】
前記知識データベースに収集された情報を与えられた検索式に従って検索し、その検索結果をユーザに提示する検索手段と、
前記検索手段による検索結果に応じて参照された前記知識データベースに収集された情報の有用性または無用性をユーザにより評価させる手段と、
前記検索手段による検索に用いられた検索式と、前記知識データベースに収集された情報毎の当該情報が参照される参照回数と、前記知識データベースに収集された情報毎の当該情報に対するユーザの評価結果とを、検索ログとして蓄積する検索ログ蓄積手段と、
前記検索ログ蓄積手段に蓄積された検索式に出現する語句と、前記検索ログ蓄積手段に蓄積された情報毎の参照回数と、前記検索ログ蓄積手段に蓄積された情報毎の評価結果とを分析して、前記検索式に出現する語句毎に、当該語句がユーザにとって重要または不要である程度を表す評価値を生成するログ統計生成手段と、
前記ログ統計生成手段によって生成された前記語句毎の評価値をもとに、前記設定手段によって設定可能な不要語を表すキーワードを生成するキーワード生成手段と
を更に具備することを特徴とする請求項１または３に記載の知識情報収集システム。
【請求項５】
前記キーワード生成手段によって生成された不要語を表すキーワードの一覧をユーザに提示することにより、当該一覧から、前記設定手段によって設定される不要語を表すキーワードをユーザに選択させる手段を更に具備することを特徴とする請求項４記載の知識情報収集システム。
【請求項６】
前記知識データベースに収集された情報を与えられた検索式に従って検索し、その検索結果をユーザに提示する検索手段と、
前記検索手段による検索結果に応じて参照された前記知識データベースに収集された情報の有用性または無用性をユーザにより評価させる手段と、
前記検索手段による検索に用いられた検索式と、前記知識データベースに収集された情報毎の当該情報が参照される参照回数と、前記知識データベースに収集された情報毎の当該情報に対するユーザの評価結果とを、検索ログとして蓄積する検索ログ蓄積手段と、
前記検索ログ蓄積手段に蓄積された検索式に出現する語句と、前記検索ログ蓄積手段に蓄積された情報毎の参照回数と、前記検索ログ蓄積手段に蓄積された情報毎の評価結果とを分析して、前記検索式に出現する語句毎に、当該語句がユーザにとって重要または不要である程度を表す評価値を生成するログ統計生成手段と、
前記ログ統計生成手段によって生成された前記語句毎の評価値をもとに、前記設定手段によって設定可能な重要語を表すキーワードを生成するキーワード生成手段と
を更に具備することを特徴とする請求項２または３に記載の知識情報収集システム。
【請求項７】
前記キーワード生成手段によって生成された重要語を表すキーワードの一覧をユーザに提示することにより、当該一覧から、前記設定手段によって設定される重要語を表すキーワードをユーザに選択させる手段を更に具備することを特徴とする請求項６記載の知識情報収集システム。
【請求項８】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムに適用される知識情報収集方法であって、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報と、前記ネットワーク上からの情報収集の対象となるリンクの段数と、前記ネットワーク上からの情報収集の対象外とすべきリンクに関係する不要語を表すキーワードとが設定された設定ファイルを生成するステップと、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上から情報を収集するステップと、
前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するステップと、
前記抽出されたリンク文字列と前記設定ファイルに設定された不要語を表すキーワードとから、リンク先のページ情報が無用であるかを判定するステップとを具備し、
前記情報を収集するステップは、リンク先のページ情報が無用であると判定されたリンク先のページ情報は、前記設定された段数の範囲内であっても収集の対象外とするステップを含むことを特徴とする知識情報収集方法。
【請求項９】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムに適用される知識情報収集方法であって、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報と、前記ネットワーク上からの情報収集の対象となるリンクの段数と、前記ネットワーク上からの情報収集の対象とすべきリンクに関係する重要語を表すキーワードとが設定された設定ファイルを生成するステップと、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上から情報を収集するステップと、
前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するステップと、
前記抽出されたリンク文字列と前記設定ファイルに設定された重要語を表すキーワードとから、リンク先のページ情報が有用であるかを判定するステップとを具備し、
前記情報を収集するステップは、リンク先のページ情報が有用であると判定されたリンク先のページ情報は、前記設定された段数の範囲を超えていても収集の対象とするステップを含むことを特徴とする知識情報収集方法。
【請求項１０】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムで実行されるプログラムであって、
コンピュータに、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報と、前記ネットワーク上からの情報収集の対象となるリンクの段数と、前記ネットワーク上からの情報収集の対象外とすべきリンクに関係する不要語を表すキーワードとが設定された設定ファイルを生成するステップと、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するステップと、
前記抽出されたリンク文字列と前記設定ファイルに設定された不要語を表すキーワードとから、リンク先のページ情報が無用であるかを判定するステップと、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上から情報を収集するステップであって、リンク先のページ情報が無用であると判定されたリンク先のページ情報は、前記設定された段数の範囲内であっても収集の対象外とするステップと
を実行させるためのプログラム。
【請求項１１】
知識データベースに登録すべき情報をネットワーク上から収集する知識情報収集システムで実行されるプログラムであって、
コンピュータに、
前記ネットワーク上からの情報収集の起点となるページ情報の所在を示す起点ロケーション情報と、前記ネットワーク上からの情報収集の対象となるリンクの段数と、前記ネットワーク上からの情報収集の対象とすべきリンクに関係する重要語を表すキーワードとが設定された設定ファイルを生成するステップと、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上から収集されたページ情報からリンク文字列を抽出するステップと、
前記抽出されたリンク文字列と前記設定ファイルに設定された重要語を表すキーワードとから、リンク先のページ情報が有用であるかを判定するステップと、
前記設定された起点ロケーション情報からリンクを辿ることにより前記ネットワーク上から情報を収集するステップであって、リンク先のページ情報が有用であると判定されたリンク先のページ情報は、前記設定された段数の範囲を超えていても収集の対象とするステップと
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−１０６９１１（Ｐ２００６−１０６９１１Ａ）
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願番号】特願２００４−２８９４４７（Ｐ２００４−２８９４４７）
【出願日】平成１６年９月３０日（２００４．９．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願日】平成１６年９月３０日（２００４．９．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
[ Back to top ]