大規模ＷＥＢサイトの評価装置、大規模ＷＥＢサイトの評価方法および大規模ＷＥＢサイトの評価プログラム
【課題】ページ作成者の不正な自己作成によるリンクを無効、もしくは低く扱う評価値を各ＷＥＢ文書に付与することができる評価装置を提供する。
【解決手段】サイト集約ルールが蓄積されたサイト集約ルールデータベース４００と、前記データベース４００に蓄積されたサイト集約ルールに基づいて、ＷＥＢ文書蓄積装置２００に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約し、サイト間のリンク構造を分析し、サイト毎にページランク相当の評価値を求め、それら情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルールを更新するサイト分析装置３００と、前記蓄積装置２００内の各ＷＥＢ文書に対して、前記サイト集約ルールに基づいて、サイト間のリンク情報を使って文書毎の評価値を付与するＷＥＢ文書評価装置５００と、それを蓄積する評価済ＷＥＢ文書蓄積装置６００とを備える。
【解決手段】サイト集約ルールが蓄積されたサイト集約ルールデータベース４００と、前記データベース４００に蓄積されたサイト集約ルールに基づいて、ＷＥＢ文書蓄積装置２００に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約し、サイト間のリンク構造を分析し、サイト毎にページランク相当の評価値を求め、それら情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルールを更新するサイト分析装置３００と、前記蓄積装置２００内の各ＷＥＢ文書に対して、前記サイト集約ルールに基づいて、サイト間のリンク情報を使って文書毎の評価値を付与するＷＥＢ文書評価装置５００と、それを蓄積する評価済ＷＥＢ文書蓄積装置６００とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大量の電子文書を持つＷＥＢサービスに関して、重要なサイトかどうかを事前に評価しておくことにより、これらの電子文書からキーワードなどを用いて必要な電子文書を検索する際、サイトの評価が高い電子文書を優先する場合などに有用な技術に関する。
【０００２】
より具体的には、前もって取得した電子文書の取得元を示すＵＲＬと、その文書の中に記述されている他の文書との関連情報（リンクと呼ぶ）と、文書群をＷＥＢサービスのまとまりとして扱うためにＵＲＬを基にサイトに分類するデータベースを用いて、文書のサイトへの仕分けとサイト単位での評価を行うことで、従来よりも精度の高い文書検索の実現を可能にすることを特徴とする大規模ＷＥＢサイトの評価装置、方法、プログラムに関する。
【背景技術】
【０００３】
従来は、ＷＥＢの文書を全文検索する際、検索結果を優先順位に沿って並べ替えるための判断基準のひとつとして、ページランクがある。これは、より多くのページから関連があるとされるような、リンクによって指し示される数が多いページを優先するための評価基準である。
【０００４】
しかし、近年では、あまり関連性がないにもかかわらず、ページ作成者自身が自分で作ったたくさんのページから高い評価値を得たい自分のページにたくさんのリンクを張ることで、この評価を高めるということを行うという行為が増えてきている。このようなリンクをそのまま使った場合、検索結果が好ましくない状態になることが多い。これらはリンクスパムと呼ばれ、非特許文献１に開示されているようなＷＥＢのサーバ単位（ホスト）でのページランクから不正なリンクを構成しているであろうＷＥＢサーバを検出する技術がある。
【非特許文献１】Ｇｙｏｎｇｙｉ，Ｚ．，Ｇａｒｃｉａ−Ｍｏｌｉｎａ，Ｈ．ａｎｄ Ｐｅｄｅｒｓｅｎ，Ｊ．，Ｌｉｎｋ Ｓｐａｍ Ｄｅｔｅｃｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｍａｓｓ Ｅｓｔｉｍａｔｉｏｎ，ＶＬＤＢ ’０６：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３２ｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｖｅｒｙ ｌａｒｇｅ ｄａｔａ ｂａｓｅｓ，Ｓｅｐｔｅｍｂｅｒ，２００６
【非特許文献２】高田寛喜（奈良先端科学技術大学院大学），山田武士，上田修功（ＮＴＴコミュニケーション科学基礎研究所)、「ノードの機能特性に基づくクラスタリング」、ネットワーク生態学２００８シンポジウム予稿集、ｐｐ．１２０−１２４，２００８年
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ブログなどは、同じホストで、複数のユーザが個々にＷＥＢ文書を作成しており、非特許文献１に記載の検出技術のように、ホスト単位で扱うと、全てのユーザをまとめて扱ってしまうことになる。
【０００６】
本発明では、上記課題を解決し、ＷＥＢ文書を取得したサーバ、もしくは、サーバ毎に事前に設定した特定の場所から取得した複数のＷＥＢ文書をサイトという単位でまとめ、ＷＥＢ文書に記載されているリンク情報をサイト単位でまとめて分析することにより、ページ作成者の不正な自己作成によるリンクを無効、もしくは低い評価で扱うことでページランク相当の評価値を各ＷＥＢ文書に付与し、検索時の優先順位の決定に効果的に利用できるようにする。
【０００７】
また、リンク情報を分析する際、非特許文献２に開示されているようにリンク構造の分析を３サイト間で行うことにより、評価値の算出とサイト間の関係の分析を効率的に計算するように構成した大規模ＷＥＢサイトの評価装置、大規模ＷＥＢサイトの評価方法および大規模ＷＥＢサイトの評価プログラムを提供する。
【課題を解決するための手段】
【０００８】
本発明では、ＷＥＢから取得したＷＥＢ文書群に対して、ＷＥＢ文書に関する情報をサイト集約ルールを元に集約して扱い、サイト分析装置で分析して新たなサイト集約ルールを追加し、ＷＥＢ文書それぞれに前記サイト集約ルールを元に妥当な評価値を付与した情報を評価済ＷＥＢ文書蓄積装置に蓄積することで高精度なＷＥＢ文書の評価値を高速に付与できるように構成した。
【０００９】
すなわち、請求項１に記載の大規模ＷＥＢサイトの評価装置は、ＷＥＢから取得したＷＥＢ文書に関する情報を蓄積するＷＥＢ文書蓄積手段と、サイトを集約するためのサイト集約ルールが蓄積されたサイト集約ルール蓄積手段と、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積手段に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約し、前記集約されたサイト間のリンク構造を分析し、前記集約されたサイト毎にページランク相当の評価値を求め、前記分析されたリンク構造と前記求められたサイト毎の評価値および前記リンク情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールを更新するサイト分析手段と、前記ＷＥＢ文書蓄積手段に蓄積された各ＷＥＢ文書に対して、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、サイト間のリンク情報を使って文書毎の評価値を付与するＷＥＢ文書評価手段と、前記ＷＥＢ文書評価手段により評価値が付与されたＷＥＢ文書を蓄積する評価済ＷＥＢ文書蓄積手段と、を備えたことを特徴としている。
【００１０】
また請求項２に記載の大規模ＷＥＢサイトの評価装置は、請求項１において、前記サイト分析手段は、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積手段に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約するサイト集約手段と、前記サイト集約手段により集約されたサイト間のリンク構造を分析するリンク構造分析手段と、前記サイト集約手段により集約されたサイトおよびリンク情報を取得し、サイト毎にページランク相当の評価値を求めるサイト評価手段と、前記リンク構造分析手段により分析されたリンク構造と前記サイト評価手段により求められたサイト毎の評価値および前記リンク情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールを更新するサイト判別手段と、を備えたことを特徴としている。
【００１１】
また請求項３に記載の大規模ＷＥＢサイトの評価装置は、請求項１又は２において、前記サイト集約ルール蓄積手段には、ＷＥＢ文書の取得元情報のホスト名とディレクトリ名に分け、ホスト名を個別に扱って共通部分をまとめて階層化した構造化サイト集約ルールが蓄積されることを特徴としている。
【００１２】
また、請求項４に記載の大規模ＷＥＢサイトの評価方法は、ＷＥＢ文書取得手段が、インターネットからＷＥＢ文書を取得し、該ＷＥＢ文書に関する情報をＷＥＢ文書蓄積手段に蓄積するステップと、サイト集約手段が、サイト集約ルール蓄積手段に蓄積された、サイトを集約するためのサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積手段に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約するサイト集約ステップと、リンク構造分析手段が、前記サイト集約手段により集約されたサイト間のリンク構造を分析するリンク構造分析ステップと、サイト評価手段が、前記サイト集約手段により集約されたサイトおよびリンク情報を取得し、サイト毎にページランク相当の評価値を求めるサイト評価ステップと、サイト判別手段が、前記リンク構造分析手段により分析されたリンク構造と前記サイト評価手段により求められたサイト毎の評価値および前記リンク情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールを更新するサイト判別ステップと、ＷＥＢ文書評価手段が、前記ＷＥＢ文書蓄積手段に蓄積された各ＷＥＢ文書に対して、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、サイト間のリンク情報を使って文書毎の評価値を付与し、評価済ＷＥＢ文書蓄積手段に蓄積するステップと、を備えたことを特徴としている。
【００１３】
また、請求項５に記載の大規模ＷＥＢサイトの評価プログラムは、コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させる大規模ＷＥＢサイトの評価プログラムである。
【発明の効果】
【００１４】
（１）請求項１〜５に記載の発明によれば、ＷＥＢ文書をサイト単位で集約してページランク評価とリンク構造から新たにサイト集約ルールを作成することで、ページランク評価値を付与するために利用すべきリンクを効果的に選別し、高速に計算することができ、従来よりも精度の高い文書検索の実現が可能となる。
（２）また請求項３に記載の発明によれば、構造化サイト集約ルールを利用することにより、サイトの集約を高速に行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００１６】
本実施形態例の大規模ＷＥＢサイトの評価装置は、図１に示すように、既存のＷＥＢ文書取得装置１００がインターネットを介してＷＥＢサーバから取得してきたＷＥＢ文書を蓄積しておく、ＷＥＢ文書蓄積手段としてのＷＥＢ文書蓄積装置２００内の情報を元に、サイト集約ルール蓄積手段としてのサイト集約ルールデータベース４００内のサイト集約（分類）ルールを使ってサイトへの集約（分類）とその分析結果によってサイト集約ルールを更新するサイト分析手段としてのサイト分析装置３００と、前記データベース４００内のサイト集約ルールを元に、前記蓄積されたＷＥＢ文書蓄積装置２００内のＷＥＢ文書それぞれに評価値を付与するＷＥＢ文書評価手段としてのＷＥＢ文書評価装置５００と、前記ＷＥＢ文書評価装置５００により評価値が付与されたＷＥＢ文書を格納する評価済ＷＥＢ文書蓄積手段としての評価済ＷＥＢ文書蓄積装置６００とで構築されている。
【００１７】
前記ＷＥＢ文書取得装置１００、サイト分析装置３００およびＷＥＢ文書評価装置５００の、後述する各機能は、例えばコンピュータにより達成される。
【００１８】
サイト分析装置３００は図２のように構成されている。図２において３０１は、任意のサイト集約ルールを元にＷＥＢ文書蓄積装置２００に蓄積されているＷＥＢ文書のリンク情報をサイト単位に集約するサイト集約手段としてのサイト集約装置である。
【００１９】
３０２は、サイトごとに集約された情報を蓄積しておく集約データ蓄積装置である。３０３は、集約データ蓄積装置３０２からサイトとリンク情報を組みとして取得し、サイト間のリンク構造を分析するリンク構造分析手段としてのリンク構造分析装置である。
【００２０】
３０４は、リンク先サイトとリンク元サイトに隣接しているサイトのリンク情報を組み合わせた情報が、前記リンク構造分析装置３０３によって記録されるリンク構造分析補助記録装置である。
【００２１】
３０５は、集約データ蓄積装置３０２から集約されたサイトおよびリンク情報を取得し、サイトの評価を行うサイト評価手段としてのサイト評価装置である。
【００２２】
３０６は、サイト評価装置３０５によりサイト毎に分配されたサイトの評価値が記録されるサイト評価補助記録装置である。
【００２３】
３０７は、リンク構造分析装置３０３とサイト評価装置３０５から得られた結果を蓄積する分析データ蓄積装置である。
【００２４】
３０８は、分析データ蓄積装置３０７から情報を取得し、新たにサイトとして集約するルールを作成するサイト判別手段としてのサイト判別装置である。
【００２５】
前記サイト集約ルールデータベース４００内のサイト集約ルールは、図３に示すように、ＷＥＢ文書の取得元情報（ＵＲＬ、つまり、ｈｔｔｐ：／／ホスト名／ディレクトリ名）のホスト名とディレクトリ名に対して、集約ルールに合致する場合、記述した集約サイト名を付与するものである。基本的には、ＷＥＢ文書はホスト名を見出し（サイト名）として集約し、ホスト名とディレクトリ名が合致するユーザサイト（例では、ｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／？のように、？を記述したルール）は、ユーザサイト名を見出し（サイト名）として集約する。 ユーザサイトは、インターネットサービスを提供しているプロバイダのホームページサービスやブログなどのＵＲＬの一部が一定の規則性を持つ、サービス利用者が自由に作成できるようなＷＥＢ文書群をまとめる単位である。
【００２６】
また集約サイト名は、複数のホストをまとめるための仮の名前であり、例えば図３のように、*．ｎｔｔ．ｃｏ．ｊｐ *．ｎｔｔ．ｊｐとルールを記述すると、ホスト名が「任意の語．ｎｔｔ．ｃｏ．ｊｐ」となっているＷＥＢ文書や「任意の語．ｎｔｔ．ｊｐ」となっているＷＥＢ文書を、ｎｔｔ．ｃｏ．ｊｐという集約サイト名を付与することで、同一サイトに属するホストサーバである、という意味を表す。
【００２７】
前記サイト集約ルールは、図３の例のように、ひとつの集約サイト名に関して複数あってもよい。前記サイト集約ルールは、既知のブログサービスなどに関しては事前にルールを作成しておく。
【００２８】
また前記サイト集約ルールをこのまま利用すると、１ページ毎にルール数に応じた適合検査を行う必要があり、処理時間がかかる。本発明では、サイト集約ルールをホスト名とディレクトリ名に分け、ホスト名を’．’にて個別に扱い共通部分をまとめて階層化した図４のような構造化サイト集約ルールを作って利用することで、適合検査を少ない回数で行うことにより、高速な集約を実現する。
【００２９】
ＷＥＢ文書評価装置５００は、ＷＥＢ文書蓄積装置２００からＷＥＢ文書を読み出し、サイト集約ルールデータベース４００内の構造化サイト集約ルールを元に、ＷＥＢ文書間のリンク情報から文書ごとの評価値を付与する。このとき、評価に使うリンク情報は、異なるサイト間のリンク情報のみを扱う。これは、同一サイト内でのリンクは、サイトを管理するものが自由に作ることができるため、ページを評価するための客観的な指標になりえないためである。この仕組みにより、従来手法の問題であった関連性のないリンクを排除して、有効なリンクを使った評価値の計算を実現できる。
【００３０】
評価済ＷＥＢ文書蓄積装置６００は、ＷＥＢ文書評価装置５００によって付与された評価値を一緒に蓄積し、全文検索などへ利用するために都合の良い形式でＷＥＢ文書を格納しておく。
【００３１】
次にサイト分析装置３００に関して、その詳細を説明する。サイト集約装置３０１は、図５に示すようなデータを蓄積済みのＷＥＢ文書蓄積装置２００からＷＥＢ文書のＵＲＬとそのＷＥＢ文書に記載されているリンク情報を組として取得し、サイト集約ルールデータベース４００内の構造化サイト集約ルールを元に、ＷＥＢ文書のＵＲＬとリンク先のＵＲＬが同一の集約サイト名を持たない場合のみ、それぞれのＵＲＬに対応するホスト名、もしくはユーザサイト名を見出し（サイト名）として、リンク情報とともに集約データ蓄積装置３０２へ記録する。
【００３２】
このとき、図６のように、まずＷＥＢ文書のサイトに対して、そのリンク先サイトを追加し、またさらに、リンク先サイトに対してリンク元サイトを追加することを繰り返して記録していく。これにより、ＷＥＢ文書蓄積装置２００に記録されているＷＥＢ文書すべてを処理すると、サイト毎にリンク先とリンク元のサイト情報がそろうことになる。
【００３３】
リンク構造分析装置３０３では、集約データ蓄積装置３０２からサイトとリンク情報を組として取得し、リンク情報を元に、リンク先サイトとリンク元サイトに隣接しているサイトのリンク情報を組み合わせた情報をリンク構造分析補助記録装置３０４に記録していく。集約データ蓄積装置３０２に記録されているデータを全部処理すれば、サイトとその隣接するサイトとのリンク情報が、図７のようにまとまることになる。次に、リンク構造分析装置３０３は、リンク構造分析補助記録装置３０４に記録されているデータを順にサイト毎に３サイト間リンク構造を分析し、そのパターンによってサイトのリンク構造の特徴を表すデータとして、分析データ蓄積装置３０７へサイト毎に記録していく。
【００３４】
サイト評価装置３０５は、最初に、集約データ蓄積装置３０２からサイトとリンク情報を組として取得し、ページランクの手法を元として、サイトのもつ評価値をリンク先サイトへ分配して、サイト評価補助記録装置３０６へ記録していく。
【００３５】
次に、サイト評価装置３０５は、サイト評価補助記録装置３０６からサイト毎に分配された評価値を集計して新たな評価値として更新し、新たな評価値と前の評価値との差分を計算し、サイト評価補助記録装置３０６全体で最大の差分を記録しておく。この最大の差分があらかじめ定めた任意の値以上の時は、更新された新たな評価値をリンク先サイトへ分配し、集計することで、評価値を更新していく。
【００３６】
このとき、サイトによっては、リンク先サイトはあるが、リンク元サイトがない場合、サイトの評価値は一定の値に決まる。こういったサイトの場合は、固定値になったという印をつけてリンク先サイトへ評価値を分配し、分析データ蓄積装置３０７へ評価値とリンク情報を記録することで、サイト評価装置３０５がもし次に計算を行う時があっても、無駄な計算をせずにすむ。また、リンク元サイトがあっても、すべてが固定値となった場合も同様に処理することで、処理量を減らすことができる。最大の差分が、あらかじめ定めた任意の値より下になったときに、サイト評価補助記録装置３０６のサイト評価値とリンク情報を分析データ蓄積装置３０７へ記録して終了する。
【００３７】
サイト判別装置３０８は、サイト毎に、評価値とリンク情報とリンク構造の特徴から判別式を用いて、サイト名に共通点はなくとも関連性が高いと推測できる場合は、同一サイトとしてまとめるよう複数のサイト集約ルールをまとめて、あたらしいサイトとする。
【００３８】
（実施例１）
以下、本発明の実施例を説明する。
【００３９】
既存のＷＥＢ文書取得装置１００によって、インターネットからＷＥＢ文書を取得し、その取得元ＵＲＬと、ＷＥＢ文書に関する情報、また、ＷＥＢ文書内のリンク情報をＷＥＢ文書蓄積装置２００に記録しておく。ＷＥＢ文書内のリンク情報は、既存のＷＥＢ文書取得装置１００であれば、リンクをたどることで効率よくＷＥＢ文書を次々に取得するための基本機能であるので、この情報も記録できるものであれば良い。ここでは、図５に示すようなデータが取得できたものとする。
【００４０】
サイト集約ルールデータベース４００内のサイト集約ルールとして、例を図３に示す。図３における集約サイト名ｅｘａｍｐｌｅ．ｊｐは、ｅｘ１．ｅｘａｍｐｌｅ．ｊｐやｅｘ２．ｅｘａｍｐｌｅ．ｊｐといったホスト名を持つＷＥＢ文書に対して、集約サイト名ｅｘａｍｐｌｅ．ｊｐを付与する、というルールである。図３の次の段のルールは、ｎｔｔ．ｃｏ．ｊｐとｎｔｔ．ｊｐは、ドメイン名は違うが、集約サイト名はｎｔｔ．ｃｏ．ｊｐとして同一サイトとして扱う、ということを示す。また、図３のさらに次の段のルールは、ホスト名部分は同じでも、ディレクトリ名部分によって、利用者毎に作成者が違う場合、例えば、ＩＳＰ（インターネットサービスプロバイダ）のユーザホームページサービスや、ブログサービスなどを、作者別に扱うためのルールであり、集約サイト名は、ユーザサイト名として、そのまま集約時にサイト名として扱うことを意味する。
【００４１】
前記サイト集約ルールは、利用するにあたって、構造化サイト集約ルールとして、図４のような構造化を行う。サイト分析装置３００のサイト集約装置３０１、ＷＥＢ文書評価装置５００では、ＷＥＢ文書蓄積装置２００から取得したＵＲＬ（ｈｔｔｐ：／／ホスト名／ディレクトリ名）を、ホスト名とディレクトリ名に分割し、ホスト名は、さらに’．’で分割して、右から逆順にして扱う。例えば、図５のＵＲＬｗｗｗ．ｎｔｔ．ｃｏ．ｊｐ／ｔｏｐ．ｈｔｍｌは、ホスト名ｗｗｗ．ｎｔｔ．ｃｏ．ｊｐとディレクトリ名／ｔｏｐ．ｈｔｍｌに分け、さらに、ホスト名をｊｐ，ｃｏ，ｎｔｔ，ｗｗｗと、分割して並べ替える。これを先頭から、図４の構造化サイト集約ルールに照らし合わせると、［ｊｐ］＋［ｃｏ］＋［ｎｔｔ］＋［任意］に適合し、集約サイト名ｎｔｔ．ｃｏ．ｊｐが付与される。同様に、図５のリンク情報であるｗｗｗ．ｎｔｔ．ｊｐ／は、集約サイト名ｎｔｔ．ｃｏ．ｊｐ、ｗｗｗ．ｎｔｔ−ｅａｓｔ．ｊｐ／は、合致するルールがないため、そのままｗｗｗ．ｎｔｔ−ｅａｓｔ．ｊｐがサイト名となる。
【００４２】
サイト集約装置３０１は、集約サイト名が同一の場合は、集約データ蓄積装置３０２に記録しない。この場合は、サイト名ｗｗｗ．ｎｔｔ．ｃｏ．ｊｐに対して、リンク先として、サイト名ｗｗｗ．ｎｔｔ−ｅａｓｔ．ｊｐを記録し、またさらに、サイト名ｗｗｗ．ｎｔｔ−ｅａｓｔ．ｊｐに対して、リンク元としてサイト名ｗｗｗ．ｎｔｔ．ｃｏ．ｊｐを記録する。同様の手順により、図５の記録データ例を処理して集約データ蓄積装置３０２に記録した結果を図６に例示している。
【００４３】
リンク構造分析装置３０３は、集約データ蓄積装置３０２からサイト名とリンク情報を取得して、リンク先、リンク元のサイトそれぞれに対して、サイト名と加工したリンク情報をリンク構造分析補助記録装置３０４に記録していく。図６の例では、サイトｅｘａｍｐｌｅ．ｊｐは、リンク情報として、リンク先としてｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ１、リンク元として、ｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ２を持っている。リンク情報は順に処理していくので、まず、サイトｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ１に、リンク元サイトとして、ｅｘａｍｐｌｅ．ｊｐ、また、そのリンク情報として、記録先のサイトとのリンク情報以外のリンク情報を付加する。ここでは、（先：なし、元：ｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ２）を一緒に記録する。次に、サイトｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ２に、リンク先サイトとして、ｅｘａｍｐｌｅ．ｊｐ、リンク情報として、（先：ｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ１、元：）を一緒に記録する。図６に例示したデータを処理して記録した結果が、図７のリンク構造分析補助記録装置３０４の例である。
【００４４】
次に、リンク構造分析装置３０３は、サイト毎にこのリンク情報を三つのサイトを一組と考え、その繋がり方を分析する。ｅｘａｍｐｌｅ．ｊｐの場合は、リンク情報サイトと合わせると３サイト一組の組み合わせが出来る。これに、直接のリンク先、リンク元の間の関係は、付加されたリンク情報から分析でき、これを図示すると、図９のようなリンク構造を持つことが分かる。このリンク構造の中での役割を図１０に示す番号を振ることで、サイトがどんな役割を持つか、という特徴を表す。すなわち、リンク構造は１３パターン有り、サイトの役割は３０種類に分類される。この特徴を、分析データ蓄積装置３０７にサイトの特徴として記録する。
【００４５】
サイト評価装置３０５は、集約データ蓄積装置３０２からサイト名とリンク情報を取得して、リンク先へ評価値を記録する。例えば、図６のサイトｗｗｗ．ｎｔｔ．ｃｏ．ｊｐの場合は、サイト評価補助記録装置３０６へサイトｗｗｗ．ｎｔｔ．ｃｏ．ｊｐと評価値の初期値１．０、リンク先サイトの情報を記録し、さらに、リンク先サイトｗｗｗ．ｎｔｔ−ｅａｓｔ．ｊｐに対して、初期値１．０をリンク先サイトへのリンク数を掛け（ここでは１）、リンク先サイト数全体（ここでは１）で割った値を記録する。集約データ蓄積装置３０２のデータ全体をサイト評価装置３０５で処理した結果（サイト評価補助記録装置３０６内の記録データ）を図８に例示する。
【００４６】
次に、サイト評価装置３０５は、サイト毎に、評価値を以下の式（１）で計算する。初期値、重みは、任意の値を指定できる。本例では、初期値１．０、重み０．８５で計算している。
【００４７】
評価値＝初期値＋重み×リンク元評価値の総和…（１）
サイト評価装置３０５は、算出した値と前回の評価値との差分の絶対値を記録し、あらかじめ定めた閾値よりも低くなるまで、繰り返し計算を行う。次回の計算では、新しく算出した評価値をリンク先サイトへのリンク数を掛け、リンク先サイト数全体で割った値をリンク先サイトへ記録する。基本的な計算方法は前述の通りだが、ここではサイト評価装置３０５は、初期値１．０の場合の最終的な評価値（サイトランク）と、特定のサイトのみ初期値１．０とし、他のサイトは初期値０．０で計算した評価値（信用度ランク）の二つを計算する。後者の特定のサイトとは、関連性のないリンクを作成するようなことのないサイトへのみリンクを張ると考えられるサイトを指定する。例えば、政府系のサイト（．ｇｏ．ｊｐ）や、学術系のサイト（*．ａｃ．ｊｐ）である。ここでは、ｎｔｔ．ｃｏ．ｊｐのみを初期値１．０で、信用度ランクを算出する。この二つの評価値を以下の式（２）で評価した値を、最終的なサイト評価値として、分析データ蓄積装置３０７へ記録する。
【００４８】
サイト評価値＝１．０−信用度ランク／サイトランク…（２）
サイト判別装置３０８は、サイト毎にリンク情報とリンク構造特徴とサイト評価値から、あらかじめ定めた判別ルールもしくは、機械学習によるサイト判別器により、関連が強いサイト同士をまとめ、新たにサイト集約ルールを作成し、サイト集約ルールデータベース４００に記録する。本例では、分析データ蓄積装置３０７内の図１１に示す記録データから、ｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ１とｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ２を同一サイトとする新しいサイト集約ルールとして、図１２に示すルールが追加される。
【００４９】
ＷＥＢ文書評価装置５００は、前記のように追加されたサイト集約ルールも加えて、ＷＥＢ文書毎に、初期値０．１５、重み０．８５で、サイト評価装置３０５と同様の手法で評価値を計算していく。評価値の差分の絶対値がある閾値より低くなった場合、もしくは、ある回数分計算した結果を追加して、評価済ＷＥＢ文書蓄積装置６００へ記録していく。このデータを元に、全文検索サービスなどへ応用を行う。
【００５０】
本発明の大規模ＷＥＢサイトの評価方法の実施形態例は、例えば前記図１〜図１２で説明した各装置の処理を実行するものである。すなわち、ＷＥＢ文書取得装置１００が、インターネットからＷＥＢ文書を取得し、該ＷＥＢ文書に関する情報をＷＥＢ文書蓄積装置２００に蓄積するステップと、サイト分析装置３００のサイト集約装置３０１が、サイト集約ルールデータベース４００に蓄積された、サイトを集約するためのサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積装置２００に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約するサイト集約ステップと、前記サイト毎に集約された情報を集約データ蓄積装置３０２に蓄積するステップと、リンク構造分析装置３０３が、前記集約データ蓄積装置３０２からサイトとリンク情報を組みとして取得し、サイト間のリンク構造をリンク構造分析補助記録装置３０４を利用して分析するリンク構造分析ステップと、サイト評価装置３０５が、集約データ蓄積装置３０２から集約されたサイトおよびリンク情報を取得し、サイト評価補助記録装置３０６を利用しながらサイト毎にページランク相当の評価値を求めるサイト評価ステップと、リンク構造分析装置３０３およびサイト評価装置３０５により得られた結果を分析データ蓄積装置３０７に蓄積するステップと、サイト判別装置３０８が、分析データ蓄積装置３０７から情報を取得し、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルールデータベース４００に蓄積されたサイト集約ルールを更新するサイト判別ステップと、ＷＥＢ文書評価装置５００が、前記ＷＥＢ文書蓄積装置２００に蓄積された各ＷＥＢ文書に対して、前記サイト集約ルールデータベース４００に蓄積されたサイト集約ルールに基づいて、サイト間のリンク情報を使って文書毎の評価値を付与し、評価済ＷＥＢ文書蓄積装置６００に蓄積するステップとを実行する。
【００５１】
また、本実施形態の大規模ＷＥＢサイトの評価装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の大規模ＷＥＢサイトの評価方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００５２】
【図１】本発明の大規模ＷＥＢサイトの評価装置の実施形態例を示すブロック図。
【図２】図１の装置の要部構成を示すブロック図。
【図３】本発明の実施形態例におけるサイト集約ルールの一例を示す説明図。
【図４】本発明の実施形態例における構造化サイト集約ルールの一例を示す説明図。
【図５】本発明の実施形態例におけるＷＥＢ文書蓄積装置内の記録データの一例を示す説明図。
【図６】本発明の実施形態例における集約データ蓄積装置内の記録データの一例を示す説明図。
【図７】本発明の実施形態例におけるリンク構造分析補助記録装置内の記録データの一例を示す説明図。
【図８】本発明の実施形態例におけるサイト評価補助記録装置内の記録データの一例を示す説明図。
【図９】本発明の実施形態例におけるリンク構造分析装置で分析されるリンク構造の一例を示す説明図。
【図１０】本発明の実施形態例におけるリンク構造の特徴番号を表す説明図。
【図１１】本発明の実施形態例における分析データ蓄積装置内の記録データの一例を示す説明図。
【図１２】本発明の実施形態例におけるサイト集約ルールデータベースに追加されたサイト集約ルールの一例を示す説明図。
【符号の説明】
【００５３】
１００…ＷＥＢ文書取得装置、２００…ＷＥＢ文書蓄積装置、３００…サイト分析装置、３０１…サイト集約装置、３０２…集約データ蓄積装置、３０３…リンク構造分析装置、３０４…リンク構造分析補助記録装置、３０５…サイト評価装置、３０６…サイト評価補助記録装置、３０７…分析データ蓄積装置、３０８…サイト判別装置、４００…サイト集約ルールデータベース、５００…ＷＥＢ文書評価装置、６００…評価済ＷＥＢ文書蓄積装置。
【技術分野】
【０００１】
本発明は、大量の電子文書を持つＷＥＢサービスに関して、重要なサイトかどうかを事前に評価しておくことにより、これらの電子文書からキーワードなどを用いて必要な電子文書を検索する際、サイトの評価が高い電子文書を優先する場合などに有用な技術に関する。
【０００２】
より具体的には、前もって取得した電子文書の取得元を示すＵＲＬと、その文書の中に記述されている他の文書との関連情報（リンクと呼ぶ）と、文書群をＷＥＢサービスのまとまりとして扱うためにＵＲＬを基にサイトに分類するデータベースを用いて、文書のサイトへの仕分けとサイト単位での評価を行うことで、従来よりも精度の高い文書検索の実現を可能にすることを特徴とする大規模ＷＥＢサイトの評価装置、方法、プログラムに関する。
【背景技術】
【０００３】
従来は、ＷＥＢの文書を全文検索する際、検索結果を優先順位に沿って並べ替えるための判断基準のひとつとして、ページランクがある。これは、より多くのページから関連があるとされるような、リンクによって指し示される数が多いページを優先するための評価基準である。
【０００４】
しかし、近年では、あまり関連性がないにもかかわらず、ページ作成者自身が自分で作ったたくさんのページから高い評価値を得たい自分のページにたくさんのリンクを張ることで、この評価を高めるということを行うという行為が増えてきている。このようなリンクをそのまま使った場合、検索結果が好ましくない状態になることが多い。これらはリンクスパムと呼ばれ、非特許文献１に開示されているようなＷＥＢのサーバ単位（ホスト）でのページランクから不正なリンクを構成しているであろうＷＥＢサーバを検出する技術がある。
【非特許文献１】Ｇｙｏｎｇｙｉ，Ｚ．，Ｇａｒｃｉａ−Ｍｏｌｉｎａ，Ｈ．ａｎｄ Ｐｅｄｅｒｓｅｎ，Ｊ．，Ｌｉｎｋ Ｓｐａｍ Ｄｅｔｅｃｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｍａｓｓ Ｅｓｔｉｍａｔｉｏｎ，ＶＬＤＢ ’０６：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３２ｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｖｅｒｙ ｌａｒｇｅ ｄａｔａ ｂａｓｅｓ，Ｓｅｐｔｅｍｂｅｒ，２００６
【非特許文献２】高田寛喜（奈良先端科学技術大学院大学），山田武士，上田修功（ＮＴＴコミュニケーション科学基礎研究所)、「ノードの機能特性に基づくクラスタリング」、ネットワーク生態学２００８シンポジウム予稿集、ｐｐ．１２０−１２４，２００８年
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ブログなどは、同じホストで、複数のユーザが個々にＷＥＢ文書を作成しており、非特許文献１に記載の検出技術のように、ホスト単位で扱うと、全てのユーザをまとめて扱ってしまうことになる。
【０００６】
本発明では、上記課題を解決し、ＷＥＢ文書を取得したサーバ、もしくは、サーバ毎に事前に設定した特定の場所から取得した複数のＷＥＢ文書をサイトという単位でまとめ、ＷＥＢ文書に記載されているリンク情報をサイト単位でまとめて分析することにより、ページ作成者の不正な自己作成によるリンクを無効、もしくは低い評価で扱うことでページランク相当の評価値を各ＷＥＢ文書に付与し、検索時の優先順位の決定に効果的に利用できるようにする。
【０００７】
また、リンク情報を分析する際、非特許文献２に開示されているようにリンク構造の分析を３サイト間で行うことにより、評価値の算出とサイト間の関係の分析を効率的に計算するように構成した大規模ＷＥＢサイトの評価装置、大規模ＷＥＢサイトの評価方法および大規模ＷＥＢサイトの評価プログラムを提供する。
【課題を解決するための手段】
【０００８】
本発明では、ＷＥＢから取得したＷＥＢ文書群に対して、ＷＥＢ文書に関する情報をサイト集約ルールを元に集約して扱い、サイト分析装置で分析して新たなサイト集約ルールを追加し、ＷＥＢ文書それぞれに前記サイト集約ルールを元に妥当な評価値を付与した情報を評価済ＷＥＢ文書蓄積装置に蓄積することで高精度なＷＥＢ文書の評価値を高速に付与できるように構成した。
【０００９】
すなわち、請求項１に記載の大規模ＷＥＢサイトの評価装置は、ＷＥＢから取得したＷＥＢ文書に関する情報を蓄積するＷＥＢ文書蓄積手段と、サイトを集約するためのサイト集約ルールが蓄積されたサイト集約ルール蓄積手段と、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積手段に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約し、前記集約されたサイト間のリンク構造を分析し、前記集約されたサイト毎にページランク相当の評価値を求め、前記分析されたリンク構造と前記求められたサイト毎の評価値および前記リンク情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールを更新するサイト分析手段と、前記ＷＥＢ文書蓄積手段に蓄積された各ＷＥＢ文書に対して、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、サイト間のリンク情報を使って文書毎の評価値を付与するＷＥＢ文書評価手段と、前記ＷＥＢ文書評価手段により評価値が付与されたＷＥＢ文書を蓄積する評価済ＷＥＢ文書蓄積手段と、を備えたことを特徴としている。
【００１０】
また請求項２に記載の大規模ＷＥＢサイトの評価装置は、請求項１において、前記サイト分析手段は、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積手段に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約するサイト集約手段と、前記サイト集約手段により集約されたサイト間のリンク構造を分析するリンク構造分析手段と、前記サイト集約手段により集約されたサイトおよびリンク情報を取得し、サイト毎にページランク相当の評価値を求めるサイト評価手段と、前記リンク構造分析手段により分析されたリンク構造と前記サイト評価手段により求められたサイト毎の評価値および前記リンク情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールを更新するサイト判別手段と、を備えたことを特徴としている。
【００１１】
また請求項３に記載の大規模ＷＥＢサイトの評価装置は、請求項１又は２において、前記サイト集約ルール蓄積手段には、ＷＥＢ文書の取得元情報のホスト名とディレクトリ名に分け、ホスト名を個別に扱って共通部分をまとめて階層化した構造化サイト集約ルールが蓄積されることを特徴としている。
【００１２】
また、請求項４に記載の大規模ＷＥＢサイトの評価方法は、ＷＥＢ文書取得手段が、インターネットからＷＥＢ文書を取得し、該ＷＥＢ文書に関する情報をＷＥＢ文書蓄積手段に蓄積するステップと、サイト集約手段が、サイト集約ルール蓄積手段に蓄積された、サイトを集約するためのサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積手段に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約するサイト集約ステップと、リンク構造分析手段が、前記サイト集約手段により集約されたサイト間のリンク構造を分析するリンク構造分析ステップと、サイト評価手段が、前記サイト集約手段により集約されたサイトおよびリンク情報を取得し、サイト毎にページランク相当の評価値を求めるサイト評価ステップと、サイト判別手段が、前記リンク構造分析手段により分析されたリンク構造と前記サイト評価手段により求められたサイト毎の評価値および前記リンク情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールを更新するサイト判別ステップと、ＷＥＢ文書評価手段が、前記ＷＥＢ文書蓄積手段に蓄積された各ＷＥＢ文書に対して、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、サイト間のリンク情報を使って文書毎の評価値を付与し、評価済ＷＥＢ文書蓄積手段に蓄積するステップと、を備えたことを特徴としている。
【００１３】
また、請求項５に記載の大規模ＷＥＢサイトの評価プログラムは、コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させる大規模ＷＥＢサイトの評価プログラムである。
【発明の効果】
【００１４】
（１）請求項１〜５に記載の発明によれば、ＷＥＢ文書をサイト単位で集約してページランク評価とリンク構造から新たにサイト集約ルールを作成することで、ページランク評価値を付与するために利用すべきリンクを効果的に選別し、高速に計算することができ、従来よりも精度の高い文書検索の実現が可能となる。
（２）また請求項３に記載の発明によれば、構造化サイト集約ルールを利用することにより、サイトの集約を高速に行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００１６】
本実施形態例の大規模ＷＥＢサイトの評価装置は、図１に示すように、既存のＷＥＢ文書取得装置１００がインターネットを介してＷＥＢサーバから取得してきたＷＥＢ文書を蓄積しておく、ＷＥＢ文書蓄積手段としてのＷＥＢ文書蓄積装置２００内の情報を元に、サイト集約ルール蓄積手段としてのサイト集約ルールデータベース４００内のサイト集約（分類）ルールを使ってサイトへの集約（分類）とその分析結果によってサイト集約ルールを更新するサイト分析手段としてのサイト分析装置３００と、前記データベース４００内のサイト集約ルールを元に、前記蓄積されたＷＥＢ文書蓄積装置２００内のＷＥＢ文書それぞれに評価値を付与するＷＥＢ文書評価手段としてのＷＥＢ文書評価装置５００と、前記ＷＥＢ文書評価装置５００により評価値が付与されたＷＥＢ文書を格納する評価済ＷＥＢ文書蓄積手段としての評価済ＷＥＢ文書蓄積装置６００とで構築されている。
【００１７】
前記ＷＥＢ文書取得装置１００、サイト分析装置３００およびＷＥＢ文書評価装置５００の、後述する各機能は、例えばコンピュータにより達成される。
【００１８】
サイト分析装置３００は図２のように構成されている。図２において３０１は、任意のサイト集約ルールを元にＷＥＢ文書蓄積装置２００に蓄積されているＷＥＢ文書のリンク情報をサイト単位に集約するサイト集約手段としてのサイト集約装置である。
【００１９】
３０２は、サイトごとに集約された情報を蓄積しておく集約データ蓄積装置である。３０３は、集約データ蓄積装置３０２からサイトとリンク情報を組みとして取得し、サイト間のリンク構造を分析するリンク構造分析手段としてのリンク構造分析装置である。
【００２０】
３０４は、リンク先サイトとリンク元サイトに隣接しているサイトのリンク情報を組み合わせた情報が、前記リンク構造分析装置３０３によって記録されるリンク構造分析補助記録装置である。
【００２１】
３０５は、集約データ蓄積装置３０２から集約されたサイトおよびリンク情報を取得し、サイトの評価を行うサイト評価手段としてのサイト評価装置である。
【００２２】
３０６は、サイト評価装置３０５によりサイト毎に分配されたサイトの評価値が記録されるサイト評価補助記録装置である。
【００２３】
３０７は、リンク構造分析装置３０３とサイト評価装置３０５から得られた結果を蓄積する分析データ蓄積装置である。
【００２４】
３０８は、分析データ蓄積装置３０７から情報を取得し、新たにサイトとして集約するルールを作成するサイト判別手段としてのサイト判別装置である。
【００２５】
前記サイト集約ルールデータベース４００内のサイト集約ルールは、図３に示すように、ＷＥＢ文書の取得元情報（ＵＲＬ、つまり、ｈｔｔｐ：／／ホスト名／ディレクトリ名）のホスト名とディレクトリ名に対して、集約ルールに合致する場合、記述した集約サイト名を付与するものである。基本的には、ＷＥＢ文書はホスト名を見出し（サイト名）として集約し、ホスト名とディレクトリ名が合致するユーザサイト（例では、ｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／？のように、？を記述したルール）は、ユーザサイト名を見出し（サイト名）として集約する。 ユーザサイトは、インターネットサービスを提供しているプロバイダのホームページサービスやブログなどのＵＲＬの一部が一定の規則性を持つ、サービス利用者が自由に作成できるようなＷＥＢ文書群をまとめる単位である。
【００２６】
また集約サイト名は、複数のホストをまとめるための仮の名前であり、例えば図３のように、*．ｎｔｔ．ｃｏ．ｊｐ *．ｎｔｔ．ｊｐとルールを記述すると、ホスト名が「任意の語．ｎｔｔ．ｃｏ．ｊｐ」となっているＷＥＢ文書や「任意の語．ｎｔｔ．ｊｐ」となっているＷＥＢ文書を、ｎｔｔ．ｃｏ．ｊｐという集約サイト名を付与することで、同一サイトに属するホストサーバである、という意味を表す。
【００２７】
前記サイト集約ルールは、図３の例のように、ひとつの集約サイト名に関して複数あってもよい。前記サイト集約ルールは、既知のブログサービスなどに関しては事前にルールを作成しておく。
【００２８】
また前記サイト集約ルールをこのまま利用すると、１ページ毎にルール数に応じた適合検査を行う必要があり、処理時間がかかる。本発明では、サイト集約ルールをホスト名とディレクトリ名に分け、ホスト名を’．’にて個別に扱い共通部分をまとめて階層化した図４のような構造化サイト集約ルールを作って利用することで、適合検査を少ない回数で行うことにより、高速な集約を実現する。
【００２９】
ＷＥＢ文書評価装置５００は、ＷＥＢ文書蓄積装置２００からＷＥＢ文書を読み出し、サイト集約ルールデータベース４００内の構造化サイト集約ルールを元に、ＷＥＢ文書間のリンク情報から文書ごとの評価値を付与する。このとき、評価に使うリンク情報は、異なるサイト間のリンク情報のみを扱う。これは、同一サイト内でのリンクは、サイトを管理するものが自由に作ることができるため、ページを評価するための客観的な指標になりえないためである。この仕組みにより、従来手法の問題であった関連性のないリンクを排除して、有効なリンクを使った評価値の計算を実現できる。
【００３０】
評価済ＷＥＢ文書蓄積装置６００は、ＷＥＢ文書評価装置５００によって付与された評価値を一緒に蓄積し、全文検索などへ利用するために都合の良い形式でＷＥＢ文書を格納しておく。
【００３１】
次にサイト分析装置３００に関して、その詳細を説明する。サイト集約装置３０１は、図５に示すようなデータを蓄積済みのＷＥＢ文書蓄積装置２００からＷＥＢ文書のＵＲＬとそのＷＥＢ文書に記載されているリンク情報を組として取得し、サイト集約ルールデータベース４００内の構造化サイト集約ルールを元に、ＷＥＢ文書のＵＲＬとリンク先のＵＲＬが同一の集約サイト名を持たない場合のみ、それぞれのＵＲＬに対応するホスト名、もしくはユーザサイト名を見出し（サイト名）として、リンク情報とともに集約データ蓄積装置３０２へ記録する。
【００３２】
このとき、図６のように、まずＷＥＢ文書のサイトに対して、そのリンク先サイトを追加し、またさらに、リンク先サイトに対してリンク元サイトを追加することを繰り返して記録していく。これにより、ＷＥＢ文書蓄積装置２００に記録されているＷＥＢ文書すべてを処理すると、サイト毎にリンク先とリンク元のサイト情報がそろうことになる。
【００３３】
リンク構造分析装置３０３では、集約データ蓄積装置３０２からサイトとリンク情報を組として取得し、リンク情報を元に、リンク先サイトとリンク元サイトに隣接しているサイトのリンク情報を組み合わせた情報をリンク構造分析補助記録装置３０４に記録していく。集約データ蓄積装置３０２に記録されているデータを全部処理すれば、サイトとその隣接するサイトとのリンク情報が、図７のようにまとまることになる。次に、リンク構造分析装置３０３は、リンク構造分析補助記録装置３０４に記録されているデータを順にサイト毎に３サイト間リンク構造を分析し、そのパターンによってサイトのリンク構造の特徴を表すデータとして、分析データ蓄積装置３０７へサイト毎に記録していく。
【００３４】
サイト評価装置３０５は、最初に、集約データ蓄積装置３０２からサイトとリンク情報を組として取得し、ページランクの手法を元として、サイトのもつ評価値をリンク先サイトへ分配して、サイト評価補助記録装置３０６へ記録していく。
【００３５】
次に、サイト評価装置３０５は、サイト評価補助記録装置３０６からサイト毎に分配された評価値を集計して新たな評価値として更新し、新たな評価値と前の評価値との差分を計算し、サイト評価補助記録装置３０６全体で最大の差分を記録しておく。この最大の差分があらかじめ定めた任意の値以上の時は、更新された新たな評価値をリンク先サイトへ分配し、集計することで、評価値を更新していく。
【００３６】
このとき、サイトによっては、リンク先サイトはあるが、リンク元サイトがない場合、サイトの評価値は一定の値に決まる。こういったサイトの場合は、固定値になったという印をつけてリンク先サイトへ評価値を分配し、分析データ蓄積装置３０７へ評価値とリンク情報を記録することで、サイト評価装置３０５がもし次に計算を行う時があっても、無駄な計算をせずにすむ。また、リンク元サイトがあっても、すべてが固定値となった場合も同様に処理することで、処理量を減らすことができる。最大の差分が、あらかじめ定めた任意の値より下になったときに、サイト評価補助記録装置３０６のサイト評価値とリンク情報を分析データ蓄積装置３０７へ記録して終了する。
【００３７】
サイト判別装置３０８は、サイト毎に、評価値とリンク情報とリンク構造の特徴から判別式を用いて、サイト名に共通点はなくとも関連性が高いと推測できる場合は、同一サイトとしてまとめるよう複数のサイト集約ルールをまとめて、あたらしいサイトとする。
【００３８】
（実施例１）
以下、本発明の実施例を説明する。
【００３９】
既存のＷＥＢ文書取得装置１００によって、インターネットからＷＥＢ文書を取得し、その取得元ＵＲＬと、ＷＥＢ文書に関する情報、また、ＷＥＢ文書内のリンク情報をＷＥＢ文書蓄積装置２００に記録しておく。ＷＥＢ文書内のリンク情報は、既存のＷＥＢ文書取得装置１００であれば、リンクをたどることで効率よくＷＥＢ文書を次々に取得するための基本機能であるので、この情報も記録できるものであれば良い。ここでは、図５に示すようなデータが取得できたものとする。
【００４０】
サイト集約ルールデータベース４００内のサイト集約ルールとして、例を図３に示す。図３における集約サイト名ｅｘａｍｐｌｅ．ｊｐは、ｅｘ１．ｅｘａｍｐｌｅ．ｊｐやｅｘ２．ｅｘａｍｐｌｅ．ｊｐといったホスト名を持つＷＥＢ文書に対して、集約サイト名ｅｘａｍｐｌｅ．ｊｐを付与する、というルールである。図３の次の段のルールは、ｎｔｔ．ｃｏ．ｊｐとｎｔｔ．ｊｐは、ドメイン名は違うが、集約サイト名はｎｔｔ．ｃｏ．ｊｐとして同一サイトとして扱う、ということを示す。また、図３のさらに次の段のルールは、ホスト名部分は同じでも、ディレクトリ名部分によって、利用者毎に作成者が違う場合、例えば、ＩＳＰ（インターネットサービスプロバイダ）のユーザホームページサービスや、ブログサービスなどを、作者別に扱うためのルールであり、集約サイト名は、ユーザサイト名として、そのまま集約時にサイト名として扱うことを意味する。
【００４１】
前記サイト集約ルールは、利用するにあたって、構造化サイト集約ルールとして、図４のような構造化を行う。サイト分析装置３００のサイト集約装置３０１、ＷＥＢ文書評価装置５００では、ＷＥＢ文書蓄積装置２００から取得したＵＲＬ（ｈｔｔｐ：／／ホスト名／ディレクトリ名）を、ホスト名とディレクトリ名に分割し、ホスト名は、さらに’．’で分割して、右から逆順にして扱う。例えば、図５のＵＲＬｗｗｗ．ｎｔｔ．ｃｏ．ｊｐ／ｔｏｐ．ｈｔｍｌは、ホスト名ｗｗｗ．ｎｔｔ．ｃｏ．ｊｐとディレクトリ名／ｔｏｐ．ｈｔｍｌに分け、さらに、ホスト名をｊｐ，ｃｏ，ｎｔｔ，ｗｗｗと、分割して並べ替える。これを先頭から、図４の構造化サイト集約ルールに照らし合わせると、［ｊｐ］＋［ｃｏ］＋［ｎｔｔ］＋［任意］に適合し、集約サイト名ｎｔｔ．ｃｏ．ｊｐが付与される。同様に、図５のリンク情報であるｗｗｗ．ｎｔｔ．ｊｐ／は、集約サイト名ｎｔｔ．ｃｏ．ｊｐ、ｗｗｗ．ｎｔｔ−ｅａｓｔ．ｊｐ／は、合致するルールがないため、そのままｗｗｗ．ｎｔｔ−ｅａｓｔ．ｊｐがサイト名となる。
【００４２】
サイト集約装置３０１は、集約サイト名が同一の場合は、集約データ蓄積装置３０２に記録しない。この場合は、サイト名ｗｗｗ．ｎｔｔ．ｃｏ．ｊｐに対して、リンク先として、サイト名ｗｗｗ．ｎｔｔ−ｅａｓｔ．ｊｐを記録し、またさらに、サイト名ｗｗｗ．ｎｔｔ−ｅａｓｔ．ｊｐに対して、リンク元としてサイト名ｗｗｗ．ｎｔｔ．ｃｏ．ｊｐを記録する。同様の手順により、図５の記録データ例を処理して集約データ蓄積装置３０２に記録した結果を図６に例示している。
【００４３】
リンク構造分析装置３０３は、集約データ蓄積装置３０２からサイト名とリンク情報を取得して、リンク先、リンク元のサイトそれぞれに対して、サイト名と加工したリンク情報をリンク構造分析補助記録装置３０４に記録していく。図６の例では、サイトｅｘａｍｐｌｅ．ｊｐは、リンク情報として、リンク先としてｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ１、リンク元として、ｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ２を持っている。リンク情報は順に処理していくので、まず、サイトｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ１に、リンク元サイトとして、ｅｘａｍｐｌｅ．ｊｐ、また、そのリンク情報として、記録先のサイトとのリンク情報以外のリンク情報を付加する。ここでは、（先：なし、元：ｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ２）を一緒に記録する。次に、サイトｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ２に、リンク先サイトとして、ｅｘａｍｐｌｅ．ｊｐ、リンク情報として、（先：ｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ１、元：）を一緒に記録する。図６に例示したデータを処理して記録した結果が、図７のリンク構造分析補助記録装置３０４の例である。
【００４４】
次に、リンク構造分析装置３０３は、サイト毎にこのリンク情報を三つのサイトを一組と考え、その繋がり方を分析する。ｅｘａｍｐｌｅ．ｊｐの場合は、リンク情報サイトと合わせると３サイト一組の組み合わせが出来る。これに、直接のリンク先、リンク元の間の関係は、付加されたリンク情報から分析でき、これを図示すると、図９のようなリンク構造を持つことが分かる。このリンク構造の中での役割を図１０に示す番号を振ることで、サイトがどんな役割を持つか、という特徴を表す。すなわち、リンク構造は１３パターン有り、サイトの役割は３０種類に分類される。この特徴を、分析データ蓄積装置３０７にサイトの特徴として記録する。
【００４５】
サイト評価装置３０５は、集約データ蓄積装置３０２からサイト名とリンク情報を取得して、リンク先へ評価値を記録する。例えば、図６のサイトｗｗｗ．ｎｔｔ．ｃｏ．ｊｐの場合は、サイト評価補助記録装置３０６へサイトｗｗｗ．ｎｔｔ．ｃｏ．ｊｐと評価値の初期値１．０、リンク先サイトの情報を記録し、さらに、リンク先サイトｗｗｗ．ｎｔｔ−ｅａｓｔ．ｊｐに対して、初期値１．０をリンク先サイトへのリンク数を掛け（ここでは１）、リンク先サイト数全体（ここでは１）で割った値を記録する。集約データ蓄積装置３０２のデータ全体をサイト評価装置３０５で処理した結果（サイト評価補助記録装置３０６内の記録データ）を図８に例示する。
【００４６】
次に、サイト評価装置３０５は、サイト毎に、評価値を以下の式（１）で計算する。初期値、重みは、任意の値を指定できる。本例では、初期値１．０、重み０．８５で計算している。
【００４７】
評価値＝初期値＋重み×リンク元評価値の総和…（１）
サイト評価装置３０５は、算出した値と前回の評価値との差分の絶対値を記録し、あらかじめ定めた閾値よりも低くなるまで、繰り返し計算を行う。次回の計算では、新しく算出した評価値をリンク先サイトへのリンク数を掛け、リンク先サイト数全体で割った値をリンク先サイトへ記録する。基本的な計算方法は前述の通りだが、ここではサイト評価装置３０５は、初期値１．０の場合の最終的な評価値（サイトランク）と、特定のサイトのみ初期値１．０とし、他のサイトは初期値０．０で計算した評価値（信用度ランク）の二つを計算する。後者の特定のサイトとは、関連性のないリンクを作成するようなことのないサイトへのみリンクを張ると考えられるサイトを指定する。例えば、政府系のサイト（．ｇｏ．ｊｐ）や、学術系のサイト（*．ａｃ．ｊｐ）である。ここでは、ｎｔｔ．ｃｏ．ｊｐのみを初期値１．０で、信用度ランクを算出する。この二つの評価値を以下の式（２）で評価した値を、最終的なサイト評価値として、分析データ蓄積装置３０７へ記録する。
【００４８】
サイト評価値＝１．０−信用度ランク／サイトランク…（２）
サイト判別装置３０８は、サイト毎にリンク情報とリンク構造特徴とサイト評価値から、あらかじめ定めた判別ルールもしくは、機械学習によるサイト判別器により、関連が強いサイト同士をまとめ、新たにサイト集約ルールを作成し、サイト集約ルールデータベース４００に記録する。本例では、分析データ蓄積装置３０７内の図１１に示す記録データから、ｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ１とｂｌｏｇ．ｇｏｏ．ｎｅ．ｊｐ／ｐｅｒｓｏｎ２を同一サイトとする新しいサイト集約ルールとして、図１２に示すルールが追加される。
【００４９】
ＷＥＢ文書評価装置５００は、前記のように追加されたサイト集約ルールも加えて、ＷＥＢ文書毎に、初期値０．１５、重み０．８５で、サイト評価装置３０５と同様の手法で評価値を計算していく。評価値の差分の絶対値がある閾値より低くなった場合、もしくは、ある回数分計算した結果を追加して、評価済ＷＥＢ文書蓄積装置６００へ記録していく。このデータを元に、全文検索サービスなどへ応用を行う。
【００５０】
本発明の大規模ＷＥＢサイトの評価方法の実施形態例は、例えば前記図１〜図１２で説明した各装置の処理を実行するものである。すなわち、ＷＥＢ文書取得装置１００が、インターネットからＷＥＢ文書を取得し、該ＷＥＢ文書に関する情報をＷＥＢ文書蓄積装置２００に蓄積するステップと、サイト分析装置３００のサイト集約装置３０１が、サイト集約ルールデータベース４００に蓄積された、サイトを集約するためのサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積装置２００に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約するサイト集約ステップと、前記サイト毎に集約された情報を集約データ蓄積装置３０２に蓄積するステップと、リンク構造分析装置３０３が、前記集約データ蓄積装置３０２からサイトとリンク情報を組みとして取得し、サイト間のリンク構造をリンク構造分析補助記録装置３０４を利用して分析するリンク構造分析ステップと、サイト評価装置３０５が、集約データ蓄積装置３０２から集約されたサイトおよびリンク情報を取得し、サイト評価補助記録装置３０６を利用しながらサイト毎にページランク相当の評価値を求めるサイト評価ステップと、リンク構造分析装置３０３およびサイト評価装置３０５により得られた結果を分析データ蓄積装置３０７に蓄積するステップと、サイト判別装置３０８が、分析データ蓄積装置３０７から情報を取得し、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルールデータベース４００に蓄積されたサイト集約ルールを更新するサイト判別ステップと、ＷＥＢ文書評価装置５００が、前記ＷＥＢ文書蓄積装置２００に蓄積された各ＷＥＢ文書に対して、前記サイト集約ルールデータベース４００に蓄積されたサイト集約ルールに基づいて、サイト間のリンク情報を使って文書毎の評価値を付与し、評価済ＷＥＢ文書蓄積装置６００に蓄積するステップとを実行する。
【００５１】
また、本実施形態の大規模ＷＥＢサイトの評価装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の大規模ＷＥＢサイトの評価方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００５２】
【図１】本発明の大規模ＷＥＢサイトの評価装置の実施形態例を示すブロック図。
【図２】図１の装置の要部構成を示すブロック図。
【図３】本発明の実施形態例におけるサイト集約ルールの一例を示す説明図。
【図４】本発明の実施形態例における構造化サイト集約ルールの一例を示す説明図。
【図５】本発明の実施形態例におけるＷＥＢ文書蓄積装置内の記録データの一例を示す説明図。
【図６】本発明の実施形態例における集約データ蓄積装置内の記録データの一例を示す説明図。
【図７】本発明の実施形態例におけるリンク構造分析補助記録装置内の記録データの一例を示す説明図。
【図８】本発明の実施形態例におけるサイト評価補助記録装置内の記録データの一例を示す説明図。
【図９】本発明の実施形態例におけるリンク構造分析装置で分析されるリンク構造の一例を示す説明図。
【図１０】本発明の実施形態例におけるリンク構造の特徴番号を表す説明図。
【図１１】本発明の実施形態例における分析データ蓄積装置内の記録データの一例を示す説明図。
【図１２】本発明の実施形態例におけるサイト集約ルールデータベースに追加されたサイト集約ルールの一例を示す説明図。
【符号の説明】
【００５３】
１００…ＷＥＢ文書取得装置、２００…ＷＥＢ文書蓄積装置、３００…サイト分析装置、３０１…サイト集約装置、３０２…集約データ蓄積装置、３０３…リンク構造分析装置、３０４…リンク構造分析補助記録装置、３０５…サイト評価装置、３０６…サイト評価補助記録装置、３０７…分析データ蓄積装置、３０８…サイト判別装置、４００…サイト集約ルールデータベース、５００…ＷＥＢ文書評価装置、６００…評価済ＷＥＢ文書蓄積装置。
【特許請求の範囲】
【請求項１】
ＷＥＢから取得したＷＥＢ文書に関する情報を蓄積するＷＥＢ文書蓄積手段と、
サイトを集約するためのサイト集約ルールが蓄積されたサイト集約ルール蓄積手段と、
前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積手段に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約し、前記集約されたサイト間のリンク構造を分析し、前記集約されたサイト毎にページランク相当の評価値を求め、前記分析されたリンク構造と前記求められたサイト毎の評価値および前記リンク情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールを更新するサイト分析手段と、
前記ＷＥＢ文書蓄積手段に蓄積された各ＷＥＢ文書に対して、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、サイト間のリンク情報を使って文書毎の評価値を付与するＷＥＢ文書評価手段と、
前記ＷＥＢ文書評価手段により評価値が付与されたＷＥＢ文書を蓄積する評価済ＷＥＢ文書蓄積手段と、
を備えたことを特徴とする大規模ＷＥＢサイトの評価装置。
【請求項２】
前記サイト分析手段は、
前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積手段に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約するサイト集約手段と、
前記サイト集約手段により集約されたサイト間のリンク構造を分析するリンク構造分析手段と、
前記サイト集約手段により集約されたサイトおよびリンク情報を取得し、サイト毎にページランク相当の評価値を求めるサイト評価手段と、
前記リンク構造分析手段により分析されたリンク構造と前記サイト評価手段により求められたサイト毎の評価値および前記リンク情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールを更新するサイト判別手段と、
を備えたことを特徴とする請求項１に記載の大規模ＷＥＢサイトの評価装置。
【請求項３】
前記サイト集約ルール蓄積手段には、ＷＥＢ文書の取得元情報のホスト名とディレクトリ名に分け、ホスト名を個別に扱って共通部分をまとめて階層化した構造化サイト集約ルールが蓄積されることを特徴とする請求項１又は２に記載の大規模ＷＥＢサイトの評価装置。
【請求項４】
ＷＥＢ文書取得手段が、インターネットからＷＥＢ文書を取得し、該ＷＥＢ文書に関する情報をＷＥＢ文書蓄積手段に蓄積するステップと、
サイト集約手段が、サイト集約ルール蓄積手段に蓄積された、サイトを集約するためのサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積手段に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約するサイト集約ステップと、
リンク構造分析手段が、前記サイト集約手段により集約されたサイト間のリンク構造を分析するリンク構造分析ステップと、
サイト評価手段が、前記サイト集約手段により集約されたサイトおよびリンク情報を取得し、サイト毎にページランク相当の評価値を求めるサイト評価ステップと、
サイト判別手段が、前記リンク構造分析手段により分析されたリンク構造と前記サイト評価手段により求められたサイト毎の評価値および前記リンク情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールを更新するサイト判別ステップと、
ＷＥＢ文書評価手段が、前記ＷＥＢ文書蓄積手段に蓄積された各ＷＥＢ文書に対して、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、サイト間のリンク情報を使って文書毎の評価値を付与し、評価済ＷＥＢ文書蓄積手段に蓄積するステップと、
を備えたことを特徴とする大規模ＷＥＢサイトの評価方法。
【請求項５】
コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させる大規模ＷＥＢサイトの評価プログラム。
【請求項１】
ＷＥＢから取得したＷＥＢ文書に関する情報を蓄積するＷＥＢ文書蓄積手段と、
サイトを集約するためのサイト集約ルールが蓄積されたサイト集約ルール蓄積手段と、
前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積手段に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約し、前記集約されたサイト間のリンク構造を分析し、前記集約されたサイト毎にページランク相当の評価値を求め、前記分析されたリンク構造と前記求められたサイト毎の評価値および前記リンク情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールを更新するサイト分析手段と、
前記ＷＥＢ文書蓄積手段に蓄積された各ＷＥＢ文書に対して、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、サイト間のリンク情報を使って文書毎の評価値を付与するＷＥＢ文書評価手段と、
前記ＷＥＢ文書評価手段により評価値が付与されたＷＥＢ文書を蓄積する評価済ＷＥＢ文書蓄積手段と、
を備えたことを特徴とする大規模ＷＥＢサイトの評価装置。
【請求項２】
前記サイト分析手段は、
前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積手段に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約するサイト集約手段と、
前記サイト集約手段により集約されたサイト間のリンク構造を分析するリンク構造分析手段と、
前記サイト集約手段により集約されたサイトおよびリンク情報を取得し、サイト毎にページランク相当の評価値を求めるサイト評価手段と、
前記リンク構造分析手段により分析されたリンク構造と前記サイト評価手段により求められたサイト毎の評価値および前記リンク情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールを更新するサイト判別手段と、
を備えたことを特徴とする請求項１に記載の大規模ＷＥＢサイトの評価装置。
【請求項３】
前記サイト集約ルール蓄積手段には、ＷＥＢ文書の取得元情報のホスト名とディレクトリ名に分け、ホスト名を個別に扱って共通部分をまとめて階層化した構造化サイト集約ルールが蓄積されることを特徴とする請求項１又は２に記載の大規模ＷＥＢサイトの評価装置。
【請求項４】
ＷＥＢ文書取得手段が、インターネットからＷＥＢ文書を取得し、該ＷＥＢ文書に関する情報をＷＥＢ文書蓄積手段に蓄積するステップと、
サイト集約手段が、サイト集約ルール蓄積手段に蓄積された、サイトを集約するためのサイト集約ルールに基づいて、前記ＷＥＢ文書蓄積手段に蓄積されたＷＥＢ文書のリンク情報をサイト単位に集約するサイト集約ステップと、
リンク構造分析手段が、前記サイト集約手段により集約されたサイト間のリンク構造を分析するリンク構造分析ステップと、
サイト評価手段が、前記サイト集約手段により集約されたサイトおよびリンク情報を取得し、サイト毎にページランク相当の評価値を求めるサイト評価ステップと、
サイト判別手段が、前記リンク構造分析手段により分析されたリンク構造と前記サイト評価手段により求められたサイト毎の評価値および前記リンク情報に基づいて、関連が強いサイト同士をまとめて新たにサイト集約ルールを作成し、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールを更新するサイト判別ステップと、
ＷＥＢ文書評価手段が、前記ＷＥＢ文書蓄積手段に蓄積された各ＷＥＢ文書に対して、前記サイト集約ルール蓄積手段に蓄積されたサイト集約ルールに基づいて、サイト間のリンク情報を使って文書毎の評価値を付与し、評価済ＷＥＢ文書蓄積手段に蓄積するステップと、
を備えたことを特徴とする大規模ＷＥＢサイトの評価方法。
【請求項５】
コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させる大規模ＷＥＢサイトの評価プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１１７８９３（Ｐ２０１０−１１７８９３Ａ）
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願番号】特願２００８−２９０７８６（Ｐ２００８−２９０７８６）
【出願日】平成２０年１１月１３日（２００８．１１．１３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願日】平成２０年１１月１３日（２００８．１１．１３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]