関連コンテンツ提示装置及びプログラム
【課題】 関連コンテンツの候補のキーワード分布特性が一致していない場合やテキスト量が少ない場合においても精度の高い関連コンテンツを提示する。
【解決手段】 本発明は、対象文書がWeb文書である場合は主要コンテンツの抽出を行い、文書内のテキストからキーワード候補を抽出し、抽出されたキーワードの重要度をWebＩＤＦやBM25といったアルゴリズムを用いて出現頻度及び、キーワードの形態素の固有名詞の出現頻度、キーワード辞書のリンク構造に基づいて得られた文書のランキング、閲覧された回数、検索エンジンに投入された回数、キーワードが文の先頭に存在するか否か等の要素により重要度を計算し、重要度に基づいてキーワードを選択し、当該キーワードを組み合わせて検索クエリを生成し、検索することにより関連コンテンツを取得する。
【解決手段】 本発明は、対象文書がWeb文書である場合は主要コンテンツの抽出を行い、文書内のテキストからキーワード候補を抽出し、抽出されたキーワードの重要度をWebＩＤＦやBM25といったアルゴリズムを用いて出現頻度及び、キーワードの形態素の固有名詞の出現頻度、キーワード辞書のリンク構造に基づいて得られた文書のランキング、閲覧された回数、検索エンジンに投入された回数、キーワードが文の先頭に存在するか否か等の要素により重要度を計算し、重要度に基づいてキーワードを選択し、当該キーワードを組み合わせて検索クエリを生成し、検索することにより関連コンテンツを取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関連コンテンツ提示装置及びプログラムに係り、特に、文書中に含まれるテキストからその内容に関連するコンテンツを提示するための関連コンテンツ提示装置及びプログラムに関する。
【背景技術】
【０００２】
従来の関連コンテンツ提示方法は、該当するテキストに含まれるキーワードの出現分布と類似するテキストを含むコンテンツを提示していた（例えば、非特許文献１，２参照）。
【０００３】
また、従来の重要語抽出技術はキーワードの出現頻度や、複合語を構成する形態素の連接頻度等を用いて抽出する手法が主流であった（例えば、非特許文献３，４参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】別所克人、内山俊郎、内山匡(NTT). αダイバージェンスに基づく単語連想と文書分類への適用.
【非特許文献２】Piotr Indyk(MIT). Near-Optimal Hashing Algorithms for Approximate Near(est) Neighbor Problem.
【非特許文献３】中川裕志，森辰則，湯本紘彰．出現頻度と連接頻度に基づく専門用語抽出．自然言語処理，Vol.10 No.1， pp. 27 - 45， 2003年1月．
【非特許文献４】S.E. Robertson S. Walker Some Simple Effective Approximations to the 2.Poisson Model for Probabilistic Weighted Retrieval 1994年
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来手法では関連コンテンツを提示するために必要な条件として、提示したいコンテンツが関連元のテキストと同程度のテキスト量を保有する必要があり、また提示したいコンテンツと関連元テキストのキーワード分布特性が一致していない場合や、コンテンツに付与されているテキストが少ない場合に提示コンテンツの精度が低くなる問題があった。そのため、あるテキストに関連する動画やクーポン情報を関連コンテンツとして提示したい場合にこの問題が生じる。また、近年動画やクーポン情報が検索APIとして他社が保有するコンテンツが無償で公開されている。しかしながら従来法では、関連コンテンツ候補は自己で保有していなければ出力できないため、関連コンテンツとして出力できない問題がある。
【０００６】
本発明は、上記の点に鑑みなされたもので、関連コンテンツの候補のキーワード分布特性が一致していない場合やテキスト量が少ない場合においても精度の高い関連コンテンツを提示することが可能な関連コンテンツ提示装置及びプログラムを提供することを目的とする。
【０００７】
さらに、他社が保有し公開する検索ＡＰＩ（Application Program Interface）から様々な種類の関連コンテンツを提示することが可能な関連コンテンツ提示装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明（請求項１）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、Ｗｅｂ文書集合における出現確率を、WebIDFアルゴリズム及び、BM25アルゴリズムを用いて算出し、出現頻度の高い上位Ｎ件のキーワード候補を抽出する重要度算出手段と、
Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【０００９】
また、本発明（請求項２）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出し、各キーワードの形態素の固有名詞の出現頻度を算出し、該出現確率と該キーワードの固有名詞の出現頻度を用いて重要度を算出する重要度算出手段と、
重要度算出手段で算出された重要度に基づいて抽出されたＮ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１０】
また、本発明（請求項３）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
キーワード候補のキーワードに基づいてキーワード辞書を参照し、リンク構造に基づいて得られた文書のランキングを該キーワードのキーワード固有重要度とする第２の重要度算出手段と、
第１の重要度算出手段の出現確率及び第２の重要度算出手段のキーワード固有重要度を用いて算出された値に基づいて抽出されたＮ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１１】
また、本発明（請求項２）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
キーワード辞書を参照した閲覧ログを格納した閲覧ログ記憶手段と、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
キーワード辞書を参照して、主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
閲覧ログ記憶手段を参照して、閲覧された回数が多いキーワードほど度合いが大きくなる重要度を求める第２の重要度算出手段と、
第１の重要度算出手段の出現確率と、第２の重要度算出手段の重要度を用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１２】
また、本発明（請求項５）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
キーワード辞書を参照して主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
キーワード候補が検索エンジンに投入された回数を取得し、検索クエリ投入回数を用いてキーワード固有重要度を算出する第２の重要度算出手段と、
第１の重要度算出手段の出現確率と、第２の重要度算出手段のキーワード固有重要度を用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１３】
また、本発明（請求項６）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
キーワード辞書を参照して主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
キーワード候補のＷｅｂ文書の文における出現位置を参照し、キーワードが文の先頭にあるほど値が大きくなる重要度を求める第２の重要度算出手段と、
第１の重要度算出手段の出現確率と、第２の重要度算出手段の重要度を用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１４】
また、本発明（請求項７）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
キーワード辞書を参照して主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
Ｗｅｂ文書から固有表現を有する固有表現キーワードを抽出し、重要キーワード候補と一致した場合に、重みを付与したスコアを求める第２の重要度算出手段と、
第１の重要度算出手段の出現確率と、第２の重要度算出手段のスコアを用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１５】
また、本発明（請求項８）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
キーワード辞書を参照した閲覧ログを格納した閲覧ログ記憶手段と
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
キーワード辞書を参照して、主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出し、各キーワードの形態素の固有名詞の出現頻度を算出し、該出現確率と該キーワードの固有名詞の出現頻度を用いて第１の重要度を算出する第１の重要度算出手段と、
キーワード候補のキーワードに基づいてキーワード辞書を参照し、リンク構造に基づいて得られた文書のランキングを該キーワードの第２の重要度とする第２の重要度算出手段と、
閲覧ログ記憶手段を参照して、閲覧された回数が多いキーワードほど度合いが大きくなる第３の重要度を求める第３の重要度算出手段と、
キーワード候補が検索エンジンに投入された回数を取得し、検索クエリ投入回数を用いて第４の重要度を算出する第４の重要度算出手段と、
キーワード候補のＷｅｂ文書の文における出現位置を参照し、キーワードが文の先頭にあるほど値が大きくなる第５の重要度を求める第５の重要度算出手段と、
第１の重要度算出手段の第１の重要度、第２の重要度算出手段の第２の重要度、第３の重要度算出手段の第３の重要度、第４の重要度算出手段の第４の重要度、第５の重要度算出手段の第５の重要度の少なくともいずれか１つの重要度に基づいて抽出されたＮ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１６】
また、本発明（請求項９）は、請求項１乃至８のいずれか１項に記載の関連コンテンツ提示装置を構成する各手段としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１７】
上記のように、本発明によれば、コンテンツ特性に合わせた重要語（重要キーワード）抽出により、関連コンテンツ候補のキーワード分布特性が一致していない場合やテキスト量が少ない場合においても精度の高い関連コンテンツ提示が可能になる。
【００１８】
また、他社が保有し公開する検索APIから様々な種類の関連コンテンツを提示することが可能になり、自社でコンテンツを保有していいなくても他社のコンテンツを関連コンテンツとして提示できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態における関連コンテンツ提示処理の概要動作のフローチャートである。
【図２】本発明の一実施の形態における関連コンテンツ提示装置のシステム図である。
【図３】本発明の一実施の形態における関連コンテンツ提示装置の処理の流れを示すフローチャートである。
【図４】本発明の一実施の形態におけるキーワード固有重要度算出式のスコア分布例である。
【図５】本発明の一実施の形態における主要コンテンツ抽出部の構成図である。
【図６】本発明の一実施の形態におけるWeb文書取得・入力部の構成図である。
【図７】本発明の一実施の形態におけるWeb文書分割部の構成図である。
【図８】本発明の一実施の形態における特徴量抽出部の構成図である。
【図９】本発明の一実施の形態における主要コンテンツ判定部の構成図である。
【図１０】本発明の一実施の形態における特徴量のパラメータ推定方法のフローチャートである。
【図１１】本発明の一実施の形態における主要コンテンツ出力部の構成図である。
【図１２】本発明の一実施の形態における主要コンテンツの出力例（その１）である。
【図１３】本発明の一実施の形態における主要コンテンツの出力例（その２）である。
【図１４】本発明の一実施の形態における関連コンテンツ提示装置の出力例である。
【発明を実施するための形態】
【００２０】
以下図面と共に、本発明の実施の形態を説明する。
【００２１】
本発明は、文書中における重要キーワードを抽出するシステムである．従来法においては比較的量の多い文書集合を事前に用意する必要があったが、本発明では文書が少ない場合においても精度が落ちにくい手法を提案する。
【００２２】
図１は、本発明の一実施の形態における関連コンテンツ提示処理の概要動作のフローチャートである。
【００２３】
本装置の主な処理の流れは、以下のようになる．
ステップ１） 入力された対象文書がＷｅｂ文書か否かの判定を行う。
【００２４】
ステップ２） 対象文書がWeb文書である場合は主要コンテンツの抽出を行う。
【００２５】
ステップ３） 文書内のテキストからキーワード候補を抽出する。
【００２６】
ステップ４） 抽出されたキーワードの重要度を算出し、順序付けを行う。
【００２７】
ステップ５） 抽出されたキーワードをあらかじめ指定した検索ＡＰＩに送信し、コンテンツ結果を得る。
【００２８】
以上が、文書中における重要キーワードを抽出する処理の主な流れである。
【００２９】
図２は、本発明の一実施の形態における関連コンテンツ提示装置の構成を示す。
【００３０】
同図に示す関連コンテンツ提示装置は、事前計算処理部１００、文書入力部２００、主要コンテンツ抽出部３００、重要キーワード候補抽出部４００、出現頻度を用いた重要度算出部５００、キーワード重要度算出部６００、関連コンテンツ取得・提示部７００、関連コンテンツ出力部８００から構成される。
【００３１】
事前計算処理部１００は、重要キーワード候補辞書ＤＢ１１０、重要キーワード候補辞書ＤＢ作成部１１０、Wikipedia（登録商標）データ記憶部１２０、検索クエリデータ記憶部１３０、Wikipedia（登録商標）閲覧ログデータ１４０、キーワード固有重要度算出部１６０、キーワード固有重要度ＤＢ１５０から構成される。なお、Wikipedia（登録商標）データ記憶部１２０は、ユーザ参加型オンライン百科事典のWikipedia（登録商標）のデータを格納する。
【００３２】
図３は、本発明の一実施の形態における関連コンテンツ提示装置の処理の流れを示すフローチャートである。
【００３３】
ステップ１１０） 事前計算処理部１００の重要キーワード候補辞書ＤＢ作成部１１０は、予め重要キーワード候補をとなるである重要キーワード候補を作成し、重要キーワード候補辞書ＤＢ１１０に格納する。
【００３４】
ステップ１２０） 事前計算処理部１００のキーワード固有重要度算出部１６０は、Wikipedia（登録商標）データ記憶部１２０、検索クエリデータ記憶部１１３０、Wikipedia（登録商標）閲覧ログデータ記憶部１４０を参照してキーワード固有の重要度を求め、キーワード固有重要度ＤＢ１５０に格納する。
【００３５】
ステップ１３０） 文書入力部２００は、入力文書がＷｅｂ文書である場合は、主要コンテンツ抽出部３００に当該Ｗｅｂ文書を渡し、そうでない場合はファイルをただ読み込むだけのものとする。
【００３６】
ステップ１４０） 主要コンテンツ抽出部３００は、入力されたＷｅｂ文書から主要コンテンツを抽出する。
【００３７】
ステップ１５０） 重要キーワード候補抽出部４００は、事前計算処理部１００の重要キーワード候補辞書ＤＢ１１０をWikipedia（登録商標）の見出し語を形態素解析用の辞書として用いて、キーワードを抽出する。なお、Wikipedia（登録商標）の見出し語を用いる理由については後述する。
【００３８】
ステップ１６０） 出現頻度を用いた重要度算出部５００は、WebIDFやBM25等の出現頻度を算出するアルゴリズムを用いて重要キーワード候補の重要度を算出し、メモリ（図示せず）に格納する。
【００３９】
ステップ１７０） キーワード重要度算出部６００は、事前計算処理部１００のキーワード固有重要度ＤＢ１５０を参照して、キーワード候補の重要度を算出し、メモリ（図示せず）に格納する。
【００４０】
ステップ１８０） 関連コンテンツ取得・提示部７００は、出現頻度を用いた重要度算出部５００のメモリ（図示せず）とキーワード重要度算出部６００のメモリ（図示せず）から出現頻度を用いた重要度及びキーワードの重要度を取得して、これらの重要度に基づいてキーワードを選択し、当該キーワードに関連するコンテンツを取得して提示する。
【００４１】
以下に、上記の各ステップ毎の動作を詳細に説明する。
【００４２】
●ステップ１１０：重要キーワード候補辞書ＤＢ作成部１１０の処理
事前計算処理部１００の重要キーワード候補辞書ＤＢ作成部１１０は、Wikipedia（登録商標）データ記憶部１２０を参照し、当該Wikipedia（登録商標）の見出し語を抽出して、重要キーワード候補辞書ＤＢ１１０に登録する。
【００４３】
重要度候補辞書ＤＢ作成部１１０は、後述する主要コンテンツ抽出部３００の特徴量抽出部３３０の精度向上のための処理として、不要文字列等を除去する手法が有効である。事前計算処理部１００において、以下に記述する不要文字列を事前に除去しておくことで、主要コンテンツの判定精度を高める。
【００４４】
・
・<
・>
・&
・«
・»
これらの文字列は、HTMLタグ等で用いる記号をWebブラウザ上で表示する際に用いる特殊文字である。また、上記で挙げた特殊文字以外のHTML特殊文字も削除の対象とする。
【００４５】
特殊文字は実際表示される文字列に対して、文字列の量が少ないため、学習の際のノイズとなりやすい。
●ステップ１２０：キーワード固有重要度算出部１６０の処理
事前計算処理部１００のキーワード重要度算出部１６０は、後述するキーワード重要度算出部６００により参照されるキーワード固有重要度ＤＢ１５０を生成する。キーワード重要度算出部１６０は、Wikipedia（登録商標）データ記憶部１２０、検索クエリデータ記憶部１３０、Wikipedia（登録商標）閲覧ログデータ１４０を参照し、キーワードの固有重要度を算出し、キーワード固有重要度ＤＢ１５０に格納する。
【００４６】
以下に、キーワード重要度算出部１６０について詳細に説明する。
【００４７】
キーワード重要度算出部１６０は、キーワードの重要性を考慮したスコアの算出を行う。ここで、「キーワードの重要性」とは、知名度や話題性の高い、内容の深いキーワード程重要であると定義し、このキーワードの重要度を「キーワード固有重要度」と呼ぶ。
【００４８】
当該「キーワード固有重要度」を求める方法として、
［１］Wikipedia（登録商標）内のリンク構造を用いた手法；
［２］Wikipedia（登録商標）上の閲覧回数を用いた手法
［３］検索エンジンの検索クエリ投入回数を用いた手法
の３つの方法がある。以下に詳細に説明する。
【００４９】
［１］ Wikipedia（登録商標）内のリンク構造を用いた手法
本項では、Wikipedia（登録商標）内のリンク構造を用いてキーワード固有重要度を算出する手法について述べる。
【００５０】
HITSやPageRankといった一般的なWeb文書のランキング手法は、Webページのリンク構造を用いて、Web文書のランキングを行っている。しかしながら、Wikipedia（登録商標）の文書には、１つの文書につき１つの見出し語（キーワード）がついているため、Wikipedia（登録商標）のリンク構造から得られた文書のランキングをキーワードのランキングとみなすことができる。そのため本装置では、Wikipedia（登録商標）に特化したランキング手法を適用することで、キーワード固有重要度を算出する。ベースとなるアルゴリズムにはHITSアルゴリズムを用いる。
【００５１】
HITSアルゴリズムは、すべてのWeb文書をauthority(コンテンツ)とhub(リンク集)の２つから構成されると定義する。そして、良いhubから多数リンクされるauthority程良いauthorityであるという仮説と、良いauthorityに多数リンクしているhub程良いhubであるという二つの仮説を繰り返し実行することでWeb文書のランキングを行う。しかしながら、HITSアルゴリズムはWeb世界におけるWeb文書のリンク構造をモデルにしたアルゴリズムのため、リンク構造が非常に密なWikipediaにそのまま適用した場合、やや難がある。そこで、本装置ではWikipedia（登録商標）の特徴的な構造と密なリンク構造に対応させた手法を提案する。そして、本アルゴリズムから算出したauthorityの値による順位を、本手法が提案する減衰関数に近似させ、最終的なキーワード固有重要度とする。
【００５２】
・テキスト量の考慮
Wikipedia（登録商標）の見出し語は、知名度が高く話題性の高い見出し語程、テキストの記述量が多い傾向がある。そこで、authority値の算出の際に、自文書のテキスト量が多ければ多いほどその文書は重要であるといった重み、text(k)を考慮する。
【００５３】
・自リンクと被リンクの比率
一般的にWikipedia（登録商標）の見出し語は、有名なキーワード程、自リンクと被リンクの数が多くなっている。しかしながら、地名やジャンル名のような広い概念を持つキーワードは、引用しやすいキーワードのため、自リンク数に比べて圧倒的に被リンクの数が多い傾向がある。通常のHITSアルゴリズムは良いhubから多数リンクされているauthorityは良いauthorityであるといった仮説を用いるが、圧倒的に被リンクが多い場合においては、これらの仮説は成り立たないと予想される。また、その一方で、最近知名度が高くなってきている新人俳優や話題語等の見出し語は、誕生してから日が浅いため引用数は少ないが自リンクは多い傾向にある。そのため少ない被リンク数においても、authorityを高める必要がある。これらの問題を解決するために、authority値の算出の際にflink(k)/blink(k)を考慮する。ここで、flink(k)はキーワードkの文書内に含まれる自リンクの数を表し、blink(k)はキーワードkの文書にリンクしている被リンク数の数を表す。
【００５４】
・明らかにauthority算出とならない見出し語の扱い
Wikipedia（登録商標）の見出し語には、「〜年」や「〜一覧」といった明らかにauthorityとならない見出し語が存在する。これらの見出し語は自リンクが非常に多く、被リンクも非常に多い場合があるため、ノイズとなりやすい。そこで、明らかにauthorityとならない見出し語のauthority値は常に変更しないことで、この問題に対処する。
【００５５】
・hubの平均的なリンクの質
Wikipedia（登録商標）の文書には、自リンクが多数あるが、hubとして質の悪い文書がある。そこで、リンク先キーワードのauthorityが平均的に高いhubは重要であるといった仮設に変更することで、自リンクは多いがhubとして質の低い文書のhub値を下げる重み
【００５６】
【数１】
を考慮する。
【００５７】
・リダイレクトの扱い
Wikipedia（登録商標）の文書には、見出し語の異表記を解消するためにredirectが存在する。例えば、「アメリカ合衆国」には、「アメリカ」、「United States of America」のredirectがある。Redirectは異表記のキーワードを一意にまとめる効果だけでなく、キーワードの被リンク構造に大きな影響をもつため、redirectキーワードを親ノードにまとめることで、異表記のキーワード固有重要度を算出し、被リンクの問題も解決する。
【００５８】
そして、最終的なWikipedia（登録商標）ランキングアルゴリズムは以下の式（１）で定義される。
【００５９】
【数２】
ここで、a(k)はキーワードｋのauthority値で、h(k)はhub値である。そして、flink(k)はキーワードkからの自リンク数、blink(k)はキーワードkからの被リンク数である。text(k)は、キーワードkが見出し語になっているWikipedia（登録商標）文書の文字数（アンカーリンク対象の文字列は除く）であり、K´はキーワードkが見出し語になっているWikipedia（登録商標）文書内に含まれるリンクの総数となる。
【００６０】
そして、式（１）で算出したauthority値を用いて、降順にキーワードを順位づけする。そして、以下のキーワード固有重要度算出式を用いてスコアの近似を行い、 Wikipedia（登録商標）内のリンク構造を用いたキーワード固有重要度WKIS(k)とする。
【００６１】
【数３】
ここで、ｙ1はキーワード固有重要度の上界であり、ｙ0はキーワード固有重要度の下界である。そしてｋrはキーワードkのauthorityの値による順位、Kはキーワードの総数、aはスコアの勾配係数で、aの値が大きくなればなるほどスコアの勾配が急になる。ｙ1、ｙ0推奨値は、それぞれ1，0．1で、勾配係数の推奨値は3から7である。
【００６２】
次に本関数（スコア）の特徴について述べる。本関数はキーワードの候補数（ｘ軸の要素数）に左右されることなく、また上界と下界を設定でき、またキーワードの候補数の上位10%以内において、最大値と最小値の差が30%〜70%以内に収まる減衰曲線を描き、そしてパラメータ係数にて減衰度合いを整数値を用いることで小数点を考慮した細かい数値設定を考慮することなく容易に設定できる特徴をもつスコア関数である。（勿論、減衰度合いの設定は実数値でも設定可能である。）図４に本関数のスコア分布例を掲載する。
【００６３】
Wikipedia（登録商標）内のリンク構造から算出したキーワード固有重要度は、ユーザ参加型オンライン百科事典のWikipedia（登録商標）内においての重要なキーワードが上位に位置づけられるため、一般的に知名度は低いが実際には内容が深く重要なキーワードが上位に位置づけられる。
【００６４】
［２］ Wikipedia（登録商標）上の閲覧回数を用いた手法
以下では、Wikipedia（登録商標）上において閲覧された回数が多いキーワード程、重要なキーワードであるとみなす手法を説明する。Wikipedia（登録商標）上の閲覧回数を記載されている閲覧ログは以下のサイトから取得できる。
【００６５】
http://dammit.lt/wikistats/
この手法もWikipedia（登録商標）内のリンク構造を用いた手法と同じく、式（７）のキーワード固有重要度算出式を用いてスコアの近似を行い、Wikipedia（登録商標）上の閲覧回数を用いたキーワード固有重要度WBKIS(k)とする。
【００６６】
【数４】
ここで、ｙ1はキーワード固有重要度の上界であり、ｙ０はキーワード固有重要度の下界である。そしてｋrはキーワードkの閲覧回数による順位、Kはキーワードの総数、aはスコアの勾配係数で、aの値が大きくなればなるほどスコアの勾配が急になる。
【００６７】
集計対象とする閲覧ログの期間は、長ければ長い程良いが最近の6カ月程度のログであれば十分である。
【００６８】
また、Wikipedia（登録商標）には見出し語として存在するが、閲覧ログには存在しない場合がある。その場合は、ｙ０を該当キーワードのスコアとする。ｙ1、ｙ0の推奨値は、それぞれ1、0．1で、勾配係数の推奨値は3から７である。
【００６９】
次に本関数の特徴について述べる。本関数はキーワードの候補数(x軸の要素数)に左右されることなく、また上界と下界を設定でき、またキーワードの候補数の上位10%以内において、最大値と最小値の差が30%〜70%以内に収まる減衰曲線を描き、そしてパラメータ係数にて減衰度合いを整数値を用いることで小数点を考慮した細かい数値設定を考慮することなく容易に設定できる特徴をもつスコア関数である。（勿論、減衰度合いの設定は実数値でも設定可能である。）図４に本関数のスコア分布例を掲載する。
【００７０】
［３］ 検索エンジンの検索クエリ投入回数を用いた手法
この手法は、実際の検索エンジンに投入された回数が多い検索クエリ程、重要なキーワードであるとみなす手法である。検索クエリの投入回数は、ポータルサイト上で投入された検索クエリのような大規模データであることが好ましい。ここで、対象となる検索クエリはWikipedia（登録商標）に存在するキーワードであるとする。この手法もWikipedia（登録商標）内のリンク構造を用いた手法と同じく式（3）のキーワード固有重要度算出式を用いてスコアの近似を行い、検索クエリの投入回数を用いたキーワード固有重要度QKIS(k)とする。
【００７１】
【数５】
ここで、ｙ1はキーワード固有重要度の上界であり、ｙ0はキーワード固有重要度の下界である。そしてｋrはキーワードkの検索回数による順位、Kはキーワードの総数、aはスコアの勾配係数で、aの値が大きくなればなるほどスコアの勾配が急になる。
【００７２】
また、Wikipedia（登録商標）には見出し語として存在するが、検索エンジンの検索クエリには存在しない場合がある。その場合は、ｙ0を該当キーワードのスコアとする。ｙ1、ｙ0の推奨値は、それぞれ1、0．1で、勾配係数の推奨値は3から7である。
【００７３】
次に本関数（スコア）の特徴について述べる。本関数はキーワードの候補数（ｘ軸の要素数）に左右されることなく、また上界と下界を設定でき、またキーワードの候補数の上位10%以内において、最大値と最小値の差が30%〜70%以内に収まる減衰曲線を描き、そしてパラメータ係数にて減衰度合いを整数値を用いることで小数点を考慮した細かい数値設定を考慮することなく容易に設定できる特徴をもつスコア関数である。（勿論、減衰度合いの設定は実数値でも設定可能である。）図４に本関数のスコア分布例を掲載する。
【００７４】
検索エンジンの種類によって、クエリランキングの特性が異なる問題がある。例えばブログ検索エンジンでは、有名人の名前や趣味等のユーザの嗜好に関する検索クエリが多い。その一方教えてgoo（登録商標）等のＱＡサイトの検索エンジンでは、悩み相談系の検索クエリが多い。そのため、最終的に提示するコンテンツに合わせた検索クエリログを用いることで、目的に合わせたコンテンツ提示が実現できる。どのクエリログを用いるとよいかはユーザが判断する。
【００７５】
検索エンジンの検索クエリ投入回数から算出したキーワード固有重要度は、実際の検索クエリ投入回数によって重要度が決まるため、検索クエリとして投入されやすく、重要なキーワードが上位に来る傾向にある。
【００７６】
次に、キーワード固有重要度算出部１６０の最終的な固有重要度算出について説明する。
【００７７】
上記の［１]〜［３］では、Wikipedia（登録商標）内のリンク構造から算出したキーワード固有重要度WKIS(k)と、検索エンジンの検索クエリ投入回数から算出したキーワード固有重要度QKIS(k)について述べた。しかしながら、QKIS(k)は検索クエリデータの収集期間が短い場合、その間にインターネット上でおきた話題に強く影響されてしまう問題があり、さらにインターネットサイト名等の生活的クエリが多く含まれる傾向にある。そのため、WKIS(k)とWBKIS(ｋ)QKIS(ｋ)の線形和を、最終的なキーワード固有重要度とすることで、話題性が高く内容の深く、かつ検索クエリとして投入されやすいキーワードを上位に位置づける重要度を算出する。
【００７８】
【数６】
αの値は0．3〜0．5辺りの範囲で調整し、βは0．2〜0．3、γは0．2〜0．3辺りの値を用いるとよい。
【００７９】
●ステップ１３０：文書入力部２００の処理
関連コンテンツ提示の対象となる文書を入力する。
【００８０】
●ステップ１４０：主要コンテンツ抽出部３００
最初に主要コンテンツ抽出部３００の処理について説明する。
【００８１】
入力文書がWeb文書である場合、ナビゲーションリンクや広告テキスト等のWeb文書の内容とは関係の無いテキストが存在する。そのため、それら不要テキストを除去する主要コンテンツ部分の抽出を行う必要がある。Web文書か否かの判定は、ファイルの拡張子を用いて行うものとする。
【００８２】
図５は、本発明の一実施の形態における主要コンテンツ抽出部の構成を示す。
【００８３】
同図に示す主要コンテンツ抽出部３００は、Ｗｅｂ文書取得・入力部３１０、Ｗｅｂ文書分割部３２０、特徴量抽出部３３０、主要コンテンツ判定部３４０、主要コンテンツ出力部３５０から構成される。
【００８４】
Ｗｅｂ文書取得・入力部３１０は、処理するWeb文書（データ）の入力を行う。図６に、Ｗｅｂ文書取得・入力部３１０の詳細な構成を示す。
【００８５】
データ入力部３１１は、ユーザから入力された主要コンテンツを抽出したいWeb文書のURL、もしくはファイルそのものを取得する。ＵＲＬ入力部３１３は、入力がURLの場合は、そのURLを取得し、Ｗｅｂ文書取得部３１４にて、当該ＵＲＬの先のWeb文書を取得する。Ｗｅｂ文書ファイル入力部３１２は、ファイルが直接入力された場合はそのファイルを取得する。文字ノード変換部３１５は、Web文書の文字コードはUTF-8に変換し統一する。
【００８６】
Ｗｅｂ文書分割部３２０は、取得したＷｅｂ文書を分割する。図７にＷｅｂ文書分割部３２０の詳細な構成を示す。Ｗｅｂ文書分割部３２０は、取得したWeb文書を分割するもので、広告対象領域抽出部３２１、ノイズとなるタグや領域除去部３２２、Ｗｅｂ文書の分割部３２３から構成される。
【００８７】
広告対象領域抽出部３２１は、インターネット広告等のコンテンツタグを含む領域がある場合、その領域を抽出する。インターネット広告とは、google（登録商標）やoverture（登録商標）等の広告会社が広告配信のための主要コンテンツ絞込みに用いるタグである。google（登録商標）の広告の場合、<!-- google_ad_section_start -->から、<!-- google_ad_section_end-->までがその領域に該当する。これらのタグはWeb文書によって文字列が少々異なったり大文字で表記されるので、大文字と小文字を区別しない正規表現を用いたり、ワイルドカードの正規表現を用いる等を行うことで、多少の文字列表記の違いを吸収する処理を行う。以下、正規表現を用いる処理の説明の際には、多少の違いを吸収する処理を行っているものとする。
【００８８】
以降の処理は、インターネット広告の領域が存在する場合、上記で述べた領域を抽出する処理を行い、インターネット広告の領域がない場合は、最初に入力されたWeb文書に対して処理を行う。
【００８９】
ノイズとなるタグや領域除去部３２２は、余計なタグや領域、特定の文字列を除去する処理を行う。除去されるタグや領域は、Web文書のHTMLを説明するコメントタグであったり、JavaScriptであったり、formタグであったりする。除去するタグと領域を以下に記載する。
【００９０】
・"<!--"で始まり、"-->"で終わるコメントタグ。
【００９１】
・"<script>"タグから、"</script>"タグで囲まれる領域。
【００９２】
・"<style>"タグから、"</style>"タグで囲まれる領域。
【００９３】
・"<select>"タグから、"</select>"タグで囲まれる領域。
【００９４】
・"<noscript>"タグから、"</noscript>"タグで囲まれる領域。
【００９５】
・"<form>"タグから、"</form>"タグで囲まれる領域。
【００９６】
・連続した空白文字列。（単一の空白は除く）
・連続したタブ文字列。（単一のタブは除く）
以上のタグ、領域、文字列を正規表現を用いて除去する。また、タグ内にalt属性やclass属性が存在する場合も考えられるため、その場合はそれらを含めたタグを考慮した正規表現を用いて分割を行う。（例：<style class="hoge">）
Ｗｅｂ文書の分割部３２３は、Web文書の分割を行う。分割の規則は、以下のタグを用いて分割を行う（Web文書の分割部）。
・<div>
・</div>
・<td>
・</td>
タグ内にalt属性やclass属性が存在する場合も考えられるため、その場合は、それらを含めたタグを考慮した正規表現を用いて分割を行う。（例：<div class="hoge">）
以降分割されたWeb文書の一つ一つを「セグメント」と呼び、特徴量抽出と主要コンテンツか否かの判定はセグメント毎に行うものとする。
【００９７】
特徴量抽出部３３０は、以降で述べる特徴量を抽出し、Web文書の主要コンテンツ部分の判定を行う。分割された文書の特徴量を抽出する。
【００９８】
図８は、本発明の一実施の形態における特徴量抽出部の構成を示す。同図に示す特徴量抽出部３３０は、アンカーリンク情報特徴量抽出部３３１、タグ情報特徴量抽出部３３２、Ｗｅｂ文書で表示される文字列特徴量抽出部３３３、特徴量正規化部３３４、特徴量の比率特徴量抽出部３３５から構成される。
【００９９】
特徴量抽出部３３０では、
［１］Ｗｅｂ文書で表示される文字列（Ｗｅｂ文書で表示される文字列特徴量抽出部３３３）；
［２］タグ情報（タグ情報特徴量抽出３３２）；
［３］アンカーリング情報（アンカーリンク情報特徴量抽出部３３１）；
［４］特徴量の比率（特徴量の比率特徴量抽出部３３５）；
を抽出する。
【０１００】
以下に、［１］〜［４］の各特徴量の抽出の方法を示す。
【０１０１】
［１］Web文書で表示される文字列 (Web文書で表示される文字列特徴量抽出部３３３)
当該Web文書で表示される文字列は、Web文書で表示される文字列特徴量抽出部３３３により抽出される。
【０１０２】
ここでは、Webブラウザで表示される文字列に関する特徴量について述べる。ここで述べる文字列とは、HTMLタグ等のWebブラウザで表示されない文字列を含まないものとする。
【０１０３】
［１−１］ 文字列の量
一般的にWeb文書の主要コンテンツ部分は、主要コンテンツでない部分と比較すると多くの文字列が含まれている。また、全体的に文字列の少ないWeb文書においても同様のことが言える。そのため、Ｗｅｂ文書で表示される文字列特徴量抽出部３３３において、分割されたWeb文書に含まれる文字列の数を特徴量として抽出する。そして、特徴量正規化部３３４にて、以下に示す文字列の量を正規化して特徴量とする手法（ａ）と、文字列の絶対値を用いて特徴量とする手法（ｂ）の二つを実行し、最終的な文字列の量の特徴量とする。
【０１０４】
（ａ）文字列の量の正規化を行い特徴量とする手法(特徴量正規化部３３４)
特徴量正規化部３３４は、すべてのセグメントにおいて最大の文字列の量をもつセグメントの特徴量を1とする正規化を行う。例えば、すべてのセグメントにおいて最大の文字列の量が200で、あるセグメント内の文字列の量が100だった場合には、そのセグメントの文字列の量の特徴量は0．5となる。このような正規化を行うことで、全体的に文字列の少ないWeb文書においても主要コンテンツの抽出が可能になる。
【０１０５】
（ｂ）文字列の量の絶対値を用いて特徴量とする手法 (特徴量正規化部３３４)
上記で述べた正規化を行い特徴量とする手法は、全体的に文字列の少ないWeb文書において有効であったが、正規化を行うことで、全体的に文字列の量が多く、主要コンテンツ部分のセグメント間の文字列の量の差が大きい場合に不都合が生じる。例えば、すべてのセグメントにおいて最大の文字列の量が1000で、あるセグメント内の文字列の量が100だった場合、そのセグメントの文字列の量の特徴量は0．1になる。文字列の量としては多いはずだが、正規化を行うことで、このような弊害が生じる。そこで、文字列の絶対値を用いて特徴量とする手法を行う必要がある。具体的には、ある特定の値を超えた場合にその文字列の特徴量を1とする手法を用いる。例えば、あるセグメント内の文字列の量が100の場合、文字列の量が5以上の場合の特徴量が1となり、文字列の量が10以上の場合の特徴量が1となり，…，文字列の量が105以上の特徴量は0となり，…，文字列の量が200以上の特徴量は0となるように、特徴量を作成する。このように、ある特定の文字列量を超えた場合に特徴量を1とする手法を用いることで、特徴量の最大値は1のままで文字列の量の絶対値を特徴量とすることができる。また、例においての文字列の量の絶対値の特徴量の間隔は5としたが、場合において適切な間隔を用いるのが好ましい。また、8，16，32，64といった2の乗数を用いて特徴量の間隔とする手法も考えられる。文字列の量がx以上の・・・の最大のxも同様に、場合において適切な値に変更する。主要コンテンツ判定における計算量を減らしたい場合にはxの値を小さくすると良いだろう。
【０１０６】
また、セグメント内に文字列が全くない場合も考えられる。その場合は、以降で説明する特徴量を抽出するまでもなく、主要コンテンツでないと判断できる。そのため、実際の実行時には以下の特徴量抽出は行わず、後述する主要コンテンツ判定部３４０のテキスト判定部において、該当セグメントを非主要コンテンツとして判別する。この処理は、特徴量の学習を行う際には行わない。
【０１０７】
［１−２］ 句読点の数
Web広告等のノイズとなりやすいセグメントは、文字列の量は多いが句読点の数が少ない傾向にある。そのため、句読点の数を特徴とする。具体的にはセグメント内の文字列に含まれる『、』、『，』、『。』、『．』、『！』、『・』、『？』、『…』の数を特徴量としてカウントする。この特徴量も、文字列の量で述べた正規化による特徴量と、絶対値による特徴量の二通りを算出する。算出方法においては、［１−１］文字列の量で述べた手法と同じものを用いる。
【０１０８】
［２］ タグ情報 (タグ情報特徴量抽出部３３２)
ここでは、HTMLタグ等のタグ情報に関する特徴量について述べる。
【０１０９】
［２−１］テキスト系のHTMLタグの数
あるセグメント内において、Web文書で表示される文字列が多い場合、テキストに関するHTMLタグが多く含まれる。また、ブログ等のＣＧＭにおいては、Web文書で表示される文字列は少ないが、ユーザが改行タグを多用する事例が多くみられる。そこで、タグ情報特徴量抽出部３３２では、テキストに関するHTMLタグの数を特徴量として用いる。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。例えば、すべてのセグメントにおいて最大のHTMLタグの量が10で、あるセグメント内のHTMLタグの量が5だった場合には、そのセグメントのHTMLタグの量の特徴量は0．5となる。そして、例で使用するテキスト系のHTMLタグは、以下のタグを対象とする。
【０１１０】
・<p>
・</p>
・<br>
・</br>
・<font>
・</font>
タグ内にsize属性やclass属性が存在する場合も考えられるため、その場合は、それらを含めたタグを考慮した正規表現を用いてカウントを行う。（例：<font size="+1">）
［２−２］ テキスト系のHTMLタグの連続出現数
Web文書で表示される文字列が集中して記述してあるセグメントは、テキスト系のタグが多く存在すると同時に、テキスト系のHTMLタグが連続して出現する。ここでいう、連続して出現するというのは、他のアンカーリンク等のHTMLタグが間に出現しないということである。そこで、タグ情報特徴量抽出部３３２は、［２−１］で述べたテキスト系のＨＴＭＬタグの連続出現数を特徴量とする。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。例えば、すべてのセグメントにおいて最大のHTMLタグの連続量が10で、あるセグメント内のHTMLタグの連続量が5だった場合には、そのセグメントの文字列の量の特徴量は0．5となる。
【０１１１】
［２−３］ リンクリストタグの数
あるセグメント内においてリンクリストタグが多い場合、そのセグメントにはナビゲーションリンク等の多くのアンカーリンクが存在し、そのセグメントは主要コンテンツとならない可能性が高い。そこで、タグ情報特徴量抽出部３３２は、リンクリストタグの数を特徴量とする。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。例えば、すべてのセグメントにおいて最大のリンクリストタグの量が10で、あるセグメント内のリンクリストタグの量が5だった場合には、そのセグメントのリンクリストタグの量の特徴量は0．5となる。そして、実施例で使用するリンクリストタグは、以下のタグを対象とする。
【０１１２】
・<li>
・<ul>
・<dl>
・<dd>
・<ol>
タグ内にalt属性やclass属性が存在する場合も考えられるため、その場合は、それらを含めたタグを考慮した正規表現を用いてカウントを行う。（例：<font class="hoge">）
［２−４］ Web文書で表示される文字列を含まない文字列（HTMLタグを含む）の量
あるセグメント内において、Webで表示されない文字列（HTMLタグを含む）が多い場合、そのセグメントは広告等の主要コンテンツでない可能性が高い。そこで、タグ情報特徴量抽出部３３２は、Web文書で表示される文字列以外の文字列（HTMLタグを含む）量を特徴量とする。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。例えば、すべてのセグメントにおいて最大のWebで表示されない文字列の量が100で、あるセグメント内のWebで表示されない文字列の量が50だった場合には、そのセグメントのWebで表示されない文字列の量の特徴量は0．5となる。
【０１１３】
［３］ アンカーリンク情報 (アンカーリンク情報特徴量抽出部３３１)
ここでは、アンカーリンクに関する特徴量の抽出方法について述べる。
【０１１４】
［３−１］ アンカーリンクの数
あるセグメントにおいて、アンカーリンクが多数含まれているセグメントは主要コンテンツでない可能性が高い。そこで、アンカーリンク情報特徴量抽出部３３１は、アンカーリンクの数を特徴量として用いる。具体的には<a href=…>…</A>タグで表されるアンカーリンクの数を特徴量とする。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。例えば、すべてのセグメントにおいて最大のアンカーリンクの数が10で、あるセグメント内のアンカーリンクの数が5だった場合には、そのセグメントのアンカーリンクの数の特徴量は0．5となる。アンカーリンクタグには、class属性やalt属性が含まれる場合もあるので、アンカーリンクタグの数は正規表現を用いてカウントする。
【０１１５】
［３−２］ 各アンカーリンクの文字列の平均量
各アンカーリンクの文字列が平均して多い場合、そのセグメントは、関連記事等のナビゲーションリンクである可能性が高い。また、アンカーリンクの文字列が平均して少ない場合、主要コンテンツ内に含まれるキーワード検索リンクである可能性が高い。そこで、アンカーリンク情報特徴量抽出部３３１は、セグメントに含まれるアンカーリンクの文字列の平均量を特徴量として用いる。アンカーリンクの文字列とは、<a href='…'…>○○○</A>の○○○の部分に該当する。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。
【０１１６】
［３−３］ すべてのアンカーリンク文字列の合計量
セグメント内に含まれるアンカーリンクの文字列の合計量が多い場合、そのセグメントはナビゲーションリンクである可能性が高い。そこで、アンカーリンク情報特徴量抽出部３３１は、セグメント内に含まれるアンカーリンクの文字列の合計量を特徴量として用いる。アンカーリンクの文字列とは、<a href='…'>○○○</A>の○○○の部分に該当する。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。
【０１１７】
［３−４］ 最大文字列のアンカーリンクＵＲＬの量
アンカーリンク先のURL文字列が非常に長い場合、そのセグメントは広告である可能性が高い。そこで、アンカーリンク情報特徴量抽出部３３１は、セグメント内で最大長のアンカーリンク先のＵＲＬの文字列を特徴量として用いる。ここで述べるアンカーリンク先のURL文字列とは、<a href='△△△'…>…</A>の△△△の部分に該当する。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。
【０１１８】
［３−５］ 広告に関するアンカーリンクを含むか
広告に関するＵＲＬを含むアンカーリンクは特徴的な文字列を含む可能性が高い。例えば、「adclick」、「adnet」、「banner」等がそれにあたる。そこで、アンカーリンク情報特徴量抽出部３３１は、このような広告となりやすい文字列を含んだＵＲＬを含むアンカーリンクが存在する場合、特徴量を１とし、存在しない場合を０とする特徴量を抽出する。広告になりやすい文字列は、広告除去用のFirefox用アドインであるAdblock plugin等のサイトに記載されているため、それを用いる。
【０１１９】
［４］ 特徴量の比率 (特徴量の比率特徴量抽出部３３５)
ここでは、［１］から［３］で述べた特徴量間の比率を用いた特徴量について述べる。
【０１２０】
［４−１］ テキスト系のタグ数とテキスト系のタグの連続出現数の比率
テキスト系のタグが多数あり、またテキスト系のタグの連続出現数が多いセグメントは、テキストが密に書かれているため、主要コンテンツである可能性が高い。しかしながら、テキスト系のタグは多数あるが、テキスト系のタグの連続出現数が少ないセグメントは、セグメントのサイズが大きいだけで、主要コンテンツでない可能性が高いと言える。そこで、特徴量の比率特徴量抽出部３３５は、テキスト系のタグ数とテキスト系のタグの連続出現数の比率を特徴量として用いる。具体的には、テキスト系のタグ数を分母とし、テキスト系のタグの連続出現数を分子とした値を、特徴量として用いる。ここで、テキスト系のタグ数が0の場合は、分母が0となってしまうため、この場合のテキスト系のタグ数とテキスト系のタグの連続出現数の比率の特徴量は0とする。本特徴量も、Web文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。この特徴量が大きければ大きいほど主要コンテンツである可能性が高い。
【０１２１】
［４−２］ Webで表示される文字列とタグの比率
あるセグメント内において、Webで表示される文字列が多い場合は主要コンテンツとなる可能性が高いが、同じセグメント内において、HTMLタグ等のタグが多い場合もある。この場合、［４−１］で述べたようにセグメントのサイズが大きいだけで、主要コンテンツでない可能性がある。そこで、特徴量の比率特徴量抽出部３３５は、Webで表示される文字列とタグの比率を特徴量として用いることで、このような場合に対処する。
【０１２２】
具体的には、Webで表示される文字列を分子とし、タグの数を分母とした値を特徴量とする。この特徴量が大きければ大きいほど、主要コンテンツである可能性が高い。本特徴量も、Web文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。タグの数が0の場合は分母が0となってしまうため、特徴量は１とする。
【０１２３】
［４−３］ アンカーリンクの数とリンクリストタグの数の比率
あるセグメント内において、アンカーリンクの数や、リンクリストタグの数が多ければ多いほど、そのセグメントは主要コンテンツでない可能性が高いが、セグメントが広いためにこれらの特徴量が偶然高くなってしまう場合も考えられる。そこで、特徴量の比率特徴量抽出部３３５は、アンカーリンクの数とリンクリストタグの数の比率を特徴量として用いる。具体的にはアンカーリンクの数を分母とし、リンクリストタグの数を分子とし、特徴量とする。この特徴量が大きければ大きいほど、セグメントの面積に対し密度の高いリンク数が存在することになり、主要コンテンツでない可能性が高い。本特徴量も、Web文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。アンカーリンクの数が0の場合は分母が0となってしまうため、特徴量は0とする。
【０１２４】
［５］ 主要コンテンツの判定 (主要コンテンツ判定部３４０)
図９は、本発明の一実施の形態における主要コンテンツ判定部の構成を示す。
【０１２５】
主要コンテンツ判定部３４０は、特徴量入力部３４１、テキスト判定部３４２、主要コンテンツ判定処理部３４３から構成される。
【０１２６】
ここでは、特徴量抽出部３３０で抽出された特徴量を用いて、主要コンテンツか否かの判定を用いて行う手法について述べる。判定にはSupport Vector Machine(SVM)や最大エントロピー法、ナイーブベイズ法等の機械学習アルゴリズムを用いて判定を行う。
【０１２７】
最初に、人手で主要コンテンツか否かを特徴量を抽出したセグメントごとに判定した訓練データを作成する。ここで、［１−１］の「文字列の量」の項で、Webで表示される文字列が存在しない場合は主要コンテンツとみなさないと記述したが、機械学習を用いた手法においては負例として学習に有効であるため、訓練データにはそのようなデータも採用する。そして、そのセグメントの特徴量を用いて、学習を行い特徴量ごとの重みを算出する。速度を重視する場合は、最大エントロピー法で学習し、精度を重視する場合には、二次の多項式カーネルを用いたSupport Vector Machineを用いて学習を行う。そして、特徴量抽出部３３０は、これらの学習したパラメータを用いて、セグメントの特徴量を主要コンテンツ判定部３４０に入力する。
【０１２８】
特徴量入力部３４１は、特徴量抽出部３３０からセグメント特徴量を取得し、テキスト判定部３４２は、セグメントにテキストが存在する場合は主要コンテンツ判定処理部３４３にセグメントを渡し、テキストが存在しない場合はセグメントを削除する。主要コンテンツ判定処理部３４３は、セグメント毎に主要コンテンツか否かを判別し、主要コンテンツと判定されたセグメントのみを出力する。
【０１２９】
図１０に特徴量のパラメータ学習手法の流れを掲載する。
【０１３０】
主要コンテンツ判定処理部３４３は、セグメントごとに特徴量を抽出し、ユーザに提示する（ステップ８０１）。ユーザによりセグメント毎に主要コンテンツか否かが判定され、判定結果を取得する（ステップ８０２）。主要コンテンツ判定処理部３４３は、判定結果に基づいて訓練データを作成し（ステップ８０３）、機械学習記で特徴量ごとのパラメータを推定（学習）し（ステップ８０４）、学習モデルを生成する（ステップ８０５）。
【０１３１】
［６］ 主要コンテンツ部分の出力 (主要コンテンツ出力部３５０)
図１１は、本発明の一実施の形態における主要コンテンツ出力部の構成を示す。
【０１３２】
主要コンテンツ出力部３５０は、タグ付きテキストを要求された場合に、タグ付テキストを出力するタグ付きテキスト出力部３５１、タグなしテキストを要求された場合にタグなしテキストを出力するタグなしテキスト出力部３５２、主要コンテンツと判定されたセグメントを結合して最終出力するとするデータ出力３５３を有する。
【０１３３】
主要コンテンツ判定部３４０にて、［５］で説明した出力した主要コンテンツか否かの判定を行った後に、主要コンテンツ出力部３５０のデータ出力部３５３は、学習器によって主要コンテンツと判断されたセグメントのみを、結合して最終出力とする。ここで、情報検索の事前処理として本装置を用いたい場合には、タグ付きテキスト出力部３５１よりHTMLタグ等のタグを残して出力する。情報推薦等でWeb文書の内容を解析したい場合には、タグなしテキスト出力部３５２よりHTMLタグ等のタグを削除して出力する。
【０１３４】
図１２、図１３に主要コンテンツの例を示す。
【０１３５】
［７］ 実装理由による特徴量の選択
主要コンテンツ抽出手法をユーザＰＣ等に組み込む場合、上記の特徴量抽出部３３０で抽出されたすべての特徴量を用いて処理することは、処理量的に難しい。そのため、抽出する特徴量を絞り込むことで処理量を削減する。ここで、機械学習による学習モデルは、絞り込んだ特徴量モデルごとに学習モデルを作成する。
【０１３６】
●ステップ１５０：重要キーワード候補抽出部４００の処理
従来の一般的なキーワード抽出手法は形態素解析や固有表現抽出を用いた手法であったが、形態素解析手法では、複合名詞の抽出に関する問題や重要キーワードの絞込みに関しての問題があり、また固有表現抽出においては人名、組織名、地名といった狭い範囲のキーワード抽出しかできないため、ユーザの興味を網羅するキーワード候補の抽出ができなかった。
【０１３７】
そこで、本発明ではユーザ参加型オンライン百科事典であるWikipedia（登録商標）の見出し語をキーワード候補として用いることで、これらの解決を試みた。Wikipedia（登録商標）の見出し語は百科事典の見出し語のため、体系的にまとめられており、かつ実世界の事象を一意に表す特徴を持つため、ユーザの興味対象を幅広く網羅した言語資源であるといえる。また、Wikipedia（登録商標）に記載されているキーワードは、重要で内容の深いキーワードのみが登録されているため、重要なキーワードの絞込みが可能となる。
【０１３８】
事前計算処理部１００の重要キーワード候補辞書ＤＢ１１０に、Wikipedia（登録商標）の見出し語を形態素解析用の辞書として登録しておき、重要キーワード候補抽出部４００が、その辞書を用いた形態素解析結果からキーワードを抽出する。なお、辞書に登録する際、最も長いキーワードを抽出するよう辞書の重み付けを行う。
【０１３９】
●ステップ１６０：出現頻度を用いた重要度算出部５００の処理
上記の重要キーワード候補抽出部４００では、Wikipedia（登録商標）の見出し語を用いて重要だと思われるキーワード候補の絞込みを実現したが、当該出現頻度を用いた重要度算出部５００ではその中からさらに重要なキーワードを上位に位置づけるために出現頻度を用いた重要度算出部５００においてキーワードの重要度を算出する手法について述べる。
【０１４０】
［１］ WebIDF
検索エンジンが収集した大規模なWeb文書集合における出現確率を考慮した重みがWebIDFである。具体的には、検索エンジンにキーワードを入力し、その結果得られたWeb文書のヒット数からIDF値を算出し、これをWebIDFとする。Web文書集合中で多数出現するキーワードは一般的なキーワードで特徴的なキーワードではないと判断する重みである。以下に、キーワードｋのWebIDF算出式を掲載する。
【０１４１】
【数７】
ここで、Ｎはキーワードの閾値で、ｎkはキーワードｋのヒット数である。ここで、キーワードｋの検索エンジンのヒット数の閾値Ｎは、ｎkを降順にソートし、不必要なキーワードが少なくなってきた辺りのｎkの値を用いる。その理由として、ｎkが高ければ高いほど一般的なキーワードである可能性が高く、また閾値Ｎを設定すると閾値Ｎ以上のｎkをもつキーワードｋのＷｅｂＩＤＦ値は常に負となり、常にスコアとして低い値となるためである。なお、Ｎの推奨値は20000000である。
【０１４２】
［２］ BM25
以下では、文書内の出現頻度と文書集合内での出現分布を用いたキーワード重み付け手法について述べる。これらの重み付けには従来法であるBM25を用いる。
【０１４３】
【数８】
ここで、ｄは文書であり、ｋは文書に含まれるキーワードである。そして、tf(d,k)はｄ内のキーワードｋの出現頻度、dlは文書長、addlは文書集合内における平均文書長、N
は総文書数である。ｋ1とbは自由パラメータで、ｋ1はtf(d,k)に関するパラメータ、bはdlに関するパラメータである。
【０１４４】
また、文書集合を用意できなく、文書１枚からキーワードを抽出したい場合には、以下の算出式を用いる。
【０１４５】
【数９】
なお式（８）に関するノーテーションは式（７）と同様である。
【０１４６】
また、Web文書を対象にBM25をかける場合、サイト毎に（ドメイン毎に）IDF値を取得する手法も考えられる。その場合、サイト内に含まれるWeb文書内でDF値を取得し、IDF値を算出する。その場合、算出式は以下のようになる。
【０１４７】
【数１０】
なお、式（９）に関するノーテーションは式（７）と同様である。
【０１４８】
［３］タイトルと本文のキーワード重要度の算出
上記の［２］では、BM25を用いた出現頻度による重み付け手法を述べた。
【０１４９】
以下では、文書のタイトル中での出現頻度と、本文中での出現頻度を用いたキーワード重要度の算出手法について述べる。具体的には、文書のタイトル（もしくはファイル名）から算出したBM25の値と、本文から算出したBM25の値の線形和を用いてスコアを算出する。以下に、算出式を掲載する。
【０１５０】
【数１１】
ここで、BM25allはタイトルと本文の出現頻度を用いたBM25スコアで、BM25titleはタイトルでの出現頻度を用いたBM25スコア、BM25bodyは本文でのBM25スコアとなる。αはパラメータである。αの推奨値は0．7とする。
【０１５１】
［４］ 形態素の固有名詞を用いたキーワード重要度算出
一般的なニュース記事内において、人名や組織名等の固有名詞は最初に正式名称で記述された後に、省略形で記述される場合が多い。例えば、「田中太郎」と最初に書かれた後に「田中」と書かれる場合がそれに該当する。省略形で記述された場合、記事の主題に関するキーワードでも他の重要でないキーワードより出現回数が少ない場合が生じる問題があった。そこで、形態素解析結果を用いて簡易的に省略形に対応する方法を提案する。一般的な形態素解析器は、品詞として、人名（姓、名）、地名、組織名の出力が可能である。そのため、形態素解析結果から得られた形態素の固有名詞を含むキーワード候補の出現頻度を、その形態素の出現頻度と置き換えることで、この問題に対処する。例えば、「麻生太郎」というキーワードが1回出現し、「麻生」という形態素の固有名詞が３回出てきた場合、「麻生太郎」の出現頻度を３回とする。
【０１５２】
逆に、地名等は省略されずに記述されるため、キーワードの出現回数が大きくなりすぎてしまう問題がある。そのため、形態素解析結果から得られた地名の名詞の出現回数をキーワードの出現回数とするが、係数を乗算することでスコアとして低減させる手法を提案する。以下に、上記の手法の算出式を示す。
【０１５３】
【数１２】
ここで、式（１１）のtf(d,k)は、文書ｄにおける出現頻度によるキーワードｋのスコアであり、αperson、αlocation、αorganizationは、それぞれ、人名、地名、組織名に関する係数である。そして、match(d,k,mk)は文書ｄにおけるキーワードｋに含まれる形態素ｍkの出現頻度である。式（１１）で算出したtf(d,k)は［２］，［３］で述べた出現頻度を用いたキーワード重要度の算出式で用いる。
【０１５４】
●ステップ１７０：キーワード重要度算出部６００の処理
キーワード重要度算出部６００は、キーワード固有重要度算出部１６０により生成されたキーワード固有重要度ＤＢ１５０を参照して、キーワード候補の重要度を算出する。
【０１５５】
キーワード重要度算出部６００では、キーワードの文書中での出現位置に基づいてキーワードの重要度を算出する手法と、固有表現抽出結果を用いてキーワードの重要度を算出する手法がある。
【０１５６】
以下にその２つの方法を説明する。
【０１５７】
［１］文書中での出現位置におけるキーワード重要度算出
ニュース記事やコラム等の一般的な記述がなされる記事においては、文の先頭に来ればくるほど重要なキーワードが含まれている可能性が高い。そのため、文の先頭にあればあるほど、そのキーワードは重要であるという重要度を算出する。この手法もWikipedia（登録商標）内のリンク構造を用いた手法と同じく式（１２）のキーワード固有重要度算出式を用いて、出現位置を用いたキーワード重要度Pos(k)の算出を行う。
【０１５８】
【数１３】
ここで、ｙ1は出現位置を用いたキーワード重要度の上界であり、ｙ0は出現位置を用いたキーワード重要度の下界である。そしてkpはキーワードｋの文位置（文の位置は、文の先頭から１文ずつ（句点までを１文とする）数え上げたものを用い、さらにそのキーワードにおいて、最も先頭の位置を用いる）、Pは最後尾の文位置、aはスコアの勾配係数で、aの値が大きくなればなるほどスコアの勾配が急になる。ｙ1、ｙ0の推奨値は、それぞれ1、0．5で、勾配係数の推奨値は1から5である。ブログ記事のような一般的な記述がなされていない文書を多く処理する場合には、ｙ0の値を大きくし、勾配係数の値も小さくするのが良い。
【０１５９】
次に本関数（スコア）の特徴について述べる。本関数はキーワードの候補数(x軸の要素数)に左右されることなく、また上界と下界を設定でき、またキーワードの候補数の上位10%以内において、最大値と最小値の差が30%〜70%以内に収まる減衰曲線を描き、そしてパラメータ係数にて減衰度合いを整数値を用いることで小数点を考慮した細かい数値設定を考慮することなく容易に設定できる特徴をもつスコア関数である。（勿論、減衰度合いの設定は実数値でも設定可能である。）図４に本関数のスコア分布例を掲載する。
【０１６０】
また、以下の式を用いて出現位置を用いたキーワード重要度Pos(k)を算出するのも良い。
【０１６１】
【数１４】
式（１２）と異なり、勾配係数aを用いなくてもスコア算出が可能である点が、式（１３）のメリットである。
【０１６２】
［２］ 固有表現抽出結果を用いたキーワード重要度算出
キーワード重要度算出部６００は、固有表現辞書（図示せず）から得られた固有表現キーワード（人名、地名、組織名、固有物名）と重要キーワード候補抽出部４００で抽出したキーワード候補が一致した場合に、キーワードの重みづけを行う。また、キーワード候補の抽出で抽出できなかったキーワードについては、指定した重要度を付与する処理を行う。以下に、その詳細を述べる。
【０１６３】
・抽出したキーワードと固有表現キーワードが一致した場合
【０１６４】
【数１５】
ここで、NE_class_score(c,k)は固有表現クラス別に指定された重みである。
【０１６５】
・抽出したキーワードと一致する固有表現が無い場合
【０１６６】
【数１６】
・抽出したキーワードに存在しない固有表現が抽出された場合
【０１６７】
【数１７】
上記のような手法で、キーワード重要度を求めた後、キーワード重要度算出部６００は、以下の方法で、文書における最終的なキーワードの重要度を求める。
【０１６８】
文書ｄ内における最終的なキーワード重要度FS(d,k)は、出現頻度を用いた重要度算出部５００で求められた重要度と、当該キーワード重要度算出部６００において［１］の「文書中での出現位置におけるキーワード重要度算出」、［２］の「固有表現抽出結果を用いたキーワード重要度算出手法」で求められた値を以下の式（１７）のように乗算することによって算出する。
【０１６９】
FS(d,k)が高いほど重要なキーワードとみなされる。
【０１７０】
【数１８】
FS(d,k)はすべてのキーワード候補に対して、キーワード重要度を算出するため、応用アプリケーション等で少数のキーワードしか表示できない場合、上位３〜５位のキーワードをその文書内における重要キーワードとして表示する。
【０１７１】
また、ストップワードリストがある場合は、リストに存在するキーワードを削除する処理を行う。
【０１７２】
キーワード重要度算出部６００は、決定されたＮ個の重要キーワードを関連コンテンツ取得・提示部７００に出力する。
【０１７３】
●ステップ１８０：関連コンテンツ取得・提示部７００の処理
関連コンテンツ・取得提示部７００は、キーワード重要度算出部６００で求められた重要度の高いキーワードを用いて関連コンテンツを取得する。
【０１７４】
まず、取得したい関連コンテンツのAPIを用意する。動画を取得したい場合、YouTube（登録商標） APIやyahoo（登録商標）の動画API等が挙げられる。グルメのクーポンやブログ記事等を取得したい場合は、その目的に応じたAPIを用意する。使用できるAPIの要件は、検索クエリを入力として受け付けるかである。次に重要度の高いキーワードを高い順に１〜３個取得し、それに基づきスペース区切りで検索クエリを作成する。例えば、
「キーワードA キーワードB キーワードC」
のようにスペース区切りで検索クエリを作成することにより、「キーワードA or キーワードB or キーワードC」といった検索クエリの条件にて関連コンテンツを取得することができる。検索クエリの数に関しては、関連コンテンツＡＰＩの保有するコンテンツ数に応じて変更すればよい。また、or検索だけでなく、and検索等を実行することも考えられる。コンテンツが少ない場合は、多くのキーワードをor検索で実行する。コンテンツが多い場合は少ないキーワードでもコンテンツ結果が取得できる可能性が高いので、関連コンテンツの絞り込みをしたい場合は、少ないキーワードでもよい。APIに投入する例として以下のようなURLを入力し、結果を取得する。
【０１７５】
入力例）http://○○○.○○○○.com/feeds/api/videos?alt=rss&vq="クエリ"
そして、取得した結果はXML等で記述されているため、XMLパーザ等の既存技術を用いてデータを取得する。そして、取得したデータの一部を関連コンテンツとして提示する。
関連コンテンツ提示装置の出力例を図１４に記載する。
【０１７６】
上記により、本発明は、
（１）入力されたテキストから重要語を抽出し、検索クエリをインターフェースとする様々な外部コンテンツAPIを用いて、動画やブログ、クーポン情報、グルメ情報等の様々な関連コンテンツを提示できる；
（２）従来技術の関連コンテンツ提示手法では、自社サーバが保有している関連コンテンツの提示しかできなかったが、本手法では自社が保有していない外部の関連コンテンツを外部コンテンツAPIを通じて提示できる；
（３）重要語抽出に基づく手法のため、関連コンテンツとして提示した際にテキスト中のこのキーワードが重要語であったため、このコンテンツを提示したという重要語による関連コンテンツの提示理由が表示できる；
（４）関連コンテンツの特性に特化した重要語抽出が可能なため、コンテンツ提示精度が高い；
（５）従来法の類似度に基づく関連コンテンツ提示手法と比較して、計算量的なコストが大変低い；
等の効果を奏する。
【０１７７】
上記の実施の形態では、図２の構成に基づいて説明したが、図２に示す関連コンテンツ提示装置の構成要素の動作をプログラムとして構築し、関連コンテンツ提示装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【０１７８】
また、構築されたプログラムをハードディスクや、フレキシブルディスク、CD-ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【０１７９】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【０１８０】
１００ 事前計算処理部
１１０ 重要キーワード候補辞書ＤＢ
１２０ Wikipedia（登録商標）データ記憶部
１３０ 検索クエリデータ記憶部
１４０ Wikipedia（登録商標）閲覧ログデータ記憶部
１５０ キーワード固有重要度ＤＢ
１６０ キーワード固有重要度算出部
２００ 文書入力部
３００ 主要コンテンツ抽出部
３１０ Web文書取得・入力部
３１１ データ入力部
３１２ Web文書ファイル入力部
３１３ ＵＲＬ入力部
３１４ Web文書取得部
３１５ 文字コード変換部
３２０ Web文書分割部
３２１ 広告対象領域抽出部
３２２ ノイズとなるタグや領域除去部
３２３ Web文書の分割部
３３０ 特徴量抽出部
３３１ アンカーリンク情報特徴量抽出部
３３２ タグ情報特徴量抽出部
３３３ Web文書で表示される文字列特徴量抽出部
３３４ 特徴量の正規化部
３３５ 特徴量の比率特徴量抽出部
３４０ 主要コンテンツ判定部
３４１ 特徴量入力部
３４２ テキスト判定部
３４３ 主要コンテンツ判定処理部
３５０ 主要コンテンツ出力部
３５１ タグ付きテキスト出力部
３５２ タグなしテキスト出力部
４００ 重要キーワード候補抽出部
５００ 出現頻度を用いた重要度算出部
６００ キーワード重要度算出部
７００ 関連コンテンツ取得・提示部
８００ 関連コンテンツ出力部
【技術分野】
【０００１】
本発明は、関連コンテンツ提示装置及びプログラムに係り、特に、文書中に含まれるテキストからその内容に関連するコンテンツを提示するための関連コンテンツ提示装置及びプログラムに関する。
【背景技術】
【０００２】
従来の関連コンテンツ提示方法は、該当するテキストに含まれるキーワードの出現分布と類似するテキストを含むコンテンツを提示していた（例えば、非特許文献１，２参照）。
【０００３】
また、従来の重要語抽出技術はキーワードの出現頻度や、複合語を構成する形態素の連接頻度等を用いて抽出する手法が主流であった（例えば、非特許文献３，４参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】別所克人、内山俊郎、内山匡(NTT). αダイバージェンスに基づく単語連想と文書分類への適用.
【非特許文献２】Piotr Indyk(MIT). Near-Optimal Hashing Algorithms for Approximate Near(est) Neighbor Problem.
【非特許文献３】中川裕志，森辰則，湯本紘彰．出現頻度と連接頻度に基づく専門用語抽出．自然言語処理，Vol.10 No.1， pp. 27 - 45， 2003年1月．
【非特許文献４】S.E. Robertson S. Walker Some Simple Effective Approximations to the 2.Poisson Model for Probabilistic Weighted Retrieval 1994年
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来手法では関連コンテンツを提示するために必要な条件として、提示したいコンテンツが関連元のテキストと同程度のテキスト量を保有する必要があり、また提示したいコンテンツと関連元テキストのキーワード分布特性が一致していない場合や、コンテンツに付与されているテキストが少ない場合に提示コンテンツの精度が低くなる問題があった。そのため、あるテキストに関連する動画やクーポン情報を関連コンテンツとして提示したい場合にこの問題が生じる。また、近年動画やクーポン情報が検索APIとして他社が保有するコンテンツが無償で公開されている。しかしながら従来法では、関連コンテンツ候補は自己で保有していなければ出力できないため、関連コンテンツとして出力できない問題がある。
【０００６】
本発明は、上記の点に鑑みなされたもので、関連コンテンツの候補のキーワード分布特性が一致していない場合やテキスト量が少ない場合においても精度の高い関連コンテンツを提示することが可能な関連コンテンツ提示装置及びプログラムを提供することを目的とする。
【０００７】
さらに、他社が保有し公開する検索ＡＰＩ（Application Program Interface）から様々な種類の関連コンテンツを提示することが可能な関連コンテンツ提示装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明（請求項１）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、Ｗｅｂ文書集合における出現確率を、WebIDFアルゴリズム及び、BM25アルゴリズムを用いて算出し、出現頻度の高い上位Ｎ件のキーワード候補を抽出する重要度算出手段と、
Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【０００９】
また、本発明（請求項２）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出し、各キーワードの形態素の固有名詞の出現頻度を算出し、該出現確率と該キーワードの固有名詞の出現頻度を用いて重要度を算出する重要度算出手段と、
重要度算出手段で算出された重要度に基づいて抽出されたＮ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１０】
また、本発明（請求項３）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
キーワード候補のキーワードに基づいてキーワード辞書を参照し、リンク構造に基づいて得られた文書のランキングを該キーワードのキーワード固有重要度とする第２の重要度算出手段と、
第１の重要度算出手段の出現確率及び第２の重要度算出手段のキーワード固有重要度を用いて算出された値に基づいて抽出されたＮ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１１】
また、本発明（請求項２）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
キーワード辞書を参照した閲覧ログを格納した閲覧ログ記憶手段と、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
キーワード辞書を参照して、主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
閲覧ログ記憶手段を参照して、閲覧された回数が多いキーワードほど度合いが大きくなる重要度を求める第２の重要度算出手段と、
第１の重要度算出手段の出現確率と、第２の重要度算出手段の重要度を用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１２】
また、本発明（請求項５）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
キーワード辞書を参照して主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
キーワード候補が検索エンジンに投入された回数を取得し、検索クエリ投入回数を用いてキーワード固有重要度を算出する第２の重要度算出手段と、
第１の重要度算出手段の出現確率と、第２の重要度算出手段のキーワード固有重要度を用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１３】
また、本発明（請求項６）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
キーワード辞書を参照して主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
キーワード候補のＷｅｂ文書の文における出現位置を参照し、キーワードが文の先頭にあるほど値が大きくなる重要度を求める第２の重要度算出手段と、
第１の重要度算出手段の出現確率と、第２の重要度算出手段の重要度を用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１４】
また、本発明（請求項７）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
キーワード辞書を参照して主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
Ｗｅｂ文書から固有表現を有する固有表現キーワードを抽出し、重要キーワード候補と一致した場合に、重みを付与したスコアを求める第２の重要度算出手段と、
第１の重要度算出手段の出現確率と、第２の重要度算出手段のスコアを用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１５】
また、本発明（請求項８）は、Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
キーワード辞書を参照した閲覧ログを格納した閲覧ログ記憶手段と
Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
キーワード辞書を参照して、主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出し、各キーワードの形態素の固有名詞の出現頻度を算出し、該出現確率と該キーワードの固有名詞の出現頻度を用いて第１の重要度を算出する第１の重要度算出手段と、
キーワード候補のキーワードに基づいてキーワード辞書を参照し、リンク構造に基づいて得られた文書のランキングを該キーワードの第２の重要度とする第２の重要度算出手段と、
閲覧ログ記憶手段を参照して、閲覧された回数が多いキーワードほど度合いが大きくなる第３の重要度を求める第３の重要度算出手段と、
キーワード候補が検索エンジンに投入された回数を取得し、検索クエリ投入回数を用いて第４の重要度を算出する第４の重要度算出手段と、
キーワード候補のＷｅｂ文書の文における出現位置を参照し、キーワードが文の先頭にあるほど値が大きくなる第５の重要度を求める第５の重要度算出手段と、
第１の重要度算出手段の第１の重要度、第２の重要度算出手段の第２の重要度、第３の重要度算出手段の第３の重要度、第４の重要度算出手段の第４の重要度、第５の重要度算出手段の第５の重要度の少なくともいずれか１つの重要度に基づいて抽出されたＮ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、を有する。
【００１６】
また、本発明（請求項９）は、請求項１乃至８のいずれか１項に記載の関連コンテンツ提示装置を構成する各手段としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１７】
上記のように、本発明によれば、コンテンツ特性に合わせた重要語（重要キーワード）抽出により、関連コンテンツ候補のキーワード分布特性が一致していない場合やテキスト量が少ない場合においても精度の高い関連コンテンツ提示が可能になる。
【００１８】
また、他社が保有し公開する検索APIから様々な種類の関連コンテンツを提示することが可能になり、自社でコンテンツを保有していいなくても他社のコンテンツを関連コンテンツとして提示できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態における関連コンテンツ提示処理の概要動作のフローチャートである。
【図２】本発明の一実施の形態における関連コンテンツ提示装置のシステム図である。
【図３】本発明の一実施の形態における関連コンテンツ提示装置の処理の流れを示すフローチャートである。
【図４】本発明の一実施の形態におけるキーワード固有重要度算出式のスコア分布例である。
【図５】本発明の一実施の形態における主要コンテンツ抽出部の構成図である。
【図６】本発明の一実施の形態におけるWeb文書取得・入力部の構成図である。
【図７】本発明の一実施の形態におけるWeb文書分割部の構成図である。
【図８】本発明の一実施の形態における特徴量抽出部の構成図である。
【図９】本発明の一実施の形態における主要コンテンツ判定部の構成図である。
【図１０】本発明の一実施の形態における特徴量のパラメータ推定方法のフローチャートである。
【図１１】本発明の一実施の形態における主要コンテンツ出力部の構成図である。
【図１２】本発明の一実施の形態における主要コンテンツの出力例（その１）である。
【図１３】本発明の一実施の形態における主要コンテンツの出力例（その２）である。
【図１４】本発明の一実施の形態における関連コンテンツ提示装置の出力例である。
【発明を実施するための形態】
【００２０】
以下図面と共に、本発明の実施の形態を説明する。
【００２１】
本発明は、文書中における重要キーワードを抽出するシステムである．従来法においては比較的量の多い文書集合を事前に用意する必要があったが、本発明では文書が少ない場合においても精度が落ちにくい手法を提案する。
【００２２】
図１は、本発明の一実施の形態における関連コンテンツ提示処理の概要動作のフローチャートである。
【００２３】
本装置の主な処理の流れは、以下のようになる．
ステップ１） 入力された対象文書がＷｅｂ文書か否かの判定を行う。
【００２４】
ステップ２） 対象文書がWeb文書である場合は主要コンテンツの抽出を行う。
【００２５】
ステップ３） 文書内のテキストからキーワード候補を抽出する。
【００２６】
ステップ４） 抽出されたキーワードの重要度を算出し、順序付けを行う。
【００２７】
ステップ５） 抽出されたキーワードをあらかじめ指定した検索ＡＰＩに送信し、コンテンツ結果を得る。
【００２８】
以上が、文書中における重要キーワードを抽出する処理の主な流れである。
【００２９】
図２は、本発明の一実施の形態における関連コンテンツ提示装置の構成を示す。
【００３０】
同図に示す関連コンテンツ提示装置は、事前計算処理部１００、文書入力部２００、主要コンテンツ抽出部３００、重要キーワード候補抽出部４００、出現頻度を用いた重要度算出部５００、キーワード重要度算出部６００、関連コンテンツ取得・提示部７００、関連コンテンツ出力部８００から構成される。
【００３１】
事前計算処理部１００は、重要キーワード候補辞書ＤＢ１１０、重要キーワード候補辞書ＤＢ作成部１１０、Wikipedia（登録商標）データ記憶部１２０、検索クエリデータ記憶部１３０、Wikipedia（登録商標）閲覧ログデータ１４０、キーワード固有重要度算出部１６０、キーワード固有重要度ＤＢ１５０から構成される。なお、Wikipedia（登録商標）データ記憶部１２０は、ユーザ参加型オンライン百科事典のWikipedia（登録商標）のデータを格納する。
【００３２】
図３は、本発明の一実施の形態における関連コンテンツ提示装置の処理の流れを示すフローチャートである。
【００３３】
ステップ１１０） 事前計算処理部１００の重要キーワード候補辞書ＤＢ作成部１１０は、予め重要キーワード候補をとなるである重要キーワード候補を作成し、重要キーワード候補辞書ＤＢ１１０に格納する。
【００３４】
ステップ１２０） 事前計算処理部１００のキーワード固有重要度算出部１６０は、Wikipedia（登録商標）データ記憶部１２０、検索クエリデータ記憶部１１３０、Wikipedia（登録商標）閲覧ログデータ記憶部１４０を参照してキーワード固有の重要度を求め、キーワード固有重要度ＤＢ１５０に格納する。
【００３５】
ステップ１３０） 文書入力部２００は、入力文書がＷｅｂ文書である場合は、主要コンテンツ抽出部３００に当該Ｗｅｂ文書を渡し、そうでない場合はファイルをただ読み込むだけのものとする。
【００３６】
ステップ１４０） 主要コンテンツ抽出部３００は、入力されたＷｅｂ文書から主要コンテンツを抽出する。
【００３７】
ステップ１５０） 重要キーワード候補抽出部４００は、事前計算処理部１００の重要キーワード候補辞書ＤＢ１１０をWikipedia（登録商標）の見出し語を形態素解析用の辞書として用いて、キーワードを抽出する。なお、Wikipedia（登録商標）の見出し語を用いる理由については後述する。
【００３８】
ステップ１６０） 出現頻度を用いた重要度算出部５００は、WebIDFやBM25等の出現頻度を算出するアルゴリズムを用いて重要キーワード候補の重要度を算出し、メモリ（図示せず）に格納する。
【００３９】
ステップ１７０） キーワード重要度算出部６００は、事前計算処理部１００のキーワード固有重要度ＤＢ１５０を参照して、キーワード候補の重要度を算出し、メモリ（図示せず）に格納する。
【００４０】
ステップ１８０） 関連コンテンツ取得・提示部７００は、出現頻度を用いた重要度算出部５００のメモリ（図示せず）とキーワード重要度算出部６００のメモリ（図示せず）から出現頻度を用いた重要度及びキーワードの重要度を取得して、これらの重要度に基づいてキーワードを選択し、当該キーワードに関連するコンテンツを取得して提示する。
【００４１】
以下に、上記の各ステップ毎の動作を詳細に説明する。
【００４２】
●ステップ１１０：重要キーワード候補辞書ＤＢ作成部１１０の処理
事前計算処理部１００の重要キーワード候補辞書ＤＢ作成部１１０は、Wikipedia（登録商標）データ記憶部１２０を参照し、当該Wikipedia（登録商標）の見出し語を抽出して、重要キーワード候補辞書ＤＢ１１０に登録する。
【００４３】
重要度候補辞書ＤＢ作成部１１０は、後述する主要コンテンツ抽出部３００の特徴量抽出部３３０の精度向上のための処理として、不要文字列等を除去する手法が有効である。事前計算処理部１００において、以下に記述する不要文字列を事前に除去しておくことで、主要コンテンツの判定精度を高める。
【００４４】
・
・<
・>
・&
・«
・»
これらの文字列は、HTMLタグ等で用いる記号をWebブラウザ上で表示する際に用いる特殊文字である。また、上記で挙げた特殊文字以外のHTML特殊文字も削除の対象とする。
【００４５】
特殊文字は実際表示される文字列に対して、文字列の量が少ないため、学習の際のノイズとなりやすい。
●ステップ１２０：キーワード固有重要度算出部１６０の処理
事前計算処理部１００のキーワード重要度算出部１６０は、後述するキーワード重要度算出部６００により参照されるキーワード固有重要度ＤＢ１５０を生成する。キーワード重要度算出部１６０は、Wikipedia（登録商標）データ記憶部１２０、検索クエリデータ記憶部１３０、Wikipedia（登録商標）閲覧ログデータ１４０を参照し、キーワードの固有重要度を算出し、キーワード固有重要度ＤＢ１５０に格納する。
【００４６】
以下に、キーワード重要度算出部１６０について詳細に説明する。
【００４７】
キーワード重要度算出部１６０は、キーワードの重要性を考慮したスコアの算出を行う。ここで、「キーワードの重要性」とは、知名度や話題性の高い、内容の深いキーワード程重要であると定義し、このキーワードの重要度を「キーワード固有重要度」と呼ぶ。
【００４８】
当該「キーワード固有重要度」を求める方法として、
［１］Wikipedia（登録商標）内のリンク構造を用いた手法；
［２］Wikipedia（登録商標）上の閲覧回数を用いた手法
［３］検索エンジンの検索クエリ投入回数を用いた手法
の３つの方法がある。以下に詳細に説明する。
【００４９】
［１］ Wikipedia（登録商標）内のリンク構造を用いた手法
本項では、Wikipedia（登録商標）内のリンク構造を用いてキーワード固有重要度を算出する手法について述べる。
【００５０】
HITSやPageRankといった一般的なWeb文書のランキング手法は、Webページのリンク構造を用いて、Web文書のランキングを行っている。しかしながら、Wikipedia（登録商標）の文書には、１つの文書につき１つの見出し語（キーワード）がついているため、Wikipedia（登録商標）のリンク構造から得られた文書のランキングをキーワードのランキングとみなすことができる。そのため本装置では、Wikipedia（登録商標）に特化したランキング手法を適用することで、キーワード固有重要度を算出する。ベースとなるアルゴリズムにはHITSアルゴリズムを用いる。
【００５１】
HITSアルゴリズムは、すべてのWeb文書をauthority(コンテンツ)とhub(リンク集)の２つから構成されると定義する。そして、良いhubから多数リンクされるauthority程良いauthorityであるという仮説と、良いauthorityに多数リンクしているhub程良いhubであるという二つの仮説を繰り返し実行することでWeb文書のランキングを行う。しかしながら、HITSアルゴリズムはWeb世界におけるWeb文書のリンク構造をモデルにしたアルゴリズムのため、リンク構造が非常に密なWikipediaにそのまま適用した場合、やや難がある。そこで、本装置ではWikipedia（登録商標）の特徴的な構造と密なリンク構造に対応させた手法を提案する。そして、本アルゴリズムから算出したauthorityの値による順位を、本手法が提案する減衰関数に近似させ、最終的なキーワード固有重要度とする。
【００５２】
・テキスト量の考慮
Wikipedia（登録商標）の見出し語は、知名度が高く話題性の高い見出し語程、テキストの記述量が多い傾向がある。そこで、authority値の算出の際に、自文書のテキスト量が多ければ多いほどその文書は重要であるといった重み、text(k)を考慮する。
【００５３】
・自リンクと被リンクの比率
一般的にWikipedia（登録商標）の見出し語は、有名なキーワード程、自リンクと被リンクの数が多くなっている。しかしながら、地名やジャンル名のような広い概念を持つキーワードは、引用しやすいキーワードのため、自リンク数に比べて圧倒的に被リンクの数が多い傾向がある。通常のHITSアルゴリズムは良いhubから多数リンクされているauthorityは良いauthorityであるといった仮説を用いるが、圧倒的に被リンクが多い場合においては、これらの仮説は成り立たないと予想される。また、その一方で、最近知名度が高くなってきている新人俳優や話題語等の見出し語は、誕生してから日が浅いため引用数は少ないが自リンクは多い傾向にある。そのため少ない被リンク数においても、authorityを高める必要がある。これらの問題を解決するために、authority値の算出の際にflink(k)/blink(k)を考慮する。ここで、flink(k)はキーワードkの文書内に含まれる自リンクの数を表し、blink(k)はキーワードkの文書にリンクしている被リンク数の数を表す。
【００５４】
・明らかにauthority算出とならない見出し語の扱い
Wikipedia（登録商標）の見出し語には、「〜年」や「〜一覧」といった明らかにauthorityとならない見出し語が存在する。これらの見出し語は自リンクが非常に多く、被リンクも非常に多い場合があるため、ノイズとなりやすい。そこで、明らかにauthorityとならない見出し語のauthority値は常に変更しないことで、この問題に対処する。
【００５５】
・hubの平均的なリンクの質
Wikipedia（登録商標）の文書には、自リンクが多数あるが、hubとして質の悪い文書がある。そこで、リンク先キーワードのauthorityが平均的に高いhubは重要であるといった仮設に変更することで、自リンクは多いがhubとして質の低い文書のhub値を下げる重み
【００５６】
【数１】
を考慮する。
【００５７】
・リダイレクトの扱い
Wikipedia（登録商標）の文書には、見出し語の異表記を解消するためにredirectが存在する。例えば、「アメリカ合衆国」には、「アメリカ」、「United States of America」のredirectがある。Redirectは異表記のキーワードを一意にまとめる効果だけでなく、キーワードの被リンク構造に大きな影響をもつため、redirectキーワードを親ノードにまとめることで、異表記のキーワード固有重要度を算出し、被リンクの問題も解決する。
【００５８】
そして、最終的なWikipedia（登録商標）ランキングアルゴリズムは以下の式（１）で定義される。
【００５９】
【数２】
ここで、a(k)はキーワードｋのauthority値で、h(k)はhub値である。そして、flink(k)はキーワードkからの自リンク数、blink(k)はキーワードkからの被リンク数である。text(k)は、キーワードkが見出し語になっているWikipedia（登録商標）文書の文字数（アンカーリンク対象の文字列は除く）であり、K´はキーワードkが見出し語になっているWikipedia（登録商標）文書内に含まれるリンクの総数となる。
【００６０】
そして、式（１）で算出したauthority値を用いて、降順にキーワードを順位づけする。そして、以下のキーワード固有重要度算出式を用いてスコアの近似を行い、 Wikipedia（登録商標）内のリンク構造を用いたキーワード固有重要度WKIS(k)とする。
【００６１】
【数３】
ここで、ｙ1はキーワード固有重要度の上界であり、ｙ0はキーワード固有重要度の下界である。そしてｋrはキーワードkのauthorityの値による順位、Kはキーワードの総数、aはスコアの勾配係数で、aの値が大きくなればなるほどスコアの勾配が急になる。ｙ1、ｙ0推奨値は、それぞれ1，0．1で、勾配係数の推奨値は3から7である。
【００６２】
次に本関数（スコア）の特徴について述べる。本関数はキーワードの候補数（ｘ軸の要素数）に左右されることなく、また上界と下界を設定でき、またキーワードの候補数の上位10%以内において、最大値と最小値の差が30%〜70%以内に収まる減衰曲線を描き、そしてパラメータ係数にて減衰度合いを整数値を用いることで小数点を考慮した細かい数値設定を考慮することなく容易に設定できる特徴をもつスコア関数である。（勿論、減衰度合いの設定は実数値でも設定可能である。）図４に本関数のスコア分布例を掲載する。
【００６３】
Wikipedia（登録商標）内のリンク構造から算出したキーワード固有重要度は、ユーザ参加型オンライン百科事典のWikipedia（登録商標）内においての重要なキーワードが上位に位置づけられるため、一般的に知名度は低いが実際には内容が深く重要なキーワードが上位に位置づけられる。
【００６４】
［２］ Wikipedia（登録商標）上の閲覧回数を用いた手法
以下では、Wikipedia（登録商標）上において閲覧された回数が多いキーワード程、重要なキーワードであるとみなす手法を説明する。Wikipedia（登録商標）上の閲覧回数を記載されている閲覧ログは以下のサイトから取得できる。
【００６５】
http://dammit.lt/wikistats/
この手法もWikipedia（登録商標）内のリンク構造を用いた手法と同じく、式（７）のキーワード固有重要度算出式を用いてスコアの近似を行い、Wikipedia（登録商標）上の閲覧回数を用いたキーワード固有重要度WBKIS(k)とする。
【００６６】
【数４】
ここで、ｙ1はキーワード固有重要度の上界であり、ｙ０はキーワード固有重要度の下界である。そしてｋrはキーワードkの閲覧回数による順位、Kはキーワードの総数、aはスコアの勾配係数で、aの値が大きくなればなるほどスコアの勾配が急になる。
【００６７】
集計対象とする閲覧ログの期間は、長ければ長い程良いが最近の6カ月程度のログであれば十分である。
【００６８】
また、Wikipedia（登録商標）には見出し語として存在するが、閲覧ログには存在しない場合がある。その場合は、ｙ０を該当キーワードのスコアとする。ｙ1、ｙ0の推奨値は、それぞれ1、0．1で、勾配係数の推奨値は3から７である。
【００６９】
次に本関数の特徴について述べる。本関数はキーワードの候補数(x軸の要素数)に左右されることなく、また上界と下界を設定でき、またキーワードの候補数の上位10%以内において、最大値と最小値の差が30%〜70%以内に収まる減衰曲線を描き、そしてパラメータ係数にて減衰度合いを整数値を用いることで小数点を考慮した細かい数値設定を考慮することなく容易に設定できる特徴をもつスコア関数である。（勿論、減衰度合いの設定は実数値でも設定可能である。）図４に本関数のスコア分布例を掲載する。
【００７０】
［３］ 検索エンジンの検索クエリ投入回数を用いた手法
この手法は、実際の検索エンジンに投入された回数が多い検索クエリ程、重要なキーワードであるとみなす手法である。検索クエリの投入回数は、ポータルサイト上で投入された検索クエリのような大規模データであることが好ましい。ここで、対象となる検索クエリはWikipedia（登録商標）に存在するキーワードであるとする。この手法もWikipedia（登録商標）内のリンク構造を用いた手法と同じく式（3）のキーワード固有重要度算出式を用いてスコアの近似を行い、検索クエリの投入回数を用いたキーワード固有重要度QKIS(k)とする。
【００７１】
【数５】
ここで、ｙ1はキーワード固有重要度の上界であり、ｙ0はキーワード固有重要度の下界である。そしてｋrはキーワードkの検索回数による順位、Kはキーワードの総数、aはスコアの勾配係数で、aの値が大きくなればなるほどスコアの勾配が急になる。
【００７２】
また、Wikipedia（登録商標）には見出し語として存在するが、検索エンジンの検索クエリには存在しない場合がある。その場合は、ｙ0を該当キーワードのスコアとする。ｙ1、ｙ0の推奨値は、それぞれ1、0．1で、勾配係数の推奨値は3から7である。
【００７３】
次に本関数（スコア）の特徴について述べる。本関数はキーワードの候補数（ｘ軸の要素数）に左右されることなく、また上界と下界を設定でき、またキーワードの候補数の上位10%以内において、最大値と最小値の差が30%〜70%以内に収まる減衰曲線を描き、そしてパラメータ係数にて減衰度合いを整数値を用いることで小数点を考慮した細かい数値設定を考慮することなく容易に設定できる特徴をもつスコア関数である。（勿論、減衰度合いの設定は実数値でも設定可能である。）図４に本関数のスコア分布例を掲載する。
【００７４】
検索エンジンの種類によって、クエリランキングの特性が異なる問題がある。例えばブログ検索エンジンでは、有名人の名前や趣味等のユーザの嗜好に関する検索クエリが多い。その一方教えてgoo（登録商標）等のＱＡサイトの検索エンジンでは、悩み相談系の検索クエリが多い。そのため、最終的に提示するコンテンツに合わせた検索クエリログを用いることで、目的に合わせたコンテンツ提示が実現できる。どのクエリログを用いるとよいかはユーザが判断する。
【００７５】
検索エンジンの検索クエリ投入回数から算出したキーワード固有重要度は、実際の検索クエリ投入回数によって重要度が決まるため、検索クエリとして投入されやすく、重要なキーワードが上位に来る傾向にある。
【００７６】
次に、キーワード固有重要度算出部１６０の最終的な固有重要度算出について説明する。
【００７７】
上記の［１]〜［３］では、Wikipedia（登録商標）内のリンク構造から算出したキーワード固有重要度WKIS(k)と、検索エンジンの検索クエリ投入回数から算出したキーワード固有重要度QKIS(k)について述べた。しかしながら、QKIS(k)は検索クエリデータの収集期間が短い場合、その間にインターネット上でおきた話題に強く影響されてしまう問題があり、さらにインターネットサイト名等の生活的クエリが多く含まれる傾向にある。そのため、WKIS(k)とWBKIS(ｋ)QKIS(ｋ)の線形和を、最終的なキーワード固有重要度とすることで、話題性が高く内容の深く、かつ検索クエリとして投入されやすいキーワードを上位に位置づける重要度を算出する。
【００７８】
【数６】
αの値は0．3〜0．5辺りの範囲で調整し、βは0．2〜0．3、γは0．2〜0．3辺りの値を用いるとよい。
【００７９】
●ステップ１３０：文書入力部２００の処理
関連コンテンツ提示の対象となる文書を入力する。
【００８０】
●ステップ１４０：主要コンテンツ抽出部３００
最初に主要コンテンツ抽出部３００の処理について説明する。
【００８１】
入力文書がWeb文書である場合、ナビゲーションリンクや広告テキスト等のWeb文書の内容とは関係の無いテキストが存在する。そのため、それら不要テキストを除去する主要コンテンツ部分の抽出を行う必要がある。Web文書か否かの判定は、ファイルの拡張子を用いて行うものとする。
【００８２】
図５は、本発明の一実施の形態における主要コンテンツ抽出部の構成を示す。
【００８３】
同図に示す主要コンテンツ抽出部３００は、Ｗｅｂ文書取得・入力部３１０、Ｗｅｂ文書分割部３２０、特徴量抽出部３３０、主要コンテンツ判定部３４０、主要コンテンツ出力部３５０から構成される。
【００８４】
Ｗｅｂ文書取得・入力部３１０は、処理するWeb文書（データ）の入力を行う。図６に、Ｗｅｂ文書取得・入力部３１０の詳細な構成を示す。
【００８５】
データ入力部３１１は、ユーザから入力された主要コンテンツを抽出したいWeb文書のURL、もしくはファイルそのものを取得する。ＵＲＬ入力部３１３は、入力がURLの場合は、そのURLを取得し、Ｗｅｂ文書取得部３１４にて、当該ＵＲＬの先のWeb文書を取得する。Ｗｅｂ文書ファイル入力部３１２は、ファイルが直接入力された場合はそのファイルを取得する。文字ノード変換部３１５は、Web文書の文字コードはUTF-8に変換し統一する。
【００８６】
Ｗｅｂ文書分割部３２０は、取得したＷｅｂ文書を分割する。図７にＷｅｂ文書分割部３２０の詳細な構成を示す。Ｗｅｂ文書分割部３２０は、取得したWeb文書を分割するもので、広告対象領域抽出部３２１、ノイズとなるタグや領域除去部３２２、Ｗｅｂ文書の分割部３２３から構成される。
【００８７】
広告対象領域抽出部３２１は、インターネット広告等のコンテンツタグを含む領域がある場合、その領域を抽出する。インターネット広告とは、google（登録商標）やoverture（登録商標）等の広告会社が広告配信のための主要コンテンツ絞込みに用いるタグである。google（登録商標）の広告の場合、<!-- google_ad_section_start -->から、<!-- google_ad_section_end-->までがその領域に該当する。これらのタグはWeb文書によって文字列が少々異なったり大文字で表記されるので、大文字と小文字を区別しない正規表現を用いたり、ワイルドカードの正規表現を用いる等を行うことで、多少の文字列表記の違いを吸収する処理を行う。以下、正規表現を用いる処理の説明の際には、多少の違いを吸収する処理を行っているものとする。
【００８８】
以降の処理は、インターネット広告の領域が存在する場合、上記で述べた領域を抽出する処理を行い、インターネット広告の領域がない場合は、最初に入力されたWeb文書に対して処理を行う。
【００８９】
ノイズとなるタグや領域除去部３２２は、余計なタグや領域、特定の文字列を除去する処理を行う。除去されるタグや領域は、Web文書のHTMLを説明するコメントタグであったり、JavaScriptであったり、formタグであったりする。除去するタグと領域を以下に記載する。
【００９０】
・"<!--"で始まり、"-->"で終わるコメントタグ。
【００９１】
・"<script>"タグから、"</script>"タグで囲まれる領域。
【００９２】
・"<style>"タグから、"</style>"タグで囲まれる領域。
【００９３】
・"<select>"タグから、"</select>"タグで囲まれる領域。
【００９４】
・"<noscript>"タグから、"</noscript>"タグで囲まれる領域。
【００９５】
・"<form>"タグから、"</form>"タグで囲まれる領域。
【００９６】
・連続した空白文字列。（単一の空白は除く）
・連続したタブ文字列。（単一のタブは除く）
以上のタグ、領域、文字列を正規表現を用いて除去する。また、タグ内にalt属性やclass属性が存在する場合も考えられるため、その場合はそれらを含めたタグを考慮した正規表現を用いて分割を行う。（例：<style class="hoge">）
Ｗｅｂ文書の分割部３２３は、Web文書の分割を行う。分割の規則は、以下のタグを用いて分割を行う（Web文書の分割部）。
・<div>
・</div>
・<td>
・</td>
タグ内にalt属性やclass属性が存在する場合も考えられるため、その場合は、それらを含めたタグを考慮した正規表現を用いて分割を行う。（例：<div class="hoge">）
以降分割されたWeb文書の一つ一つを「セグメント」と呼び、特徴量抽出と主要コンテンツか否かの判定はセグメント毎に行うものとする。
【００９７】
特徴量抽出部３３０は、以降で述べる特徴量を抽出し、Web文書の主要コンテンツ部分の判定を行う。分割された文書の特徴量を抽出する。
【００９８】
図８は、本発明の一実施の形態における特徴量抽出部の構成を示す。同図に示す特徴量抽出部３３０は、アンカーリンク情報特徴量抽出部３３１、タグ情報特徴量抽出部３３２、Ｗｅｂ文書で表示される文字列特徴量抽出部３３３、特徴量正規化部３３４、特徴量の比率特徴量抽出部３３５から構成される。
【００９９】
特徴量抽出部３３０では、
［１］Ｗｅｂ文書で表示される文字列（Ｗｅｂ文書で表示される文字列特徴量抽出部３３３）；
［２］タグ情報（タグ情報特徴量抽出３３２）；
［３］アンカーリング情報（アンカーリンク情報特徴量抽出部３３１）；
［４］特徴量の比率（特徴量の比率特徴量抽出部３３５）；
を抽出する。
【０１００】
以下に、［１］〜［４］の各特徴量の抽出の方法を示す。
【０１０１】
［１］Web文書で表示される文字列 (Web文書で表示される文字列特徴量抽出部３３３)
当該Web文書で表示される文字列は、Web文書で表示される文字列特徴量抽出部３３３により抽出される。
【０１０２】
ここでは、Webブラウザで表示される文字列に関する特徴量について述べる。ここで述べる文字列とは、HTMLタグ等のWebブラウザで表示されない文字列を含まないものとする。
【０１０３】
［１−１］ 文字列の量
一般的にWeb文書の主要コンテンツ部分は、主要コンテンツでない部分と比較すると多くの文字列が含まれている。また、全体的に文字列の少ないWeb文書においても同様のことが言える。そのため、Ｗｅｂ文書で表示される文字列特徴量抽出部３３３において、分割されたWeb文書に含まれる文字列の数を特徴量として抽出する。そして、特徴量正規化部３３４にて、以下に示す文字列の量を正規化して特徴量とする手法（ａ）と、文字列の絶対値を用いて特徴量とする手法（ｂ）の二つを実行し、最終的な文字列の量の特徴量とする。
【０１０４】
（ａ）文字列の量の正規化を行い特徴量とする手法(特徴量正規化部３３４)
特徴量正規化部３３４は、すべてのセグメントにおいて最大の文字列の量をもつセグメントの特徴量を1とする正規化を行う。例えば、すべてのセグメントにおいて最大の文字列の量が200で、あるセグメント内の文字列の量が100だった場合には、そのセグメントの文字列の量の特徴量は0．5となる。このような正規化を行うことで、全体的に文字列の少ないWeb文書においても主要コンテンツの抽出が可能になる。
【０１０５】
（ｂ）文字列の量の絶対値を用いて特徴量とする手法 (特徴量正規化部３３４)
上記で述べた正規化を行い特徴量とする手法は、全体的に文字列の少ないWeb文書において有効であったが、正規化を行うことで、全体的に文字列の量が多く、主要コンテンツ部分のセグメント間の文字列の量の差が大きい場合に不都合が生じる。例えば、すべてのセグメントにおいて最大の文字列の量が1000で、あるセグメント内の文字列の量が100だった場合、そのセグメントの文字列の量の特徴量は0．1になる。文字列の量としては多いはずだが、正規化を行うことで、このような弊害が生じる。そこで、文字列の絶対値を用いて特徴量とする手法を行う必要がある。具体的には、ある特定の値を超えた場合にその文字列の特徴量を1とする手法を用いる。例えば、あるセグメント内の文字列の量が100の場合、文字列の量が5以上の場合の特徴量が1となり、文字列の量が10以上の場合の特徴量が1となり，…，文字列の量が105以上の特徴量は0となり，…，文字列の量が200以上の特徴量は0となるように、特徴量を作成する。このように、ある特定の文字列量を超えた場合に特徴量を1とする手法を用いることで、特徴量の最大値は1のままで文字列の量の絶対値を特徴量とすることができる。また、例においての文字列の量の絶対値の特徴量の間隔は5としたが、場合において適切な間隔を用いるのが好ましい。また、8，16，32，64といった2の乗数を用いて特徴量の間隔とする手法も考えられる。文字列の量がx以上の・・・の最大のxも同様に、場合において適切な値に変更する。主要コンテンツ判定における計算量を減らしたい場合にはxの値を小さくすると良いだろう。
【０１０６】
また、セグメント内に文字列が全くない場合も考えられる。その場合は、以降で説明する特徴量を抽出するまでもなく、主要コンテンツでないと判断できる。そのため、実際の実行時には以下の特徴量抽出は行わず、後述する主要コンテンツ判定部３４０のテキスト判定部において、該当セグメントを非主要コンテンツとして判別する。この処理は、特徴量の学習を行う際には行わない。
【０１０７】
［１−２］ 句読点の数
Web広告等のノイズとなりやすいセグメントは、文字列の量は多いが句読点の数が少ない傾向にある。そのため、句読点の数を特徴とする。具体的にはセグメント内の文字列に含まれる『、』、『，』、『。』、『．』、『！』、『・』、『？』、『…』の数を特徴量としてカウントする。この特徴量も、文字列の量で述べた正規化による特徴量と、絶対値による特徴量の二通りを算出する。算出方法においては、［１−１］文字列の量で述べた手法と同じものを用いる。
【０１０８】
［２］ タグ情報 (タグ情報特徴量抽出部３３２)
ここでは、HTMLタグ等のタグ情報に関する特徴量について述べる。
【０１０９】
［２−１］テキスト系のHTMLタグの数
あるセグメント内において、Web文書で表示される文字列が多い場合、テキストに関するHTMLタグが多く含まれる。また、ブログ等のＣＧＭにおいては、Web文書で表示される文字列は少ないが、ユーザが改行タグを多用する事例が多くみられる。そこで、タグ情報特徴量抽出部３３２では、テキストに関するHTMLタグの数を特徴量として用いる。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。例えば、すべてのセグメントにおいて最大のHTMLタグの量が10で、あるセグメント内のHTMLタグの量が5だった場合には、そのセグメントのHTMLタグの量の特徴量は0．5となる。そして、例で使用するテキスト系のHTMLタグは、以下のタグを対象とする。
【０１１０】
・<p>
・</p>
・<br>
・</br>
・<font>
・</font>
タグ内にsize属性やclass属性が存在する場合も考えられるため、その場合は、それらを含めたタグを考慮した正規表現を用いてカウントを行う。（例：<font size="+1">）
［２−２］ テキスト系のHTMLタグの連続出現数
Web文書で表示される文字列が集中して記述してあるセグメントは、テキスト系のタグが多く存在すると同時に、テキスト系のHTMLタグが連続して出現する。ここでいう、連続して出現するというのは、他のアンカーリンク等のHTMLタグが間に出現しないということである。そこで、タグ情報特徴量抽出部３３２は、［２−１］で述べたテキスト系のＨＴＭＬタグの連続出現数を特徴量とする。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。例えば、すべてのセグメントにおいて最大のHTMLタグの連続量が10で、あるセグメント内のHTMLタグの連続量が5だった場合には、そのセグメントの文字列の量の特徴量は0．5となる。
【０１１１】
［２−３］ リンクリストタグの数
あるセグメント内においてリンクリストタグが多い場合、そのセグメントにはナビゲーションリンク等の多くのアンカーリンクが存在し、そのセグメントは主要コンテンツとならない可能性が高い。そこで、タグ情報特徴量抽出部３３２は、リンクリストタグの数を特徴量とする。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。例えば、すべてのセグメントにおいて最大のリンクリストタグの量が10で、あるセグメント内のリンクリストタグの量が5だった場合には、そのセグメントのリンクリストタグの量の特徴量は0．5となる。そして、実施例で使用するリンクリストタグは、以下のタグを対象とする。
【０１１２】
・<li>
・<ul>
・<dl>
・<dd>
・<ol>
タグ内にalt属性やclass属性が存在する場合も考えられるため、その場合は、それらを含めたタグを考慮した正規表現を用いてカウントを行う。（例：<font class="hoge">）
［２−４］ Web文書で表示される文字列を含まない文字列（HTMLタグを含む）の量
あるセグメント内において、Webで表示されない文字列（HTMLタグを含む）が多い場合、そのセグメントは広告等の主要コンテンツでない可能性が高い。そこで、タグ情報特徴量抽出部３３２は、Web文書で表示される文字列以外の文字列（HTMLタグを含む）量を特徴量とする。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。例えば、すべてのセグメントにおいて最大のWebで表示されない文字列の量が100で、あるセグメント内のWebで表示されない文字列の量が50だった場合には、そのセグメントのWebで表示されない文字列の量の特徴量は0．5となる。
【０１１３】
［３］ アンカーリンク情報 (アンカーリンク情報特徴量抽出部３３１)
ここでは、アンカーリンクに関する特徴量の抽出方法について述べる。
【０１１４】
［３−１］ アンカーリンクの数
あるセグメントにおいて、アンカーリンクが多数含まれているセグメントは主要コンテンツでない可能性が高い。そこで、アンカーリンク情報特徴量抽出部３３１は、アンカーリンクの数を特徴量として用いる。具体的には<a href=…>…</A>タグで表されるアンカーリンクの数を特徴量とする。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。例えば、すべてのセグメントにおいて最大のアンカーリンクの数が10で、あるセグメント内のアンカーリンクの数が5だった場合には、そのセグメントのアンカーリンクの数の特徴量は0．5となる。アンカーリンクタグには、class属性やalt属性が含まれる場合もあるので、アンカーリンクタグの数は正規表現を用いてカウントする。
【０１１５】
［３−２］ 各アンカーリンクの文字列の平均量
各アンカーリンクの文字列が平均して多い場合、そのセグメントは、関連記事等のナビゲーションリンクである可能性が高い。また、アンカーリンクの文字列が平均して少ない場合、主要コンテンツ内に含まれるキーワード検索リンクである可能性が高い。そこで、アンカーリンク情報特徴量抽出部３３１は、セグメントに含まれるアンカーリンクの文字列の平均量を特徴量として用いる。アンカーリンクの文字列とは、<a href='…'…>○○○</A>の○○○の部分に該当する。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。
【０１１６】
［３−３］ すべてのアンカーリンク文字列の合計量
セグメント内に含まれるアンカーリンクの文字列の合計量が多い場合、そのセグメントはナビゲーションリンクである可能性が高い。そこで、アンカーリンク情報特徴量抽出部３３１は、セグメント内に含まれるアンカーリンクの文字列の合計量を特徴量として用いる。アンカーリンクの文字列とは、<a href='…'>○○○</A>の○○○の部分に該当する。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。
【０１１７】
［３−４］ 最大文字列のアンカーリンクＵＲＬの量
アンカーリンク先のURL文字列が非常に長い場合、そのセグメントは広告である可能性が高い。そこで、アンカーリンク情報特徴量抽出部３３１は、セグメント内で最大長のアンカーリンク先のＵＲＬの文字列を特徴量として用いる。ここで述べるアンカーリンク先のURL文字列とは、<a href='△△△'…>…</A>の△△△の部分に該当する。この特徴量も、特徴量正規化部３３４にてWeb文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。
【０１１８】
［３−５］ 広告に関するアンカーリンクを含むか
広告に関するＵＲＬを含むアンカーリンクは特徴的な文字列を含む可能性が高い。例えば、「adclick」、「adnet」、「banner」等がそれにあたる。そこで、アンカーリンク情報特徴量抽出部３３１は、このような広告となりやすい文字列を含んだＵＲＬを含むアンカーリンクが存在する場合、特徴量を１とし、存在しない場合を０とする特徴量を抽出する。広告になりやすい文字列は、広告除去用のFirefox用アドインであるAdblock plugin等のサイトに記載されているため、それを用いる。
【０１１９】
［４］ 特徴量の比率 (特徴量の比率特徴量抽出部３３５)
ここでは、［１］から［３］で述べた特徴量間の比率を用いた特徴量について述べる。
【０１２０】
［４−１］ テキスト系のタグ数とテキスト系のタグの連続出現数の比率
テキスト系のタグが多数あり、またテキスト系のタグの連続出現数が多いセグメントは、テキストが密に書かれているため、主要コンテンツである可能性が高い。しかしながら、テキスト系のタグは多数あるが、テキスト系のタグの連続出現数が少ないセグメントは、セグメントのサイズが大きいだけで、主要コンテンツでない可能性が高いと言える。そこで、特徴量の比率特徴量抽出部３３５は、テキスト系のタグ数とテキスト系のタグの連続出現数の比率を特徴量として用いる。具体的には、テキスト系のタグ数を分母とし、テキスト系のタグの連続出現数を分子とした値を、特徴量として用いる。ここで、テキスト系のタグ数が0の場合は、分母が0となってしまうため、この場合のテキスト系のタグ数とテキスト系のタグの連続出現数の比率の特徴量は0とする。本特徴量も、Web文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。この特徴量が大きければ大きいほど主要コンテンツである可能性が高い。
【０１２１】
［４−２］ Webで表示される文字列とタグの比率
あるセグメント内において、Webで表示される文字列が多い場合は主要コンテンツとなる可能性が高いが、同じセグメント内において、HTMLタグ等のタグが多い場合もある。この場合、［４−１］で述べたようにセグメントのサイズが大きいだけで、主要コンテンツでない可能性がある。そこで、特徴量の比率特徴量抽出部３３５は、Webで表示される文字列とタグの比率を特徴量として用いることで、このような場合に対処する。
【０１２２】
具体的には、Webで表示される文字列を分子とし、タグの数を分母とした値を特徴量とする。この特徴量が大きければ大きいほど、主要コンテンツである可能性が高い。本特徴量も、Web文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。タグの数が0の場合は分母が0となってしまうため、特徴量は１とする。
【０１２３】
［４−３］ アンカーリンクの数とリンクリストタグの数の比率
あるセグメント内において、アンカーリンクの数や、リンクリストタグの数が多ければ多いほど、そのセグメントは主要コンテンツでない可能性が高いが、セグメントが広いためにこれらの特徴量が偶然高くなってしまう場合も考えられる。そこで、特徴量の比率特徴量抽出部３３５は、アンカーリンクの数とリンクリストタグの数の比率を特徴量として用いる。具体的にはアンカーリンクの数を分母とし、リンクリストタグの数を分子とし、特徴量とする。この特徴量が大きければ大きいほど、セグメントの面積に対し密度の高いリンク数が存在することになり、主要コンテンツでない可能性が高い。本特徴量も、Web文書で表示される文字列で用いた特徴量の正規化を同様に行い、最終的な特徴量とする。アンカーリンクの数が0の場合は分母が0となってしまうため、特徴量は0とする。
【０１２４】
［５］ 主要コンテンツの判定 (主要コンテンツ判定部３４０)
図９は、本発明の一実施の形態における主要コンテンツ判定部の構成を示す。
【０１２５】
主要コンテンツ判定部３４０は、特徴量入力部３４１、テキスト判定部３４２、主要コンテンツ判定処理部３４３から構成される。
【０１２６】
ここでは、特徴量抽出部３３０で抽出された特徴量を用いて、主要コンテンツか否かの判定を用いて行う手法について述べる。判定にはSupport Vector Machine(SVM)や最大エントロピー法、ナイーブベイズ法等の機械学習アルゴリズムを用いて判定を行う。
【０１２７】
最初に、人手で主要コンテンツか否かを特徴量を抽出したセグメントごとに判定した訓練データを作成する。ここで、［１−１］の「文字列の量」の項で、Webで表示される文字列が存在しない場合は主要コンテンツとみなさないと記述したが、機械学習を用いた手法においては負例として学習に有効であるため、訓練データにはそのようなデータも採用する。そして、そのセグメントの特徴量を用いて、学習を行い特徴量ごとの重みを算出する。速度を重視する場合は、最大エントロピー法で学習し、精度を重視する場合には、二次の多項式カーネルを用いたSupport Vector Machineを用いて学習を行う。そして、特徴量抽出部３３０は、これらの学習したパラメータを用いて、セグメントの特徴量を主要コンテンツ判定部３４０に入力する。
【０１２８】
特徴量入力部３４１は、特徴量抽出部３３０からセグメント特徴量を取得し、テキスト判定部３４２は、セグメントにテキストが存在する場合は主要コンテンツ判定処理部３４３にセグメントを渡し、テキストが存在しない場合はセグメントを削除する。主要コンテンツ判定処理部３４３は、セグメント毎に主要コンテンツか否かを判別し、主要コンテンツと判定されたセグメントのみを出力する。
【０１２９】
図１０に特徴量のパラメータ学習手法の流れを掲載する。
【０１３０】
主要コンテンツ判定処理部３４３は、セグメントごとに特徴量を抽出し、ユーザに提示する（ステップ８０１）。ユーザによりセグメント毎に主要コンテンツか否かが判定され、判定結果を取得する（ステップ８０２）。主要コンテンツ判定処理部３４３は、判定結果に基づいて訓練データを作成し（ステップ８０３）、機械学習記で特徴量ごとのパラメータを推定（学習）し（ステップ８０４）、学習モデルを生成する（ステップ８０５）。
【０１３１】
［６］ 主要コンテンツ部分の出力 (主要コンテンツ出力部３５０)
図１１は、本発明の一実施の形態における主要コンテンツ出力部の構成を示す。
【０１３２】
主要コンテンツ出力部３５０は、タグ付きテキストを要求された場合に、タグ付テキストを出力するタグ付きテキスト出力部３５１、タグなしテキストを要求された場合にタグなしテキストを出力するタグなしテキスト出力部３５２、主要コンテンツと判定されたセグメントを結合して最終出力するとするデータ出力３５３を有する。
【０１３３】
主要コンテンツ判定部３４０にて、［５］で説明した出力した主要コンテンツか否かの判定を行った後に、主要コンテンツ出力部３５０のデータ出力部３５３は、学習器によって主要コンテンツと判断されたセグメントのみを、結合して最終出力とする。ここで、情報検索の事前処理として本装置を用いたい場合には、タグ付きテキスト出力部３５１よりHTMLタグ等のタグを残して出力する。情報推薦等でWeb文書の内容を解析したい場合には、タグなしテキスト出力部３５２よりHTMLタグ等のタグを削除して出力する。
【０１３４】
図１２、図１３に主要コンテンツの例を示す。
【０１３５】
［７］ 実装理由による特徴量の選択
主要コンテンツ抽出手法をユーザＰＣ等に組み込む場合、上記の特徴量抽出部３３０で抽出されたすべての特徴量を用いて処理することは、処理量的に難しい。そのため、抽出する特徴量を絞り込むことで処理量を削減する。ここで、機械学習による学習モデルは、絞り込んだ特徴量モデルごとに学習モデルを作成する。
【０１３６】
●ステップ１５０：重要キーワード候補抽出部４００の処理
従来の一般的なキーワード抽出手法は形態素解析や固有表現抽出を用いた手法であったが、形態素解析手法では、複合名詞の抽出に関する問題や重要キーワードの絞込みに関しての問題があり、また固有表現抽出においては人名、組織名、地名といった狭い範囲のキーワード抽出しかできないため、ユーザの興味を網羅するキーワード候補の抽出ができなかった。
【０１３７】
そこで、本発明ではユーザ参加型オンライン百科事典であるWikipedia（登録商標）の見出し語をキーワード候補として用いることで、これらの解決を試みた。Wikipedia（登録商標）の見出し語は百科事典の見出し語のため、体系的にまとめられており、かつ実世界の事象を一意に表す特徴を持つため、ユーザの興味対象を幅広く網羅した言語資源であるといえる。また、Wikipedia（登録商標）に記載されているキーワードは、重要で内容の深いキーワードのみが登録されているため、重要なキーワードの絞込みが可能となる。
【０１３８】
事前計算処理部１００の重要キーワード候補辞書ＤＢ１１０に、Wikipedia（登録商標）の見出し語を形態素解析用の辞書として登録しておき、重要キーワード候補抽出部４００が、その辞書を用いた形態素解析結果からキーワードを抽出する。なお、辞書に登録する際、最も長いキーワードを抽出するよう辞書の重み付けを行う。
【０１３９】
●ステップ１６０：出現頻度を用いた重要度算出部５００の処理
上記の重要キーワード候補抽出部４００では、Wikipedia（登録商標）の見出し語を用いて重要だと思われるキーワード候補の絞込みを実現したが、当該出現頻度を用いた重要度算出部５００ではその中からさらに重要なキーワードを上位に位置づけるために出現頻度を用いた重要度算出部５００においてキーワードの重要度を算出する手法について述べる。
【０１４０】
［１］ WebIDF
検索エンジンが収集した大規模なWeb文書集合における出現確率を考慮した重みがWebIDFである。具体的には、検索エンジンにキーワードを入力し、その結果得られたWeb文書のヒット数からIDF値を算出し、これをWebIDFとする。Web文書集合中で多数出現するキーワードは一般的なキーワードで特徴的なキーワードではないと判断する重みである。以下に、キーワードｋのWebIDF算出式を掲載する。
【０１４１】
【数７】
ここで、Ｎはキーワードの閾値で、ｎkはキーワードｋのヒット数である。ここで、キーワードｋの検索エンジンのヒット数の閾値Ｎは、ｎkを降順にソートし、不必要なキーワードが少なくなってきた辺りのｎkの値を用いる。その理由として、ｎkが高ければ高いほど一般的なキーワードである可能性が高く、また閾値Ｎを設定すると閾値Ｎ以上のｎkをもつキーワードｋのＷｅｂＩＤＦ値は常に負となり、常にスコアとして低い値となるためである。なお、Ｎの推奨値は20000000である。
【０１４２】
［２］ BM25
以下では、文書内の出現頻度と文書集合内での出現分布を用いたキーワード重み付け手法について述べる。これらの重み付けには従来法であるBM25を用いる。
【０１４３】
【数８】
ここで、ｄは文書であり、ｋは文書に含まれるキーワードである。そして、tf(d,k)はｄ内のキーワードｋの出現頻度、dlは文書長、addlは文書集合内における平均文書長、N
は総文書数である。ｋ1とbは自由パラメータで、ｋ1はtf(d,k)に関するパラメータ、bはdlに関するパラメータである。
【０１４４】
また、文書集合を用意できなく、文書１枚からキーワードを抽出したい場合には、以下の算出式を用いる。
【０１４５】
【数９】
なお式（８）に関するノーテーションは式（７）と同様である。
【０１４６】
また、Web文書を対象にBM25をかける場合、サイト毎に（ドメイン毎に）IDF値を取得する手法も考えられる。その場合、サイト内に含まれるWeb文書内でDF値を取得し、IDF値を算出する。その場合、算出式は以下のようになる。
【０１４７】
【数１０】
なお、式（９）に関するノーテーションは式（７）と同様である。
【０１４８】
［３］タイトルと本文のキーワード重要度の算出
上記の［２］では、BM25を用いた出現頻度による重み付け手法を述べた。
【０１４９】
以下では、文書のタイトル中での出現頻度と、本文中での出現頻度を用いたキーワード重要度の算出手法について述べる。具体的には、文書のタイトル（もしくはファイル名）から算出したBM25の値と、本文から算出したBM25の値の線形和を用いてスコアを算出する。以下に、算出式を掲載する。
【０１５０】
【数１１】
ここで、BM25allはタイトルと本文の出現頻度を用いたBM25スコアで、BM25titleはタイトルでの出現頻度を用いたBM25スコア、BM25bodyは本文でのBM25スコアとなる。αはパラメータである。αの推奨値は0．7とする。
【０１５１】
［４］ 形態素の固有名詞を用いたキーワード重要度算出
一般的なニュース記事内において、人名や組織名等の固有名詞は最初に正式名称で記述された後に、省略形で記述される場合が多い。例えば、「田中太郎」と最初に書かれた後に「田中」と書かれる場合がそれに該当する。省略形で記述された場合、記事の主題に関するキーワードでも他の重要でないキーワードより出現回数が少ない場合が生じる問題があった。そこで、形態素解析結果を用いて簡易的に省略形に対応する方法を提案する。一般的な形態素解析器は、品詞として、人名（姓、名）、地名、組織名の出力が可能である。そのため、形態素解析結果から得られた形態素の固有名詞を含むキーワード候補の出現頻度を、その形態素の出現頻度と置き換えることで、この問題に対処する。例えば、「麻生太郎」というキーワードが1回出現し、「麻生」という形態素の固有名詞が３回出てきた場合、「麻生太郎」の出現頻度を３回とする。
【０１５２】
逆に、地名等は省略されずに記述されるため、キーワードの出現回数が大きくなりすぎてしまう問題がある。そのため、形態素解析結果から得られた地名の名詞の出現回数をキーワードの出現回数とするが、係数を乗算することでスコアとして低減させる手法を提案する。以下に、上記の手法の算出式を示す。
【０１５３】
【数１２】
ここで、式（１１）のtf(d,k)は、文書ｄにおける出現頻度によるキーワードｋのスコアであり、αperson、αlocation、αorganizationは、それぞれ、人名、地名、組織名に関する係数である。そして、match(d,k,mk)は文書ｄにおけるキーワードｋに含まれる形態素ｍkの出現頻度である。式（１１）で算出したtf(d,k)は［２］，［３］で述べた出現頻度を用いたキーワード重要度の算出式で用いる。
【０１５４】
●ステップ１７０：キーワード重要度算出部６００の処理
キーワード重要度算出部６００は、キーワード固有重要度算出部１６０により生成されたキーワード固有重要度ＤＢ１５０を参照して、キーワード候補の重要度を算出する。
【０１５５】
キーワード重要度算出部６００では、キーワードの文書中での出現位置に基づいてキーワードの重要度を算出する手法と、固有表現抽出結果を用いてキーワードの重要度を算出する手法がある。
【０１５６】
以下にその２つの方法を説明する。
【０１５７】
［１］文書中での出現位置におけるキーワード重要度算出
ニュース記事やコラム等の一般的な記述がなされる記事においては、文の先頭に来ればくるほど重要なキーワードが含まれている可能性が高い。そのため、文の先頭にあればあるほど、そのキーワードは重要であるという重要度を算出する。この手法もWikipedia（登録商標）内のリンク構造を用いた手法と同じく式（１２）のキーワード固有重要度算出式を用いて、出現位置を用いたキーワード重要度Pos(k)の算出を行う。
【０１５８】
【数１３】
ここで、ｙ1は出現位置を用いたキーワード重要度の上界であり、ｙ0は出現位置を用いたキーワード重要度の下界である。そしてkpはキーワードｋの文位置（文の位置は、文の先頭から１文ずつ（句点までを１文とする）数え上げたものを用い、さらにそのキーワードにおいて、最も先頭の位置を用いる）、Pは最後尾の文位置、aはスコアの勾配係数で、aの値が大きくなればなるほどスコアの勾配が急になる。ｙ1、ｙ0の推奨値は、それぞれ1、0．5で、勾配係数の推奨値は1から5である。ブログ記事のような一般的な記述がなされていない文書を多く処理する場合には、ｙ0の値を大きくし、勾配係数の値も小さくするのが良い。
【０１５９】
次に本関数（スコア）の特徴について述べる。本関数はキーワードの候補数(x軸の要素数)に左右されることなく、また上界と下界を設定でき、またキーワードの候補数の上位10%以内において、最大値と最小値の差が30%〜70%以内に収まる減衰曲線を描き、そしてパラメータ係数にて減衰度合いを整数値を用いることで小数点を考慮した細かい数値設定を考慮することなく容易に設定できる特徴をもつスコア関数である。（勿論、減衰度合いの設定は実数値でも設定可能である。）図４に本関数のスコア分布例を掲載する。
【０１６０】
また、以下の式を用いて出現位置を用いたキーワード重要度Pos(k)を算出するのも良い。
【０１６１】
【数１４】
式（１２）と異なり、勾配係数aを用いなくてもスコア算出が可能である点が、式（１３）のメリットである。
【０１６２】
［２］ 固有表現抽出結果を用いたキーワード重要度算出
キーワード重要度算出部６００は、固有表現辞書（図示せず）から得られた固有表現キーワード（人名、地名、組織名、固有物名）と重要キーワード候補抽出部４００で抽出したキーワード候補が一致した場合に、キーワードの重みづけを行う。また、キーワード候補の抽出で抽出できなかったキーワードについては、指定した重要度を付与する処理を行う。以下に、その詳細を述べる。
【０１６３】
・抽出したキーワードと固有表現キーワードが一致した場合
【０１６４】
【数１５】
ここで、NE_class_score(c,k)は固有表現クラス別に指定された重みである。
【０１６５】
・抽出したキーワードと一致する固有表現が無い場合
【０１６６】
【数１６】
・抽出したキーワードに存在しない固有表現が抽出された場合
【０１６７】
【数１７】
上記のような手法で、キーワード重要度を求めた後、キーワード重要度算出部６００は、以下の方法で、文書における最終的なキーワードの重要度を求める。
【０１６８】
文書ｄ内における最終的なキーワード重要度FS(d,k)は、出現頻度を用いた重要度算出部５００で求められた重要度と、当該キーワード重要度算出部６００において［１］の「文書中での出現位置におけるキーワード重要度算出」、［２］の「固有表現抽出結果を用いたキーワード重要度算出手法」で求められた値を以下の式（１７）のように乗算することによって算出する。
【０１６９】
FS(d,k)が高いほど重要なキーワードとみなされる。
【０１７０】
【数１８】
FS(d,k)はすべてのキーワード候補に対して、キーワード重要度を算出するため、応用アプリケーション等で少数のキーワードしか表示できない場合、上位３〜５位のキーワードをその文書内における重要キーワードとして表示する。
【０１７１】
また、ストップワードリストがある場合は、リストに存在するキーワードを削除する処理を行う。
【０１７２】
キーワード重要度算出部６００は、決定されたＮ個の重要キーワードを関連コンテンツ取得・提示部７００に出力する。
【０１７３】
●ステップ１８０：関連コンテンツ取得・提示部７００の処理
関連コンテンツ・取得提示部７００は、キーワード重要度算出部６００で求められた重要度の高いキーワードを用いて関連コンテンツを取得する。
【０１７４】
まず、取得したい関連コンテンツのAPIを用意する。動画を取得したい場合、YouTube（登録商標） APIやyahoo（登録商標）の動画API等が挙げられる。グルメのクーポンやブログ記事等を取得したい場合は、その目的に応じたAPIを用意する。使用できるAPIの要件は、検索クエリを入力として受け付けるかである。次に重要度の高いキーワードを高い順に１〜３個取得し、それに基づきスペース区切りで検索クエリを作成する。例えば、
「キーワードA キーワードB キーワードC」
のようにスペース区切りで検索クエリを作成することにより、「キーワードA or キーワードB or キーワードC」といった検索クエリの条件にて関連コンテンツを取得することができる。検索クエリの数に関しては、関連コンテンツＡＰＩの保有するコンテンツ数に応じて変更すればよい。また、or検索だけでなく、and検索等を実行することも考えられる。コンテンツが少ない場合は、多くのキーワードをor検索で実行する。コンテンツが多い場合は少ないキーワードでもコンテンツ結果が取得できる可能性が高いので、関連コンテンツの絞り込みをしたい場合は、少ないキーワードでもよい。APIに投入する例として以下のようなURLを入力し、結果を取得する。
【０１７５】
入力例）http://○○○.○○○○.com/feeds/api/videos?alt=rss&vq="クエリ"
そして、取得した結果はXML等で記述されているため、XMLパーザ等の既存技術を用いてデータを取得する。そして、取得したデータの一部を関連コンテンツとして提示する。
関連コンテンツ提示装置の出力例を図１４に記載する。
【０１７６】
上記により、本発明は、
（１）入力されたテキストから重要語を抽出し、検索クエリをインターフェースとする様々な外部コンテンツAPIを用いて、動画やブログ、クーポン情報、グルメ情報等の様々な関連コンテンツを提示できる；
（２）従来技術の関連コンテンツ提示手法では、自社サーバが保有している関連コンテンツの提示しかできなかったが、本手法では自社が保有していない外部の関連コンテンツを外部コンテンツAPIを通じて提示できる；
（３）重要語抽出に基づく手法のため、関連コンテンツとして提示した際にテキスト中のこのキーワードが重要語であったため、このコンテンツを提示したという重要語による関連コンテンツの提示理由が表示できる；
（４）関連コンテンツの特性に特化した重要語抽出が可能なため、コンテンツ提示精度が高い；
（５）従来法の類似度に基づく関連コンテンツ提示手法と比較して、計算量的なコストが大変低い；
等の効果を奏する。
【０１７７】
上記の実施の形態では、図２の構成に基づいて説明したが、図２に示す関連コンテンツ提示装置の構成要素の動作をプログラムとして構築し、関連コンテンツ提示装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【０１７８】
また、構築されたプログラムをハードディスクや、フレキシブルディスク、CD-ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【０１７９】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【０１８０】
１００ 事前計算処理部
１１０ 重要キーワード候補辞書ＤＢ
１２０ Wikipedia（登録商標）データ記憶部
１３０ 検索クエリデータ記憶部
１４０ Wikipedia（登録商標）閲覧ログデータ記憶部
１５０ キーワード固有重要度ＤＢ
１６０ キーワード固有重要度算出部
２００ 文書入力部
３００ 主要コンテンツ抽出部
３１０ Web文書取得・入力部
３１１ データ入力部
３１２ Web文書ファイル入力部
３１３ ＵＲＬ入力部
３１４ Web文書取得部
３１５ 文字コード変換部
３２０ Web文書分割部
３２１ 広告対象領域抽出部
３２２ ノイズとなるタグや領域除去部
３２３ Web文書の分割部
３３０ 特徴量抽出部
３３１ アンカーリンク情報特徴量抽出部
３３２ タグ情報特徴量抽出部
３３３ Web文書で表示される文字列特徴量抽出部
３３４ 特徴量の正規化部
３３５ 特徴量の比率特徴量抽出部
３４０ 主要コンテンツ判定部
３４１ 特徴量入力部
３４２ テキスト判定部
３４３ 主要コンテンツ判定処理部
３５０ 主要コンテンツ出力部
３５１ タグ付きテキスト出力部
３５２ タグなしテキスト出力部
４００ 重要キーワード候補抽出部
５００ 出現頻度を用いた重要度算出部
６００ キーワード重要度算出部
７００ 関連コンテンツ取得・提示部
８００ 関連コンテンツ出力部
【特許請求の範囲】
【請求項１】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、Ｗｅｂ文書集合における出現確率を、WebIDFアルゴリズム及びBM25アルゴリズムを用いて算出する重要度算出手段と、
出現頻度の高い上位Ｎ件のキーワード候補を抽出し、前記Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項２】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及びBM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出し、各キーワードの形態素の固有名詞の出現頻度を算出し、該出現確率と該キーワードの固有名詞の出現頻度を用いて重要度を算出する重要度算出手段と、
前記重要度算出手段で算出された前記重要度に基づいて抽出されたＮ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項３】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及びBM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
前記キーワード候補のキーワードに基づいて前記キーワード辞書を参照し、前記リンク構造に基づいて得られた文書のランキングを該キーワードのキーワード固有重要度とする第２の重要度算出手段と、
前記第１の重要度算出手段の前記出現確率及び前記第２の重要度算出手段の前記キーワード固有重要度を用いて算出された値に基づいて抽出されたＮ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項４】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
前記キーワード辞書を参照した閲覧ログを格納した閲覧ログ記憶手段と、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記キーワード辞書を参照して、前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
前記閲覧ログ記憶手段を参照して、閲覧された回数が多いキーワードほど度合いが大きくなる重要度を求める第２の重要度算出手段と、
前記第１の重要度算出手段の前記出現確率と、前記第２の重要度算出手段の前記重要度を用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項５】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記キーワード辞書を参照して前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
前記キーワード候補が検索エンジンに投入された回数を取得し、検索クエリ投入回数を用いてキーワード固有重要度を算出する第２の重要度算出手段と、
前記第１の重要度算出手段の前記出現確率と、前記第２の重要度算出手段の前記キーワード固有重要度を用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項６】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記キーワード辞書を参照して前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
前記キーワード候補の前記Ｗｅｂ文書の文における出現位置を参照し、キーワードが文の先頭にあるほど値が大きくなる重要度を求める第２の重要度算出手段と、
前記第１の重要度算出手段の前記出現確率と、前記第２の重要度算出手段の前記重要度を用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項７】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記キーワード辞書を参照して前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
前記Ｗｅｂ文書から固有表現を有する固有表現キーワードを抽出し、前記重要キーワード候補と一致した場合に、重みを付与したスコアを求める第２の重要度算出手段と、
前記第１の重要度算出手段の前記出現確率と、前記第２の重要度算出手段の前記スコアを用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項８】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
前記キーワード辞書を参照した閲覧ログを格納した閲覧ログ記憶手段と
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記キーワード辞書を参照して、前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出し、各キーワードの形態素の固有名詞の出現頻度を算出し、該出現確率と該キーワードの固有名詞の出現頻度を用いて第１の重要度を算出する第１の重要度算出手段と、
前記キーワード候補のキーワードに基づいて前記キーワード辞書を参照し、前記リンク構造に基づいて得られた文書のランキングを該キーワードの第２の重要度とする第２の重要度算出手段と、
前記閲覧ログ記憶手段を参照して、閲覧された回数が多いキーワードほど度合いが大きくなる第３の重要度を求める第３の重要度算出手段と、
前記キーワード候補が検索エンジンに投入された回数を取得し、検索クエリ投入回数を用いて第４の重要度を算出する第４の重要度算出手段と、
前記キーワード候補の前記Ｗｅｂ文書の文における出現位置を参照し、キーワードが文の先頭にあるほど値が大きくなる第５の重要度を求める第５の重要度算出手段と、
前記第１の重要度算出手段の前記第１の重要度、前記第２の重要度算出手段の前記第２の重要度、前記第３の重要度算出手段の前記第３の重要度、前記第４の重要度算出手段の前記第４の重要度、前記第５の重要度算出手段の前記第５の重要度の少なくとも１いずれか１つの重要度に基づいて抽出されたＮ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて前記検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の関連コンテンツ提示装置を構成する各手段としてコンピュータを機能させるためのプログラム。
【請求項１】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、Ｗｅｂ文書集合における出現確率を、WebIDFアルゴリズム及びBM25アルゴリズムを用いて算出する重要度算出手段と、
出現頻度の高い上位Ｎ件のキーワード候補を抽出し、前記Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項２】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及びBM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出し、各キーワードの形態素の固有名詞の出現頻度を算出し、該出現確率と該キーワードの固有名詞の出現頻度を用いて重要度を算出する重要度算出手段と、
前記重要度算出手段で算出された前記重要度に基づいて抽出されたＮ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項３】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及びBM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
前記キーワード候補のキーワードに基づいて前記キーワード辞書を参照し、前記リンク構造に基づいて得られた文書のランキングを該キーワードのキーワード固有重要度とする第２の重要度算出手段と、
前記第１の重要度算出手段の前記出現確率及び前記第２の重要度算出手段の前記キーワード固有重要度を用いて算出された値に基づいて抽出されたＮ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項４】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
前記キーワード辞書を参照した閲覧ログを格納した閲覧ログ記憶手段と、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記キーワード辞書を参照して、前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
前記閲覧ログ記憶手段を参照して、閲覧された回数が多いキーワードほど度合いが大きくなる重要度を求める第２の重要度算出手段と、
前記第１の重要度算出手段の前記出現確率と、前記第２の重要度算出手段の前記重要度を用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項５】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記キーワード辞書を参照して前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
前記キーワード候補が検索エンジンに投入された回数を取得し、検索クエリ投入回数を用いてキーワード固有重要度を算出する第２の重要度算出手段と、
前記第１の重要度算出手段の前記出現確率と、前記第２の重要度算出手段の前記キーワード固有重要度を用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項６】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記キーワード辞書を参照して前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
前記キーワード候補の前記Ｗｅｂ文書の文における出現位置を参照し、キーワードが文の先頭にあるほど値が大きくなる重要度を求める第２の重要度算出手段と、
前記第１の重要度算出手段の前記出現確率と、前記第２の重要度算出手段の前記重要度を用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項７】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記キーワード辞書を参照して前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出する第１の重要度算出手段と、
前記Ｗｅｂ文書から固有表現を有する固有表現キーワードを抽出し、前記重要キーワード候補と一致した場合に、重みを付与したスコアを求める第２の重要度算出手段と、
前記第１の重要度算出手段の前記出現確率と、前記第２の重要度算出手段の前記スコアを用いて算出された値に基づいて抽出された上位Ｎ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項８】
Ｗｅｂ文書中に含まれるテキストからその内容に関連するＷｅｂコンテンツを提示するための関連コンテンツ提示装置であって、
オンライン百科辞典に代表される文書集合内において一意の見出し語を持つ文書集合内において引用関係もしくは参照関係のリンク構造を持つ文書集合の見出し語が形態素解析用の辞書として格納されているキーワード辞書と、
前記キーワード辞書を参照した閲覧ログを格納した閲覧ログ記憶手段と
前記Ｗｅｂ文書を取得して該Ｗｅｂ文書の特徴量を抽出し、主要コンテンツを抽出する主要コンテンツ抽出手段と、
前記キーワード辞書を参照して、前記主要コンテンツから重要キーワード候補を抽出する重要キーワード候補抽出手段と、
前記重要キーワード候補のうち、WebIDFアルゴリズム及び、BM25アルゴリズムを用いてＷｅｂ文書集合における出現確率を算出し、各キーワードの形態素の固有名詞の出現頻度を算出し、該出現確率と該キーワードの固有名詞の出現頻度を用いて第１の重要度を算出する第１の重要度算出手段と、
前記キーワード候補のキーワードに基づいて前記キーワード辞書を参照し、前記リンク構造に基づいて得られた文書のランキングを該キーワードの第２の重要度とする第２の重要度算出手段と、
前記閲覧ログ記憶手段を参照して、閲覧された回数が多いキーワードほど度合いが大きくなる第３の重要度を求める第３の重要度算出手段と、
前記キーワード候補が検索エンジンに投入された回数を取得し、検索クエリ投入回数を用いて第４の重要度を算出する第４の重要度算出手段と、
前記キーワード候補の前記Ｗｅｂ文書の文における出現位置を参照し、キーワードが文の先頭にあるほど値が大きくなる第５の重要度を求める第５の重要度算出手段と、
前記第１の重要度算出手段の前記第１の重要度、前記第２の重要度算出手段の前記第２の重要度、前記第３の重要度算出手段の前記第３の重要度、前記第４の重要度算出手段の前記第４の重要度、前記第５の重要度算出手段の前記第５の重要度の少なくとも１いずれか１つの重要度に基づいて抽出されたＮ件のキーワード候補から検索クエリを生成し、該検索クエリに基づいて前記検索エンジンを検索して関連コンテンツを取得する関連コンテンツ取得手段と、
を有することを特徴とする関連コンテンツ提示装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の関連コンテンツ提示装置を構成する各手段としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−２５３２５６（Ｐ２０１１−２５３２５６Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２５２７０（Ｐ２０１０−１２５２７０）
【出願日】平成２２年５月３１日（２０１０．５．３１）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年２月２５日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報 Ｖｏｌ．１０９ Ｎｏ．４５０」に発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年５月３１日（２０１０．５．３１）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年２月２５日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報 Ｖｏｌ．１０９ Ｎｏ．４５０」に発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]