文書インデックス作成装置
【課題】文書ファイルの記述内容に可及的に即した文書インデックスを作成する。
【解決手段】ネットワークシステムＳは、文書データベース１０と、この文書データベース１０に対して所定の検索アルゴリズムを用いて検索処理を行う検索エンジン２０と、ユーザが利用する端末装置３０と、文書検索用の文書インデックスの作成処理を行うデータ処理装置４０とを含む。データ処理装置４０は、一の文書ファイルの文書データを複数の段落に区分すると共に、注目単語Ａを含む第１単位文章（段落）と、注目単語Ａを含まない第２単位文章（段落）とに区別する。そして、第１単位文章と第２単位文章との文章関連度を評価し、第２単位文章の段落重み値を求める。注目単語Ａの出現頻度に基づく基礎重み値に、前記段落重み値を加算することで、当該注目単語Ａの重み値を設定する。
【解決手段】ネットワークシステムＳは、文書データベース１０と、この文書データベース１０に対して所定の検索アルゴリズムを用いて検索処理を行う検索エンジン２０と、ユーザが利用する端末装置３０と、文書検索用の文書インデックスの作成処理を行うデータ処理装置４０とを含む。データ処理装置４０は、一の文書ファイルの文書データを複数の段落に区分すると共に、注目単語Ａを含む第１単位文章（段落）と、注目単語Ａを含まない第２単位文章（段落）とに区別する。そして、第１単位文章と第２単位文章との文章関連度を評価し、第２単位文章の段落重み値を求める。注目単語Ａの出現頻度に基づく基礎重み値に、前記段落重み値を加算することで、当該注目単語Ａの重み値を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の文書ファイルを蓄積する文書データベースに対して文書検索処理が行われる際に用いられる文書インデックスの作成装置に関する。
【背景技術】
【０００２】
例えばインターネットのようなワールドワイドな通信ネットワーク若しくは企業内の社内ネットワークのようなローカル通信ネットワーク上において、多数の文書ファイルを蓄積する文書データベースに対して端末機からクエリを入力して検索処理を実行させ、所望の文書ファイルを抽出する検索システムが汎用されている。このような検索システムにおいては、端末機から入力されたクエリを解析して作成される検索インデックスと、蓄積された文書ファイルの各々について予め作成された文書インデックスとを、所定の検索アルゴリズムを用いて照合させて、類似度の高い文書ファイルをヒット文書として抽出する手法が取られている。
【０００３】
上記文書インデックスは、通常は単語で構成される。そして、検索精度を上げるため、特定の単語について重み付けを高くし、そのような特定の単語を含む文書ファイルが検索において優先的に（ランキング上位として）抽出されるように工夫されている。この重み付け付与方法の一つとして、文書ファイル中において出現頻度が高い単語について、高い重み付けを付与するという手法がある。また、他の文書ファイルからリンク（ブックマーク）されている数が多いほど重要度が高い文書ファイルとみなし、そのような文書ファイルに含まれている単語の全てについて高い重み付けを付与するという、いわゆるページランク方式（特許文献１参照）も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】ＵＳＰ６，２８５，９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、単純に文書ファイル中において出現頻度が高い単語に対して高い重み値を与えるという方式では、その文書ファイルの本来的なコンテンツにマッチしない文書インデックスが作成されてしまう怖れがある。例えば、ある「単語Ａ」が文書ファイルＸ中の記述に１回だけ出現している場合、出現頻度という観点だけを考慮するならば、ただ１回だけの出現であるので「単語Ａ」には低い重み値が与えられることになる。しかし、文書ファイルＸの記述において、たまたま「単語Ａ」を繰り返して使用していないものの、「単語Ａ」に極めて関連深い内容を包含しているケースは多々ある。このような文書ファイルＸは、キーワードとして「単語Ａ」を設定したユーザにとって有用な文書ファイルである可能性が高いと言える。しかしながら、当該文書ファイルＸは、「単語Ａ」について低い重み値が与えられることから、検索結果のランキング上位には表れず、ユーザがこれを看過してしまうという問題があった。
【０００６】
本発明の目的は、文書ファイルの記述内容に可及的に即した文書インデックスを作成することができる文書インデックス作成装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の一の局面に係る文書インデックス作成装置は、複数の文書ファイルを蓄積する文書データベースと、前記文書データベースから文書インデックスの作成対象とする１の文書ファイルを抽出する抽出手段と、前記１の文書ファイルの文書データを、当該文書データに含まれる文章の区切りを示す識別子に基づいて複数の単位文章に区切る文章分離手段と、前記文書データに対して文書解析処理を行って単語群を抽出する文書解析手段と、前記単語群の中から１の注目単語を指定し、前記複数の単位文章を、前記注目単語が出現する第１単位文章と、前記注目単語が出現しない第２単位文章とに選別する選別手段と、前記第１単位文章と前記第２単位文章との文章関連度を評価する評価手段と、前記文書解析手段により抽出された単語群の各々に重み値を与えて文書インデックスを作成する作成手段と、を備え、前記作成手段は、前記注目単語の出現頻度と、前記文章関連度の評価値とを用いて前記注目単語に対する前記重み値を設定する装置である（請求項１）。
【０００８】
この構成によれば、単純に１の文書ファイル中における注目単語の出現頻度だけで単語重み値が設定されない。すなわち、注目単語を含む第１単位文章と、注目単語を含まない第２単位文章との文章関連度が評価され、その評価値を注目単語の出現頻度に加味して文書インデックスが作成される。文章関連度が高いということは、第２単位文章には直接的に注目単語が用いられていなくとも、当該第２単位文章には注目単語に関連する記述が含まれている可能性が高いと推定することができる。この場合、注目単語の出現頻度が低くとも、注目単語を含まない第２単位文章において関連記述が存在する可能性が高いことを根拠として、当該注目単語に比較的高い重み値を与えることで、１の文書ファイルについて実際の記述内容に即した文書インデックスを作成できるようになる。
【０００９】
上記構成において、前記評価手段は、前記第１単位文章に含まれる単語群の出現頻度と、前記第２単位文章に含まれる単語群の出現頻度との類似性に基づいて、前記文章関連度を評価することが望ましい（請求項２）。
【００１０】
この構成によれば、第１単位文章と第２単位文章との文章関連度を、簡易に判定することができる。
【００１１】
この場合、前記評価手段は、前記文章関連度の評価値として、さらに前記第１単位文章が含む全単語の出現頻度に対する前記注目単語の出現頻度の比に基づき当該注目単語の単語密度を求め、前記作成手段は、前記文章関連度に前記単語密度を乗じて、前記第２単位文章の重み値を求め、前記注目単語の出現頻度に基づく基礎重み値に、前記第２単位文章の重み値を加算して、前記注目単語に対する重み値を設定することが望ましい（請求項３）。
【００１２】
この構成によれば、第１単位文章において注目単語の単語密度が高い程、第２単位文章の重み値の重み値が高くなる。これは、第１単位文章において注目単語が頻出している程、第２単位文章において注目単語に関連する記述が為されている可能性が高いという推定に基づく。従って、一層、文書ファイルの記述内容に沿った文書インデックスを作成することができる。
【００１３】
上記構成において、文章分離手段は、改行を示す識別子、及び／又は空白行の存在を示す識別子に基づいて、前記文章を段落単位に区切ることが望ましい（請求項４）。
【００１４】
この構成によれば、文章の通常の区切りである段落単位で文章を区切ることができる。従って、単位文章同士の比較を、的確に行うことができる。
【００１５】
また、前記１の文書ファイルの文書データを構成する文字数に基づいて、前記注目単語に対する重み値を正規化する正規化手段をさらに備えることが望ましい（請求項５）。
【００１６】
この構成によれば、文書データの長短の影響を是正して、重み値を設定することができる。
【発明の効果】
【００１７】
本発明によれば、文書データベースに対する文書検索システムにおいて、文書ファイルの記述内容に即した文書インデックスを作成する文書インデックス作成装置を提供することができる。これにより、検索精度を向上させ、文書検索システムを用いた各種の処理業務の効率化を図ることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る文書インデックス作成装置が適用されるネットワークシステムのハードウェア構成を概略的に示す構成図である。
【図２】上記ネットワークシステムを用いた検索システムの概要を示す模式的フローチャートである。
【図３】文書検索の一般例を示す図である。
【図４】本発明の実施形態における単語重み付与の考え方を示す模式図である。
【図５】ネットワークシステムの機能構成を示す機能ブロック図である。
【図６】本発明の実施形態における単語重み付与の手法を示す図であって、（ａ）は文書ファイルの模式図、（ｂ）は段落重みの算出処理を説明するための表形式の図である。
【図７】文書インデックスの作成処理を示すフローチャートである。
【図８】文書インデックスの作成処理を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面に基づいて本発明の実施形態につき詳細に説明する。図１は、本発明に係る文書インデックス作成装置が適用されるネットワークシステムＳのハードウェア構成を概略的に示す構成図である。このネットワークシステムＳは、通信ネットワーク上において利用可能な文書データベース１０と、この文書データベース１０に対して所定の検索アルゴリズムを用いて検索処理を行う検索エンジン２０と、ユーザが利用する端末装置３０と、主に文書検索用の文書インデックスの作成処理を行うデータ処理装置４０とが、インターネットＩＮ又はローカルネットＬＮを介してデータ通信可能に接続されてなる。
【００２０】
文書データベース１０は、検索対象となる多数の文書ファイルが大量に記憶されているデータベースである。文書データベース１０がインターネットＩＮに接続されるものである場合、この文書データベース１０は各々ドメイン名を持つ多数のウエブサイトの集合となる。このような文書データベース１０としては、例えばＹａｈｏｏ（登録商標）やＧｏｏｇｌｅ（登録商標）などのポータルサイトを通してアクセス可能なデータベースを例示することができる。また、文書データベース１０が企業等の内部で構築されているローカルネットＬＮに接続されるものである場合、この文書データベース１０は当該企業内の共用文書ファイルを保管するデータベースとなる。
【００２１】
検索エンジン２０は、所定のパラメータを有する検索アルゴリズムが搭載され、文書データベース１０に対し、与えられたクエリに対応する文書ファイルの検索処理を行う。すなわち検索エンジン２０は、クエリを文書解析して検索インデックスを作成すると共に、文書データベース１０に記憶されている検索対象の文書ファイル毎にキーワードや属性（メタデータ）を抽出して作成された検索用の文書インデックスを読み出す。さらに検索エンジン２０は、前記検索アルゴリズムを用いて、前記文書インデックスと前記検索インデックスとの照合処理を行い、合致度合いの高い（クエリに適合する）文書ファイルを抽出する。
【００２２】
端末装置３０は、多数のユーザに各々保有されるパーソナルコンピュータや携帯電話機、携帯情報端末機等の通信端末機３１、３２、３３、３４・・・である。端末装置３０は、インターネットＩＮ又はローカルネットＬＮを介して検索エンジン２０及び文書データベース１０にアクセス可能とされている。例えば端末機３１は、検索処理条件となるキーワードや文章（クエリ）を入力するためのキーボード３１１と、検索画面、ヒット文書のリスト、文書のコンテンツ等を表示するディスプレイ３１２と、ディスプレイ３１２上の表示画面に対してコマンド（文書の選択指示や選択終了指示等）を入力するためのマウス３１３を備えている。
【００２３】
各ユーザは、各自の通信端末機３１、３２、３３、３４・・・のキーボード３１１を介して、検索エンジン２０にクエリを与え、そのクエリでの検索処理によりヒットした文書ファイルのリストを取得する。さらにユーザは、前記リストの中から希望する文書ファイルを選択し、その文書ファイルの内容を自身のディスプレイ３１２で表示させることができる。
【００２４】
データ処理装置４０は、文書データベース１０に記憶されている検索対象の文書ファイル毎に文書解析処理を行ってキーワードや属性を抽出し、検索用の文書インデックスを作成する。この文書インデックスは、各文書ファイルから抽出された単語等と、この単語の各々に付与される重み値とを含む。重み値は、各々の単語の各文書ファイル中における重要度を表すもので、その文書ファイルにおいて高い値が重み値として与えられている単語が検索クエリとなった場合、当該文書ファイルが検索ヒットランキングの上位にランクされることとなる。通常、重み値は単語の出現頻度をベースとして設定されるが、本実施形態では、検索クエリとされ得る単語（キーワード）を含む段落と、この単語を含まない段落との関連性を考慮して重み値を設定する点に特徴を有する。この点については、後記で詳述する。
【００２５】
図２は、ネットワークシステムＳにより実行される文書ファイル検索処理の概要を示す模式的なフローチャートである。検索エンジン２０は、検索元側の処理として、端末装置３０からクエリが与えられると、このクエリ文書に対して例えば形態素解析等を含む文書解析処理を行う（ステップＳ１）。次いで、上記の文書解析処理で得られた単語をベースにして検索インデックスが作成される（ステップＳ２）。この検索インデックスは、主に質問事象に関連深いキーワード群からなる。そして、当該検索インデックスを用いて、大量のデータを含む文書データベース１０に対して文書の検索処理を行う（ステップＳ３）。
【００２６】
また、検索先側の処理として、データ処理装置４０は、メタデータの抽出のための文書解析（ステップＳ０１）、及び文書インデックスの作成（ステップＳ０２）を定期的に行う。本実施形態は、この文書インデックス作成のステップに特徴を有する。ステップＳ３の検索処理で得られた結果は、前記クエリを入力したユーザの端末装置３０に、検索アルゴリズムでの合致度合いに応じた順位付けをしてリスト出力（ランキング表示）される（ステップＳ４）。
【００２７】
図３は、従来の一般的な文書検索例を示す模式図である。端末装置３０から、検索クエリとしてキーワード「Ａ」が与えられた場合、検索エンジンにより文書データベース１０に対して検索処理が行われる。すると、単語Ａを含む文書ファイルがヒット文書として抽出され、とりわけ単語Ａの出現頻度が高い文書ファイルが、端末装置３０においてランキング上位に表示されることになる。ここでは、単語Ａが５回出現している文書ファイルＸを示している。
【００２８】
しかしながら、文書ファイルの本来的なコンテンツは、単語の出現頻度だけでは計れない場合が多々ある。例えば、「単語Ａ」が文書ファイルＸ中の記述に５回も出現しているが、実は「単語Ａ」に関連した記述が文書全体としては浅い場合や、逆に、「単語Ａ」が１回しか出現しない文書ファイルであっても、文書全体としてみれば「単語Ａ」に極めて関連深い内容を包含している場合がある。このような場合、ユーザにとって有用な文書ファイルは明らかに後者であるが、「単語Ａ」の出現頻度が低いことから後者の文書ファイルは上位にランキングされず、結果的にユーザが看過してしまうことが生じ得る。従って、単純に文書ファイル中において出現頻度が高い単語に対して高い重み値を与えるという方式では、その文書ファイルの本来的なコンテンツにマッチしない文書インデックスが作成されてしまう怖れがあると言うことができる。
【００２９】
図４は、本実施形態における単語への重み付与の考え方を示す模式図である。本実施形態では、単純に単語Ａ（注目単語）の出現頻度に依拠するのではなく、単語Ａを含む段落（第１単位文章）と、当該段落に近接し単語Ａが出現しない段落（第２単位文章）との文章関連性を評価する。そして、その文章関連度に応じた段落重み値を、単語Ａの本来の重み値（単語出現頻度に依拠）に対して付加する。
【００３０】
ユーザが端末装置３０から与えたキーワード（例えば単語Ａ）を含む段落は、当然、ユーザが希望する記述を含む段落であると言うことができる。その一方で、単語Ａを含まない段落の記述が、ユーザが期待する話題と全く無関係であると言うことはできない。むしろ、単語Ａを含む段落に近接する段落では、たとえ単語Ａが用いられていなくとも、単語Ａに関連した話題に関する記述が存在している可能性が高いと言える。この場合、ユーザにとって、当該文書ファイルの情報価値は高いものとなる。そこで、単語Ａを含んでいないが文章関連度の高い段落が、単語Ａを含む先行段落に近接して存在している場合には、それ相応の重み値を単語Ａに追加して、文書インデックスを作成することとする。これにより、単語Ａが検索クエリとして与えられた場合に、当該文書ファイルが上位にランキングされるようになり、ユーザが当該文書ファイルを看過してしまう確率を抑制することができる。
【００３１】
図５は、ネットワークシステムＳの機能構成を示す機能ブロック図である。文書データベース１０は、各種の文書ファイルが記憶された複数の文書サーバ１１、１２、１３・・・（Ｗｅｂサーバ又は社内ローカルサーバ）を含む。検索エンジン２０は、文書インデックス記憶部２１、検索インデックス作成部２２、検索処理部２３及びランキング表示処理部２４を機能的に備えている。端末装置３０は、既述の通り、クエリ入力部３０１、表示部３０２及び操作部３０３を備えている。データ処理装置４０（文書インデックス作成装置）は、文書抽出部４１、文書解析部４２（文書解析手段）、文書インデックス作成部４３（作成手段）及び記憶部４０Ｍを備えている。
【００３２】
文書インデックス記憶部２１は、文書データベース１０に含まれる文書ファイルを検索させるための文書インデックスを記憶する。文書インデックスは、所定の作成タイミング（例えば１日１回）にデータ処理装置４０により作成され、記憶内容が更新される。
【００３３】
検索インデックス作成部２２は、端末装置３０から与えられたクエリ（キーワードや質問文書）を文書解析し、検索インデックスを作成する処理を行う。例えば、クエリが質問文書である場合は、その文書内において自立する単語として抽出すると共に、これら単語の出現頻度等を参照して重み付けする等して、検索インデックスを作成する。
【００３４】
検索処理部２３は、検索アルゴリズムを用いて、文書データベース１０に対して文書ファイルの検索処理を行う。具体的には、前記検索インデックスと前記文書インデックスとを照合し、検索インデックス（クエリ）に対する類似度が高い文書ファイルを抽出する。ここで、この検索処理には、予め設定された検索アルゴリズムが用いられる。この検索アルゴリズムとしては、コサイン尺度、Ｄｉｃｅ係数、Ｊａｃｃａｒｄ係数、Ｔスコア、相互情報量、Ｓｉｍｐｓｏｎ係数などを例示することができる。
【００３５】
ランキング表示処理部２４は、検索処理部２３による検索処理でヒットした複数の文書ファイルに、クエリに対する類似度（合致度合い）が高い順に順位付けしたリストを作成する。このリストは、端末装置３０によりブラウジングが可能であり、実際は検索処理の完了後に表示部３０２で表示される。
【００３６】
端末装置３０のクエリ入力部３０１は、ユーザから検索処理のためのキーワード等のクエリの入力を受け付ける部位であって、例えば図１に示すキーボード３１１である。
【００３７】
表示部３０２は、例えば図１に示すディスプレイ３１２であって、検索エンジン２０のブラウジング画面（クエリ入力画面）、ヒット文書ファイルのリスト並びにその抜粋文、及び前記リストからユーザによって選択された文書ファイルの内容等を表示する。
【００３８】
操作部３０３は、例えば図１に示すマウス３１３であって、表示部３０２に表示された画像上の選択部、リンク部、タスクバー等に対して操作指示を与える。ユーザは、表示部３０２に表示されたヒット文書ファイルのリストのいずれかを選択しその内容を表示させる選択指示、及び、その表示を停止させる選択終了指示を、この操作部３０３を介して与える。
【００３９】
データ処理装置４０は、文書データベース１０に含まれる文書ファイルを検索させる文書インデックスを作成するために、文書ファイルを文書データベース１０から抽出し、当該文書ファイルに記述されている文章を文書解析して単語を抽出し、各単語に重み値を設定する。
【００４０】
文書抽出部４１は、文書インデックスの作成処理のトリガとして、所定の周期毎に、文書データベース１０から複数の文書ファイルを抽出する処理を行う。
【００４１】
文書解析部４２は、文書抽出部４１により抽出された各文書ファイルが含む文書データに対して、正規化処理、文書構造解析処理、同義語処理などの文書解析処理を行い、文書データを単語単位に分割する。正規化処理は、文書構造解析を正常に行い得るようにするために、解析対象文書から解析に不要な文字、記号等を削除すると共に、全角・半角文字の統一等を行う処理である。文書構造解析処理は、正規化処理後の分類対象文書に対しそれぞれ、形態素解析を実施して文書を単語単位に分割する処理、構文解析処理を実施して単語間の係り受け（名詞と動詞との関係付け等）を特定する処理などである。同義語処理は、同義語及び表記の揺れを吸収するシソーラス（同義語辞書）を活用して、表現が異なる用語を単一の単語と扱うようにする処理である。かかる文書解析処理により、自立する単語が導出される。
【００４２】
文書インデックス作成部４３は、文書解析部４２にて抽出された単語をベースとして、文書ファイル毎に、文書インデックスの素地となる基礎インデックス（重みが未だ与えられていないインデックス）を作成する。そして、前記基礎インデックスに列記された単語について、単語の出現頻度と図４に基づき説明した段落重み値とを用いて各単語に重み付けをして、文書インデックスを完成させる。
【００４３】
記憶部４０Ｍは、データ処理装置４０における各種の作業データ等を一次的に記憶する作業領域として用いられるメモリである。記憶部４０Ｍは、例えば文書解析部４２により抽出された文書ファイル毎の単語リストや、文書インデックス作成部４３が算出する文章関連度データ、単語密度データ、段落重みデータ、単語頻度データ等を一時的に記憶する。また、各種の設定値や演算式等も、この記憶部４０Ｍに格納される。
【００４４】
文書インデックス作成部４３は、上記の処理を実行させるため機能的に、文章分離部４４（文章分離手段）、選別部４５（選別手段）、関連度算出部４６（評価手段）、単語密度算出部４７、段落重み算出部４８及び重み設定部４９を備えている。
【００４５】
文章分離部４４は、１の文書ファイルの文書データを、当該文書データに含まれる文章の区切りを示す識別子に基づいて複数の単位文章に区切る処理を行う。本実施形態では、単位文章は、空白行で区切られた一つの段落と定義している。このため文章分離部４４は、文書データに含まれる改行を示す識別子、及びこれに続く空白行の存在を示す識別子に基づいて、文書データを段落単位の文章に区切る処理を行う。もちろん、空白行が存在を要求せず、改行を示す識別子の存在をベースに文章を分離させても良い。あるいは、改行を示す識別子を検出せず、空白行を示すタグ等だけに依拠して、文章を分離させるようにしても良い。
【００４６】
選別部４５は、上記文書解析部４２により抽出され記憶部４０Ｍに格納されている単語群の中から１の注目単語を指定し、文章分離部４４により区分された段落単位の文章（単位文章）を、前記注目単語が出現する第１単位文章と、前記注目単語が出現しない第２単位文章とに選別する処理を行う。
【００４７】
図６（ａ）は、文章分離部４４及び選別部４５による処理を説明するための模式図である。ここでは、文書ファイルＸ中に記述されている文章が、文章分離部４４によって、段落１〜段落７の７個の段落に区分されている例を示している。そして、選別部４５が、「単語Ａ」を注目単語に設定し、この「単語Ａ」が含まれる段落１及び段落５を第１単位文章とし、「単語Ａ」が含まれていない段落２、段落３、段落４、段落６及び段落７を第２単位文章として区分した事例を示している。
【００４８】
関連度算出部４６は、前記第１単位文章と前記第２単位文章との文章関連度を評価する。具体的には、文書データの記述順でみて、最初に登場する１の第１単位文章を基準として、これに続いて登場する１又は複数の第２単位文章との文章関連度を評価する。新たな第１単位文章が登場すると、この第１単位文章を基準として、これに続いて登場する１又は複数の第２単位文章との文章関連度を評価する。文章関連度の評価は、第１単位文章となる段落に含まれる単語群の出現頻度（例えば単語Ａ＝３回、単語Ｂ＝１回、単語Ｃ＝５回・・・のような、当該段落から抽出される単語とその出現回数とのテーブル）と、第２単位文章となる段落に含まれる単語群の出現頻度とを用い、コサイン尺度のようなベクトル計算手法を利用して両者の類似度（文章関連度）を数値で評価する方法を採ることができる。
【００４９】
図６（ａ）の例ならば、関連度算出部４６は、段落１（第１単位文章）と、これに続く段落２、段落３及び段落４（第２単位文章）との文章関連度を、上述のベクトル計算手法等を用いてそれぞれ算出する。一方、続く段落５は「単語Ａ」を含む第１単位文章となる段落であるので、関連度算出部４６は、以降は段落５（第１単位文章）と、これに続く段落６及び段落７（第２単位文章）との文章類似度を算出する。図６（ｂ）の「関連度」の欄には、関連度算出部４６により求められた関連度の数値が表示されている。
【００５０】
単語密度算出部４７は、第１単位文章が含む全単語の出現頻度に対する注目単語（例えば単語Ａ）の出現頻度の比に基づき、当該注目単語の第１単位文章中における単語密度を求める。例えば、段落１において、「単語Ａ＝３回、単語Ｂ＝１回、単語Ｃ＝５回・・・」というようなテーブルが求められているとして、次式
単語Ａの単語密度＝単語Ａの出現頻度（３回）／単語Ａ、Ｂ、Ｃ・・・の出現頻度の合計（３回＋１回＋５回＋・・・）
にて単語密度を求める。
【００５１】
この単語密度は、注目単語の出現頻度が高い段落（第１単位文章）の後には、注目単語の影響を受ける記述が続く可能性が高いという推定に基づき、１の第１単位文章と、これに続く１又は複数の第２単位文章との文章セットの評価のための係数として用いられる。図６（ｂ）の例では、段落１における単語Ａの単語密度が０．０５、段落５における単語Ａの単語密度が０．０３である例を示している。
【００５２】
段落重み算出部４８は、関連度算出部４６が算出した第２単位文章毎の文章関連度に、単語密度算出部４７が求めた単語密度を乗じて、第２単位文章毎の段落重み値を算出する。図６（ｂ）に示す通り、段落１における単語Ａの単語密度＝０．０５を、これに続く段落２、段落３及び段落４の文章関連度＝０．８２、０．６２及び０．４１にそれぞれ乗じることで、各段落の段落重み値が導出される。段落５以降については、段落５における単語Ａの単語密度＝０．０３を、これに続く段落６及び段落７の文章関連度＝０．６６及び０．３３にそれぞれ乗じることで、各段落の段落重み値が導出される。
【００５３】
重み設定部４９は、注目単語の通常の重み値（基礎重み値；例えばその注目単語の出現頻度、或いは該出現頻度に文書頻度の逆数を乗じた値）に、段落重み算出部４８により求められた第２単位文章毎の段落重み値の合計を加算して、注目単語についての重み値を設定する。図６（ｂ）の例では、重み設定部４９は、単語Ａの出現頻度に基づく基礎重み値に、段落２、段落３、段落４、段落６及び段落７の段落重みの合計値＝０．１３を加算して、単語Ａについての重み値を設定する。これにより、文書ファイルＸにおける単語Ａの文書インデックスの作成が完了することになる。
【００５４】
続いて、本実施形態のデータ処理装置４０による文書インデックス作成処理動作を、図７及び図８に示すフローチャートに基づいて説明する。データ処理装置４０は、処理対象とする文書データベース１０中の文書ファイル群の各々に付与されているナンバリングに対応するカウンタｐを“０”に設定した上で（ステップＳ１１）、ｐ＝ｐ＋１にカウンタを進める（ステップＳ１２）。そして、ｐ番目の文書ファイル（初回は、１番のナンバーが付与されている文書ファイル）が、文書抽出部４１により抽出される（ステップＳ１３）。
【００５５】
次に、文書解析部４２は、ｐ番目の文書ファイルに対して文書解析処理を施し、その文書データから単語群を抽出する（ステップＳ１４）。そして、文書解析部４２は、抽出した単語について重複出現数を求め、各々の単語の単語頻度を求める（ステップＳ１５）。この単語群及びその出現頻度のデータは、記憶部４０Ｍに格納される。
【００５６】
続いて、文章分離部４４により、ｐ番目の文書ファイルの文書データが段落単位に分割される（ステップＳ１６）。そして、ｐ番目の文書ファイルに対して抽出されている文書インデックス用の単語群の各々に付与されているナンバリングに対応するカウンタｑを“０”に設定した上で（ステップＳ１７）、ｑ＝ｑ＋１にカウンタを進める（ステップＳ１８）。これにより、ｑ番目の単語が注目単語として設定される。
【００５７】
次に、選別部４５が、上記分割された段落について、ｑ番目の単語が出現する第１単位文章（段落）と、ｑ番目の単語が出現しない第２単位文章（段落）とに選別する（ステップＳ１９）。そして、関連度算出部４６が、ベクトル計算手法等を用いて、前記第１単位文章と前記第２単位文章の各々との文章関連度を評価する（ステップＳ２０）。
【００５８】
その後、単語密度算出部４７が、ｑ番目の単語の第１単位文章中における単語密度を求める（ステップＳ２１）。続いて、段落重み算出部４８が、ステップＳ２１で得られた単語密度と、ステップＳ２０で得られた各第２単位文章の文章関連度とを乗じることで、各第２単位文章の段落重みを算出する（ステップＳ２２）。最後に、重み設定部４９が、ｑ番目の単語の出現頻度の基づく基礎重み値に、前記段落重み値を加算し（ステップＳ２３）、ｑ番目の単語の重み値を決定する（ステップＳ２４）。求められた重み値は、記憶部４０Ｍに格納される。
【００５９】
なお、ステップＳ２４において、重み設定部４９が、ｐ番目の文書ファイルの文書データを構成する文字数に基づいて、ｑ番目の単語の重み値を正規化する処理を加えることが望ましい。これは、文書データが長い程、段落数が多くなり、その分だけ段落重み値の加算値も大きくなってしまう不具合を抑制するためである。例えば、求められた重み値を文字数で除算する方法が、前記正規化処理の簡易例として挙げることができる。
【００６０】
続いて、単語群のカウンタｑが最終であるか否かが確認され（ステップＳ２５）、最終でない場合は（ステップＳ２５でＮＯ）、ステップＳ１８に戻って次の注目単語について同様な重み値算出処理が繰り返される。一方、カウンタｑが最終である場合（ステップＳ２５でＹＥＳ）、文書ファイルのカウンタｐが最終であるか否かが確認される（ステップＳ２６）。カウンタｐが最終でない場合は（ステップＳ２６でＮＯ）、ステップＳ１２に戻って次の文書ファイルについて同じ処理が繰り返される。一方、カウンタｐが最終である場合（ステップＳ２６でＹＥＳ）、処理を終える。
【００６１】
以上説明した本実施形態に係るネットワークシステムＳによれば、文書データベース１０に対する文書検索システムにおいて、文書ファイルの記述内容に即した文書インデックスを作成することができる。これにより、検索精度を向上させ、ユーザが必要とする文書ファイルを検索ランキング上位で提供できる確率を高めることができ、ひいては文書検索システムを用いた各種の処理業務の効率化を図ることが可能となる。
【符号の説明】
【００６２】
Ｓ ネットワークシステム
１０ データベース
２０ 検索エンジン
２１ 文書インデックス記憶部
２２ 検索インデックス作成部
２３ 検索処理部
２４ ランキング表示処理部
３０ 端末装置
４０ データ処理装置
４１ 文書抽出部
４２ 文書解析部（文書解析手段）
４３ 文書インデックス作成部（作成手段）
４４ 文章分離部（文章分離手段）
４５ 選別部（選別手段）
４６ 関連度算出部（評価手段）
４７ 単語密度算出部
４８ 段落重み算出部
４９ 重み設定部
【技術分野】
【０００１】
本発明は、複数の文書ファイルを蓄積する文書データベースに対して文書検索処理が行われる際に用いられる文書インデックスの作成装置に関する。
【背景技術】
【０００２】
例えばインターネットのようなワールドワイドな通信ネットワーク若しくは企業内の社内ネットワークのようなローカル通信ネットワーク上において、多数の文書ファイルを蓄積する文書データベースに対して端末機からクエリを入力して検索処理を実行させ、所望の文書ファイルを抽出する検索システムが汎用されている。このような検索システムにおいては、端末機から入力されたクエリを解析して作成される検索インデックスと、蓄積された文書ファイルの各々について予め作成された文書インデックスとを、所定の検索アルゴリズムを用いて照合させて、類似度の高い文書ファイルをヒット文書として抽出する手法が取られている。
【０００３】
上記文書インデックスは、通常は単語で構成される。そして、検索精度を上げるため、特定の単語について重み付けを高くし、そのような特定の単語を含む文書ファイルが検索において優先的に（ランキング上位として）抽出されるように工夫されている。この重み付け付与方法の一つとして、文書ファイル中において出現頻度が高い単語について、高い重み付けを付与するという手法がある。また、他の文書ファイルからリンク（ブックマーク）されている数が多いほど重要度が高い文書ファイルとみなし、そのような文書ファイルに含まれている単語の全てについて高い重み付けを付与するという、いわゆるページランク方式（特許文献１参照）も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】ＵＳＰ６，２８５，９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、単純に文書ファイル中において出現頻度が高い単語に対して高い重み値を与えるという方式では、その文書ファイルの本来的なコンテンツにマッチしない文書インデックスが作成されてしまう怖れがある。例えば、ある「単語Ａ」が文書ファイルＸ中の記述に１回だけ出現している場合、出現頻度という観点だけを考慮するならば、ただ１回だけの出現であるので「単語Ａ」には低い重み値が与えられることになる。しかし、文書ファイルＸの記述において、たまたま「単語Ａ」を繰り返して使用していないものの、「単語Ａ」に極めて関連深い内容を包含しているケースは多々ある。このような文書ファイルＸは、キーワードとして「単語Ａ」を設定したユーザにとって有用な文書ファイルである可能性が高いと言える。しかしながら、当該文書ファイルＸは、「単語Ａ」について低い重み値が与えられることから、検索結果のランキング上位には表れず、ユーザがこれを看過してしまうという問題があった。
【０００６】
本発明の目的は、文書ファイルの記述内容に可及的に即した文書インデックスを作成することができる文書インデックス作成装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の一の局面に係る文書インデックス作成装置は、複数の文書ファイルを蓄積する文書データベースと、前記文書データベースから文書インデックスの作成対象とする１の文書ファイルを抽出する抽出手段と、前記１の文書ファイルの文書データを、当該文書データに含まれる文章の区切りを示す識別子に基づいて複数の単位文章に区切る文章分離手段と、前記文書データに対して文書解析処理を行って単語群を抽出する文書解析手段と、前記単語群の中から１の注目単語を指定し、前記複数の単位文章を、前記注目単語が出現する第１単位文章と、前記注目単語が出現しない第２単位文章とに選別する選別手段と、前記第１単位文章と前記第２単位文章との文章関連度を評価する評価手段と、前記文書解析手段により抽出された単語群の各々に重み値を与えて文書インデックスを作成する作成手段と、を備え、前記作成手段は、前記注目単語の出現頻度と、前記文章関連度の評価値とを用いて前記注目単語に対する前記重み値を設定する装置である（請求項１）。
【０００８】
この構成によれば、単純に１の文書ファイル中における注目単語の出現頻度だけで単語重み値が設定されない。すなわち、注目単語を含む第１単位文章と、注目単語を含まない第２単位文章との文章関連度が評価され、その評価値を注目単語の出現頻度に加味して文書インデックスが作成される。文章関連度が高いということは、第２単位文章には直接的に注目単語が用いられていなくとも、当該第２単位文章には注目単語に関連する記述が含まれている可能性が高いと推定することができる。この場合、注目単語の出現頻度が低くとも、注目単語を含まない第２単位文章において関連記述が存在する可能性が高いことを根拠として、当該注目単語に比較的高い重み値を与えることで、１の文書ファイルについて実際の記述内容に即した文書インデックスを作成できるようになる。
【０００９】
上記構成において、前記評価手段は、前記第１単位文章に含まれる単語群の出現頻度と、前記第２単位文章に含まれる単語群の出現頻度との類似性に基づいて、前記文章関連度を評価することが望ましい（請求項２）。
【００１０】
この構成によれば、第１単位文章と第２単位文章との文章関連度を、簡易に判定することができる。
【００１１】
この場合、前記評価手段は、前記文章関連度の評価値として、さらに前記第１単位文章が含む全単語の出現頻度に対する前記注目単語の出現頻度の比に基づき当該注目単語の単語密度を求め、前記作成手段は、前記文章関連度に前記単語密度を乗じて、前記第２単位文章の重み値を求め、前記注目単語の出現頻度に基づく基礎重み値に、前記第２単位文章の重み値を加算して、前記注目単語に対する重み値を設定することが望ましい（請求項３）。
【００１２】
この構成によれば、第１単位文章において注目単語の単語密度が高い程、第２単位文章の重み値の重み値が高くなる。これは、第１単位文章において注目単語が頻出している程、第２単位文章において注目単語に関連する記述が為されている可能性が高いという推定に基づく。従って、一層、文書ファイルの記述内容に沿った文書インデックスを作成することができる。
【００１３】
上記構成において、文章分離手段は、改行を示す識別子、及び／又は空白行の存在を示す識別子に基づいて、前記文章を段落単位に区切ることが望ましい（請求項４）。
【００１４】
この構成によれば、文章の通常の区切りである段落単位で文章を区切ることができる。従って、単位文章同士の比較を、的確に行うことができる。
【００１５】
また、前記１の文書ファイルの文書データを構成する文字数に基づいて、前記注目単語に対する重み値を正規化する正規化手段をさらに備えることが望ましい（請求項５）。
【００１６】
この構成によれば、文書データの長短の影響を是正して、重み値を設定することができる。
【発明の効果】
【００１７】
本発明によれば、文書データベースに対する文書検索システムにおいて、文書ファイルの記述内容に即した文書インデックスを作成する文書インデックス作成装置を提供することができる。これにより、検索精度を向上させ、文書検索システムを用いた各種の処理業務の効率化を図ることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る文書インデックス作成装置が適用されるネットワークシステムのハードウェア構成を概略的に示す構成図である。
【図２】上記ネットワークシステムを用いた検索システムの概要を示す模式的フローチャートである。
【図３】文書検索の一般例を示す図である。
【図４】本発明の実施形態における単語重み付与の考え方を示す模式図である。
【図５】ネットワークシステムの機能構成を示す機能ブロック図である。
【図６】本発明の実施形態における単語重み付与の手法を示す図であって、（ａ）は文書ファイルの模式図、（ｂ）は段落重みの算出処理を説明するための表形式の図である。
【図７】文書インデックスの作成処理を示すフローチャートである。
【図８】文書インデックスの作成処理を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面に基づいて本発明の実施形態につき詳細に説明する。図１は、本発明に係る文書インデックス作成装置が適用されるネットワークシステムＳのハードウェア構成を概略的に示す構成図である。このネットワークシステムＳは、通信ネットワーク上において利用可能な文書データベース１０と、この文書データベース１０に対して所定の検索アルゴリズムを用いて検索処理を行う検索エンジン２０と、ユーザが利用する端末装置３０と、主に文書検索用の文書インデックスの作成処理を行うデータ処理装置４０とが、インターネットＩＮ又はローカルネットＬＮを介してデータ通信可能に接続されてなる。
【００２０】
文書データベース１０は、検索対象となる多数の文書ファイルが大量に記憶されているデータベースである。文書データベース１０がインターネットＩＮに接続されるものである場合、この文書データベース１０は各々ドメイン名を持つ多数のウエブサイトの集合となる。このような文書データベース１０としては、例えばＹａｈｏｏ（登録商標）やＧｏｏｇｌｅ（登録商標）などのポータルサイトを通してアクセス可能なデータベースを例示することができる。また、文書データベース１０が企業等の内部で構築されているローカルネットＬＮに接続されるものである場合、この文書データベース１０は当該企業内の共用文書ファイルを保管するデータベースとなる。
【００２１】
検索エンジン２０は、所定のパラメータを有する検索アルゴリズムが搭載され、文書データベース１０に対し、与えられたクエリに対応する文書ファイルの検索処理を行う。すなわち検索エンジン２０は、クエリを文書解析して検索インデックスを作成すると共に、文書データベース１０に記憶されている検索対象の文書ファイル毎にキーワードや属性（メタデータ）を抽出して作成された検索用の文書インデックスを読み出す。さらに検索エンジン２０は、前記検索アルゴリズムを用いて、前記文書インデックスと前記検索インデックスとの照合処理を行い、合致度合いの高い（クエリに適合する）文書ファイルを抽出する。
【００２２】
端末装置３０は、多数のユーザに各々保有されるパーソナルコンピュータや携帯電話機、携帯情報端末機等の通信端末機３１、３２、３３、３４・・・である。端末装置３０は、インターネットＩＮ又はローカルネットＬＮを介して検索エンジン２０及び文書データベース１０にアクセス可能とされている。例えば端末機３１は、検索処理条件となるキーワードや文章（クエリ）を入力するためのキーボード３１１と、検索画面、ヒット文書のリスト、文書のコンテンツ等を表示するディスプレイ３１２と、ディスプレイ３１２上の表示画面に対してコマンド（文書の選択指示や選択終了指示等）を入力するためのマウス３１３を備えている。
【００２３】
各ユーザは、各自の通信端末機３１、３２、３３、３４・・・のキーボード３１１を介して、検索エンジン２０にクエリを与え、そのクエリでの検索処理によりヒットした文書ファイルのリストを取得する。さらにユーザは、前記リストの中から希望する文書ファイルを選択し、その文書ファイルの内容を自身のディスプレイ３１２で表示させることができる。
【００２４】
データ処理装置４０は、文書データベース１０に記憶されている検索対象の文書ファイル毎に文書解析処理を行ってキーワードや属性を抽出し、検索用の文書インデックスを作成する。この文書インデックスは、各文書ファイルから抽出された単語等と、この単語の各々に付与される重み値とを含む。重み値は、各々の単語の各文書ファイル中における重要度を表すもので、その文書ファイルにおいて高い値が重み値として与えられている単語が検索クエリとなった場合、当該文書ファイルが検索ヒットランキングの上位にランクされることとなる。通常、重み値は単語の出現頻度をベースとして設定されるが、本実施形態では、検索クエリとされ得る単語（キーワード）を含む段落と、この単語を含まない段落との関連性を考慮して重み値を設定する点に特徴を有する。この点については、後記で詳述する。
【００２５】
図２は、ネットワークシステムＳにより実行される文書ファイル検索処理の概要を示す模式的なフローチャートである。検索エンジン２０は、検索元側の処理として、端末装置３０からクエリが与えられると、このクエリ文書に対して例えば形態素解析等を含む文書解析処理を行う（ステップＳ１）。次いで、上記の文書解析処理で得られた単語をベースにして検索インデックスが作成される（ステップＳ２）。この検索インデックスは、主に質問事象に関連深いキーワード群からなる。そして、当該検索インデックスを用いて、大量のデータを含む文書データベース１０に対して文書の検索処理を行う（ステップＳ３）。
【００２６】
また、検索先側の処理として、データ処理装置４０は、メタデータの抽出のための文書解析（ステップＳ０１）、及び文書インデックスの作成（ステップＳ０２）を定期的に行う。本実施形態は、この文書インデックス作成のステップに特徴を有する。ステップＳ３の検索処理で得られた結果は、前記クエリを入力したユーザの端末装置３０に、検索アルゴリズムでの合致度合いに応じた順位付けをしてリスト出力（ランキング表示）される（ステップＳ４）。
【００２７】
図３は、従来の一般的な文書検索例を示す模式図である。端末装置３０から、検索クエリとしてキーワード「Ａ」が与えられた場合、検索エンジンにより文書データベース１０に対して検索処理が行われる。すると、単語Ａを含む文書ファイルがヒット文書として抽出され、とりわけ単語Ａの出現頻度が高い文書ファイルが、端末装置３０においてランキング上位に表示されることになる。ここでは、単語Ａが５回出現している文書ファイルＸを示している。
【００２８】
しかしながら、文書ファイルの本来的なコンテンツは、単語の出現頻度だけでは計れない場合が多々ある。例えば、「単語Ａ」が文書ファイルＸ中の記述に５回も出現しているが、実は「単語Ａ」に関連した記述が文書全体としては浅い場合や、逆に、「単語Ａ」が１回しか出現しない文書ファイルであっても、文書全体としてみれば「単語Ａ」に極めて関連深い内容を包含している場合がある。このような場合、ユーザにとって有用な文書ファイルは明らかに後者であるが、「単語Ａ」の出現頻度が低いことから後者の文書ファイルは上位にランキングされず、結果的にユーザが看過してしまうことが生じ得る。従って、単純に文書ファイル中において出現頻度が高い単語に対して高い重み値を与えるという方式では、その文書ファイルの本来的なコンテンツにマッチしない文書インデックスが作成されてしまう怖れがあると言うことができる。
【００２９】
図４は、本実施形態における単語への重み付与の考え方を示す模式図である。本実施形態では、単純に単語Ａ（注目単語）の出現頻度に依拠するのではなく、単語Ａを含む段落（第１単位文章）と、当該段落に近接し単語Ａが出現しない段落（第２単位文章）との文章関連性を評価する。そして、その文章関連度に応じた段落重み値を、単語Ａの本来の重み値（単語出現頻度に依拠）に対して付加する。
【００３０】
ユーザが端末装置３０から与えたキーワード（例えば単語Ａ）を含む段落は、当然、ユーザが希望する記述を含む段落であると言うことができる。その一方で、単語Ａを含まない段落の記述が、ユーザが期待する話題と全く無関係であると言うことはできない。むしろ、単語Ａを含む段落に近接する段落では、たとえ単語Ａが用いられていなくとも、単語Ａに関連した話題に関する記述が存在している可能性が高いと言える。この場合、ユーザにとって、当該文書ファイルの情報価値は高いものとなる。そこで、単語Ａを含んでいないが文章関連度の高い段落が、単語Ａを含む先行段落に近接して存在している場合には、それ相応の重み値を単語Ａに追加して、文書インデックスを作成することとする。これにより、単語Ａが検索クエリとして与えられた場合に、当該文書ファイルが上位にランキングされるようになり、ユーザが当該文書ファイルを看過してしまう確率を抑制することができる。
【００３１】
図５は、ネットワークシステムＳの機能構成を示す機能ブロック図である。文書データベース１０は、各種の文書ファイルが記憶された複数の文書サーバ１１、１２、１３・・・（Ｗｅｂサーバ又は社内ローカルサーバ）を含む。検索エンジン２０は、文書インデックス記憶部２１、検索インデックス作成部２２、検索処理部２３及びランキング表示処理部２４を機能的に備えている。端末装置３０は、既述の通り、クエリ入力部３０１、表示部３０２及び操作部３０３を備えている。データ処理装置４０（文書インデックス作成装置）は、文書抽出部４１、文書解析部４２（文書解析手段）、文書インデックス作成部４３（作成手段）及び記憶部４０Ｍを備えている。
【００３２】
文書インデックス記憶部２１は、文書データベース１０に含まれる文書ファイルを検索させるための文書インデックスを記憶する。文書インデックスは、所定の作成タイミング（例えば１日１回）にデータ処理装置４０により作成され、記憶内容が更新される。
【００３３】
検索インデックス作成部２２は、端末装置３０から与えられたクエリ（キーワードや質問文書）を文書解析し、検索インデックスを作成する処理を行う。例えば、クエリが質問文書である場合は、その文書内において自立する単語として抽出すると共に、これら単語の出現頻度等を参照して重み付けする等して、検索インデックスを作成する。
【００３４】
検索処理部２３は、検索アルゴリズムを用いて、文書データベース１０に対して文書ファイルの検索処理を行う。具体的には、前記検索インデックスと前記文書インデックスとを照合し、検索インデックス（クエリ）に対する類似度が高い文書ファイルを抽出する。ここで、この検索処理には、予め設定された検索アルゴリズムが用いられる。この検索アルゴリズムとしては、コサイン尺度、Ｄｉｃｅ係数、Ｊａｃｃａｒｄ係数、Ｔスコア、相互情報量、Ｓｉｍｐｓｏｎ係数などを例示することができる。
【００３５】
ランキング表示処理部２４は、検索処理部２３による検索処理でヒットした複数の文書ファイルに、クエリに対する類似度（合致度合い）が高い順に順位付けしたリストを作成する。このリストは、端末装置３０によりブラウジングが可能であり、実際は検索処理の完了後に表示部３０２で表示される。
【００３６】
端末装置３０のクエリ入力部３０１は、ユーザから検索処理のためのキーワード等のクエリの入力を受け付ける部位であって、例えば図１に示すキーボード３１１である。
【００３７】
表示部３０２は、例えば図１に示すディスプレイ３１２であって、検索エンジン２０のブラウジング画面（クエリ入力画面）、ヒット文書ファイルのリスト並びにその抜粋文、及び前記リストからユーザによって選択された文書ファイルの内容等を表示する。
【００３８】
操作部３０３は、例えば図１に示すマウス３１３であって、表示部３０２に表示された画像上の選択部、リンク部、タスクバー等に対して操作指示を与える。ユーザは、表示部３０２に表示されたヒット文書ファイルのリストのいずれかを選択しその内容を表示させる選択指示、及び、その表示を停止させる選択終了指示を、この操作部３０３を介して与える。
【００３９】
データ処理装置４０は、文書データベース１０に含まれる文書ファイルを検索させる文書インデックスを作成するために、文書ファイルを文書データベース１０から抽出し、当該文書ファイルに記述されている文章を文書解析して単語を抽出し、各単語に重み値を設定する。
【００４０】
文書抽出部４１は、文書インデックスの作成処理のトリガとして、所定の周期毎に、文書データベース１０から複数の文書ファイルを抽出する処理を行う。
【００４１】
文書解析部４２は、文書抽出部４１により抽出された各文書ファイルが含む文書データに対して、正規化処理、文書構造解析処理、同義語処理などの文書解析処理を行い、文書データを単語単位に分割する。正規化処理は、文書構造解析を正常に行い得るようにするために、解析対象文書から解析に不要な文字、記号等を削除すると共に、全角・半角文字の統一等を行う処理である。文書構造解析処理は、正規化処理後の分類対象文書に対しそれぞれ、形態素解析を実施して文書を単語単位に分割する処理、構文解析処理を実施して単語間の係り受け（名詞と動詞との関係付け等）を特定する処理などである。同義語処理は、同義語及び表記の揺れを吸収するシソーラス（同義語辞書）を活用して、表現が異なる用語を単一の単語と扱うようにする処理である。かかる文書解析処理により、自立する単語が導出される。
【００４２】
文書インデックス作成部４３は、文書解析部４２にて抽出された単語をベースとして、文書ファイル毎に、文書インデックスの素地となる基礎インデックス（重みが未だ与えられていないインデックス）を作成する。そして、前記基礎インデックスに列記された単語について、単語の出現頻度と図４に基づき説明した段落重み値とを用いて各単語に重み付けをして、文書インデックスを完成させる。
【００４３】
記憶部４０Ｍは、データ処理装置４０における各種の作業データ等を一次的に記憶する作業領域として用いられるメモリである。記憶部４０Ｍは、例えば文書解析部４２により抽出された文書ファイル毎の単語リストや、文書インデックス作成部４３が算出する文章関連度データ、単語密度データ、段落重みデータ、単語頻度データ等を一時的に記憶する。また、各種の設定値や演算式等も、この記憶部４０Ｍに格納される。
【００４４】
文書インデックス作成部４３は、上記の処理を実行させるため機能的に、文章分離部４４（文章分離手段）、選別部４５（選別手段）、関連度算出部４６（評価手段）、単語密度算出部４７、段落重み算出部４８及び重み設定部４９を備えている。
【００４５】
文章分離部４４は、１の文書ファイルの文書データを、当該文書データに含まれる文章の区切りを示す識別子に基づいて複数の単位文章に区切る処理を行う。本実施形態では、単位文章は、空白行で区切られた一つの段落と定義している。このため文章分離部４４は、文書データに含まれる改行を示す識別子、及びこれに続く空白行の存在を示す識別子に基づいて、文書データを段落単位の文章に区切る処理を行う。もちろん、空白行が存在を要求せず、改行を示す識別子の存在をベースに文章を分離させても良い。あるいは、改行を示す識別子を検出せず、空白行を示すタグ等だけに依拠して、文章を分離させるようにしても良い。
【００４６】
選別部４５は、上記文書解析部４２により抽出され記憶部４０Ｍに格納されている単語群の中から１の注目単語を指定し、文章分離部４４により区分された段落単位の文章（単位文章）を、前記注目単語が出現する第１単位文章と、前記注目単語が出現しない第２単位文章とに選別する処理を行う。
【００４７】
図６（ａ）は、文章分離部４４及び選別部４５による処理を説明するための模式図である。ここでは、文書ファイルＸ中に記述されている文章が、文章分離部４４によって、段落１〜段落７の７個の段落に区分されている例を示している。そして、選別部４５が、「単語Ａ」を注目単語に設定し、この「単語Ａ」が含まれる段落１及び段落５を第１単位文章とし、「単語Ａ」が含まれていない段落２、段落３、段落４、段落６及び段落７を第２単位文章として区分した事例を示している。
【００４８】
関連度算出部４６は、前記第１単位文章と前記第２単位文章との文章関連度を評価する。具体的には、文書データの記述順でみて、最初に登場する１の第１単位文章を基準として、これに続いて登場する１又は複数の第２単位文章との文章関連度を評価する。新たな第１単位文章が登場すると、この第１単位文章を基準として、これに続いて登場する１又は複数の第２単位文章との文章関連度を評価する。文章関連度の評価は、第１単位文章となる段落に含まれる単語群の出現頻度（例えば単語Ａ＝３回、単語Ｂ＝１回、単語Ｃ＝５回・・・のような、当該段落から抽出される単語とその出現回数とのテーブル）と、第２単位文章となる段落に含まれる単語群の出現頻度とを用い、コサイン尺度のようなベクトル計算手法を利用して両者の類似度（文章関連度）を数値で評価する方法を採ることができる。
【００４９】
図６（ａ）の例ならば、関連度算出部４６は、段落１（第１単位文章）と、これに続く段落２、段落３及び段落４（第２単位文章）との文章関連度を、上述のベクトル計算手法等を用いてそれぞれ算出する。一方、続く段落５は「単語Ａ」を含む第１単位文章となる段落であるので、関連度算出部４６は、以降は段落５（第１単位文章）と、これに続く段落６及び段落７（第２単位文章）との文章類似度を算出する。図６（ｂ）の「関連度」の欄には、関連度算出部４６により求められた関連度の数値が表示されている。
【００５０】
単語密度算出部４７は、第１単位文章が含む全単語の出現頻度に対する注目単語（例えば単語Ａ）の出現頻度の比に基づき、当該注目単語の第１単位文章中における単語密度を求める。例えば、段落１において、「単語Ａ＝３回、単語Ｂ＝１回、単語Ｃ＝５回・・・」というようなテーブルが求められているとして、次式
単語Ａの単語密度＝単語Ａの出現頻度（３回）／単語Ａ、Ｂ、Ｃ・・・の出現頻度の合計（３回＋１回＋５回＋・・・）
にて単語密度を求める。
【００５１】
この単語密度は、注目単語の出現頻度が高い段落（第１単位文章）の後には、注目単語の影響を受ける記述が続く可能性が高いという推定に基づき、１の第１単位文章と、これに続く１又は複数の第２単位文章との文章セットの評価のための係数として用いられる。図６（ｂ）の例では、段落１における単語Ａの単語密度が０．０５、段落５における単語Ａの単語密度が０．０３である例を示している。
【００５２】
段落重み算出部４８は、関連度算出部４６が算出した第２単位文章毎の文章関連度に、単語密度算出部４７が求めた単語密度を乗じて、第２単位文章毎の段落重み値を算出する。図６（ｂ）に示す通り、段落１における単語Ａの単語密度＝０．０５を、これに続く段落２、段落３及び段落４の文章関連度＝０．８２、０．６２及び０．４１にそれぞれ乗じることで、各段落の段落重み値が導出される。段落５以降については、段落５における単語Ａの単語密度＝０．０３を、これに続く段落６及び段落７の文章関連度＝０．６６及び０．３３にそれぞれ乗じることで、各段落の段落重み値が導出される。
【００５３】
重み設定部４９は、注目単語の通常の重み値（基礎重み値；例えばその注目単語の出現頻度、或いは該出現頻度に文書頻度の逆数を乗じた値）に、段落重み算出部４８により求められた第２単位文章毎の段落重み値の合計を加算して、注目単語についての重み値を設定する。図６（ｂ）の例では、重み設定部４９は、単語Ａの出現頻度に基づく基礎重み値に、段落２、段落３、段落４、段落６及び段落７の段落重みの合計値＝０．１３を加算して、単語Ａについての重み値を設定する。これにより、文書ファイルＸにおける単語Ａの文書インデックスの作成が完了することになる。
【００５４】
続いて、本実施形態のデータ処理装置４０による文書インデックス作成処理動作を、図７及び図８に示すフローチャートに基づいて説明する。データ処理装置４０は、処理対象とする文書データベース１０中の文書ファイル群の各々に付与されているナンバリングに対応するカウンタｐを“０”に設定した上で（ステップＳ１１）、ｐ＝ｐ＋１にカウンタを進める（ステップＳ１２）。そして、ｐ番目の文書ファイル（初回は、１番のナンバーが付与されている文書ファイル）が、文書抽出部４１により抽出される（ステップＳ１３）。
【００５５】
次に、文書解析部４２は、ｐ番目の文書ファイルに対して文書解析処理を施し、その文書データから単語群を抽出する（ステップＳ１４）。そして、文書解析部４２は、抽出した単語について重複出現数を求め、各々の単語の単語頻度を求める（ステップＳ１５）。この単語群及びその出現頻度のデータは、記憶部４０Ｍに格納される。
【００５６】
続いて、文章分離部４４により、ｐ番目の文書ファイルの文書データが段落単位に分割される（ステップＳ１６）。そして、ｐ番目の文書ファイルに対して抽出されている文書インデックス用の単語群の各々に付与されているナンバリングに対応するカウンタｑを“０”に設定した上で（ステップＳ１７）、ｑ＝ｑ＋１にカウンタを進める（ステップＳ１８）。これにより、ｑ番目の単語が注目単語として設定される。
【００５７】
次に、選別部４５が、上記分割された段落について、ｑ番目の単語が出現する第１単位文章（段落）と、ｑ番目の単語が出現しない第２単位文章（段落）とに選別する（ステップＳ１９）。そして、関連度算出部４６が、ベクトル計算手法等を用いて、前記第１単位文章と前記第２単位文章の各々との文章関連度を評価する（ステップＳ２０）。
【００５８】
その後、単語密度算出部４７が、ｑ番目の単語の第１単位文章中における単語密度を求める（ステップＳ２１）。続いて、段落重み算出部４８が、ステップＳ２１で得られた単語密度と、ステップＳ２０で得られた各第２単位文章の文章関連度とを乗じることで、各第２単位文章の段落重みを算出する（ステップＳ２２）。最後に、重み設定部４９が、ｑ番目の単語の出現頻度の基づく基礎重み値に、前記段落重み値を加算し（ステップＳ２３）、ｑ番目の単語の重み値を決定する（ステップＳ２４）。求められた重み値は、記憶部４０Ｍに格納される。
【００５９】
なお、ステップＳ２４において、重み設定部４９が、ｐ番目の文書ファイルの文書データを構成する文字数に基づいて、ｑ番目の単語の重み値を正規化する処理を加えることが望ましい。これは、文書データが長い程、段落数が多くなり、その分だけ段落重み値の加算値も大きくなってしまう不具合を抑制するためである。例えば、求められた重み値を文字数で除算する方法が、前記正規化処理の簡易例として挙げることができる。
【００６０】
続いて、単語群のカウンタｑが最終であるか否かが確認され（ステップＳ２５）、最終でない場合は（ステップＳ２５でＮＯ）、ステップＳ１８に戻って次の注目単語について同様な重み値算出処理が繰り返される。一方、カウンタｑが最終である場合（ステップＳ２５でＹＥＳ）、文書ファイルのカウンタｐが最終であるか否かが確認される（ステップＳ２６）。カウンタｐが最終でない場合は（ステップＳ２６でＮＯ）、ステップＳ１２に戻って次の文書ファイルについて同じ処理が繰り返される。一方、カウンタｐが最終である場合（ステップＳ２６でＹＥＳ）、処理を終える。
【００６１】
以上説明した本実施形態に係るネットワークシステムＳによれば、文書データベース１０に対する文書検索システムにおいて、文書ファイルの記述内容に即した文書インデックスを作成することができる。これにより、検索精度を向上させ、ユーザが必要とする文書ファイルを検索ランキング上位で提供できる確率を高めることができ、ひいては文書検索システムを用いた各種の処理業務の効率化を図ることが可能となる。
【符号の説明】
【００６２】
Ｓ ネットワークシステム
１０ データベース
２０ 検索エンジン
２１ 文書インデックス記憶部
２２ 検索インデックス作成部
２３ 検索処理部
２４ ランキング表示処理部
３０ 端末装置
４０ データ処理装置
４１ 文書抽出部
４２ 文書解析部（文書解析手段）
４３ 文書インデックス作成部（作成手段）
４４ 文章分離部（文章分離手段）
４５ 選別部（選別手段）
４６ 関連度算出部（評価手段）
４７ 単語密度算出部
４８ 段落重み算出部
４９ 重み設定部
【特許請求の範囲】
【請求項１】
複数の文書ファイルを蓄積する文書データベースと、
前記文書データベースから文書インデックスの作成対象とする１の文書ファイルを抽出する抽出手段と、
前記１の文書ファイルの文書データを、当該文書データに含まれる文章の区切りを示す識別子に基づいて複数の単位文章に区切る文章分離手段と、
前記文書データに対して文書解析処理を行って単語群を抽出する文書解析手段と、
前記単語群の中から１の注目単語を指定し、前記複数の単位文章を、前記注目単語が出現する第１単位文章と、前記注目単語が出現しない第２単位文章とに選別する選別手段と、
前記第１単位文章と前記第２単位文章との文章関連度を評価する評価手段と、
前記文書解析手段により抽出された単語群の各々に重み値を与えて文書インデックスを作成する作成手段と、を備え、
前記作成手段は、前記注目単語の出現頻度と、前記文章関連度の評価値とを用いて前記注目単語に対する前記重み値を設定する、文書インデックス作成装置。
【請求項２】
前記評価手段は、前記第１単位文章に含まれる単語群の出現頻度と、前記第２単位文章に含まれる単語群の出現頻度との類似性に基づいて、前記文章関連度を評価する、
請求項１に記載の文書インデックス作成装置。
【請求項３】
前記評価手段は、
前記文章関連度の評価値として、さらに前記第１単位文章が含む全単語の出現頻度に対する前記注目単語の出現頻度の比に基づき当該注目単語の単語密度を求め、
前記作成手段は、
前記文章関連度に前記単語密度を乗じて、前記第２単位文章の重み値を求め、
前記注目単語の出現頻度に基づく基礎重み値に、前記第２単位文章の重み値を加算して、前記注目単語に対する重み値を設定する、
請求項２に記載の文書インデックス作成装置。
【請求項４】
文章分離手段は、改行を示す識別子、及び／又は空白行の存在を示す識別子に基づいて、前記文章を段落単位に区切る、
請求項１〜３のいずれかに記載の文書インデックス作成装置。
【請求項５】
前記１の文書ファイルの文書データを構成する文字数に基づいて、前記注目単語に対する重み値を正規化する正規化手段をさらに備える、
請求項１〜４のいずれかに記載の文書インデックス作成装置。
【請求項１】
複数の文書ファイルを蓄積する文書データベースと、
前記文書データベースから文書インデックスの作成対象とする１の文書ファイルを抽出する抽出手段と、
前記１の文書ファイルの文書データを、当該文書データに含まれる文章の区切りを示す識別子に基づいて複数の単位文章に区切る文章分離手段と、
前記文書データに対して文書解析処理を行って単語群を抽出する文書解析手段と、
前記単語群の中から１の注目単語を指定し、前記複数の単位文章を、前記注目単語が出現する第１単位文章と、前記注目単語が出現しない第２単位文章とに選別する選別手段と、
前記第１単位文章と前記第２単位文章との文章関連度を評価する評価手段と、
前記文書解析手段により抽出された単語群の各々に重み値を与えて文書インデックスを作成する作成手段と、を備え、
前記作成手段は、前記注目単語の出現頻度と、前記文章関連度の評価値とを用いて前記注目単語に対する前記重み値を設定する、文書インデックス作成装置。
【請求項２】
前記評価手段は、前記第１単位文章に含まれる単語群の出現頻度と、前記第２単位文章に含まれる単語群の出現頻度との類似性に基づいて、前記文章関連度を評価する、
請求項１に記載の文書インデックス作成装置。
【請求項３】
前記評価手段は、
前記文章関連度の評価値として、さらに前記第１単位文章が含む全単語の出現頻度に対する前記注目単語の出現頻度の比に基づき当該注目単語の単語密度を求め、
前記作成手段は、
前記文章関連度に前記単語密度を乗じて、前記第２単位文章の重み値を求め、
前記注目単語の出現頻度に基づく基礎重み値に、前記第２単位文章の重み値を加算して、前記注目単語に対する重み値を設定する、
請求項２に記載の文書インデックス作成装置。
【請求項４】
文章分離手段は、改行を示す識別子、及び／又は空白行の存在を示す識別子に基づいて、前記文章を段落単位に区切る、
請求項１〜３のいずれかに記載の文書インデックス作成装置。
【請求項５】
前記１の文書ファイルの文書データを構成する文字数に基づいて、前記注目単語に対する重み値を正規化する正規化手段をさらに備える、
請求項１〜４のいずれかに記載の文書インデックス作成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１０４０５１（Ｐ２０１２−１０４０５１Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５４１２９（Ｐ２０１０−２５４１２９）
【出願日】平成２２年１１月１２日（２０１０．１１．１２）
【出願人】（０００１５６９３８）関西電力株式会社 (1,442)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月１２日（２０１０．１１．１２）
【出願人】（０００１５６９３８）関西電力株式会社 (1,442)
【Ｆターム（参考）】
[ Back to top ]