文書検索処理方法及び装置並びに記憶媒体
【課題】 文書検索の処理速度向上を図った文書検索処理装置を提供する。
【解決手段】 ＣＰＵ１０１により、文書を特徴付ける文書ベクトルを生成し、文書ベクトル間から文書間の文書類似度を生成し、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成し、前記文書ベクトルを用いて前記文書類似度によって類似文書を検索すると共に前記基準類似度をも用いて検索を行うように制御する。
【解決手段】 ＣＰＵ１０１により、文書を特徴付ける文書ベクトルを生成し、文書ベクトル間から文書間の文書類似度を生成し、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成し、前記文書ベクトルを用いて前記文書類似度によって類似文書を検索すると共に前記基準類似度をも用いて検索を行うように制御する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、文書データを検索する文書検索処理方法及び装置並びに記憶媒体に関する。
【０００２】
【従来の技術】近年、大量の文書データを扱う機会が増加してきたため、所望の文書データを検索処理する手段も多種多様になってきている。その理由は、単純なキーワード（キーワードを指示し、それが出現するか否かで検索を行う）では、ユーザの要求を十分に満たさなくなってきているためである。
【０００３】そのため文書の内容を特徴付ける意味、分野、単語そのものを次元とし、その特徴量を値とすることでベクトル表現し、文書べクトル間の内積等の値を用いて文書間の類似度を求める方法が主流である。
【０００４】斯かる文書類似度の精度向上のため、つまり文書の特徴を深く捉えるためにベクトルの次元数は数百、数千のレベルで用意される傾向にある。
【０００５】
【発明が解決しようとする課題】しかしながら、上記従来の技術によれば、類似度の精度は向上するが、文書類似度の生成負荷が増大し、文書検索処理の速度低下を招いているという問題点があった。
【０００６】本発明は、上記従来技術の有する問題点を解消するためになされたもので、その第１の目的は、文書検索の処理速度向上を図った文書検索処理方法及び装置を提供することである。
【０００７】また、本発明の第２の目的は、上述したような本発明の文書検索処理装置を制御するための制御プログラムを格納した記憶媒体を提供することである。
【０００８】
【課題を解決するための手段】上記第１の目的を達成するために、本発明の請求項１に記載の文書検索処理方法は、文書を特徴付ける文書ベクトルを生成する文書ベクトル生成ステップと、文書ベクトル間から文書間の文書類似度を生成する文書類似度生成ステップと、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成する基準類似度生成ステップと、前記文書ベクトル生成ステップで生成された文書ベクトルを用いて前記文書類似度生成ステップによって生成された文書類似度によって類似文書を検索すると共に前記基準類似度生成ステップで生成された基準類似度をも用いて検索を行う文書検索ステップとを有することを特徴とする。
【０００９】また、上記第１の目的を達成するために、本発明の請求項２に記載の文書検索処理方法は、請求項１に記載の文書検索処理方法において、検索対象の文書が検索以前に文書ベクトルと基準類似度を生成保持していることを特徴とする。
【００１０】また、上記第１の目的を達成するために、本発明の請求項３に記載の文書検索処理装置は、文書を特徴付ける文書ベクトルを生成する文書ベクトル生成手段と、文書ベクトル間から文書間の文書類似度を生成する文書類似度生成手段と、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成する基準類似度生成手段と、前記文書ベクトル生成手段で生成された文書ベクトルを用いて前記文書類似度生成手段によって生成された文書類似度によって類似文書を検索すると共に前記基準類似度生成手段で生成された基準類似度をも用いて検索を行う文書検索手段とを有することを特徴とする。
【００１１】また、上記第１の目的を達成するために、本発明の請求項４に記載の文書検索処理装置は、請求項３に記載の文書検索処理装置において、検索対象の文書が検索以前に文書ベクトルと基準類似度を生成保持していることを特徴とする。
【００１２】また、上記第２の目的を達成するために、本発明の請求項５に記載の記憶媒体は、文書データを検索する文書検索処理装置を制御するためのコンピュータで読み取り可能な制御プログラムを格納した記憶媒体であって、前記制御プログラムは、文書を特徴付ける文書ベクトルを生成する文書ベクトル生成モジュールと、文書ベクトル間から文書間の文書類似度を生成する文書類似度生成モジュールと、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成する基準類似度生成モジュールと、前記文書ベクトル生成モジュールで生成された文書ベクトルを用いて前記文書類似度生成モジュールによって生成された文書類似度によって類似文書を検索すると共に前記基準類似度生成モジュールで生成された基準類似度をも用いて検索を行う文書検索モジュールとを有することを特徴とする。
【００１３】また、上記第２の目的を達成するために、本発明の請求項６に記載の記憶媒体は、請求項５に記載の記憶媒体において、検索対象の文書が検索以前に文書ベクトルと基準類似度を生成保持していることを特徴とする。
【００１４】
【発明の実施の形態】以下、本発明の各実施の形態について、図面を用いて説明する。
【００１５】（第１の実施の形態）まず、本発明の第１の実施の形態について、図１〜図１４を用いて説明する。
【００１６】図１は、本実施の形態に係る文書検索処理装置のシステム構成を示すブロック図である。同図において、１０１はＣＰＵ（マイクロプロセッサ：中央演算処理装置）で、文書検索のための演算、論理判断等を行い、後述するバス（ＢＵＳ）１０２を介して該バス１０２に接続された後述する各構成要素を制御する。また、ＣＰＵ１０１が文書検索表示手段としても動作する。
【００１７】１０２はバス（ＢＵＳ）で、ＣＰＵ１０１の制御対象である後述する各構成要素を指示するアドレス信号、コントロール信号を転送する。また、後述する各構成要素間のデータ転送を行う。
【００１８】１０３はＲＯＭ（リードオンリーメモリ）で、読み出し専用の固定メモリであり、ＣＰＵ１０１による制御プログラム等を記憶している。１０４はＲＡＭ（ランダムアクセスメモリ）で、各構成要素からの各種データの一時記憶に用いる。１０５は入力装置で、キーボード及びマウス等からなる。１０６は表示装置で、ＣＲＴ（陰極線管）或いは液晶表示器等からなる。
【００１９】１０７は記憶装置で、ハードディスクからなり、検索対象となる文書ファイルデータベース（文書ＤＢ）１０７ａ及び辞書ＤＩＣ１０７ｂ等が格納されている。１０８は外部記憶装置で、フロッピー（登録商標）ディスクや書き込み可能ＣＤ（コンパクトディスク）、ＤＶＤ（デジタルビデオディスク）等の外部記憶装置にアクセスするためのドライブ等である。この外部記憶装置１０７は、記憶装置１０７と同等に使用でき、それらの記憶媒体を通して他の文書検索処理装置とのデータ交換を行う装置である。１０９は通信装置で、モデム或いはＬＡＮ（ローカルエリアネットワーク）コントローラ等からなり、通信回線を介して外部とのデータ交換を行う装置である。
【００２０】斯かる各構成要素からなる本実施の形態に斯かる文書検索処理装置においては、入力装置１０５からの各種の入力に応じて作動するものであって、入力装置１０５からの入力が供給されると、まず、インタラプタ信号がＣＰＵ１０１に送られ、該ＣＰＵ１０１がＲＯＭ１０３内に記憶してある各種の制御信号を読み出し、それらの制御信号に従って各種の制御が行われる。
【００２１】以下、上記構成になる本実施の形態に係る文書検索処理装置では、基準類似度で検索対象の文書を絞り込むことことにより、文書類似度判定の負荷を大幅に軽減することで、高速な文書検索処理を行うことが可能である。
【００２２】以下に、この文書検索処理の一例を説明する。
【００２３】図２は、本実施の形態に係る文書検索処理装置における文書検索結処理果の表示画面構成例を示す図である。同図において、２０１は検索条件パネルで、今回の検索指示内容が表示される。検索指示としての表示例としては、ユーザの手による自然文或いはユーザの入力した複数のキーワードの羅列、またユーザが指示した既存の文書の内容等である。２０２は検索結果パネルで、上記検索条件によって行われた文書検索結果が表示される。検索結果としてリストアップされた各文書のＩＤ２０２ａと文書タイトル２０２ｂ、類似度２０２ｃが表示される。
【００２４】次に、本実施の形態に係る文書検索処理装置における基準類似度を用いた検索対象の絞込みの基本動作を説明する。この基本動作は、基準類似度の作成、検索クエリーの文書ベクトルから基準ベクトルへの展開、基準類似度による検索対象の判定の３つに大きく分けられる。
【００２５】最初に基準類似度の生成過程を説明する。
【００２６】文書は、記憶装置１０７の文書ＤＢ１０７ａに登録される段階で、最初に文書を特徴付ける文書ベクトルが生成される。文書からの文書ベクトル生成は、文書内に出現する単語から記憶装置１０７の辞書ＤＩＣ１０７ｂを用いて算出される。
【００２７】図３は、辞書ＤＩＣ１０７ｂの構成を示す図である。同図に示すように、辞書ＤＩＣ１０７ｂは、単語毎にベクトル表現時のそれぞれの次元（Ｄｉｍ．）に対応した特徴量が格納されている。次元は、その単語本来の意味によって分類された基準や、その単語の使用分野に応じて分類された基準等が採用される。単語１のＤｉｍ．１の特徴量は０であり、Ｄｉｍ．２の特徴量は２３であることが分かる。
【００２８】このように辞書ＤＩＣ１０７ｂから１つの単語におけるそれぞれの次元（Ｄｉｍ．）の特徴量を得ることが可能となる。特徴量は、その単語が使用されることにより、その文書がその分類基準（＝次元）をどれくらい特徴付ける可能性があるかを示す値と解釈することが可能である。文書を構成する全ての単語から得られた分類基準別（次元別）の特徴量から、文書全体の特徴量を分類基準（＝次元）とするベクトルで表現する。得られたベクトルをノルム＝１で正規化した値を文書ベクトルとして格納する。
【００２９】図４は、格納された文書ベクトルの状態の一例を示す図である。同図に示すように、例えば、文書ＩＤ＝６９４７の文書ベクトルのＤｉｍ．１の特徴量は０．１８３であり、Ｄｉｍ．２の特徴量は０．２１４であることが分かる。
【００３０】生成された文書ベクトルから基準類似度を生成する。基準類似度は、用意された固定の値を持つ基準ベクトル（Ｂａｓｅ Ｖｅｃｔｏｒ＝ＢＶ）と文書ベクトルの類似度から生成する。基準ベクトルは、各次元の特徴量比率を整数比で持たせたベクトルＰをノルム＝１で正規化したベクトルＢＶの形で保持する。用意する基準ベクトルは、ターゲットの文書ＤＢを考慮し、より有効な任意の値を用意することが可能である。
【００３１】図５は、特徴量を整数比で持たせた基準ベクトルＰの状態の一例を示す図であり、図６は、図５の基準ベクトルをノルム＝１で正規化した基準ベクトルＢＶの状態の一例を示す図であり、文書ベクトルと同様に基準ベクトルの各次元の特徴量を示している。
【００３２】図６において、例えば、基準ベクトルＢＶ１のＤｉｍ．１〜３の特徴量はいずれも０、Ｄｉｍ．４〜５の特徴量は０．４０８であることが分かる。
【００３３】本実施の形態に係る文書検索処理装置においては、以上の文書ベクトルと基準ベクトルの余弦測度による類似度を基に基準類似度を生成している。
【００３４】図７は、基準類似度の算出方法の一例を示す図である。同図に示すように、文書ベクトルＸは、各次元にｘ１〜ｘｎの値を持つｎ次元のベクトル、同様に基準ベクトルＰは、各次元にｐ１〜ｐｎの値を持つｎ次元のベクトルである。
【００３５】ここで、余弦測度による類似度をＳＤ（Ｘ，Ｐ）、基準類似度をＳ（Ｘ，Ｐ）と表わすことにする。
【００３６】余弦測度による類似度ＳＤ（Ｘ，Ｐ）は、両ベクトルの内積を両ベクトルのノルムの積で割った値となる。両ベクトルがノルム＝１で正規化されている本実施の形態では、ＳＤ（Ｘ，Ｐ）は内積そのものに相当する。よって、両ベクトルの同次元の値の総和で求めることができる。基準類似度は、この総和の値を閾値でαで判別し、１或いは０の２値いずれかに転値する。値を簡易化することにより、基準類似度にとる判定効率が向上し、更に処理速度が向上する。本実施の形態では、閾値αの値として０．３０２をセットしている。
【００３７】以上の手段によって文書単位で基準ベクトル毎の基準類似度を生成する。
【００３８】図８は、文書毎の基準類似度の状態の一例を示す図である。同図において、基準ベクトル１（ＢＶ１）による基準類似度｛（ＳＤ（Ｘ，ＢＶ１））をＢＳＶ１と表現している。文書ＩＤ＝６９４７のＢＳＶ１〜２の値は１であり、ＢＳＶ３〜５の値は０であることが分かる。
【００３９】次に、検索文の文書ベクトルから基準ベクトルのサブセットへの展開を説明する。
【００４０】検索クエリーとしての入力文も文書ベクトル生成と同手段で入力文の文書ベクトルを生成する。生成されたクエリーの文書ベクトルを基準ベクトルのサブセットに展開する。
【００４１】図９は、クエリーの文書ベクトルを基準ベクトルのサブセットに展開するための展開方法を示す図である。
【００４２】入力文の特徴ベクトルＹの各次元の特徴量を閾値βによって０／１に転値したベクトルＹ’を算出する。本実施の形態では、閾値βの値として０．３０２をセットする。これは基準類似度の閾値と同じ値を使用している。この方法では、０／１に転値されるので、０／１の整数比で用意された基準ベクトルＰのサブセットに展開することがベクトルの加減によって可能である。
【００４３】次に、規準類似度による検索対象を判定する過程を説明する。
【００４４】Ｙ’＝Ｐｉ＋Ｐｊ＋Ｐｋに展開された場合、展開された基準ベクトルに対応する基準類似度ＢＳＶｉ，ＢＳＶｊ，ＢＳＶｋによって対象文書に絞り込むことが可能となる。仮に、Ｙ’＝Ｐ３＋Ｐ４となる検索クエリーが入力されたとする。これは基準類似度ＢＳＶ３，ＢＳＶ４の値が１である文書煮を絞り込むことが可能である。
【００４５】図３の例で確認すると、ＢＳＶ３＝１またはＢＳＶ４＝１である文書ＩＤは、６９５４，６９５５，６９５９の３文書である。この３文書が対象文書として絞り込まれ、入力文の特徴ベクトルＹとそれぞれの文書ベクトルの類似度が実際に算出される。逆に、３文書以外の文書の類似度算出は行われないため、高速な検索が可能である。
【００４６】以下、上述した説明事項に付いて、図１０〜図１４のフローチャートを用いて説明する。
【００４７】図１０は、本実施の形態に係る文書検索処理装置におけるＣＰＵ１０１の処理手順を示すフローチャートである。同図において、まず、ステップＳ１００１でシステムの初期化処理、即ち、各種パラメータの初期化や初期画面の表示等の処理を行う。次に、ステップＳ１００２でキー入力を待つ。即ち、入力装置１０５から何らかのキーが押下され、割り込みが発生するのをＣＰＵ１０１において待つ。そして、キーが入力されると、次のステップＳ１００３でＣＰＵ１０１は、入力されたキーを判別し、次のステップＳ１００４でキーの種類において各種の処理に分岐する。この各種キーに対応した分岐先の複数の処理をステップＳ１００４においては、「各種対応処理」として纏めて表現している。図１１R>１及び図１２で説明する文書の登録処理及び検索処理がこの分岐先の一部となる。
【００４８】次に、ステップＳ１００５へ進んで、上記の処理の結果、変更された部分を表示する表示処理を行う。この表示処理は、表示内容を表示パターンに展開し、バッファに出力するといった通常行われている処理である。このステップＳ１００５における表示処理を終了後は、前記ステップＳ１００２へ戻る。
【００４９】図１１は、図１０におけるステップＳ１００４の一部である文書の登録処理の詳細な流れを示すフローチャートである。同図において、まず、ステップＳ１１０１で文書から単語を抽出する処理である単語抽出処理、即ち、形態素解析用辞書を使用して形態素解析を行う。次に、ステップＳ１１０２で文書ベクトルの生成処理を行う。即ち、前記ステップＳ１１０１において抽出された単語から辞書ＤＩＣ１０７ｂを検索し、単語毎の次元別の特徴量を得て、その総和から文書ベクトルを生成する。
【００５０】次に、ステップＳ１１０３で基準類似度生成処理を行う。即ち、前記ステップＳ１１０２において得られた文書ベクトルと基準ベクトルＢＶから基準類似度を算出する。この算出方法の一例を図７に示している。
【００５１】次に、ステップＳ１１０４で文書ＤＢ１０７ａへの登録処理である文書ＤＢ登録処理を行う。即ち、文書の内容と前記ステップＳ１１０２において得られた文書ベクトルと前記ステップＳ１１０３において得られた基準類似度とを登録すると共に、文書ＤＢ１０７ａのインデックスを更新する。このステップＳ１１０４における文書ＤＢ登録処理を終了後は、リターンする。
【００５２】図１２は、図１０におけるステップＳ１００４の一部である文書の検索実行処理の詳細な流れを示すフローチャートである。同図において、まず、ステップＳ１２０１で検索条件入力処理、即ちユーザーは自然文或いは複数のキーワードを入力する或いは既存の文書を指定する形で指示する処理を行う。次に、次に、ステップＳ１２０２で検索条件情報生成処理、即ち類似度生成に必要な検索条件文の文書ベクトルと検索対象絞込みに必要な基準ベクトルのサブセットを得る処理を行う。
【００５３】次に、ステップＳ１２０３で類似度生成格納処理、即ち前記ステップＳ１２０２において得られた基準ベクトルのサブセットに応じた基準類似度を基に対象文書を絞り、同じくステップＳ１２０２において得られた文書ベクトルと対象文書ベクトルとから類似度を生成し、ＲＡＭ１０４に格納する処理を行う。生成した値を記憶装置１０７の文書ＤＢ１０７ａに登録することも可能である。
【００５４】次に、ステップＳ１２０４で類似度による順序付け処理、即ち前記ステップＳ１２０３において格納した文書毎の類似度を順序付けする処理を行う。次に、ステップＳ１２０５で検索結果表示処理、即ち前記ステップＳ１２０4において順序付けされた文書を検索結果としてリストアップして表示装置１０６に表示する処理を行う。その際に、前記ステップＳ１２０３において登録された類似度の値も同時に表示する。このステップＳ１２０５における検索結果表示処理を終了後は、リターンする。
【００５５】図１３は、図１２のステップＳ１２０２における検索条件情報生成処理の詳細な流れを示すフローチャートである。同図において、まず、ステップＳ１３０１で前記図１２のステップＳ１２０１において得られたユーザーの検索条件を読み込む処理を行う。次に、ステップＳ１３０２で前記ステップＳ１３０１において読み込まれたユーザー指定の検索条件文から単語を抽出する処理、即ち形態素解析用辞書を使用して形態素解析処理を行う。
【００５６】次に、ステップＳ１３０３で検索文の文書ベクトル生成処理、即ち前記ステップＳ１３０２において抽出された単語から記憶装置１０７の辞書ＤＩＣ１０７ｂを検索し、単語毎の次元別の特徴量を得て、その総和から文書ベクトルを生成する処理を行う。
【００５７】これらのステップＳ１３０２及びステップＳ１３０３における処理は、前記図１１のステップＳ１１０１及びステップＳ１１０２における処理と同等の処理である。
【００５８】次に、ステップＳ１３０４で検索文の配置ベクトルを生成する処理を行う。次に、ステップＳ１３０５で、基準ベクトルセット展開処理、即ち前記ステップＳ１３０４において得られた配置ベクトルから基準ベクトルに展開する処理を行う。このステップＳ１３０４における配置ベクトルセット展開処理を終了後は、リターンする。
【００５９】図１４は、図１２のステップＳ１２０３における類似度生成格納処理の詳細な流れを示すフローチャートである。同図において、まず、ステップＳ１４０１で検索対象である文書ＤＢ１０７ａ内の文書を指定するカウンタＮに初期値１をセットし、次の、ステップＳ１４０２で文書ＤＢ１０７ａからＮ番目の文書の文書ベクトルと基準類似度を呼び出す処理を行う。
【００６０】次に、ステップＳ１４０３で前記ステップＳ１４０２において呼び出された基準類似度から前記ステップＳ１３０５において展開された基準ベクトルセットに対応した基準類似度のみを抽出する。次に、ステップＳ１４０４で基準類似度から類似度算出の対象になるか否かを判定する。
【００６１】図８に示した基準類似度の例では、前記ステップＳ１４０３において抽出された基準類似度の総和が０か否かで判定している。
【００６２】そして、前記ステップＳ１４０４において類似度算出の対象になると判定された場合は、ステップＳ１４０５で検索文の文書ベクトルと呼び出されている文書の文書ベクトルとから類似度を算出する。また、前記ステップＳ１４０４において類似度算出の対象にならないと判定された場合は、ステップＳ１４０６で前記ステップＳ１４０５において行われるような類似度算出処理は行わず、類似度を固定値０とする。
【００６３】前記ステップＳ１４０５或いは前記ステップＳ１４０６における処理が終了後は、ステップＳ１４０７で類似度格納処理、即ち前記ステップＳ１４０５において算出された類似度或いは前記ステップＳ１４０６においてセットされた類似度（＝０）を、文書ＤＢ１０７ａ或いはＲＡＭ１０４に格納し、前記図１２のステップＳ１２０４において参照する。
【００６４】次に、ステップＳ１４０８で文書ＤＢ１０７ａ内の検索対象文書に残りがあるか否かを判定する。そして、文書ＤＢ１０７ａ内の検索対象文書に残りがあると判定された場合は、ステップＳ１４０９でカウンタであるｎをカウントアップした後、前記ステップＳ１４０２へ戻り、検索条件適合値の算出を繰り返す。また、文書ＤＢ１０７ａ内の検索対象文書に残りがないと判定された場合は、リターンする。
【００６５】以上詳述したように、本実施の形態に係る文書検索処理方法及び装置によれば、特定の値を持つ基準ベクトルを複数用意し、基準ベクトルと検索対象となる文書の文書ベクトル間の基準類似度を生成し、検索クリエー文を用意された基準ベクトルのサブセットに展開し、該展開された基準ベクトルに応じた基準類似度で検索対象の文書を絞り込み、文書ベクトルと検索文の文書ベクトル間の類似度を算出することにより、処理負荷の高い文書類似度生成手段による文書類似度判定の負荷を大幅に削減することが可能となり、高速な文書検索が可能で、処理速度が向上するという効果を奏する。
【００６６】（他の実施の形態）上述した第１の実施の形態における基準類似度の算出方法は、１つの閾値αによって２段階の値（０または１）を取る方法であったが、本発明はこれに限られるものではなく、複数の閾値を用意し、２以上の段階の値を取らせることも可能である。また、基準ベクトルの配置方法の閾値βも同様である。その際に基準類似度の判定基準としての閾値を持たせることが可能である。また、事前に検索対象数を得る手法にした場合は、その値によって判定基準を動的に変化させることも可能である。
【００６７】また、上述した第１の実施の形態においては、基準類似度の算出、基準ベクトルの配置のいずれの閾値（αとβ）も固定の値をとる方法であったが、本発明はこれに限られるものではなく、その時点での文書ＤＢ内のベクトル及び検索文の基準ベクトルの特徴量から平均値等の統計処理した値を基に動的に変化させる方法も可能である。
【００６８】また、本発明は、単体の装置に限らず、複数の装置から構成されるシステムに適用可能である。また、それらの装置やシステムに記憶媒体や通信装置を使ってソフトウェアを提供することによっても実現可能であることは言うまでもない。
【００６９】この場合、本発明を達成するためのソフトウェアによって表わされる制御プログラムを格納した記憶媒体を、システム或いは装置に読み出すこと、或いは前記制御プログラムを、ネットワーク経由でシステム或いは装置に読み出すことによって、そのシステム或いは装置が本発明の効果を享受することが可能となる。
【００７０】また、前記制御プログラムを記憶するための記憶媒体としては、ハードディスク、フロッピー（登録商標）ディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ等を用いることができるのは言うまでもない。
【００７１】
【発明の効果】以上詳述したように、本発明の文書検索処理方法及び装置によれば、文書検索の処理速度が向上するという効果を奏する。
【００７２】また、本発明の記憶媒体によれば、上述したような本発明の文書検索処理装置を円滑に制御することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る文書検索処理装置のシステム構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る文書検索処理装置における文書検索結果の表示画面構成の一例を示す図である。
【図３】本発明の第１の実施の形態に係る文書検索処理装置における辞書ＤＩＣの構成の一例を示す図である。
【図４】本発明の第１の実施の形態に係る文書検索処理装置における文書の文書ベクトルの状態の一例を示す図である。
【図５】本発明の第１の実施の形態に係る文書検索処理装置における基準ベクトルＰの状態の一例を示す図である。
【図６】本発明の第１の実施の形態に係る文書検索処理装置における基準ベクトルＢＶの状態の一例を示す図である。
【図７】本発明の第１の実施の形態に係る文書検索処理装置における基準類似度の算出方法の一例を示す図である。
【図８】本発明の第１の実施の形態に係る文書検索処理装置における基準類似度ＢＳＶの状態の一例を示す図である。
【図９】本発明の第１の実施の形態に係る文書検索処理装置における検索文の展開方法を示す図である。
【図１０】本発明の第１の実施の形態に係る文書検索処理装置における文書検索処理動作全体の流れを示すフローチャートである。
【図１１】本発明の第１の実施の形態に係る文書検索処理装置における文書を文書ＤＢに登録する処理動作の流れを示すフローチャートである。
【図１２】本発明の第１の実施の形態に係る文書検索処理装置における文書検索実行処理動作の詳細な流れを示すフローチャートである。
【図１３】本発明の第１の実施の形態に係る文書検索処理装置における検索条件情報生成処理動作の詳細な流れを示すフローチャートである。
【図１４】本発明の第１の実施の形態に係る文書検索処理装置における類似度生成格納処理動作の詳細な流れを示すフローチャートである。
【符号の説明】
１０１ ＣＰＵ（マイクロプロセッサ：中央演算処理装置）
１０２ バス（ＢＵＳ）１０２
１０３ ＲＯＭ（リードオンリーメモリ）
１０４ ＲＡＭ（ランダムアクセスメモリ）
１０５ 入力装置
１０６ 表示装置
１０７ 記憶装置
１０７ａ 文書ファイルデータベース（文書ＤＢ）
１０７ｂ 辞書ＤＩＣ
１０８ 外部記憶装
１０９ 通信装置
【０００１】
【発明の属する技術分野】本発明は、文書データを検索する文書検索処理方法及び装置並びに記憶媒体に関する。
【０００２】
【従来の技術】近年、大量の文書データを扱う機会が増加してきたため、所望の文書データを検索処理する手段も多種多様になってきている。その理由は、単純なキーワード（キーワードを指示し、それが出現するか否かで検索を行う）では、ユーザの要求を十分に満たさなくなってきているためである。
【０００３】そのため文書の内容を特徴付ける意味、分野、単語そのものを次元とし、その特徴量を値とすることでベクトル表現し、文書べクトル間の内積等の値を用いて文書間の類似度を求める方法が主流である。
【０００４】斯かる文書類似度の精度向上のため、つまり文書の特徴を深く捉えるためにベクトルの次元数は数百、数千のレベルで用意される傾向にある。
【０００５】
【発明が解決しようとする課題】しかしながら、上記従来の技術によれば、類似度の精度は向上するが、文書類似度の生成負荷が増大し、文書検索処理の速度低下を招いているという問題点があった。
【０００６】本発明は、上記従来技術の有する問題点を解消するためになされたもので、その第１の目的は、文書検索の処理速度向上を図った文書検索処理方法及び装置を提供することである。
【０００７】また、本発明の第２の目的は、上述したような本発明の文書検索処理装置を制御するための制御プログラムを格納した記憶媒体を提供することである。
【０００８】
【課題を解決するための手段】上記第１の目的を達成するために、本発明の請求項１に記載の文書検索処理方法は、文書を特徴付ける文書ベクトルを生成する文書ベクトル生成ステップと、文書ベクトル間から文書間の文書類似度を生成する文書類似度生成ステップと、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成する基準類似度生成ステップと、前記文書ベクトル生成ステップで生成された文書ベクトルを用いて前記文書類似度生成ステップによって生成された文書類似度によって類似文書を検索すると共に前記基準類似度生成ステップで生成された基準類似度をも用いて検索を行う文書検索ステップとを有することを特徴とする。
【０００９】また、上記第１の目的を達成するために、本発明の請求項２に記載の文書検索処理方法は、請求項１に記載の文書検索処理方法において、検索対象の文書が検索以前に文書ベクトルと基準類似度を生成保持していることを特徴とする。
【００１０】また、上記第１の目的を達成するために、本発明の請求項３に記載の文書検索処理装置は、文書を特徴付ける文書ベクトルを生成する文書ベクトル生成手段と、文書ベクトル間から文書間の文書類似度を生成する文書類似度生成手段と、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成する基準類似度生成手段と、前記文書ベクトル生成手段で生成された文書ベクトルを用いて前記文書類似度生成手段によって生成された文書類似度によって類似文書を検索すると共に前記基準類似度生成手段で生成された基準類似度をも用いて検索を行う文書検索手段とを有することを特徴とする。
【００１１】また、上記第１の目的を達成するために、本発明の請求項４に記載の文書検索処理装置は、請求項３に記載の文書検索処理装置において、検索対象の文書が検索以前に文書ベクトルと基準類似度を生成保持していることを特徴とする。
【００１２】また、上記第２の目的を達成するために、本発明の請求項５に記載の記憶媒体は、文書データを検索する文書検索処理装置を制御するためのコンピュータで読み取り可能な制御プログラムを格納した記憶媒体であって、前記制御プログラムは、文書を特徴付ける文書ベクトルを生成する文書ベクトル生成モジュールと、文書ベクトル間から文書間の文書類似度を生成する文書類似度生成モジュールと、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成する基準類似度生成モジュールと、前記文書ベクトル生成モジュールで生成された文書ベクトルを用いて前記文書類似度生成モジュールによって生成された文書類似度によって類似文書を検索すると共に前記基準類似度生成モジュールで生成された基準類似度をも用いて検索を行う文書検索モジュールとを有することを特徴とする。
【００１３】また、上記第２の目的を達成するために、本発明の請求項６に記載の記憶媒体は、請求項５に記載の記憶媒体において、検索対象の文書が検索以前に文書ベクトルと基準類似度を生成保持していることを特徴とする。
【００１４】
【発明の実施の形態】以下、本発明の各実施の形態について、図面を用いて説明する。
【００１５】（第１の実施の形態）まず、本発明の第１の実施の形態について、図１〜図１４を用いて説明する。
【００１６】図１は、本実施の形態に係る文書検索処理装置のシステム構成を示すブロック図である。同図において、１０１はＣＰＵ（マイクロプロセッサ：中央演算処理装置）で、文書検索のための演算、論理判断等を行い、後述するバス（ＢＵＳ）１０２を介して該バス１０２に接続された後述する各構成要素を制御する。また、ＣＰＵ１０１が文書検索表示手段としても動作する。
【００１７】１０２はバス（ＢＵＳ）で、ＣＰＵ１０１の制御対象である後述する各構成要素を指示するアドレス信号、コントロール信号を転送する。また、後述する各構成要素間のデータ転送を行う。
【００１８】１０３はＲＯＭ（リードオンリーメモリ）で、読み出し専用の固定メモリであり、ＣＰＵ１０１による制御プログラム等を記憶している。１０４はＲＡＭ（ランダムアクセスメモリ）で、各構成要素からの各種データの一時記憶に用いる。１０５は入力装置で、キーボード及びマウス等からなる。１０６は表示装置で、ＣＲＴ（陰極線管）或いは液晶表示器等からなる。
【００１９】１０７は記憶装置で、ハードディスクからなり、検索対象となる文書ファイルデータベース（文書ＤＢ）１０７ａ及び辞書ＤＩＣ１０７ｂ等が格納されている。１０８は外部記憶装置で、フロッピー（登録商標）ディスクや書き込み可能ＣＤ（コンパクトディスク）、ＤＶＤ（デジタルビデオディスク）等の外部記憶装置にアクセスするためのドライブ等である。この外部記憶装置１０７は、記憶装置１０７と同等に使用でき、それらの記憶媒体を通して他の文書検索処理装置とのデータ交換を行う装置である。１０９は通信装置で、モデム或いはＬＡＮ（ローカルエリアネットワーク）コントローラ等からなり、通信回線を介して外部とのデータ交換を行う装置である。
【００２０】斯かる各構成要素からなる本実施の形態に斯かる文書検索処理装置においては、入力装置１０５からの各種の入力に応じて作動するものであって、入力装置１０５からの入力が供給されると、まず、インタラプタ信号がＣＰＵ１０１に送られ、該ＣＰＵ１０１がＲＯＭ１０３内に記憶してある各種の制御信号を読み出し、それらの制御信号に従って各種の制御が行われる。
【００２１】以下、上記構成になる本実施の形態に係る文書検索処理装置では、基準類似度で検索対象の文書を絞り込むことことにより、文書類似度判定の負荷を大幅に軽減することで、高速な文書検索処理を行うことが可能である。
【００２２】以下に、この文書検索処理の一例を説明する。
【００２３】図２は、本実施の形態に係る文書検索処理装置における文書検索結処理果の表示画面構成例を示す図である。同図において、２０１は検索条件パネルで、今回の検索指示内容が表示される。検索指示としての表示例としては、ユーザの手による自然文或いはユーザの入力した複数のキーワードの羅列、またユーザが指示した既存の文書の内容等である。２０２は検索結果パネルで、上記検索条件によって行われた文書検索結果が表示される。検索結果としてリストアップされた各文書のＩＤ２０２ａと文書タイトル２０２ｂ、類似度２０２ｃが表示される。
【００２４】次に、本実施の形態に係る文書検索処理装置における基準類似度を用いた検索対象の絞込みの基本動作を説明する。この基本動作は、基準類似度の作成、検索クエリーの文書ベクトルから基準ベクトルへの展開、基準類似度による検索対象の判定の３つに大きく分けられる。
【００２５】最初に基準類似度の生成過程を説明する。
【００２６】文書は、記憶装置１０７の文書ＤＢ１０７ａに登録される段階で、最初に文書を特徴付ける文書ベクトルが生成される。文書からの文書ベクトル生成は、文書内に出現する単語から記憶装置１０７の辞書ＤＩＣ１０７ｂを用いて算出される。
【００２７】図３は、辞書ＤＩＣ１０７ｂの構成を示す図である。同図に示すように、辞書ＤＩＣ１０７ｂは、単語毎にベクトル表現時のそれぞれの次元（Ｄｉｍ．）に対応した特徴量が格納されている。次元は、その単語本来の意味によって分類された基準や、その単語の使用分野に応じて分類された基準等が採用される。単語１のＤｉｍ．１の特徴量は０であり、Ｄｉｍ．２の特徴量は２３であることが分かる。
【００２８】このように辞書ＤＩＣ１０７ｂから１つの単語におけるそれぞれの次元（Ｄｉｍ．）の特徴量を得ることが可能となる。特徴量は、その単語が使用されることにより、その文書がその分類基準（＝次元）をどれくらい特徴付ける可能性があるかを示す値と解釈することが可能である。文書を構成する全ての単語から得られた分類基準別（次元別）の特徴量から、文書全体の特徴量を分類基準（＝次元）とするベクトルで表現する。得られたベクトルをノルム＝１で正規化した値を文書ベクトルとして格納する。
【００２９】図４は、格納された文書ベクトルの状態の一例を示す図である。同図に示すように、例えば、文書ＩＤ＝６９４７の文書ベクトルのＤｉｍ．１の特徴量は０．１８３であり、Ｄｉｍ．２の特徴量は０．２１４であることが分かる。
【００３０】生成された文書ベクトルから基準類似度を生成する。基準類似度は、用意された固定の値を持つ基準ベクトル（Ｂａｓｅ Ｖｅｃｔｏｒ＝ＢＶ）と文書ベクトルの類似度から生成する。基準ベクトルは、各次元の特徴量比率を整数比で持たせたベクトルＰをノルム＝１で正規化したベクトルＢＶの形で保持する。用意する基準ベクトルは、ターゲットの文書ＤＢを考慮し、より有効な任意の値を用意することが可能である。
【００３１】図５は、特徴量を整数比で持たせた基準ベクトルＰの状態の一例を示す図であり、図６は、図５の基準ベクトルをノルム＝１で正規化した基準ベクトルＢＶの状態の一例を示す図であり、文書ベクトルと同様に基準ベクトルの各次元の特徴量を示している。
【００３２】図６において、例えば、基準ベクトルＢＶ１のＤｉｍ．１〜３の特徴量はいずれも０、Ｄｉｍ．４〜５の特徴量は０．４０８であることが分かる。
【００３３】本実施の形態に係る文書検索処理装置においては、以上の文書ベクトルと基準ベクトルの余弦測度による類似度を基に基準類似度を生成している。
【００３４】図７は、基準類似度の算出方法の一例を示す図である。同図に示すように、文書ベクトルＸは、各次元にｘ１〜ｘｎの値を持つｎ次元のベクトル、同様に基準ベクトルＰは、各次元にｐ１〜ｐｎの値を持つｎ次元のベクトルである。
【００３５】ここで、余弦測度による類似度をＳＤ（Ｘ，Ｐ）、基準類似度をＳ（Ｘ，Ｐ）と表わすことにする。
【００３６】余弦測度による類似度ＳＤ（Ｘ，Ｐ）は、両ベクトルの内積を両ベクトルのノルムの積で割った値となる。両ベクトルがノルム＝１で正規化されている本実施の形態では、ＳＤ（Ｘ，Ｐ）は内積そのものに相当する。よって、両ベクトルの同次元の値の総和で求めることができる。基準類似度は、この総和の値を閾値でαで判別し、１或いは０の２値いずれかに転値する。値を簡易化することにより、基準類似度にとる判定効率が向上し、更に処理速度が向上する。本実施の形態では、閾値αの値として０．３０２をセットしている。
【００３７】以上の手段によって文書単位で基準ベクトル毎の基準類似度を生成する。
【００３８】図８は、文書毎の基準類似度の状態の一例を示す図である。同図において、基準ベクトル１（ＢＶ１）による基準類似度｛（ＳＤ（Ｘ，ＢＶ１））をＢＳＶ１と表現している。文書ＩＤ＝６９４７のＢＳＶ１〜２の値は１であり、ＢＳＶ３〜５の値は０であることが分かる。
【００３９】次に、検索文の文書ベクトルから基準ベクトルのサブセットへの展開を説明する。
【００４０】検索クエリーとしての入力文も文書ベクトル生成と同手段で入力文の文書ベクトルを生成する。生成されたクエリーの文書ベクトルを基準ベクトルのサブセットに展開する。
【００４１】図９は、クエリーの文書ベクトルを基準ベクトルのサブセットに展開するための展開方法を示す図である。
【００４２】入力文の特徴ベクトルＹの各次元の特徴量を閾値βによって０／１に転値したベクトルＹ’を算出する。本実施の形態では、閾値βの値として０．３０２をセットする。これは基準類似度の閾値と同じ値を使用している。この方法では、０／１に転値されるので、０／１の整数比で用意された基準ベクトルＰのサブセットに展開することがベクトルの加減によって可能である。
【００４３】次に、規準類似度による検索対象を判定する過程を説明する。
【００４４】Ｙ’＝Ｐｉ＋Ｐｊ＋Ｐｋに展開された場合、展開された基準ベクトルに対応する基準類似度ＢＳＶｉ，ＢＳＶｊ，ＢＳＶｋによって対象文書に絞り込むことが可能となる。仮に、Ｙ’＝Ｐ３＋Ｐ４となる検索クエリーが入力されたとする。これは基準類似度ＢＳＶ３，ＢＳＶ４の値が１である文書煮を絞り込むことが可能である。
【００４５】図３の例で確認すると、ＢＳＶ３＝１またはＢＳＶ４＝１である文書ＩＤは、６９５４，６９５５，６９５９の３文書である。この３文書が対象文書として絞り込まれ、入力文の特徴ベクトルＹとそれぞれの文書ベクトルの類似度が実際に算出される。逆に、３文書以外の文書の類似度算出は行われないため、高速な検索が可能である。
【００４６】以下、上述した説明事項に付いて、図１０〜図１４のフローチャートを用いて説明する。
【００４７】図１０は、本実施の形態に係る文書検索処理装置におけるＣＰＵ１０１の処理手順を示すフローチャートである。同図において、まず、ステップＳ１００１でシステムの初期化処理、即ち、各種パラメータの初期化や初期画面の表示等の処理を行う。次に、ステップＳ１００２でキー入力を待つ。即ち、入力装置１０５から何らかのキーが押下され、割り込みが発生するのをＣＰＵ１０１において待つ。そして、キーが入力されると、次のステップＳ１００３でＣＰＵ１０１は、入力されたキーを判別し、次のステップＳ１００４でキーの種類において各種の処理に分岐する。この各種キーに対応した分岐先の複数の処理をステップＳ１００４においては、「各種対応処理」として纏めて表現している。図１１R>１及び図１２で説明する文書の登録処理及び検索処理がこの分岐先の一部となる。
【００４８】次に、ステップＳ１００５へ進んで、上記の処理の結果、変更された部分を表示する表示処理を行う。この表示処理は、表示内容を表示パターンに展開し、バッファに出力するといった通常行われている処理である。このステップＳ１００５における表示処理を終了後は、前記ステップＳ１００２へ戻る。
【００４９】図１１は、図１０におけるステップＳ１００４の一部である文書の登録処理の詳細な流れを示すフローチャートである。同図において、まず、ステップＳ１１０１で文書から単語を抽出する処理である単語抽出処理、即ち、形態素解析用辞書を使用して形態素解析を行う。次に、ステップＳ１１０２で文書ベクトルの生成処理を行う。即ち、前記ステップＳ１１０１において抽出された単語から辞書ＤＩＣ１０７ｂを検索し、単語毎の次元別の特徴量を得て、その総和から文書ベクトルを生成する。
【００５０】次に、ステップＳ１１０３で基準類似度生成処理を行う。即ち、前記ステップＳ１１０２において得られた文書ベクトルと基準ベクトルＢＶから基準類似度を算出する。この算出方法の一例を図７に示している。
【００５１】次に、ステップＳ１１０４で文書ＤＢ１０７ａへの登録処理である文書ＤＢ登録処理を行う。即ち、文書の内容と前記ステップＳ１１０２において得られた文書ベクトルと前記ステップＳ１１０３において得られた基準類似度とを登録すると共に、文書ＤＢ１０７ａのインデックスを更新する。このステップＳ１１０４における文書ＤＢ登録処理を終了後は、リターンする。
【００５２】図１２は、図１０におけるステップＳ１００４の一部である文書の検索実行処理の詳細な流れを示すフローチャートである。同図において、まず、ステップＳ１２０１で検索条件入力処理、即ちユーザーは自然文或いは複数のキーワードを入力する或いは既存の文書を指定する形で指示する処理を行う。次に、次に、ステップＳ１２０２で検索条件情報生成処理、即ち類似度生成に必要な検索条件文の文書ベクトルと検索対象絞込みに必要な基準ベクトルのサブセットを得る処理を行う。
【００５３】次に、ステップＳ１２０３で類似度生成格納処理、即ち前記ステップＳ１２０２において得られた基準ベクトルのサブセットに応じた基準類似度を基に対象文書を絞り、同じくステップＳ１２０２において得られた文書ベクトルと対象文書ベクトルとから類似度を生成し、ＲＡＭ１０４に格納する処理を行う。生成した値を記憶装置１０７の文書ＤＢ１０７ａに登録することも可能である。
【００５４】次に、ステップＳ１２０４で類似度による順序付け処理、即ち前記ステップＳ１２０３において格納した文書毎の類似度を順序付けする処理を行う。次に、ステップＳ１２０５で検索結果表示処理、即ち前記ステップＳ１２０4において順序付けされた文書を検索結果としてリストアップして表示装置１０６に表示する処理を行う。その際に、前記ステップＳ１２０３において登録された類似度の値も同時に表示する。このステップＳ１２０５における検索結果表示処理を終了後は、リターンする。
【００５５】図１３は、図１２のステップＳ１２０２における検索条件情報生成処理の詳細な流れを示すフローチャートである。同図において、まず、ステップＳ１３０１で前記図１２のステップＳ１２０１において得られたユーザーの検索条件を読み込む処理を行う。次に、ステップＳ１３０２で前記ステップＳ１３０１において読み込まれたユーザー指定の検索条件文から単語を抽出する処理、即ち形態素解析用辞書を使用して形態素解析処理を行う。
【００５６】次に、ステップＳ１３０３で検索文の文書ベクトル生成処理、即ち前記ステップＳ１３０２において抽出された単語から記憶装置１０７の辞書ＤＩＣ１０７ｂを検索し、単語毎の次元別の特徴量を得て、その総和から文書ベクトルを生成する処理を行う。
【００５７】これらのステップＳ１３０２及びステップＳ１３０３における処理は、前記図１１のステップＳ１１０１及びステップＳ１１０２における処理と同等の処理である。
【００５８】次に、ステップＳ１３０４で検索文の配置ベクトルを生成する処理を行う。次に、ステップＳ１３０５で、基準ベクトルセット展開処理、即ち前記ステップＳ１３０４において得られた配置ベクトルから基準ベクトルに展開する処理を行う。このステップＳ１３０４における配置ベクトルセット展開処理を終了後は、リターンする。
【００５９】図１４は、図１２のステップＳ１２０３における類似度生成格納処理の詳細な流れを示すフローチャートである。同図において、まず、ステップＳ１４０１で検索対象である文書ＤＢ１０７ａ内の文書を指定するカウンタＮに初期値１をセットし、次の、ステップＳ１４０２で文書ＤＢ１０７ａからＮ番目の文書の文書ベクトルと基準類似度を呼び出す処理を行う。
【００６０】次に、ステップＳ１４０３で前記ステップＳ１４０２において呼び出された基準類似度から前記ステップＳ１３０５において展開された基準ベクトルセットに対応した基準類似度のみを抽出する。次に、ステップＳ１４０４で基準類似度から類似度算出の対象になるか否かを判定する。
【００６１】図８に示した基準類似度の例では、前記ステップＳ１４０３において抽出された基準類似度の総和が０か否かで判定している。
【００６２】そして、前記ステップＳ１４０４において類似度算出の対象になると判定された場合は、ステップＳ１４０５で検索文の文書ベクトルと呼び出されている文書の文書ベクトルとから類似度を算出する。また、前記ステップＳ１４０４において類似度算出の対象にならないと判定された場合は、ステップＳ１４０６で前記ステップＳ１４０５において行われるような類似度算出処理は行わず、類似度を固定値０とする。
【００６３】前記ステップＳ１４０５或いは前記ステップＳ１４０６における処理が終了後は、ステップＳ１４０７で類似度格納処理、即ち前記ステップＳ１４０５において算出された類似度或いは前記ステップＳ１４０６においてセットされた類似度（＝０）を、文書ＤＢ１０７ａ或いはＲＡＭ１０４に格納し、前記図１２のステップＳ１２０４において参照する。
【００６４】次に、ステップＳ１４０８で文書ＤＢ１０７ａ内の検索対象文書に残りがあるか否かを判定する。そして、文書ＤＢ１０７ａ内の検索対象文書に残りがあると判定された場合は、ステップＳ１４０９でカウンタであるｎをカウントアップした後、前記ステップＳ１４０２へ戻り、検索条件適合値の算出を繰り返す。また、文書ＤＢ１０７ａ内の検索対象文書に残りがないと判定された場合は、リターンする。
【００６５】以上詳述したように、本実施の形態に係る文書検索処理方法及び装置によれば、特定の値を持つ基準ベクトルを複数用意し、基準ベクトルと検索対象となる文書の文書ベクトル間の基準類似度を生成し、検索クリエー文を用意された基準ベクトルのサブセットに展開し、該展開された基準ベクトルに応じた基準類似度で検索対象の文書を絞り込み、文書ベクトルと検索文の文書ベクトル間の類似度を算出することにより、処理負荷の高い文書類似度生成手段による文書類似度判定の負荷を大幅に削減することが可能となり、高速な文書検索が可能で、処理速度が向上するという効果を奏する。
【００６６】（他の実施の形態）上述した第１の実施の形態における基準類似度の算出方法は、１つの閾値αによって２段階の値（０または１）を取る方法であったが、本発明はこれに限られるものではなく、複数の閾値を用意し、２以上の段階の値を取らせることも可能である。また、基準ベクトルの配置方法の閾値βも同様である。その際に基準類似度の判定基準としての閾値を持たせることが可能である。また、事前に検索対象数を得る手法にした場合は、その値によって判定基準を動的に変化させることも可能である。
【００６７】また、上述した第１の実施の形態においては、基準類似度の算出、基準ベクトルの配置のいずれの閾値（αとβ）も固定の値をとる方法であったが、本発明はこれに限られるものではなく、その時点での文書ＤＢ内のベクトル及び検索文の基準ベクトルの特徴量から平均値等の統計処理した値を基に動的に変化させる方法も可能である。
【００６８】また、本発明は、単体の装置に限らず、複数の装置から構成されるシステムに適用可能である。また、それらの装置やシステムに記憶媒体や通信装置を使ってソフトウェアを提供することによっても実現可能であることは言うまでもない。
【００６９】この場合、本発明を達成するためのソフトウェアによって表わされる制御プログラムを格納した記憶媒体を、システム或いは装置に読み出すこと、或いは前記制御プログラムを、ネットワーク経由でシステム或いは装置に読み出すことによって、そのシステム或いは装置が本発明の効果を享受することが可能となる。
【００７０】また、前記制御プログラムを記憶するための記憶媒体としては、ハードディスク、フロッピー（登録商標）ディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ等を用いることができるのは言うまでもない。
【００７１】
【発明の効果】以上詳述したように、本発明の文書検索処理方法及び装置によれば、文書検索の処理速度が向上するという効果を奏する。
【００７２】また、本発明の記憶媒体によれば、上述したような本発明の文書検索処理装置を円滑に制御することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る文書検索処理装置のシステム構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る文書検索処理装置における文書検索結果の表示画面構成の一例を示す図である。
【図３】本発明の第１の実施の形態に係る文書検索処理装置における辞書ＤＩＣの構成の一例を示す図である。
【図４】本発明の第１の実施の形態に係る文書検索処理装置における文書の文書ベクトルの状態の一例を示す図である。
【図５】本発明の第１の実施の形態に係る文書検索処理装置における基準ベクトルＰの状態の一例を示す図である。
【図６】本発明の第１の実施の形態に係る文書検索処理装置における基準ベクトルＢＶの状態の一例を示す図である。
【図７】本発明の第１の実施の形態に係る文書検索処理装置における基準類似度の算出方法の一例を示す図である。
【図８】本発明の第１の実施の形態に係る文書検索処理装置における基準類似度ＢＳＶの状態の一例を示す図である。
【図９】本発明の第１の実施の形態に係る文書検索処理装置における検索文の展開方法を示す図である。
【図１０】本発明の第１の実施の形態に係る文書検索処理装置における文書検索処理動作全体の流れを示すフローチャートである。
【図１１】本発明の第１の実施の形態に係る文書検索処理装置における文書を文書ＤＢに登録する処理動作の流れを示すフローチャートである。
【図１２】本発明の第１の実施の形態に係る文書検索処理装置における文書検索実行処理動作の詳細な流れを示すフローチャートである。
【図１３】本発明の第１の実施の形態に係る文書検索処理装置における検索条件情報生成処理動作の詳細な流れを示すフローチャートである。
【図１４】本発明の第１の実施の形態に係る文書検索処理装置における類似度生成格納処理動作の詳細な流れを示すフローチャートである。
【符号の説明】
１０１ ＣＰＵ（マイクロプロセッサ：中央演算処理装置）
１０２ バス（ＢＵＳ）１０２
１０３ ＲＯＭ（リードオンリーメモリ）
１０４ ＲＡＭ（ランダムアクセスメモリ）
１０５ 入力装置
１０６ 表示装置
１０７ 記憶装置
１０７ａ 文書ファイルデータベース（文書ＤＢ）
１０７ｂ 辞書ＤＩＣ
１０８ 外部記憶装
１０９ 通信装置
【特許請求の範囲】
【請求項１】 文書を特徴付ける文書ベクトルを生成する文書ベクトル生成ステップと、文書ベクトル間から文書間の文書類似度を生成する文書類似度生成ステップと、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成する基準類似度生成ステップと、前記文書ベクトル生成ステップで生成された文書ベクトルを用いて前記文書類似度生成ステップによって生成された文書類似度によって類似文書を検索すると共に前記基準類似度生成ステップで生成された基準類似度をも用いて検索を行う文書検索ステップとを有することを特徴とする文書検索処理方法。
【請求項２】 検索対象の文書が検索以前に文書ベクトルと基準類似度を生成保持していることを特徴とする請求項１に記載の文書検索処理方法。
【請求項３】 文書を特徴付ける文書ベクトルを生成する文書ベクトル生成手段と、文書ベクトル間から文書間の文書類似度を生成する文書類似度生成手段と、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成する基準類似度生成手段と、前記文書ベクトル生成手段で生成された文書ベクトルを用いて前記文書類似度生成手段によって生成された文書類似度によって類似文書を検索すると共に前記基準類似度生成手段で生成された基準類似度をも用いて検索を行う文書検索手段とを有することを特徴とする文書検索処理装置。
【請求項４】 検索対象の文書が検索以前に文書ベクトルと基準類似度を生成保持していることを特徴とする請求項３に記載の文書検索処理装置。
【請求項５】 文書データを検索する文書検索処理装置を制御するためのコンピュータで読み取り可能な制御プログラムを格納した記憶媒体であって、前記制御プログラムは、文書を特徴付ける文書ベクトルを生成する文書ベクトル生成モジュールと、文書ベクトル間から文書間の文書類似度を生成する文書類似度生成モジュールと、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成する基準類似度生成モジュールと、前記文書ベクトル生成モジュールで生成された文書ベクトルを用いて前記文書類似度生成モジュールによって生成された文書類似度によって類似文書を検索すると共に前記基準類似度生成モジュールで生成された基準類似度をも用いて検索を行う文書検索モジュールとを有することを特徴とする記憶媒体。
【請求項６】 検索対象の文書が検索以前に文書ベクトルと基準類似度を生成保持していることを特徴とする請求項５に記載の記憶媒体。
【請求項１】 文書を特徴付ける文書ベクトルを生成する文書ベクトル生成ステップと、文書ベクトル間から文書間の文書類似度を生成する文書類似度生成ステップと、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成する基準類似度生成ステップと、前記文書ベクトル生成ステップで生成された文書ベクトルを用いて前記文書類似度生成ステップによって生成された文書類似度によって類似文書を検索すると共に前記基準類似度生成ステップで生成された基準類似度をも用いて検索を行う文書検索ステップとを有することを特徴とする文書検索処理方法。
【請求項２】 検索対象の文書が検索以前に文書ベクトルと基準類似度を生成保持していることを特徴とする請求項１に記載の文書検索処理方法。
【請求項３】 文書を特徴付ける文書ベクトルを生成する文書ベクトル生成手段と、文書ベクトル間から文書間の文書類似度を生成する文書類似度生成手段と、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成する基準類似度生成手段と、前記文書ベクトル生成手段で生成された文書ベクトルを用いて前記文書類似度生成手段によって生成された文書類似度によって類似文書を検索すると共に前記基準類似度生成手段で生成された基準類似度をも用いて検索を行う文書検索手段とを有することを特徴とする文書検索処理装置。
【請求項４】 検索対象の文書が検索以前に文書ベクトルと基準類似度を生成保持していることを特徴とする請求項３に記載の文書検索処理装置。
【請求項５】 文書データを検索する文書検索処理装置を制御するためのコンピュータで読み取り可能な制御プログラムを格納した記憶媒体であって、前記制御プログラムは、文書を特徴付ける文書ベクトルを生成する文書ベクトル生成モジュールと、文書ベクトル間から文書間の文書類似度を生成する文書類似度生成モジュールと、文書と独立して存在する複数の基準ベクトルと文書ベクトルとの類似度を生成する基準類似度生成モジュールと、前記文書ベクトル生成モジュールで生成された文書ベクトルを用いて前記文書類似度生成モジュールによって生成された文書類似度によって類似文書を検索すると共に前記基準類似度生成モジュールで生成された基準類似度をも用いて検索を行う文書検索モジュールとを有することを特徴とする記憶媒体。
【請求項６】 検索対象の文書が検索以前に文書ベクトルと基準類似度を生成保持していることを特徴とする請求項５に記載の記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図７】
【図８】
【図９】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図７】
【図８】
【図９】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００３−６２１４（Ｐ２００３−６２１４Ａ）
【公開日】平成１５年１月１０日（２００３．１．１０）
【国際特許分類】
【出願番号】特願２００１−１９３４４４（Ｐ２００１−１９３４４４）
【出願日】平成１３年６月２６日（２００１．６．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１５年１月１０日（２００３．１．１０）
【国際特許分類】
【出願日】平成１３年６月２６日（２００１．６．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]