文書群マスク装置、文書群マスク方法、プログラムおよび記録媒体
【課題】利用者が所望しない文書を排除する場合、利用者の意図に沿わない分類をすることが少ない文書群マスク装置、文書群マスク方法、プログラムおよび記録媒体を提供することを目的とする。
【解決手段】文書集合中の文書データ同士の距離を類似度等に基づいて計算し、閾値処理によって類似文書群（クラスタ）を生成し、利用者が、何らかの意図に基づいて、不可視状態とする指示を与えたクラスタに属する全文書を、一括して不可視状態にする。
【解決手段】文書集合中の文書データ同士の距離を類似度等に基づいて計算し、閾値処理によって類似文書群（クラスタ）を生成し、利用者が、何らかの意図に基づいて、不可視状態とする指示を与えたクラスタに属する全文書を、一括して不可視状態にする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、効率的な文書閲覧を支援するために、多数の文書が自動的に分類されている複数のクラスタの中から、利用者が指定した任意のクラスタに含まれている文書を非表示化し、以後増加する文書に対しても、利用者が過去に指定したクラスタ内の文書との類似度が高ければ、同様に非表示化する技術に関する。
【背景技術】
【０００２】
大量の文書を閲覧する場合、所望しない文書の存在が、閲覧効率を低下させる原因になる。利用者が所望しない文書を排除する手段として、ウェブページや電子メール等の文書を、必要な文書と不必要な文書とに予め分類し、各分類に含まれている文書の特徴を学習することによって、未知の文書が必要であるか不必要であるかを、自動的に判別する方法が知られている（たとえば、特許文献１参照）。
【０００３】
その他、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、クラスタリング等、予め与える必要／不必要の別に基づいて、未知の文書について、必要／不必要の別を判定する手法が、自然言語処理分野において多数提案されている。
【特許文献１】特開２００４−０４８４９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来例では、利用者が不必要であると判断した個々の文書との類似性に基づいて、未知の文書の必要／不必要を判定するので、どの程度の類似度を持つ文書までを不必要であると判定することが難しい。
【０００５】
つまり、上記従来例は、利用者が予めいくつかの文書データに、閲覧の要不要を判定し、それらの情報に基づいて、閲覧が必要な文書の特徴を数値化し、また、閲覧が不要な文書の特徴を数値化し、残りの各文書データについて、閲覧の要不要を自動判定する。
【０００６】
したがって、上記従来例では、結果的に利用者の意図に沿わない分類をすることが多いという問題がある。
【０００７】
本発明は、利用者が所望しない文書を排除する場合、利用者の意図に沿わない分類をすることが少ない文書群マスク装置、文書群マスク方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、文書集合中の文書データ同士の距離を類似度等に基づいて計算し、閾値処理によって類似文書群（クラスタ）を生成し、利用者が、何らかの意図に基づいて、不可視状態とする指示を与えたクラスタに属する全文書を、一括して不可視状態にする。
【発明の効果】
【０００９】
本発明によれば、利用者が所望しない文書を排除する場合、利用者の意図に沿わない分類をすることが少ないという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
発明を実施するための最良の形態は、以下の実施例である。
【実施例１】
【００１１】
実施例１では、全ての異なる文書間に距離つきのリンクが張られた文書グラフ構造ではなく、新規文書に対して、過去に入力した文書のうちで最も距離が近い文書（最近接文書）との間にのみ、距離付きのリンクを持った文書グラフ構造を生成する実施例である。
【００１２】
図１は、本発明の実施例１である文書群マスク装置１００を示すブロック図である。
【００１３】
文書群マスク装置１００は、文書記録部１と、文書グラフ構造記録部２と、文書グラフ構造更新部３と、クラスタリング部４と、非表示情報記録部５と、非表示情報更新部６と、初期クラスタ記録部７と、クラスタ加工表示部８と、制御部９とを有する。
【００１４】
文書記録部１は、入力した文書を蓄積する記録部であり、文書をベクトルで表現し、異なる文書との距離を、文書間の類似性に基づいて数値化して、蓄積する。
【００１５】
また、各文書に、識別可能な一意の文書ＩＤを付与する。文書データをベクトル空間モデルで表現する場合、文書から、単語、形態素、または固定長の文字列等の文字列を多数取得し、各文字列の文書中での出現回数、各文字列を含む文書の数等の統計情報から各文字列の重みを数値化することによって、文書をベクトルとして表現する。
【００１６】
文書からの文字列を取得する方法、重みを算出する方法として、既存の技術を用いればよく、またベクトル空間モデルとは異なる方法によって、類似性に基づく文書間の距離を決定するようにしてもよい。
【００１７】
文書グラフ構造記録部２は、文書記録部１に記録されている所定の文書に最も近い文書である最接近文書のＩＤである最接近文書ＩＤと、上記所定の文書と、上記最接近文書との距離との３つを１組として記録することによって、複数の文書が、距離付きのリンクで接続されている文書グラフ構造を記録する文書グラフ構造記録手段である。
【００１８】
文書グラフ構造更新部３は、文書記録部１に新たに入力された文書である新規文書と過去に入力済の文書との距離を算出し、上記最近接文書との距離とを、上記文書グラフ構造記録部２に記録させることによって、複数の文書が、距離付きのリンクで接続されている文書グラフ構造を更新する文書グラフ構造更新手段である。
【００１９】
クラスタリング部４は、予め定められた閾値、または利用者が指定する閾値に応じて、文書グラフ構造記録部２に記録されている文書を、複数のクラスタに分割する。なお、上記クラスタは、類似文書群である。
【００２０】
非表示情報記録部５は、非表示にすべき文書の文書ＩＤと、文書間の距離とを記録する。
【００２１】
非表示情報更新部６は、新規文書の最近接文書の文書ＩＤが、非表示情報記録部５に既に記録され、しかも上記新規文書と上記最近接文書との距離が、上記最近接文書とともに記録されている距離以下である場合に、上記新規文書を非表示情報記録部５に新規に記録させる。また、新たに記録する上記新規文書とともに記録する距離として、上記最近接文書とともに記録されている値を複写して使用する。なお、非表示情報記録部５に何も記録されていなければ、非表示情報記録部５へは追加記録しない。
【００２２】
初期クラスタ記録部７は、クラスタリング部４が生成したクラスタである初期クラスタを記録する。
【００２３】
クラスタ加工表示部８は、初期クラスタ記録部７に記録されている文書のうちで、非表示情報記録部５に記録されている文書を除いた残りの文書を、クラスタ毎に、画面上に表示する。さらに、表示結果を閲覧した利用者が、１以上のクラスタを指定した場合に、指定したクラスタのクラスタＩＤを、制御部９に送出する。非表示情報記録部５に何も記録されていない初期状態であれば、クラスタ加工表示部８は、初期クラスタ記録部７から取得したクラスタリングの結果を、そのまま表示する。
【００２４】
制御部９は、クラスタを構成する文書間のリンクについて、文書グラフ構造記録部２を参照して距離を獲得し、クラスタ内の文書間距離の最大値を算出し、クラスタ内の各文書の文書ＩＤと上記最大値とを、非表示情報記録部５に記録するように制御する。
【００２５】
このときに、記録の対象となった文書ＩＤが、非表示情報記録部５に既に記録されていれば、既に記録されている距離と、記録しようとする上記最大値とを比較し、既に記録されている距離が上記最大値以下である場合にのみ、制御部９が、上記文書ＩＤに対応する距離を、上記最大値で置き換えて、非表示情報記録部５のデータを修正する。
【００２６】
次に、実施例１において、文書グラフ構造更新部３の動作について説明する。
【００２７】
図２は、実施例１において、文書グラフ構造更新部３の動作を示すフローチャートである。
【００２８】
文書グラフ構造更新部３は、図２に示す手順で、文書グラフ構造記録部２に記録した情報を更新する。
【００２９】
Ｓ１で、文書記録部１に新規に入力した文書である新規文書の文書ＩＤとベクトルとを取得する。Ｓ２で、文書グラフ構造記録部２に１以上の文書が既に記録されているかどうかを判定する。新規文書が２番目以降に入力した文書であり、文書グラフ構造記録部２に１以上の文書が既に記録されていれば、Ｓ３に進む。上記新規文書が最初の文書であれば、文書グラフ構造記録部２に記録されている文書は、存在しないので、Ｓ５に進む。
【００３０】
Ｓ３で、文書グラフ構造記録部２に既に記録されている文書の文書ＩＤを全て取得し、各文書のベクトルを、文書記録部１から取得し、各ベクトルを新規文書のベクトルと比較し、文書間の距離を算出する。
【００３１】
Ｓ４では、Ｓ３で算出した距離に基づいて、新規文書からの距離が最も小さい文書が、「最近接文書」であると判定し、上記新規文書の文書ＩＤと、上記最近接文書の文書ＩＤと、上記２文書間の距離とを、文書グラフ構造記録部２と非表示情報更新部６とに送出し、処理を終わる。
【００３２】
一方、Ｓ５では、新規文書の文書ＩＤのみを、文書グラフ構造記録部２に記録し、処理を終わる。
【００３３】
図３は、文書グラフ構造記録部２に記録されているデータの例を示す図である。
【００３４】
文書記録部１に、文書ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６、…の順に、文書を入力したとする。文書ｄ１は、最初の文書であるので、最近接文書の欄は記載されていない。文書ｄ２を入力した時点では、文書は、ｄ１しか存在しないので、必然的に、最近接文書は、文書ｄ１である。以後、上記と同様に、新規文書の文書ＩＤが、最近接文書の文書ＩＤと距離とともに蓄積される。
【００３５】
図４は、実施例１において、文書グラフ構造記録部２に記録されているデータを図式化した例（文書グラフ構造の例）を示す図である。
【００３６】
図４において、○印は、文書を示す。○印の内部に記載されているｄ１、ｄ２等は、それぞれ文書ＩＤである。文書ｄ２から文書ｄ１に向かう矢印は、文書ｄ２の最近接文書が、文書ｄ１であることを示し、上記矢印の横に添えられている数値は、文書ｄ１と文書ｄ２との距離を示す。
【００３７】
クラスタリング部４に、たとえば閾値０．５が与えられると、図４において、距離が０．５以下である文書同士が接続される。
【００３８】
図５は、実施例１において、閾値を０．５として生成したクラスタの例を示す図である。
【００３９】
この結果、距離が０．１である文書ｄ４と文書ｄ３とが接続され、距離が０．５である文書ｄ３と文書ｄ１とが接続され、距離が０．３である文書ｄ６と文書ｄ２とが接続される。そして、図５に示すように、文書ｄ１とｄ３とｄ４とからなるクラスタＣ１と、文書ｄ２とｄ６とからなるクラスタＣ２と、文書ｄ５のみからなるクラスタＣ３との合計３クラスタが生成される。クラスタリング部４は、生成したクラスタを識別するために、このように、クラスタＣ１〜Ｃ３という一意なクラスタＩＤを付与する。
【００４０】
図６は、実施例１において、初期クラスタ記録部７に記録されているデータの例を示す図である。
【００４１】
各クラスタのクラスタＩＤと、各クラスタに含まれている文書の文書ＩＤとの一覧を、図６に示すように初期クラスタ記録部７に記録する。
【００４２】
非表示情報記録部５に何も記録されていない状態では、クラスタ加工表示部８は、初期クラスタ記録部７から取得したクラスタリングの結果を、そのまま表示する。
【００４３】
図７は、実施例１において、クラスタ加工表示部８の画面に表示されている例を示す図である。
【００４４】
画面上には、クラスタＩＤと各クラスタに属する文書ＩＤとを表示するが、クラスタに属する文書の概要を把握し易くするために、図７に示すように、各文書の本文の一部を文書記録部１か、図示しない記録部等から取得し、文書ＩＤと並べて表示するようにしてもよい。その他、文書のタイトル、作成時刻、作者等、付随する情報を取得可能であれば、別途これらを取得し、表示するようにしてもよい。
【００４５】
図７に示すように表示されている画面を閲覧した利用者が、１以上のクラスタを指定すると、クラスタ加工表示部８は、指定されたクラスタのクラスタＩＤを、制御部９に送出する。
【００４６】
次に、制御部９の動作について説明する。
【００４７】
図８は、実施例１において、制御部９の動作を示すフローチャートである。
【００４８】
図７を閲覧した利用者が、「○○会議」を扱った文書からなるクラスタＣ１について、表示することが不必要であると判断し、クラスタＣ１を指定したとする。
【００４９】
制御部９は、Ｓ１１で、指定されたクラスタＣ１に含まれている文書ＩＤ一覧「ｄ１」「ｄ３」「ｄ４」を、初期クラスタ記録部７から取得する。
【００５０】
Ｓ１２で、クラスタ内の文書数が２以上であるかどうかを判断する。クラスタ内の文書数が２以上であれば、Ｓ１３で、既に取得した文書の文書ＩＤに基づいて文書グラフ構造記録部２を参照し、クラスタを構成する各文書間の距離の最大値を取得する。
【００５１】
クラスタＣ１の場合、図５によれば、ｄ３からｄ１への距離が０．５、ｄ４からｄ３への距離が０．１であるので、距離の最大値は０．５である。ただし、１文書からなるクラスタを指定した場合、クラスタを構成する文書間の距離を定義することができないので、Ｓ１４で、クラスタリング部４に与えられた閾値（本例では０．５）を、文書間距離の最大値であるとみなし、次ステップに進む。
【００５２】
Ｓ１７では、Ｓ１１で取得した文書ＩＤのそれぞれを、Ｓ１３で取得した距離の最大値と対応付け、非表示情報記録部５に記録し、処理を終わる。
【００５３】
ただし、このステップにおいて、記録しようとする文書が、非表示情報記録部５に既に存在すれば（Ｓ１５）、記録しようとする距離と、既に記録されている距離とを比較し、記録しようとする距離が、既に記録されている距離よりも大きければ、上書きするが、記録しようとする距離が、既に記録されている距離以下であれば、距離の置き換えを行わない。つまり、一旦非表示情報記録部５に記録した文書の距離は、より小さな値で置き換えられることはない。
【００５４】
同時に複数のクラスタを複数指定した場合、それぞれのクラスタに対して、Ｓ１１〜Ｓ１７の処理を実行する。
【００５５】
図９は、実施例１において、非表示情報記録部５に記録されているデータの例を示す図である。
【００５６】
利用者が指定したクラスタＣ１に含まれている文書ｄ１、ｄ３、ｄ４について、それぞれ距離０．５が記録されている。
【００５７】
クラスタ加工表示部８が行う処理について、非表示情報記録部５内に何も記録されない初期状態における動作のみを説明した。
【００５８】
次に、図９に示すような情報が記録されている状態における動作について説明する。
【００５９】
クラスタ加工表示部８は、初期クラスタ記録部７に記録されているクラスタに含まれている文書のうちで、非表示情報記録部５に記録されている文書を除いて表示する。
【００６０】
図１０は、実施例１において、閾値を０．６で生成したクラスタの例を示す図である。
【００６１】
図１１は、実施例１において、クラスタ加工表示部８の画面において一部の文書が削除された表示例を示す図である。
【００６２】
たとえば、クラスタリング部４が、前例とは異なる閾値０．６に基づいて処理した場合、図１０に示すように、文書ｄ１、ｄ２、ｄ３、ｄ４、ｄ６からなるクラスタＣ１１と、文書ｄ５のみからなるクラスタＣ１２とが生成され、非表示情報記録部５に記録されている文書ｄ１、ｄ３、ｄ４の３文書を除き、クラスタＣ１１は、文書ｄ２とｄ６とからなるクラスタへ加工された結果、図１１に示すように表示される。
【００６３】
クラスタ内の全ての文書が非表示情報記録部５に記録されている場合、そのクラスタを表示しない。
【００６４】
最後に、非表示情報更新部６が行う動作について説明する。
【００６５】
図１２は、実施例１において、新規文書が入力される度に、非表示情報更新部６が行う動作を示すフローチャートである。
【００６６】
文書グラフ構造更新部３から、新規文書の文書ＩＤと、最近接文書の文書ＩＤと、上記２文書間の距離とを受け取ると、Ｓ２１で、上記最近接文書の文書ＩＤが、非表示情報記録部５に存在するかどうかを問い合わせる。
【００６７】
上記最近接文書の文書ＩＤが、非表示情報記録部５に存在しなければ（Ｓ２１のＮＯ）、処理を終え、次の新規文書の入力を待つ。上記最近接文書の文書ＩＤが、非表示情報記録部５に存在すれば（Ｓ２１のＹＥＳ）、Ｓ２２で、文書グラフ構造更新部３から受け取った上記２文書間の距離と、非表示情報記録部５において最近接文書とともに記録された距離とを比較する。
【００６８】
文書グラフ構造更新部３から受け取った上記２文書間の距離が、非表示情報記録部５において最近接文書とともに記録された距離以下であれば（Ｓ２２のＹＥＳ）、Ｓ２３に進む。文書グラフ構造更新部３から受け取った上記２文書間の距離が、非表示情報記録部５において最近接文書とともに記録された距離よりも大きければ（Ｓ２２のＮＯ）、ここで処理を終え、次の新規文書の入力を待つ。
【００６９】
Ｓ２３で、新規文書を非表示情報記録部５に記録する。記録する内容は、文書ＩＤと距離とであり、このうちで、距離は、最近接文書とともに記録されている距離と同じ値を複写する。
【００７０】
以下、実施例１において、非表示情報記録部５に記録されているものがある場合、非表示情報更新部６の処理の具体例について説明する。
【００７１】
非表示情報記録部５には、図９に示すデータが記録されているとする。新規文書の文書ＩＤが文書ｄ１０であり、文書ｄ１０の最近接文書の文書ＩＤが文書ｄ１であり、文書ｄ１０とｄ１との距離が０．３であるとする。この場合、非表示情報記録部５には、最近接部文書ｄ１が存在し、文書ｄ１０とｄ１との距離０．３が、文書ｄ１とともに記録されている距離０．５以下であるので、Ｓ２３を実行する。この結果、非表示情報記録部５には、文書ＩＤがｄ１０であり、距離が０．５である行が追加記録される。
【００７２】
非表示情報記録部５に最近接文書ｄ１が存在しないか、または存在しても、文書ｄ１とともに記録された距離０．５よりも、文書ｄ１０とｄ１との距離が大きい場合、非表示情報記録部５へは追加記録しない。このように、非表示情報記録部５へ追加記録しないのは、着目している文書ｄ１０と、非表示情報記録部５に記録されている最近接文書ｄ１（非表示文書）との類似性が低いと判断されるからである。
【００７３】
非表示情報更新部６が行う上記処理は、文書を入力するタイミングによらず、非表示情報記録部５に記録した内容を維持するための処理である。従来、利用者がクラスタを指定した時点で、上記クラスタに含まれている文書のみを非表示情報記録部に記録し、その後にクラスタを指定すると、指定したクラスタが消える（表示されなくなる）。次回以降のクラスタリング時も、非表示情報記録部５に記録されている文書は、表示されない。つまり、利用者が指定することによって記録された情報が保持されている。また、新規文書が追加されると、必要に応じて、新規文書も非表示情報記録部５に追加される。
【００７４】
ここで、文書群マスク装置１００に非表示情報更新部６が設けられていない場合について考える。この場合、利用者が「不要である」と思ったクラスタを指定すると、上記指定されたクラスタ内の文書が、非表示情報記録部５に記録されるので、以後は表示されない。利用者が「不要である」と思った文書の類似文書が、新規文書として追加されると、上記類似文社が表示される。上記類似文書も「不要である」と思えば、利用者は、不要なクラスタを再び指定せざるを得ず、不便であるという問題が生じる。
【００７５】
そこで、利用者が「不要である」と感じた文書との類似度が高い（距離が近い）文書についても、非表示情報として自動的に取り込むことによって、上記不便であるという問題を解決することができる。
【００７６】
しかし、実施例１によれば、実際には、利用者がクラスタを指定した後に入力された文書であっても、この文書が、上記指定したクラスタ内の文書との類似性が高い文書であれば（仮にクラスタ指定前に入力されていたとしたら、同じクラスタに属している文書であれば）、事後であっても、非表示情報記録部５に記録される。すなわち、上記実施例は、クラスタリングのための閾値が変更され、クラスタ分類結果が変更された場合でも、変更前に既に不可視状態に置かれていた各文書データは、非表示情報記録部５に残っているので、その不可視状態が継承さる。
【００７７】
また、文書集合に、新たな文書データが追加された場合、既に不可視状態に置かれたクラスタに、上記追加された新たな文書データが属していれば、不可視状態に置かれる。
【００７８】
これらの処理によって、利用者が指示したクラスタの不可視化に関する情報を、クラスタ分類結果の変更時や、新規文書データの追加時に、適切に継承させることができ、利用者の意図が適切に反映されたクラスタ表示ができる。
【００７９】
つまり、上記実施例によれば、文書単位ではなく、クラスタ単位で不必要な文書を指定するので、文書の必要／不必要のみではなく、互いに類似性の高い文書で構成されるクラスタであるかどうか、すなわち不必要であるとして指定した文書群の、概念的な分布の広さも、同時に学習することができる。このために、新規に追加された未知の文書に対する判定基準が明確であり、利用者の意図を正確に反映した判定を行うことができる。
【００８０】
上記実施例において、文書ＩＤの代わりに、文書のタイトル、文書自体を使用するようにしてもよい。ここで、文書ＩＤ、文書のタイトル、文書自体を包含した概念が文書識別子である。また、上記最接近文書ＩＤ（最近接文書の文書ＩＤ）の代わりに、最接近文書のタイトル、最接近文書自体を使用するようにしてもよい。ここで、最接近文書ＩＤ（最近接文書の文書ＩＤ）、最接近文書のタイトル、最接近文書自体を包含した概念が最接近文書識別子である。
【００８１】
つまり、上記実施例は、文書記録部に記録されている所定の文書に最も近い文書である最接近文書の識別子である最接近文書識別子と、上記所定の文書と、上記最接近文書との距離との３つを１組として記録することによって、複数の文書が、距離付きのリンクで接続されている文書グラフ構造を記録する文書グラフ構造記録手段と、予め定められた閾値、または利用者が指定する閾値に応じて、上記文書グラフ構造記録手段に記録されている文書を、複数のクラスタに分割するクラスタリング部と、非表示にすべき文書の識別子である文書識別子と、文書間の距離とを記録する非表示情報記録手段と、クラスタリング部４が生成したクラスタである初期クラスタを記録する初期クラスタ記録手段とを有する文書群マスク装置である。
【００８２】
この場合、上記文書記録部に新たに入力された文書である新規文書と過去に入力済の文書との距離を算出し、上記最近接文書との距離とを、上記文書グラフ構造記録手段に記録させることによって、複数の文書が、距離付きのリンクで接続されている文書グラフ構造を更新する文書グラフ構造更新手段を有する。
【００８３】
また、上記文書記録部に新たに入力された文書である新規文書の最近接文書の最接近文書識別子が、上記非表示情報記録手段に既に記録され、しかも上記新規文書と上記最近接文書との距離が、上記最近接文書とともに記録されている距離以下である場合に、上記新規文書を上記非表示情報記録手段に新規に記録させる非表示情報更新手段を有する。
【００８４】
さらに、上記文書グラフ構造更新手段において、新たに記録する上記新規文書とともに記録する距離として、上記最近接文書とともに記録されている値を複写して使用する。
【００８５】
しかも、上記初期クラスタ記録手段に記録されている文書のうちで、上記非表示情報記録手段に記録されている文書を除いた残りの文書を、クラスタ毎に、画面上に表示するクラスタ加工表示手段を有する。
【００８６】
そして、クラスタを構成する文書間のリンクについて、上記文書グラフ構造記録手段を参照して距離を獲得し、クラスタ内の文書間距離の最大値を算出し、クラスタ内の各文書の文書ＩＤと上記最大値とを、上記非表示情報記録手段に記録するように制御する制御手段を有する。
【００８７】
加えて、記録の対象となった文書の文書識別子が、上記非表示情報記録手段に既に記録されていれば、既に記録されている距離と、記録しようとする上記最大値とを比較し、既に記録されている距離が上記最大値以下である場合にのみ、上記制御手段が、上記文書ＩＤに対応する距離を、上記最大値で置き換えて、上記非表示情報記録手段のデータを修正する。
【００８８】
また、上記実施例を方法の発明として把握することができる。つまり、上記実施例は、文書記録部に新規に入力した文書である新規文書の識別子である文書識別子とベクトルとを取得する段階と、文書グラフ構造記録部に文書が既に記録されているかどうかを判定し、記憶装置に記憶する段階と、新規文書が２番目以降に入力した文書であり、上記文書グラフ構造記録部に文書が既に記録されていれば、上記文書グラフ構造記録部に既に記録されている文書の文書識別子を全て取得し、各文書のベクトルを、上記文書記録部から取得し、各ベクトルを新規文書のベクトルと比較し、文書間の距離を算出し、記憶装置に記憶する段階と、上記算出した距離のうちで、新規文書からの距離が最も小さい文書が、最近接文書であると判定し、上記新規文書の文書識別子と、上記最近接文書の最接近文書識別子と、上記２文書間の距離とを、上記文書グラフ構造記録部と非表示情報更新部とに送出する段階とを有する文書群マスク方法である。
【００８９】
さらに、上記実施例は、指定されたクラスタに含まれている文書の識別子である文書識別子一覧を、初期クラスタ記録部から取得する段階と、クラスタ内の文書数が２以上であるかどうかを判断し、記憶装置に記憶する段階と、クラスタ内の文書数が２以上であれば、既に取得した文書の文書識別子に基づいて文書グラフ構造記録部を参照し、クラスタを構成する各文書間の距離の最大値を取得し、記憶装置に記憶する段階と、上記取得した文書識別子のそれぞれを、上記取得した距離の最大値と対応付け、非表示情報記録手段に記録する段階とを有する文書群マスク方法である。
【００９０】
この場合、記録しようとする文書が、上記非表示情報記録手段に既に存在すれば、記録しようとする距離と、既に記録されている距離とを比較し、記録しようとする距離が、既に記録されている距離よりも大きければ、上書きするが、記録しようとする距離が、既に記録されている距離以下であれば、距離の置き換えを行わない。
【００９１】
しかも、上記実施例は、文書グラフ構造更新部から、新規文書の識別子である文書識別子と、最近接文書の識別子である最接近文書識別子と、上記２文書間の距離とを受け取ると、上記最近接文書識別子が、非表示情報記録部に存在するかどうかを問い合わせる段階と、上記最近接文書識別子が、上記非表示情報記録に存在すれば、上記文書グラフ構造更新部から受け取った上記２文書間の距離と、上記非表示情報記録部において最近接文書とともに記録されている距離とを比較し、記憶装置に記憶する段階と、上記文書グラフ構造更新部から受け取った上記２文書間の距離が、上記非表示情報記録部において最近接文書とともに記録された距離以下であれば、上記新規文書を上記非表示情報記録部に記録する段階とを有する文書群マスク方法である。
【００９２】
この場合、上記記録する内容は、文書識別子と距離とであり、この距離として、上記最近接文書とともに記録されている距離と同じ値を複写する。
【００９３】
また、上記実施例を、プログラムの発明として把握することができる。つまり、上記実施例は、請求項８〜請求項１２のうちの少なくとも１つの請求項に記載の方法をコンピュータに実行させるプログラムの例である。
【００９４】
さらに、上記実施例を記録媒体として把握することができる。つまり、上記実施例は、請求項８〜請求項１２のうちの少なくとも１つの請求項に記載の方法をコンピュータに実行させるプログラムを記録したコンピュータ読取可能な記録媒体の例である。この記録媒体の例は、ＣＤ、ＤＶＤ、ＨＤ、光磁気ディスク、半導体メモリ等である。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施例１である文書群マスク装置１００を示すブロック図である。
【図２】実施例１において、文書グラフ構造更新部３の動作を示すフローチャートである。
【図３】文書グラフ構造記録部２に記録されているデータの例を示す図である。
【図４】実施例１において、文書グラフ構造記録部２に記録されているデータを図式化した例（文書グラフ構造の例）を示す図である。
【図５】実施例１において、閾値を０．５として生成したクラスタの例を示す図である。
【図６】実施例１において、初期クラスタ記録部７に記録されているデータの例を示す図である。
【図７】実施例１において、クラスタ加工表示部８の画面に表示されている例を示す図である。
【図８】実施例１において、制御部９の動作を示すフローチャートである。
【図９】実施例１において、非表示情報記録部５に記録されているデータの例を示す図である。
【図１０】実施例１において、閾値を０．６で生成したクラスタの例を示す図である。
【図１１】実施例１において、クラスタ加工表示部８の画面において一部の文書が削除された表示例を示す図である。
【図１２】実施例１において、新規文書が入力される度に、非表示情報更新部６が行う動作を示すフローチャートである。
【符号の説明】
【００９６】
１００…文書群マスク装置、
１…文書記録部、
２…文書グラフ構造記録部、
３…文書グラフ構造更新部、
４…クラスタリング部、
５…非表示情報記録部、
６…非表示情報更新部、
７…初期クラスタ記録部、
８…クラスタ加工表示部、
９…制御部。
【技術分野】
【０００１】
本発明は、効率的な文書閲覧を支援するために、多数の文書が自動的に分類されている複数のクラスタの中から、利用者が指定した任意のクラスタに含まれている文書を非表示化し、以後増加する文書に対しても、利用者が過去に指定したクラスタ内の文書との類似度が高ければ、同様に非表示化する技術に関する。
【背景技術】
【０００２】
大量の文書を閲覧する場合、所望しない文書の存在が、閲覧効率を低下させる原因になる。利用者が所望しない文書を排除する手段として、ウェブページや電子メール等の文書を、必要な文書と不必要な文書とに予め分類し、各分類に含まれている文書の特徴を学習することによって、未知の文書が必要であるか不必要であるかを、自動的に判別する方法が知られている（たとえば、特許文献１参照）。
【０００３】
その他、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、クラスタリング等、予め与える必要／不必要の別に基づいて、未知の文書について、必要／不必要の別を判定する手法が、自然言語処理分野において多数提案されている。
【特許文献１】特開２００４−０４８４９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来例では、利用者が不必要であると判断した個々の文書との類似性に基づいて、未知の文書の必要／不必要を判定するので、どの程度の類似度を持つ文書までを不必要であると判定することが難しい。
【０００５】
つまり、上記従来例は、利用者が予めいくつかの文書データに、閲覧の要不要を判定し、それらの情報に基づいて、閲覧が必要な文書の特徴を数値化し、また、閲覧が不要な文書の特徴を数値化し、残りの各文書データについて、閲覧の要不要を自動判定する。
【０００６】
したがって、上記従来例では、結果的に利用者の意図に沿わない分類をすることが多いという問題がある。
【０００７】
本発明は、利用者が所望しない文書を排除する場合、利用者の意図に沿わない分類をすることが少ない文書群マスク装置、文書群マスク方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、文書集合中の文書データ同士の距離を類似度等に基づいて計算し、閾値処理によって類似文書群（クラスタ）を生成し、利用者が、何らかの意図に基づいて、不可視状態とする指示を与えたクラスタに属する全文書を、一括して不可視状態にする。
【発明の効果】
【０００９】
本発明によれば、利用者が所望しない文書を排除する場合、利用者の意図に沿わない分類をすることが少ないという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
発明を実施するための最良の形態は、以下の実施例である。
【実施例１】
【００１１】
実施例１では、全ての異なる文書間に距離つきのリンクが張られた文書グラフ構造ではなく、新規文書に対して、過去に入力した文書のうちで最も距離が近い文書（最近接文書）との間にのみ、距離付きのリンクを持った文書グラフ構造を生成する実施例である。
【００１２】
図１は、本発明の実施例１である文書群マスク装置１００を示すブロック図である。
【００１３】
文書群マスク装置１００は、文書記録部１と、文書グラフ構造記録部２と、文書グラフ構造更新部３と、クラスタリング部４と、非表示情報記録部５と、非表示情報更新部６と、初期クラスタ記録部７と、クラスタ加工表示部８と、制御部９とを有する。
【００１４】
文書記録部１は、入力した文書を蓄積する記録部であり、文書をベクトルで表現し、異なる文書との距離を、文書間の類似性に基づいて数値化して、蓄積する。
【００１５】
また、各文書に、識別可能な一意の文書ＩＤを付与する。文書データをベクトル空間モデルで表現する場合、文書から、単語、形態素、または固定長の文字列等の文字列を多数取得し、各文字列の文書中での出現回数、各文字列を含む文書の数等の統計情報から各文字列の重みを数値化することによって、文書をベクトルとして表現する。
【００１６】
文書からの文字列を取得する方法、重みを算出する方法として、既存の技術を用いればよく、またベクトル空間モデルとは異なる方法によって、類似性に基づく文書間の距離を決定するようにしてもよい。
【００１７】
文書グラフ構造記録部２は、文書記録部１に記録されている所定の文書に最も近い文書である最接近文書のＩＤである最接近文書ＩＤと、上記所定の文書と、上記最接近文書との距離との３つを１組として記録することによって、複数の文書が、距離付きのリンクで接続されている文書グラフ構造を記録する文書グラフ構造記録手段である。
【００１８】
文書グラフ構造更新部３は、文書記録部１に新たに入力された文書である新規文書と過去に入力済の文書との距離を算出し、上記最近接文書との距離とを、上記文書グラフ構造記録部２に記録させることによって、複数の文書が、距離付きのリンクで接続されている文書グラフ構造を更新する文書グラフ構造更新手段である。
【００１９】
クラスタリング部４は、予め定められた閾値、または利用者が指定する閾値に応じて、文書グラフ構造記録部２に記録されている文書を、複数のクラスタに分割する。なお、上記クラスタは、類似文書群である。
【００２０】
非表示情報記録部５は、非表示にすべき文書の文書ＩＤと、文書間の距離とを記録する。
【００２１】
非表示情報更新部６は、新規文書の最近接文書の文書ＩＤが、非表示情報記録部５に既に記録され、しかも上記新規文書と上記最近接文書との距離が、上記最近接文書とともに記録されている距離以下である場合に、上記新規文書を非表示情報記録部５に新規に記録させる。また、新たに記録する上記新規文書とともに記録する距離として、上記最近接文書とともに記録されている値を複写して使用する。なお、非表示情報記録部５に何も記録されていなければ、非表示情報記録部５へは追加記録しない。
【００２２】
初期クラスタ記録部７は、クラスタリング部４が生成したクラスタである初期クラスタを記録する。
【００２３】
クラスタ加工表示部８は、初期クラスタ記録部７に記録されている文書のうちで、非表示情報記録部５に記録されている文書を除いた残りの文書を、クラスタ毎に、画面上に表示する。さらに、表示結果を閲覧した利用者が、１以上のクラスタを指定した場合に、指定したクラスタのクラスタＩＤを、制御部９に送出する。非表示情報記録部５に何も記録されていない初期状態であれば、クラスタ加工表示部８は、初期クラスタ記録部７から取得したクラスタリングの結果を、そのまま表示する。
【００２４】
制御部９は、クラスタを構成する文書間のリンクについて、文書グラフ構造記録部２を参照して距離を獲得し、クラスタ内の文書間距離の最大値を算出し、クラスタ内の各文書の文書ＩＤと上記最大値とを、非表示情報記録部５に記録するように制御する。
【００２５】
このときに、記録の対象となった文書ＩＤが、非表示情報記録部５に既に記録されていれば、既に記録されている距離と、記録しようとする上記最大値とを比較し、既に記録されている距離が上記最大値以下である場合にのみ、制御部９が、上記文書ＩＤに対応する距離を、上記最大値で置き換えて、非表示情報記録部５のデータを修正する。
【００２６】
次に、実施例１において、文書グラフ構造更新部３の動作について説明する。
【００２７】
図２は、実施例１において、文書グラフ構造更新部３の動作を示すフローチャートである。
【００２８】
文書グラフ構造更新部３は、図２に示す手順で、文書グラフ構造記録部２に記録した情報を更新する。
【００２９】
Ｓ１で、文書記録部１に新規に入力した文書である新規文書の文書ＩＤとベクトルとを取得する。Ｓ２で、文書グラフ構造記録部２に１以上の文書が既に記録されているかどうかを判定する。新規文書が２番目以降に入力した文書であり、文書グラフ構造記録部２に１以上の文書が既に記録されていれば、Ｓ３に進む。上記新規文書が最初の文書であれば、文書グラフ構造記録部２に記録されている文書は、存在しないので、Ｓ５に進む。
【００３０】
Ｓ３で、文書グラフ構造記録部２に既に記録されている文書の文書ＩＤを全て取得し、各文書のベクトルを、文書記録部１から取得し、各ベクトルを新規文書のベクトルと比較し、文書間の距離を算出する。
【００３１】
Ｓ４では、Ｓ３で算出した距離に基づいて、新規文書からの距離が最も小さい文書が、「最近接文書」であると判定し、上記新規文書の文書ＩＤと、上記最近接文書の文書ＩＤと、上記２文書間の距離とを、文書グラフ構造記録部２と非表示情報更新部６とに送出し、処理を終わる。
【００３２】
一方、Ｓ５では、新規文書の文書ＩＤのみを、文書グラフ構造記録部２に記録し、処理を終わる。
【００３３】
図３は、文書グラフ構造記録部２に記録されているデータの例を示す図である。
【００３４】
文書記録部１に、文書ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６、…の順に、文書を入力したとする。文書ｄ１は、最初の文書であるので、最近接文書の欄は記載されていない。文書ｄ２を入力した時点では、文書は、ｄ１しか存在しないので、必然的に、最近接文書は、文書ｄ１である。以後、上記と同様に、新規文書の文書ＩＤが、最近接文書の文書ＩＤと距離とともに蓄積される。
【００３５】
図４は、実施例１において、文書グラフ構造記録部２に記録されているデータを図式化した例（文書グラフ構造の例）を示す図である。
【００３６】
図４において、○印は、文書を示す。○印の内部に記載されているｄ１、ｄ２等は、それぞれ文書ＩＤである。文書ｄ２から文書ｄ１に向かう矢印は、文書ｄ２の最近接文書が、文書ｄ１であることを示し、上記矢印の横に添えられている数値は、文書ｄ１と文書ｄ２との距離を示す。
【００３７】
クラスタリング部４に、たとえば閾値０．５が与えられると、図４において、距離が０．５以下である文書同士が接続される。
【００３８】
図５は、実施例１において、閾値を０．５として生成したクラスタの例を示す図である。
【００３９】
この結果、距離が０．１である文書ｄ４と文書ｄ３とが接続され、距離が０．５である文書ｄ３と文書ｄ１とが接続され、距離が０．３である文書ｄ６と文書ｄ２とが接続される。そして、図５に示すように、文書ｄ１とｄ３とｄ４とからなるクラスタＣ１と、文書ｄ２とｄ６とからなるクラスタＣ２と、文書ｄ５のみからなるクラスタＣ３との合計３クラスタが生成される。クラスタリング部４は、生成したクラスタを識別するために、このように、クラスタＣ１〜Ｃ３という一意なクラスタＩＤを付与する。
【００４０】
図６は、実施例１において、初期クラスタ記録部７に記録されているデータの例を示す図である。
【００４１】
各クラスタのクラスタＩＤと、各クラスタに含まれている文書の文書ＩＤとの一覧を、図６に示すように初期クラスタ記録部７に記録する。
【００４２】
非表示情報記録部５に何も記録されていない状態では、クラスタ加工表示部８は、初期クラスタ記録部７から取得したクラスタリングの結果を、そのまま表示する。
【００４３】
図７は、実施例１において、クラスタ加工表示部８の画面に表示されている例を示す図である。
【００４４】
画面上には、クラスタＩＤと各クラスタに属する文書ＩＤとを表示するが、クラスタに属する文書の概要を把握し易くするために、図７に示すように、各文書の本文の一部を文書記録部１か、図示しない記録部等から取得し、文書ＩＤと並べて表示するようにしてもよい。その他、文書のタイトル、作成時刻、作者等、付随する情報を取得可能であれば、別途これらを取得し、表示するようにしてもよい。
【００４５】
図７に示すように表示されている画面を閲覧した利用者が、１以上のクラスタを指定すると、クラスタ加工表示部８は、指定されたクラスタのクラスタＩＤを、制御部９に送出する。
【００４６】
次に、制御部９の動作について説明する。
【００４７】
図８は、実施例１において、制御部９の動作を示すフローチャートである。
【００４８】
図７を閲覧した利用者が、「○○会議」を扱った文書からなるクラスタＣ１について、表示することが不必要であると判断し、クラスタＣ１を指定したとする。
【００４９】
制御部９は、Ｓ１１で、指定されたクラスタＣ１に含まれている文書ＩＤ一覧「ｄ１」「ｄ３」「ｄ４」を、初期クラスタ記録部７から取得する。
【００５０】
Ｓ１２で、クラスタ内の文書数が２以上であるかどうかを判断する。クラスタ内の文書数が２以上であれば、Ｓ１３で、既に取得した文書の文書ＩＤに基づいて文書グラフ構造記録部２を参照し、クラスタを構成する各文書間の距離の最大値を取得する。
【００５１】
クラスタＣ１の場合、図５によれば、ｄ３からｄ１への距離が０．５、ｄ４からｄ３への距離が０．１であるので、距離の最大値は０．５である。ただし、１文書からなるクラスタを指定した場合、クラスタを構成する文書間の距離を定義することができないので、Ｓ１４で、クラスタリング部４に与えられた閾値（本例では０．５）を、文書間距離の最大値であるとみなし、次ステップに進む。
【００５２】
Ｓ１７では、Ｓ１１で取得した文書ＩＤのそれぞれを、Ｓ１３で取得した距離の最大値と対応付け、非表示情報記録部５に記録し、処理を終わる。
【００５３】
ただし、このステップにおいて、記録しようとする文書が、非表示情報記録部５に既に存在すれば（Ｓ１５）、記録しようとする距離と、既に記録されている距離とを比較し、記録しようとする距離が、既に記録されている距離よりも大きければ、上書きするが、記録しようとする距離が、既に記録されている距離以下であれば、距離の置き換えを行わない。つまり、一旦非表示情報記録部５に記録した文書の距離は、より小さな値で置き換えられることはない。
【００５４】
同時に複数のクラスタを複数指定した場合、それぞれのクラスタに対して、Ｓ１１〜Ｓ１７の処理を実行する。
【００５５】
図９は、実施例１において、非表示情報記録部５に記録されているデータの例を示す図である。
【００５６】
利用者が指定したクラスタＣ１に含まれている文書ｄ１、ｄ３、ｄ４について、それぞれ距離０．５が記録されている。
【００５７】
クラスタ加工表示部８が行う処理について、非表示情報記録部５内に何も記録されない初期状態における動作のみを説明した。
【００５８】
次に、図９に示すような情報が記録されている状態における動作について説明する。
【００５９】
クラスタ加工表示部８は、初期クラスタ記録部７に記録されているクラスタに含まれている文書のうちで、非表示情報記録部５に記録されている文書を除いて表示する。
【００６０】
図１０は、実施例１において、閾値を０．６で生成したクラスタの例を示す図である。
【００６１】
図１１は、実施例１において、クラスタ加工表示部８の画面において一部の文書が削除された表示例を示す図である。
【００６２】
たとえば、クラスタリング部４が、前例とは異なる閾値０．６に基づいて処理した場合、図１０に示すように、文書ｄ１、ｄ２、ｄ３、ｄ４、ｄ６からなるクラスタＣ１１と、文書ｄ５のみからなるクラスタＣ１２とが生成され、非表示情報記録部５に記録されている文書ｄ１、ｄ３、ｄ４の３文書を除き、クラスタＣ１１は、文書ｄ２とｄ６とからなるクラスタへ加工された結果、図１１に示すように表示される。
【００６３】
クラスタ内の全ての文書が非表示情報記録部５に記録されている場合、そのクラスタを表示しない。
【００６４】
最後に、非表示情報更新部６が行う動作について説明する。
【００６５】
図１２は、実施例１において、新規文書が入力される度に、非表示情報更新部６が行う動作を示すフローチャートである。
【００６６】
文書グラフ構造更新部３から、新規文書の文書ＩＤと、最近接文書の文書ＩＤと、上記２文書間の距離とを受け取ると、Ｓ２１で、上記最近接文書の文書ＩＤが、非表示情報記録部５に存在するかどうかを問い合わせる。
【００６７】
上記最近接文書の文書ＩＤが、非表示情報記録部５に存在しなければ（Ｓ２１のＮＯ）、処理を終え、次の新規文書の入力を待つ。上記最近接文書の文書ＩＤが、非表示情報記録部５に存在すれば（Ｓ２１のＹＥＳ）、Ｓ２２で、文書グラフ構造更新部３から受け取った上記２文書間の距離と、非表示情報記録部５において最近接文書とともに記録された距離とを比較する。
【００６８】
文書グラフ構造更新部３から受け取った上記２文書間の距離が、非表示情報記録部５において最近接文書とともに記録された距離以下であれば（Ｓ２２のＹＥＳ）、Ｓ２３に進む。文書グラフ構造更新部３から受け取った上記２文書間の距離が、非表示情報記録部５において最近接文書とともに記録された距離よりも大きければ（Ｓ２２のＮＯ）、ここで処理を終え、次の新規文書の入力を待つ。
【００６９】
Ｓ２３で、新規文書を非表示情報記録部５に記録する。記録する内容は、文書ＩＤと距離とであり、このうちで、距離は、最近接文書とともに記録されている距離と同じ値を複写する。
【００７０】
以下、実施例１において、非表示情報記録部５に記録されているものがある場合、非表示情報更新部６の処理の具体例について説明する。
【００７１】
非表示情報記録部５には、図９に示すデータが記録されているとする。新規文書の文書ＩＤが文書ｄ１０であり、文書ｄ１０の最近接文書の文書ＩＤが文書ｄ１であり、文書ｄ１０とｄ１との距離が０．３であるとする。この場合、非表示情報記録部５には、最近接部文書ｄ１が存在し、文書ｄ１０とｄ１との距離０．３が、文書ｄ１とともに記録されている距離０．５以下であるので、Ｓ２３を実行する。この結果、非表示情報記録部５には、文書ＩＤがｄ１０であり、距離が０．５である行が追加記録される。
【００７２】
非表示情報記録部５に最近接文書ｄ１が存在しないか、または存在しても、文書ｄ１とともに記録された距離０．５よりも、文書ｄ１０とｄ１との距離が大きい場合、非表示情報記録部５へは追加記録しない。このように、非表示情報記録部５へ追加記録しないのは、着目している文書ｄ１０と、非表示情報記録部５に記録されている最近接文書ｄ１（非表示文書）との類似性が低いと判断されるからである。
【００７３】
非表示情報更新部６が行う上記処理は、文書を入力するタイミングによらず、非表示情報記録部５に記録した内容を維持するための処理である。従来、利用者がクラスタを指定した時点で、上記クラスタに含まれている文書のみを非表示情報記録部に記録し、その後にクラスタを指定すると、指定したクラスタが消える（表示されなくなる）。次回以降のクラスタリング時も、非表示情報記録部５に記録されている文書は、表示されない。つまり、利用者が指定することによって記録された情報が保持されている。また、新規文書が追加されると、必要に応じて、新規文書も非表示情報記録部５に追加される。
【００７４】
ここで、文書群マスク装置１００に非表示情報更新部６が設けられていない場合について考える。この場合、利用者が「不要である」と思ったクラスタを指定すると、上記指定されたクラスタ内の文書が、非表示情報記録部５に記録されるので、以後は表示されない。利用者が「不要である」と思った文書の類似文書が、新規文書として追加されると、上記類似文社が表示される。上記類似文書も「不要である」と思えば、利用者は、不要なクラスタを再び指定せざるを得ず、不便であるという問題が生じる。
【００７５】
そこで、利用者が「不要である」と感じた文書との類似度が高い（距離が近い）文書についても、非表示情報として自動的に取り込むことによって、上記不便であるという問題を解決することができる。
【００７６】
しかし、実施例１によれば、実際には、利用者がクラスタを指定した後に入力された文書であっても、この文書が、上記指定したクラスタ内の文書との類似性が高い文書であれば（仮にクラスタ指定前に入力されていたとしたら、同じクラスタに属している文書であれば）、事後であっても、非表示情報記録部５に記録される。すなわち、上記実施例は、クラスタリングのための閾値が変更され、クラスタ分類結果が変更された場合でも、変更前に既に不可視状態に置かれていた各文書データは、非表示情報記録部５に残っているので、その不可視状態が継承さる。
【００７７】
また、文書集合に、新たな文書データが追加された場合、既に不可視状態に置かれたクラスタに、上記追加された新たな文書データが属していれば、不可視状態に置かれる。
【００７８】
これらの処理によって、利用者が指示したクラスタの不可視化に関する情報を、クラスタ分類結果の変更時や、新規文書データの追加時に、適切に継承させることができ、利用者の意図が適切に反映されたクラスタ表示ができる。
【００７９】
つまり、上記実施例によれば、文書単位ではなく、クラスタ単位で不必要な文書を指定するので、文書の必要／不必要のみではなく、互いに類似性の高い文書で構成されるクラスタであるかどうか、すなわち不必要であるとして指定した文書群の、概念的な分布の広さも、同時に学習することができる。このために、新規に追加された未知の文書に対する判定基準が明確であり、利用者の意図を正確に反映した判定を行うことができる。
【００８０】
上記実施例において、文書ＩＤの代わりに、文書のタイトル、文書自体を使用するようにしてもよい。ここで、文書ＩＤ、文書のタイトル、文書自体を包含した概念が文書識別子である。また、上記最接近文書ＩＤ（最近接文書の文書ＩＤ）の代わりに、最接近文書のタイトル、最接近文書自体を使用するようにしてもよい。ここで、最接近文書ＩＤ（最近接文書の文書ＩＤ）、最接近文書のタイトル、最接近文書自体を包含した概念が最接近文書識別子である。
【００８１】
つまり、上記実施例は、文書記録部に記録されている所定の文書に最も近い文書である最接近文書の識別子である最接近文書識別子と、上記所定の文書と、上記最接近文書との距離との３つを１組として記録することによって、複数の文書が、距離付きのリンクで接続されている文書グラフ構造を記録する文書グラフ構造記録手段と、予め定められた閾値、または利用者が指定する閾値に応じて、上記文書グラフ構造記録手段に記録されている文書を、複数のクラスタに分割するクラスタリング部と、非表示にすべき文書の識別子である文書識別子と、文書間の距離とを記録する非表示情報記録手段と、クラスタリング部４が生成したクラスタである初期クラスタを記録する初期クラスタ記録手段とを有する文書群マスク装置である。
【００８２】
この場合、上記文書記録部に新たに入力された文書である新規文書と過去に入力済の文書との距離を算出し、上記最近接文書との距離とを、上記文書グラフ構造記録手段に記録させることによって、複数の文書が、距離付きのリンクで接続されている文書グラフ構造を更新する文書グラフ構造更新手段を有する。
【００８３】
また、上記文書記録部に新たに入力された文書である新規文書の最近接文書の最接近文書識別子が、上記非表示情報記録手段に既に記録され、しかも上記新規文書と上記最近接文書との距離が、上記最近接文書とともに記録されている距離以下である場合に、上記新規文書を上記非表示情報記録手段に新規に記録させる非表示情報更新手段を有する。
【００８４】
さらに、上記文書グラフ構造更新手段において、新たに記録する上記新規文書とともに記録する距離として、上記最近接文書とともに記録されている値を複写して使用する。
【００８５】
しかも、上記初期クラスタ記録手段に記録されている文書のうちで、上記非表示情報記録手段に記録されている文書を除いた残りの文書を、クラスタ毎に、画面上に表示するクラスタ加工表示手段を有する。
【００８６】
そして、クラスタを構成する文書間のリンクについて、上記文書グラフ構造記録手段を参照して距離を獲得し、クラスタ内の文書間距離の最大値を算出し、クラスタ内の各文書の文書ＩＤと上記最大値とを、上記非表示情報記録手段に記録するように制御する制御手段を有する。
【００８７】
加えて、記録の対象となった文書の文書識別子が、上記非表示情報記録手段に既に記録されていれば、既に記録されている距離と、記録しようとする上記最大値とを比較し、既に記録されている距離が上記最大値以下である場合にのみ、上記制御手段が、上記文書ＩＤに対応する距離を、上記最大値で置き換えて、上記非表示情報記録手段のデータを修正する。
【００８８】
また、上記実施例を方法の発明として把握することができる。つまり、上記実施例は、文書記録部に新規に入力した文書である新規文書の識別子である文書識別子とベクトルとを取得する段階と、文書グラフ構造記録部に文書が既に記録されているかどうかを判定し、記憶装置に記憶する段階と、新規文書が２番目以降に入力した文書であり、上記文書グラフ構造記録部に文書が既に記録されていれば、上記文書グラフ構造記録部に既に記録されている文書の文書識別子を全て取得し、各文書のベクトルを、上記文書記録部から取得し、各ベクトルを新規文書のベクトルと比較し、文書間の距離を算出し、記憶装置に記憶する段階と、上記算出した距離のうちで、新規文書からの距離が最も小さい文書が、最近接文書であると判定し、上記新規文書の文書識別子と、上記最近接文書の最接近文書識別子と、上記２文書間の距離とを、上記文書グラフ構造記録部と非表示情報更新部とに送出する段階とを有する文書群マスク方法である。
【００８９】
さらに、上記実施例は、指定されたクラスタに含まれている文書の識別子である文書識別子一覧を、初期クラスタ記録部から取得する段階と、クラスタ内の文書数が２以上であるかどうかを判断し、記憶装置に記憶する段階と、クラスタ内の文書数が２以上であれば、既に取得した文書の文書識別子に基づいて文書グラフ構造記録部を参照し、クラスタを構成する各文書間の距離の最大値を取得し、記憶装置に記憶する段階と、上記取得した文書識別子のそれぞれを、上記取得した距離の最大値と対応付け、非表示情報記録手段に記録する段階とを有する文書群マスク方法である。
【００９０】
この場合、記録しようとする文書が、上記非表示情報記録手段に既に存在すれば、記録しようとする距離と、既に記録されている距離とを比較し、記録しようとする距離が、既に記録されている距離よりも大きければ、上書きするが、記録しようとする距離が、既に記録されている距離以下であれば、距離の置き換えを行わない。
【００９１】
しかも、上記実施例は、文書グラフ構造更新部から、新規文書の識別子である文書識別子と、最近接文書の識別子である最接近文書識別子と、上記２文書間の距離とを受け取ると、上記最近接文書識別子が、非表示情報記録部に存在するかどうかを問い合わせる段階と、上記最近接文書識別子が、上記非表示情報記録に存在すれば、上記文書グラフ構造更新部から受け取った上記２文書間の距離と、上記非表示情報記録部において最近接文書とともに記録されている距離とを比較し、記憶装置に記憶する段階と、上記文書グラフ構造更新部から受け取った上記２文書間の距離が、上記非表示情報記録部において最近接文書とともに記録された距離以下であれば、上記新規文書を上記非表示情報記録部に記録する段階とを有する文書群マスク方法である。
【００９２】
この場合、上記記録する内容は、文書識別子と距離とであり、この距離として、上記最近接文書とともに記録されている距離と同じ値を複写する。
【００９３】
また、上記実施例を、プログラムの発明として把握することができる。つまり、上記実施例は、請求項８〜請求項１２のうちの少なくとも１つの請求項に記載の方法をコンピュータに実行させるプログラムの例である。
【００９４】
さらに、上記実施例を記録媒体として把握することができる。つまり、上記実施例は、請求項８〜請求項１２のうちの少なくとも１つの請求項に記載の方法をコンピュータに実行させるプログラムを記録したコンピュータ読取可能な記録媒体の例である。この記録媒体の例は、ＣＤ、ＤＶＤ、ＨＤ、光磁気ディスク、半導体メモリ等である。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施例１である文書群マスク装置１００を示すブロック図である。
【図２】実施例１において、文書グラフ構造更新部３の動作を示すフローチャートである。
【図３】文書グラフ構造記録部２に記録されているデータの例を示す図である。
【図４】実施例１において、文書グラフ構造記録部２に記録されているデータを図式化した例（文書グラフ構造の例）を示す図である。
【図５】実施例１において、閾値を０．５として生成したクラスタの例を示す図である。
【図６】実施例１において、初期クラスタ記録部７に記録されているデータの例を示す図である。
【図７】実施例１において、クラスタ加工表示部８の画面に表示されている例を示す図である。
【図８】実施例１において、制御部９の動作を示すフローチャートである。
【図９】実施例１において、非表示情報記録部５に記録されているデータの例を示す図である。
【図１０】実施例１において、閾値を０．６で生成したクラスタの例を示す図である。
【図１１】実施例１において、クラスタ加工表示部８の画面において一部の文書が削除された表示例を示す図である。
【図１２】実施例１において、新規文書が入力される度に、非表示情報更新部６が行う動作を示すフローチャートである。
【符号の説明】
【００９６】
１００…文書群マスク装置、
１…文書記録部、
２…文書グラフ構造記録部、
３…文書グラフ構造更新部、
４…クラスタリング部、
５…非表示情報記録部、
６…非表示情報更新部、
７…初期クラスタ記録部、
８…クラスタ加工表示部、
９…制御部。
【特許請求の範囲】
【請求項１】
文書記録部に記録されている所定の文書に最も近い文書である最接近文書の識別子である最接近文書識別子と、上記所定の文書と、上記最接近文書との距離との３つを１組として記録することによって、複数の文書が、距離付きのリンクで接続されている文書グラフ構造を記録する文書グラフ構造記録手段と；
予め定められた閾値、または利用者が指定する閾値に応じて、上記文書グラフ構造記録手段に記録されている文書を、複数のクラスタに分割するクラスタリング部と；
非表示にすべき文書の識別子である文書識別子と、文書間の距離とを記録する非表示情報記録手段と；
クラスタリング部４が生成したクラスタである初期クラスタを記録する初期クラスタ記録手段と；
を有することを特徴とする文書群マスク装置。
【請求項２】
請求項１において、
上記文書記録部に新たに入力された文書である新規文書と過去に入力済の文書との距離を算出し、上記最近接文書との距離とを、上記文書グラフ構造記録手段に記録させることによって、複数の文書が、距離付きのリンクで接続されている文書グラフ構造を更新する文書グラフ構造更新手段を有することを特徴とする文書群マスク装置。
【請求項３】
請求項１または請求項２において、
上記文書記録部に新たに入力された文書である新規文書の最近接文書の最接近文書識別子が、上記非表示情報記録手段に既に記録され、しかも上記新規文書と上記最近接文書との距離が、上記最近接文書とともに記録されている距離以下である場合に、上記新規文書を上記非表示情報記録手段に新規に記録させる非表示情報更新手段を有することを特徴とする文書群マスク装置。
【請求項４】
請求項２において、
上記文書グラフ構造更新手段において、新たに記録する上記新規文書とともに記録する距離として、上記最近接文書とともに記録されている値を複写して使用することを特徴とする文書群マスク装置。
【請求項５】
請求項１〜請求項４のいずれか１項において、
上記初期クラスタ記録手段に記録されている文書のうちで、上記非表示情報記録手段に記録されている文書を除いた残りの文書を、クラスタ毎に、画面上に表示するクラスタ加工表示手段を有することを特徴とする文書群マスク装置。
【請求項６】
請求項１〜請求項５のいずれか１項において、
クラスタを構成する文書間のリンクについて、上記文書グラフ構造記録手段を参照して距離を獲得し、クラスタ内の文書間距離の最大値を算出し、クラスタ内の各文書の文書ＩＤと上記最大値とを、上記非表示情報記録手段に記録するように制御する制御手段を有することを特徴とする文書群マスク装置。
【請求項７】
請求項５において、
記録の対象となった文書の文書識別子が、上記非表示情報記録手段に既に記録されていれば、既に記録されている距離と、記録しようとする上記最大値とを比較し、既に記録されている距離が上記最大値以下である場合にのみ、上記制御手段が、上記文書ＩＤに対応する距離を、上記最大値で置き換えて、上記非表示情報記録手段のデータを修正することを特徴とする文書群マスク装置。
【請求項８】
文書記録部に新規に入力した文書である新規文書の識別子である文書識別子とベクトルとを取得する段階と；
文書グラフ構造記録部に文書が既に記録されているかどうかを判定し、記憶装置に記憶する段階と；
新規文書が２番目以降に入力した文書であり、上記文書グラフ構造記録部に文書が既に記録されていれば、上記文書グラフ構造記録部に既に記録されている文書の文書識別子を全て取得し、各文書のベクトルを、上記文書記録部から取得し、各ベクトルを新規文書のベクトルと比較し、文書間の距離を算出し、記憶装置に記憶する段階と；
上記算出した距離のうちで、新規文書からの距離が最も小さい文書が、最近接文書であると判定し、上記新規文書の文書識別子と、上記最近接文書の最接近文書識別子と、上記２文書間の距離とを、上記文書グラフ構造記録部と非表示情報更新部とに送出する段階と；
を有することを特徴とする文書群マスク方法。
【請求項９】
指定されたクラスタに含まれている文書の識別子である文書識別子一覧を、初期クラスタ記録部から取得する段階と；
クラスタ内の文書数が２以上であるかどうかを判断し、記憶装置に記憶する段階と；
クラスタ内の文書数が２以上であれば、既に取得した文書の文書識別子に基づいて文書グラフ構造記録部を参照し、クラスタを構成する各文書間の距離の最大値を取得し、記憶装置に記憶する段階と；
上記取得した文書識別子のそれぞれを、上記取得した距離の最大値と対応付け、非表示情報記録手段に記録する段階と；
を有することを特徴とする文書群マスク方法。
【請求項１０】
請求項９において、
記録しようとする文書が、上記非表示情報記録手段に既に存在すれば、記録しようとする距離と、既に記録されている距離とを比較し、記録しようとする距離が、既に記録されている距離よりも大きければ、上書きするが、記録しようとする距離が、既に記録されている距離以下であれば、距離の置き換えを行わないことを特徴とする文書群マスク方法。
【請求項１１】
文書グラフ構造更新部から、新規文書の識別子である文書識別子と、最近接文書の識別子である最接近文書識別子と、上記２文書間の距離とを受け取ると、上記最近接文書識別子が、非表示情報記録部に存在するかどうかを問い合わせる段階と；
上記最近接文書識別子が、上記非表示情報記録に存在すれば、上記文書グラフ構造更新部から受け取った上記２文書間の距離と、上記非表示情報記録部において最近接文書とともに記録されている距離とを比較し、記憶装置に記憶する段階と；
上記文書グラフ構造更新部から受け取った上記２文書間の距離が、上記非表示情報記録部において最近接文書とともに記録された距離以下であれば、上記新規文書を上記非表示情報記録部に記録する段階と；
を有することを特徴とする文書群マスク方法。
【請求項１２】
請求項１１において、
上記記録する内容は、文書識別子と距離とであり、この距離として、上記最近接文書とともに記録されている距離と同じ値を複写することを特徴とする文書群マスク方法。
【請求項１３】
請求項８〜請求項１２のうちの少なくとも１つの請求項に記載の方法をコンピュータに実行させるプログラム。
【請求項１４】
請求項８〜請求項１２のうちの少なくとも１つの請求項に記載の方法をコンピュータに実行させるプログラムを記録したコンピュータ読取可能な記録媒体。
【請求項１】
文書記録部に記録されている所定の文書に最も近い文書である最接近文書の識別子である最接近文書識別子と、上記所定の文書と、上記最接近文書との距離との３つを１組として記録することによって、複数の文書が、距離付きのリンクで接続されている文書グラフ構造を記録する文書グラフ構造記録手段と；
予め定められた閾値、または利用者が指定する閾値に応じて、上記文書グラフ構造記録手段に記録されている文書を、複数のクラスタに分割するクラスタリング部と；
非表示にすべき文書の識別子である文書識別子と、文書間の距離とを記録する非表示情報記録手段と；
クラスタリング部４が生成したクラスタである初期クラスタを記録する初期クラスタ記録手段と；
を有することを特徴とする文書群マスク装置。
【請求項２】
請求項１において、
上記文書記録部に新たに入力された文書である新規文書と過去に入力済の文書との距離を算出し、上記最近接文書との距離とを、上記文書グラフ構造記録手段に記録させることによって、複数の文書が、距離付きのリンクで接続されている文書グラフ構造を更新する文書グラフ構造更新手段を有することを特徴とする文書群マスク装置。
【請求項３】
請求項１または請求項２において、
上記文書記録部に新たに入力された文書である新規文書の最近接文書の最接近文書識別子が、上記非表示情報記録手段に既に記録され、しかも上記新規文書と上記最近接文書との距離が、上記最近接文書とともに記録されている距離以下である場合に、上記新規文書を上記非表示情報記録手段に新規に記録させる非表示情報更新手段を有することを特徴とする文書群マスク装置。
【請求項４】
請求項２において、
上記文書グラフ構造更新手段において、新たに記録する上記新規文書とともに記録する距離として、上記最近接文書とともに記録されている値を複写して使用することを特徴とする文書群マスク装置。
【請求項５】
請求項１〜請求項４のいずれか１項において、
上記初期クラスタ記録手段に記録されている文書のうちで、上記非表示情報記録手段に記録されている文書を除いた残りの文書を、クラスタ毎に、画面上に表示するクラスタ加工表示手段を有することを特徴とする文書群マスク装置。
【請求項６】
請求項１〜請求項５のいずれか１項において、
クラスタを構成する文書間のリンクについて、上記文書グラフ構造記録手段を参照して距離を獲得し、クラスタ内の文書間距離の最大値を算出し、クラスタ内の各文書の文書ＩＤと上記最大値とを、上記非表示情報記録手段に記録するように制御する制御手段を有することを特徴とする文書群マスク装置。
【請求項７】
請求項５において、
記録の対象となった文書の文書識別子が、上記非表示情報記録手段に既に記録されていれば、既に記録されている距離と、記録しようとする上記最大値とを比較し、既に記録されている距離が上記最大値以下である場合にのみ、上記制御手段が、上記文書ＩＤに対応する距離を、上記最大値で置き換えて、上記非表示情報記録手段のデータを修正することを特徴とする文書群マスク装置。
【請求項８】
文書記録部に新規に入力した文書である新規文書の識別子である文書識別子とベクトルとを取得する段階と；
文書グラフ構造記録部に文書が既に記録されているかどうかを判定し、記憶装置に記憶する段階と；
新規文書が２番目以降に入力した文書であり、上記文書グラフ構造記録部に文書が既に記録されていれば、上記文書グラフ構造記録部に既に記録されている文書の文書識別子を全て取得し、各文書のベクトルを、上記文書記録部から取得し、各ベクトルを新規文書のベクトルと比較し、文書間の距離を算出し、記憶装置に記憶する段階と；
上記算出した距離のうちで、新規文書からの距離が最も小さい文書が、最近接文書であると判定し、上記新規文書の文書識別子と、上記最近接文書の最接近文書識別子と、上記２文書間の距離とを、上記文書グラフ構造記録部と非表示情報更新部とに送出する段階と；
を有することを特徴とする文書群マスク方法。
【請求項９】
指定されたクラスタに含まれている文書の識別子である文書識別子一覧を、初期クラスタ記録部から取得する段階と；
クラスタ内の文書数が２以上であるかどうかを判断し、記憶装置に記憶する段階と；
クラスタ内の文書数が２以上であれば、既に取得した文書の文書識別子に基づいて文書グラフ構造記録部を参照し、クラスタを構成する各文書間の距離の最大値を取得し、記憶装置に記憶する段階と；
上記取得した文書識別子のそれぞれを、上記取得した距離の最大値と対応付け、非表示情報記録手段に記録する段階と；
を有することを特徴とする文書群マスク方法。
【請求項１０】
請求項９において、
記録しようとする文書が、上記非表示情報記録手段に既に存在すれば、記録しようとする距離と、既に記録されている距離とを比較し、記録しようとする距離が、既に記録されている距離よりも大きければ、上書きするが、記録しようとする距離が、既に記録されている距離以下であれば、距離の置き換えを行わないことを特徴とする文書群マスク方法。
【請求項１１】
文書グラフ構造更新部から、新規文書の識別子である文書識別子と、最近接文書の識別子である最接近文書識別子と、上記２文書間の距離とを受け取ると、上記最近接文書識別子が、非表示情報記録部に存在するかどうかを問い合わせる段階と；
上記最近接文書識別子が、上記非表示情報記録に存在すれば、上記文書グラフ構造更新部から受け取った上記２文書間の距離と、上記非表示情報記録部において最近接文書とともに記録されている距離とを比較し、記憶装置に記憶する段階と；
上記文書グラフ構造更新部から受け取った上記２文書間の距離が、上記非表示情報記録部において最近接文書とともに記録された距離以下であれば、上記新規文書を上記非表示情報記録部に記録する段階と；
を有することを特徴とする文書群マスク方法。
【請求項１２】
請求項１１において、
上記記録する内容は、文書識別子と距離とであり、この距離として、上記最近接文書とともに記録されている距離と同じ値を複写することを特徴とする文書群マスク方法。
【請求項１３】
請求項８〜請求項１２のうちの少なくとも１つの請求項に記載の方法をコンピュータに実行させるプログラム。
【請求項１４】
請求項８〜請求項１２のうちの少なくとも１つの請求項に記載の方法をコンピュータに実行させるプログラムを記録したコンピュータ読取可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−２８７４９４（Ｐ２００８−２８７４９４Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１３１７２２（Ｐ２００７−１３１７２２）
【出願日】平成１９年５月１７日（２００７．５．１７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１９年５月１７日（２００７．５．１７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]