類似文書判定方法、類似文書判定装置及び類似文書判定プログラム
【課題】被判定文書が比較対象の文書を改変したものであるか否かを判定する。
【解決手段】比較対象文書の判定処理用データを予め判定処理用データ蓄積部１３に蓄積しておき、被判定文書を前処理部１１へ入力して被判定文書の判定処理用データを生成し、類似判定処理部１２が判定処理用データ蓄積部１３から比較対象文書の判定処理用データを一つずつ読み出して被判定文書の判定処理用データと比較し、類似判定処理部１２が保持する判定処理基準に基づいて類似判定処理を行う。これにより、被判定文書が比較対象文書を改変したものであるか否かを判定することができる。
【解決手段】比較対象文書の判定処理用データを予め判定処理用データ蓄積部１３に蓄積しておき、被判定文書を前処理部１１へ入力して被判定文書の判定処理用データを生成し、類似判定処理部１２が判定処理用データ蓄積部１３から比較対象文書の判定処理用データを一つずつ読み出して被判定文書の判定処理用データと比較し、類似判定処理部１２が保持する判定処理基準に基づいて類似判定処理を行う。これにより、被判定文書が比較対象文書を改変したものであるか否かを判定することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト文書の改変を検出する技術に関する。
【背景技術】
【０００２】
今後普及が見込まれている電子書籍提供サービスにおいて、サービス実施企業が、提供する電子書籍の内容が既存の他の著作物と同一であるか否かを判定することが重要となる。例えば、他人の著作物を、悪意をもって、その著作物とは異なるように見せかける処理を施すことによって、不正な利益を得ることを防ぐ作業が必要である。
【０００３】
一方、文書を検索する技術としては、映像中の字幕（テロップ）や、プログラムのソースコードの一部など、少ない単語や単語群を用い、コンテンツ全体（字幕ならば映像、プログラムの一部なら全部）を入手することを目的とする技術や、限られた文字をキーワードとして入力し、文書のインデクスと照合することによって目的とする文書を抽出する技術が存在する。また、文書を検索するシステムの一つとして特許検索システムも存在する。
【０００４】
さらに、非特許文献１のように、統計情報を用いて作者の真贋性を判定する技術も知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２９６３０５号公報
【非特許文献】
【０００６】
【非特許文献１】金、「計量文体学から見たテキストマインニング」、ＥＳＴＲＥＬＡ、統計情報研究開発センター、２００７年５月、Ｎｏ．１５８、ｐ．２−７
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の文書を検索する技術は、少ない情報を入力することによって、所望の文書を入手することが目的であり、手元にある文書と類似している別の文書を見つけ出すことを目的とするものではない。これは、手元には既に文書が存在しているので検索して入手する必要がないためである。
【０００８】
特許検索システムは、類似する文書（特許文書）を検索して入手することが目的であるが、全く同一の文書を抽出するものではなく、意味的に類似する部分が多い文書を抽出することを目的とするものであった。
【０００９】
統計情報を用いて作者の真贋性を判定する技術は、文書の統計的情報の傾向から著者を推定するものであり、処理時間を要して判定することを前提としていた。また、これも手元の文書と同一の文書がないかどうかを抽出することを目的とするものではない。
【００１０】
このように、いずれの技術も、悪意をもって改変された文書を対象として、改変される前の同一の文書を抽出する目的には適切とは言えない。
【００１１】
本発明は、上記に鑑みてなされたものであり、被判定文書が比較対象の文書を改変したものであるか否かを判定することを目的とする。
【課題を解決するための手段】
【００１２】
第１の類似文書判定方法は、文書を入力して当該文書を統計処理し、判定処理用データを得るステップと、比較対象文書を統計処理して得られた比較対象文書の判定処理用データを蓄積する蓄積手段から読み出した前記比較対象文書の判定処理用データと判定対象文書を統計処理して得られた判定対象文書の判定処理用データとを判定基準に基づいて比較し、前記比較対象文書と前記判定対象文書が類似しているか否か判定するステップと、を有することを特徴とする。
【００１３】
上記類似文書判定方法において、前記判定処理用データは、前記文書中に現れる各自立語の出現頻度であり、前記判定するステップは、前記比較対象文書と前記判定対象文書の自立語の出現頻度の順位毎の出現頻度の比の積が所定の範囲内である場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする。
【００１４】
上記類似文書判定方法において、前記判定処理用データは、前記文書の段落数、文の数であり、前記判定するステップは、前記比較対象文書と前記判定対象文書の段落数、文の数が同じである場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする。
【００１５】
第２の本発明に係る類似文書判定装置は、文書を入力して当該文書を統計処理し、判定処理用データを得る統計処理手段と、前記統計処理手段により比較対象文書を統計処理して得られた比較対象文書の判定処理用データを蓄積する蓄積手段と、前記統計処理手段により判定対象文書を統計処理して得られた判定対象文書の判定処理用データと前記蓄積手段から読み出した前記比較対象文書の判定処理用データとを判定基準に基づいて比較し、前記比較対象文書と前記判定対象文書が類似しているか否か判定する類似判定手段と、を有することを特徴とする。
【００１６】
上記類似文書判定装置において、前記判定処理用データは、前記文書中に現れる各自立語の出現頻度であり、前記類似判定手段は、前記比較対象文書と前記判定対象文書の自立語の出現頻度の順位毎の出現頻度の比の積が所定の範囲内である場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする。
【００１７】
上記類似文書判定装置において、前記判定処理用データは、前記文書の段落数、文の数であり、前記類似判定手段は、前記比較対象文書と前記判定対象文書の段落数、文の数が同じである場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする。
【００１８】
第３の本発明に係る類似文書判定プログラムは、上記類似文書判定方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、被判定文書が比較対象の文書を改変したものであるか否かを判定することができる。
【図面の簡単な説明】
【００２０】
【図１】本実施の形態における類似文書判定装置の構成を示す機能ブロック図である。
【図２】本実施の形態における類似文書判定装置の処理の流れを示す説明図である。
【図３】文書中に出現する単語の数を出現回数の多い順に並べたヒストグラムである。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について図面を用いて説明する。
【００２２】
図１は、本実施の形態における類似文書判定装置の構成を示す機能ブロック図である。同図に示す類似文書判定装置１は、前処理部１１、類似判定処理部１２、判定処理用データ蓄積部１３および出力部１４を備える。類似文書判定装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは類似文書判定装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００２３】
前処理部１１は、文書を入力してその文書を統計処理し、文書中の単語出現頻度、段落数、文の数などの判定処理用データを得る。比較対象文書を前処理して得られた判定処理用データは、判定処理用データ蓄積部１３に蓄積される。判定処理用データ蓄積部１３には、複数の比較対象文書の判定処理用データを予め蓄積させておく。比較対象文書と類似判定しなければならない被判定文書を前処理して得られた判定処理用データは、類似判定処理部１２へ送られる。
【００２４】
類似判定処理部１２は、前処理部１１から被判定文書の判定処理データを受け取り、判定処理用データ蓄積部１３から比較対象文書の判定処理データを読み出して、類似判定処理部１２が保持する類似判定基準に基づいて類似判定処理を行う。判定処理用データ、類似判定基準、類似判定処理の詳細については後述する。
【００２５】
出力部１４は、類似判定処理部１２の類似判定結果を表示する。
【００２６】
次に、類似文書判定装置１の処理の流れについて説明する。
【００２７】
図２は、本実施の形態における類似文書判定装置の処理の流れを示す説明図である。
【００２８】
予め、比較対象文書を前処理部１１へ入力し、比較対象文書の判定処理用データを判定処理用データ蓄積部１３に蓄積させておく（ステップＳ１１）。
【００２９】
続いて、被判定文書が前処理部１１へ入力されると、被判定文書を前処理して被判定文書の判定処理用データを類似判定処理部１２へ送信する（ステップＳ１２）。
【００３０】
類似判定処理部１２は、被判定文書の判定処理用データを受信すると、判定処理用データ蓄積部１３から比較対象文書の判定処理用データを一つずつ読み出し、類似判定処理部１２が保持する判定処理基準に基づき、被判定文書の判定処理用データと読み出した比較対象文書の判定処理用データを用いて類似判定処理を行う（ステップＳ１３）。
【００３１】
そして、出力部１４が類似判定処理部の類似判定結果を表示する（ステップＳ１４）。判定処理基準を満たす比較対象文書が存在した場合、つまり、被判定文書と同じ文書の可能性がある比較対象文書が存在する場合にその旨を出力する。
【００３２】
次に、判定処理用データ、類似判定基準、類似判定処理について説明する。
【００３３】
本実施の形態では、判定処理用データとして文書中の単語出現頻度を用いる。
【００３４】
図３は、文書中に出現する単語の数を出現回数の多い順に並べたものである。単語は、前処理部１１が形態素解析処理を行って抽出する。また、語尾や助動詞など、特定の文書のみに出現する傾向が少ないものについては除外するなどの付帯処理を行ってもよいし、出現回数が少ないものについては、判定処理用データから除外する付帯処理を行ってもよい。本実施の形態では、出現回数が１番多いものから、Ｉ番目のものまでを用いて判定処理を行う。もちろん、任意のｐ番目からｑ番目のデータを用いてもよいし、その組み合わせ（例えばｐ〜ｑ，ｒ〜ｓ番目）とすることも可能である。これらｐ，ｑ、もしくは、ｒ，ｓ等の情報を関係者間の機密情報とすることで、判定のしくみ自体が公のものとなった場合でも対処できる。また、これらｐ，ｑ，ｒ，ｓ等の情報が露見した場合でも、再度、異なるそれらの情報を設定することで対処できる。
【００３５】
判定処理用データとして単語出現頻度を用いた場合、以下のように類似判定処理を行う。
【００３６】
被判定文書（ｄ）の単語出現ベクトルＮd、一つの比較対象文書（ｓ）の単語出現ベクトルＮｓそれぞれを次式（１），（２）と定義する。
【００３７】
Ｎd＝｛ｎdi｜ｉ＝１，．．．，Ｉ｝ ・・・（１）
Ｎs＝｛ｎsi｜ｉ＝１，．．．，Ｉ｝ ・・・（２）
次式（３）で表されるｒdsが閾値ｔｈ+，ｔｈ-を用いた次式（４）を満たすとき、被判定文書（ｄ）と比較対象文書（ｓ）が同じ文書である可能性があると判定する。
【００３８】
ｒds＝Π（ｎsi／ｎdi），（ｉ＝１，．．．，Ｉ） ・・・（３）
１−ｔｈ- ≦ ｒds ＜ １＋ｔｈ+ ・・・（４）
閾値ｔｈ+，ｔｈ-は、類似判定基準として類似判定処理部１２に格納しておく。
【００３９】
別の判定処理用データとして、文書中の段落数、文の数を用いることも可能である。この場合、比較対象文書から段落数、文の数を求めて判定処理用データとして判定処理用データ蓄積部１３に蓄積しておき。被判定文書から段落数、文の数を求め、判定処理用データ蓄積部１３に段落数、文の数が一致するものが存在するか否かを判定する。段落数、文の数が一致する比較対象文書が同じ文書である可能性があると判定する。
【００４０】
もちろん、複数の判定処理を組み合わせて類似判定してもよい。
【００４１】
以上説明したように、本実施の形態によれば、比較対象文書の判定処理用データを予め判定処理用データ蓄積部１３に蓄積しておき、被判定文書を前処理部１１へ入力して被判定文書の判定処理用データを生成し、類似判定処理部１２が判定処理用データ蓄積部１３から比較対象文書の判定処理用データを一つずつ読み出して被判定文書の判定処理用データと比較し、類似判定処理部１２が保持する判定処理基準に基づいて類似判定処理を行うことにより、被判定文書が比較対象文書を改変したものであるか否かを判定することができる。判定処理用データとして文書中に現れる自立語のヒストグラムを用い、被判定文書と比較対象文書の単語出現回数の比の積が所定の範囲内である場合には、被判定文書と比較対象文書は類似すると判定する。あるいは、判定処理用データとして段落数、文の数を用い、これらの数が同一である場合には、被判定文書と比較対象文書は類似すると判定する。
【００４２】
本実施の形態における類似書類判定装置は、特に、元の文書中の特定の固有名詞を一括置換するなどの安易な改変をした被判定文書を発見する場合に有効である。
【符号の説明】
【００４３】
１…類似文書判定装置
１１…前処理部
１２…類似判定処理部
１３…判定処理用データ蓄積部
１４…出力部
【技術分野】
【０００１】
本発明は、テキスト文書の改変を検出する技術に関する。
【背景技術】
【０００２】
今後普及が見込まれている電子書籍提供サービスにおいて、サービス実施企業が、提供する電子書籍の内容が既存の他の著作物と同一であるか否かを判定することが重要となる。例えば、他人の著作物を、悪意をもって、その著作物とは異なるように見せかける処理を施すことによって、不正な利益を得ることを防ぐ作業が必要である。
【０００３】
一方、文書を検索する技術としては、映像中の字幕（テロップ）や、プログラムのソースコードの一部など、少ない単語や単語群を用い、コンテンツ全体（字幕ならば映像、プログラムの一部なら全部）を入手することを目的とする技術や、限られた文字をキーワードとして入力し、文書のインデクスと照合することによって目的とする文書を抽出する技術が存在する。また、文書を検索するシステムの一つとして特許検索システムも存在する。
【０００４】
さらに、非特許文献１のように、統計情報を用いて作者の真贋性を判定する技術も知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２９６３０５号公報
【非特許文献】
【０００６】
【非特許文献１】金、「計量文体学から見たテキストマインニング」、ＥＳＴＲＥＬＡ、統計情報研究開発センター、２００７年５月、Ｎｏ．１５８、ｐ．２−７
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の文書を検索する技術は、少ない情報を入力することによって、所望の文書を入手することが目的であり、手元にある文書と類似している別の文書を見つけ出すことを目的とするものではない。これは、手元には既に文書が存在しているので検索して入手する必要がないためである。
【０００８】
特許検索システムは、類似する文書（特許文書）を検索して入手することが目的であるが、全く同一の文書を抽出するものではなく、意味的に類似する部分が多い文書を抽出することを目的とするものであった。
【０００９】
統計情報を用いて作者の真贋性を判定する技術は、文書の統計的情報の傾向から著者を推定するものであり、処理時間を要して判定することを前提としていた。また、これも手元の文書と同一の文書がないかどうかを抽出することを目的とするものではない。
【００１０】
このように、いずれの技術も、悪意をもって改変された文書を対象として、改変される前の同一の文書を抽出する目的には適切とは言えない。
【００１１】
本発明は、上記に鑑みてなされたものであり、被判定文書が比較対象の文書を改変したものであるか否かを判定することを目的とする。
【課題を解決するための手段】
【００１２】
第１の類似文書判定方法は、文書を入力して当該文書を統計処理し、判定処理用データを得るステップと、比較対象文書を統計処理して得られた比較対象文書の判定処理用データを蓄積する蓄積手段から読み出した前記比較対象文書の判定処理用データと判定対象文書を統計処理して得られた判定対象文書の判定処理用データとを判定基準に基づいて比較し、前記比較対象文書と前記判定対象文書が類似しているか否か判定するステップと、を有することを特徴とする。
【００１３】
上記類似文書判定方法において、前記判定処理用データは、前記文書中に現れる各自立語の出現頻度であり、前記判定するステップは、前記比較対象文書と前記判定対象文書の自立語の出現頻度の順位毎の出現頻度の比の積が所定の範囲内である場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする。
【００１４】
上記類似文書判定方法において、前記判定処理用データは、前記文書の段落数、文の数であり、前記判定するステップは、前記比較対象文書と前記判定対象文書の段落数、文の数が同じである場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする。
【００１５】
第２の本発明に係る類似文書判定装置は、文書を入力して当該文書を統計処理し、判定処理用データを得る統計処理手段と、前記統計処理手段により比較対象文書を統計処理して得られた比較対象文書の判定処理用データを蓄積する蓄積手段と、前記統計処理手段により判定対象文書を統計処理して得られた判定対象文書の判定処理用データと前記蓄積手段から読み出した前記比較対象文書の判定処理用データとを判定基準に基づいて比較し、前記比較対象文書と前記判定対象文書が類似しているか否か判定する類似判定手段と、を有することを特徴とする。
【００１６】
上記類似文書判定装置において、前記判定処理用データは、前記文書中に現れる各自立語の出現頻度であり、前記類似判定手段は、前記比較対象文書と前記判定対象文書の自立語の出現頻度の順位毎の出現頻度の比の積が所定の範囲内である場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする。
【００１７】
上記類似文書判定装置において、前記判定処理用データは、前記文書の段落数、文の数であり、前記類似判定手段は、前記比較対象文書と前記判定対象文書の段落数、文の数が同じである場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする。
【００１８】
第３の本発明に係る類似文書判定プログラムは、上記類似文書判定方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、被判定文書が比較対象の文書を改変したものであるか否かを判定することができる。
【図面の簡単な説明】
【００２０】
【図１】本実施の形態における類似文書判定装置の構成を示す機能ブロック図である。
【図２】本実施の形態における類似文書判定装置の処理の流れを示す説明図である。
【図３】文書中に出現する単語の数を出現回数の多い順に並べたヒストグラムである。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について図面を用いて説明する。
【００２２】
図１は、本実施の形態における類似文書判定装置の構成を示す機能ブロック図である。同図に示す類似文書判定装置１は、前処理部１１、類似判定処理部１２、判定処理用データ蓄積部１３および出力部１４を備える。類似文書判定装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは類似文書判定装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００２３】
前処理部１１は、文書を入力してその文書を統計処理し、文書中の単語出現頻度、段落数、文の数などの判定処理用データを得る。比較対象文書を前処理して得られた判定処理用データは、判定処理用データ蓄積部１３に蓄積される。判定処理用データ蓄積部１３には、複数の比較対象文書の判定処理用データを予め蓄積させておく。比較対象文書と類似判定しなければならない被判定文書を前処理して得られた判定処理用データは、類似判定処理部１２へ送られる。
【００２４】
類似判定処理部１２は、前処理部１１から被判定文書の判定処理データを受け取り、判定処理用データ蓄積部１３から比較対象文書の判定処理データを読み出して、類似判定処理部１２が保持する類似判定基準に基づいて類似判定処理を行う。判定処理用データ、類似判定基準、類似判定処理の詳細については後述する。
【００２５】
出力部１４は、類似判定処理部１２の類似判定結果を表示する。
【００２６】
次に、類似文書判定装置１の処理の流れについて説明する。
【００２７】
図２は、本実施の形態における類似文書判定装置の処理の流れを示す説明図である。
【００２８】
予め、比較対象文書を前処理部１１へ入力し、比較対象文書の判定処理用データを判定処理用データ蓄積部１３に蓄積させておく（ステップＳ１１）。
【００２９】
続いて、被判定文書が前処理部１１へ入力されると、被判定文書を前処理して被判定文書の判定処理用データを類似判定処理部１２へ送信する（ステップＳ１２）。
【００３０】
類似判定処理部１２は、被判定文書の判定処理用データを受信すると、判定処理用データ蓄積部１３から比較対象文書の判定処理用データを一つずつ読み出し、類似判定処理部１２が保持する判定処理基準に基づき、被判定文書の判定処理用データと読み出した比較対象文書の判定処理用データを用いて類似判定処理を行う（ステップＳ１３）。
【００３１】
そして、出力部１４が類似判定処理部の類似判定結果を表示する（ステップＳ１４）。判定処理基準を満たす比較対象文書が存在した場合、つまり、被判定文書と同じ文書の可能性がある比較対象文書が存在する場合にその旨を出力する。
【００３２】
次に、判定処理用データ、類似判定基準、類似判定処理について説明する。
【００３３】
本実施の形態では、判定処理用データとして文書中の単語出現頻度を用いる。
【００３４】
図３は、文書中に出現する単語の数を出現回数の多い順に並べたものである。単語は、前処理部１１が形態素解析処理を行って抽出する。また、語尾や助動詞など、特定の文書のみに出現する傾向が少ないものについては除外するなどの付帯処理を行ってもよいし、出現回数が少ないものについては、判定処理用データから除外する付帯処理を行ってもよい。本実施の形態では、出現回数が１番多いものから、Ｉ番目のものまでを用いて判定処理を行う。もちろん、任意のｐ番目からｑ番目のデータを用いてもよいし、その組み合わせ（例えばｐ〜ｑ，ｒ〜ｓ番目）とすることも可能である。これらｐ，ｑ、もしくは、ｒ，ｓ等の情報を関係者間の機密情報とすることで、判定のしくみ自体が公のものとなった場合でも対処できる。また、これらｐ，ｑ，ｒ，ｓ等の情報が露見した場合でも、再度、異なるそれらの情報を設定することで対処できる。
【００３５】
判定処理用データとして単語出現頻度を用いた場合、以下のように類似判定処理を行う。
【００３６】
被判定文書（ｄ）の単語出現ベクトルＮd、一つの比較対象文書（ｓ）の単語出現ベクトルＮｓそれぞれを次式（１），（２）と定義する。
【００３７】
Ｎd＝｛ｎdi｜ｉ＝１，．．．，Ｉ｝ ・・・（１）
Ｎs＝｛ｎsi｜ｉ＝１，．．．，Ｉ｝ ・・・（２）
次式（３）で表されるｒdsが閾値ｔｈ+，ｔｈ-を用いた次式（４）を満たすとき、被判定文書（ｄ）と比較対象文書（ｓ）が同じ文書である可能性があると判定する。
【００３８】
ｒds＝Π（ｎsi／ｎdi），（ｉ＝１，．．．，Ｉ） ・・・（３）
１−ｔｈ- ≦ ｒds ＜ １＋ｔｈ+ ・・・（４）
閾値ｔｈ+，ｔｈ-は、類似判定基準として類似判定処理部１２に格納しておく。
【００３９】
別の判定処理用データとして、文書中の段落数、文の数を用いることも可能である。この場合、比較対象文書から段落数、文の数を求めて判定処理用データとして判定処理用データ蓄積部１３に蓄積しておき。被判定文書から段落数、文の数を求め、判定処理用データ蓄積部１３に段落数、文の数が一致するものが存在するか否かを判定する。段落数、文の数が一致する比較対象文書が同じ文書である可能性があると判定する。
【００４０】
もちろん、複数の判定処理を組み合わせて類似判定してもよい。
【００４１】
以上説明したように、本実施の形態によれば、比較対象文書の判定処理用データを予め判定処理用データ蓄積部１３に蓄積しておき、被判定文書を前処理部１１へ入力して被判定文書の判定処理用データを生成し、類似判定処理部１２が判定処理用データ蓄積部１３から比較対象文書の判定処理用データを一つずつ読み出して被判定文書の判定処理用データと比較し、類似判定処理部１２が保持する判定処理基準に基づいて類似判定処理を行うことにより、被判定文書が比較対象文書を改変したものであるか否かを判定することができる。判定処理用データとして文書中に現れる自立語のヒストグラムを用い、被判定文書と比較対象文書の単語出現回数の比の積が所定の範囲内である場合には、被判定文書と比較対象文書は類似すると判定する。あるいは、判定処理用データとして段落数、文の数を用い、これらの数が同一である場合には、被判定文書と比較対象文書は類似すると判定する。
【００４２】
本実施の形態における類似書類判定装置は、特に、元の文書中の特定の固有名詞を一括置換するなどの安易な改変をした被判定文書を発見する場合に有効である。
【符号の説明】
【００４３】
１…類似文書判定装置
１１…前処理部
１２…類似判定処理部
１３…判定処理用データ蓄積部
１４…出力部
【特許請求の範囲】
【請求項１】
文書を入力して当該文書を統計処理し、判定処理用データを得るステップと、
比較対象文書を統計処理して得られた比較対象文書の判定処理用データを蓄積する蓄積手段から読み出した前記比較対象文書の判定処理用データと判定対象文書を統計処理して得られた判定対象文書の判定処理用データとを判定基準に基づいて比較し、前記比較対象文書と前記判定対象文書が類似しているか否か判定するステップと、
を有することを特徴とする類似文書判定方法。
【請求項２】
前記判定処理用データは、前記文書中に現れる各自立語の出現頻度であり、
前記判定するステップは、前記比較対象文書と前記判定対象文書の自立語の出現頻度の順位毎の出現頻度の比の積が所定の範囲内である場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする請求項１記載の類似文書判定方法。
【請求項３】
前記判定処理用データは、前記文書の段落数、文の数であり、
前記判定するステップは、前記比較対象文書と前記判定対象文書の段落数、文の数が同じである場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする請求項１又は２に記載の類似文書判定方法。
【請求項４】
文書を入力して当該文書を統計処理し、判定処理用データを得る統計処理手段と、
前記統計処理手段により比較対象文書を統計処理して得られた比較対象文書の判定処理用データを蓄積する蓄積手段と、
前記統計処理手段により判定対象文書を統計処理して得られた判定対象文書の判定処理用データと前記蓄積手段から読み出した前記比較対象文書の判定処理用データとを判定基準に基づいて比較し、前記比較対象文書と前記判定対象文書が類似しているか否か判定する類似判定手段と、
を有することを特徴とする類似文書判定装置。
【請求項５】
前記判定処理用データは、前記文書中に現れる各自立語の出現頻度であり、
前記類似判定手段は、前記比較対象文書と前記判定対象文書の自立語の出現頻度の順位毎の出現頻度の比の積が所定の範囲内である場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする請求項４記載の類似文書判定装置。
【請求項６】
前記判定処理用データは、前記文書の段落数、文の数であり、
前記類似判定手段は、前記比較対象文書と前記判定対象文書の段落数、文の数が同じである場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする請求項４又は５に記載の類似文書判定装置。
【請求項７】
請求項１乃至３のいずれかに記載の類似文書判定方法をコンピュータに実行させることを特徴とする類似文書判定プログラム。
【請求項１】
文書を入力して当該文書を統計処理し、判定処理用データを得るステップと、
比較対象文書を統計処理して得られた比較対象文書の判定処理用データを蓄積する蓄積手段から読み出した前記比較対象文書の判定処理用データと判定対象文書を統計処理して得られた判定対象文書の判定処理用データとを判定基準に基づいて比較し、前記比較対象文書と前記判定対象文書が類似しているか否か判定するステップと、
を有することを特徴とする類似文書判定方法。
【請求項２】
前記判定処理用データは、前記文書中に現れる各自立語の出現頻度であり、
前記判定するステップは、前記比較対象文書と前記判定対象文書の自立語の出現頻度の順位毎の出現頻度の比の積が所定の範囲内である場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする請求項１記載の類似文書判定方法。
【請求項３】
前記判定処理用データは、前記文書の段落数、文の数であり、
前記判定するステップは、前記比較対象文書と前記判定対象文書の段落数、文の数が同じである場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする請求項１又は２に記載の類似文書判定方法。
【請求項４】
文書を入力して当該文書を統計処理し、判定処理用データを得る統計処理手段と、
前記統計処理手段により比較対象文書を統計処理して得られた比較対象文書の判定処理用データを蓄積する蓄積手段と、
前記統計処理手段により判定対象文書を統計処理して得られた判定対象文書の判定処理用データと前記蓄積手段から読み出した前記比較対象文書の判定処理用データとを判定基準に基づいて比較し、前記比較対象文書と前記判定対象文書が類似しているか否か判定する類似判定手段と、
を有することを特徴とする類似文書判定装置。
【請求項５】
前記判定処理用データは、前記文書中に現れる各自立語の出現頻度であり、
前記類似判定手段は、前記比較対象文書と前記判定対象文書の自立語の出現頻度の順位毎の出現頻度の比の積が所定の範囲内である場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする請求項４記載の類似文書判定装置。
【請求項６】
前記判定処理用データは、前記文書の段落数、文の数であり、
前記類似判定手段は、前記比較対象文書と前記判定対象文書の段落数、文の数が同じである場合は、前記比較対象文書と前記判定対象文書が類似していると判定することを特徴とする請求項４又は５に記載の類似文書判定装置。
【請求項７】
請求項１乃至３のいずれかに記載の類似文書判定方法をコンピュータに実行させることを特徴とする類似文書判定プログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−１６４１９３（Ｐ２０１２−１６４１９３Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２４９４０（Ｐ２０１１−２４９４０）
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]