スパム・イベント検出装置及び方法並びにプログラム
【課題】インターネット上に存在するテキストデータからスパム記述を精度良く検出する。
【解決手段】検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うデータクレンジング手段２２と、スパム記述の駆除がなされたデータを所定の方法で複数のデータに分類するデータ抽出手段２４とを備える。分類された複数のデータのそれぞれに対応させて、スパム記述の駆除がなされたデータの時系列バーストを検出する時系列バースト検出手段３１１、３１２、・・３１ｎと、検出したバースト期間の特徴を抽出するバースト特徴抽出手段３２１、３２２、・・３２ｎと、抽出した特徴からスパム記述かイベント記述かを判定するスパム・イベント特徴判定手段３３１、３３２、・・３３ｎと、を備える。スパム記述であると判定したスパムの情報を元にスパム記述ルールが書き換えられる。
【解決手段】検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うデータクレンジング手段２２と、スパム記述の駆除がなされたデータを所定の方法で複数のデータに分類するデータ抽出手段２４とを備える。分類された複数のデータのそれぞれに対応させて、スパム記述の駆除がなされたデータの時系列バーストを検出する時系列バースト検出手段３１１、３１２、・・３１ｎと、検出したバースト期間の特徴を抽出するバースト特徴抽出手段３２１、３２２、・・３２ｎと、抽出した特徴からスパム記述かイベント記述かを判定するスパム・イベント特徴判定手段３３１、３３２、・・３３ｎと、を備える。スパム記述であると判定したスパムの情報を元にスパム記述ルールが書き換えられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スパム・イベント検出装置及び方法並びにプログラムに関し、特に、ブログやＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）、Ｗｅｂニュースなどといったインターネット上に存在するテキストデータを対象としたスパム記述やイベント記述の検出・判定・駆除技術に関する。
【背景技術】
【０００２】
インターネットの普及に伴って、検索エンジン経由の訪問者の増加や、アフィリエイトの表示、特定のサイトへの誘導などを目的として自動生成されるブログ、ＳＮＳ、Ｗｅｂニュース等の記事（以下、スパム記述）が急増している。そこでこのようなスパム記述を検出し、除去するための各種の装置、方法が知られている（例えば、特許文献１、２、３参照）。
【０００３】
特許文献１には、Ｗｅｂｌｏｇサービス用サーバによって運用されるＷｅｂｌｏｇサイトに、ユーザから付与されるコメントおよびトラックバックを介して、ユーザ間でコミュニケーションを得るＷｅｂｌｏｇシステムのコミュニケーション制御方法が記載されている。この方法は、Ｗｅｂｌｏｇサイトをオープンにしながら、コミュニケーションを頻繁に行っているユーザからのものを優先して提示し、スパムのような一方的なものを排除可能にしたものである。
【０００４】
また、特許文献２には、ＵＲＬ（Uniform Resource Locator）やキーワードといった固定的なパターンデータをもとにスパム記述であるか否かの判断を行うシステムが記載されている。スパム記述であると判断した場合は、ブログサーバにおいて投稿除外の処理を行う。
【０００５】
さらに、特許文献３には、インターネット上のブログサイトで公開されているブログ記事のブログ記事情報を解析してトレンドキーワードを抽出し、トレンドキーワードが記述されているブログ記事情報から得られた関連キーワードをユーザに提示するトレンド解析方法が記載されている。
【０００６】
【特許文献１】特開２００６−３３１２９７号公報
【特許文献２】特開２００７−１１５１７３号公報
【特許文献３】特開２００７−２３３４３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
以下の分析は本発明において与えられる。
【０００８】
しかしながら、特許文献１では、コメントやトラックバックにおけるスパムを検出できたとしても、ブログ記事自身についてはスパムかどうかを判定する手段を持たない。さらに、コメントやトラックバックは、ブログ記事がインターネット上で公開されてから付けられていくため、新着記事を取得する（スナップショットで行うクロール）のでは収集が難しく、利用できないケースが大半である。また、特許文献２では、日々新種のスパムが増加していくため、固定的なパターンによる抽出では新規スパムに対して追従して検出することが困難である。さらに、特許文献３では、キーワードレベルでの抽出ではイベントを解釈することは容易でなく、スパムとの判別が難しい。
【０００９】
本発明の目的は、ブログ、ＳＮＳ等のテキストデータからスパム記述を精度良く検出するスパム・イベント検出装置及び方法並びにプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の１つのアスペクト（側面）に係るスパム・イベント検出装置は、検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うデータクレンジング手段と、スパム記述の駆除がなされたデータの時系列バーストを検出する時系列バースト検出手段と、時系列バースト検出手段で検出したバースト期間の特徴を抽出するバースト特徴抽出手段と、バースト特徴抽出手段で抽出した特徴に基づいてスパム記述かイベント記述かを判定するスパム・イベント特徴判定手段と、を備える。
【００１１】
本発明のスパム・イベント検出装置において、スパム記述の駆除がなされたデータを所定の方法で複数のデータに分類するデータ抽出手段を備え、時系列バースト検出手段、バースト特徴抽出手段、およびスパム・イベント特徴判定手段を複数のデータのそれぞれに対応させて複数備えるようにしてもよい。
【００１２】
本発明のスパム・イベント検出装置において、検出対象とされる蓄積したテキストデータを所定の方法で複数のデータに分類するデータ抽出手段を備え、データクレンジング手段は、分類されたデータから分類されたデータに対応するスパム記述ルールを用いてスパム記述の駆除を行い、データクレンジング手段、時系列バースト検出手段、バースト特徴抽出手段、およびスパム・イベント特徴判定手段を複数のデータのそれぞれに対応させて複数備えるようにしてもよい。
【００１３】
本発明のスパム・イベント検出装置において、スパム・イベント特徴判定手段でスパム記述であると判定したスパムの情報を元にスパム記述ルールを書き換えるようにしてもよい。
【００１４】
本発明のスパム・イベント検出装置において、データ抽出手段によって分類されたデータに対してバースト情報に得点を付与する時系列バースト得点付与手段と、データ抽出手段によって分類されたデータに対してスパム記述ルールを元に得点を付与するデータクレンジング得点付与手段と、時系列バースト得点付与手段およびデータクレンジング得点付与手段が付与した双方の得点に基づいてスパム記述かイベント記述かを判定するスパム・イベント集約判定手段と、を、データクレンジング手段に替えて複数のデータのそれぞれに対応させて複数備え、スパム・イベント特徴判定手段およびスパム・イベント集約判定手段でスパム記述であると判定したスパムの情報を元にスパム記述ルールを書き換えるようにしてもよい。
【００１５】
本発明のスパム・イベント検出装置において、スパム・イベント特徴判定手段を廃し、スパム・イベント集約判定手段でスパム記述であると判定したスパムの情報のみを元にスパム記述ルールを書き換えるようにしてもよい。
【００１６】
本発明の他のアスペクト（側面）に係るスパム・イベント検出方法は、スパム・イベント検出装置がスパムを検出する方法であって、検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うステップと、スパム記述の駆除がなされたデータの時系列バーストを検出するステップと、検出した時系列バーストにおけるバースト期間の特徴を抽出するステップと、抽出した特徴に基づいてスパム記述かイベント記述かを判定するステップと、を含む。
【００１７】
本発明のさらに他のアスペクト（側面）に係るプログラムは、スパム・イベント検出装置を構成するコンピュータに、検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うデータクレンジング処理と、スパム記述の駆除がなされたデータの時系列バーストを検出する時系列バースト検出処理と、時系列バースト検出処理で検出したバースト期間の特徴を抽出するバースト特徴抽出処理と、バースト特徴抽出処理で抽出した特徴に基づいてスパム記述かイベント記述かを判定するスパム・イベント特徴判定処理と、を実行させる。
【発明の効果】
【００１８】
本発明によれば、インターネット上に存在するテキストデータのバーストの特徴を元にスパム記述かイベント記述かを判定するので、スパム記述を精度良く検出することができる。
【発明を実施するための最良の形態】
【００１９】
本発明の実施形態に係るスパム・イベント検出装置は、検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うデータクレンジング手段と、スパム記述の駆除がなされたデータを所定の方法で複数のデータに分類するデータ抽出手段とを備える。また、分類された複数のデータのそれぞれに対応させて、スパム記述の駆除がなされたデータの時系列バーストを検出する時系列バースト検出手段と、検出したバースト期間の特徴を抽出するバースト特徴抽出手段と、抽出した特徴からスパム記述かイベント記述かを判定するスパム・イベント特徴判定手段と、を備える。スパム・イベント特徴判定手段でスパム記述であると判定したスパムの情報を元にスパム記述ルールが書き換えられる。また、スパム・イベント特徴判定手段でイベント記述であると判定したイベント情報は、蓄積され外部に出力される。
【００２０】
なお、上記および後述の各実施形態におけるスパム・イベント検出装置は、スパム・イベント検出装置を構成するコンピュータにプログラムを実行させて、各部、各手段を機能させるようにしてもよい。この場合、装置を２以上に分割し、各装置に機能分散あるいは負荷分散させる構成としてもよいことは言うまでもない。
【００２１】
本発明の実施形態に係るスパム・イベント検出装置によれば、インターネット上に存在するテキストデータのバースト情報を検知して、そのバーストの特徴を抽出し、その特徴をデータクレンジングルールに追記する。これにより、未知のスパム記述に対しても即座に特徴をクレンジングルールに加えて、除去することができる。したがって、テキストデータから未知のものも含めたスパム記述を駆除することができる。
【００２２】
また、本発明の実施形態に係るスパム・イベント検出装置によれば、インターネット上に存在するテキストデータのバースト情報を検知して、そのバーストの特徴として要約文や複数の特徴を示す単語を抽出し、その特徴をイベント情報として記憶する。これにより、ユーザが詳細に分析したいと思うバースト情報の部分のみ、システムは特徴を提示することができる。また、そのバースト情報のみを特徴分析すればよいため、特徴分析に関するシステムへの負荷は全期間を分析するよりも軽くなる。したがって、テキストデータからイベント記述を検出・解釈できる要約文、または単語を提示できる。
【００２３】
さらに、本発明の実施形態に係るスパム・イベント検出装置によれば、バースト情報のイベント記述・スパム記述の判定に関して、Ｗｅｂニュースなどの事実を示す情報源の利用、コンテンツベース・トラフィックベースの両側面での判定などを行う。したがって、バーストした箇所がイベント記述かスパム記述かを判定できる。
【００２４】
以下、図面を参照し、より具体的に実施形態について説明する。
【００２５】
［第１の実施形態］
図１は、本発明の第１の実施形態に係るスパム・イベント検出装置の構成を示す図である。図１を参照すると、スパム・イベント検出装置は、入力装置１と、データ記憶部２１と、データクレンジング手段２２と、データクレンジングルール記憶部２３と、データ抽出手段２４と、抽出データ記憶部２５１、２５２、・・２５ｎと、時系列バースト検出手段３１１、３１２、・・３１ｎと、バースト特徴抽出手段３２１、３２２、・・３２ｎと、スパム・イベント特徴判定手段３３１、３３２、・・３３ｎと、イベント情報記憶部３４１、３４２、・・３４ｎと、出力装置４を備える。
【００２６】
入力装置１は、データを操作入力するためのキーボードや、ブログ、ＳＮＳなどのテキストデータ、ＷＥＢに掲載された記事などをダウンロードしてくるアプリケーションソフト、サーバに蓄積されるシステムログをそのまま転送するアプリケーションソフトなどを用いて、分析対象となるデータの入力を行う。
【００２７】
データ記憶部２１は、入力装置１から入力されたデータをそのまま格納する。
【００２８】
データクレンジング手段２２は、クレンジングルール記憶部２３に蓄積された削除ルール（パターン）によって、スパム記述の除去を行う。ここでのルールとは、例えばスパム記述に頻出して現れる単語や文章、スパム記述を発信するＵＲＬ（Uniform Resource Locator）、単語のリスト形式で記述されるといったスパム記述によく見られるパターンなどである。ここで、入力テキストがブログ記事であると想定する。この場合、データクレンジング手段２２は、ブログ記事内のスパム記述に現れる特徴的な単語やＵＲＬ、文章として成立していない品詞などのパターンなどから、スパム記述を特定し、除去する。
【００２９】
データ抽出手段２４は、データクレンジング手段２２によるスパム記述削除後のデータに対して、分析対象とするカテゴリー、または類似したカテゴリーの記述ごとに分けて、データを抽出する。ここでのカテゴリーとは、商品や企業、行動、感情、一般用語などあらゆるものを想定している。より具体的にデータ抽出手段２４は、ユーザが予め分類するカテゴリーが明確な場合には、ある特定の単語が含まれていればこのカテゴリーに分類するといったルールによって分類する。あるいは、ユーザが予め分類するカテゴリーが不明確な場合には、例えば統計的手法によって単語の共起からカテゴリーに分類するルールを作成し、そのルールベースで分類するようにしてもよい。
【００３０】
抽出データ記憶部２５１、２５２、・・２５ｎは、データ抽出手段２４によって抽出されたカテゴリーごとのデータをそれぞれ記憶する。ここでは、ｎ個のカテゴリーに抽出されたものと仮定する。
【００３１】
時系列バースト検出手段３１１、３１２、・・３１ｎは、カテゴリーごとに抽出されたそれぞれのデータのバースト現象を検出する。時系列バースト検出手段３１１、３１２、・・３１ｎの具体的な動作としては、例えばデータの急激な増加をリアルタイムに検知を行う動作となる。特に抽出するカテゴリーによっては、休日といった特定の曜日や長期休みといった特定の月には必ずバーストするような話題があることがある。例えば、ＴＶで放映されている番組、毎週決まった曜日など定期的に開催されるイベントなどがそれに該当する。その都度、盛り上がるたびに時系列バースト検出手段で検出するのでは、ユーザにとってメリットが無い。そのようなケースの具体的な動作としては、週や月ごとの周期性を考慮したバーストの検知を行う。定期的にバーストする日時で通常以上のバーストの出現や、定期的にバーストしていない箇所でのバーストの出現などを検知する。
【００３２】
バースト特徴抽出手段３２１、３２２、・・３２ｎは、それぞれ時系列バースト検出手段３１１、３１２、・・３１ｎが検出したバーストの期間の特徴を抽出する。バースト特徴抽出手段３２１、３２２、・・３２ｎは、バースト期間内の記事特有な単語、高頻出な単語の抽出などによって実現する。バースト期間内での記事特有な単語を抽出することにより、定常的に語られているそのカテゴリー内では当たり前の単語が除去されるため、バーストの原因となった単語が効果的に抽出される。
【００３３】
スパム・イベント特徴判定手段３３１、３３２、・・３３ｎは、バースト特徴抽出手段３２１、３２２、・・３２ｎによってそれぞれ抽出された特徴語を元にスパム記述かイベント記述かの判定を行う。具体的には、例えば、特徴語に対して、ＷＥＢニュースなどの外部ソースなどでほぼ同時期に出現しているかどうかを調査することで判定が可能となる。もちろん、抽出されてきた特徴語やその単語が利用されている原文などをユーザが確認することにより、スパム記述・イベント記述かを判定させることも可能である。この場合は、バーストが検知されるたびにメールなどの伝達手段によって、ユーザにバーストが検知されたこと、その期間内の特徴がどのようなものであったかを知らせるシステムを構築するようにしてもよい。イベント記述と判定されれば、そのカテゴリーに関する記事の時系列グラフと共にイベント内容を記述することにより、詳細な情報の提供が可能となる。スパム記述と判定されれば、そのスパムに見られる単語、ＵＲＬやパターンなどいった特徴をルール化して、クレンジングルール記憶部２３に送信し、再度クレンジングから実行することにより、ノイズの少ない高精度なカテゴリーに関するデータ抽出が実現される。
【００３４】
イベント情報記憶部３４１、３４２、・・３４ｎは、スパム・イベント特徴判定手段３３１、３３２、・・３３ｎによってイベントであると判定されたイベント情報をそれぞれ記憶する。
【００３５】
出力装置４は、イベント情報記憶部３４１、３４２、・・３４ｎに保持されているイベント情報などの出力を行うディスプレイなどの表示機器やプリンタなどの印刷機器などが該当する。
【００３６】
次に、図１及び図２のフローチャートを参照して、本発明の第１の実施形態に係るスパム・イベント検出装置の動作について説明する。図２は、本発明の第１の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。
【００３７】
入力装置１は、入力したテキストデータをデータ記憶部２１に送出し、データ記憶部２１は、テキストデータを記憶する（図２のステップＡ１）。
【００３８】
データクレンジング手段２２は、データ記憶部２１に記憶されているテキストデータから、クレンジングルール記憶部２３を参照して現在のスパム記述ルールに一致するスパム記述を除去する（図２のステップＡ２）。
【００３９】
データ抽出手段２４は、スパム記述除去後のデータから、ユーザが分析したい各カテゴリー、または自動的に抽出された類似カテゴリーに関するテキストをそれぞれ抽出し、抽出データ記憶部２５１、２５２、・・２５ｎにそれぞれ格納する（図２のステップＡ３）。
【００４０】
時系列バースト検出手段３１１、３１２、・・３１ｎは、それぞれ抽出されたカテゴリーに関するデータの件数情報から、バーストを時系列として検出する（図２のステップＡ４）。
【００４１】
バースト特徴抽出手段３２１、３２２、・・３２ｎは、それぞれ検出されたバーストの期間の抽出データから、バースト期間のみに特徴的に出現したキーワードや、キーワード群、要約文などを特徴として抽出する（図２のステップＡ５）。
【００４２】
スパム・イベント特徴判定手段３３１、３３２、・・３３ｎは、それぞれバースト期間内の特徴情報から、バースト期間内の記述が、スパム記述であったのかイベント記述であったのかを判定する。スパム記述であれば、判定されたスパム記述を除去するためのルールを作成し、クレンジングルール記憶部２３に格納し、ステップＡ２のデータクレンジングを再度実行する。一方、イベント記述であれば、特徴情報をイベント情報として、イベント記憶部３４１、３４２、・・３４ｎにそれぞれ格納する（図２のステップＡ６）。
【００４３】
出力装置４は、イベント記憶部３４１、３４２、・・３４ｎに格納された、バーストの原因となったイベント情報やそのイベント情報を付与したカテゴリーに関するブログ件数の時系列グラフなどを出力する（図２のステップＡ７）。
【００４４】
次に具体的な例を元に、各部の動作について説明する。例えば、ここで世の中に存在するブログ記事全てを入力し、ある企業Ａに関するブログを抽出したとする。図３、図４は、企業Ａのブログ記事数の時間的推移の例を表す図である。図３を参照すると、２００７年１１月付近に２度のバースト現象が見られる。時系列バースト検出手段３１１、３１２、・・３１ｎは、このようなバースト現象を検出する。さらに、バースト特徴抽出手段３２１、３２２、・・３２ｎは、２度のバースト現象それぞれについて特徴語を抽出する。図３では、初めのバースト現象の特徴が「××事件」「・・・・によるミス」などといった不祥事を示している。これらの単語は、外部のＷＥＢニュースやＴＶなどでも同時期に出現することから、スパム・イベント判定装置によってイベント記述であると判定することができる。
【００４５】
一方、２つ目のバースト現象での特徴は、外部ソースでも全く出現しない、意味の持たない、カテゴリーとは無関係の単語が抽出されているものとする。この場合、スパム・イベント特徴判定手段３３１、３３２、・・３３ｎは、スパム記述であると判断し、抽出された特徴語を多く含む記述はスパムであるという判定ルールをクレンジングルール記憶部２３に追記する。そして、データクレンジングを再実行することにより、図４に示すようにバースト現象が無くなる。一般にスパム記述は、検索されやすい単語を散りばめて自動生成されるため、カテゴリーに絞り込むことにより、このようなバースト現象として出現する。
【００４６】
また、図５は、書き込みに周期性を強く持つカテゴリーを分析した時の時間的推移の例を表す図である。図５に示すように週次といった特定の周期でバーストしているが、他のバースト現象と比較し、よりバーストしているものを検出する。ＴＶで放送されるドラマなどの番組であれば、決められた曜日に放映され、その直後にブログなどの書き込み量が盛り上がる。その中でも異常に盛り上がっているバーストの特徴を見ると、図５のように「ゲストタレントＢ」「サプライズ」などといったその時の特別なイベントが抽出される。その定期的な周期に反して、異なる箇所でのバーストについては、出演タレントのイベントやスパム記述などが考えられ、スパム・イベント特徴判定手段３３１、３３２、・・３３ｎによって判定することが可能である。
【００４７】
以上のようなスパム・イベント検出装置は、入力テキストの中からユーザが希望するカテゴリーまたは類似話題ごとにテキストを分類した上で、各カテゴリーテキスト内のスパム記述やイベント記述を自動的に検出し、スパム記述であれば再度データクレンジングを実行するように再帰的に構成される。また、イベント記述であれば高付加価値な情報として記憶する。このように、人手をかけることなく未知のスパム記述の除去などといった高精度な分析が実現できる。また、カテゴリーに関するイベント情報も付与した高付加価値なテキストのレポーティングが可能になる。
【００４８】
［第２の実施形態］
図６は、本発明の第２の実施形態に係るスパム・イベント検出装置の構成を示す図である。図６を参照すると、スパム・イベント検出装置は、図１に示された構成に対し、図１のデータクレンジング手段２２、クレンジングルール記憶部２３を持たない点で異なる。さらに、スパム記述除去を行うデータクレンジング手段３５１、３５２、・・３５ｎ、クレンジングルール記憶部３６１、３６２、・・３６ｎを有する点で異なる。
【００４９】
データクレンジング手段３５１、３５２、・・３５ｎ、クレンジングルール記憶部３６１、３６２、・・３６ｎは、機能としては図１のデータクレンジング手段２２、クレンジングルール記憶部２３とそれぞれ同様であるが、カテゴリーごとに抽出されたデータに対して、データクレンジングを行う点で異なる。
【００５０】
次に、図６及び図７のフローチャートを参照して、本発明の第２の実施形態に係るスパム・イベント検出装置の動作について説明する。図７は、本発明の第２の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。図７のステップＡ１、Ａ４−Ａ７における処理内容は、図２の同じ符号のステップと同一のため、その説明を省略する。
【００５１】
第１の実施形態では、各カテゴリーに抽出する前にスパム記述の除去処理であるデータクレンジングを行っていた。これに対し、本実施形態では、ステップＡ１の後、データ抽出手段２４において、カテゴリーごとにデータ抽出（図７のステップＢ１）を行う。さらに、各カテゴリーに関するデータに対して、データクレンジング手段３５１、３５２、・・３５ｎ、クレンジングルール記憶部３６１、３６２、・・３６ｎにおいて、データクレンジングを行う（図７のステップＢ２）。
【００５２】
第２の実施形態のスパム・イベント検出装置において、第１の実施形態と異なる箇所は、データクレンジング手段をデータ抽出手段の前で実行するか、後で実行するかである。第１の実施形態のように、前で実行するのであれば、クレンジングルールは全カテゴリー共通なものとなり、管理面や処理面では効率的ではある。しかし、スパム記述でないものに対して、スパム記述であると判定する誤抽出も多くなる。これに対し、第２の実施形態であれば、各カテゴリーに特有のクレンジングルールを備えるために、管理面、処理面では負荷が大きいが、高精度なデータクレンジングが実現できる。
【００５３】
このように第２の実施形態のスパム・イベント検出装置によれば、第１の実施形態の効果に加えて、各カテゴリーに対して専用のクレンジングルールを持つように構成される。したがって、各カテゴリーのテキスト抽出に関して、スパム記述除去の誤りといった誤作動が減少し、高精度なスパム記述の除去が可能となる。
【００５４】
［第３の実施形態］
図８は、本発明の第３の実施形態に係るスパム・イベント検出装置の構成を示す図である。図８を参照すると、スパム・イベント検出装置は、図６に示された構成に加え、図６の時系列バースト検出手段３１１、３１２、・・３１ｎの代わりに時系列バースト検出得点付与手段３７１、３７２、・・３７ｎを有する点、図６のデータクレンジング手段３５１、３５２、・・３５ｎの代わりにデータクレンジング得点付与手段３８１、３８２、・・３８ｎを有する点、スパム・イベント集約判定手段３９１、３９２、・・３９ｎを有する点、図６のスパム・イベント特徴判定手段３３１、３３２、・・３３ｎを持たない点で異なる。
【００５５】
時系列バースト検出得点付与手段３７１、３７２、・・３７ｎは、抽出データ記憶部２５１、２５２、・・２５ｎにおけるカテゴリーごとに抽出されたそれぞれのデータの全時間帯に対してバースト検知を行い、各時刻でのバースト情報の得点化する。
【００５６】
データクレンジング得点付与手段３８１、３８２、・・３８ｎは、抽出データ記憶部２５１、２５２、・・２５ｎにおけるカテゴリーごとに抽出されたそれぞれのデータに対し、クレンジングルール記憶部３６１、３６２、・・３６ｎに格納されたそれぞれのルールに合致した記事にそれぞれ得点を与えていく。
【００５７】
スパム・イベント集約判定手段３９１、３９２、・・３９ｎは、バースト検出得点付与手段３７１、３７２、・・３７ｎでのそれぞれの得点、データクレンジング得点付与手段３８１、３８２、・・３８ｎでのそれぞれの得点を元に、バースト期間の記事に対し、スパム記述かイベント記述かどうかを判定する。
【００５８】
クレンジングルール記憶部３６１、３６２、・・３６ｎは、スパム・イベント集約判定手段３９１、３９２、・・３９ｎにおいてそれぞれスパム記述と判定された情報を元に削除ルールの更新を行う。
【００５９】
次に、図８及び図９のフローチャートを参照して、本発明の第３の実施形態に係るスパム・イベント検出装置の動作について説明する。図９は、本発明の第３の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。
【００６０】
図９のステップＡ１、Ｂ１、Ａ５、Ａ７における処理内容は、図７の同じ符号のステップと同一のため、その説明を省略する。
【００６１】
第２の実施形態では、スパム記述か、イベント記述かを判定するのに、バースト期間の特徴からの判定を行っていた。これに対し、本実施形態ではステップＢ１の後、バースト検出得点付与手段３７１、３７２、・・３７ｎは、データ抽出手段２４によって抽出されたデータに対して、バーストの度合いを大きいものが高得点になるように得点化する（図９のステップＣ２）。
【００６２】
また、ステップＢ１の後、データクレンジング得点付与手段３８１、３８２、・・３８ｎは、データ抽出手段２４によって抽出されたデータに対して、クレンジングルール記憶部３６１、３６２、・・３６ｎに記憶されているルールに合致する記事にルール別の得点を与える（図９のステップＣ１）。
【００６３】
そして、スパム・イベント集約判定手段３９１、３９２、・・３９ｎは、これらの得点を総合的に判定し、イベント記述かスパム記述かを判定する（図９のステップＣ３）。
【００６４】
その後、ステップＡ５、Ａ７を実行する。
【００６５】
第３の実施形態のスパム・イベント検出装置において、第１、第２の実施形態と異なる箇所は、スパム・イベント記述の判定をバースト期間の特徴で判定するか、バースト検出手段での得点、およびデータクレンジング手段での得点の総合点で判定するかである。バースト検出の得点とは、より大きなバーストに対して、バースト期間内の各記事に対して得点を多く付与する。データクレンジング手段でも、クレンジングルールに予め得点を付与しておき、合致したルールの得点の合計値によって各記事に得点を付与する。スパム・イベント集約判定手段３９１、３９２、・・３９ｎでは、バースト検出の得点、クレンジングの得点が共に高得点であれば、スパム記述である可能性が最も高くなると判定する。また、バースト検出の得点が高く、クレンジングの得点が低ければ、イベント記述の可能性が高くなると判定する。例えば、図１０に示すように判定をすることによって、判定の目安をつけることが可能となる。クレンジング得点が高得点で通常記述の可能性が高ければ、クレンジングルールの見直しなどを行うようにすることができる。
【００６６】
このように第３の実施形態のスパム・イベント検出装置によれば、第２の実施形態の効果に加えて、スパム記述かイベント記述かの判定が得点によって判別できる。したがって、より明確な判断、各記述の可能性の提示が可能となる。
【００６７】
［第４の実施形態］
図１１は、本発明の第４の実施形態に係るスパム・イベント検出装置の構成を示す図である。図１１を参照すると、スパム・イベント検出装置は、図８に示された構成に加え、バースト特徴抽出手段３２１、３２２、・・３２ｎの後にそれぞれスパム・イベント特徴判定手段３３１、３３２、・・３３ｎを有する点で異なる。
【００６８】
スパム・イベント特徴判定手段３３１、３３２、・・３３ｎの機能については、第１の実施形態で説明しているので、ここでは省略する。
【００６９】
次に、図１１及び図１２を参照して、本発明の第４の実施形態に係るスパム・イベント検出装置の動作について説明する。図１２は、本発明の第４の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。図１２のステップＡ１、Ｂ１、Ｃ１、Ｃ２、Ｃ３、Ａ５、Ａ７における処理内容は、図９の同じ符号のステップと同一のため、その説明を省略する。
【００７０】
第３の実施形態では、スパム記述かイベント記述かを判定するのに、バーストの検出といったトラフィックベースでの判定と、ルールによるスパム検出といったコンテンツベースでの判定との２つの判定の得点を考慮することのみで行っていた。これに対し、本実施形態では、ステップＡ５の後に、スパム・イベント集約判定手段３９１、３９２、・・３９ｎによって、イベント記述であると判定され、バースト特徴抽出手段３２１、３２２、・・３２ｎによって抽出された特徴に対して、スパム・イベント特徴判定手段３３１、３３２、・・３３ｎによって再度、判定を行う（図１２のステップＤ１）。この結果、スパム記述であると判定されれば、再度クレンジングルールを更新してデータクレンジングを行う（図１２のステップＣ１）。
【００７１】
第４の実施形態のスパム・イベント検出装置において、第１、第２、第３の実施形態と異なる箇所は、第３の実施形態の判定手段の後に第１、第２の実施形態の判定手段を実行する２段階での判定を行う点にある。第３の実施形態であれば、例えば、クレンジングの得点が低く、バーストの得点が高い記述に対しては、未知のスパム記述かイベント記述かの判定は難しい。そこで、スパム・イベント特徴判定手段３３１、３３２、・・３３ｎによって再度、判定を行うことで、未知のスパム記述の判定も可能となる。このような二重の判定によって、高精度なスパム・イベント判定が実現できる。
【００７２】
このように第４の実施形態のスパム・イベント検出装置によれば、第３の実施形態の効果に加えて、バースト検知・ルールマッチングといったスパム記述・イベント記述判定を行った後、バースト期間の特徴による判定も行う。したがって、より高精度な判定が可能となる。
【産業上の利用可能性】
【００７３】
本発明によれば、マーケティング調査、ブランドイメージ調査などに多く用いられるブログやＳＮＳ、ニュース記事などのノイズ（アフリエイト記事などのスパムなど）やイベント（新商品発売、ＣＭ放映、ＴＶ番組での紹介など）を多く含むテキストの分析といった用途に適用できる。また、ブログ、ＳＮＳなどを運営するコミュニティサービス事業、ニュースなどの情報提供を行うポータルサービス事業といった用途にも適用可能である。
【００７４】
なお、前述の特許文献等の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【図面の簡単な説明】
【００７５】
【図１】本発明の第１の実施形態に係るスパム・イベント検出装置の構成を示す図である。
【図２】本発明の第１の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。
【図３】企業Ａのブログ記事数の時間的推移の例を表す第１の図である。
【図４】企業Ａのブログ記事数の時間的推移の例を表す第２の図である。
【図５】書き込みに周期性を強く持つカテゴリーを分析した時の時間的推移の例を表す図である。
【図６】本発明の第２の実施形態に係るスパム・イベント検出装置の構成を示す図である。
【図７】本発明の第２の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。
【図８】本発明の第３の実施形態に係るスパム・イベント検出装置の構成を示す図である。
【図９】本発明の第３の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。
【図１０】本発明の第３の実施形態に係る判定手段における判定ルールの例を表す図である。
【図１１】本発明の第４の実施形態に係るスパム・イベント検出装置の構成を示す図である。
【図１２】本発明の第４の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。
【符号の説明】
【００７６】
１ 入力装置
４ 出力装置
２１ データ記憶部
２２ データクレンジング手段
２３ クレンジングルール記憶部
２４ データ抽出手段
２５１、２５２、・・２５ｎ 抽出データ記憶部
３１１、３１２、・・３１ｎ 時系列バースト検出手段
３２１、３２２、・・３２ｎ バースト特徴抽出手段
３３１，３３２、・・３３ｎ スパム・イベント特徴判定手段
３４１、３４２、・・３４ｎ イベント情報記憶部
３５１、３５２、・・３５ｎ データクレンジング手段
３６１、３６２、・・３６ｎ クレンジングルール記憶部
３７１、３７２、・・３７ｎ 時系列バースト検出得点付与手段
３８１、３８２、・・３８ｎ データクレンジング得点付与手段
３９１、３９２、・・３９ｎ スパム・イベント集約判定手段
【技術分野】
【０００１】
本発明は、スパム・イベント検出装置及び方法並びにプログラムに関し、特に、ブログやＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）、Ｗｅｂニュースなどといったインターネット上に存在するテキストデータを対象としたスパム記述やイベント記述の検出・判定・駆除技術に関する。
【背景技術】
【０００２】
インターネットの普及に伴って、検索エンジン経由の訪問者の増加や、アフィリエイトの表示、特定のサイトへの誘導などを目的として自動生成されるブログ、ＳＮＳ、Ｗｅｂニュース等の記事（以下、スパム記述）が急増している。そこでこのようなスパム記述を検出し、除去するための各種の装置、方法が知られている（例えば、特許文献１、２、３参照）。
【０００３】
特許文献１には、Ｗｅｂｌｏｇサービス用サーバによって運用されるＷｅｂｌｏｇサイトに、ユーザから付与されるコメントおよびトラックバックを介して、ユーザ間でコミュニケーションを得るＷｅｂｌｏｇシステムのコミュニケーション制御方法が記載されている。この方法は、Ｗｅｂｌｏｇサイトをオープンにしながら、コミュニケーションを頻繁に行っているユーザからのものを優先して提示し、スパムのような一方的なものを排除可能にしたものである。
【０００４】
また、特許文献２には、ＵＲＬ（Uniform Resource Locator）やキーワードといった固定的なパターンデータをもとにスパム記述であるか否かの判断を行うシステムが記載されている。スパム記述であると判断した場合は、ブログサーバにおいて投稿除外の処理を行う。
【０００５】
さらに、特許文献３には、インターネット上のブログサイトで公開されているブログ記事のブログ記事情報を解析してトレンドキーワードを抽出し、トレンドキーワードが記述されているブログ記事情報から得られた関連キーワードをユーザに提示するトレンド解析方法が記載されている。
【０００６】
【特許文献１】特開２００６−３３１２９７号公報
【特許文献２】特開２００７−１１５１７３号公報
【特許文献３】特開２００７−２３３４３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
以下の分析は本発明において与えられる。
【０００８】
しかしながら、特許文献１では、コメントやトラックバックにおけるスパムを検出できたとしても、ブログ記事自身についてはスパムかどうかを判定する手段を持たない。さらに、コメントやトラックバックは、ブログ記事がインターネット上で公開されてから付けられていくため、新着記事を取得する（スナップショットで行うクロール）のでは収集が難しく、利用できないケースが大半である。また、特許文献２では、日々新種のスパムが増加していくため、固定的なパターンによる抽出では新規スパムに対して追従して検出することが困難である。さらに、特許文献３では、キーワードレベルでの抽出ではイベントを解釈することは容易でなく、スパムとの判別が難しい。
【０００９】
本発明の目的は、ブログ、ＳＮＳ等のテキストデータからスパム記述を精度良く検出するスパム・イベント検出装置及び方法並びにプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の１つのアスペクト（側面）に係るスパム・イベント検出装置は、検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うデータクレンジング手段と、スパム記述の駆除がなされたデータの時系列バーストを検出する時系列バースト検出手段と、時系列バースト検出手段で検出したバースト期間の特徴を抽出するバースト特徴抽出手段と、バースト特徴抽出手段で抽出した特徴に基づいてスパム記述かイベント記述かを判定するスパム・イベント特徴判定手段と、を備える。
【００１１】
本発明のスパム・イベント検出装置において、スパム記述の駆除がなされたデータを所定の方法で複数のデータに分類するデータ抽出手段を備え、時系列バースト検出手段、バースト特徴抽出手段、およびスパム・イベント特徴判定手段を複数のデータのそれぞれに対応させて複数備えるようにしてもよい。
【００１２】
本発明のスパム・イベント検出装置において、検出対象とされる蓄積したテキストデータを所定の方法で複数のデータに分類するデータ抽出手段を備え、データクレンジング手段は、分類されたデータから分類されたデータに対応するスパム記述ルールを用いてスパム記述の駆除を行い、データクレンジング手段、時系列バースト検出手段、バースト特徴抽出手段、およびスパム・イベント特徴判定手段を複数のデータのそれぞれに対応させて複数備えるようにしてもよい。
【００１３】
本発明のスパム・イベント検出装置において、スパム・イベント特徴判定手段でスパム記述であると判定したスパムの情報を元にスパム記述ルールを書き換えるようにしてもよい。
【００１４】
本発明のスパム・イベント検出装置において、データ抽出手段によって分類されたデータに対してバースト情報に得点を付与する時系列バースト得点付与手段と、データ抽出手段によって分類されたデータに対してスパム記述ルールを元に得点を付与するデータクレンジング得点付与手段と、時系列バースト得点付与手段およびデータクレンジング得点付与手段が付与した双方の得点に基づいてスパム記述かイベント記述かを判定するスパム・イベント集約判定手段と、を、データクレンジング手段に替えて複数のデータのそれぞれに対応させて複数備え、スパム・イベント特徴判定手段およびスパム・イベント集約判定手段でスパム記述であると判定したスパムの情報を元にスパム記述ルールを書き換えるようにしてもよい。
【００１５】
本発明のスパム・イベント検出装置において、スパム・イベント特徴判定手段を廃し、スパム・イベント集約判定手段でスパム記述であると判定したスパムの情報のみを元にスパム記述ルールを書き換えるようにしてもよい。
【００１６】
本発明の他のアスペクト（側面）に係るスパム・イベント検出方法は、スパム・イベント検出装置がスパムを検出する方法であって、検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うステップと、スパム記述の駆除がなされたデータの時系列バーストを検出するステップと、検出した時系列バーストにおけるバースト期間の特徴を抽出するステップと、抽出した特徴に基づいてスパム記述かイベント記述かを判定するステップと、を含む。
【００１７】
本発明のさらに他のアスペクト（側面）に係るプログラムは、スパム・イベント検出装置を構成するコンピュータに、検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うデータクレンジング処理と、スパム記述の駆除がなされたデータの時系列バーストを検出する時系列バースト検出処理と、時系列バースト検出処理で検出したバースト期間の特徴を抽出するバースト特徴抽出処理と、バースト特徴抽出処理で抽出した特徴に基づいてスパム記述かイベント記述かを判定するスパム・イベント特徴判定処理と、を実行させる。
【発明の効果】
【００１８】
本発明によれば、インターネット上に存在するテキストデータのバーストの特徴を元にスパム記述かイベント記述かを判定するので、スパム記述を精度良く検出することができる。
【発明を実施するための最良の形態】
【００１９】
本発明の実施形態に係るスパム・イベント検出装置は、検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うデータクレンジング手段と、スパム記述の駆除がなされたデータを所定の方法で複数のデータに分類するデータ抽出手段とを備える。また、分類された複数のデータのそれぞれに対応させて、スパム記述の駆除がなされたデータの時系列バーストを検出する時系列バースト検出手段と、検出したバースト期間の特徴を抽出するバースト特徴抽出手段と、抽出した特徴からスパム記述かイベント記述かを判定するスパム・イベント特徴判定手段と、を備える。スパム・イベント特徴判定手段でスパム記述であると判定したスパムの情報を元にスパム記述ルールが書き換えられる。また、スパム・イベント特徴判定手段でイベント記述であると判定したイベント情報は、蓄積され外部に出力される。
【００２０】
なお、上記および後述の各実施形態におけるスパム・イベント検出装置は、スパム・イベント検出装置を構成するコンピュータにプログラムを実行させて、各部、各手段を機能させるようにしてもよい。この場合、装置を２以上に分割し、各装置に機能分散あるいは負荷分散させる構成としてもよいことは言うまでもない。
【００２１】
本発明の実施形態に係るスパム・イベント検出装置によれば、インターネット上に存在するテキストデータのバースト情報を検知して、そのバーストの特徴を抽出し、その特徴をデータクレンジングルールに追記する。これにより、未知のスパム記述に対しても即座に特徴をクレンジングルールに加えて、除去することができる。したがって、テキストデータから未知のものも含めたスパム記述を駆除することができる。
【００２２】
また、本発明の実施形態に係るスパム・イベント検出装置によれば、インターネット上に存在するテキストデータのバースト情報を検知して、そのバーストの特徴として要約文や複数の特徴を示す単語を抽出し、その特徴をイベント情報として記憶する。これにより、ユーザが詳細に分析したいと思うバースト情報の部分のみ、システムは特徴を提示することができる。また、そのバースト情報のみを特徴分析すればよいため、特徴分析に関するシステムへの負荷は全期間を分析するよりも軽くなる。したがって、テキストデータからイベント記述を検出・解釈できる要約文、または単語を提示できる。
【００２３】
さらに、本発明の実施形態に係るスパム・イベント検出装置によれば、バースト情報のイベント記述・スパム記述の判定に関して、Ｗｅｂニュースなどの事実を示す情報源の利用、コンテンツベース・トラフィックベースの両側面での判定などを行う。したがって、バーストした箇所がイベント記述かスパム記述かを判定できる。
【００２４】
以下、図面を参照し、より具体的に実施形態について説明する。
【００２５】
［第１の実施形態］
図１は、本発明の第１の実施形態に係るスパム・イベント検出装置の構成を示す図である。図１を参照すると、スパム・イベント検出装置は、入力装置１と、データ記憶部２１と、データクレンジング手段２２と、データクレンジングルール記憶部２３と、データ抽出手段２４と、抽出データ記憶部２５１、２５２、・・２５ｎと、時系列バースト検出手段３１１、３１２、・・３１ｎと、バースト特徴抽出手段３２１、３２２、・・３２ｎと、スパム・イベント特徴判定手段３３１、３３２、・・３３ｎと、イベント情報記憶部３４１、３４２、・・３４ｎと、出力装置４を備える。
【００２６】
入力装置１は、データを操作入力するためのキーボードや、ブログ、ＳＮＳなどのテキストデータ、ＷＥＢに掲載された記事などをダウンロードしてくるアプリケーションソフト、サーバに蓄積されるシステムログをそのまま転送するアプリケーションソフトなどを用いて、分析対象となるデータの入力を行う。
【００２７】
データ記憶部２１は、入力装置１から入力されたデータをそのまま格納する。
【００２８】
データクレンジング手段２２は、クレンジングルール記憶部２３に蓄積された削除ルール（パターン）によって、スパム記述の除去を行う。ここでのルールとは、例えばスパム記述に頻出して現れる単語や文章、スパム記述を発信するＵＲＬ（Uniform Resource Locator）、単語のリスト形式で記述されるといったスパム記述によく見られるパターンなどである。ここで、入力テキストがブログ記事であると想定する。この場合、データクレンジング手段２２は、ブログ記事内のスパム記述に現れる特徴的な単語やＵＲＬ、文章として成立していない品詞などのパターンなどから、スパム記述を特定し、除去する。
【００２９】
データ抽出手段２４は、データクレンジング手段２２によるスパム記述削除後のデータに対して、分析対象とするカテゴリー、または類似したカテゴリーの記述ごとに分けて、データを抽出する。ここでのカテゴリーとは、商品や企業、行動、感情、一般用語などあらゆるものを想定している。より具体的にデータ抽出手段２４は、ユーザが予め分類するカテゴリーが明確な場合には、ある特定の単語が含まれていればこのカテゴリーに分類するといったルールによって分類する。あるいは、ユーザが予め分類するカテゴリーが不明確な場合には、例えば統計的手法によって単語の共起からカテゴリーに分類するルールを作成し、そのルールベースで分類するようにしてもよい。
【００３０】
抽出データ記憶部２５１、２５２、・・２５ｎは、データ抽出手段２４によって抽出されたカテゴリーごとのデータをそれぞれ記憶する。ここでは、ｎ個のカテゴリーに抽出されたものと仮定する。
【００３１】
時系列バースト検出手段３１１、３１２、・・３１ｎは、カテゴリーごとに抽出されたそれぞれのデータのバースト現象を検出する。時系列バースト検出手段３１１、３１２、・・３１ｎの具体的な動作としては、例えばデータの急激な増加をリアルタイムに検知を行う動作となる。特に抽出するカテゴリーによっては、休日といった特定の曜日や長期休みといった特定の月には必ずバーストするような話題があることがある。例えば、ＴＶで放映されている番組、毎週決まった曜日など定期的に開催されるイベントなどがそれに該当する。その都度、盛り上がるたびに時系列バースト検出手段で検出するのでは、ユーザにとってメリットが無い。そのようなケースの具体的な動作としては、週や月ごとの周期性を考慮したバーストの検知を行う。定期的にバーストする日時で通常以上のバーストの出現や、定期的にバーストしていない箇所でのバーストの出現などを検知する。
【００３２】
バースト特徴抽出手段３２１、３２２、・・３２ｎは、それぞれ時系列バースト検出手段３１１、３１２、・・３１ｎが検出したバーストの期間の特徴を抽出する。バースト特徴抽出手段３２１、３２２、・・３２ｎは、バースト期間内の記事特有な単語、高頻出な単語の抽出などによって実現する。バースト期間内での記事特有な単語を抽出することにより、定常的に語られているそのカテゴリー内では当たり前の単語が除去されるため、バーストの原因となった単語が効果的に抽出される。
【００３３】
スパム・イベント特徴判定手段３３１、３３２、・・３３ｎは、バースト特徴抽出手段３２１、３２２、・・３２ｎによってそれぞれ抽出された特徴語を元にスパム記述かイベント記述かの判定を行う。具体的には、例えば、特徴語に対して、ＷＥＢニュースなどの外部ソースなどでほぼ同時期に出現しているかどうかを調査することで判定が可能となる。もちろん、抽出されてきた特徴語やその単語が利用されている原文などをユーザが確認することにより、スパム記述・イベント記述かを判定させることも可能である。この場合は、バーストが検知されるたびにメールなどの伝達手段によって、ユーザにバーストが検知されたこと、その期間内の特徴がどのようなものであったかを知らせるシステムを構築するようにしてもよい。イベント記述と判定されれば、そのカテゴリーに関する記事の時系列グラフと共にイベント内容を記述することにより、詳細な情報の提供が可能となる。スパム記述と判定されれば、そのスパムに見られる単語、ＵＲＬやパターンなどいった特徴をルール化して、クレンジングルール記憶部２３に送信し、再度クレンジングから実行することにより、ノイズの少ない高精度なカテゴリーに関するデータ抽出が実現される。
【００３４】
イベント情報記憶部３４１、３４２、・・３４ｎは、スパム・イベント特徴判定手段３３１、３３２、・・３３ｎによってイベントであると判定されたイベント情報をそれぞれ記憶する。
【００３５】
出力装置４は、イベント情報記憶部３４１、３４２、・・３４ｎに保持されているイベント情報などの出力を行うディスプレイなどの表示機器やプリンタなどの印刷機器などが該当する。
【００３６】
次に、図１及び図２のフローチャートを参照して、本発明の第１の実施形態に係るスパム・イベント検出装置の動作について説明する。図２は、本発明の第１の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。
【００３７】
入力装置１は、入力したテキストデータをデータ記憶部２１に送出し、データ記憶部２１は、テキストデータを記憶する（図２のステップＡ１）。
【００３８】
データクレンジング手段２２は、データ記憶部２１に記憶されているテキストデータから、クレンジングルール記憶部２３を参照して現在のスパム記述ルールに一致するスパム記述を除去する（図２のステップＡ２）。
【００３９】
データ抽出手段２４は、スパム記述除去後のデータから、ユーザが分析したい各カテゴリー、または自動的に抽出された類似カテゴリーに関するテキストをそれぞれ抽出し、抽出データ記憶部２５１、２５２、・・２５ｎにそれぞれ格納する（図２のステップＡ３）。
【００４０】
時系列バースト検出手段３１１、３１２、・・３１ｎは、それぞれ抽出されたカテゴリーに関するデータの件数情報から、バーストを時系列として検出する（図２のステップＡ４）。
【００４１】
バースト特徴抽出手段３２１、３２２、・・３２ｎは、それぞれ検出されたバーストの期間の抽出データから、バースト期間のみに特徴的に出現したキーワードや、キーワード群、要約文などを特徴として抽出する（図２のステップＡ５）。
【００４２】
スパム・イベント特徴判定手段３３１、３３２、・・３３ｎは、それぞれバースト期間内の特徴情報から、バースト期間内の記述が、スパム記述であったのかイベント記述であったのかを判定する。スパム記述であれば、判定されたスパム記述を除去するためのルールを作成し、クレンジングルール記憶部２３に格納し、ステップＡ２のデータクレンジングを再度実行する。一方、イベント記述であれば、特徴情報をイベント情報として、イベント記憶部３４１、３４２、・・３４ｎにそれぞれ格納する（図２のステップＡ６）。
【００４３】
出力装置４は、イベント記憶部３４１、３４２、・・３４ｎに格納された、バーストの原因となったイベント情報やそのイベント情報を付与したカテゴリーに関するブログ件数の時系列グラフなどを出力する（図２のステップＡ７）。
【００４４】
次に具体的な例を元に、各部の動作について説明する。例えば、ここで世の中に存在するブログ記事全てを入力し、ある企業Ａに関するブログを抽出したとする。図３、図４は、企業Ａのブログ記事数の時間的推移の例を表す図である。図３を参照すると、２００７年１１月付近に２度のバースト現象が見られる。時系列バースト検出手段３１１、３１２、・・３１ｎは、このようなバースト現象を検出する。さらに、バースト特徴抽出手段３２１、３２２、・・３２ｎは、２度のバースト現象それぞれについて特徴語を抽出する。図３では、初めのバースト現象の特徴が「××事件」「・・・・によるミス」などといった不祥事を示している。これらの単語は、外部のＷＥＢニュースやＴＶなどでも同時期に出現することから、スパム・イベント判定装置によってイベント記述であると判定することができる。
【００４５】
一方、２つ目のバースト現象での特徴は、外部ソースでも全く出現しない、意味の持たない、カテゴリーとは無関係の単語が抽出されているものとする。この場合、スパム・イベント特徴判定手段３３１、３３２、・・３３ｎは、スパム記述であると判断し、抽出された特徴語を多く含む記述はスパムであるという判定ルールをクレンジングルール記憶部２３に追記する。そして、データクレンジングを再実行することにより、図４に示すようにバースト現象が無くなる。一般にスパム記述は、検索されやすい単語を散りばめて自動生成されるため、カテゴリーに絞り込むことにより、このようなバースト現象として出現する。
【００４６】
また、図５は、書き込みに周期性を強く持つカテゴリーを分析した時の時間的推移の例を表す図である。図５に示すように週次といった特定の周期でバーストしているが、他のバースト現象と比較し、よりバーストしているものを検出する。ＴＶで放送されるドラマなどの番組であれば、決められた曜日に放映され、その直後にブログなどの書き込み量が盛り上がる。その中でも異常に盛り上がっているバーストの特徴を見ると、図５のように「ゲストタレントＢ」「サプライズ」などといったその時の特別なイベントが抽出される。その定期的な周期に反して、異なる箇所でのバーストについては、出演タレントのイベントやスパム記述などが考えられ、スパム・イベント特徴判定手段３３１、３３２、・・３３ｎによって判定することが可能である。
【００４７】
以上のようなスパム・イベント検出装置は、入力テキストの中からユーザが希望するカテゴリーまたは類似話題ごとにテキストを分類した上で、各カテゴリーテキスト内のスパム記述やイベント記述を自動的に検出し、スパム記述であれば再度データクレンジングを実行するように再帰的に構成される。また、イベント記述であれば高付加価値な情報として記憶する。このように、人手をかけることなく未知のスパム記述の除去などといった高精度な分析が実現できる。また、カテゴリーに関するイベント情報も付与した高付加価値なテキストのレポーティングが可能になる。
【００４８】
［第２の実施形態］
図６は、本発明の第２の実施形態に係るスパム・イベント検出装置の構成を示す図である。図６を参照すると、スパム・イベント検出装置は、図１に示された構成に対し、図１のデータクレンジング手段２２、クレンジングルール記憶部２３を持たない点で異なる。さらに、スパム記述除去を行うデータクレンジング手段３５１、３５２、・・３５ｎ、クレンジングルール記憶部３６１、３６２、・・３６ｎを有する点で異なる。
【００４９】
データクレンジング手段３５１、３５２、・・３５ｎ、クレンジングルール記憶部３６１、３６２、・・３６ｎは、機能としては図１のデータクレンジング手段２２、クレンジングルール記憶部２３とそれぞれ同様であるが、カテゴリーごとに抽出されたデータに対して、データクレンジングを行う点で異なる。
【００５０】
次に、図６及び図７のフローチャートを参照して、本発明の第２の実施形態に係るスパム・イベント検出装置の動作について説明する。図７は、本発明の第２の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。図７のステップＡ１、Ａ４−Ａ７における処理内容は、図２の同じ符号のステップと同一のため、その説明を省略する。
【００５１】
第１の実施形態では、各カテゴリーに抽出する前にスパム記述の除去処理であるデータクレンジングを行っていた。これに対し、本実施形態では、ステップＡ１の後、データ抽出手段２４において、カテゴリーごとにデータ抽出（図７のステップＢ１）を行う。さらに、各カテゴリーに関するデータに対して、データクレンジング手段３５１、３５２、・・３５ｎ、クレンジングルール記憶部３６１、３６２、・・３６ｎにおいて、データクレンジングを行う（図７のステップＢ２）。
【００５２】
第２の実施形態のスパム・イベント検出装置において、第１の実施形態と異なる箇所は、データクレンジング手段をデータ抽出手段の前で実行するか、後で実行するかである。第１の実施形態のように、前で実行するのであれば、クレンジングルールは全カテゴリー共通なものとなり、管理面や処理面では効率的ではある。しかし、スパム記述でないものに対して、スパム記述であると判定する誤抽出も多くなる。これに対し、第２の実施形態であれば、各カテゴリーに特有のクレンジングルールを備えるために、管理面、処理面では負荷が大きいが、高精度なデータクレンジングが実現できる。
【００５３】
このように第２の実施形態のスパム・イベント検出装置によれば、第１の実施形態の効果に加えて、各カテゴリーに対して専用のクレンジングルールを持つように構成される。したがって、各カテゴリーのテキスト抽出に関して、スパム記述除去の誤りといった誤作動が減少し、高精度なスパム記述の除去が可能となる。
【００５４】
［第３の実施形態］
図８は、本発明の第３の実施形態に係るスパム・イベント検出装置の構成を示す図である。図８を参照すると、スパム・イベント検出装置は、図６に示された構成に加え、図６の時系列バースト検出手段３１１、３１２、・・３１ｎの代わりに時系列バースト検出得点付与手段３７１、３７２、・・３７ｎを有する点、図６のデータクレンジング手段３５１、３５２、・・３５ｎの代わりにデータクレンジング得点付与手段３８１、３８２、・・３８ｎを有する点、スパム・イベント集約判定手段３９１、３９２、・・３９ｎを有する点、図６のスパム・イベント特徴判定手段３３１、３３２、・・３３ｎを持たない点で異なる。
【００５５】
時系列バースト検出得点付与手段３７１、３７２、・・３７ｎは、抽出データ記憶部２５１、２５２、・・２５ｎにおけるカテゴリーごとに抽出されたそれぞれのデータの全時間帯に対してバースト検知を行い、各時刻でのバースト情報の得点化する。
【００５６】
データクレンジング得点付与手段３８１、３８２、・・３８ｎは、抽出データ記憶部２５１、２５２、・・２５ｎにおけるカテゴリーごとに抽出されたそれぞれのデータに対し、クレンジングルール記憶部３６１、３６２、・・３６ｎに格納されたそれぞれのルールに合致した記事にそれぞれ得点を与えていく。
【００５７】
スパム・イベント集約判定手段３９１、３９２、・・３９ｎは、バースト検出得点付与手段３７１、３７２、・・３７ｎでのそれぞれの得点、データクレンジング得点付与手段３８１、３８２、・・３８ｎでのそれぞれの得点を元に、バースト期間の記事に対し、スパム記述かイベント記述かどうかを判定する。
【００５８】
クレンジングルール記憶部３６１、３６２、・・３６ｎは、スパム・イベント集約判定手段３９１、３９２、・・３９ｎにおいてそれぞれスパム記述と判定された情報を元に削除ルールの更新を行う。
【００５９】
次に、図８及び図９のフローチャートを参照して、本発明の第３の実施形態に係るスパム・イベント検出装置の動作について説明する。図９は、本発明の第３の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。
【００６０】
図９のステップＡ１、Ｂ１、Ａ５、Ａ７における処理内容は、図７の同じ符号のステップと同一のため、その説明を省略する。
【００６１】
第２の実施形態では、スパム記述か、イベント記述かを判定するのに、バースト期間の特徴からの判定を行っていた。これに対し、本実施形態ではステップＢ１の後、バースト検出得点付与手段３７１、３７２、・・３７ｎは、データ抽出手段２４によって抽出されたデータに対して、バーストの度合いを大きいものが高得点になるように得点化する（図９のステップＣ２）。
【００６２】
また、ステップＢ１の後、データクレンジング得点付与手段３８１、３８２、・・３８ｎは、データ抽出手段２４によって抽出されたデータに対して、クレンジングルール記憶部３６１、３６２、・・３６ｎに記憶されているルールに合致する記事にルール別の得点を与える（図９のステップＣ１）。
【００６３】
そして、スパム・イベント集約判定手段３９１、３９２、・・３９ｎは、これらの得点を総合的に判定し、イベント記述かスパム記述かを判定する（図９のステップＣ３）。
【００６４】
その後、ステップＡ５、Ａ７を実行する。
【００６５】
第３の実施形態のスパム・イベント検出装置において、第１、第２の実施形態と異なる箇所は、スパム・イベント記述の判定をバースト期間の特徴で判定するか、バースト検出手段での得点、およびデータクレンジング手段での得点の総合点で判定するかである。バースト検出の得点とは、より大きなバーストに対して、バースト期間内の各記事に対して得点を多く付与する。データクレンジング手段でも、クレンジングルールに予め得点を付与しておき、合致したルールの得点の合計値によって各記事に得点を付与する。スパム・イベント集約判定手段３９１、３９２、・・３９ｎでは、バースト検出の得点、クレンジングの得点が共に高得点であれば、スパム記述である可能性が最も高くなると判定する。また、バースト検出の得点が高く、クレンジングの得点が低ければ、イベント記述の可能性が高くなると判定する。例えば、図１０に示すように判定をすることによって、判定の目安をつけることが可能となる。クレンジング得点が高得点で通常記述の可能性が高ければ、クレンジングルールの見直しなどを行うようにすることができる。
【００６６】
このように第３の実施形態のスパム・イベント検出装置によれば、第２の実施形態の効果に加えて、スパム記述かイベント記述かの判定が得点によって判別できる。したがって、より明確な判断、各記述の可能性の提示が可能となる。
【００６７】
［第４の実施形態］
図１１は、本発明の第４の実施形態に係るスパム・イベント検出装置の構成を示す図である。図１１を参照すると、スパム・イベント検出装置は、図８に示された構成に加え、バースト特徴抽出手段３２１、３２２、・・３２ｎの後にそれぞれスパム・イベント特徴判定手段３３１、３３２、・・３３ｎを有する点で異なる。
【００６８】
スパム・イベント特徴判定手段３３１、３３２、・・３３ｎの機能については、第１の実施形態で説明しているので、ここでは省略する。
【００６９】
次に、図１１及び図１２を参照して、本発明の第４の実施形態に係るスパム・イベント検出装置の動作について説明する。図１２は、本発明の第４の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。図１２のステップＡ１、Ｂ１、Ｃ１、Ｃ２、Ｃ３、Ａ５、Ａ７における処理内容は、図９の同じ符号のステップと同一のため、その説明を省略する。
【００７０】
第３の実施形態では、スパム記述かイベント記述かを判定するのに、バーストの検出といったトラフィックベースでの判定と、ルールによるスパム検出といったコンテンツベースでの判定との２つの判定の得点を考慮することのみで行っていた。これに対し、本実施形態では、ステップＡ５の後に、スパム・イベント集約判定手段３９１、３９２、・・３９ｎによって、イベント記述であると判定され、バースト特徴抽出手段３２１、３２２、・・３２ｎによって抽出された特徴に対して、スパム・イベント特徴判定手段３３１、３３２、・・３３ｎによって再度、判定を行う（図１２のステップＤ１）。この結果、スパム記述であると判定されれば、再度クレンジングルールを更新してデータクレンジングを行う（図１２のステップＣ１）。
【００７１】
第４の実施形態のスパム・イベント検出装置において、第１、第２、第３の実施形態と異なる箇所は、第３の実施形態の判定手段の後に第１、第２の実施形態の判定手段を実行する２段階での判定を行う点にある。第３の実施形態であれば、例えば、クレンジングの得点が低く、バーストの得点が高い記述に対しては、未知のスパム記述かイベント記述かの判定は難しい。そこで、スパム・イベント特徴判定手段３３１、３３２、・・３３ｎによって再度、判定を行うことで、未知のスパム記述の判定も可能となる。このような二重の判定によって、高精度なスパム・イベント判定が実現できる。
【００７２】
このように第４の実施形態のスパム・イベント検出装置によれば、第３の実施形態の効果に加えて、バースト検知・ルールマッチングといったスパム記述・イベント記述判定を行った後、バースト期間の特徴による判定も行う。したがって、より高精度な判定が可能となる。
【産業上の利用可能性】
【００７３】
本発明によれば、マーケティング調査、ブランドイメージ調査などに多く用いられるブログやＳＮＳ、ニュース記事などのノイズ（アフリエイト記事などのスパムなど）やイベント（新商品発売、ＣＭ放映、ＴＶ番組での紹介など）を多く含むテキストの分析といった用途に適用できる。また、ブログ、ＳＮＳなどを運営するコミュニティサービス事業、ニュースなどの情報提供を行うポータルサービス事業といった用途にも適用可能である。
【００７４】
なお、前述の特許文献等の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【図面の簡単な説明】
【００７５】
【図１】本発明の第１の実施形態に係るスパム・イベント検出装置の構成を示す図である。
【図２】本発明の第１の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。
【図３】企業Ａのブログ記事数の時間的推移の例を表す第１の図である。
【図４】企業Ａのブログ記事数の時間的推移の例を表す第２の図である。
【図５】書き込みに周期性を強く持つカテゴリーを分析した時の時間的推移の例を表す図である。
【図６】本発明の第２の実施形態に係るスパム・イベント検出装置の構成を示す図である。
【図７】本発明の第２の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。
【図８】本発明の第３の実施形態に係るスパム・イベント検出装置の構成を示す図である。
【図９】本発明の第３の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。
【図１０】本発明の第３の実施形態に係る判定手段における判定ルールの例を表す図である。
【図１１】本発明の第４の実施形態に係るスパム・イベント検出装置の構成を示す図である。
【図１２】本発明の第４の実施形態に係るスパム・イベント検出装置の動作を示すフローチャートである。
【符号の説明】
【００７６】
１ 入力装置
４ 出力装置
２１ データ記憶部
２２ データクレンジング手段
２３ クレンジングルール記憶部
２４ データ抽出手段
２５１、２５２、・・２５ｎ 抽出データ記憶部
３１１、３１２、・・３１ｎ 時系列バースト検出手段
３２１、３２２、・・３２ｎ バースト特徴抽出手段
３３１，３３２、・・３３ｎ スパム・イベント特徴判定手段
３４１、３４２、・・３４ｎ イベント情報記憶部
３５１、３５２、・・３５ｎ データクレンジング手段
３６１、３６２、・・３６ｎ クレンジングルール記憶部
３７１、３７２、・・３７ｎ 時系列バースト検出得点付与手段
３８１、３８２、・・３８ｎ データクレンジング得点付与手段
３９１、３９２、・・３９ｎ スパム・イベント集約判定手段
【特許請求の範囲】
【請求項１】
検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うデータクレンジング手段と、
前記スパム記述の駆除がなされたデータの時系列バーストを検出する時系列バースト検出手段と、
前記時系列バースト検出手段で検出したバースト期間の特徴を抽出するバースト特徴抽出手段と、
前記バースト特徴抽出手段で抽出した特徴に基づいてスパム記述かイベント記述かを判定するスパム・イベント特徴判定手段と、
を備えることを特徴とするスパム・イベント検出装置。
【請求項２】
前記スパム記述の駆除がなされたデータを所定の方法で複数のデータに分類するデータ抽出手段を備え、
前記時系列バースト検出手段、バースト特徴抽出手段、およびスパム・イベント特徴判定手段を前記複数のデータのそれぞれに対応させて複数備えることを特徴とする請求項１記載のスパム・イベント検出装置。
【請求項３】
前記検出対象とされる蓄積したテキストデータを所定の方法で複数のデータに分類するデータ抽出手段を備え、
前記データクレンジング手段は、前記分類されたデータから前記分類されたデータに対応するスパム記述ルールを用いてスパム記述の駆除を行い、
前記データクレンジング手段、時系列バースト検出手段、バースト特徴抽出手段、およびスパム・イベント特徴判定手段を前記複数のデータのそれぞれに対応させて複数備えることを特徴とする請求項１記載のスパム・イベント検出装置。
【請求項４】
前記スパム・イベント特徴判定手段でスパム記述であると判定したスパムの情報を元に前記スパム記述ルールを書き換えることを特徴とする請求項１乃至３のいずれか一に記載のスパム・イベント検出装置。
【請求項５】
前記データ抽出手段によって分類されたデータに対してバースト情報に得点を付与する時系列バースト得点付与手段と、
前記データ抽出手段によって分類されたデータに対して前記スパム記述ルールを元に得点を付与するデータクレンジング得点付与手段と、
前記時系列バースト得点付与手段およびデータクレンジング得点付与手段が付与した双方の得点に基づいてスパム記述かイベント記述かを判定するスパム・イベント集約判定手段と、
を、前記データクレンジング手段に替えて前記複数のデータのそれぞれに対応させて複数備え、
前記スパム・イベント特徴判定手段および前記スパム・イベント集約判定手段でスパム記述であると判定したスパムの情報を元に前記スパム記述ルールを書き換えることを特徴とする請求項３記載のスパム・イベント検出装置。
【請求項６】
前記スパム・イベント特徴判定手段を廃し、前記スパム・イベント集約判定手段でスパム記述であると判定したスパムの情報のみを元に前記スパム記述ルールを書き換えることを特徴とする請求項５記載のスパム・イベント検出装置。
【請求項７】
スパム・イベント検出装置がスパムを検出する方法であって、
検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うステップと、
前記スパム記述の駆除がなされたデータの時系列バーストを検出するステップと、
前記検出した時系列バーストにおけるバースト期間の特徴を抽出するステップと、
前記抽出した特徴に基づいてスパム記述かイベント記述かを判定するステップと、
を含むことを特徴とするスパム・イベント検出方法。
【請求項８】
前記スパム記述の駆除がなされたデータを所定の方法で複数のデータに分類するステップを含み、
前記時系列バーストを検出するステップと、前記バースト期間の特徴を抽出するステップと、前記スパム記述かイベント記述かを判定するステップとを、前記複数のデータのそれぞれに対応させて含むことを特徴とする請求項７記載のスパム・イベント検出方法。
【請求項９】
前記検出対象とされる蓄積したテキストデータを所定の方法で複数のデータに分類するステップを含み、
前記スパム記述の駆除を行うステップにおいて、前記分類されたデータから前記スパム記述ルールを用いてスパム記述の駆除を行い、
前記スパム記述の駆除を行うステップと、前記時系列バーストを検出するステップと、前記バースト期間の特徴を抽出するステップと、前記スパム記述かイベント記述かを判定するステップとを、前記複数のデータのそれぞれに対応させて含むことを特徴とする請求項７記載のスパム・イベント検出方法。
【請求項１０】
前記スパム記述かイベント記述かを判定するステップにおいて、スパム記述であると判定したスパムの情報を元に前記スパム記述ルールが書き換えられることを特徴とする請求項７乃至９のいずれか一に記載のスパム・イベント検出方法。
【請求項１１】
前記分類されたデータに対してバースト情報に得点を付与するステップと、
前記分類されたデータに対して前記スパム記述ルールを元に得点を付与するステップと、
前記２つの得点を付与するステップにおいて付与した双方の得点に基づいてスパム記述かイベント記述かを判定するステップと、
を、前記スパム記述の駆除を行うステップに替えて前記複数のデータのそれぞれに対応させて含み、
前記抽出した特徴からスパム記述かイベント記述かを判定するステップおよび前記双方の得点からスパム記述かイベント記述かを判定するステップでスパム記述であると判定したスパムの情報を元に前記スパム記述ルールが書き換えられることを特徴とする請求項９記載のスパム・イベント検出方法。
【請求項１２】
前記抽出した特徴からスパム記述かイベント記述かを判定するステップを廃し、前記双方の得点に基づいてスパム記述かイベント記述かを判定するステップでスパム記述であると判定したスパムの情報のみを元に前記スパム記述ルールが書き換えられることを特徴とする請求項１１記載のスパム・イベント検出方法。
【請求項１３】
スパム・イベント検出装置を構成するコンピュータに、
検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うデータクレンジング処理と、
前記スパム記述の駆除がなされたデータの時系列バーストを検出する時系列バースト検出処理と、
前記時系列バースト検出処理で検出したバースト期間の特徴を抽出するバースト特徴抽出処理と、
前記バースト特徴抽出処理で抽出した特徴に基づいてスパム記述かイベント記述かを判定するスパム・イベント特徴判定処理と、
を実行させるためのプログラム。
【請求項１４】
前記スパム記述の駆除がなされたデータを所定の方法で複数のデータに分類するデータ抽出処理をさらに実行させ、
前記時系列バースト検出処理、バースト特徴抽出処理、およびスパム・イベント特徴判定処理を前記複数のデータのそれぞれに対応させて実行させることを特徴とする請求項１３記載のプログラム。
【請求項１５】
前記検出対象とされる蓄積したテキストデータを所定の方法で複数のデータに分類するデータ抽出処理をさらに実行させ、
前記データクレンジング処理は、前記分類されたデータから前記分類されたデータに対応するスパム記述ルールを用いてスパム記述の駆除を行い、
前記データクレンジング処理、時系列バースト検出処理、バースト特徴抽出処理、およびスパム・イベント特徴判定処理を前記複数のデータのそれぞれに対応させて実行させることを特徴とする請求項１３記載のプログラム。
【請求項１６】
前記スパム・イベント特徴判定処理でスパム記述であると判定したスパムの情報を元に前記スパム記述ルールを書き換えることを特徴とする請求項１３乃至１５のいずれか一に記載のプログラム。
【請求項１７】
前記データ抽出処理によって分類されたデータに対してバースト情報に得点を付与する時系列バースト得点付与処理と、
前記データ抽出処理によって分類されたデータに対して前記スパム記述ルールを元に得点を付与するデータクレンジング得点付与処理と、
前記時系列バースト得点付与処理およびデータクレンジング得点付与処理が付与した双方の得点に基づいてスパム記述かイベント記述かを判定するスパム・イベント集約判定処理と、
を、前記データクレンジング処理に替えて前記複数のデータのそれぞれに対応させて実行させ、
前記スパム・イベント特徴判定処理および前記スパム・イベント集約判定処理でスパム記述であると判定したスパムの情報を元に前記スパム記述ルールを書き換えることを特徴とする請求項１５記載のプログラム。
【請求項１８】
前記スパム・イベント特徴判定処理を廃し、前記スパム・イベント集約判定処理でスパム記述であると判定したスパムの情報のみを元に前記スパム記述ルールを書き換えることを特徴とする請求項１７記載のプログラム。
【請求項１】
検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うデータクレンジング手段と、
前記スパム記述の駆除がなされたデータの時系列バーストを検出する時系列バースト検出手段と、
前記時系列バースト検出手段で検出したバースト期間の特徴を抽出するバースト特徴抽出手段と、
前記バースト特徴抽出手段で抽出した特徴に基づいてスパム記述かイベント記述かを判定するスパム・イベント特徴判定手段と、
を備えることを特徴とするスパム・イベント検出装置。
【請求項２】
前記スパム記述の駆除がなされたデータを所定の方法で複数のデータに分類するデータ抽出手段を備え、
前記時系列バースト検出手段、バースト特徴抽出手段、およびスパム・イベント特徴判定手段を前記複数のデータのそれぞれに対応させて複数備えることを特徴とする請求項１記載のスパム・イベント検出装置。
【請求項３】
前記検出対象とされる蓄積したテキストデータを所定の方法で複数のデータに分類するデータ抽出手段を備え、
前記データクレンジング手段は、前記分類されたデータから前記分類されたデータに対応するスパム記述ルールを用いてスパム記述の駆除を行い、
前記データクレンジング手段、時系列バースト検出手段、バースト特徴抽出手段、およびスパム・イベント特徴判定手段を前記複数のデータのそれぞれに対応させて複数備えることを特徴とする請求項１記載のスパム・イベント検出装置。
【請求項４】
前記スパム・イベント特徴判定手段でスパム記述であると判定したスパムの情報を元に前記スパム記述ルールを書き換えることを特徴とする請求項１乃至３のいずれか一に記載のスパム・イベント検出装置。
【請求項５】
前記データ抽出手段によって分類されたデータに対してバースト情報に得点を付与する時系列バースト得点付与手段と、
前記データ抽出手段によって分類されたデータに対して前記スパム記述ルールを元に得点を付与するデータクレンジング得点付与手段と、
前記時系列バースト得点付与手段およびデータクレンジング得点付与手段が付与した双方の得点に基づいてスパム記述かイベント記述かを判定するスパム・イベント集約判定手段と、
を、前記データクレンジング手段に替えて前記複数のデータのそれぞれに対応させて複数備え、
前記スパム・イベント特徴判定手段および前記スパム・イベント集約判定手段でスパム記述であると判定したスパムの情報を元に前記スパム記述ルールを書き換えることを特徴とする請求項３記載のスパム・イベント検出装置。
【請求項６】
前記スパム・イベント特徴判定手段を廃し、前記スパム・イベント集約判定手段でスパム記述であると判定したスパムの情報のみを元に前記スパム記述ルールを書き換えることを特徴とする請求項５記載のスパム・イベント検出装置。
【請求項７】
スパム・イベント検出装置がスパムを検出する方法であって、
検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うステップと、
前記スパム記述の駆除がなされたデータの時系列バーストを検出するステップと、
前記検出した時系列バーストにおけるバースト期間の特徴を抽出するステップと、
前記抽出した特徴に基づいてスパム記述かイベント記述かを判定するステップと、
を含むことを特徴とするスパム・イベント検出方法。
【請求項８】
前記スパム記述の駆除がなされたデータを所定の方法で複数のデータに分類するステップを含み、
前記時系列バーストを検出するステップと、前記バースト期間の特徴を抽出するステップと、前記スパム記述かイベント記述かを判定するステップとを、前記複数のデータのそれぞれに対応させて含むことを特徴とする請求項７記載のスパム・イベント検出方法。
【請求項９】
前記検出対象とされる蓄積したテキストデータを所定の方法で複数のデータに分類するステップを含み、
前記スパム記述の駆除を行うステップにおいて、前記分類されたデータから前記スパム記述ルールを用いてスパム記述の駆除を行い、
前記スパム記述の駆除を行うステップと、前記時系列バーストを検出するステップと、前記バースト期間の特徴を抽出するステップと、前記スパム記述かイベント記述かを判定するステップとを、前記複数のデータのそれぞれに対応させて含むことを特徴とする請求項７記載のスパム・イベント検出方法。
【請求項１０】
前記スパム記述かイベント記述かを判定するステップにおいて、スパム記述であると判定したスパムの情報を元に前記スパム記述ルールが書き換えられることを特徴とする請求項７乃至９のいずれか一に記載のスパム・イベント検出方法。
【請求項１１】
前記分類されたデータに対してバースト情報に得点を付与するステップと、
前記分類されたデータに対して前記スパム記述ルールを元に得点を付与するステップと、
前記２つの得点を付与するステップにおいて付与した双方の得点に基づいてスパム記述かイベント記述かを判定するステップと、
を、前記スパム記述の駆除を行うステップに替えて前記複数のデータのそれぞれに対応させて含み、
前記抽出した特徴からスパム記述かイベント記述かを判定するステップおよび前記双方の得点からスパム記述かイベント記述かを判定するステップでスパム記述であると判定したスパムの情報を元に前記スパム記述ルールが書き換えられることを特徴とする請求項９記載のスパム・イベント検出方法。
【請求項１２】
前記抽出した特徴からスパム記述かイベント記述かを判定するステップを廃し、前記双方の得点に基づいてスパム記述かイベント記述かを判定するステップでスパム記述であると判定したスパムの情報のみを元に前記スパム記述ルールが書き換えられることを特徴とする請求項１１記載のスパム・イベント検出方法。
【請求項１３】
スパム・イベント検出装置を構成するコンピュータに、
検出対象とされる蓄積したテキストデータからスパム記述ルールを用いてスパム記述の駆除を行うデータクレンジング処理と、
前記スパム記述の駆除がなされたデータの時系列バーストを検出する時系列バースト検出処理と、
前記時系列バースト検出処理で検出したバースト期間の特徴を抽出するバースト特徴抽出処理と、
前記バースト特徴抽出処理で抽出した特徴に基づいてスパム記述かイベント記述かを判定するスパム・イベント特徴判定処理と、
を実行させるためのプログラム。
【請求項１４】
前記スパム記述の駆除がなされたデータを所定の方法で複数のデータに分類するデータ抽出処理をさらに実行させ、
前記時系列バースト検出処理、バースト特徴抽出処理、およびスパム・イベント特徴判定処理を前記複数のデータのそれぞれに対応させて実行させることを特徴とする請求項１３記載のプログラム。
【請求項１５】
前記検出対象とされる蓄積したテキストデータを所定の方法で複数のデータに分類するデータ抽出処理をさらに実行させ、
前記データクレンジング処理は、前記分類されたデータから前記分類されたデータに対応するスパム記述ルールを用いてスパム記述の駆除を行い、
前記データクレンジング処理、時系列バースト検出処理、バースト特徴抽出処理、およびスパム・イベント特徴判定処理を前記複数のデータのそれぞれに対応させて実行させることを特徴とする請求項１３記載のプログラム。
【請求項１６】
前記スパム・イベント特徴判定処理でスパム記述であると判定したスパムの情報を元に前記スパム記述ルールを書き換えることを特徴とする請求項１３乃至１５のいずれか一に記載のプログラム。
【請求項１７】
前記データ抽出処理によって分類されたデータに対してバースト情報に得点を付与する時系列バースト得点付与処理と、
前記データ抽出処理によって分類されたデータに対して前記スパム記述ルールを元に得点を付与するデータクレンジング得点付与処理と、
前記時系列バースト得点付与処理およびデータクレンジング得点付与処理が付与した双方の得点に基づいてスパム記述かイベント記述かを判定するスパム・イベント集約判定処理と、
を、前記データクレンジング処理に替えて前記複数のデータのそれぞれに対応させて実行させ、
前記スパム・イベント特徴判定処理および前記スパム・イベント集約判定処理でスパム記述であると判定したスパムの情報を元に前記スパム記述ルールを書き換えることを特徴とする請求項１５記載のプログラム。
【請求項１８】
前記スパム・イベント特徴判定処理を廃し、前記スパム・イベント集約判定処理でスパム記述であると判定したスパムの情報のみを元に前記スパム記述ルールを書き換えることを特徴とする請求項１７記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１９９３４１（Ｐ２００９−１９９３４１Ａ）
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願番号】特願２００８−４０３３４（Ｐ２００８−４０３３４）
【出願日】平成２０年２月２１日（２００８．２．２１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願日】平成２０年２月２１日（２００８．２．２１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]