キーワード抽出装置、キーワード抽出方法、キーワード抽出プログラムおよびキーワード抽出システム
【課題】複数の文書からなる文書集合に対して、文書集合を構成する各文書のキーワードを、文書集合全体のキーワードと併せて、精度よく抽出する。
【解決手段】複数の文書に基づく文書集合のテキスト情報から、文書集合の全体としてのキーワードを抽出する集合ワード抽出部１１３と、文書集合のテキスト情報から、文書集合の各文書におけるキーワードを、文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出部１１４と、文書集合の各文書について、集合ワード抽出部１１３により抽出されたキーワードのうち当該文書に含まれるキーワードと、文書ワード抽出部１１４により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定部１１２と、を備える。
【解決手段】複数の文書に基づく文書集合のテキスト情報から、文書集合の全体としてのキーワードを抽出する集合ワード抽出部１１３と、文書集合のテキスト情報から、文書集合の各文書におけるキーワードを、文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出部１１４と、文書集合の各文書について、集合ワード抽出部１１３により抽出されたキーワードのうち当該文書に含まれるキーワードと、文書ワード抽出部１１４により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定部１１２と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キーワード抽出装置、キーワード抽出方法、キーワード抽出プログラムおよびキーワード抽出システムに関する。
【背景技術】
【０００２】
日本語の文章から成る文書の概要を知りたい場合や、その文書を検索するための検索ワードを予め用意しておきたい場合等に、その文書のキーワードを抽出する方法が取られる。日本語の文書からキーワードを抽出する手法として、その文書を構成するそれぞれの文を形態素に分解し、各形態素に対してＴＦ（単語の出現頻度:Term Frequency）−ＩＤＦ（逆出現頻度:Inverse Document Frequency）値等の重要度を表す指標を計算し、その指標の高い形態素をその文書のキーワードとする技術が知られている。
【０００３】
また、例えば、特許文献１には、複数文書を話題ごとに分類することを目的とし、文書からキーワードを抽出し、そのキーワードに基づき、文書同士が同一の話題を扱っているかを判定する文書集約方法に関する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、単に文章を形態素に分解し、それぞれの形態素について重要度を計算する方法では、複数ページからなるスライド文書のように、共通する話題を持った文書の集合体について、それぞれの文書に特有のキーワードを的確に抽出することができないという問題があった。
【０００５】
ここで、スライド文書の場合は、各ページを一つの文書と見なすことにより、スライド全体を複数の文書（＝ページ）の集合体と見なすことができる。また、通常の文書においても構造化された文書であれば、各構造を一つの文書と見なすことで、文書全体を複数の文書（＝構造）の集合体と見なすことができる。
【０００６】
しかしながら、このような集合体（文書集合ともいう）を構成する各文書は、共通した話題について書かれているため、各文書に対して、日本語一般としてのキーワードを抽出しようとすると、それぞれの文書間でのキーワードの違いが少なくなってしまうという問題がある。
【０００７】
また、逆に集合体を構成する他の文書との比較において重要なキーワードを抜き出そうとすると、他の文書とは違った言葉を抜き出そうとするがために、文書集合全体で共通する話題を表すようなキーワードが抜け落ちてしまうという問題があった。
【０００８】
上記特許文献１に記載の技術では、似た話題の文書それぞれにおいてキーワードを抽出しているが、文書間に共通する話題のキーワードと各書特有のキーワードの双方に考慮したキーワードについては、同時に抽出することができないという問題を解消することはできなかった。
【０００９】
そこで本発明は、複数の文書から成る文書集合のそれぞれの文書のキーワードを抽出し、文書集合そのものを表すキーワードを残しながらも、各文書間の違いが分かるようなキーワードをも抽出できるようにすることができるキーワード抽出装置、キーワード抽出方法、キーワード抽出プログラムおよびキーワード抽出システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
かかる目的を達成するため、請求項１に記載のキーワード抽出装置は、複数の文書に基づく文書集合のテキスト情報から、文書集合の全体としてのキーワードを抽出する集合ワード抽出手段と、文書集合のテキスト情報から、文書集合の各文書におけるキーワードを、文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出手段と、文書集合の各文書について、集合ワード抽出手段により抽出されたキーワードのうち当該文書に含まれるキーワードと、文書ワード抽出手段により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定手段と、を備えたものである。
【００１１】
また、請求項２に記載の発明は、請求項１に記載のキーワード抽出装置において、集合ワード抽出手段は、形態素と該形態素の日本語としての特異度との対応付けを記憶したコスト記憶テーブルを参照して、各文書を構成する各形態素の特異度を計算し、該特異度に基づいて文書集合の全体としてのキーワードを抽出するものである。
【００１２】
また、請求項３に記載の発明は、請求項１または２に記載のキーワード抽出装置において、文書ワード抽出手段は、当該文書における形態素の出現頻度および文書集合の全体における該形態素の逆出現頻度に基づいて、各文書におけるキーワードを抽出するものである。
【００１３】
また、請求項４に記載の発明は、請求項１から３までのいずれかに記載のキーワード抽出装置において、集合ワード抽出手段により抽出されたキーワードと、文書ワード抽出手段により抽出されたキーワードと、を識別可能に表示させるキーワード表示手段を備えたものである。
【００１４】
また、請求項５に記載の発明は、請求項１から４までのいずれかに記載のキーワード抽出装置において、文書集合のテキスト情報は、ユーザにより入力された複数の文書、または、ユーザにより入力された電子ファイルから抽出された文書に基づくものである。
【００１５】
また、請求項６に記載の発明は、請求項５に記載のキーワード抽出装置において、複数の文書または電子ファイルを入力する入力手段と、抽出されたキーワードを表示する出力手段と、をさらに備えたものである。
【００１６】
また、請求項７に記載のキーワード抽出方法は、複数の文書に基づく文書集合のテキスト情報から、文書集合の全体としてのキーワードを抽出する集合ワード抽出処理と、文書集合のテキスト情報から、文書集合の各文書におけるキーワードを、文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出処理と、文書集合の各文書について、集合ワード抽出処理により抽出されたキーワードのうち当該文書に含まれるキーワードと、文書ワード抽出処理により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定処理と、を行うようにしている。
【００１７】
また、請求項８に記載のキーワード抽出プログラムは、コンピュータに、複数の文書に基づく文書集合のテキスト情報から、文書集合の全体としてのキーワードを抽出する集合ワード抽出処理と、文書集合のテキスト情報から、文書集合の各文書におけるキーワードを、文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出処理と、文書集合の各文書について、集合ワード抽出処理により抽出されたキーワードのうち当該文書に含まれるキーワードと、文書ワード抽出処理により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定処理と、を実行させるものである。
【００１８】
また、請求項９に記載のキーワード抽出システムは、キーワード抽出装置とネットワークを介して接続されるクライアント端末からなるキーワード抽出システムであって、キーワード抽出装置は、複数の文書に基づく文書集合のテキスト情報から、文書集合の全体としてのキーワードを抽出する集合ワード抽出手段と、文書集合のテキスト情報から、文書集合の各文書におけるキーワードを、文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出手段と、文書集合の各文書について、集合ワード抽出手段により抽出されたキーワードのうち当該文書に含まれるキーワードと、文書ワード抽出手段により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定手段と、を備え、クライアント端末は、複数の文書を入力する入力手段と、キーワード決定手段が決定したキーワードを表示する出力手段と、を備えたものである。
【発明の効果】
【００１９】
本発明によれば、複数の文書からなる文書集合に対して、文書集合を構成する各文書のキーワードを、文書集合全体のキーワードと併せて、精度よく抽出することができる。
【図面の簡単な説明】
【００２０】
【図１】キーワード抽出装置のハードウェア構成図の一例である。
【図２】キーワード抽出システムの概略構成図の一例である。
【図３】キーワード抽出装置およびクライアント端末の機能ブロック図の一例である。
【図４】キーワード抽出処理の概要を示すフローチャートである。
【図５】文書入力画面の一例である。
【図６】キーワード決定処理の詳細を示すフローチャートである。
【図７】集合ワード抽出処理の詳細を示すフローチャートである。
【図８】コスト記憶テーブルの説明図である。
【図９】文書ワード抽出処理の詳細を示すフローチャートである。
【図１０】キーワード表示画面の一例である。
【図１１】他の実施形態に係るキーワード抽出装置およびクライアント端末の機能ブロック図である。
【図１２】キーワード表示画面の他の例である。
【図１３】キーワード表示画面の他の例である。
【図１４】他の実施形態に係るキーワード抽出装置の機能ブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明に係る構成を図１から図１４に示す実施の形態に基づいて詳細に説明する。
【００２２】
本実施形態に係るキーワード抽出装置は、複数の文書（以下、文書集合ともいう）に基づく文書集合のテキスト情報から、文書集合の全体としてのキーワードを抽出する集合ワード抽出手段（集合ワード抽出部１１３）と、文書集合のテキスト情報から、文書集合の各文書におけるキーワードを、文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出手段（文書ワード抽出部１１４）と、文書集合の各文書について、集合ワード抽出手段により抽出されたキーワードのうち当該文書に含まれるキーワードと、文書ワード抽出手段により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定手段（キーワード決定部１１２）と、を備えたものである。
ものである。
【００２３】
より詳しくは、先ず、日本語からなる文書集合全体の文書を形態素に分解し、各形態素に対して日本語として特異度を表す指標を計算することにより、文書集合全体としてのキーワードを抽出し、一方で、文書集合を構成する各文書のキーワードについては、文書集合全体に対しての特異度を表す指標を計算することにより抽出し、さらに、文書集合全体でのキーワードが、その文書に含まれる場合、そのキーワードについてもその文書のキーワードとするものである。
【００２４】
（キーワード抽出装置・キーワード抽出システム）
本実施形態に係るキーワード抽出装置のハードウェア構成図の一例を図１に示す。キーワード抽出装置１００は、例えば、汎用のサーバ、ワークステーション、パーソナルコンピュータ等により構成され、ＣＰＵ１３１と、メモリ１３２と、ディスプレイアダプタ１３３を介してディスプレイスクリーン１３４などの表示装置（出力手段）と、プリンタ、ＦＡＸ、スキャナ等の外部入出力装置１３５を接続するシリアルポート１３６と、記憶装置（ＲＯＭ等）１３７と、キーボード１３８、ポインティングデバイス１３９等の入力装置（入力手段）とを相互接続するバス１４０を含む。その他、音声インタフェース１４１や無線ＬＡＮを含むネットワークインタフェース１４２など多くのデバイスを接続できる。例えば、ネットワークインタフェース１４２を通して、電子メールやＦＴＰなどの電子ファイル転送やＷＷＷなどのネットワークサービス１４３を利用することができる。
【００２５】
キーワード抽出システムの概略構成図を図２に示す。キーワード抽出システム３００は、キーワード抽出装置１００に、イントラネットやインターネットなどのネットワーク３０１を介してクライアント端末２００が接続されて構成される。なお、クライアント端末２００としては、例えば、汎用のパーソナルコンピュータを用いることができ、図１と同様のハードウェア構成を有している。
【００２６】
キーワード抽出システム３００におけるキーワード抽出装置１００は、クライアント端末２００においてユーザが入力した複数の文書について、各文書に特有のキーワードおよび文書集合全体としてのキーワードを抽出し、クライアント端末２００にその結果を表示するものである。
【００２７】
具体的には、例えば、ユーザは、クライアント端末２００のブラウザ２０１上で複数の文書を入力し、該文書がネットワーク３０１を介して、キーワード抽出装置１００に送信され、キーワード抽出装置１００によって以下に説明するように、該文書集合についてのキーワードの抽出処理が実行され、クライアント端末２００に抽出結果を表示させ、ユーザはブラウザ２０１上で抽出されたキーワードを確認することができるものである。
【００２８】
次に、本実施形態に係るキーワード抽出装置およびクライアント端末の機能ブロック図の一例を図３に示す。キーワード抽出装置１００は、処理部１１０として、クライアント端末２００からネットワーク３００を介して、文書をテキスト情報として受信する文書受信部１１１、文書受信部１１１の受信した複数の文書の、各々についてキーワードを決定するキーワード決定部１１２、複数の文書から成る文書集合全体としてのキーワードを抽出する集合ワード抽出部１１３、複数の文書から成る文書集合中の各々の文書について、文書集合全体と比較して、その文書に特徴的な言葉をキーワードとして抽出する文書ワード抽出部１１４、キーワード決定部の決定したキーワードを表示させるキーワード表示部（キーワード表示手段）１１５を備え、また、記憶部（ＤＢ部）１２０として、言葉の日本語としての特異性の高さを表すコストを保持するコスト記憶部１２１を備えている。なお、本実施形態における複数の文書は、共通するキーワードを抽出するものであるので、話題（内容）に共通部分を有していることが好適であることは勿論である。
【００２９】
また、クライアント端末２００は、キーワード表示部１１５による表示結果を受け、当該結果を、ブラウザ２０１を介して表示するものである。なお、クライアント端末２００は必須ではなく、キーワード抽出装置１００のキーボード１３８等の入力装置から入力された文書について、キーワード抽出処理を実行し、キーワード表示部１１５による表示結果をキーワード抽出装置１００のディスプレイスクリーン１３４等の表示装置に表示するようにしても良い（後述する図１４参照）。
【００３０】
（キーワード抽出処理）
次に、キーワード抽出装置１００が実行するキーワード抽出処理（本発明に係るキーワード抽出方法）の概要を図４のフローチャートを用いて説明する。
【００３１】
まず、クライアント端末２００の表示装置に表示される文書入力画面２０２から、ユーザは、図５に示すように、複数の文書をテキストで入力する。該複数の文書は、文書受信部１１１によりテキスト情報（文書集合のテキスト情報）として受信される（Ｓ１０１）。
【００３２】
キーワード決定部１１２は、文書集合を集合ワード抽出部１１３に受け渡し、返り値として文書集合全体でのキーワードを取得する（Ｓ１０２）。また、キーワード決定部１１２は、同じ文書集合を文書ワード抽出部１１４に受け渡し、返り値として各文書におけるキーワードを取得する（Ｓ１０３）。
【００３３】
そして、キーワード決定部１１２は、集合ワード抽出部１１３および文書ワード抽出部１１４から取得した各キーワードに基づき、各文書に対するキーワードを決定する（Ｓ１０４）。最後に、もとの複数の文書とともにキーワード表示部１１５に渡し、キーワード表示部１１５は、キーワード抽出結果を表示するものである（Ｓ１０５）。
【００３４】
さらに、キーワード決定部１１２によるキーワード決定処理について図６のフローチャートを用いて説明する。キーワード決定部１１２は、先ず、文書受信部１１１からユーザの入力した複数の文書のテキスト情報を得る（Ｓ２０１）。ここで、受信する文書の数をｎとする。
【００３５】
次に、その各文書のテキスト情報を、集合ワード抽出部１１３に渡し、返り値として文書集合全体としてのキーワードｗｏｒｄ０，１〜ｗｏｒｄ０,ｐを得る（Ｓ２０２、図４のＳ１０２に相当）。なお、添え字０は文書集合のキーワードであることを示し、ｐは集合ワード抽出部１１３により決定される文書集合のキーワードの数を示している（後述する）。
【００３６】
さらに、同じ各文書のテキスト情報を、文書ワード抽出部１１４に渡し、返り値として各文書のキーワードｗｏｒｄｉ，１〜ｗｏｒｄｉ,ｑを得る（Ｓ２０３、図４のＳ１０３に相当）。なお、添え字ｉは文書の番号を示しており、ｉ＝１，・・・，ｎである。また、ｑは文書ワード抽出部１１４により決定される一つの文書から抽出するキーワードの数を示している（後述する）。
【００３７】
そして、文書ｉ（ｉ＝１，・・・，ｎ）について、ｗｏｒｄｉ，１〜ｗｏｒｄｉ,ｑをその文書特有のキーワードとし、かつ、ｗｏｒｄ０，１〜ｗｏｒｄ０,ｐのうち当該文書ｉに存在するすべてのワードを文書集合の話題に関わるその文書ｉのキーワードとする。すなわち、当該２種類のキーワードを合わせて文書ｉのキーワードとして決定する（Ｓ２０４、図４のＳ１０３に相当）。以下、各処理の詳細について説明する。
【００３８】
＜集合ワード抽出処理＞
上記集合ワード抽出部１１３による処理の詳細を図７のフローチャートを用いて説明する。集合ワード抽出部１１３は、先ず、キーワード決定部１１２から文書のテキスト情報を得る（Ｓ３０１）。
【００３９】
次に、その各文書について以下の処理を実行する（Ｓ３０２〜Ｓ３０６）。先ず、文書iを形態素に分解する（Ｓ３０３）。形態素への分解処理については、公知または新規の手法によれば良く、特に限られるものではないが、例えばＣｈａＳｅｎ（茶筌）やＭｅＣａｂ(和布蕪)等の公知の形態素解析エンジンをライブラリとして用いることができる。
【００４０】
そして、形態素毎にその文書に含まれる数をカウントし、形態素ｊの文書iにおける出現頻度をＦ（ｉ,ｊ）とする（Ｓ３０３）。ここで、名詞などキーワードになり得やすい品詞以外は、キーワードの候補とせず出現頻度のカウントも行わないことが好ましい。
【００４１】
さらに、各形態素のその文書におけるＴＦ値（単語の出現頻度:Term Frequency）を、数式１により、計算し、文書集合におけるＴＦ値ｔｆ（ｊ）に加算する（Ｓ３０４）。なお、ＴＦ値とは、ある文書（文書i）におけるある単語（形態素ｊ）の出現回数をその文書中に出現する単語のバリエーション数（形態素数）で割った値である。
【数１】
【００４２】
なお、数式１の右辺におけるｔｆ（ｊ）の値が、本式を計算する時点で存在しない場合は０とする。また、ｔｆ（ｊ）の値が他の文書によってすでに得られている場合には、その値に対して加算する。
【００４３】
上記処理（Ｓ３０３〜Ｓ３０４）をすべての文書について行う（Ｓ３０５，Ｓ３０６）。この結果、文書集合に含まれる形態素の種類の数だけｔｆ（ｊ）が存在することとなる。但し、キーワードの候補から外した形態素については除かれる。
【００４４】
その結果、得られたｔｆ（ｊ）に対して、さらに形態素ｊに対応する固有の値であるｉｄｆ（ｊ）との積を求める（Ｓ３０７、次式（２））。
ｔｆ・ｉｄｆ（ｊ）＝ｔｆ（ｊ）・ｉｄｆ（ｊ） …（２）
【００４５】
ここで、ＩＤＦ値（逆出現頻度:Inverse Document Frequency）はその形態素の日本語としての出現のしにくさによって求められる値（特異性の高さを示す指標）である。
【００４６】
なお、ＩＤＦ値は、形態素をキーとしたデータベースとして記憶部１２０に記録しておくことが好ましい。本実施形態では、図８に示すようなコスト記憶テーブル１２２として記憶部１２０のコスト記憶部１２１に記録するようにしている。
【００４７】
コスト記憶テーブル１２２は、各形態素をキーとして、対応するＩＤＦ値が格納された辞書形式のデータベースである。なお、ＩＤＦ値の算出方法は、公知または新規の手法によれば良く、特に限られるものではないが、例えば、ニュース記事など一般性の高い文書の集合を用意し、集合に含まれる全文書の数を、その文書の中で形態素ｊを含む文書の数で割ることや、インターネット上の全文検索エンジンを用い、その検索エンジンが検索可能な文書数を、その形態素ｊにより検索した結果得られる文書数で割ることで求めた値に対し、さらに自然対数を計算して求めることができる。
【００４８】
上記式（２）により得られるＴＦ−ＩＤＦ値（ｔｆ・ｉｄｆ（ｊ））がその形態素ｊのその文書における日本語としての特異性を表す指標となる。最後に、集合ワード抽出部１１３はそのｔｆ・ｉｄｆ（ｊ）が高い順にｐ個の形態素（返り値、ｗｏｒｄ０，１〜ｗｏｒｄ０,ｐ）を、文書集合のキーワードとして出力する（Ｓ３０８）。なお、ｐは、任意の値であり、例えば、ｎを定数で割った値とすることができる。
【００４９】
＜文書ワード抽出処理＞
上記文書ワード抽出部１１４による処理の詳細を図９のフローチャートを用いて説明する。文書ワード抽出部１１４は、先ず、キーワード決定部１１２から文書のテキスト情報を得る（Ｓ４０１）。
【００５０】
次に、その各文書について以下の処理を実行する（Ｓ４０２〜Ｓ４０６）。先ず、文書iを形態素に分解する（Ｓ４０３）。形態素への分解処理については、集合ワード抽出部１１３と同様の処理によれば良い。
【００５１】
そして、形態素毎にその文書に含まれる数をカウントし、形態素ｊの文書iにおける出現頻度をｔｆ（ｉ,ｊ）とする（Ｓ４０３）。なお、名詞などキーワードになり得やすい品詞以外は、キーワードの候補とせず出現頻度のカウントも行わないことが好ましい。
【００５２】
さらに、文書内に含まれ、かつキーワードの候補から外されていない形態素ｊのすべてについて、次式（３）とする（Ｓ４０４）。
Ｎ（ｊ）＝Ｎ（ｊ）＋１ …（３）
【００５３】
なお、上記式（３）の右辺におけるＮ（ｊ）が、本式を計算する時点で存在しない場合は、その値を０とする。上記処理（Ｓ４０３〜Ｓ４０４）をすべての文書について行った時点で、形態素ｊを含む文書の数がＮ（ｊ）となる（Ｓ４０５，Ｓ４０６）。
【００５４】
次に、文書集合で扱った各形態素ｊについてのＩＤＦ値を、次式（４）により求める（Ｓ４０７）。
ｉｄｆ（ｊ）＝ｌｏｇ（ｎ/Ｎ（ｊ）） …（４）
【００５５】
上記式（４）にて求められるｉｄｆ（ｊ）の値は、形態素ｊの出現のしにくさを表すが、ここでは（文書集合の文書数/形態素jを含む文書数）の対数により計算しているため、集合ワード抽出処理（図７）においてはｉｄｆ（ｊ）の値が日本語としての出現のしにくさを表したのに対し、文書ワード抽出処理では形態素jの「文書集合における出現のしにくさ」を表す値となっている。
【００５６】
以上の処理により得たｔｆ（i,ｊ）とｉｄｆ（ｊ）から、各形態素ｊの各文書ｉにおけるＴＦ−ＩＤＦ値を計算する（Ｓ４０８、上記式（２）と同様）。ここで、ｉｄｆ（ｊ）の値は、「文書集合における出現のしにくさ」を表す値であるため、このＴＦ−ＩＤＦの値は、文書集合中の他の文書と比較して特異性の高い形態素について値が高くなることとなる。
【００５７】
最後に、文書ワード抽出部１１４は、各文書iについて、ｔｆ・ｉｄｆ（i,ｊ）の高い順にｑ個の形態素ｊ（返り値、ｗｏｒｄｉ，１〜ｗｏｒｄｉ,ｑ）を、各文書のキーワードとして出力する（Ｓ４０８）。なお、ｑは、任意の値であり、例えば、各文書の単語数をある定数で割った値とすることができる。この場合、ｑはｉにより異なる値となり得る。
【００５８】
＜キーワード表示処理＞
また、キーワード表示手段１１５は、以上の処理（図６のＳ２０１〜Ｓ２０４）により抽出したキーワードを表示する。図１０にキーワード表示画面２０３の一例を示す。図１０に示す例では、ユーザが入力した文書と、抽出されたキーワードについて、３つの文書全体でのキーワード（文書集合のキーワード）は囲み文字、各文書特有のキーワードは下線で表示し、ユーザが２種類のキーワードを容易に識別可能に表示している。また、例えば、文書全体でのキーワードを青字、各文書特有のキーワードを赤字などのように、色分け表示をすることとしても良い。
【００５９】
（その他の実施形態）
本発明に係るキーワード抽出装置の他の実施形態について説明する。なお、上記実施形態と同様の点についての説明は省略する。
【００６０】
上記実施形態では、ユーザが文書入力画面２０２からテキスト入力を行う例について説明したが、ユーザが電子ファイルによる入力を行うことも好ましい。
【００６１】
本実施形態に係るキーワード抽出装置およびクライアント端末の機能ブロック図の一例を図１１に示す。電子ファイルによる入力を可能とするには、クライアント端末２００から送られる電子ファイルからテキスト情報を抽出する処理を行う必要がある。
【００６２】
そこで、図１１に示すように、本実施形態に係るキーワード抽出装置１００は、上記実施形態の各構成に加え、電子ファイルからテキスト情報を抜き出すテキスト抽出部１１６を備えている。本実施形態では、文書受信部１１１は、テキスト情報ではなく電子ファイルを受信するため、文書受信部１１１は、受けた電子ファイルをテキスト抽出部１１６に渡し、テキスト抽出部１１６が電子ファイルをテキスト情報に変換し、文書受信部１１１がそのテキスト情報を受け取るものである。以降の処理は、上記実施形態と同様である。
【００６３】
図１２に、ユーザが電子ファイルにより入力を行った場合のキーワード表示画面２０３の一例を示す。図１２に示す例は、文書の集合体として、複数のスライドをまとめたファイルを扱う場合の表示例を示しており、文書集合のキーワードが囲み文字、各文書特有のキーワードが下線で示されている。これにより、ユーザは一枚一枚のスライドのキーワードを見るだけで、そのスライド全体としての話題と、その中でその一枚のスライドがどのような内容か、その双方を容易に知ることができる。
【００６４】
また、キーワード抽出装置により抽出されたキーワードを、トリガーとしてそのキーワードをもつファイルを検索することも好ましい。例えば、一つの文書を、各ページの文書集合とみなして、その検索結果を表示する際に、図１３に示すように、その文書中でそのキーワードをもつページを表示したり、また、そのページの他のキーワードを表示することで、検索結果の内容を容易に知ることができる。なお、図１３に示す例では、文書全体のキーワードを大きく、そのページ特有のキーワードを小さく、また検索ワードを囲い文字として、容易に識別可能に表示することで、検索ワードがその文書にとってどのような言葉なのか、またその文書がどのような文書で、その検索キーワードが属するページにどのようなことが書かれているのか、容易に知ることができる。
【００６５】
また、図１４に示すように、クライアント端末２００を介さずに、キーワード抽出装置１００の入力装置から文書のテキストを入力し、キーワードの抽出結果をキーワード抽出装置１００の出力装置に表示するようにすることも好ましい。
【００６６】
本実施形態に係るキーワード抽出装置１００は、文書受信部１１１に代えて文書入力部１１７を有している。本実施形態の文書入力部１１７は、ユーザが文書入力を行う文書入力画面（図５参照）をキーワード抽出装置１００の表示装置に表示させ、ユーザの入力した文書をテキスト情報としてキーワード決定部１１２に渡すものである。
【００６７】
また、キーワード表示部１１５は、キーワード表示画面（図１０参照）を表示装置に表示するものである。なお、図１４に示す例において、ユーザが文書を電子ファイルにより入力する場合は、上述のようにテキスト抽出部１１６をさらに備える構成とすれば良い。
【００６８】
以上説明したキーワード抽出装置によるキーワード抽出処理は、コンピュータにキーワード抽出処理を実行させるプログラム（キーワード抽出プログラム）により実現できる。キーワード抽出プログラムは、例えば、インターネット上からのダウンロードによって提供し、コンピュータにインストールすることも好ましい。また、キーワード抽出プログラムをコンピュータで実行可能に記録した記録媒体（キーワード抽出プログラムを記録した記録媒体）の態様にも適用される。
【００６９】
尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。
【符号の説明】
【００７０】
１００ キーワード抽出装置
１１０ 処理部
１１１ 文書受信部
１１２ キーワード決定部
１１３ 集合ワード抽出部
１１４ 文書ワード抽出部
１１５ キーワード表示部
１１６ テキスト抽出部
１１７ 文書入力部
１２０ 記憶部
１２１ コスト記憶部
１２２ コスト記憶テーブル
１３１ ＣＰＵ
１３２ メモリ
１３３ ディスプレイアダプタ
１３４ ディスプレイスクリーン
１３５ 外部入出力装置
１３６ シリアルポート
１３７ 記憶装置
１３８ キーボード
１３９ ポインティングデバイス
１４０ バス
１４１ 音声インタフェース
１４２ ネットワークインタフェース
１４３ ネットワークサービス
２００ クライアント端末
２０１ ブラウザ
２０２ 文書入力画面
２０３ キーワード表示画面
３００ キーワード抽出システム
３０１ ネットワーク
【先行技術文献】
【特許文献】
【００７１】
【特許文献１】特開２００６‐２９３６１６号公報
【技術分野】
【０００１】
本発明は、キーワード抽出装置、キーワード抽出方法、キーワード抽出プログラムおよびキーワード抽出システムに関する。
【背景技術】
【０００２】
日本語の文章から成る文書の概要を知りたい場合や、その文書を検索するための検索ワードを予め用意しておきたい場合等に、その文書のキーワードを抽出する方法が取られる。日本語の文書からキーワードを抽出する手法として、その文書を構成するそれぞれの文を形態素に分解し、各形態素に対してＴＦ（単語の出現頻度:Term Frequency）−ＩＤＦ（逆出現頻度:Inverse Document Frequency）値等の重要度を表す指標を計算し、その指標の高い形態素をその文書のキーワードとする技術が知られている。
【０００３】
また、例えば、特許文献１には、複数文書を話題ごとに分類することを目的とし、文書からキーワードを抽出し、そのキーワードに基づき、文書同士が同一の話題を扱っているかを判定する文書集約方法に関する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、単に文章を形態素に分解し、それぞれの形態素について重要度を計算する方法では、複数ページからなるスライド文書のように、共通する話題を持った文書の集合体について、それぞれの文書に特有のキーワードを的確に抽出することができないという問題があった。
【０００５】
ここで、スライド文書の場合は、各ページを一つの文書と見なすことにより、スライド全体を複数の文書（＝ページ）の集合体と見なすことができる。また、通常の文書においても構造化された文書であれば、各構造を一つの文書と見なすことで、文書全体を複数の文書（＝構造）の集合体と見なすことができる。
【０００６】
しかしながら、このような集合体（文書集合ともいう）を構成する各文書は、共通した話題について書かれているため、各文書に対して、日本語一般としてのキーワードを抽出しようとすると、それぞれの文書間でのキーワードの違いが少なくなってしまうという問題がある。
【０００７】
また、逆に集合体を構成する他の文書との比較において重要なキーワードを抜き出そうとすると、他の文書とは違った言葉を抜き出そうとするがために、文書集合全体で共通する話題を表すようなキーワードが抜け落ちてしまうという問題があった。
【０００８】
上記特許文献１に記載の技術では、似た話題の文書それぞれにおいてキーワードを抽出しているが、文書間に共通する話題のキーワードと各書特有のキーワードの双方に考慮したキーワードについては、同時に抽出することができないという問題を解消することはできなかった。
【０００９】
そこで本発明は、複数の文書から成る文書集合のそれぞれの文書のキーワードを抽出し、文書集合そのものを表すキーワードを残しながらも、各文書間の違いが分かるようなキーワードをも抽出できるようにすることができるキーワード抽出装置、キーワード抽出方法、キーワード抽出プログラムおよびキーワード抽出システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
かかる目的を達成するため、請求項１に記載のキーワード抽出装置は、複数の文書に基づく文書集合のテキスト情報から、文書集合の全体としてのキーワードを抽出する集合ワード抽出手段と、文書集合のテキスト情報から、文書集合の各文書におけるキーワードを、文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出手段と、文書集合の各文書について、集合ワード抽出手段により抽出されたキーワードのうち当該文書に含まれるキーワードと、文書ワード抽出手段により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定手段と、を備えたものである。
【００１１】
また、請求項２に記載の発明は、請求項１に記載のキーワード抽出装置において、集合ワード抽出手段は、形態素と該形態素の日本語としての特異度との対応付けを記憶したコスト記憶テーブルを参照して、各文書を構成する各形態素の特異度を計算し、該特異度に基づいて文書集合の全体としてのキーワードを抽出するものである。
【００１２】
また、請求項３に記載の発明は、請求項１または２に記載のキーワード抽出装置において、文書ワード抽出手段は、当該文書における形態素の出現頻度および文書集合の全体における該形態素の逆出現頻度に基づいて、各文書におけるキーワードを抽出するものである。
【００１３】
また、請求項４に記載の発明は、請求項１から３までのいずれかに記載のキーワード抽出装置において、集合ワード抽出手段により抽出されたキーワードと、文書ワード抽出手段により抽出されたキーワードと、を識別可能に表示させるキーワード表示手段を備えたものである。
【００１４】
また、請求項５に記載の発明は、請求項１から４までのいずれかに記載のキーワード抽出装置において、文書集合のテキスト情報は、ユーザにより入力された複数の文書、または、ユーザにより入力された電子ファイルから抽出された文書に基づくものである。
【００１５】
また、請求項６に記載の発明は、請求項５に記載のキーワード抽出装置において、複数の文書または電子ファイルを入力する入力手段と、抽出されたキーワードを表示する出力手段と、をさらに備えたものである。
【００１６】
また、請求項７に記載のキーワード抽出方法は、複数の文書に基づく文書集合のテキスト情報から、文書集合の全体としてのキーワードを抽出する集合ワード抽出処理と、文書集合のテキスト情報から、文書集合の各文書におけるキーワードを、文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出処理と、文書集合の各文書について、集合ワード抽出処理により抽出されたキーワードのうち当該文書に含まれるキーワードと、文書ワード抽出処理により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定処理と、を行うようにしている。
【００１７】
また、請求項８に記載のキーワード抽出プログラムは、コンピュータに、複数の文書に基づく文書集合のテキスト情報から、文書集合の全体としてのキーワードを抽出する集合ワード抽出処理と、文書集合のテキスト情報から、文書集合の各文書におけるキーワードを、文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出処理と、文書集合の各文書について、集合ワード抽出処理により抽出されたキーワードのうち当該文書に含まれるキーワードと、文書ワード抽出処理により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定処理と、を実行させるものである。
【００１８】
また、請求項９に記載のキーワード抽出システムは、キーワード抽出装置とネットワークを介して接続されるクライアント端末からなるキーワード抽出システムであって、キーワード抽出装置は、複数の文書に基づく文書集合のテキスト情報から、文書集合の全体としてのキーワードを抽出する集合ワード抽出手段と、文書集合のテキスト情報から、文書集合の各文書におけるキーワードを、文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出手段と、文書集合の各文書について、集合ワード抽出手段により抽出されたキーワードのうち当該文書に含まれるキーワードと、文書ワード抽出手段により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定手段と、を備え、クライアント端末は、複数の文書を入力する入力手段と、キーワード決定手段が決定したキーワードを表示する出力手段と、を備えたものである。
【発明の効果】
【００１９】
本発明によれば、複数の文書からなる文書集合に対して、文書集合を構成する各文書のキーワードを、文書集合全体のキーワードと併せて、精度よく抽出することができる。
【図面の簡単な説明】
【００２０】
【図１】キーワード抽出装置のハードウェア構成図の一例である。
【図２】キーワード抽出システムの概略構成図の一例である。
【図３】キーワード抽出装置およびクライアント端末の機能ブロック図の一例である。
【図４】キーワード抽出処理の概要を示すフローチャートである。
【図５】文書入力画面の一例である。
【図６】キーワード決定処理の詳細を示すフローチャートである。
【図７】集合ワード抽出処理の詳細を示すフローチャートである。
【図８】コスト記憶テーブルの説明図である。
【図９】文書ワード抽出処理の詳細を示すフローチャートである。
【図１０】キーワード表示画面の一例である。
【図１１】他の実施形態に係るキーワード抽出装置およびクライアント端末の機能ブロック図である。
【図１２】キーワード表示画面の他の例である。
【図１３】キーワード表示画面の他の例である。
【図１４】他の実施形態に係るキーワード抽出装置の機能ブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明に係る構成を図１から図１４に示す実施の形態に基づいて詳細に説明する。
【００２２】
本実施形態に係るキーワード抽出装置は、複数の文書（以下、文書集合ともいう）に基づく文書集合のテキスト情報から、文書集合の全体としてのキーワードを抽出する集合ワード抽出手段（集合ワード抽出部１１３）と、文書集合のテキスト情報から、文書集合の各文書におけるキーワードを、文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出手段（文書ワード抽出部１１４）と、文書集合の各文書について、集合ワード抽出手段により抽出されたキーワードのうち当該文書に含まれるキーワードと、文書ワード抽出手段により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定手段（キーワード決定部１１２）と、を備えたものである。
ものである。
【００２３】
より詳しくは、先ず、日本語からなる文書集合全体の文書を形態素に分解し、各形態素に対して日本語として特異度を表す指標を計算することにより、文書集合全体としてのキーワードを抽出し、一方で、文書集合を構成する各文書のキーワードについては、文書集合全体に対しての特異度を表す指標を計算することにより抽出し、さらに、文書集合全体でのキーワードが、その文書に含まれる場合、そのキーワードについてもその文書のキーワードとするものである。
【００２４】
（キーワード抽出装置・キーワード抽出システム）
本実施形態に係るキーワード抽出装置のハードウェア構成図の一例を図１に示す。キーワード抽出装置１００は、例えば、汎用のサーバ、ワークステーション、パーソナルコンピュータ等により構成され、ＣＰＵ１３１と、メモリ１３２と、ディスプレイアダプタ１３３を介してディスプレイスクリーン１３４などの表示装置（出力手段）と、プリンタ、ＦＡＸ、スキャナ等の外部入出力装置１３５を接続するシリアルポート１３６と、記憶装置（ＲＯＭ等）１３７と、キーボード１３８、ポインティングデバイス１３９等の入力装置（入力手段）とを相互接続するバス１４０を含む。その他、音声インタフェース１４１や無線ＬＡＮを含むネットワークインタフェース１４２など多くのデバイスを接続できる。例えば、ネットワークインタフェース１４２を通して、電子メールやＦＴＰなどの電子ファイル転送やＷＷＷなどのネットワークサービス１４３を利用することができる。
【００２５】
キーワード抽出システムの概略構成図を図２に示す。キーワード抽出システム３００は、キーワード抽出装置１００に、イントラネットやインターネットなどのネットワーク３０１を介してクライアント端末２００が接続されて構成される。なお、クライアント端末２００としては、例えば、汎用のパーソナルコンピュータを用いることができ、図１と同様のハードウェア構成を有している。
【００２６】
キーワード抽出システム３００におけるキーワード抽出装置１００は、クライアント端末２００においてユーザが入力した複数の文書について、各文書に特有のキーワードおよび文書集合全体としてのキーワードを抽出し、クライアント端末２００にその結果を表示するものである。
【００２７】
具体的には、例えば、ユーザは、クライアント端末２００のブラウザ２０１上で複数の文書を入力し、該文書がネットワーク３０１を介して、キーワード抽出装置１００に送信され、キーワード抽出装置１００によって以下に説明するように、該文書集合についてのキーワードの抽出処理が実行され、クライアント端末２００に抽出結果を表示させ、ユーザはブラウザ２０１上で抽出されたキーワードを確認することができるものである。
【００２８】
次に、本実施形態に係るキーワード抽出装置およびクライアント端末の機能ブロック図の一例を図３に示す。キーワード抽出装置１００は、処理部１１０として、クライアント端末２００からネットワーク３００を介して、文書をテキスト情報として受信する文書受信部１１１、文書受信部１１１の受信した複数の文書の、各々についてキーワードを決定するキーワード決定部１１２、複数の文書から成る文書集合全体としてのキーワードを抽出する集合ワード抽出部１１３、複数の文書から成る文書集合中の各々の文書について、文書集合全体と比較して、その文書に特徴的な言葉をキーワードとして抽出する文書ワード抽出部１１４、キーワード決定部の決定したキーワードを表示させるキーワード表示部（キーワード表示手段）１１５を備え、また、記憶部（ＤＢ部）１２０として、言葉の日本語としての特異性の高さを表すコストを保持するコスト記憶部１２１を備えている。なお、本実施形態における複数の文書は、共通するキーワードを抽出するものであるので、話題（内容）に共通部分を有していることが好適であることは勿論である。
【００２９】
また、クライアント端末２００は、キーワード表示部１１５による表示結果を受け、当該結果を、ブラウザ２０１を介して表示するものである。なお、クライアント端末２００は必須ではなく、キーワード抽出装置１００のキーボード１３８等の入力装置から入力された文書について、キーワード抽出処理を実行し、キーワード表示部１１５による表示結果をキーワード抽出装置１００のディスプレイスクリーン１３４等の表示装置に表示するようにしても良い（後述する図１４参照）。
【００３０】
（キーワード抽出処理）
次に、キーワード抽出装置１００が実行するキーワード抽出処理（本発明に係るキーワード抽出方法）の概要を図４のフローチャートを用いて説明する。
【００３１】
まず、クライアント端末２００の表示装置に表示される文書入力画面２０２から、ユーザは、図５に示すように、複数の文書をテキストで入力する。該複数の文書は、文書受信部１１１によりテキスト情報（文書集合のテキスト情報）として受信される（Ｓ１０１）。
【００３２】
キーワード決定部１１２は、文書集合を集合ワード抽出部１１３に受け渡し、返り値として文書集合全体でのキーワードを取得する（Ｓ１０２）。また、キーワード決定部１１２は、同じ文書集合を文書ワード抽出部１１４に受け渡し、返り値として各文書におけるキーワードを取得する（Ｓ１０３）。
【００３３】
そして、キーワード決定部１１２は、集合ワード抽出部１１３および文書ワード抽出部１１４から取得した各キーワードに基づき、各文書に対するキーワードを決定する（Ｓ１０４）。最後に、もとの複数の文書とともにキーワード表示部１１５に渡し、キーワード表示部１１５は、キーワード抽出結果を表示するものである（Ｓ１０５）。
【００３４】
さらに、キーワード決定部１１２によるキーワード決定処理について図６のフローチャートを用いて説明する。キーワード決定部１１２は、先ず、文書受信部１１１からユーザの入力した複数の文書のテキスト情報を得る（Ｓ２０１）。ここで、受信する文書の数をｎとする。
【００３５】
次に、その各文書のテキスト情報を、集合ワード抽出部１１３に渡し、返り値として文書集合全体としてのキーワードｗｏｒｄ０，１〜ｗｏｒｄ０,ｐを得る（Ｓ２０２、図４のＳ１０２に相当）。なお、添え字０は文書集合のキーワードであることを示し、ｐは集合ワード抽出部１１３により決定される文書集合のキーワードの数を示している（後述する）。
【００３６】
さらに、同じ各文書のテキスト情報を、文書ワード抽出部１１４に渡し、返り値として各文書のキーワードｗｏｒｄｉ，１〜ｗｏｒｄｉ,ｑを得る（Ｓ２０３、図４のＳ１０３に相当）。なお、添え字ｉは文書の番号を示しており、ｉ＝１，・・・，ｎである。また、ｑは文書ワード抽出部１１４により決定される一つの文書から抽出するキーワードの数を示している（後述する）。
【００３７】
そして、文書ｉ（ｉ＝１，・・・，ｎ）について、ｗｏｒｄｉ，１〜ｗｏｒｄｉ,ｑをその文書特有のキーワードとし、かつ、ｗｏｒｄ０，１〜ｗｏｒｄ０,ｐのうち当該文書ｉに存在するすべてのワードを文書集合の話題に関わるその文書ｉのキーワードとする。すなわち、当該２種類のキーワードを合わせて文書ｉのキーワードとして決定する（Ｓ２０４、図４のＳ１０３に相当）。以下、各処理の詳細について説明する。
【００３８】
＜集合ワード抽出処理＞
上記集合ワード抽出部１１３による処理の詳細を図７のフローチャートを用いて説明する。集合ワード抽出部１１３は、先ず、キーワード決定部１１２から文書のテキスト情報を得る（Ｓ３０１）。
【００３９】
次に、その各文書について以下の処理を実行する（Ｓ３０２〜Ｓ３０６）。先ず、文書iを形態素に分解する（Ｓ３０３）。形態素への分解処理については、公知または新規の手法によれば良く、特に限られるものではないが、例えばＣｈａＳｅｎ（茶筌）やＭｅＣａｂ(和布蕪)等の公知の形態素解析エンジンをライブラリとして用いることができる。
【００４０】
そして、形態素毎にその文書に含まれる数をカウントし、形態素ｊの文書iにおける出現頻度をＦ（ｉ,ｊ）とする（Ｓ３０３）。ここで、名詞などキーワードになり得やすい品詞以外は、キーワードの候補とせず出現頻度のカウントも行わないことが好ましい。
【００４１】
さらに、各形態素のその文書におけるＴＦ値（単語の出現頻度:Term Frequency）を、数式１により、計算し、文書集合におけるＴＦ値ｔｆ（ｊ）に加算する（Ｓ３０４）。なお、ＴＦ値とは、ある文書（文書i）におけるある単語（形態素ｊ）の出現回数をその文書中に出現する単語のバリエーション数（形態素数）で割った値である。
【数１】
【００４２】
なお、数式１の右辺におけるｔｆ（ｊ）の値が、本式を計算する時点で存在しない場合は０とする。また、ｔｆ（ｊ）の値が他の文書によってすでに得られている場合には、その値に対して加算する。
【００４３】
上記処理（Ｓ３０３〜Ｓ３０４）をすべての文書について行う（Ｓ３０５，Ｓ３０６）。この結果、文書集合に含まれる形態素の種類の数だけｔｆ（ｊ）が存在することとなる。但し、キーワードの候補から外した形態素については除かれる。
【００４４】
その結果、得られたｔｆ（ｊ）に対して、さらに形態素ｊに対応する固有の値であるｉｄｆ（ｊ）との積を求める（Ｓ３０７、次式（２））。
ｔｆ・ｉｄｆ（ｊ）＝ｔｆ（ｊ）・ｉｄｆ（ｊ） …（２）
【００４５】
ここで、ＩＤＦ値（逆出現頻度:Inverse Document Frequency）はその形態素の日本語としての出現のしにくさによって求められる値（特異性の高さを示す指標）である。
【００４６】
なお、ＩＤＦ値は、形態素をキーとしたデータベースとして記憶部１２０に記録しておくことが好ましい。本実施形態では、図８に示すようなコスト記憶テーブル１２２として記憶部１２０のコスト記憶部１２１に記録するようにしている。
【００４７】
コスト記憶テーブル１２２は、各形態素をキーとして、対応するＩＤＦ値が格納された辞書形式のデータベースである。なお、ＩＤＦ値の算出方法は、公知または新規の手法によれば良く、特に限られるものではないが、例えば、ニュース記事など一般性の高い文書の集合を用意し、集合に含まれる全文書の数を、その文書の中で形態素ｊを含む文書の数で割ることや、インターネット上の全文検索エンジンを用い、その検索エンジンが検索可能な文書数を、その形態素ｊにより検索した結果得られる文書数で割ることで求めた値に対し、さらに自然対数を計算して求めることができる。
【００４８】
上記式（２）により得られるＴＦ−ＩＤＦ値（ｔｆ・ｉｄｆ（ｊ））がその形態素ｊのその文書における日本語としての特異性を表す指標となる。最後に、集合ワード抽出部１１３はそのｔｆ・ｉｄｆ（ｊ）が高い順にｐ個の形態素（返り値、ｗｏｒｄ０，１〜ｗｏｒｄ０,ｐ）を、文書集合のキーワードとして出力する（Ｓ３０８）。なお、ｐは、任意の値であり、例えば、ｎを定数で割った値とすることができる。
【００４９】
＜文書ワード抽出処理＞
上記文書ワード抽出部１１４による処理の詳細を図９のフローチャートを用いて説明する。文書ワード抽出部１１４は、先ず、キーワード決定部１１２から文書のテキスト情報を得る（Ｓ４０１）。
【００５０】
次に、その各文書について以下の処理を実行する（Ｓ４０２〜Ｓ４０６）。先ず、文書iを形態素に分解する（Ｓ４０３）。形態素への分解処理については、集合ワード抽出部１１３と同様の処理によれば良い。
【００５１】
そして、形態素毎にその文書に含まれる数をカウントし、形態素ｊの文書iにおける出現頻度をｔｆ（ｉ,ｊ）とする（Ｓ４０３）。なお、名詞などキーワードになり得やすい品詞以外は、キーワードの候補とせず出現頻度のカウントも行わないことが好ましい。
【００５２】
さらに、文書内に含まれ、かつキーワードの候補から外されていない形態素ｊのすべてについて、次式（３）とする（Ｓ４０４）。
Ｎ（ｊ）＝Ｎ（ｊ）＋１ …（３）
【００５３】
なお、上記式（３）の右辺におけるＮ（ｊ）が、本式を計算する時点で存在しない場合は、その値を０とする。上記処理（Ｓ４０３〜Ｓ４０４）をすべての文書について行った時点で、形態素ｊを含む文書の数がＮ（ｊ）となる（Ｓ４０５，Ｓ４０６）。
【００５４】
次に、文書集合で扱った各形態素ｊについてのＩＤＦ値を、次式（４）により求める（Ｓ４０７）。
ｉｄｆ（ｊ）＝ｌｏｇ（ｎ/Ｎ（ｊ）） …（４）
【００５５】
上記式（４）にて求められるｉｄｆ（ｊ）の値は、形態素ｊの出現のしにくさを表すが、ここでは（文書集合の文書数/形態素jを含む文書数）の対数により計算しているため、集合ワード抽出処理（図７）においてはｉｄｆ（ｊ）の値が日本語としての出現のしにくさを表したのに対し、文書ワード抽出処理では形態素jの「文書集合における出現のしにくさ」を表す値となっている。
【００５６】
以上の処理により得たｔｆ（i,ｊ）とｉｄｆ（ｊ）から、各形態素ｊの各文書ｉにおけるＴＦ−ＩＤＦ値を計算する（Ｓ４０８、上記式（２）と同様）。ここで、ｉｄｆ（ｊ）の値は、「文書集合における出現のしにくさ」を表す値であるため、このＴＦ−ＩＤＦの値は、文書集合中の他の文書と比較して特異性の高い形態素について値が高くなることとなる。
【００５７】
最後に、文書ワード抽出部１１４は、各文書iについて、ｔｆ・ｉｄｆ（i,ｊ）の高い順にｑ個の形態素ｊ（返り値、ｗｏｒｄｉ，１〜ｗｏｒｄｉ,ｑ）を、各文書のキーワードとして出力する（Ｓ４０８）。なお、ｑは、任意の値であり、例えば、各文書の単語数をある定数で割った値とすることができる。この場合、ｑはｉにより異なる値となり得る。
【００５８】
＜キーワード表示処理＞
また、キーワード表示手段１１５は、以上の処理（図６のＳ２０１〜Ｓ２０４）により抽出したキーワードを表示する。図１０にキーワード表示画面２０３の一例を示す。図１０に示す例では、ユーザが入力した文書と、抽出されたキーワードについて、３つの文書全体でのキーワード（文書集合のキーワード）は囲み文字、各文書特有のキーワードは下線で表示し、ユーザが２種類のキーワードを容易に識別可能に表示している。また、例えば、文書全体でのキーワードを青字、各文書特有のキーワードを赤字などのように、色分け表示をすることとしても良い。
【００５９】
（その他の実施形態）
本発明に係るキーワード抽出装置の他の実施形態について説明する。なお、上記実施形態と同様の点についての説明は省略する。
【００６０】
上記実施形態では、ユーザが文書入力画面２０２からテキスト入力を行う例について説明したが、ユーザが電子ファイルによる入力を行うことも好ましい。
【００６１】
本実施形態に係るキーワード抽出装置およびクライアント端末の機能ブロック図の一例を図１１に示す。電子ファイルによる入力を可能とするには、クライアント端末２００から送られる電子ファイルからテキスト情報を抽出する処理を行う必要がある。
【００６２】
そこで、図１１に示すように、本実施形態に係るキーワード抽出装置１００は、上記実施形態の各構成に加え、電子ファイルからテキスト情報を抜き出すテキスト抽出部１１６を備えている。本実施形態では、文書受信部１１１は、テキスト情報ではなく電子ファイルを受信するため、文書受信部１１１は、受けた電子ファイルをテキスト抽出部１１６に渡し、テキスト抽出部１１６が電子ファイルをテキスト情報に変換し、文書受信部１１１がそのテキスト情報を受け取るものである。以降の処理は、上記実施形態と同様である。
【００６３】
図１２に、ユーザが電子ファイルにより入力を行った場合のキーワード表示画面２０３の一例を示す。図１２に示す例は、文書の集合体として、複数のスライドをまとめたファイルを扱う場合の表示例を示しており、文書集合のキーワードが囲み文字、各文書特有のキーワードが下線で示されている。これにより、ユーザは一枚一枚のスライドのキーワードを見るだけで、そのスライド全体としての話題と、その中でその一枚のスライドがどのような内容か、その双方を容易に知ることができる。
【００６４】
また、キーワード抽出装置により抽出されたキーワードを、トリガーとしてそのキーワードをもつファイルを検索することも好ましい。例えば、一つの文書を、各ページの文書集合とみなして、その検索結果を表示する際に、図１３に示すように、その文書中でそのキーワードをもつページを表示したり、また、そのページの他のキーワードを表示することで、検索結果の内容を容易に知ることができる。なお、図１３に示す例では、文書全体のキーワードを大きく、そのページ特有のキーワードを小さく、また検索ワードを囲い文字として、容易に識別可能に表示することで、検索ワードがその文書にとってどのような言葉なのか、またその文書がどのような文書で、その検索キーワードが属するページにどのようなことが書かれているのか、容易に知ることができる。
【００６５】
また、図１４に示すように、クライアント端末２００を介さずに、キーワード抽出装置１００の入力装置から文書のテキストを入力し、キーワードの抽出結果をキーワード抽出装置１００の出力装置に表示するようにすることも好ましい。
【００６６】
本実施形態に係るキーワード抽出装置１００は、文書受信部１１１に代えて文書入力部１１７を有している。本実施形態の文書入力部１１７は、ユーザが文書入力を行う文書入力画面（図５参照）をキーワード抽出装置１００の表示装置に表示させ、ユーザの入力した文書をテキスト情報としてキーワード決定部１１２に渡すものである。
【００６７】
また、キーワード表示部１１５は、キーワード表示画面（図１０参照）を表示装置に表示するものである。なお、図１４に示す例において、ユーザが文書を電子ファイルにより入力する場合は、上述のようにテキスト抽出部１１６をさらに備える構成とすれば良い。
【００６８】
以上説明したキーワード抽出装置によるキーワード抽出処理は、コンピュータにキーワード抽出処理を実行させるプログラム（キーワード抽出プログラム）により実現できる。キーワード抽出プログラムは、例えば、インターネット上からのダウンロードによって提供し、コンピュータにインストールすることも好ましい。また、キーワード抽出プログラムをコンピュータで実行可能に記録した記録媒体（キーワード抽出プログラムを記録した記録媒体）の態様にも適用される。
【００６９】
尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。
【符号の説明】
【００７０】
１００ キーワード抽出装置
１１０ 処理部
１１１ 文書受信部
１１２ キーワード決定部
１１３ 集合ワード抽出部
１１４ 文書ワード抽出部
１１５ キーワード表示部
１１６ テキスト抽出部
１１７ 文書入力部
１２０ 記憶部
１２１ コスト記憶部
１２２ コスト記憶テーブル
１３１ ＣＰＵ
１３２ メモリ
１３３ ディスプレイアダプタ
１３４ ディスプレイスクリーン
１３５ 外部入出力装置
１３６ シリアルポート
１３７ 記憶装置
１３８ キーボード
１３９ ポインティングデバイス
１４０ バス
１４１ 音声インタフェース
１４２ ネットワークインタフェース
１４３ ネットワークサービス
２００ クライアント端末
２０１ ブラウザ
２０２ 文書入力画面
２０３ キーワード表示画面
３００ キーワード抽出システム
３０１ ネットワーク
【先行技術文献】
【特許文献】
【００７１】
【特許文献１】特開２００６‐２９３６１６号公報
【特許請求の範囲】
【請求項１】
複数の文書に基づく文書集合のテキスト情報から、前記文書集合の全体としてのキーワードを抽出する集合ワード抽出手段と、
前記文書集合のテキスト情報から、前記文書集合の各文書におけるキーワードを、前記文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出手段と、
前記文書集合の各文書について、前記集合ワード抽出手段により抽出されたキーワードのうち当該文書に含まれるキーワードと、前記文書ワード抽出手段により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定手段と、
を備えたことを特徴とするキーワード抽出装置。
【請求項２】
前記集合ワード抽出手段は、形態素と該形態素の日本語としての特異度との対応付けを記憶したコスト記憶テーブルを参照して、各文書を構成する各形態素の特異度を計算し、該特異度に基づいて前記文書集合の全体としてのキーワードを抽出することを特徴とする請求項１に記載のキーワード抽出装置。
【請求項３】
前記文書ワード抽出手段は、当該文書における形態素の出現頻度および前記文書集合の全体における該形態素の逆出現頻度に基づいて、前記各文書におけるキーワードを抽出することを特徴とする請求項１または２のいずれかに記載のキーワード抽出装置。
【請求項４】
前記集合ワード抽出手段により抽出されたキーワードと、前記文書ワード抽出手段により抽出されたキーワードと、を識別可能に表示させるキーワード表示手段を備えたことを特徴とする請求項１から３までのいずれかに記載のキーワード抽出装置。
【請求項５】
前記文書集合のテキスト情報は、ユーザにより入力された複数の文書、または、ユーザにより入力された電子ファイルから抽出された文書に基づくことを特徴とする請求項１から４までのいずれかに記載のキーワード抽出装置。
【請求項６】
前記複数の文書または前記電子ファイルを入力する入力手段と、抽出されたキーワードを表示する出力手段と、をさらに備えたことを特徴とする請求項５に記載のキーワード抽出装置。
【請求項７】
複数の文書に基づく文書集合のテキスト情報から、前記文書集合の全体としてのキーワードを抽出する集合ワード抽出処理と、
前記文書集合のテキスト情報から、前記文書集合の各文書におけるキーワードを、前記文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出処理と、
前記文書集合の各文書について、前記集合ワード抽出処理により抽出されたキーワードのうち当該文書に含まれるキーワードと、前記文書ワード抽出処理により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定処理と、
を行うことを特徴とするキーワード抽出方法。
【請求項８】
コンピュータに、
複数の文書に基づく文書集合のテキスト情報から、前記文書集合の全体としてのキーワードを抽出する集合ワード抽出処理と、
前記文書集合のテキスト情報から、前記文書集合の各文書におけるキーワードを、前記文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出処理と、
前記文書集合の各文書について、前記集合ワード抽出処理により抽出されたキーワードのうち当該文書に含まれるキーワードと、前記文書ワード抽出処理により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定処理と、
を実行させることを特徴とするキーワード抽出プログラム。
【請求項９】
キーワード抽出装置とネットワークを介して接続されるクライアント端末からなるキーワード抽出システムであって、
前記キーワード抽出装置は、
複数の文書に基づく文書集合のテキスト情報から、前記文書集合の全体としてのキーワードを抽出する集合ワード抽出手段と、
前記文書集合のテキスト情報から、前記文書集合の各文書におけるキーワードを、前記文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出手段と、
前記文書集合の各文書について、前記集合ワード抽出手段により抽出されたキーワードのうち当該文書に含まれるキーワードと、前記文書ワード抽出手段により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定手段と、を備え、
前記クライアント端末は、
前記複数の文書を入力する入力手段と、
前記キーワード決定手段が決定したキーワードを表示する出力手段と、を備えたことを特徴とするキーワード抽出システム。
【請求項１】
複数の文書に基づく文書集合のテキスト情報から、前記文書集合の全体としてのキーワードを抽出する集合ワード抽出手段と、
前記文書集合のテキスト情報から、前記文書集合の各文書におけるキーワードを、前記文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出手段と、
前記文書集合の各文書について、前記集合ワード抽出手段により抽出されたキーワードのうち当該文書に含まれるキーワードと、前記文書ワード抽出手段により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定手段と、
を備えたことを特徴とするキーワード抽出装置。
【請求項２】
前記集合ワード抽出手段は、形態素と該形態素の日本語としての特異度との対応付けを記憶したコスト記憶テーブルを参照して、各文書を構成する各形態素の特異度を計算し、該特異度に基づいて前記文書集合の全体としてのキーワードを抽出することを特徴とする請求項１に記載のキーワード抽出装置。
【請求項３】
前記文書ワード抽出手段は、当該文書における形態素の出現頻度および前記文書集合の全体における該形態素の逆出現頻度に基づいて、前記各文書におけるキーワードを抽出することを特徴とする請求項１または２のいずれかに記載のキーワード抽出装置。
【請求項４】
前記集合ワード抽出手段により抽出されたキーワードと、前記文書ワード抽出手段により抽出されたキーワードと、を識別可能に表示させるキーワード表示手段を備えたことを特徴とする請求項１から３までのいずれかに記載のキーワード抽出装置。
【請求項５】
前記文書集合のテキスト情報は、ユーザにより入力された複数の文書、または、ユーザにより入力された電子ファイルから抽出された文書に基づくことを特徴とする請求項１から４までのいずれかに記載のキーワード抽出装置。
【請求項６】
前記複数の文書または前記電子ファイルを入力する入力手段と、抽出されたキーワードを表示する出力手段と、をさらに備えたことを特徴とする請求項５に記載のキーワード抽出装置。
【請求項７】
複数の文書に基づく文書集合のテキスト情報から、前記文書集合の全体としてのキーワードを抽出する集合ワード抽出処理と、
前記文書集合のテキスト情報から、前記文書集合の各文書におけるキーワードを、前記文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出処理と、
前記文書集合の各文書について、前記集合ワード抽出処理により抽出されたキーワードのうち当該文書に含まれるキーワードと、前記文書ワード抽出処理により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定処理と、
を行うことを特徴とするキーワード抽出方法。
【請求項８】
コンピュータに、
複数の文書に基づく文書集合のテキスト情報から、前記文書集合の全体としてのキーワードを抽出する集合ワード抽出処理と、
前記文書集合のテキスト情報から、前記文書集合の各文書におけるキーワードを、前記文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出処理と、
前記文書集合の各文書について、前記集合ワード抽出処理により抽出されたキーワードのうち当該文書に含まれるキーワードと、前記文書ワード抽出処理により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定処理と、
を実行させることを特徴とするキーワード抽出プログラム。
【請求項９】
キーワード抽出装置とネットワークを介して接続されるクライアント端末からなるキーワード抽出システムであって、
前記キーワード抽出装置は、
複数の文書に基づく文書集合のテキスト情報から、前記文書集合の全体としてのキーワードを抽出する集合ワード抽出手段と、
前記文書集合のテキスト情報から、前記文書集合の各文書におけるキーワードを、前記文書集合の全体における出現頻度を考慮して抽出する文書ワード抽出手段と、
前記文書集合の各文書について、前記集合ワード抽出手段により抽出されたキーワードのうち当該文書に含まれるキーワードと、前記文書ワード抽出手段により抽出されたキーワードと、を当該文書のキーワードとするキーワード決定手段と、を備え、
前記クライアント端末は、
前記複数の文書を入力する入力手段と、
前記キーワード決定手段が決定したキーワードを表示する出力手段と、を備えたことを特徴とするキーワード抽出システム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図２】
【図１２】
【図１３】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図２】
【図１２】
【図１３】
【公開番号】特開２０１１−２４２８４４（Ｐ２０１１−２４２８４４Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１１９４６（Ｐ２０１０−１１１９４６）
【出願日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]