記事特徴語抽出装置、記事特徴語抽出方法及びプログラム
【課題】固有表現に基づいて入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出装置、記事特徴語抽出方法及びプログラムを提供する。
【解決手段】入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出装置１は、カテゴリが付された入力記事を受け付ける記事入力手段１１と、カテゴリに分類された過去の記事とタイトルとを対応付けて記憶した過去記事記憶部２２から入力記事にカテゴリが一致しかつ類似する類似記事を抽出する類似記事抽出手段１２と、固有表現を記憶する固有表現記憶部２４を用いて入力記事と類似記事タイトルとから固有表現を抽出する固有表現抽出手段１３と、固有表現を汎化して入力記事及び類似記事タイトルに適用する固有表現汎化手段１４と、汎化固有表現を適用後の入力記事及び類似記事タイトルから特徴語を抽出する特徴語抽出手段１５と、特徴語を識別可能にした入力記事を出力する記事出力手段１６と、を備える。
【解決手段】入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出装置１は、カテゴリが付された入力記事を受け付ける記事入力手段１１と、カテゴリに分類された過去の記事とタイトルとを対応付けて記憶した過去記事記憶部２２から入力記事にカテゴリが一致しかつ類似する類似記事を抽出する類似記事抽出手段１２と、固有表現を記憶する固有表現記憶部２４を用いて入力記事と類似記事タイトルとから固有表現を抽出する固有表現抽出手段１３と、固有表現を汎化して入力記事及び類似記事タイトルに適用する固有表現汎化手段１４と、汎化固有表現を適用後の入力記事及び類似記事タイトルから特徴語を抽出する特徴語抽出手段１５と、特徴語を識別可能にした入力記事を出力する記事出力手段１６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出装置、記事特徴語抽出方法及びプログラムに関する。
【背景技術】
【０００２】
従来、ユーザは、ネットワーク上でインターネットから様々な情報を得ることを行っている。インターネット上には大量の情報として、例えば、ニュース記事が蓄積されている。記事は、一般的に、カテゴリに分類され、また、その記事の内容が分かるようなタイトルに代表される比較的短い文書が付されている。記事に、カテゴリやタイトルが付されることで、ユーザは、欲する記事を効率よく得ることができる。しかし、日々発信されるニュース記事のタイトルを作成する作業は、煩雑である。そのため、これらの作業を補助する装置が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２９８８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の装置は、例えば、対象文書及び同分野の文書を言語解析して、その結果を基に重要語や例示語等を判断して要約文を作成する。このようなプロセスで示された重要語は、同一分野の文書のうち、出現頻度の高いものである。よって、記事において、一般に、その内容の特徴を示す地名や人名等の固有表現は、出現頻度が低いので、固有表現は、重要語にはなりにくい。
【０００５】
本発明は、固有表現に基づいて、入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出装置、記事特徴語抽出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明者は、固有表現を汎化することで、類似記事のタイトルに一致する特徴語として固有表現を抽出する方法を見出し、本発明を完成するに至った。本発明は、具体的には次のようなものを提供する。
【０００７】
（１） 入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出装置において、
カテゴリが付された入力記事を受け付ける記事入力手段と、
前記カテゴリに分類された過去の記事にそのタイトルを対応付けて記憶した過去記事記憶部から、前記記事入力手段が受け付けた前記入力記事にカテゴリが一致し、前記入力記事に類似する類似記事を抽出する類似記事抽出手段と、
固有表現を記憶する固有表現記憶部を用いて、前記入力記事と、前記類似記事の前記タイトルとから、各々前記固有表現を抽出する固有表現抽出手段と、
前記固有表現抽出手段により抽出した前記固有表現を汎化して、前記入力記事及び前記類似記事の前記タイトルに汎化固有表現を適用する固有表現汎化手段と、
前記固有表現汎化手段による前記汎化固有表現を適用後の前記入力記事及び前記類似記事の前記タイトルから、特徴語を抽出する特徴語抽出手段と、
を備える記事特徴語抽出装置。
【０００８】
本発明のこのような構成によれば、入力記事と同じカテゴリの過去の記事である類似記事のタイトルとに含む各々の固有表現を汎化して特徴語を抽出することで、記事の内容の特徴を示す地名や人名等の固有表現が抽出できる。ここで、汎化とは、例えば、タグ付けやキーワードによる置換等をいう。このように、記事により異なる固有表現を汎化することで、上位概念で同一に捉えることができ、より精緻な類似の抽出を行うことができる。なお、本明細書では以降、「タイトル」とは、サブタイトル、要約を含むものとする。
【０００９】
（２） 前記特徴語抽出手段により抽出した前記類似記事の前記タイトルの特徴語を、対応する前記入力記事の特徴語に置き換えて、前記入力記事に関する仮タイトルを作成して出力する仮タイトル出力手段を備える、
（１）に記載の記事特徴語抽出装置。
【００１０】
本発明のこのような構成によれば、類似記事のタイトルの特徴語を、それに対応する入力記事の特徴語に置き換えた入力記事の仮タイトルを作成して、作成した仮タイトルを出力するので、入力記事のタイトルの作成を半自動化でき、仮タイトルを出力できる。よって、ユーザによるタイトル作成の効率を向上することができる。
【００１１】
（３） 前記特徴語抽出手段は、前記入力記事と、前記類似記事の前記タイトルとに一致する単語、複合語及び文節を、前記特徴語として抽出する、
（１）又は（２）に記載の記事特徴語抽出装置。
【００１２】
本発明のこのような構成によれば、入力記事と、類似記事のタイトルとに一致する単語、複合語や文節を抽出するので、記事に共通の単語、複合語や文節を抽出できる。
【００１３】
（４） 前記固有表現記憶部は、機械学習を用いて抽出した前記固有表現のパターンを記憶し、
前記固有表現抽出手段は、前記固有表現のパターンに基づいて、前記入力記事と前記類似記事の前記タイトルとから各々前記固有表現を抽出する、
（１）から（３）までのいずれか１項に記載の記事特徴語抽出装置。
【００１４】
本発明のこのような構成によれば、固有表現のパターンを予め記憶しておき、それを用いることで、固有表現か否かを簡単に判断でき、固有表現を抽出できる。
【００１５】
（５） 前記類似記事抽出手段は、抽出対象の数を可変して複数の前記類似記事を抽出する、
（１）から（４）までのいずれか１項に記載の記事特徴語抽出装置。
【００１６】
本発明のこのような構成によれば、類似記事として抽出する記事数を、任意の数に変更することができる。よって、類似記事の対象の数を増減させて、比較対象になる類似記事の数を変化させることで、抽出する特徴語に変化を与えることができる。
【００１７】
（６） 前記特徴語抽出手段により抽出した特徴語を識別可能にした前記入力記事を出力する記事出力手段を備える、
（１）から（５）までのいずれか１項に記載の記事特徴語抽出装置。
【００１８】
本発明のこのような構成によれば、入力記事を、特徴語を識別可能にして出力するので、入力記事の中の特徴語に、例えば、下線を付したり、太字にしたりすることで、特徴語をユーザに分かりやすい態様で出力することができる。
【００１９】
（７） 前記特徴語抽出手段は、前記入力記事と、前記類似記事の前記タイトルとに一致する前記汎化固有表現を、前記特徴語として抽出し、
前記記事出力手段は、前記特徴語として抽出した前記汎化固有表現を前記固有表現に特化して前記入力記事を出力する、
（６）に記載の記事特徴語抽出装置。
【００２０】
本発明のこのような構成によれば、入力記事と、類似記事のタイトルとに一致する汎化した固有表現を抽出して、固有表現を識別可能にして出力するので、入力記事と、類似記事のタイトルとを比較することで、タイトルとして馴染みの多い単語、複合語や文節を、特徴語として抽出できる。また、抽出した汎化固有表現は、元の固有表現に戻して識別可能に出力するので、分かりやすく固有表現を出力できる。
【００２１】
（８） ユーザが作成した前記入力記事に関するタイトルの入力を受け付けるタイトル入力手段と、
前記タイトルと前記入力記事とを対応付けて前記過去記事記憶部に記憶する記事蓄積手段と、
を備える、
（１）から（７）までのいずれか１項に記載の記事特徴語抽出装置。
【００２２】
本発明のこのような構成によれば、過去の記事に、本装置の出力により作成されたタイトル付きの記事を含めることができる。ユーザが付したタイトルに対応付けて、過去の記事を蓄積するので、出力した入力記事を、他の入力記事において特徴語を抽出する対象になる類似記事にすることができる。
【００２３】
（９） コンピュータによって、入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出方法であって、
カテゴリに分類された過去の記事とそのタイトルとを対応付けて記憶する過去記事記憶ステップと、
固有表現を記憶する固有表現記憶ステップと、
前記カテゴリが付された入力記事を受け付ける記事入力ステップと、
前記過去記事記憶ステップにより記憶された前記過去の記事から、前記記事入力ステップが受け付けた前記入力記事にカテゴリが一致し、前記入力記事に類似する類似記事を抽出する類似記事抽出ステップと、
前記入力記事と、前記類似記事の前記タイトルとから、前記固有表現記憶ステップにより記憶された前記固有表現を各々抽出する固有表現抽出ステップと、
前記固有表現抽出ステップにより抽出した前記固有表現を汎化して、前記入力記事及び前記類似記事の前記タイトルに汎化固有表現を適用する固有表現汎化ステップと、
前記固有表現汎化ステップによる前記汎化固有表現を適用後の前記入力記事及び前記類似記事の前記タイトルから、特徴語を抽出する特徴語抽出ステップと、
を含む記事特徴語抽出方法。
【００２４】
（１０） （９）に記載の記事特徴語抽出方法のステップをコンピュータに実行させるためのプログラム。
【発明の効果】
【００２５】
本発明によれば、入力記事と同じカテゴリの過去の記事である類似記事に基づいて、タイトル用の特徴語を効率的に抽出することができる。特に、固有表現を汎化することで、類似記事のタイトルに一致する特徴語として固有表現を抽出するので、タイトルで重要である固有表現を特徴語として抽出することができる。
【図面の簡単な説明】
【００２６】
【図１】本実施形態に係る記事特徴語抽出装置の機能構成を示す図である。
【図２】本実施形態に係る記事特徴語抽出装置のハードウェア構成を示す図である。
【図３】本実施形態に係る記事特徴語抽出装置による処理の例を示す図である。
【図４】本実施形態に係るメイン処理のフローチャートである。
【図５】本実施形態に係る類似記事抽出処理のフローチャートである。
【図６】本実施形態に係る固有表現の抽出及び汎化方法を示す図である。
【図７】本実施形態に係る具体例を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明を実施するための形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００２８】
（実施形態）
［記事特徴語抽出装置１の機能構成］
図１は、本実施形態に係る記事特徴語抽出装置１の機能構成を示す図である。記事特徴語抽出装置１は、入力記事に関するタイトル用の特徴語を抽出して、識別可能にされた特徴語を出力する装置である。入力記事には、予め分類されたカテゴリのうちの１つが対応付けられている。タイトル用とは、入力記事の内容を端的に表す、例えば、タイトル、サブタイトル、要約の作成で用いることができることをいう。また、特徴語とは、入力記事に関する特徴が表れた単語、複合語や文節をいう。
【００２９】
記事特徴語抽出装置１は、入力部３、出力部５、制御部１０、記憶部２０を備える。入力部３は、例えば、キーボードやマウス等であり、記事特徴語抽出装置１の処理対象になる入力記事を入力する装置である。入力部３は、通信回線（図示せず）を介して接続された端末（図示せず）や文書サーバ等から入力された記事を受信する通信部であってもよい。出力部５は、例えば、ディスプレイ等であり、タイトル用の特徴語を抽出した後の入力記事を出力する装置である。出力部５は、通信回線を介して接続された端末等に処理後の入力記事を送信する通信部であってもよい。
【００３０】
制御部１０は、記事入力手段１１、類似記事抽出手段１２、固有表現抽出手段１３、固有表現汎化手段１４、特徴語抽出手段１５、記事出力手段１６、仮タイトル出力手段１７、タイトル入力手段１８、記事蓄積手段１９を備える。記憶部２０は、過去の記事を記憶する過去記事記憶部２２、固有表現のパターンを記憶する固有表現記憶部２４を備える。固有表現（Ｎａｍｅｄ Ｅｎｔｉｔｙ）とは、例えば、地名、人名、組織名等の固有名詞や日付、時間表現、金額表現、数量表現等をいう。各機能の詳細は、後述する。
【００３１】
記事特徴語抽出装置１は、ハードウェアの数に制限はなく、必要に応じて一又は複数のハードウェアで構成してよい。また、記事特徴語抽出装置１は、複数のハードウェアで構成する場合には、例えば、通信回線を介して各ハードウェアを接続してもよい。上述した各機能毎に別サーバとし、各サーバ間での信号の送受信により、各サーバを連携させることで、本実施形態の機能を実現してもよい。
【００３２】
［記事特徴語抽出装置１のハードウェア構成図］
図２は、本実施形態に係る記事特徴語抽出装置１のハードウェア構成を示す図である。本発明が実施される処理装置は標準的なものでよく、以下に、構成の一例を示す。
【００３３】
記事特徴語抽出装置１は、制御部１０を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０（マルチプロセッサ構成ではＣＰＵ１０１２等複数のＣＰＵが追加されてもよい）、バスライン１００５、通信Ｉ／Ｆ（Ｉ／Ｆ：インタフェース）１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、表示装置１０２２、Ｉ／Ｏコントローラ１０７０、キーボード及びマウス等の入力装置１１００、ハードディスク１０７４、光ディスクドライブ１０７６、並びに半導体メモリ１０７８を備える。なお、ハードディスク１０７４、光ディスクドライブ１０７６、及び半導体メモリ１０７８はまとめて記憶部２０と呼ぶ。
【００３４】
制御部１０は、記事特徴語抽出装置１を統括的に制御する部分であり、ハードディスク１０７４に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。
【００３５】
通信Ｉ／Ｆ１０４０は、記事特徴語抽出装置１が、通信回線を介して他の装置と情報を送受信する場合のネットワーク・アダプタである。通信Ｉ／Ｆ１０４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。
【００３６】
ＢＩＯＳ１０６０は、記事特徴語抽出装置１の起動時にＣＰＵ１０１０が実行するブートプログラムや、記事特徴語抽出装置１のハードウェアに依存するプログラム等を記録する。
【００３７】
表示装置１０２２は、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。
【００３８】
Ｉ／Ｏコントローラ１０７０には、ハードディスク１０７４、光ディスクドライブ１０７６、及び半導体メモリ１０７８等の記憶装置である記憶部２０を接続することができる。
【００３９】
入力装置１１００は、記事特徴語抽出装置１の管理者による入力の受け付けを行うものである。
【００４０】
ハードディスク１０７４は、本ハードウェアを記事特徴語抽出装置１として機能させるための各種プログラム、本発明の機能を実行するプログラム及び上述した過去記事記憶部２２及び固有表現記憶部２４等を記憶する。なお、記事特徴語抽出装置１は、外部に別途設けたハードディスク（図示せず）を外部記憶装置として利用することもできる。
【００４１】
光ディスクドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）ドライブを使用することができる。この場合は各ドライブに対応した光ディスク１０７７を使用する。光ディスク１０７７から光ディスクドライブ１０７６によりプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０又はハードディスク１０７４に提供することもできる。
【００４２】
なお、本発明でいうコンピュータとは、記憶装置、制御部等を備えた情報処理装置をいい、記事特徴語抽出装置１は、記憶部２０、制御部１０等を備えた情報処理装置により構成され、この情報処理装置は、本発明のコンピュータの概念に含まれる。
【００４３】
［具体例１］
図３は、本実施形態に係る記事特徴語抽出装置１による処理の例を示す図である。図３（１）は、入力記事の本文３０を示す。本文３０のカテゴリである「温暖化」は、予めユーザにより指定されている。カテゴリは、記事を分類するためのトピックであり、例えば、政治、社会、経済、スポーツ、・・・等であり、入力記事は、カテゴリで分類される。カテゴリは、大項目、中項目、小項目等の階層形式になっていてもよく、その場合は、入力記事に指定するカテゴリは、小項目等の最小の単位のものを指定するのが望ましい。
【００４４】
次に、制御部１０は、本文３０に類似する類似記事のタイトルと本文とを、過去記事記憶部２２から抽出する。過去記事記憶部２２は、記憶部２０に有する。図３（２）に示すように、過去記事記憶部２２は、カテゴリ２２ａと、タイトル２２ｂと、本文２２ｃとの項目を有し、１つのレコード（行）は、１つの記事を表す。
【００４５】
図３（２）は、過去記事記憶部２２から抽出された類似記事を示す。類似記事は、過去記事記憶部２２のカテゴリ２２ａに記憶された入力記事と同一のカテゴリのデータの中から抽出する。この例では、入力記事と同じ「温暖化」のカテゴリのものが抽出されている。類似記事は、入力記事に対して、特徴語を抽出するのに比較対象にする記事である。抽出した類似記事は、タイトル３１と本文３２とからなる。タイトル３１は、過去記事記憶部２２のタイトル２２ｂから、本文３２は、過去記事記憶部２２の本文２２ｃから、それぞれ取得する。
【００４６】
次に、制御部１０は、入力記事の本文３０と、類似記事のタイトル３１とから、各々固有表現を抽出して汎化する。図３（３）は、本文３０とタイトル３１とに含む固有表現と、固有表現に対応する汎化固有表現とを示す。入力記事の本文３０から抽出された固有表現は、「フランス」という地名や、「２３日」という日付であり、固有表現部３３に格納される。汎化部３４は、固有表現部３３に格納された固有表現を汎化した汎化固有表現を格納する。固有表現の汎化は、固有表現記憶部２４に基づいて行われる。同様に、類似記事のタイトル３１から抽出された固有表現は、固有表現部３５に格納される。汎化部３６は、固有表現部３５に格納された固有表現を汎化した汎化固有表現を格納する。これらの固有表現部３３，３５、汎化部３４，３６は、一時的に記憶部２０に記憶してよい。
【００４７】
次に、固有表現が汎化された状態で、特徴語を抽出する。特徴語は、類似記事のタイトル３１に含む汎化固有表現に一致する、入力記事の本文３０の汎化固有表現を含む。汎化固有表現である特徴語は、この例では、「地名」、「日付」である。また、特徴語は、類似記事のタイトル３１の汎化固有表現を除いた単語、複合語や文節であって、本文３０に有するものを含む。特徴語は、この例では、「北極海」、「海氷面積」、「減少」、「発表」である。ここで、「海氷面積」は、単語「氷」を含む複合語である。
【００４８】
図３（４）は、特徴語を識別可能にした入力記事の本文３７と、入力記事の仮タイトル３８とを示す。ここで、汎化固有表現によって抽出した特徴語は、特徴語リストとして出力してもよいが、図示するように、入力記事の本文３７に含めた状態で、識別可能に出力するようにしてもよい。入力記事の本文３７は、この例のように特徴語に下線を付してもよいし、あるいは、色付けしたり、強調文字にしたりして、ユーザに一見して識別可能な状態で出力することが望ましい。また、図中の仮タイトル３８は、図３（２）の類似記事のタイトル３１うち特徴語として抽出した箇所を、入力記事の特徴語として抽出したものに置き換えたものである。ここで、仮タイトル３８は、置き換えが複数ある場合は、複数のタイトル候補として表示してもよい。この置き換えは、入力記事と類似記事のタイトルとの対応付け（特に固有表現の種別が同じものの対応付け）により行うことができる。このとき、ユーザには、類似記事のタイトル３１と仮タイトル３８とを並べて表示するようにしてもよい。また、このようにして作成された仮タイトル３８を、ユーザは必要に応じて編集できるようにすることが望ましい。
【００４９】
［フローチャート］
次に、図３で説明した処理の流れを説明する。図４は、本実施形態に係るメイン処理のフローチャートである。図５は、本実施形態に係る類似記事抽出処理のフローチャートである。図６は、本実施形態に係る固有表現の抽出及び汎化方法を示す図である。以降、図４から図６を参照しながら説明する。
【００５０】
図４において、Ｓ１：制御部１０（記事入力手段１１）は、入力部３からカテゴリ付きの入力記事を受け付ける。記事特徴語抽出装置１の入力部３から入力された入力記事は、記憶部２０に一時的に記憶してよい。
【００５１】
Ｓ２：制御部１０（類似記事抽出手段１２）は、入力記事に類似する記事（類似記事）を、過去記事記憶部２２から抽出する類似記事抽出処理を行う。
【００５２】
ここで、類似記事抽出処理について、図５に基づき説明する。
【００５３】
図５において、Ｓ１１：類似記事抽出手段１２は、入力記事のカテゴリと同一のカテゴリの記事を、過去記事記憶部２２から抽出する。
【００５４】
Ｓ１２：類似記事抽出手段１２は、入力記事と、抽出した同一のカテゴリの記事の本文及びそのタイトルとに対して形態素解析を行う。
【００５５】
Ｓ１３：類似記事抽出手段１２は、形態素解析によって各記事の本文に含まれる各単語に対して、単語の出現頻度に基づく指標であるＴＦ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ）・ＩＤＦ（Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）を用いて単語の重み付けを行う。これにより、他の記事にはあまり出現しないが、その記事の中で高頻度で用いられている単語の重み付けは大きくなる。
【００５６】
Ｓ１４：類似記事抽出手段１２は、入力記事に含む単語であって、重み付けの上位のものを特徴語として抽出する。なお、特徴語は、複数個を抽出してよい。
【００５７】
Ｓ１５：類似記事抽出手段１２は、抽出した特徴語を抽出した同一カテゴリの類似記事に対してＯＲ検索して、スコアの高いものから順番にｎ件分の記事を抽出する。抽出する記事の件数（ｎ）は、予め定めておいてもよいし、ユーザが入力部３から入力してもよい。また、制御部１０がランダムに件数を決定してもよい。
【００５８】
このように、類似記事として使用する上位ｎ件を可変にすることで、抽出される特徴語を変化させることができる。
【００５９】
図４に戻って、Ｓ３：制御部１０（固有表現抽出手段１３）は、入力記事と、抽出した類似記事のタイトルとから、固有表現を抽出する。
【００６０】
Ｓ４：制御部１０（固有表現汎化手段１４）は、固有表現記憶部２４の学習データに基づき、入力記事と類似記事のタイトルとに含む各々の固有表現を汎化する。なお、ここで、タイトルとは、その内容部分が所定の最大文字数に制限された見出しをいい、最大文字数は、例えば、１３文字である。
【００６１】
ここで、固有表現の抽出及び汎化について、図６の例に基づき説明する。
【００６２】
図６（１）は、固有表現記憶部２４に記憶された学習元データ４０の一例である。学習元データ４０は、文書を形態素解析をして、表記４１、品詞４２、活用４３を付し、タグ４４に正解のタグを付したものである。タグ４４の「ＯＲＧ」は、組織を、「ＰＥＲ」は、人名を表す汎化固有表現である。また、タグ４４の「Ｉ−」は、「Ｂ−」に続くものであることを意味する記号である。タグ４４の「Ｏ」は、固有表現ではないｏｔｈｅｒを示す記号である。
【００６３】
また、固有表現記憶部２４には、固有表現を判定するための素性５０を用意する。素性５０は、１つの例示であり、複数用意されてよい。そして、素性５０を、学習元データ４０の行４５に示す「直弘」に用いたのものが、学習データ５１である。素性５０を、各形態素の全て、つまり、学習元データ４０の全ての行について行っておく。そして、これらを学習データとして、パターンを固有表現記憶部２４に記憶しておく。そうすることで、未知の文書が入力された場合に、どの単語等が固有表現であるのかの判断に用いることができる。
【００６４】
図６（２）に示す文書の対象データ６０が入力された場合に、行６１の「哲」について素性５０を用いた結果データ６２である。結果データ６２から、学習データ５１の前後２単語の「氏」と「は」とが共通するので、「哲」は、人名のタグである「ＰＥＲ」が付されるのではないかと推測できる。そこで、行６１の「哲」については、人名タグ「ＰＥＲ」を付すことで、固有表現にすることができる。
【００６５】
図４に戻って、Ｓ５：制御部１０（特徴語抽出手段１５）は、入力記事と、類似記事のタイトルとの両者に含む特徴語を抽出する。具体的には、制御部１０は、入力記事と、類似記事のタイトルとに含む汎化固有表現を抽出し、入力記事と、類似記事のタイトルとに一致する単語、複合語及び文節を抽出する。
【００６６】
Ｓ６：制御部１０（記事出力手段１６）は、特徴語を識別可能にした入力記事を出力部５に出力する。その際、制御部１０は、汎化固有表現を汎化する前の固有表現に戻して（特化して）、特徴語に下線を付す。このようにすることで、ユーザは、出力された入力記事から特徴語を識別できるので、例えば、記事の斜め読みに有効である。
【００６７】
Ｓ７：制御部１０（仮タイトル出力手段１７）は、類似記事のタイトルの特徴語を入力記事の特徴語に置き換えて、入力記事に関する仮タイトルを作成して出力部５に出力する。その際、制御部１０は、汎化固有表現を汎化する前の固有表現に戻して（特化して）、特徴語に下線を付してもよい。このように、制御部１０によって、入力記事のタイトルの作成を半自動化できるので、ユーザによるタイトル作成の効率を向上することができる。
【００６８】
Ｓ８：制御部１０（タイトル入力手段１８）は、ユーザにより作成された入力記事のタイトルを、入力部３から受け付ける。
【００６９】
Ｓ９：制御部１０（記事蓄積手段１９）は、入力記事と、そのタイトルとを対応付けて過去記事記憶部２２に記憶する。
【００７０】
このように、記事特徴語抽出装置１は、入力記事と同じカテゴリの過去の記事である類似記事のタイトルに基づいて、タイトル用の特徴語を効率的に抽出することができる。特に、固有表現を汎化することで、記事特徴語抽出装置１は、類似記事のタイトルに一致する特徴語として固有表現を抽出するので、タイトルで重要である固有表現を特徴語として抽出することができる。
【００７１】
［具体例２］
次に、実際の記事に基づく具体例を示す。図７は、本実施形態に係る具体例を示す図である。
【００７２】
図７（１）は、入力記事の本文７０を示す。入力記事のカテゴリは、「芸能」である。なお、最初に入力記事が与えられた状態では、本文７０は、下線等は付されていない。
【００７３】
図７（２）は、過去記事記憶部２２に記憶され、カテゴリが「芸能」である記事の中から、入力記事に類似する記事とそのタイトルとを３つ抽出したものである。類似記事は、例えば、図５に示した方法で抽出することができる。ここでは、本文７１とタイトル７２とのペア、本文７３とタイトル７４とのペア、本文７５とタイトル７６とのペアの３つである。本文７１，７３，７５は、いずれも本文７０に類似している。
【００７４】
図７（３）は、タイトルの固有表現を汎化したものである。タイトル７２，７４，７６には、共通してタレント名が入っており、これを人名を表すタグ＜ＰＥＲ＞で汎化している。また、図７（４）は、入力記事の本文７０の固有表現を汎化したものである。本文７０に含むタレント名を、人名を表すタグ＜ＰＥＲ＞で汎化している。これらは、図６で示した学習データとして記憶されたパターンから、人名を表すものと判断できる。
【００７５】
図７（５）は、本文７０と、タイトル７２，７４，７６との特徴語を抽出して、本文７０に反映したものである。固有表現を汎化した状態で比較して特徴語を抽出することで、タイトルに相応しい固有表現を拾うことができる。
【００７６】
本文７０は、特徴語をユーザが識別しやすいような状態に変更されて、出力部５に表示されるので、ユーザは、本文７０から特徴語を抜き出して、例えば、「イジ○○岡田氏、ろっ骨を骨折」という、記事の内容を端的に示すタイトルを、簡単に付すことができる。
【００７７】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。
【００７８】
（変形形態）
本実施形態では、特徴語に下線を付して入力記事を出力していたが、ユーザに識別可能なものであれば、例えば、特徴語を他の単語、複合語や文節とは異なる表示態様にして出力してもよい。表示態様としては、色やフォントを異なるものにすることが考えられる。このように、特徴語を他の単語、複合語や文節とは異なる表示態様で出力することで、ユーザが識別可能に特徴語を把握できるので、例えば、記事の斜め読みに有効である。また、類似記事として使用する上位ｎ件を可変にすることで、抽出させる特徴語も変化させることができるので、適切な件数（ｎ）を選ぶことで、複数の斜め読み用の特徴語を表示させることが可能である。
【００７９】
なお、本実施形態では、類似記事を抽出するのに、記事の本文を形態素解析をして、ＴＦ・ＩＤＦを用いて重み付けをすることで抽出したが、入力記事に類似する記事を出力できれば、他の方法であってもよい。
【００８０】
また、本実施形態では、特徴語を強調した入力記事と共に、類似記事のタイトルの特徴語を入力記事の特徴語に置き換えた仮タイトルを作成して出力する例を示したが、これに限定されない。例えば、入力記事と、類似記事のタイトルとを出力して、識別可能にした入力記事の特徴語と、同じく識別可能にした類似記事のタイトルの特徴語とを線で結ぶことで、各々の対応する場所が示されるようにしてもよい。
【符号の説明】
【００８１】
１ 記事特徴語抽出装置
１０ 制御部
１１ 記事入力手段
１２ 類似記事抽出手段
１３ 固有表現抽出手段
１４ 固有表現汎化手段
１５ 特徴語抽出手段
１６ 記事出力手段
１７ 仮タイトル出力手段
１８ タイトル入力手段
１９ 記事蓄積手段
２０ 記憶部
２２ 過去記事記憶部
２４ 固有表現記憶部
【技術分野】
【０００１】
本発明は、入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出装置、記事特徴語抽出方法及びプログラムに関する。
【背景技術】
【０００２】
従来、ユーザは、ネットワーク上でインターネットから様々な情報を得ることを行っている。インターネット上には大量の情報として、例えば、ニュース記事が蓄積されている。記事は、一般的に、カテゴリに分類され、また、その記事の内容が分かるようなタイトルに代表される比較的短い文書が付されている。記事に、カテゴリやタイトルが付されることで、ユーザは、欲する記事を効率よく得ることができる。しかし、日々発信されるニュース記事のタイトルを作成する作業は、煩雑である。そのため、これらの作業を補助する装置が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２９８８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の装置は、例えば、対象文書及び同分野の文書を言語解析して、その結果を基に重要語や例示語等を判断して要約文を作成する。このようなプロセスで示された重要語は、同一分野の文書のうち、出現頻度の高いものである。よって、記事において、一般に、その内容の特徴を示す地名や人名等の固有表現は、出現頻度が低いので、固有表現は、重要語にはなりにくい。
【０００５】
本発明は、固有表現に基づいて、入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出装置、記事特徴語抽出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明者は、固有表現を汎化することで、類似記事のタイトルに一致する特徴語として固有表現を抽出する方法を見出し、本発明を完成するに至った。本発明は、具体的には次のようなものを提供する。
【０００７】
（１） 入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出装置において、
カテゴリが付された入力記事を受け付ける記事入力手段と、
前記カテゴリに分類された過去の記事にそのタイトルを対応付けて記憶した過去記事記憶部から、前記記事入力手段が受け付けた前記入力記事にカテゴリが一致し、前記入力記事に類似する類似記事を抽出する類似記事抽出手段と、
固有表現を記憶する固有表現記憶部を用いて、前記入力記事と、前記類似記事の前記タイトルとから、各々前記固有表現を抽出する固有表現抽出手段と、
前記固有表現抽出手段により抽出した前記固有表現を汎化して、前記入力記事及び前記類似記事の前記タイトルに汎化固有表現を適用する固有表現汎化手段と、
前記固有表現汎化手段による前記汎化固有表現を適用後の前記入力記事及び前記類似記事の前記タイトルから、特徴語を抽出する特徴語抽出手段と、
を備える記事特徴語抽出装置。
【０００８】
本発明のこのような構成によれば、入力記事と同じカテゴリの過去の記事である類似記事のタイトルとに含む各々の固有表現を汎化して特徴語を抽出することで、記事の内容の特徴を示す地名や人名等の固有表現が抽出できる。ここで、汎化とは、例えば、タグ付けやキーワードによる置換等をいう。このように、記事により異なる固有表現を汎化することで、上位概念で同一に捉えることができ、より精緻な類似の抽出を行うことができる。なお、本明細書では以降、「タイトル」とは、サブタイトル、要約を含むものとする。
【０００９】
（２） 前記特徴語抽出手段により抽出した前記類似記事の前記タイトルの特徴語を、対応する前記入力記事の特徴語に置き換えて、前記入力記事に関する仮タイトルを作成して出力する仮タイトル出力手段を備える、
（１）に記載の記事特徴語抽出装置。
【００１０】
本発明のこのような構成によれば、類似記事のタイトルの特徴語を、それに対応する入力記事の特徴語に置き換えた入力記事の仮タイトルを作成して、作成した仮タイトルを出力するので、入力記事のタイトルの作成を半自動化でき、仮タイトルを出力できる。よって、ユーザによるタイトル作成の効率を向上することができる。
【００１１】
（３） 前記特徴語抽出手段は、前記入力記事と、前記類似記事の前記タイトルとに一致する単語、複合語及び文節を、前記特徴語として抽出する、
（１）又は（２）に記載の記事特徴語抽出装置。
【００１２】
本発明のこのような構成によれば、入力記事と、類似記事のタイトルとに一致する単語、複合語や文節を抽出するので、記事に共通の単語、複合語や文節を抽出できる。
【００１３】
（４） 前記固有表現記憶部は、機械学習を用いて抽出した前記固有表現のパターンを記憶し、
前記固有表現抽出手段は、前記固有表現のパターンに基づいて、前記入力記事と前記類似記事の前記タイトルとから各々前記固有表現を抽出する、
（１）から（３）までのいずれか１項に記載の記事特徴語抽出装置。
【００１４】
本発明のこのような構成によれば、固有表現のパターンを予め記憶しておき、それを用いることで、固有表現か否かを簡単に判断でき、固有表現を抽出できる。
【００１５】
（５） 前記類似記事抽出手段は、抽出対象の数を可変して複数の前記類似記事を抽出する、
（１）から（４）までのいずれか１項に記載の記事特徴語抽出装置。
【００１６】
本発明のこのような構成によれば、類似記事として抽出する記事数を、任意の数に変更することができる。よって、類似記事の対象の数を増減させて、比較対象になる類似記事の数を変化させることで、抽出する特徴語に変化を与えることができる。
【００１７】
（６） 前記特徴語抽出手段により抽出した特徴語を識別可能にした前記入力記事を出力する記事出力手段を備える、
（１）から（５）までのいずれか１項に記載の記事特徴語抽出装置。
【００１８】
本発明のこのような構成によれば、入力記事を、特徴語を識別可能にして出力するので、入力記事の中の特徴語に、例えば、下線を付したり、太字にしたりすることで、特徴語をユーザに分かりやすい態様で出力することができる。
【００１９】
（７） 前記特徴語抽出手段は、前記入力記事と、前記類似記事の前記タイトルとに一致する前記汎化固有表現を、前記特徴語として抽出し、
前記記事出力手段は、前記特徴語として抽出した前記汎化固有表現を前記固有表現に特化して前記入力記事を出力する、
（６）に記載の記事特徴語抽出装置。
【００２０】
本発明のこのような構成によれば、入力記事と、類似記事のタイトルとに一致する汎化した固有表現を抽出して、固有表現を識別可能にして出力するので、入力記事と、類似記事のタイトルとを比較することで、タイトルとして馴染みの多い単語、複合語や文節を、特徴語として抽出できる。また、抽出した汎化固有表現は、元の固有表現に戻して識別可能に出力するので、分かりやすく固有表現を出力できる。
【００２１】
（８） ユーザが作成した前記入力記事に関するタイトルの入力を受け付けるタイトル入力手段と、
前記タイトルと前記入力記事とを対応付けて前記過去記事記憶部に記憶する記事蓄積手段と、
を備える、
（１）から（７）までのいずれか１項に記載の記事特徴語抽出装置。
【００２２】
本発明のこのような構成によれば、過去の記事に、本装置の出力により作成されたタイトル付きの記事を含めることができる。ユーザが付したタイトルに対応付けて、過去の記事を蓄積するので、出力した入力記事を、他の入力記事において特徴語を抽出する対象になる類似記事にすることができる。
【００２３】
（９） コンピュータによって、入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出方法であって、
カテゴリに分類された過去の記事とそのタイトルとを対応付けて記憶する過去記事記憶ステップと、
固有表現を記憶する固有表現記憶ステップと、
前記カテゴリが付された入力記事を受け付ける記事入力ステップと、
前記過去記事記憶ステップにより記憶された前記過去の記事から、前記記事入力ステップが受け付けた前記入力記事にカテゴリが一致し、前記入力記事に類似する類似記事を抽出する類似記事抽出ステップと、
前記入力記事と、前記類似記事の前記タイトルとから、前記固有表現記憶ステップにより記憶された前記固有表現を各々抽出する固有表現抽出ステップと、
前記固有表現抽出ステップにより抽出した前記固有表現を汎化して、前記入力記事及び前記類似記事の前記タイトルに汎化固有表現を適用する固有表現汎化ステップと、
前記固有表現汎化ステップによる前記汎化固有表現を適用後の前記入力記事及び前記類似記事の前記タイトルから、特徴語を抽出する特徴語抽出ステップと、
を含む記事特徴語抽出方法。
【００２４】
（１０） （９）に記載の記事特徴語抽出方法のステップをコンピュータに実行させるためのプログラム。
【発明の効果】
【００２５】
本発明によれば、入力記事と同じカテゴリの過去の記事である類似記事に基づいて、タイトル用の特徴語を効率的に抽出することができる。特に、固有表現を汎化することで、類似記事のタイトルに一致する特徴語として固有表現を抽出するので、タイトルで重要である固有表現を特徴語として抽出することができる。
【図面の簡単な説明】
【００２６】
【図１】本実施形態に係る記事特徴語抽出装置の機能構成を示す図である。
【図２】本実施形態に係る記事特徴語抽出装置のハードウェア構成を示す図である。
【図３】本実施形態に係る記事特徴語抽出装置による処理の例を示す図である。
【図４】本実施形態に係るメイン処理のフローチャートである。
【図５】本実施形態に係る類似記事抽出処理のフローチャートである。
【図６】本実施形態に係る固有表現の抽出及び汎化方法を示す図である。
【図７】本実施形態に係る具体例を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明を実施するための形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００２８】
（実施形態）
［記事特徴語抽出装置１の機能構成］
図１は、本実施形態に係る記事特徴語抽出装置１の機能構成を示す図である。記事特徴語抽出装置１は、入力記事に関するタイトル用の特徴語を抽出して、識別可能にされた特徴語を出力する装置である。入力記事には、予め分類されたカテゴリのうちの１つが対応付けられている。タイトル用とは、入力記事の内容を端的に表す、例えば、タイトル、サブタイトル、要約の作成で用いることができることをいう。また、特徴語とは、入力記事に関する特徴が表れた単語、複合語や文節をいう。
【００２９】
記事特徴語抽出装置１は、入力部３、出力部５、制御部１０、記憶部２０を備える。入力部３は、例えば、キーボードやマウス等であり、記事特徴語抽出装置１の処理対象になる入力記事を入力する装置である。入力部３は、通信回線（図示せず）を介して接続された端末（図示せず）や文書サーバ等から入力された記事を受信する通信部であってもよい。出力部５は、例えば、ディスプレイ等であり、タイトル用の特徴語を抽出した後の入力記事を出力する装置である。出力部５は、通信回線を介して接続された端末等に処理後の入力記事を送信する通信部であってもよい。
【００３０】
制御部１０は、記事入力手段１１、類似記事抽出手段１２、固有表現抽出手段１３、固有表現汎化手段１４、特徴語抽出手段１５、記事出力手段１６、仮タイトル出力手段１７、タイトル入力手段１８、記事蓄積手段１９を備える。記憶部２０は、過去の記事を記憶する過去記事記憶部２２、固有表現のパターンを記憶する固有表現記憶部２４を備える。固有表現（Ｎａｍｅｄ Ｅｎｔｉｔｙ）とは、例えば、地名、人名、組織名等の固有名詞や日付、時間表現、金額表現、数量表現等をいう。各機能の詳細は、後述する。
【００３１】
記事特徴語抽出装置１は、ハードウェアの数に制限はなく、必要に応じて一又は複数のハードウェアで構成してよい。また、記事特徴語抽出装置１は、複数のハードウェアで構成する場合には、例えば、通信回線を介して各ハードウェアを接続してもよい。上述した各機能毎に別サーバとし、各サーバ間での信号の送受信により、各サーバを連携させることで、本実施形態の機能を実現してもよい。
【００３２】
［記事特徴語抽出装置１のハードウェア構成図］
図２は、本実施形態に係る記事特徴語抽出装置１のハードウェア構成を示す図である。本発明が実施される処理装置は標準的なものでよく、以下に、構成の一例を示す。
【００３３】
記事特徴語抽出装置１は、制御部１０を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０（マルチプロセッサ構成ではＣＰＵ１０１２等複数のＣＰＵが追加されてもよい）、バスライン１００５、通信Ｉ／Ｆ（Ｉ／Ｆ：インタフェース）１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、表示装置１０２２、Ｉ／Ｏコントローラ１０７０、キーボード及びマウス等の入力装置１１００、ハードディスク１０７４、光ディスクドライブ１０７６、並びに半導体メモリ１０７８を備える。なお、ハードディスク１０７４、光ディスクドライブ１０７６、及び半導体メモリ１０７８はまとめて記憶部２０と呼ぶ。
【００３４】
制御部１０は、記事特徴語抽出装置１を統括的に制御する部分であり、ハードディスク１０７４に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。
【００３５】
通信Ｉ／Ｆ１０４０は、記事特徴語抽出装置１が、通信回線を介して他の装置と情報を送受信する場合のネットワーク・アダプタである。通信Ｉ／Ｆ１０４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。
【００３６】
ＢＩＯＳ１０６０は、記事特徴語抽出装置１の起動時にＣＰＵ１０１０が実行するブートプログラムや、記事特徴語抽出装置１のハードウェアに依存するプログラム等を記録する。
【００３７】
表示装置１０２２は、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。
【００３８】
Ｉ／Ｏコントローラ１０７０には、ハードディスク１０７４、光ディスクドライブ１０７６、及び半導体メモリ１０７８等の記憶装置である記憶部２０を接続することができる。
【００３９】
入力装置１１００は、記事特徴語抽出装置１の管理者による入力の受け付けを行うものである。
【００４０】
ハードディスク１０７４は、本ハードウェアを記事特徴語抽出装置１として機能させるための各種プログラム、本発明の機能を実行するプログラム及び上述した過去記事記憶部２２及び固有表現記憶部２４等を記憶する。なお、記事特徴語抽出装置１は、外部に別途設けたハードディスク（図示せず）を外部記憶装置として利用することもできる。
【００４１】
光ディスクドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）ドライブを使用することができる。この場合は各ドライブに対応した光ディスク１０７７を使用する。光ディスク１０７７から光ディスクドライブ１０７６によりプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０又はハードディスク１０７４に提供することもできる。
【００４２】
なお、本発明でいうコンピュータとは、記憶装置、制御部等を備えた情報処理装置をいい、記事特徴語抽出装置１は、記憶部２０、制御部１０等を備えた情報処理装置により構成され、この情報処理装置は、本発明のコンピュータの概念に含まれる。
【００４３】
［具体例１］
図３は、本実施形態に係る記事特徴語抽出装置１による処理の例を示す図である。図３（１）は、入力記事の本文３０を示す。本文３０のカテゴリである「温暖化」は、予めユーザにより指定されている。カテゴリは、記事を分類するためのトピックであり、例えば、政治、社会、経済、スポーツ、・・・等であり、入力記事は、カテゴリで分類される。カテゴリは、大項目、中項目、小項目等の階層形式になっていてもよく、その場合は、入力記事に指定するカテゴリは、小項目等の最小の単位のものを指定するのが望ましい。
【００４４】
次に、制御部１０は、本文３０に類似する類似記事のタイトルと本文とを、過去記事記憶部２２から抽出する。過去記事記憶部２２は、記憶部２０に有する。図３（２）に示すように、過去記事記憶部２２は、カテゴリ２２ａと、タイトル２２ｂと、本文２２ｃとの項目を有し、１つのレコード（行）は、１つの記事を表す。
【００４５】
図３（２）は、過去記事記憶部２２から抽出された類似記事を示す。類似記事は、過去記事記憶部２２のカテゴリ２２ａに記憶された入力記事と同一のカテゴリのデータの中から抽出する。この例では、入力記事と同じ「温暖化」のカテゴリのものが抽出されている。類似記事は、入力記事に対して、特徴語を抽出するのに比較対象にする記事である。抽出した類似記事は、タイトル３１と本文３２とからなる。タイトル３１は、過去記事記憶部２２のタイトル２２ｂから、本文３２は、過去記事記憶部２２の本文２２ｃから、それぞれ取得する。
【００４６】
次に、制御部１０は、入力記事の本文３０と、類似記事のタイトル３１とから、各々固有表現を抽出して汎化する。図３（３）は、本文３０とタイトル３１とに含む固有表現と、固有表現に対応する汎化固有表現とを示す。入力記事の本文３０から抽出された固有表現は、「フランス」という地名や、「２３日」という日付であり、固有表現部３３に格納される。汎化部３４は、固有表現部３３に格納された固有表現を汎化した汎化固有表現を格納する。固有表現の汎化は、固有表現記憶部２４に基づいて行われる。同様に、類似記事のタイトル３１から抽出された固有表現は、固有表現部３５に格納される。汎化部３６は、固有表現部３５に格納された固有表現を汎化した汎化固有表現を格納する。これらの固有表現部３３，３５、汎化部３４，３６は、一時的に記憶部２０に記憶してよい。
【００４７】
次に、固有表現が汎化された状態で、特徴語を抽出する。特徴語は、類似記事のタイトル３１に含む汎化固有表現に一致する、入力記事の本文３０の汎化固有表現を含む。汎化固有表現である特徴語は、この例では、「地名」、「日付」である。また、特徴語は、類似記事のタイトル３１の汎化固有表現を除いた単語、複合語や文節であって、本文３０に有するものを含む。特徴語は、この例では、「北極海」、「海氷面積」、「減少」、「発表」である。ここで、「海氷面積」は、単語「氷」を含む複合語である。
【００４８】
図３（４）は、特徴語を識別可能にした入力記事の本文３７と、入力記事の仮タイトル３８とを示す。ここで、汎化固有表現によって抽出した特徴語は、特徴語リストとして出力してもよいが、図示するように、入力記事の本文３７に含めた状態で、識別可能に出力するようにしてもよい。入力記事の本文３７は、この例のように特徴語に下線を付してもよいし、あるいは、色付けしたり、強調文字にしたりして、ユーザに一見して識別可能な状態で出力することが望ましい。また、図中の仮タイトル３８は、図３（２）の類似記事のタイトル３１うち特徴語として抽出した箇所を、入力記事の特徴語として抽出したものに置き換えたものである。ここで、仮タイトル３８は、置き換えが複数ある場合は、複数のタイトル候補として表示してもよい。この置き換えは、入力記事と類似記事のタイトルとの対応付け（特に固有表現の種別が同じものの対応付け）により行うことができる。このとき、ユーザには、類似記事のタイトル３１と仮タイトル３８とを並べて表示するようにしてもよい。また、このようにして作成された仮タイトル３８を、ユーザは必要に応じて編集できるようにすることが望ましい。
【００４９】
［フローチャート］
次に、図３で説明した処理の流れを説明する。図４は、本実施形態に係るメイン処理のフローチャートである。図５は、本実施形態に係る類似記事抽出処理のフローチャートである。図６は、本実施形態に係る固有表現の抽出及び汎化方法を示す図である。以降、図４から図６を参照しながら説明する。
【００５０】
図４において、Ｓ１：制御部１０（記事入力手段１１）は、入力部３からカテゴリ付きの入力記事を受け付ける。記事特徴語抽出装置１の入力部３から入力された入力記事は、記憶部２０に一時的に記憶してよい。
【００５１】
Ｓ２：制御部１０（類似記事抽出手段１２）は、入力記事に類似する記事（類似記事）を、過去記事記憶部２２から抽出する類似記事抽出処理を行う。
【００５２】
ここで、類似記事抽出処理について、図５に基づき説明する。
【００５３】
図５において、Ｓ１１：類似記事抽出手段１２は、入力記事のカテゴリと同一のカテゴリの記事を、過去記事記憶部２２から抽出する。
【００５４】
Ｓ１２：類似記事抽出手段１２は、入力記事と、抽出した同一のカテゴリの記事の本文及びそのタイトルとに対して形態素解析を行う。
【００５５】
Ｓ１３：類似記事抽出手段１２は、形態素解析によって各記事の本文に含まれる各単語に対して、単語の出現頻度に基づく指標であるＴＦ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ）・ＩＤＦ（Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）を用いて単語の重み付けを行う。これにより、他の記事にはあまり出現しないが、その記事の中で高頻度で用いられている単語の重み付けは大きくなる。
【００５６】
Ｓ１４：類似記事抽出手段１２は、入力記事に含む単語であって、重み付けの上位のものを特徴語として抽出する。なお、特徴語は、複数個を抽出してよい。
【００５７】
Ｓ１５：類似記事抽出手段１２は、抽出した特徴語を抽出した同一カテゴリの類似記事に対してＯＲ検索して、スコアの高いものから順番にｎ件分の記事を抽出する。抽出する記事の件数（ｎ）は、予め定めておいてもよいし、ユーザが入力部３から入力してもよい。また、制御部１０がランダムに件数を決定してもよい。
【００５８】
このように、類似記事として使用する上位ｎ件を可変にすることで、抽出される特徴語を変化させることができる。
【００５９】
図４に戻って、Ｓ３：制御部１０（固有表現抽出手段１３）は、入力記事と、抽出した類似記事のタイトルとから、固有表現を抽出する。
【００６０】
Ｓ４：制御部１０（固有表現汎化手段１４）は、固有表現記憶部２４の学習データに基づき、入力記事と類似記事のタイトルとに含む各々の固有表現を汎化する。なお、ここで、タイトルとは、その内容部分が所定の最大文字数に制限された見出しをいい、最大文字数は、例えば、１３文字である。
【００６１】
ここで、固有表現の抽出及び汎化について、図６の例に基づき説明する。
【００６２】
図６（１）は、固有表現記憶部２４に記憶された学習元データ４０の一例である。学習元データ４０は、文書を形態素解析をして、表記４１、品詞４２、活用４３を付し、タグ４４に正解のタグを付したものである。タグ４４の「ＯＲＧ」は、組織を、「ＰＥＲ」は、人名を表す汎化固有表現である。また、タグ４４の「Ｉ−」は、「Ｂ−」に続くものであることを意味する記号である。タグ４４の「Ｏ」は、固有表現ではないｏｔｈｅｒを示す記号である。
【００６３】
また、固有表現記憶部２４には、固有表現を判定するための素性５０を用意する。素性５０は、１つの例示であり、複数用意されてよい。そして、素性５０を、学習元データ４０の行４５に示す「直弘」に用いたのものが、学習データ５１である。素性５０を、各形態素の全て、つまり、学習元データ４０の全ての行について行っておく。そして、これらを学習データとして、パターンを固有表現記憶部２４に記憶しておく。そうすることで、未知の文書が入力された場合に、どの単語等が固有表現であるのかの判断に用いることができる。
【００６４】
図６（２）に示す文書の対象データ６０が入力された場合に、行６１の「哲」について素性５０を用いた結果データ６２である。結果データ６２から、学習データ５１の前後２単語の「氏」と「は」とが共通するので、「哲」は、人名のタグである「ＰＥＲ」が付されるのではないかと推測できる。そこで、行６１の「哲」については、人名タグ「ＰＥＲ」を付すことで、固有表現にすることができる。
【００６５】
図４に戻って、Ｓ５：制御部１０（特徴語抽出手段１５）は、入力記事と、類似記事のタイトルとの両者に含む特徴語を抽出する。具体的には、制御部１０は、入力記事と、類似記事のタイトルとに含む汎化固有表現を抽出し、入力記事と、類似記事のタイトルとに一致する単語、複合語及び文節を抽出する。
【００６６】
Ｓ６：制御部１０（記事出力手段１６）は、特徴語を識別可能にした入力記事を出力部５に出力する。その際、制御部１０は、汎化固有表現を汎化する前の固有表現に戻して（特化して）、特徴語に下線を付す。このようにすることで、ユーザは、出力された入力記事から特徴語を識別できるので、例えば、記事の斜め読みに有効である。
【００６７】
Ｓ７：制御部１０（仮タイトル出力手段１７）は、類似記事のタイトルの特徴語を入力記事の特徴語に置き換えて、入力記事に関する仮タイトルを作成して出力部５に出力する。その際、制御部１０は、汎化固有表現を汎化する前の固有表現に戻して（特化して）、特徴語に下線を付してもよい。このように、制御部１０によって、入力記事のタイトルの作成を半自動化できるので、ユーザによるタイトル作成の効率を向上することができる。
【００６８】
Ｓ８：制御部１０（タイトル入力手段１８）は、ユーザにより作成された入力記事のタイトルを、入力部３から受け付ける。
【００６９】
Ｓ９：制御部１０（記事蓄積手段１９）は、入力記事と、そのタイトルとを対応付けて過去記事記憶部２２に記憶する。
【００７０】
このように、記事特徴語抽出装置１は、入力記事と同じカテゴリの過去の記事である類似記事のタイトルに基づいて、タイトル用の特徴語を効率的に抽出することができる。特に、固有表現を汎化することで、記事特徴語抽出装置１は、類似記事のタイトルに一致する特徴語として固有表現を抽出するので、タイトルで重要である固有表現を特徴語として抽出することができる。
【００７１】
［具体例２］
次に、実際の記事に基づく具体例を示す。図７は、本実施形態に係る具体例を示す図である。
【００７２】
図７（１）は、入力記事の本文７０を示す。入力記事のカテゴリは、「芸能」である。なお、最初に入力記事が与えられた状態では、本文７０は、下線等は付されていない。
【００７３】
図７（２）は、過去記事記憶部２２に記憶され、カテゴリが「芸能」である記事の中から、入力記事に類似する記事とそのタイトルとを３つ抽出したものである。類似記事は、例えば、図５に示した方法で抽出することができる。ここでは、本文７１とタイトル７２とのペア、本文７３とタイトル７４とのペア、本文７５とタイトル７６とのペアの３つである。本文７１，７３，７５は、いずれも本文７０に類似している。
【００７４】
図７（３）は、タイトルの固有表現を汎化したものである。タイトル７２，７４，７６には、共通してタレント名が入っており、これを人名を表すタグ＜ＰＥＲ＞で汎化している。また、図７（４）は、入力記事の本文７０の固有表現を汎化したものである。本文７０に含むタレント名を、人名を表すタグ＜ＰＥＲ＞で汎化している。これらは、図６で示した学習データとして記憶されたパターンから、人名を表すものと判断できる。
【００７５】
図７（５）は、本文７０と、タイトル７２，７４，７６との特徴語を抽出して、本文７０に反映したものである。固有表現を汎化した状態で比較して特徴語を抽出することで、タイトルに相応しい固有表現を拾うことができる。
【００７６】
本文７０は、特徴語をユーザが識別しやすいような状態に変更されて、出力部５に表示されるので、ユーザは、本文７０から特徴語を抜き出して、例えば、「イジ○○岡田氏、ろっ骨を骨折」という、記事の内容を端的に示すタイトルを、簡単に付すことができる。
【００７７】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。
【００７８】
（変形形態）
本実施形態では、特徴語に下線を付して入力記事を出力していたが、ユーザに識別可能なものであれば、例えば、特徴語を他の単語、複合語や文節とは異なる表示態様にして出力してもよい。表示態様としては、色やフォントを異なるものにすることが考えられる。このように、特徴語を他の単語、複合語や文節とは異なる表示態様で出力することで、ユーザが識別可能に特徴語を把握できるので、例えば、記事の斜め読みに有効である。また、類似記事として使用する上位ｎ件を可変にすることで、抽出させる特徴語も変化させることができるので、適切な件数（ｎ）を選ぶことで、複数の斜め読み用の特徴語を表示させることが可能である。
【００７９】
なお、本実施形態では、類似記事を抽出するのに、記事の本文を形態素解析をして、ＴＦ・ＩＤＦを用いて重み付けをすることで抽出したが、入力記事に類似する記事を出力できれば、他の方法であってもよい。
【００８０】
また、本実施形態では、特徴語を強調した入力記事と共に、類似記事のタイトルの特徴語を入力記事の特徴語に置き換えた仮タイトルを作成して出力する例を示したが、これに限定されない。例えば、入力記事と、類似記事のタイトルとを出力して、識別可能にした入力記事の特徴語と、同じく識別可能にした類似記事のタイトルの特徴語とを線で結ぶことで、各々の対応する場所が示されるようにしてもよい。
【符号の説明】
【００８１】
１ 記事特徴語抽出装置
１０ 制御部
１１ 記事入力手段
１２ 類似記事抽出手段
１３ 固有表現抽出手段
１４ 固有表現汎化手段
１５ 特徴語抽出手段
１６ 記事出力手段
１７ 仮タイトル出力手段
１８ タイトル入力手段
１９ 記事蓄積手段
２０ 記憶部
２２ 過去記事記憶部
２４ 固有表現記憶部
【特許請求の範囲】
【請求項１】
入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出装置において、
カテゴリが付された入力記事を受け付ける記事入力手段と、
前記カテゴリに分類された過去の記事にそのタイトルを対応付けて記憶した過去記事記憶部から、前記記事入力手段が受け付けた前記入力記事にカテゴリが一致し、前記入力記事に類似する類似記事を抽出する類似記事抽出手段と、
固有表現を記憶する固有表現記憶部を用いて、前記入力記事と、前記類似記事の前記タイトルとから、各々前記固有表現を抽出する固有表現抽出手段と、
前記固有表現抽出手段により抽出した前記固有表現を汎化して、前記入力記事及び前記類似記事の前記タイトルに汎化固有表現を適用する固有表現汎化手段と、
前記固有表現汎化手段による前記汎化固有表現を適用後の前記入力記事及び前記類似記事の前記タイトルから、特徴語を抽出する特徴語抽出手段と、
を備える記事特徴語抽出装置。
【請求項２】
前記特徴語抽出手段により抽出した前記類似記事の前記タイトルの特徴語を、対応する前記入力記事の特徴語に置き換えて、前記入力記事に関する仮タイトルを作成して出力する仮タイトル出力手段を備える、
請求項１に記載の記事特徴語抽出装置。
【請求項３】
前記特徴語抽出手段は、前記入力記事と、前記類似記事の前記タイトルとに一致する単語、複合語及び文節を、前記特徴語として抽出する、
請求項１又は請求項２に記載の記事特徴語抽出装置。
【請求項４】
前記固有表現記憶部は、機械学習を用いて抽出した前記固有表現のパターンを記憶し、
前記固有表現抽出手段は、前記固有表現のパターンに基づいて、前記入力記事と前記類似記事の前記タイトルとから各々前記固有表現を抽出する、
請求項１から請求項３までのいずれか１項に記載の記事特徴語抽出装置。
【請求項５】
前記類似記事抽出手段は、抽出対象の数を可変して複数の前記類似記事を抽出する、
請求項１から請求項４までのいずれか１項に記載の記事特徴語抽出装置。
【請求項６】
前記特徴語抽出手段により抽出した特徴語を識別可能にした前記入力記事を出力する記事出力手段を備える、
請求項１から請求項５までのいずれか１項に記載の記事特徴語抽出装置。
【請求項７】
前記特徴語抽出手段は、前記入力記事と、前記類似記事の前記タイトルとに一致する前記汎化固有表現を、前記特徴語として抽出し、
前記記事出力手段は、前記特徴語として抽出した前記汎化固有表現を前記固有表現に特化して前記入力記事を出力する、
請求項６に記載の記事特徴語抽出装置。
【請求項８】
ユーザが作成した前記入力記事に関するタイトルの入力を受け付けるタイトル入力手段と、
前記タイトルと前記入力記事とを対応付けて前記過去記事記憶部に記憶する記事蓄積手段と、
を備える、
請求項１から請求項７までのいずれか１項に記載の記事特徴語抽出装置。
【請求項９】
コンピュータによって、入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出方法であって、
カテゴリに分類された過去の記事とそのタイトルとを対応付けて記憶する過去記事記憶ステップと、
固有表現を記憶する固有表現記憶ステップと、
前記カテゴリが付された入力記事を受け付ける記事入力ステップと、
前記過去記事記憶ステップにより記憶された前記過去の記事から、前記記事入力ステップが受け付けた前記入力記事にカテゴリが一致し、前記入力記事に類似する類似記事を抽出する類似記事抽出ステップと、
前記入力記事と、前記類似記事の前記タイトルとから、前記固有表現記憶ステップにより記憶された前記固有表現を各々抽出する固有表現抽出ステップと、
前記固有表現抽出ステップにより抽出した前記固有表現を汎化して、前記入力記事及び前記類似記事の前記タイトルに汎化固有表現を適用する固有表現汎化ステップと、
前記固有表現汎化ステップによる前記汎化固有表現を適用後の前記入力記事及び前記類似記事の前記タイトルから、特徴語を抽出する特徴語抽出ステップと、
を含む記事特徴語抽出方法。
【請求項１０】
請求項９に記載の記事特徴語抽出方法のステップをコンピュータに実行させるためのプログラム。
【請求項１】
入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出装置において、
カテゴリが付された入力記事を受け付ける記事入力手段と、
前記カテゴリに分類された過去の記事にそのタイトルを対応付けて記憶した過去記事記憶部から、前記記事入力手段が受け付けた前記入力記事にカテゴリが一致し、前記入力記事に類似する類似記事を抽出する類似記事抽出手段と、
固有表現を記憶する固有表現記憶部を用いて、前記入力記事と、前記類似記事の前記タイトルとから、各々前記固有表現を抽出する固有表現抽出手段と、
前記固有表現抽出手段により抽出した前記固有表現を汎化して、前記入力記事及び前記類似記事の前記タイトルに汎化固有表現を適用する固有表現汎化手段と、
前記固有表現汎化手段による前記汎化固有表現を適用後の前記入力記事及び前記類似記事の前記タイトルから、特徴語を抽出する特徴語抽出手段と、
を備える記事特徴語抽出装置。
【請求項２】
前記特徴語抽出手段により抽出した前記類似記事の前記タイトルの特徴語を、対応する前記入力記事の特徴語に置き換えて、前記入力記事に関する仮タイトルを作成して出力する仮タイトル出力手段を備える、
請求項１に記載の記事特徴語抽出装置。
【請求項３】
前記特徴語抽出手段は、前記入力記事と、前記類似記事の前記タイトルとに一致する単語、複合語及び文節を、前記特徴語として抽出する、
請求項１又は請求項２に記載の記事特徴語抽出装置。
【請求項４】
前記固有表現記憶部は、機械学習を用いて抽出した前記固有表現のパターンを記憶し、
前記固有表現抽出手段は、前記固有表現のパターンに基づいて、前記入力記事と前記類似記事の前記タイトルとから各々前記固有表現を抽出する、
請求項１から請求項３までのいずれか１項に記載の記事特徴語抽出装置。
【請求項５】
前記類似記事抽出手段は、抽出対象の数を可変して複数の前記類似記事を抽出する、
請求項１から請求項４までのいずれか１項に記載の記事特徴語抽出装置。
【請求項６】
前記特徴語抽出手段により抽出した特徴語を識別可能にした前記入力記事を出力する記事出力手段を備える、
請求項１から請求項５までのいずれか１項に記載の記事特徴語抽出装置。
【請求項７】
前記特徴語抽出手段は、前記入力記事と、前記類似記事の前記タイトルとに一致する前記汎化固有表現を、前記特徴語として抽出し、
前記記事出力手段は、前記特徴語として抽出した前記汎化固有表現を前記固有表現に特化して前記入力記事を出力する、
請求項６に記載の記事特徴語抽出装置。
【請求項８】
ユーザが作成した前記入力記事に関するタイトルの入力を受け付けるタイトル入力手段と、
前記タイトルと前記入力記事とを対応付けて前記過去記事記憶部に記憶する記事蓄積手段と、
を備える、
請求項１から請求項７までのいずれか１項に記載の記事特徴語抽出装置。
【請求項９】
コンピュータによって、入力記事に対応するタイトル用の特徴語を抽出する記事特徴語抽出方法であって、
カテゴリに分類された過去の記事とそのタイトルとを対応付けて記憶する過去記事記憶ステップと、
固有表現を記憶する固有表現記憶ステップと、
前記カテゴリが付された入力記事を受け付ける記事入力ステップと、
前記過去記事記憶ステップにより記憶された前記過去の記事から、前記記事入力ステップが受け付けた前記入力記事にカテゴリが一致し、前記入力記事に類似する類似記事を抽出する類似記事抽出ステップと、
前記入力記事と、前記類似記事の前記タイトルとから、前記固有表現記憶ステップにより記憶された前記固有表現を各々抽出する固有表現抽出ステップと、
前記固有表現抽出ステップにより抽出した前記固有表現を汎化して、前記入力記事及び前記類似記事の前記タイトルに汎化固有表現を適用する固有表現汎化ステップと、
前記固有表現汎化ステップによる前記汎化固有表現を適用後の前記入力記事及び前記類似記事の前記タイトルから、特徴語を抽出する特徴語抽出ステップと、
を含む記事特徴語抽出方法。
【請求項１０】
請求項９に記載の記事特徴語抽出方法のステップをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１９１８５１（Ｐ２０１０−１９１８５１Ａ）
【公開日】平成２２年９月２日（２０１０．９．２）
【国際特許分類】
【出願番号】特願２００９−３７６８４（Ｐ２００９−３７６８４）
【出願日】平成２１年２月２０日（２００９．２．２０）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
【公開日】平成２２年９月２日（２０１０．９．２）
【国際特許分類】
【出願日】平成２１年２月２０日（２００９．２．２０）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
[ Back to top ]