ニュース話題タイトル抽出装置及びニュース原稿インデックス付与装置
【課題】ニュース原稿のタイトルを分かりやすい自然言語文で提示する。
【解決手段】複数のニュース原稿を格納するファイル装置から、類似したニュース話題の集合に属するニュース原稿を取り出す取出手段と、取出手段によって取り出されたニュース原稿から特定パターンを抽出し、抽出した特定パターンに含まれる名詞句である特定パターン記述を１つのニュース話題から全て抽出し、抽出した特定パターン記述の特徴ベクトルの平均を取り、この平均ベクトルに最も類似した特徴ベクトルを持つ特定パターン記述を抽出する記述抽出手段と、記述抽出手段によって抽出された特定パターンが１つのニュース話題中において一定割合以上出現しているか否かを判断する判断手段と、判断手段によって特定パターンが一定割合以上出現していると判断された場合、その特定パターンに対応する特定パターン記述をニュース話題のタイトルとして抽出するタイトル抽出手段とを備える。
【解決手段】複数のニュース原稿を格納するファイル装置から、類似したニュース話題の集合に属するニュース原稿を取り出す取出手段と、取出手段によって取り出されたニュース原稿から特定パターンを抽出し、抽出した特定パターンに含まれる名詞句である特定パターン記述を１つのニュース話題から全て抽出し、抽出した特定パターン記述の特徴ベクトルの平均を取り、この平均ベクトルに最も類似した特徴ベクトルを持つ特定パターン記述を抽出する記述抽出手段と、記述抽出手段によって抽出された特定パターンが１つのニュース話題中において一定割合以上出現しているか否かを判断する判断手段と、判断手段によって特定パターンが一定割合以上出現していると判断された場合、その特定パターンに対応する特定パターン記述をニュース話題のタイトルとして抽出するタイトル抽出手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニュースのアナウンス原稿から的確なタイトルを抽出するニュース話題タイトル抽出装置及びその抽出したタイトルを利用してニュース原稿にインデックスを付与するニュース原稿インデックス付与装置に関する。
【０００２】
［発明の概要］
本発明は、ニュースのアナウンス原稿から的確なタイトルを抽出するニュース話題タイトル抽出装置及びその抽出したタイトルを利用してニュース原稿にインデックスを付与するニュース原稿インデックス付与装置に関する。ニュース話題タイトル抽出装置は、ニュース話題抽出装置（特願平１１−６５６５８号：未公開）から抽出されるニュース話題、またはこのニュース話題抽出装置によって抽出された１ヶ月毎のニュース話題（以下、「ニュース話題」を単に「話題」という場合がある。）の類似性を評価して、長期に渡り出現する話題を一つの話題として認識するニュース話題トラッキング装置からのニュース話題に対して自然言語解析を行うことにより、ニュースのアナウンス原稿のタイトルを分かりやすい自然言語文で提示する。ニュース原稿インデックス付与装置は、抽出されたタイトルを利用して、ニュース原稿に効果的にインデックスを自動付加することができる。
【背景技術】
【０００３】
図９は、従来のニュース原稿に付与されたタイトルの一例を示す。図９に示すように、例えば［ニュース原稿］“バット殴打事件で牛窓警察署の捜査本部では午後七時過ぎから少年の逮捕について記者会見をしています。”に対し、［タイトル］“母親を殴ったことを認める”が付与されている。このように、ニュース原稿自体にもタイトル部が存在するものが多い。
【０００４】
ここに、ニュースは作成時間に制限があるため、手作業により的確なタイトルを付けることは難しい。自動タイトル生成の従来手法では、ニュース話題を構成するニュース原稿の中で、代表する文中に出現する連続する単語（名詞句）を抽出することにより行われている。
【０００５】
また、ニュース原稿へのインデックス付与では、１つの自然言語文から重要部分を抽出することが行われている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来のニュース話題タイトル提示手法では、抽出対象が連続する単語に限定されているので、動詞や助詞の存在により必要な情報が分断されてしまう可能性がある。
【０００７】
また、従来のインデックス付与手法では、１文のみの情報から重要部分を抽出しているので、対象文に的確な表現が無ければ、インデックスに相応しい語句は抽出できない。
【０００８】
本発明は、このような事情に鑑みてなされたもので、必要な語句が抽出されないという問題を生じさせずに、ニュース原稿のタイトルを分かりやすい自然言語文で提示できるニュース話題タイトル抽出装置を提供することを目的としている。
【０００９】
また、本発明は、上記ニュース話題タイトル抽出装置が抽出したタイトルを利用して全てのニュース原稿にインデックスが付与できるニュース原稿インデックス付与装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明のニュース話題タイトル抽出装置は、複数のニュース原稿を電子化して格納するファイル装置から、類似したニュース話題の集合に属するニュース原稿を取り出す取出手段と、前記取出手段によって取り出されたニュース原稿から特定の表現パターンである特定パターンを抽出し、抽出した特定パターンに含まれる名詞句である特定パターン記述を１つのニュース話題から全て抽出し、抽出した特定パターン記述の特徴ベクトルの平均を取り、この平均ベクトルに最も類似した特徴ベクトルを持つ特定パターン記述を抽出する記述抽出手段と、前記記述抽出手段によって抽出された特定パターンが前記１つのニュース話題中において一定割合以上出現しているか否かを判断する判断手段と、前記判断手段によって特定パターンが一定割合以上出現していると判断された場合、その特定パターンに対応する特定パターン記述を前記ニュース話題のタイトルとして抽出するタイトル抽出手段とを備えたことを特徴としている。
【００１１】
この構成によれば、ニュース原稿特有の特定表現を抽出して、その特定表現を利用してタイトルを抽出するので、必要な語句が抽出されないという問題は生じない。また、特定表現をタイトルとして利用可能かを判断する信頼性を評価して、信頼性がしきい値よりも高ければ、特定表現をタイトルとして利用できるので、話題を的確に表現する自然言語文が提示できる。
【００１２】
また、前記記述抽出手段は、前記特徴ベクトルの“要素”を“特定パターン記述に含まれる単語”とし、前記特徴ベクトルの“要素の値”を“（特定パターン記述での単語の出現数）×log2(特定パターン記述数／単語が出現した特定パターン記述数) ”とすることを特徴としている。
【００１３】
また、前記記述抽出手段は、前記類似の度合いを“（共通する要素の値の和）÷｛（２つの話題ベクトルの要素の値の和）−（共通する要素の値の和）｝”とすることを特徴としている。
【００１４】
また、前記タイトル抽出手段は、前記判断手段によって特定パターンが一定割合以上出現していないと判断された場合、前記ニュース話題に含まれる単語の寄与度の合計が最も大きい名詞句を前記ニュース話題のタイトルとして抽出することを特徴としている。
【００１５】
また、本発明のニュース原稿インデックス付与装置は、前記ニュース話題タイトル抽出装置によって抽出されたタイトルを前記ファイル装置に格納されるニュース原稿のうち前記タイトルと同じ話題に属する全てのニュース原稿にインデックスとして付与するインデックス付与手段を備えたことを特徴としている。
【００１６】
この構成によれば、処理対象を１文ではなく、ニュース原稿から抽出された一定期間内のニュース話題集合を対象にして行うので、対象としたニュース文に的確な表現が無い場合でも、同じ話題に属するニュース文からインデックスの候補を抽出できる。
【発明の効果】
【００１７】
以上説明したように、本発明によれば、ニュースに含まれる話題を的確に自然言語で表現するタイトルを抽出することが可能となる。また、抽出されたタイトルを利用して、ニュース原稿に効果的にインデックスを自動付加することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係るニュース話題タイトル抽出装置及びニュース原稿インデックス付加装置の実施形態であるシステムの全体構成図である。
【図２】ニュース話題抽出装置の構成ブロック図である。
【図３】記事分類処理動作のフローチャートである。
【図４】ラベル付与・トピック抽出処理動作のフローチャートである。
【図５】ニュース話題タイトル抽出装置の処理手順を示すフローチャートである。
【図６】タイトル抽出の対象とした話題原稿（一部）とその特定パターン記述（話題タイトル）の一例を示す図である。
【図７】本発明に係るニュース話題タイトル抽出装置及びニュース原稿インデックス付加装置の実施形態であるシステムの全体構成図である。
【図８】ニュース話題トラッキング装置の処理手順を示すフローチャートである。
【図９】従来のニュース原稿に付けられたタイトルの一例を示す図である。
【発明を実施するための形態】
【００１９】
図１は、本発明に係るニュース話題タイトル抽出装置及びニュース原稿インデックス付加装置の実施形態であるシステムの全体構成図である。
【００２０】
図１において、ニュース番組で実際に利用される１日分のニュース原稿には、約２００記事が含まれている。ファイル装置１には、そのような時系列に変化するニュース原稿の例えば十年分が電子化されて格納されている。
【００２１】
ニュース話題抽出装置２は、本出願人の先の出願に係るもので（特願平１１−６５６５８号：未公開）、図２に示すように、形態素解析部２１と、構文解析部２２と、単語重要度演算部２３と、類似度比較部２４と、ニュース記事分類部２５と、代表記事抽出部２６と、重要名詞抽出部２７と、記憶・ラベル付与処理部８と、トピック抽出処理部２９とを備えており、ファイル装置１に格納されるニュース原稿にクラスタリング処理を施して、１ヶ月間に出現した類似したニュース話題の集合を抽出する。抽出した毎月のニュース話題は、ニュース話題タイトル抽出装置３に出力される。
【００２２】
ニュース話題タイトル抽出装置３は、ニュース話題抽出装置２により抽出されたニュース話題のタイトルを抽出する。
【００２３】
ニュース原稿インデックス付加装置４は、ニュース話題タイトル抽出装置３で抽出されたタイトルを、ファイル装置１に格納されるニュース原稿にインデックスとして付加する。
【００２４】
《ニュース話題抽出装置２の動作説明》
初めに、ニュース話題抽出装置２の動作を図３に示す記事分類処理の動作フローチャート、図４に示すラベル付与・トピック抽出処理の動作フローチャートを参照して説明する。
【００２５】
ファイル装置１から読み出された１つのニュース記事は、形態素解析部２１及び構文解析部２２において周知の形態素解析処理及び構文解析処理を受け、その記事から抽出された単語が単語重要度演算部２３に入力される。単語重要度演算部２３、類似度比較部２４及びニュース記事分類部２５では、図３に示す手順により、ニュース記事の分類処理が行われる。
【００２６】
単語重要度演算部２３では、１つのニュース記事に含まれる単語が入力されると（ステップＳＴ１）、χ２ 値を利用して記事に含まれる単語の例えば月単位の重要度を演算する（ステップＳＴ２）。具体的には、単語Ｗがある月に出現した頻度をｎ、期待値をｅとすると、それらを式（１）に代入して単語の重要度Weight(W)を演算する。
【００２７】
［数１］
Weight(w)＝（ｎ−ｅ）２／ｅ ・・・ｎ≧ｅ
＝０ ・・・ｎ＜ｅ ・・・（１）
次に、類似度比較部２４とニュース記事分類部２５では、似た項目に分類された記事の集まりであるクラスタ（ニュース話題）を生成するクラスタリングを単語の重要度、出現頻度を利用して行う。まず、以下のように定義した記事ベクトルとクラスタベクトルとを利用して記事とクラスタとの類似度を計算する（ステップＳＴ３）。
【００２８】
記事を特徴づける記事ベクトルは、記事に含まれる単語（例えば記事の第１文に含まれる単語）をベクトルの要素に、その単語の重要度を各ベクトル要素の値として定義する。また、クラスタを特徴づけるクラスタベクトルは、そのクラスタに属する記事に含まれる単語をベクトルの要素に、（各単語の重要度）と（クラスタ内での出現率）の積を各ベクトル要素の値として定義する。なお、出現率は、出現した記事の頻度をクラスタに含まれる全記事数で割った値である。そして、類似度は、式（２）によって求められる。
【００２９】
［数２］
類似度＝（共通する要素ベクトルの和×２）
／（記事、クラスタの要素ベクトルの値の和） ・・・（２）
このようにして、記事とクラスタとの類似度を評価し（ステップＳＴ４）、クラスタとの類似度が、ある閾値（例えば０．５）以上であれば、最も似ていると評価されたクラスタに統合する（ステップＳＴ５）。また、クラスタとの類似度が、閾値以下であれば、全てのクラスタについて同様の評価を行う（ステップＳＴ４→ステップＳＴ６→ステップＳＴ３→ステップＳＴ４）。その結果、全てのクラスタとの類似度が閾値以下であれば、その記事で新たなクラスタを構築する（ステップＳＴ７）。以上の処理を繰り返すことにより（ステップＳＴ８）、類似度の高いクラスタが得られる。つまり、ニュース原稿に含まれる記事が高精度に分類される。
【００３０】
このようにして得られた各クラスタは、代表記事抽出部２６、記憶・ラベル付与処理部２８に送られるとともに、ニュース話題としてニュース話題タイトル抽出装置３に出力される。なお、比較の順番によっても結果は異なるが、以上説明した処理では、比較は日付け順に行っている。
【００３１】
次に、代表記事抽出部２６、重要名詞抽出部２７、記憶・ラベル付与処理部２８及びトピック抽出処理部２９でのラベル付与・トピック抽出処理を図４のフローチャートを参照して説明する。
【００３２】
代表記事抽出部２６は、１つのクラスタが入力されると（ステップＳＴ１０）、そのクラスタに含まれる記事中の単語の寄与度を計算し（ステップＳＴ１１）、求めた寄与度に基づき代表記事を抽出する（ステップＳＴ１２）。
【００３３】
クラスタにおける単語の寄与度は、（単語の重要度）と（クラスタ内での単語の出現率）との積として定義してある。なお、クラスタ内での単語の出現率は、（クラスタ内で単語が出現した記事数）を（クラスタ全体記事数）で割った値である。そして、代表記事は、そのクラスタに含まれる単語（例えば第１文に含まれる単語）の寄与度の合計が最も大きい記事である。
【００３４】
次に、重要名詞抽出部２７は、得られた代表記事に含まれる全ての名詞句を対象に、そこに含まれる単語の寄与度の合計を計算し、寄与度が最も大きい名詞句を重要名詞句として抽出し、記憶・ラベル付与処理部２８に出力する（ステップＳＴ１３）。記憶・ラベル付与処理部２８は、ニュース記事分類部６から入力したクラスタに重要名詞抽出部２７から入力した名詞句をラベルとして付与し、記憶する（ステップＳＴ１４）。
【００３５】
全てのクラスタについて同様な処理が行われ、記憶・ラベル付与処理部２８には、ラベルが付与されたクラスタが逐一記憶される（ステップＳＴ１５）。そして、トピック抽出処理部２９は、記憶・ラベル付与処理部２８にデータベース化された、ラベル付きクラスタのそれぞれについて、代表記事に含まれる単語の寄与度の合計が大きいクラスタを順番に検索し、それに付けられているラベルを、順番にトピックの候補として抽出、提示する。
【００３６】
《ニュース話題タイトル抽出装置３とニュース原稿インデックス付加装置４の動作説明》
図５のフローチャートを参照してニュース話題タイトル抽出装置３の動作を説明する。
【００３７】
図５において、ニュース話題抽出装置２にて抽出されたニュースの話題集合に属するニュース原稿をファイル装置１から取り出し、その取り出したニュース原稿から、特定の表現パターン（以下、「特定パターン」という。）を抽出する（ステップＳＴ２１）。ここでは、以下の特定パターンを利用する。
【００３８】
《特定パターン（正規表現）》
１．∧．＊、（．＊事件）［でにはが］．＊
２．∧（．＊事件）［でにはが］．＊
３．∧．＊、（．＊事故）［でにはが］．＊
４．∧（．＊事故）［でにはが］．＊
５．∧．＊、（．＊問題）［でにはが］．＊
６．∧（．＊問題）［でにはが］．＊
７．∧．＊、（．＊）について．＊
８．∧（．＊）について．＊
９．∧．＊、（．＊）に関連．＊
１０．∧（．＊）に関連．＊
１１．∧．＊、（．＊）に関して．＊
１２．∧（．＊）に関して．＊
次いで、特定パターンの丸括弧内の記述（以下、「特定パターン記述」という。）を１つの話題から全て抽出し、それを特徴ベクトルで表現する（ステップＳＴ２２）。特徴ベクトルは、“要素”が特定パターン記述に含まれる単語”であり、“要素の値”が次の式（３）で示されるとした。
【００３９】
［数３］
要素の値＝（特定パターン記述での単語Wiの出現数）
×log2(特定パターン記述数／単語Wiが出現した特定パターン記述数）
・・・（３）
次に、この１つの話題に出現した全ての特定パターン記述の特徴ベクトルの平均を取り（ステップＳＴ２３、ＳＴ２４）、平均ベクトルに最も類似した特徴ベクトルを持つ特定パターン記述を抽出する（ステップＳＴ２５）。
【００４０】
類似度は、例えば次の式（４）で示されるとした。
【００４１】
［数４］
類似度＝（共通する要素の値の和）
÷｛（２つの話題ベクトルの要素の値の和）−（共通する要素の値の和）｝
・・・（４）
さらに、この抽出された特定パターン記述の信頼性を評価する（ステップＳＴ２６）。信頼性は、１つの話題を構成する原稿数と、話題中で特定パターンが抽出できた原稿数の比率で評価することにより行われる。
【００４２】
特定パターンが一定割合以上（例えば３０％以上）出現していた場合、信頼性が高いと判断し、平均ベクトルに最も類似した特徴ベクトルを持つ特定パターン記述を、そのニュース話題のタイトルとする（ステップＳＴ２７）。これは、重心に近い名詞句である。
【００４３】
一方、特定パターンが一定割合以下の場合は、ニュース話題抽出装置２では、ニュース文中に出現する連続する単語（名詞句）を抽出しているので、そこで得られたラベルをタイトルとする（ステップＳＴ２８）。
【００４４】
このように、ニュース話題タイトル抽出処理では、ニュース原稿特有の特定表現を抽出し、その特定表現を利用してタイトルを抽出するので、必要な語句が抽出されないという問題は生じない。
【００４５】
また、特定表現をタイトルとして利用可能かどうかを判断する信頼性を評価して、信頼性がしきい値よりも高ければ、特定表現をタイトルとして利用する一方、信頼性がしきい値よりも高くなければ、ニュース話題抽出装置２で得られたラベルをタイトルとするので、例えば図６に示すように話題を的確に表現する自然言語文が提示できる。
【００４６】
図６は、タイトル抽出の対象とした話題原稿（一部）とその特定パターン記述（話題タイトル）の一例を示す。図６では、図９で示したニュース原稿が属する話題から抽出した話題タイトルが示されている。
【００４７】
図６において、例えば［ニュース原稿］“バット殴打事件で牛窓警察署の捜査本部では午後七時過ぎから少年の逮捕について記者会見をしています。”に対し、［タイトル］“岡山県の十七歳の高校三年生によるバット殴打事件”が提示されている。図９では、“母親を殴ったことを認める”という［タイトル］が提示されていたのと比較して分かるように、本実施の形態では、話題を的確に表現したタイトルが提示できている。
【００４８】
次に、ニュース原稿インデックス付加装置４では、ニュース話題タイトル抽出装置３により抽出された話題タイトルを、ファイル装置１に格納されるニュース原稿にインデックスとして付与する。
【００４９】
このように、ニュース原稿インデックス付与処理では、処理対象は１文ではなく、ニュース話題抽出装置２により関連付けられたニュースの話題集合を対象にして行うので、全ての原稿は、必ず１つの話題に含まれる。したがって、対象としたニュース文に的確な表現が無い場合でも、同じ話題に属するニュース文からインデックスの候補を抽出でき、全てのニュース原稿にインデックスが付与できる。
【００５０】
図７は本発明の他の実施形態を示すブロック図である。この実施の形態では、ニュース話題抽出装置２により関連付けられたニュースの話題集合から、長期にわたり出現する話題を１つの話題として認識するニュース話題トラッキング装置５を図１におけるニュース話題抽出装置２とニュース話題タイトル抽出装置３との間に設けて、図１と同様に適切なタイトル抽出とインデックス付与を行えるようにしたものである。
【００５１】
この場合、ニューストラッキング装置５は、図８のフローチャートに示すように、ニュース話題抽出装置２にてクラスタリング処理により抽出された各月のニュース話題の中で、隣接する全ての月の話題間の類似性を評価し、類似度が一定以上（例えば、０．２以上）のとき、同一の話題と特定し関連づける（ステップＳＴ３２）。
【００５２】
ここで、前の月の話題との類似度比較処理（ステップＳＴ３２〜ＳＴ３４）で用いる類似度は、例えば次の式（５）で示されるとした。この定義式（５）は、ニュース話題抽出装置２にて抽出された話題はベクトル表現されているので、その話題ベクトルを利用したものである。
【００５３】
［数５］
類似度＝（共通する要素の値の和）
÷｛（２つの話題ベクトルの要素の値の和）−（共通する要素の値の和）｝
・・・（５）
この前の月の話題との類似度比較処理（ステップＳＴ３２〜ＳＴ３４）を繰り返し行って、全ての話題から関連する前後の月の話題へのリンクが張られる。
【００５４】
そして、前の月の全ての話題についての類似度比較処理が終了すると（ステップＳＴ３３：Ｙｅｓ）、そこで関連づけられた全ての話題を話題集合とする（ステップＳＴ３５）。
【００５５】
このように、トラッキング処理では、クラスタリング処理によってまとめられた類似した原稿のまとまりを対象とするので、１つのニュース原稿よりも情報量を多くすることができ、正確なトラッキングを行うことができる。
【００５６】
従って、本実施形態では、ニュース話題タイトル抽出装置３は、ニュース話題トラッキング装置５から出力されるニュース話題を取り込んで話題タイトルを生成するようにしたので、ニュースに含まれる話題を、より一層的確に自然言語で表現するタイトルを抽出することが可能となる。また、抽出されたタイトルを利用して、ニュース原稿に効果的にインデックスを自動付加することが可能となる。
【符号の説明】
【００５７】
１ ファイル装置
２ ニュース話題抽出装置
３ ニュース話題タイトル抽出装置
４ ニュース原稿インデックス付与装置
５ ニュース話題トラッキング装置
【技術分野】
【０００１】
本発明は、ニュースのアナウンス原稿から的確なタイトルを抽出するニュース話題タイトル抽出装置及びその抽出したタイトルを利用してニュース原稿にインデックスを付与するニュース原稿インデックス付与装置に関する。
【０００２】
［発明の概要］
本発明は、ニュースのアナウンス原稿から的確なタイトルを抽出するニュース話題タイトル抽出装置及びその抽出したタイトルを利用してニュース原稿にインデックスを付与するニュース原稿インデックス付与装置に関する。ニュース話題タイトル抽出装置は、ニュース話題抽出装置（特願平１１−６５６５８号：未公開）から抽出されるニュース話題、またはこのニュース話題抽出装置によって抽出された１ヶ月毎のニュース話題（以下、「ニュース話題」を単に「話題」という場合がある。）の類似性を評価して、長期に渡り出現する話題を一つの話題として認識するニュース話題トラッキング装置からのニュース話題に対して自然言語解析を行うことにより、ニュースのアナウンス原稿のタイトルを分かりやすい自然言語文で提示する。ニュース原稿インデックス付与装置は、抽出されたタイトルを利用して、ニュース原稿に効果的にインデックスを自動付加することができる。
【背景技術】
【０００３】
図９は、従来のニュース原稿に付与されたタイトルの一例を示す。図９に示すように、例えば［ニュース原稿］“バット殴打事件で牛窓警察署の捜査本部では午後七時過ぎから少年の逮捕について記者会見をしています。”に対し、［タイトル］“母親を殴ったことを認める”が付与されている。このように、ニュース原稿自体にもタイトル部が存在するものが多い。
【０００４】
ここに、ニュースは作成時間に制限があるため、手作業により的確なタイトルを付けることは難しい。自動タイトル生成の従来手法では、ニュース話題を構成するニュース原稿の中で、代表する文中に出現する連続する単語（名詞句）を抽出することにより行われている。
【０００５】
また、ニュース原稿へのインデックス付与では、１つの自然言語文から重要部分を抽出することが行われている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来のニュース話題タイトル提示手法では、抽出対象が連続する単語に限定されているので、動詞や助詞の存在により必要な情報が分断されてしまう可能性がある。
【０００７】
また、従来のインデックス付与手法では、１文のみの情報から重要部分を抽出しているので、対象文に的確な表現が無ければ、インデックスに相応しい語句は抽出できない。
【０００８】
本発明は、このような事情に鑑みてなされたもので、必要な語句が抽出されないという問題を生じさせずに、ニュース原稿のタイトルを分かりやすい自然言語文で提示できるニュース話題タイトル抽出装置を提供することを目的としている。
【０００９】
また、本発明は、上記ニュース話題タイトル抽出装置が抽出したタイトルを利用して全てのニュース原稿にインデックスが付与できるニュース原稿インデックス付与装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明のニュース話題タイトル抽出装置は、複数のニュース原稿を電子化して格納するファイル装置から、類似したニュース話題の集合に属するニュース原稿を取り出す取出手段と、前記取出手段によって取り出されたニュース原稿から特定の表現パターンである特定パターンを抽出し、抽出した特定パターンに含まれる名詞句である特定パターン記述を１つのニュース話題から全て抽出し、抽出した特定パターン記述の特徴ベクトルの平均を取り、この平均ベクトルに最も類似した特徴ベクトルを持つ特定パターン記述を抽出する記述抽出手段と、前記記述抽出手段によって抽出された特定パターンが前記１つのニュース話題中において一定割合以上出現しているか否かを判断する判断手段と、前記判断手段によって特定パターンが一定割合以上出現していると判断された場合、その特定パターンに対応する特定パターン記述を前記ニュース話題のタイトルとして抽出するタイトル抽出手段とを備えたことを特徴としている。
【００１１】
この構成によれば、ニュース原稿特有の特定表現を抽出して、その特定表現を利用してタイトルを抽出するので、必要な語句が抽出されないという問題は生じない。また、特定表現をタイトルとして利用可能かを判断する信頼性を評価して、信頼性がしきい値よりも高ければ、特定表現をタイトルとして利用できるので、話題を的確に表現する自然言語文が提示できる。
【００１２】
また、前記記述抽出手段は、前記特徴ベクトルの“要素”を“特定パターン記述に含まれる単語”とし、前記特徴ベクトルの“要素の値”を“（特定パターン記述での単語の出現数）×log2(特定パターン記述数／単語が出現した特定パターン記述数) ”とすることを特徴としている。
【００１３】
また、前記記述抽出手段は、前記類似の度合いを“（共通する要素の値の和）÷｛（２つの話題ベクトルの要素の値の和）−（共通する要素の値の和）｝”とすることを特徴としている。
【００１４】
また、前記タイトル抽出手段は、前記判断手段によって特定パターンが一定割合以上出現していないと判断された場合、前記ニュース話題に含まれる単語の寄与度の合計が最も大きい名詞句を前記ニュース話題のタイトルとして抽出することを特徴としている。
【００１５】
また、本発明のニュース原稿インデックス付与装置は、前記ニュース話題タイトル抽出装置によって抽出されたタイトルを前記ファイル装置に格納されるニュース原稿のうち前記タイトルと同じ話題に属する全てのニュース原稿にインデックスとして付与するインデックス付与手段を備えたことを特徴としている。
【００１６】
この構成によれば、処理対象を１文ではなく、ニュース原稿から抽出された一定期間内のニュース話題集合を対象にして行うので、対象としたニュース文に的確な表現が無い場合でも、同じ話題に属するニュース文からインデックスの候補を抽出できる。
【発明の効果】
【００１７】
以上説明したように、本発明によれば、ニュースに含まれる話題を的確に自然言語で表現するタイトルを抽出することが可能となる。また、抽出されたタイトルを利用して、ニュース原稿に効果的にインデックスを自動付加することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係るニュース話題タイトル抽出装置及びニュース原稿インデックス付加装置の実施形態であるシステムの全体構成図である。
【図２】ニュース話題抽出装置の構成ブロック図である。
【図３】記事分類処理動作のフローチャートである。
【図４】ラベル付与・トピック抽出処理動作のフローチャートである。
【図５】ニュース話題タイトル抽出装置の処理手順を示すフローチャートである。
【図６】タイトル抽出の対象とした話題原稿（一部）とその特定パターン記述（話題タイトル）の一例を示す図である。
【図７】本発明に係るニュース話題タイトル抽出装置及びニュース原稿インデックス付加装置の実施形態であるシステムの全体構成図である。
【図８】ニュース話題トラッキング装置の処理手順を示すフローチャートである。
【図９】従来のニュース原稿に付けられたタイトルの一例を示す図である。
【発明を実施するための形態】
【００１９】
図１は、本発明に係るニュース話題タイトル抽出装置及びニュース原稿インデックス付加装置の実施形態であるシステムの全体構成図である。
【００２０】
図１において、ニュース番組で実際に利用される１日分のニュース原稿には、約２００記事が含まれている。ファイル装置１には、そのような時系列に変化するニュース原稿の例えば十年分が電子化されて格納されている。
【００２１】
ニュース話題抽出装置２は、本出願人の先の出願に係るもので（特願平１１−６５６５８号：未公開）、図２に示すように、形態素解析部２１と、構文解析部２２と、単語重要度演算部２３と、類似度比較部２４と、ニュース記事分類部２５と、代表記事抽出部２６と、重要名詞抽出部２７と、記憶・ラベル付与処理部８と、トピック抽出処理部２９とを備えており、ファイル装置１に格納されるニュース原稿にクラスタリング処理を施して、１ヶ月間に出現した類似したニュース話題の集合を抽出する。抽出した毎月のニュース話題は、ニュース話題タイトル抽出装置３に出力される。
【００２２】
ニュース話題タイトル抽出装置３は、ニュース話題抽出装置２により抽出されたニュース話題のタイトルを抽出する。
【００２３】
ニュース原稿インデックス付加装置４は、ニュース話題タイトル抽出装置３で抽出されたタイトルを、ファイル装置１に格納されるニュース原稿にインデックスとして付加する。
【００２４】
《ニュース話題抽出装置２の動作説明》
初めに、ニュース話題抽出装置２の動作を図３に示す記事分類処理の動作フローチャート、図４に示すラベル付与・トピック抽出処理の動作フローチャートを参照して説明する。
【００２５】
ファイル装置１から読み出された１つのニュース記事は、形態素解析部２１及び構文解析部２２において周知の形態素解析処理及び構文解析処理を受け、その記事から抽出された単語が単語重要度演算部２３に入力される。単語重要度演算部２３、類似度比較部２４及びニュース記事分類部２５では、図３に示す手順により、ニュース記事の分類処理が行われる。
【００２６】
単語重要度演算部２３では、１つのニュース記事に含まれる単語が入力されると（ステップＳＴ１）、χ２ 値を利用して記事に含まれる単語の例えば月単位の重要度を演算する（ステップＳＴ２）。具体的には、単語Ｗがある月に出現した頻度をｎ、期待値をｅとすると、それらを式（１）に代入して単語の重要度Weight(W)を演算する。
【００２７】
［数１］
Weight(w)＝（ｎ−ｅ）２／ｅ ・・・ｎ≧ｅ
＝０ ・・・ｎ＜ｅ ・・・（１）
次に、類似度比較部２４とニュース記事分類部２５では、似た項目に分類された記事の集まりであるクラスタ（ニュース話題）を生成するクラスタリングを単語の重要度、出現頻度を利用して行う。まず、以下のように定義した記事ベクトルとクラスタベクトルとを利用して記事とクラスタとの類似度を計算する（ステップＳＴ３）。
【００２８】
記事を特徴づける記事ベクトルは、記事に含まれる単語（例えば記事の第１文に含まれる単語）をベクトルの要素に、その単語の重要度を各ベクトル要素の値として定義する。また、クラスタを特徴づけるクラスタベクトルは、そのクラスタに属する記事に含まれる単語をベクトルの要素に、（各単語の重要度）と（クラスタ内での出現率）の積を各ベクトル要素の値として定義する。なお、出現率は、出現した記事の頻度をクラスタに含まれる全記事数で割った値である。そして、類似度は、式（２）によって求められる。
【００２９】
［数２］
類似度＝（共通する要素ベクトルの和×２）
／（記事、クラスタの要素ベクトルの値の和） ・・・（２）
このようにして、記事とクラスタとの類似度を評価し（ステップＳＴ４）、クラスタとの類似度が、ある閾値（例えば０．５）以上であれば、最も似ていると評価されたクラスタに統合する（ステップＳＴ５）。また、クラスタとの類似度が、閾値以下であれば、全てのクラスタについて同様の評価を行う（ステップＳＴ４→ステップＳＴ６→ステップＳＴ３→ステップＳＴ４）。その結果、全てのクラスタとの類似度が閾値以下であれば、その記事で新たなクラスタを構築する（ステップＳＴ７）。以上の処理を繰り返すことにより（ステップＳＴ８）、類似度の高いクラスタが得られる。つまり、ニュース原稿に含まれる記事が高精度に分類される。
【００３０】
このようにして得られた各クラスタは、代表記事抽出部２６、記憶・ラベル付与処理部２８に送られるとともに、ニュース話題としてニュース話題タイトル抽出装置３に出力される。なお、比較の順番によっても結果は異なるが、以上説明した処理では、比較は日付け順に行っている。
【００３１】
次に、代表記事抽出部２６、重要名詞抽出部２７、記憶・ラベル付与処理部２８及びトピック抽出処理部２９でのラベル付与・トピック抽出処理を図４のフローチャートを参照して説明する。
【００３２】
代表記事抽出部２６は、１つのクラスタが入力されると（ステップＳＴ１０）、そのクラスタに含まれる記事中の単語の寄与度を計算し（ステップＳＴ１１）、求めた寄与度に基づき代表記事を抽出する（ステップＳＴ１２）。
【００３３】
クラスタにおける単語の寄与度は、（単語の重要度）と（クラスタ内での単語の出現率）との積として定義してある。なお、クラスタ内での単語の出現率は、（クラスタ内で単語が出現した記事数）を（クラスタ全体記事数）で割った値である。そして、代表記事は、そのクラスタに含まれる単語（例えば第１文に含まれる単語）の寄与度の合計が最も大きい記事である。
【００３４】
次に、重要名詞抽出部２７は、得られた代表記事に含まれる全ての名詞句を対象に、そこに含まれる単語の寄与度の合計を計算し、寄与度が最も大きい名詞句を重要名詞句として抽出し、記憶・ラベル付与処理部２８に出力する（ステップＳＴ１３）。記憶・ラベル付与処理部２８は、ニュース記事分類部６から入力したクラスタに重要名詞抽出部２７から入力した名詞句をラベルとして付与し、記憶する（ステップＳＴ１４）。
【００３５】
全てのクラスタについて同様な処理が行われ、記憶・ラベル付与処理部２８には、ラベルが付与されたクラスタが逐一記憶される（ステップＳＴ１５）。そして、トピック抽出処理部２９は、記憶・ラベル付与処理部２８にデータベース化された、ラベル付きクラスタのそれぞれについて、代表記事に含まれる単語の寄与度の合計が大きいクラスタを順番に検索し、それに付けられているラベルを、順番にトピックの候補として抽出、提示する。
【００３６】
《ニュース話題タイトル抽出装置３とニュース原稿インデックス付加装置４の動作説明》
図５のフローチャートを参照してニュース話題タイトル抽出装置３の動作を説明する。
【００３７】
図５において、ニュース話題抽出装置２にて抽出されたニュースの話題集合に属するニュース原稿をファイル装置１から取り出し、その取り出したニュース原稿から、特定の表現パターン（以下、「特定パターン」という。）を抽出する（ステップＳＴ２１）。ここでは、以下の特定パターンを利用する。
【００３８】
《特定パターン（正規表現）》
１．∧．＊、（．＊事件）［でにはが］．＊
２．∧（．＊事件）［でにはが］．＊
３．∧．＊、（．＊事故）［でにはが］．＊
４．∧（．＊事故）［でにはが］．＊
５．∧．＊、（．＊問題）［でにはが］．＊
６．∧（．＊問題）［でにはが］．＊
７．∧．＊、（．＊）について．＊
８．∧（．＊）について．＊
９．∧．＊、（．＊）に関連．＊
１０．∧（．＊）に関連．＊
１１．∧．＊、（．＊）に関して．＊
１２．∧（．＊）に関して．＊
次いで、特定パターンの丸括弧内の記述（以下、「特定パターン記述」という。）を１つの話題から全て抽出し、それを特徴ベクトルで表現する（ステップＳＴ２２）。特徴ベクトルは、“要素”が特定パターン記述に含まれる単語”であり、“要素の値”が次の式（３）で示されるとした。
【００３９】
［数３］
要素の値＝（特定パターン記述での単語Wiの出現数）
×log2(特定パターン記述数／単語Wiが出現した特定パターン記述数）
・・・（３）
次に、この１つの話題に出現した全ての特定パターン記述の特徴ベクトルの平均を取り（ステップＳＴ２３、ＳＴ２４）、平均ベクトルに最も類似した特徴ベクトルを持つ特定パターン記述を抽出する（ステップＳＴ２５）。
【００４０】
類似度は、例えば次の式（４）で示されるとした。
【００４１】
［数４］
類似度＝（共通する要素の値の和）
÷｛（２つの話題ベクトルの要素の値の和）−（共通する要素の値の和）｝
・・・（４）
さらに、この抽出された特定パターン記述の信頼性を評価する（ステップＳＴ２６）。信頼性は、１つの話題を構成する原稿数と、話題中で特定パターンが抽出できた原稿数の比率で評価することにより行われる。
【００４２】
特定パターンが一定割合以上（例えば３０％以上）出現していた場合、信頼性が高いと判断し、平均ベクトルに最も類似した特徴ベクトルを持つ特定パターン記述を、そのニュース話題のタイトルとする（ステップＳＴ２７）。これは、重心に近い名詞句である。
【００４３】
一方、特定パターンが一定割合以下の場合は、ニュース話題抽出装置２では、ニュース文中に出現する連続する単語（名詞句）を抽出しているので、そこで得られたラベルをタイトルとする（ステップＳＴ２８）。
【００４４】
このように、ニュース話題タイトル抽出処理では、ニュース原稿特有の特定表現を抽出し、その特定表現を利用してタイトルを抽出するので、必要な語句が抽出されないという問題は生じない。
【００４５】
また、特定表現をタイトルとして利用可能かどうかを判断する信頼性を評価して、信頼性がしきい値よりも高ければ、特定表現をタイトルとして利用する一方、信頼性がしきい値よりも高くなければ、ニュース話題抽出装置２で得られたラベルをタイトルとするので、例えば図６に示すように話題を的確に表現する自然言語文が提示できる。
【００４６】
図６は、タイトル抽出の対象とした話題原稿（一部）とその特定パターン記述（話題タイトル）の一例を示す。図６では、図９で示したニュース原稿が属する話題から抽出した話題タイトルが示されている。
【００４７】
図６において、例えば［ニュース原稿］“バット殴打事件で牛窓警察署の捜査本部では午後七時過ぎから少年の逮捕について記者会見をしています。”に対し、［タイトル］“岡山県の十七歳の高校三年生によるバット殴打事件”が提示されている。図９では、“母親を殴ったことを認める”という［タイトル］が提示されていたのと比較して分かるように、本実施の形態では、話題を的確に表現したタイトルが提示できている。
【００４８】
次に、ニュース原稿インデックス付加装置４では、ニュース話題タイトル抽出装置３により抽出された話題タイトルを、ファイル装置１に格納されるニュース原稿にインデックスとして付与する。
【００４９】
このように、ニュース原稿インデックス付与処理では、処理対象は１文ではなく、ニュース話題抽出装置２により関連付けられたニュースの話題集合を対象にして行うので、全ての原稿は、必ず１つの話題に含まれる。したがって、対象としたニュース文に的確な表現が無い場合でも、同じ話題に属するニュース文からインデックスの候補を抽出でき、全てのニュース原稿にインデックスが付与できる。
【００５０】
図７は本発明の他の実施形態を示すブロック図である。この実施の形態では、ニュース話題抽出装置２により関連付けられたニュースの話題集合から、長期にわたり出現する話題を１つの話題として認識するニュース話題トラッキング装置５を図１におけるニュース話題抽出装置２とニュース話題タイトル抽出装置３との間に設けて、図１と同様に適切なタイトル抽出とインデックス付与を行えるようにしたものである。
【００５１】
この場合、ニューストラッキング装置５は、図８のフローチャートに示すように、ニュース話題抽出装置２にてクラスタリング処理により抽出された各月のニュース話題の中で、隣接する全ての月の話題間の類似性を評価し、類似度が一定以上（例えば、０．２以上）のとき、同一の話題と特定し関連づける（ステップＳＴ３２）。
【００５２】
ここで、前の月の話題との類似度比較処理（ステップＳＴ３２〜ＳＴ３４）で用いる類似度は、例えば次の式（５）で示されるとした。この定義式（５）は、ニュース話題抽出装置２にて抽出された話題はベクトル表現されているので、その話題ベクトルを利用したものである。
【００５３】
［数５］
類似度＝（共通する要素の値の和）
÷｛（２つの話題ベクトルの要素の値の和）−（共通する要素の値の和）｝
・・・（５）
この前の月の話題との類似度比較処理（ステップＳＴ３２〜ＳＴ３４）を繰り返し行って、全ての話題から関連する前後の月の話題へのリンクが張られる。
【００５４】
そして、前の月の全ての話題についての類似度比較処理が終了すると（ステップＳＴ３３：Ｙｅｓ）、そこで関連づけられた全ての話題を話題集合とする（ステップＳＴ３５）。
【００５５】
このように、トラッキング処理では、クラスタリング処理によってまとめられた類似した原稿のまとまりを対象とするので、１つのニュース原稿よりも情報量を多くすることができ、正確なトラッキングを行うことができる。
【００５６】
従って、本実施形態では、ニュース話題タイトル抽出装置３は、ニュース話題トラッキング装置５から出力されるニュース話題を取り込んで話題タイトルを生成するようにしたので、ニュースに含まれる話題を、より一層的確に自然言語で表現するタイトルを抽出することが可能となる。また、抽出されたタイトルを利用して、ニュース原稿に効果的にインデックスを自動付加することが可能となる。
【符号の説明】
【００５７】
１ ファイル装置
２ ニュース話題抽出装置
３ ニュース話題タイトル抽出装置
４ ニュース原稿インデックス付与装置
５ ニュース話題トラッキング装置
【特許請求の範囲】
【請求項１】
複数のニュース原稿を電子化して格納するファイル装置から、類似したニュース話題の集合に属するニュース原稿を取り出す取出手段と、
前記取出手段によって取り出されたニュース原稿から特定の表現パターンである特定パターンを抽出し、抽出した特定パターンに含まれる名詞句である特定パターン記述を１つのニュース話題から全て抽出し、抽出した特定パターン記述の特徴ベクトルの平均を取り、この平均ベクトルに最も類似した特徴ベクトルを持つ特定パターン記述を抽出する記述抽出手段と、
前記記述抽出手段によって抽出された特定パターンが前記１つのニュース話題中において一定割合以上出現しているか否かを判断する判断手段と、
前記判断手段によって特定パターンが一定割合以上出現していると判断された場合、その特定パターンに対応する特定パターン記述を前記ニュース話題のタイトルとして抽出するタイトル抽出手段と、
を備えたことを特徴とするニュース話題タイトル抽出装置。
【請求項２】
請求項１に記載のニュース話題タイトル抽出装置において、
前記記述抽出手段は、前記特徴ベクトルの“要素”を“特定パターン記述に含まれる単語”とし、前記特徴ベクトルの“要素の値”を“（特定パターン記述での単語の出現数）×log2(特定パターン記述数／単語が出現した特定パターン記述数) ”とすることを特徴とするニュース話題タイトル抽出装置。
【請求項３】
請求項１または２に記載のニュース話題タイトル抽出装置において、
前記記述抽出手段は、前記類似の度合いを“（共通する要素の値の和）÷｛（２つの話題ベクトルの要素の値の和）−（共通する要素の値の和）｝”とすることを特徴とするニュース話題タイトル抽出装置。
【請求項４】
請求項１から３のいずれかに記載のニュース話題タイトル抽出装置において、
前記タイトル抽出手段は、前記判断手段によって特定パターンが一定割合以上出現していないと判断された場合、前記ニュース話題に含まれる単語の寄与度の合計が最も大きい名詞句を前記ニュース話題のタイトルとして抽出することを特徴とするニュース話題タイトル抽出装置。
【請求項５】
請求項１から４のいずれかに記載のニュース話題タイトル抽出装置によって抽出されたタイトルを前記ファイル装置に格納されるニュース原稿のうち前記タイトルと同じ話題に属する全てのニュース原稿にインデックスとして付与するインデックス付与手段を備えたことを特徴とするニュース原稿インデックス付与装置。
【請求項１】
複数のニュース原稿を電子化して格納するファイル装置から、類似したニュース話題の集合に属するニュース原稿を取り出す取出手段と、
前記取出手段によって取り出されたニュース原稿から特定の表現パターンである特定パターンを抽出し、抽出した特定パターンに含まれる名詞句である特定パターン記述を１つのニュース話題から全て抽出し、抽出した特定パターン記述の特徴ベクトルの平均を取り、この平均ベクトルに最も類似した特徴ベクトルを持つ特定パターン記述を抽出する記述抽出手段と、
前記記述抽出手段によって抽出された特定パターンが前記１つのニュース話題中において一定割合以上出現しているか否かを判断する判断手段と、
前記判断手段によって特定パターンが一定割合以上出現していると判断された場合、その特定パターンに対応する特定パターン記述を前記ニュース話題のタイトルとして抽出するタイトル抽出手段と、
を備えたことを特徴とするニュース話題タイトル抽出装置。
【請求項２】
請求項１に記載のニュース話題タイトル抽出装置において、
前記記述抽出手段は、前記特徴ベクトルの“要素”を“特定パターン記述に含まれる単語”とし、前記特徴ベクトルの“要素の値”を“（特定パターン記述での単語の出現数）×log2(特定パターン記述数／単語が出現した特定パターン記述数) ”とすることを特徴とするニュース話題タイトル抽出装置。
【請求項３】
請求項１または２に記載のニュース話題タイトル抽出装置において、
前記記述抽出手段は、前記類似の度合いを“（共通する要素の値の和）÷｛（２つの話題ベクトルの要素の値の和）−（共通する要素の値の和）｝”とすることを特徴とするニュース話題タイトル抽出装置。
【請求項４】
請求項１から３のいずれかに記載のニュース話題タイトル抽出装置において、
前記タイトル抽出手段は、前記判断手段によって特定パターンが一定割合以上出現していないと判断された場合、前記ニュース話題に含まれる単語の寄与度の合計が最も大きい名詞句を前記ニュース話題のタイトルとして抽出することを特徴とするニュース話題タイトル抽出装置。
【請求項５】
請求項１から４のいずれかに記載のニュース話題タイトル抽出装置によって抽出されたタイトルを前記ファイル装置に格納されるニュース原稿のうち前記タイトルと同じ話題に属する全てのニュース原稿にインデックスとして付与するインデックス付与手段を備えたことを特徴とするニュース原稿インデックス付与装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−２７１９４７（Ｐ２００９−２７１９４７Ａ）
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願番号】特願２００９−１９０９２６（Ｐ２００９−１９０９２６）
【出願日】平成２１年８月２０日（２００９．８．２０）
【分割の表示】特願２０００−３０２５３８（Ｐ２０００−３０２５３８）の分割
【原出願日】平成１２年１０月２日（２０００．１０．２）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願日】平成２１年８月２０日（２００９．８．２０）
【分割の表示】特願２０００−３０２５３８（Ｐ２０００−３０２５３８）の分割
【原出願日】平成１２年１０月２日（２０００．１０．２）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]