文書解析システム、および文書解析方法、並びにコンピュータ・プログラム
【課題】専門用語からの精度の高い用語（形態素）抽出を実現する。
【解決手段】例えば医療分野などの専門分野における用語、例えば形態素としての用語抽出を行なう構成において、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行し、文書データベースの格納文書を検索し、抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成して、生成した用語テキストを解析対象として、第一用語抽出手段の抽出した用語候補の出現頻度に依存した評価を行い、出現頻度の高い用語候補を出力用語として選択する。本構成によりノイズ成分の少ない形態素として最適な専門用語の抽出を効率的に行なうことが可能となる。
【解決手段】例えば医療分野などの専門分野における用語、例えば形態素としての用語抽出を行なう構成において、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行し、文書データベースの格納文書を検索し、抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成して、生成した用語テキストを解析対象として、第一用語抽出手段の抽出した用語候補の出現頻度に依存した評価を行い、出現頻度の高い用語候補を出力用語として選択する。本構成によりノイズ成分の少ない形態素として最適な専門用語の抽出を効率的に行なうことが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書解析システム、および文書解析方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えば医療分野などの専門性の高い分野の文書から、データ検索などに適用するための言語単位としての区分語である形態素を抽出する処理を行なう文書解析システム、および文書解析方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
例えばデータベース検索などにおいて適用する検索キーや、用語辞書の索引としてのインデックス、文書分類情報の設定など、データ処理において適用する用語を自然言語の文書から抽出する処理は、様々なデータ処理分野において必要となる技術である。文書検索の検索キーや文書分類に用いるインデックス等、文書処理に適用する言語単位は形態素と呼ばれる。
【０００３】
自然言語の文書から形態素を抽出する研究は従来から行われている。例えば、［車が道路を走る］といったありふれた文書であれば、一般的な形態素解析システムを適用することで、［車］、［道路］、［走る］といった形態素を抽出することが可能である。形態素解析システムは、予め定めた形態素解析ルールを適用して、文を意味的最小単位である形態素（ｍｏｒｐｈｅｍｅ）に分節して品詞の認定処理を行なうシステムとして知られている。
【０００４】
しかしながら、医療分野のように専門性の高い分野の専門用語を適切な形態素に区切ることは難しい。例えば、特定の病名である、
「強皮症」
この病名を表す本来一つの単語に対して、標準的な形態素解析処理を施すと「強（強い）」「皮」「症」という３つの単語（形態素）に分割されてしまう。
【０００５】
形態素解析処理は、文書検索や文書分類等の言語処理技術で用いる基盤的な技術である。例えば文書分類において、「強皮症」が３つの単語に分割されてしまうと、「強皮症」を含む２つの文書間の類似性と、「強皮症」を含む文書と「強」「皮」「症」の３つの単語を離れた位置に含む文書の間の類似性が等しくなってしまい、文書分類の精度低下を招くことになる。
【０００６】
このような問題を解決するためには、予め専門用語の一覧を作成しておき、形態素解析時に使用する形態素解析用辞書に、該専門用語一覧を追加しておく必要がある。このような専門用語一覧を作成するために専門分野のテキスト集合から専門用語を抽出する技術の典型的な例を開示した従来技術して、特許文献１（特開２００４−１５１９２６号公報）がある。
【０００７】
この特許文献１では、専門用語が多くの場合複合名詞であることに注目し、複合名詞を構成する各形態素（名詞あるいは接辞）の出現頻度に基づいて計算される修正出現頻度（複合名詞自体の出現頻度を表す尺度）と、複合名詞の長さ（複合名詞を構成する形態素の数）とから、複合名詞が専門用語であるか否かを判断する手法を提案している。
【０００８】
この特許文献１に開示された手法、すなわち、複合名詞の出現頻度と複合名詞の長さを二つのパラメータとして、複合名詞が専門用語であるか否かを判断する手法には以下のような問題点がある。
（問題点１）複合名詞の長さのパラメータを重視した場合の問題点
長い複合名詞を優先して専門用語とする場合、例えば、医学分野のテキストを対象とした場合以下のような複合名詞が専門用語として抽出されることになる。
（Ａ）「慢性びまん性管状増殖性糸球体リンパ腫」
（Ｂ）「慢性管状増殖性糸球体リンパ腫」
【０００９】
複合名詞（Ａ）（Ｂ）は共に専門用語であり、かつ、ほぼ同じ病気を表現する専門用語である。しかしながら上記手法では、これらの２つの専門用語が全く異なる２つの専門用語として抽出されることになってしまう。したがって、例えば文書分類において、（Ａ）を含む文書と（Ｂ）を含む文書の類似性が全く認められないことになり、文書分類の精度低下を招くことになる。すなわち、形態素解析用辞書に登録すべき形態素としては不適切に長い文字列が抽出されてしまう。
【００１０】
（問題点２）複合名詞の出現頻度のパラメータを重視した場合の問題点
頻出する複合名詞を優先して専門用語とする場合、長い複合名詞が頻出することは稀であるため、上記（問題点１）の問題は生じない。すなわち、形態素解析辞書に登録する上で適切な長さの単語を抽出することが可能である。しかしながら、この場合、長さの短い複合名詞は、書き手のくせ等によってたまたま高い頻度で出現する可能性が高いため、専門用語のみが抽出できるとは限らない。例えば、抽出対象であるテキスト集合にたまたま、
「明日手術を行なうことにする。」
「前回実施した検査によれば、・・・」
といった表現が高い頻度で出現していると、「明日手術」「前回実施」が専門用語として抽出されてしまうことになる。すなわち、この場合には専門用語の抽出精度が著しく低下することになる。
【特許文献１】特開２００４−１５１９２６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、上述の問題点に鑑みてなされたものであり、医療分野など専門性の高い分野の専門用語を解析して、文書検索の検索キーや文書分類に用いるインデックス等、文書処理に適用する言語単位としての形態素を効率的にかつ高精度に抽出する文書解析システム、および文書解析方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の側面は、
文書中の用語の抽出処理を実行する用語抽出手段であり、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行する第一用語抽出手段と、
文書データベースに格納された文書集合を検索し、前記第一用語抽出手段の抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成する用語再構成手段と、
前記用語再構成手段の生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する第二用語抽出手段と、
を有することを特徴とする文書解析システムにある。
【００１３】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行する構成としたので、専門用語を高精度に抽出することが可能となる。
【００１４】
さらに、本発明の文書解析システムの一実施態様において、前記第一用語抽出手段は、特定の専門分野、例えば医療分野の文書を解析対象とした用語抽出処理を実行する構成であり、前記用語再構成手段は、前記特定の専門分野の文書を格納した文書データベースに格納された文書集合の検索による出現回数のカウント処理を実行し、前記第二用語抽出手段は、医療分野の用語としての形態素の抽出を行なう構成であることを特徴とする。
【００１５】
本構成によれば、医療分野などの専門分野に多く見られる複合名詞としての専門用語を高精度に抽出することが可能となる。
【００１６】
さらに、本発明の文書解析システムの一実施態様において、前記文書解析システムは、さらに、前記用語再構成手段の生成した用語テキストから、前記第二用語抽出手段の抽出した用語を削除した更新用語テキストを生成する用語テキスト更新手段を有し、前記第二用語抽出手段は、前記用語テキスト更新手段の生成した更新用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する構成であることを特徴とする。
【００１７】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行し、さらに、第二用語抽出手段の抽出した用語を削除した更新用語テキストを生成して、更新用語テキストを解析対象として、出現頻度の高い用語候補を出力用語として選択する構成としたので、より多くの出力用語を取得することが可能となる。
【００１８】
さらに、本発明の文書解析システムの一実施態様において、前記文書解析システムは、さらに、前記第二用語抽出手段の抽出した用語から他の抽出用語の組み合わせ構成を持つ用語を選択し、選択した用語の出現頻度が予め定めた閾値以下である場合に出力用語から削除する処理を実行する用語選択手段を有することを特徴とする。
【００１９】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行し、さらに、第二用語抽出手段の抽出した用語から、不適切に長い用語を削除することが可能となり、適切な長さの用語出力が実現される。
【００２０】
さらに、本発明の第２の側面は、
文書解析システムにおいて実行する文書解析方法であり、
文書中の用語の抽出処理を実行する第一用語抽出手段が、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行する第一用語抽出ステップと、
用語再構成手段が、文書データベースに格納された文書集合を検索し、前記第一用語抽出ステップにおいて抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成する用語再構成ステップと、
第二用語抽出手段が、前記用語再構成ステップにおいて生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する第二用語抽出ステップと、
を有することを特徴とする文書解析方法にある。
【００２１】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行する構成としたので、専門用語を高精度に抽出することが可能となる。
【００２２】
さらに、本発明の文書解析方法の一実施態様において、前記第一用語抽出ステップは、特定の専門分野、例えば医療分野の文書を解析対象とした用語抽出処理を実行するステップであり、前記用語再構成ステップは、前記特定の専門分野の文書を格納した文書データベースに格納された文書集合の検索による出現回数のカウント処理を実行し、前記第二用語抽出ステップは、医療分野の用語としての形態素の抽出を行なうステップであることを特徴とする。
【００２３】
本構成によれば、医療分野などの専門分野に多く見られる複合名詞としての専門用語を高精度に抽出することが可能となる。
【００２４】
さらに、本発明の文書解析方法の一実施態様において、前記文書解析方法は、さらに、用語テキスト更新手段が、前記用語再構成ステップにおいて生成した用語テキストから、前記第二用語抽出ステップで抽出した用語を削除した更新用語テキストを生成する用語テキスト更新ステップを有し、前記第二用語抽出ステップは、前記用語テキスト更新ステップにおいて生成した更新用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択するステップであることを特徴とする。
【００２５】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行し、さらに、第二用語抽出手段の抽出した用語を削除した更新用語テキストを生成して、更新用語テキストを解析対象として、出現頻度の高い用語候補を出力用語として選択する構成としたので、より多くの出力用語を取得することが可能となる。
【００２６】
さらに、本発明の文書解析方法の一実施態様において、前記文書解析方法は、さらに、用語選択手段が、前記第二用語抽出ステップにおいて抽出した用語から他の抽出用語の組み合わせ構成を持つ用語を選択し、選択した用語の出現頻度が予め定めた閾値以下である場合に出力用語から削除する処理を実行する用語選択ステップを有することを特徴とする。
【００２７】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行し、さらに、第二用語抽出手段の抽出した用語から、不適切に長い用語を削除することが可能となり、適切な長さの用語出力が実現される。
【００２８】
さらに、本発明の第３の側面は、
文書解析システムにおいて文書解析処理を実行させるコンピュータ・プログラムであり、
文書中の用語の抽出処理を実行する第一用語抽出手段に、用語の長さに依存した評価を行わせ、長さ重視の用語候補抽出処理を実行させる第一用語抽出ステップと、
用語再構成手段に、文書データベースに格納された文書集合を検索し、前記第一用語抽出ステップにおいて抽出した用語候補と同じ用語の出現回数をカウントさせ、出現回数に応じた用語の複製を含む用語テキストを生成させる用語再構成ステップと、
第二用語抽出手段に、前記用語再構成ステップにおいて生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行わせ、出現頻度の高い用語を出力用語として選択させる第二用語抽出ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００２９】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行する構成としたので、専門用語を高精度に抽出することが可能となる。
【００３０】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３２】
本発明の構成によれば、例えば医療分野などの専門分野における用語、例えば形態素としての用語抽出を行なう構成において、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行し、文書データベースの格納文書を検索し、抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成して、生成した用語テキストを解析対象として、第一用語抽出手段の抽出した用語候補の出現頻度に依存した評価を行い、出現頻度の高い用語候補を出力用語として選択する構成としたので、ノイズ成分の少ない形態素として最適な専門用語の抽出を効率的に行なうことが可能となる。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照しながら本発明の実施形態に係る文書解析システム、および文書解析方法、並びにコンピュータ・プログラムの詳細について説明する。
【００３４】
［第１実施例］
図１を参照して、本発明の一実施形態に係る文書解析システムの構成および処理について説明する。図１に示すように本発明の一実施形態に係る文書解析システム１００は、第一専門用語抽出手段１０１、専門用語再構成手段１０２、専門用語テキスト格納手段１０３、第二専門用語抽出手段１０４、文書格納手段１２１を有する。
【００３５】
以下、各手段の構成および処理について、具体的な例を示しながら説明を行なう。なお、本発明の文書解析システムは、専門分野の専門用語を含む文書の解析を行なうシステムであり、以下の実施例では、専門分野の一例として医療分野を取り上げて説明するが、本発明は医療分野に限らず、その他の専門分野、例えば経済、建築、技術などの様々な専門分野の専門用語の解析に適用可能である。
【００３６】
図１に示す文書解析システム１００を構成する各手段について説明する。
［文書格納手段］
文書格納手段１２１は、専門分野に関する文書、本実施例では医学分野の日本語文書を格納した記憶手段、すなわち文書データベースである。
【００３７】
［第一専門用語抽出手段］
第一専門用語抽出手段１０１は、文書格納手段１２１の格納文書を解析対象として、解析対象文書から専門用語であると判別される用語の抽出処理を実行する。第一専門用語抽出手段１０１は、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行する。具体的には、複合名詞などの用語の長さのパラメータを重視した用語抽出処理を実行する。例えば解析対象とした文書の品詞解析を行い、複数の名詞によって構成される複合名詞などを専門用語として選択して、より長い複合名詞などの用語に高い評価値を設定して評価値の上位の用語を抽出する。なお、第一専門用語抽出手段１０１の実行する長さのパラメータを重視した用語抽出処理は、先に説明した特許文献１（特開２００４−１５１９２６号公報）に開示された長さ重視の用語抽出処理と同様の処理として実行可能である。
【００３８】
以下、一例として、第一専門用語抽出手段１０１が文書格納手段１２１の格納文書を解析対象とした用語抽出処理において、以下の専門用語である複合名詞が抽出されたものとして説明する。
（ａ）慢性びまん性管状増殖性糸球体リンパ腫
（ｂ）びまん性管内糸球体腎炎ネフローゼ症候群
（ｃ）急性びまん性メサンギウム表層角膜炎
・・・
【００３９】
［専門用語再構成手段］
専門用語再構成手段１０２は、第一専門用語抽出手段１０１で抽出された各専門用語候補が、文書格納手段１２１中に格納されている全文書中に出現する回数をそれぞれカウントし、各専門用語候補を出現回数分だけ複製する。すなわち、専門用語再構成手段１０２は、特定の専門分野の文書を格納した文書データベースに格納された文書集合を検索し、第一専門用語抽出手段１０１の抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成する。
【００４０】
例えば、上記例において、
「慢性びまん性管状増殖性糸球体リンパ腫」の出現回数が５回、
「びまん性管内糸球体腎炎ネフローゼ症候群」の出現回数が４回、
「急性びまん性メサンギウム表層角膜炎」の出現回数が３回、
これらの出現回数であれば、専門用語再構成手段１０２は、各用語の出現回数（５，４，３・・）に応じて、以下のような複製テキストを生成する。
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
びまん性管内糸球体腎炎ネフローゼ症候群
びまん性管内糸球体腎炎ネフローゼ症候群
びまん性管内糸球体腎炎ネフローゼ症候群
びまん性管内糸球体腎炎ネフローゼ症候群
急性びまん性メサンギウム表層角膜炎
急性びまん性メサンギウム表層角膜炎
急性びまん性メサンギウム表層角膜炎
・・・
【００４１】
［専門用語テキスト格納手段］
専門用語テキスト格納手段１０３は、専門用語再構成手段で作成されたテキストを格納する記憶手段である。
【００４２】
［第二専門用語抽出手段］
第二専門用語抽出手段１０４は、専門用語テキスト格納手段１０３に格納されたテキストを対象として、専門用語候補の抽出を行なう。第二専門用語抽出手段１０４では、複合名詞の出現頻度のパラメータを重視した用語抽出を行なう。第二専門用語抽出手段１０４は、専門用語再構成手段１０３の生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する。
【００４３】
第二専門用語抽出手段１０４は、専門用語テキスト格納手段１０３に格納されたテキストのみを対象とした解析を行い、その格納テキスト中に含まれる複合名詞などの用語の出現頻度をカウントして出現頻度の高い用語に高い評価値を設定して評価値の上位の用語を抽出する。なお、この出現頻度重視の用語抽出処理は、前述の特許文献１（特開２００４−１５１９２６号公報）に開示された頻度重視の用語抽出処理と同様の処理として実行可能である。
【００４４】
上記の例では、専門用語テキスト格納手段１０３には、
（テキストａ）「慢性びまん性管状増殖性糸球体リンパ腫」が５個
（テキストｂ）「びまん性管内糸球体腎炎ネフローゼ症候群」が４個
（テキストｃ）「急性びまん性メサンギウム表層角膜炎」が３個
これらのテキストデータが格納されており、第二専門用語抽出手段１０４は、複合名詞の出現頻度のパラメータを重視した抽出により、上記のテキストから以下のような部分文字列を抽出する。なお、得られた上位Ｎ個の部分文字列を最終的な抽出結果とする。Ｎは予め設定した閾値である。
（１）びまん性
（２）糸球体
・・・
【００４５】
上記テキストａ〜ｃを解析対象とした場合、
「びまん性」は、テキストａに５個、テキストｂに４個、テキストｃに３個、検出され、計１２回の出現頻度となる。
また、「糸球体」は、テキストａに５個、テキストｂに４個検出され、計９回の出現頻度となる。
このように、第二専門用語抽出手段１０４は、専門用語テキスト格納手段１０３に格納されたテキストのみを対象とした解析を行い、その格納テキスト中に含まれる複合名詞などの用語の出現頻度をカウントして出現頻度の高い用語に高い評価値を設定して評価値の上位の用語を抽出する。抽出した用語が、文書検索の検索キーや文書分類に用いるインデックス等、文書処理に適用する言語単位としての形態素として辞書に登録される。
【００４６】
以上のように本発明に従った文書解析システムでは、第一専門用語抽出手段１０１において、複合名詞などからなる用語の長さのパラメータを重視した専門用語候補抽出を行い、かつ、第二専門用語抽出手段１０４において、用語の出現頻度のパラメータを重視した専門用語抽出を行なう構成であり、第一専門用語抽出手段１０１によって、高い確率で複合名詞などの専門用語候補が得られ、それらのみを対象にして第二専門用語抽出手段１０３が専門用語を抽出するため、「明日手術」「前回実施」等の不適切な専門用語が抽出されることはなく、高い抽出精度を実現することができる。さらに、第二専門用語抽出手段１０４で抽出される専門用語は、出現頻度のパラメータ重視で抽出されるため、形態素解析用辞書に登録する上で適切な長さの形態素となる。
【００４７】
図２に示すフローチャートを参照して本実施例に係る文書解析システムの実行する処理のシーケンスについて説明する。まず、ステップＳ１０１において、第一専門用語抽出手段１０１が、解析対象文書、例えば文書格納手段１２１の格納文書を解析対象として解析対象文書から複合名詞などからなる用語の長さのパラメータを重視した用語抽出処理を実行する。具体的には、前述したように文書の品詞解析を行い、複数の名詞によって構成される複合名詞などの用語から、より長い用語に高い評価値を設定して評価値の上位の用語を専門用語候補として抽出する。
【００４８】
次に、ステップＳ１０２において、専門用語再構成手段１０２が、ステップＳ１０１において抽出した専門用語の各々について、文書格納手段１２１中に格納されている全文書中に出現する回数をそれぞれカウントし、各専門用語を出現回数分だけ複製する。複製テキストデータは、専門用語テキスト格納手段１０３に格納する。
【００４９】
次に、ステップＳ１０３において、第二専門用語抽出手段１０４が、専門用語テキスト格納手段１０３に格納されたテキストを対象として、専門用語候補の抽出を行なう。第二専門用語抽出手段１０４は、複合名詞などの用語の出現頻度のパラメータを重視した用語抽出を行なう。具体的には、前述したように、専門用語テキスト格納手段１０３に格納されたテキスト中に含まれる用語の出現頻度をカウントして出現頻度の高い用語に高い評価値を設定して評価値の上位の用語を抽出する。
【００５０】
これらの処理によって、ノイズの少ない精度の高い専門用語抽出処理が実現される。すなわち、第一の専門用語選択処理として長さ重視による専門用語候補が抽出され、さらに、専門分野の文書を格納した文書データベース（文書格納手段１２１）に格納された全文書、あるいは複数の文書集合を参照して、抽出した専門用語候補と同じ用語の出現回数をカウントしてカウント数分の複製テキストを生成してこれを一時的に記憶、すなわち、専門用語テキスト格納手段１０３に格納し、次に、この専門用語テキスト格納手段１０３に格納したテキストデータを対象として、第二専門用語抽出手段１０４が、用語の出現頻度のパラメータを重視した用語抽出を行なう。具体的には、前述したように、専門用語テキスト格納手段１０３に格納されたテキスト中に含まれる複合名詞の出現頻度をカウントして出現頻度の高い複合名詞に高い評価値を設定して評価値の上位の用語を出力用語として抽出する。
【００５１】
第一専門用語抽出手段１０１の長さ重視の用語抽出において、高い確率で専門用語に相当する専門用語候補が得られ、それらをデータベースに格納した文書に出現する回数分の複製テキストを対象にして第二専門用語抽出手段１０３が頻度重視で専門用語を抽出するため、「明日手術」「前回実施」等の不適切な専門用語が抽出されることはなく、高い抽出精度を実現することができ、第二専門用語抽出手段１０４で抽出する専門用語は、出現頻度のパラメータ重視での抽出処理として実行されるため適切な長さの形態素の抽出がなされる。
【００５２】
［実施例２］
上述の実施例１において説明した文書解析システムを一部変形した実施例２について図３を参照して説明する。図２に示すように本発明の実施例２に係る文書解析システム２００は、図１に示した実施例１の構成と同様の第一専門用語抽出手段１０１、専門用語再構成手段１０２、専門用語テキスト格納手段１０３、第二専門用語抽出手段１０４、文書格納手段１２１に、専門用語テキスト更新手段２０１を加えた構成を持つ。
【００５３】
本発明の実施例２に係る文書解析システム２００において、第一専門用語抽出手段１０１、専門用語再構成手段１０２、専門用語テキスト格納手段１０３、第二専門用語抽出手段１０４が最初に実行する処理は、実施例１の処理と同様である。
【００５４】
実施例２では、第二専門用語抽出手段１０４の生成した専門用語データを適用して、専門用語テキスト更新手段２０１が、専門用語テキスト格納手段１０３に格納されたテキストの更新処理を実行し、更新したテキストデータを専門用語テキスト格納手段１０３に再格納して、第二専門用語抽出手段１０４は、専門用語テキスト格納手段１０３に格納された更新テキストデータに基づいて、頻度情報に基づく用語抽出処理を実行する。この専門用語テキスト更新手段２０１におけるテキスト更新と、第二専門用語抽出手段１０４による更新テキストに基づく用語抽出を繰り返し実行する構成である。
【００５５】
具体例について説明する。まず、実施例１と同様の処理が実行されたとして、専門用語再構成手段１０２が、専門用語テキスト格納手段１０３にテキストを格納したものとする。すなわち、第一専門用語抽出手段１０１で抽出された各専門用語候補が、文書格納手段１２１中に格納されている全文書中に出現する回数をそれぞれカウントし、各専門用語候補を出現回数分だけ複製したテキストを格納する。
【００５６】
例えば、前述の実施例１と同様において、
「慢性びまん性管状増殖性糸球体リンパ腫」の出現回数が５回、
「びまん性管内糸球体腎炎ネフローゼ症候群」の出現回数が４回、
「急性びまん性メサンギウム表層角膜炎」の出現回数が３回、
これらの出現回数であれば、専門用語再構成手段１０２は、各用語の出現回数（５，４，３・・）に応じて、以下のような複製テキストを生成して専門用語テキスト格納手段１０３に格納する。
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
びまん性管内糸球体腎炎ネフローゼ症候群
びまん性管内糸球体腎炎ネフローゼ症候群
びまん性管内糸球体腎炎ネフローゼ症候群
びまん性管内糸球体腎炎ネフローゼ症候群
急性びまん性メサンギウム表層角膜炎
急性びまん性メサンギウム表層角膜炎
急性びまん性メサンギウム表層角膜炎
・・・
【００５７】
第二専門用語抽出手段１０４は、専門用語テキスト格納手段１０３に格納されたテキストを対象として、テキスト中に含まれる複合名詞などの用語の出現頻度をカウントして出現頻度の高い用語に高い評価値を設定して評価値の上位の用語を抽出する。
上記の例では、専門用語テキスト格納手段１０３には、
（テキストａ）「慢性びまん性管状増殖性糸球体リンパ腫」が５個
（テキストｂ）「びまん性管内糸球体腎炎ネフローゼ症候群」が４個
（テキストｃ）「急性びまん性メサンギウム表層角膜炎」が３個
これらのテキストデータが格納されており、第二専門用語抽出手段１０４は、複合名詞などの用語の出現頻度のパラメータを重視した抽出により、上記のテキストから以下のような部分文字列を抽出する。なお、得られた上位Ｎ個の部分文字列を最終的な抽出結果とする。Ｎは予め設定した閾値である。
（１）びまん性
（２）糸球体
・・・
【００５８】
［専門用語テキスト更新手段］
専門用語テキスト更新手段２０１は、専門用語テキスト格納手段１０３に格納されたテキストから、第二専門用語抽出手段１０４において抽出された専門用語を削除し、さらに、削除部分に改行を設定し、削除された前後の名詞または名詞群を区分したデータを生成する。具体的には、上記の例では、
（１）びまん性
（２）糸球体
これらの用語が第二専門用語抽出手段１０４において抽出されているので、これらの用語の削除と改行設定による区分処理を実行する。
【００５９】
抽出用語の削除と区分処理により、以下のテキストが更新テキストデータとして設定される。
慢性
管状増殖性
リンパ腫
慢性
管状増殖性
リンパ腫
慢性
管状増殖性
リンパ腫
慢性
管状増殖性
リンパ腫
慢性
管状増殖性
リンパ腫
管内
腎炎ネフローゼ症候群
管内
腎炎ネフローゼ症候群
管内
腎炎ネフローゼ症候群
管内
腎炎ネフローゼ症候群
急性
メサンギウム表層角膜炎
急性
メサンギウム表層角膜炎
急性
メサンギウム表層角膜炎
・・・
【００６０】
これらのテキストが更新テキストとして専門用語テキスト格納手段１０３に再格納される。第二専門用語抽出手段１０４は、専門用語テキスト格納手段１０３に格納された更新テキストデータに基づいて、頻度情報に基づく用語抽出処理を実行する。例えば、上記の更新テキストデータから出現頻度の高い用語として、
慢性
管状増殖性
リンパ腫
これらの用語が新たな抽出用語として選択されることになる。抽出した複合名詞（専門用語）が、文書検索の検索キーや文書分類に用いるインデックス等、文書処理に適用する言語単位としての形態素として辞書に登録される。
【００６１】
この専門用語テキスト更新手段２０１におけるテキスト更新と、第二専門用語抽出手段１０４による更新テキストに基づく用語抽出は、必要に応じて繰り返し実行する。
【００６２】
本実施例によれば、既に専門用語として確定された形態素を削除した上で再度専門用語抽出を行なう処理を繰り返すことにより、高精度かつより多くの形態素を抽出することができる。
【００６３】
図４に示すフローチャートを参照して本実施例に係る文書解析システムの実行する処理のシーケンスについて説明する。図４に示すフローチャートは、第二専門用語抽出手段１０４による抽出用語数がＭ以上となるまで、専門用語テキスト更新手段２０１におけるテキスト更新と、第二専門用語抽出手段１０４による更新テキストに基づく用語抽出処理の繰り返し実行する処理を規定したフローである。
【００６４】
まず、ステップＳ２０１において、初期設定として、
抽出用語数：ｉ＝０
とする設定を行なう。
次に、ステップＳ２０２において、第一専門用語抽出手段１０１が、解析対象文書、例えば文書格納手段１２１の格納文書を解析対象として解析対象文書から複合名詞などの用語の長さのパラメータを重視した用語抽出処理を実行する。具体的には、前述したように文書の品詞解析を行い、複数の名詞によって構成される複合名詞などの用語を選択し、より長い用語に高い評価値を設定して評価値の上位の専門用語（複合名詞など）を抽出する。
【００６５】
次に、ステップＳ２０３において、専門用語再構成手段１０２が、ステップＳ２０２において抽出した専門用語候補の各々について、文書格納手段１２１中に格納されている全文書中に出現する回数をそれぞれカウントし、各専門用語を出現回数分だけ複製する。複製テキストデータは、専門用語テキスト格納手段１０３に格納する。
【００６６】
次に、ステップＳ２０４において、第二専門用語抽出手段１０４が、専門用語テキスト格納手段１０３に格納されたテキストを対象として、専門用語候補の抽出を行なう。第二専門用語抽出手段１０４は、複合名詞などの用語の出現頻度のパラメータを重視した用語抽出を行なう。具体的には、前述したように、専門用語テキスト格納手段１０３に格納されたテキスト中に含まれる複合名詞の出現頻度をカウントして出現頻度の高い複合名詞に高い評価値を設定して評価値の上位の複合名詞を抽出する。
【００６７】
ステップＳ２０５において、ステップＳ２０４において、第二専門用語抽出手段１０４が抽出した用語数が予め設定した規定数［Ｍ］以上となったか否かを判定する。［Ｍ］以上となった場合は処理を終了する。［Ｍ］未満である場合は、ステップＳ２０６に進み、専門用語テキスト格納手段１０３に格納されたテキストの更新処理を実行する。
【００６８】
すなわち、専門用語テキスト更新手段２０１が、専門用語テキスト格納手段１０３に格納されたテキストから、第二専門用語抽出手段１０４において抽出された専門用語を削除し、さらに、削除部分に改行を設定し、削除された前後の名詞または名詞群を区分したデータを生成する。
【００６９】
さらに、ステップＳ２０４に戻り、更新テキストを対象として、第二専門用語抽出手段１０４が、出現頻度のパラメータを重視した用語抽出を行なう。ステップＳ２０４〜Ｓ２０６の処理は、ステップＳ２０５の判定において、第二専門用語抽出手段１０４が抽出した用語数が予め設定した規定数［Ｍ］以上となったと判定されるまで繰り返される。あるいは予め上限回数を設定して、その上限回数にいたった段階で処理を停止してもよい。
【００７０】
これらの処理によって、ノイズの少ない精度の高い専門用語抽出処理が実現され、予め、予定した数の専門用語を抽出することができる。
【００７１】
［実施例３］
さらに、本発明の文書解析システムの実施例３について図５を参照して説明する。図５に示すように本発明の実施例３に係る文書解析システム３００は、図１に示した実施例１の構成と同様の第一専門用語抽出手段１０１、専門用語再構成手段１０２、専門用語テキスト格納手段１０３、第二専門用語抽出手段１０４、文書格納手段１２１に、専門用語選択手段３０１を加えた構成を持つ。
【００７２】
本発明の実施例３に係る文書解析システム３００において、第一専門用語抽出手段１０１、専門用語再構成手段１０２、専門用語テキスト格納手段１０３、第二専門用語抽出手段１０４が最初に実行する処理は、実施例１の処理と同様である。
【００７３】
実施例３では、専門用語選択手段３０１が、第二専門用語抽出手段１０４の抽出した専門用語データ形態素として登録するデータを再選択する処理を行なう。
【００７４】
専門用語選択手段３０１は、第二専門用語抽出手段１０４で得られたＮ個の部分文字列のうち、他のＮ−１個の部分文字列の組み合わせによって構成される部分文字列Ｘを全て抽出し、Ｘの出現頻度が予め設定された閾値以下である場合に、Ｘをから出力用語から削除する、すなわち専門用語（形態素）リストから削除する。
【００７５】
例えば、第二専門用語抽出手段１０４で得られたＮ個の部分文字列として、
びまん性管状
びまん性
管状
・・・
これらの用語が抽出用語として選択されているとする。
【００７６】
専門用語選択手段３０１は、例えば、
「びまん性管状」は、
他の抽出用語［びまん性］、［管状］の組み合わせによって構成されると判定し、
［びまん性管状］を、他のＮ−１個の部分文字列の組み合わせによって構成される部分文字列Ｘとして抽出する。専門用語選択手段３０１は、専門用語テキスト格納手段１０３に格納されたテキストを解析対象として、Ｘの出現頻度を検証し、Ｘの出現頻度が、予め設定された閾値以下である場合に、Ｘを登録する専門用語（形態素）から削除する。
【００７７】
この処理により、出現頻度が多くない不適切に長い形態素が登録候補から削除されることになり、より適切な形態素の登録処理が実行され、形態素解析に適切な形態素リストを得ることができる。
【００７８】
最後に、上述した処理を実行する文書解析システムを構成する情報処理装置のハードウェア構成例について、図６を参照して説明する。ＣＰＵ（Central Processing Unit）５０１は、ＯＳ（Operating System)に対応する処理や、上述の実施例において説明した第一専門用語抽出処理、専門用語再構成処理、第二専門用語抽出処理、専門用語テキスト更新処理、専門用語選択処理などを実行する。これらの処理は、各情報処理装置のＲＯＭ、ハードディスクなどのデータ記憶部に格納されたコンピュータ・プログラムに従って実行される。
【００７９】
ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【００８０】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【００８１】
キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。
【００８２】
ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、例えば文書の格納手段、専門用語テキスト、例えば、専門用語再構成手段の生成するテキストや、専門用語テキスト更新手段の更新テキストの格納手段、抽出した専門用語の格納手段としても利用される。さらに、データ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００８３】
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。
【００８４】
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、各種データベースや他の情報処理装置との通信を実行する。
【００８５】
なお、図６に示す文書解析システムとしての情報処理装置のハードウェア構成例は、ＰＣを適用して構成した装置の一例であり、本発明の文書解析システムは、図６に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
【００８６】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００８７】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００８９】
以上、説明したように、本発明の構成によれば、例えば医療分野などの専門分野における用語、例えば形態素としての用語抽出を行なう構成において、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行し、文書データベースの格納文書を検索し、抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成して、生成した用語テキストを解析対象として、第一用語抽出手段の抽出した用語候補の出現頻度に依存した評価を行い、出現頻度の高い用語候補を出力用語として選択する構成としたので、ノイズ成分の少ない形態素として最適な専門用語の抽出を効率的に行なうことが可能となる。
【図面の簡単な説明】
【００９０】
【図１】本発明の文書解析システムの実施例１の構成例を示す図である。
【図２】本発明の実施例１の文書解析システムの実行する処理シーケンスを説明するフローチャートを示す図である。
【図３】本発明の文書解析システムの実施例２の構成例を示す図である。
【図４】本発明の実施例２の文書解析システムの実行する処理シーケンスを説明するフローチャートを示す図である。
【図５】本発明の文書解析システムの実施例３の構成例を示す図である。
【図６】本発明の一実施形態に係る文書解析システムのハードウェア構成例について説明する図である。
【符号の説明】
【００９１】
１００ 文書解析システム
１０１ 第一専門用語抽出手段
１０２ 専門用語再構成手段
１０３ 専門用語テキスト格納手段
１０４ 第二専門用語抽出手段
１２１ 文書格納手段
２０１ 専門用語テキスト更新手段
３０１ 専門用語選択手段
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５２１ リムーバブル記録媒体
５２２ 外部接続機器
【技術分野】
【０００１】
本発明は、文書解析システム、および文書解析方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えば医療分野などの専門性の高い分野の文書から、データ検索などに適用するための言語単位としての区分語である形態素を抽出する処理を行なう文書解析システム、および文書解析方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
例えばデータベース検索などにおいて適用する検索キーや、用語辞書の索引としてのインデックス、文書分類情報の設定など、データ処理において適用する用語を自然言語の文書から抽出する処理は、様々なデータ処理分野において必要となる技術である。文書検索の検索キーや文書分類に用いるインデックス等、文書処理に適用する言語単位は形態素と呼ばれる。
【０００３】
自然言語の文書から形態素を抽出する研究は従来から行われている。例えば、［車が道路を走る］といったありふれた文書であれば、一般的な形態素解析システムを適用することで、［車］、［道路］、［走る］といった形態素を抽出することが可能である。形態素解析システムは、予め定めた形態素解析ルールを適用して、文を意味的最小単位である形態素（ｍｏｒｐｈｅｍｅ）に分節して品詞の認定処理を行なうシステムとして知られている。
【０００４】
しかしながら、医療分野のように専門性の高い分野の専門用語を適切な形態素に区切ることは難しい。例えば、特定の病名である、
「強皮症」
この病名を表す本来一つの単語に対して、標準的な形態素解析処理を施すと「強（強い）」「皮」「症」という３つの単語（形態素）に分割されてしまう。
【０００５】
形態素解析処理は、文書検索や文書分類等の言語処理技術で用いる基盤的な技術である。例えば文書分類において、「強皮症」が３つの単語に分割されてしまうと、「強皮症」を含む２つの文書間の類似性と、「強皮症」を含む文書と「強」「皮」「症」の３つの単語を離れた位置に含む文書の間の類似性が等しくなってしまい、文書分類の精度低下を招くことになる。
【０００６】
このような問題を解決するためには、予め専門用語の一覧を作成しておき、形態素解析時に使用する形態素解析用辞書に、該専門用語一覧を追加しておく必要がある。このような専門用語一覧を作成するために専門分野のテキスト集合から専門用語を抽出する技術の典型的な例を開示した従来技術して、特許文献１（特開２００４−１５１９２６号公報）がある。
【０００７】
この特許文献１では、専門用語が多くの場合複合名詞であることに注目し、複合名詞を構成する各形態素（名詞あるいは接辞）の出現頻度に基づいて計算される修正出現頻度（複合名詞自体の出現頻度を表す尺度）と、複合名詞の長さ（複合名詞を構成する形態素の数）とから、複合名詞が専門用語であるか否かを判断する手法を提案している。
【０００８】
この特許文献１に開示された手法、すなわち、複合名詞の出現頻度と複合名詞の長さを二つのパラメータとして、複合名詞が専門用語であるか否かを判断する手法には以下のような問題点がある。
（問題点１）複合名詞の長さのパラメータを重視した場合の問題点
長い複合名詞を優先して専門用語とする場合、例えば、医学分野のテキストを対象とした場合以下のような複合名詞が専門用語として抽出されることになる。
（Ａ）「慢性びまん性管状増殖性糸球体リンパ腫」
（Ｂ）「慢性管状増殖性糸球体リンパ腫」
【０００９】
複合名詞（Ａ）（Ｂ）は共に専門用語であり、かつ、ほぼ同じ病気を表現する専門用語である。しかしながら上記手法では、これらの２つの専門用語が全く異なる２つの専門用語として抽出されることになってしまう。したがって、例えば文書分類において、（Ａ）を含む文書と（Ｂ）を含む文書の類似性が全く認められないことになり、文書分類の精度低下を招くことになる。すなわち、形態素解析用辞書に登録すべき形態素としては不適切に長い文字列が抽出されてしまう。
【００１０】
（問題点２）複合名詞の出現頻度のパラメータを重視した場合の問題点
頻出する複合名詞を優先して専門用語とする場合、長い複合名詞が頻出することは稀であるため、上記（問題点１）の問題は生じない。すなわち、形態素解析辞書に登録する上で適切な長さの単語を抽出することが可能である。しかしながら、この場合、長さの短い複合名詞は、書き手のくせ等によってたまたま高い頻度で出現する可能性が高いため、専門用語のみが抽出できるとは限らない。例えば、抽出対象であるテキスト集合にたまたま、
「明日手術を行なうことにする。」
「前回実施した検査によれば、・・・」
といった表現が高い頻度で出現していると、「明日手術」「前回実施」が専門用語として抽出されてしまうことになる。すなわち、この場合には専門用語の抽出精度が著しく低下することになる。
【特許文献１】特開２００４−１５１９２６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、上述の問題点に鑑みてなされたものであり、医療分野など専門性の高い分野の専門用語を解析して、文書検索の検索キーや文書分類に用いるインデックス等、文書処理に適用する言語単位としての形態素を効率的にかつ高精度に抽出する文書解析システム、および文書解析方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の側面は、
文書中の用語の抽出処理を実行する用語抽出手段であり、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行する第一用語抽出手段と、
文書データベースに格納された文書集合を検索し、前記第一用語抽出手段の抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成する用語再構成手段と、
前記用語再構成手段の生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する第二用語抽出手段と、
を有することを特徴とする文書解析システムにある。
【００１３】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行する構成としたので、専門用語を高精度に抽出することが可能となる。
【００１４】
さらに、本発明の文書解析システムの一実施態様において、前記第一用語抽出手段は、特定の専門分野、例えば医療分野の文書を解析対象とした用語抽出処理を実行する構成であり、前記用語再構成手段は、前記特定の専門分野の文書を格納した文書データベースに格納された文書集合の検索による出現回数のカウント処理を実行し、前記第二用語抽出手段は、医療分野の用語としての形態素の抽出を行なう構成であることを特徴とする。
【００１５】
本構成によれば、医療分野などの専門分野に多く見られる複合名詞としての専門用語を高精度に抽出することが可能となる。
【００１６】
さらに、本発明の文書解析システムの一実施態様において、前記文書解析システムは、さらに、前記用語再構成手段の生成した用語テキストから、前記第二用語抽出手段の抽出した用語を削除した更新用語テキストを生成する用語テキスト更新手段を有し、前記第二用語抽出手段は、前記用語テキスト更新手段の生成した更新用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する構成であることを特徴とする。
【００１７】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行し、さらに、第二用語抽出手段の抽出した用語を削除した更新用語テキストを生成して、更新用語テキストを解析対象として、出現頻度の高い用語候補を出力用語として選択する構成としたので、より多くの出力用語を取得することが可能となる。
【００１８】
さらに、本発明の文書解析システムの一実施態様において、前記文書解析システムは、さらに、前記第二用語抽出手段の抽出した用語から他の抽出用語の組み合わせ構成を持つ用語を選択し、選択した用語の出現頻度が予め定めた閾値以下である場合に出力用語から削除する処理を実行する用語選択手段を有することを特徴とする。
【００１９】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行し、さらに、第二用語抽出手段の抽出した用語から、不適切に長い用語を削除することが可能となり、適切な長さの用語出力が実現される。
【００２０】
さらに、本発明の第２の側面は、
文書解析システムにおいて実行する文書解析方法であり、
文書中の用語の抽出処理を実行する第一用語抽出手段が、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行する第一用語抽出ステップと、
用語再構成手段が、文書データベースに格納された文書集合を検索し、前記第一用語抽出ステップにおいて抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成する用語再構成ステップと、
第二用語抽出手段が、前記用語再構成ステップにおいて生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する第二用語抽出ステップと、
を有することを特徴とする文書解析方法にある。
【００２１】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行する構成としたので、専門用語を高精度に抽出することが可能となる。
【００２２】
さらに、本発明の文書解析方法の一実施態様において、前記第一用語抽出ステップは、特定の専門分野、例えば医療分野の文書を解析対象とした用語抽出処理を実行するステップであり、前記用語再構成ステップは、前記特定の専門分野の文書を格納した文書データベースに格納された文書集合の検索による出現回数のカウント処理を実行し、前記第二用語抽出ステップは、医療分野の用語としての形態素の抽出を行なうステップであることを特徴とする。
【００２３】
本構成によれば、医療分野などの専門分野に多く見られる複合名詞としての専門用語を高精度に抽出することが可能となる。
【００２４】
さらに、本発明の文書解析方法の一実施態様において、前記文書解析方法は、さらに、用語テキスト更新手段が、前記用語再構成ステップにおいて生成した用語テキストから、前記第二用語抽出ステップで抽出した用語を削除した更新用語テキストを生成する用語テキスト更新ステップを有し、前記第二用語抽出ステップは、前記用語テキスト更新ステップにおいて生成した更新用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択するステップであることを特徴とする。
【００２５】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行し、さらに、第二用語抽出手段の抽出した用語を削除した更新用語テキストを生成して、更新用語テキストを解析対象として、出現頻度の高い用語候補を出力用語として選択する構成としたので、より多くの出力用語を取得することが可能となる。
【００２６】
さらに、本発明の文書解析方法の一実施態様において、前記文書解析方法は、さらに、用語選択手段が、前記第二用語抽出ステップにおいて抽出した用語から他の抽出用語の組み合わせ構成を持つ用語を選択し、選択した用語の出現頻度が予め定めた閾値以下である場合に出力用語から削除する処理を実行する用語選択ステップを有することを特徴とする。
【００２７】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行し、さらに、第二用語抽出手段の抽出した用語から、不適切に長い用語を削除することが可能となり、適切な長さの用語出力が実現される。
【００２８】
さらに、本発明の第３の側面は、
文書解析システムにおいて文書解析処理を実行させるコンピュータ・プログラムであり、
文書中の用語の抽出処理を実行する第一用語抽出手段に、用語の長さに依存した評価を行わせ、長さ重視の用語候補抽出処理を実行させる第一用語抽出ステップと、
用語再構成手段に、文書データベースに格納された文書集合を検索し、前記第一用語抽出ステップにおいて抽出した用語候補と同じ用語の出現回数をカウントさせ、出現回数に応じた用語の複製を含む用語テキストを生成させる用語再構成ステップと、
第二用語抽出手段に、前記用語再構成ステップにおいて生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行わせ、出現頻度の高い用語を出力用語として選択させる第二用語抽出ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００２９】
本構成によれば、長さ重視の用語抽出の後、抽出した用語に対応する用語の出現頻度に応じた複製テキストを生成して生成テキストに基づいて頻度重視の用語抽出を実行する構成としたので、専門用語を高精度に抽出することが可能となる。
【００３０】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３２】
本発明の構成によれば、例えば医療分野などの専門分野における用語、例えば形態素としての用語抽出を行なう構成において、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行し、文書データベースの格納文書を検索し、抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成して、生成した用語テキストを解析対象として、第一用語抽出手段の抽出した用語候補の出現頻度に依存した評価を行い、出現頻度の高い用語候補を出力用語として選択する構成としたので、ノイズ成分の少ない形態素として最適な専門用語の抽出を効率的に行なうことが可能となる。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照しながら本発明の実施形態に係る文書解析システム、および文書解析方法、並びにコンピュータ・プログラムの詳細について説明する。
【００３４】
［第１実施例］
図１を参照して、本発明の一実施形態に係る文書解析システムの構成および処理について説明する。図１に示すように本発明の一実施形態に係る文書解析システム１００は、第一専門用語抽出手段１０１、専門用語再構成手段１０２、専門用語テキスト格納手段１０３、第二専門用語抽出手段１０４、文書格納手段１２１を有する。
【００３５】
以下、各手段の構成および処理について、具体的な例を示しながら説明を行なう。なお、本発明の文書解析システムは、専門分野の専門用語を含む文書の解析を行なうシステムであり、以下の実施例では、専門分野の一例として医療分野を取り上げて説明するが、本発明は医療分野に限らず、その他の専門分野、例えば経済、建築、技術などの様々な専門分野の専門用語の解析に適用可能である。
【００３６】
図１に示す文書解析システム１００を構成する各手段について説明する。
［文書格納手段］
文書格納手段１２１は、専門分野に関する文書、本実施例では医学分野の日本語文書を格納した記憶手段、すなわち文書データベースである。
【００３７】
［第一専門用語抽出手段］
第一専門用語抽出手段１０１は、文書格納手段１２１の格納文書を解析対象として、解析対象文書から専門用語であると判別される用語の抽出処理を実行する。第一専門用語抽出手段１０１は、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行する。具体的には、複合名詞などの用語の長さのパラメータを重視した用語抽出処理を実行する。例えば解析対象とした文書の品詞解析を行い、複数の名詞によって構成される複合名詞などを専門用語として選択して、より長い複合名詞などの用語に高い評価値を設定して評価値の上位の用語を抽出する。なお、第一専門用語抽出手段１０１の実行する長さのパラメータを重視した用語抽出処理は、先に説明した特許文献１（特開２００４−１５１９２６号公報）に開示された長さ重視の用語抽出処理と同様の処理として実行可能である。
【００３８】
以下、一例として、第一専門用語抽出手段１０１が文書格納手段１２１の格納文書を解析対象とした用語抽出処理において、以下の専門用語である複合名詞が抽出されたものとして説明する。
（ａ）慢性びまん性管状増殖性糸球体リンパ腫
（ｂ）びまん性管内糸球体腎炎ネフローゼ症候群
（ｃ）急性びまん性メサンギウム表層角膜炎
・・・
【００３９】
［専門用語再構成手段］
専門用語再構成手段１０２は、第一専門用語抽出手段１０１で抽出された各専門用語候補が、文書格納手段１２１中に格納されている全文書中に出現する回数をそれぞれカウントし、各専門用語候補を出現回数分だけ複製する。すなわち、専門用語再構成手段１０２は、特定の専門分野の文書を格納した文書データベースに格納された文書集合を検索し、第一専門用語抽出手段１０１の抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成する。
【００４０】
例えば、上記例において、
「慢性びまん性管状増殖性糸球体リンパ腫」の出現回数が５回、
「びまん性管内糸球体腎炎ネフローゼ症候群」の出現回数が４回、
「急性びまん性メサンギウム表層角膜炎」の出現回数が３回、
これらの出現回数であれば、専門用語再構成手段１０２は、各用語の出現回数（５，４，３・・）に応じて、以下のような複製テキストを生成する。
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
びまん性管内糸球体腎炎ネフローゼ症候群
びまん性管内糸球体腎炎ネフローゼ症候群
びまん性管内糸球体腎炎ネフローゼ症候群
びまん性管内糸球体腎炎ネフローゼ症候群
急性びまん性メサンギウム表層角膜炎
急性びまん性メサンギウム表層角膜炎
急性びまん性メサンギウム表層角膜炎
・・・
【００４１】
［専門用語テキスト格納手段］
専門用語テキスト格納手段１０３は、専門用語再構成手段で作成されたテキストを格納する記憶手段である。
【００４２】
［第二専門用語抽出手段］
第二専門用語抽出手段１０４は、専門用語テキスト格納手段１０３に格納されたテキストを対象として、専門用語候補の抽出を行なう。第二専門用語抽出手段１０４では、複合名詞の出現頻度のパラメータを重視した用語抽出を行なう。第二専門用語抽出手段１０４は、専門用語再構成手段１０３の生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する。
【００４３】
第二専門用語抽出手段１０４は、専門用語テキスト格納手段１０３に格納されたテキストのみを対象とした解析を行い、その格納テキスト中に含まれる複合名詞などの用語の出現頻度をカウントして出現頻度の高い用語に高い評価値を設定して評価値の上位の用語を抽出する。なお、この出現頻度重視の用語抽出処理は、前述の特許文献１（特開２００４−１５１９２６号公報）に開示された頻度重視の用語抽出処理と同様の処理として実行可能である。
【００４４】
上記の例では、専門用語テキスト格納手段１０３には、
（テキストａ）「慢性びまん性管状増殖性糸球体リンパ腫」が５個
（テキストｂ）「びまん性管内糸球体腎炎ネフローゼ症候群」が４個
（テキストｃ）「急性びまん性メサンギウム表層角膜炎」が３個
これらのテキストデータが格納されており、第二専門用語抽出手段１０４は、複合名詞の出現頻度のパラメータを重視した抽出により、上記のテキストから以下のような部分文字列を抽出する。なお、得られた上位Ｎ個の部分文字列を最終的な抽出結果とする。Ｎは予め設定した閾値である。
（１）びまん性
（２）糸球体
・・・
【００４５】
上記テキストａ〜ｃを解析対象とした場合、
「びまん性」は、テキストａに５個、テキストｂに４個、テキストｃに３個、検出され、計１２回の出現頻度となる。
また、「糸球体」は、テキストａに５個、テキストｂに４個検出され、計９回の出現頻度となる。
このように、第二専門用語抽出手段１０４は、専門用語テキスト格納手段１０３に格納されたテキストのみを対象とした解析を行い、その格納テキスト中に含まれる複合名詞などの用語の出現頻度をカウントして出現頻度の高い用語に高い評価値を設定して評価値の上位の用語を抽出する。抽出した用語が、文書検索の検索キーや文書分類に用いるインデックス等、文書処理に適用する言語単位としての形態素として辞書に登録される。
【００４６】
以上のように本発明に従った文書解析システムでは、第一専門用語抽出手段１０１において、複合名詞などからなる用語の長さのパラメータを重視した専門用語候補抽出を行い、かつ、第二専門用語抽出手段１０４において、用語の出現頻度のパラメータを重視した専門用語抽出を行なう構成であり、第一専門用語抽出手段１０１によって、高い確率で複合名詞などの専門用語候補が得られ、それらのみを対象にして第二専門用語抽出手段１０３が専門用語を抽出するため、「明日手術」「前回実施」等の不適切な専門用語が抽出されることはなく、高い抽出精度を実現することができる。さらに、第二専門用語抽出手段１０４で抽出される専門用語は、出現頻度のパラメータ重視で抽出されるため、形態素解析用辞書に登録する上で適切な長さの形態素となる。
【００４７】
図２に示すフローチャートを参照して本実施例に係る文書解析システムの実行する処理のシーケンスについて説明する。まず、ステップＳ１０１において、第一専門用語抽出手段１０１が、解析対象文書、例えば文書格納手段１２１の格納文書を解析対象として解析対象文書から複合名詞などからなる用語の長さのパラメータを重視した用語抽出処理を実行する。具体的には、前述したように文書の品詞解析を行い、複数の名詞によって構成される複合名詞などの用語から、より長い用語に高い評価値を設定して評価値の上位の用語を専門用語候補として抽出する。
【００４８】
次に、ステップＳ１０２において、専門用語再構成手段１０２が、ステップＳ１０１において抽出した専門用語の各々について、文書格納手段１２１中に格納されている全文書中に出現する回数をそれぞれカウントし、各専門用語を出現回数分だけ複製する。複製テキストデータは、専門用語テキスト格納手段１０３に格納する。
【００４９】
次に、ステップＳ１０３において、第二専門用語抽出手段１０４が、専門用語テキスト格納手段１０３に格納されたテキストを対象として、専門用語候補の抽出を行なう。第二専門用語抽出手段１０４は、複合名詞などの用語の出現頻度のパラメータを重視した用語抽出を行なう。具体的には、前述したように、専門用語テキスト格納手段１０３に格納されたテキスト中に含まれる用語の出現頻度をカウントして出現頻度の高い用語に高い評価値を設定して評価値の上位の用語を抽出する。
【００５０】
これらの処理によって、ノイズの少ない精度の高い専門用語抽出処理が実現される。すなわち、第一の専門用語選択処理として長さ重視による専門用語候補が抽出され、さらに、専門分野の文書を格納した文書データベース（文書格納手段１２１）に格納された全文書、あるいは複数の文書集合を参照して、抽出した専門用語候補と同じ用語の出現回数をカウントしてカウント数分の複製テキストを生成してこれを一時的に記憶、すなわち、専門用語テキスト格納手段１０３に格納し、次に、この専門用語テキスト格納手段１０３に格納したテキストデータを対象として、第二専門用語抽出手段１０４が、用語の出現頻度のパラメータを重視した用語抽出を行なう。具体的には、前述したように、専門用語テキスト格納手段１０３に格納されたテキスト中に含まれる複合名詞の出現頻度をカウントして出現頻度の高い複合名詞に高い評価値を設定して評価値の上位の用語を出力用語として抽出する。
【００５１】
第一専門用語抽出手段１０１の長さ重視の用語抽出において、高い確率で専門用語に相当する専門用語候補が得られ、それらをデータベースに格納した文書に出現する回数分の複製テキストを対象にして第二専門用語抽出手段１０３が頻度重視で専門用語を抽出するため、「明日手術」「前回実施」等の不適切な専門用語が抽出されることはなく、高い抽出精度を実現することができ、第二専門用語抽出手段１０４で抽出する専門用語は、出現頻度のパラメータ重視での抽出処理として実行されるため適切な長さの形態素の抽出がなされる。
【００５２】
［実施例２］
上述の実施例１において説明した文書解析システムを一部変形した実施例２について図３を参照して説明する。図２に示すように本発明の実施例２に係る文書解析システム２００は、図１に示した実施例１の構成と同様の第一専門用語抽出手段１０１、専門用語再構成手段１０２、専門用語テキスト格納手段１０３、第二専門用語抽出手段１０４、文書格納手段１２１に、専門用語テキスト更新手段２０１を加えた構成を持つ。
【００５３】
本発明の実施例２に係る文書解析システム２００において、第一専門用語抽出手段１０１、専門用語再構成手段１０２、専門用語テキスト格納手段１０３、第二専門用語抽出手段１０４が最初に実行する処理は、実施例１の処理と同様である。
【００５４】
実施例２では、第二専門用語抽出手段１０４の生成した専門用語データを適用して、専門用語テキスト更新手段２０１が、専門用語テキスト格納手段１０３に格納されたテキストの更新処理を実行し、更新したテキストデータを専門用語テキスト格納手段１０３に再格納して、第二専門用語抽出手段１０４は、専門用語テキスト格納手段１０３に格納された更新テキストデータに基づいて、頻度情報に基づく用語抽出処理を実行する。この専門用語テキスト更新手段２０１におけるテキスト更新と、第二専門用語抽出手段１０４による更新テキストに基づく用語抽出を繰り返し実行する構成である。
【００５５】
具体例について説明する。まず、実施例１と同様の処理が実行されたとして、専門用語再構成手段１０２が、専門用語テキスト格納手段１０３にテキストを格納したものとする。すなわち、第一専門用語抽出手段１０１で抽出された各専門用語候補が、文書格納手段１２１中に格納されている全文書中に出現する回数をそれぞれカウントし、各専門用語候補を出現回数分だけ複製したテキストを格納する。
【００５６】
例えば、前述の実施例１と同様において、
「慢性びまん性管状増殖性糸球体リンパ腫」の出現回数が５回、
「びまん性管内糸球体腎炎ネフローゼ症候群」の出現回数が４回、
「急性びまん性メサンギウム表層角膜炎」の出現回数が３回、
これらの出現回数であれば、専門用語再構成手段１０２は、各用語の出現回数（５，４，３・・）に応じて、以下のような複製テキストを生成して専門用語テキスト格納手段１０３に格納する。
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
慢性びまん性管状増殖性糸球体リンパ腫
びまん性管内糸球体腎炎ネフローゼ症候群
びまん性管内糸球体腎炎ネフローゼ症候群
びまん性管内糸球体腎炎ネフローゼ症候群
びまん性管内糸球体腎炎ネフローゼ症候群
急性びまん性メサンギウム表層角膜炎
急性びまん性メサンギウム表層角膜炎
急性びまん性メサンギウム表層角膜炎
・・・
【００５７】
第二専門用語抽出手段１０４は、専門用語テキスト格納手段１０３に格納されたテキストを対象として、テキスト中に含まれる複合名詞などの用語の出現頻度をカウントして出現頻度の高い用語に高い評価値を設定して評価値の上位の用語を抽出する。
上記の例では、専門用語テキスト格納手段１０３には、
（テキストａ）「慢性びまん性管状増殖性糸球体リンパ腫」が５個
（テキストｂ）「びまん性管内糸球体腎炎ネフローゼ症候群」が４個
（テキストｃ）「急性びまん性メサンギウム表層角膜炎」が３個
これらのテキストデータが格納されており、第二専門用語抽出手段１０４は、複合名詞などの用語の出現頻度のパラメータを重視した抽出により、上記のテキストから以下のような部分文字列を抽出する。なお、得られた上位Ｎ個の部分文字列を最終的な抽出結果とする。Ｎは予め設定した閾値である。
（１）びまん性
（２）糸球体
・・・
【００５８】
［専門用語テキスト更新手段］
専門用語テキスト更新手段２０１は、専門用語テキスト格納手段１０３に格納されたテキストから、第二専門用語抽出手段１０４において抽出された専門用語を削除し、さらに、削除部分に改行を設定し、削除された前後の名詞または名詞群を区分したデータを生成する。具体的には、上記の例では、
（１）びまん性
（２）糸球体
これらの用語が第二専門用語抽出手段１０４において抽出されているので、これらの用語の削除と改行設定による区分処理を実行する。
【００５９】
抽出用語の削除と区分処理により、以下のテキストが更新テキストデータとして設定される。
慢性
管状増殖性
リンパ腫
慢性
管状増殖性
リンパ腫
慢性
管状増殖性
リンパ腫
慢性
管状増殖性
リンパ腫
慢性
管状増殖性
リンパ腫
管内
腎炎ネフローゼ症候群
管内
腎炎ネフローゼ症候群
管内
腎炎ネフローゼ症候群
管内
腎炎ネフローゼ症候群
急性
メサンギウム表層角膜炎
急性
メサンギウム表層角膜炎
急性
メサンギウム表層角膜炎
・・・
【００６０】
これらのテキストが更新テキストとして専門用語テキスト格納手段１０３に再格納される。第二専門用語抽出手段１０４は、専門用語テキスト格納手段１０３に格納された更新テキストデータに基づいて、頻度情報に基づく用語抽出処理を実行する。例えば、上記の更新テキストデータから出現頻度の高い用語として、
慢性
管状増殖性
リンパ腫
これらの用語が新たな抽出用語として選択されることになる。抽出した複合名詞（専門用語）が、文書検索の検索キーや文書分類に用いるインデックス等、文書処理に適用する言語単位としての形態素として辞書に登録される。
【００６１】
この専門用語テキスト更新手段２０１におけるテキスト更新と、第二専門用語抽出手段１０４による更新テキストに基づく用語抽出は、必要に応じて繰り返し実行する。
【００６２】
本実施例によれば、既に専門用語として確定された形態素を削除した上で再度専門用語抽出を行なう処理を繰り返すことにより、高精度かつより多くの形態素を抽出することができる。
【００６３】
図４に示すフローチャートを参照して本実施例に係る文書解析システムの実行する処理のシーケンスについて説明する。図４に示すフローチャートは、第二専門用語抽出手段１０４による抽出用語数がＭ以上となるまで、専門用語テキスト更新手段２０１におけるテキスト更新と、第二専門用語抽出手段１０４による更新テキストに基づく用語抽出処理の繰り返し実行する処理を規定したフローである。
【００６４】
まず、ステップＳ２０１において、初期設定として、
抽出用語数：ｉ＝０
とする設定を行なう。
次に、ステップＳ２０２において、第一専門用語抽出手段１０１が、解析対象文書、例えば文書格納手段１２１の格納文書を解析対象として解析対象文書から複合名詞などの用語の長さのパラメータを重視した用語抽出処理を実行する。具体的には、前述したように文書の品詞解析を行い、複数の名詞によって構成される複合名詞などの用語を選択し、より長い用語に高い評価値を設定して評価値の上位の専門用語（複合名詞など）を抽出する。
【００６５】
次に、ステップＳ２０３において、専門用語再構成手段１０２が、ステップＳ２０２において抽出した専門用語候補の各々について、文書格納手段１２１中に格納されている全文書中に出現する回数をそれぞれカウントし、各専門用語を出現回数分だけ複製する。複製テキストデータは、専門用語テキスト格納手段１０３に格納する。
【００６６】
次に、ステップＳ２０４において、第二専門用語抽出手段１０４が、専門用語テキスト格納手段１０３に格納されたテキストを対象として、専門用語候補の抽出を行なう。第二専門用語抽出手段１０４は、複合名詞などの用語の出現頻度のパラメータを重視した用語抽出を行なう。具体的には、前述したように、専門用語テキスト格納手段１０３に格納されたテキスト中に含まれる複合名詞の出現頻度をカウントして出現頻度の高い複合名詞に高い評価値を設定して評価値の上位の複合名詞を抽出する。
【００６７】
ステップＳ２０５において、ステップＳ２０４において、第二専門用語抽出手段１０４が抽出した用語数が予め設定した規定数［Ｍ］以上となったか否かを判定する。［Ｍ］以上となった場合は処理を終了する。［Ｍ］未満である場合は、ステップＳ２０６に進み、専門用語テキスト格納手段１０３に格納されたテキストの更新処理を実行する。
【００６８】
すなわち、専門用語テキスト更新手段２０１が、専門用語テキスト格納手段１０３に格納されたテキストから、第二専門用語抽出手段１０４において抽出された専門用語を削除し、さらに、削除部分に改行を設定し、削除された前後の名詞または名詞群を区分したデータを生成する。
【００６９】
さらに、ステップＳ２０４に戻り、更新テキストを対象として、第二専門用語抽出手段１０４が、出現頻度のパラメータを重視した用語抽出を行なう。ステップＳ２０４〜Ｓ２０６の処理は、ステップＳ２０５の判定において、第二専門用語抽出手段１０４が抽出した用語数が予め設定した規定数［Ｍ］以上となったと判定されるまで繰り返される。あるいは予め上限回数を設定して、その上限回数にいたった段階で処理を停止してもよい。
【００７０】
これらの処理によって、ノイズの少ない精度の高い専門用語抽出処理が実現され、予め、予定した数の専門用語を抽出することができる。
【００７１】
［実施例３］
さらに、本発明の文書解析システムの実施例３について図５を参照して説明する。図５に示すように本発明の実施例３に係る文書解析システム３００は、図１に示した実施例１の構成と同様の第一専門用語抽出手段１０１、専門用語再構成手段１０２、専門用語テキスト格納手段１０３、第二専門用語抽出手段１０４、文書格納手段１２１に、専門用語選択手段３０１を加えた構成を持つ。
【００７２】
本発明の実施例３に係る文書解析システム３００において、第一専門用語抽出手段１０１、専門用語再構成手段１０２、専門用語テキスト格納手段１０３、第二専門用語抽出手段１０４が最初に実行する処理は、実施例１の処理と同様である。
【００７３】
実施例３では、専門用語選択手段３０１が、第二専門用語抽出手段１０４の抽出した専門用語データ形態素として登録するデータを再選択する処理を行なう。
【００７４】
専門用語選択手段３０１は、第二専門用語抽出手段１０４で得られたＮ個の部分文字列のうち、他のＮ−１個の部分文字列の組み合わせによって構成される部分文字列Ｘを全て抽出し、Ｘの出現頻度が予め設定された閾値以下である場合に、Ｘをから出力用語から削除する、すなわち専門用語（形態素）リストから削除する。
【００７５】
例えば、第二専門用語抽出手段１０４で得られたＮ個の部分文字列として、
びまん性管状
びまん性
管状
・・・
これらの用語が抽出用語として選択されているとする。
【００７６】
専門用語選択手段３０１は、例えば、
「びまん性管状」は、
他の抽出用語［びまん性］、［管状］の組み合わせによって構成されると判定し、
［びまん性管状］を、他のＮ−１個の部分文字列の組み合わせによって構成される部分文字列Ｘとして抽出する。専門用語選択手段３０１は、専門用語テキスト格納手段１０３に格納されたテキストを解析対象として、Ｘの出現頻度を検証し、Ｘの出現頻度が、予め設定された閾値以下である場合に、Ｘを登録する専門用語（形態素）から削除する。
【００７７】
この処理により、出現頻度が多くない不適切に長い形態素が登録候補から削除されることになり、より適切な形態素の登録処理が実行され、形態素解析に適切な形態素リストを得ることができる。
【００７８】
最後に、上述した処理を実行する文書解析システムを構成する情報処理装置のハードウェア構成例について、図６を参照して説明する。ＣＰＵ（Central Processing Unit）５０１は、ＯＳ（Operating System)に対応する処理や、上述の実施例において説明した第一専門用語抽出処理、専門用語再構成処理、第二専門用語抽出処理、専門用語テキスト更新処理、専門用語選択処理などを実行する。これらの処理は、各情報処理装置のＲＯＭ、ハードディスクなどのデータ記憶部に格納されたコンピュータ・プログラムに従って実行される。
【００７９】
ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【００８０】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【００８１】
キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。
【００８２】
ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、例えば文書の格納手段、専門用語テキスト、例えば、専門用語再構成手段の生成するテキストや、専門用語テキスト更新手段の更新テキストの格納手段、抽出した専門用語の格納手段としても利用される。さらに、データ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００８３】
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。
【００８４】
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、各種データベースや他の情報処理装置との通信を実行する。
【００８５】
なお、図６に示す文書解析システムとしての情報処理装置のハードウェア構成例は、ＰＣを適用して構成した装置の一例であり、本発明の文書解析システムは、図６に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
【００８６】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００８７】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００８９】
以上、説明したように、本発明の構成によれば、例えば医療分野などの専門分野における用語、例えば形態素としての用語抽出を行なう構成において、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行し、文書データベースの格納文書を検索し、抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成して、生成した用語テキストを解析対象として、第一用語抽出手段の抽出した用語候補の出現頻度に依存した評価を行い、出現頻度の高い用語候補を出力用語として選択する構成としたので、ノイズ成分の少ない形態素として最適な専門用語の抽出を効率的に行なうことが可能となる。
【図面の簡単な説明】
【００９０】
【図１】本発明の文書解析システムの実施例１の構成例を示す図である。
【図２】本発明の実施例１の文書解析システムの実行する処理シーケンスを説明するフローチャートを示す図である。
【図３】本発明の文書解析システムの実施例２の構成例を示す図である。
【図４】本発明の実施例２の文書解析システムの実行する処理シーケンスを説明するフローチャートを示す図である。
【図５】本発明の文書解析システムの実施例３の構成例を示す図である。
【図６】本発明の一実施形態に係る文書解析システムのハードウェア構成例について説明する図である。
【符号の説明】
【００９１】
１００ 文書解析システム
１０１ 第一専門用語抽出手段
１０２ 専門用語再構成手段
１０３ 専門用語テキスト格納手段
１０４ 第二専門用語抽出手段
１２１ 文書格納手段
２０１ 専門用語テキスト更新手段
３０１ 専門用語選択手段
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５２１ リムーバブル記録媒体
５２２ 外部接続機器
【特許請求の範囲】
【請求項１】
文書中の用語の抽出処理を実行する用語抽出手段であり、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行する第一用語抽出手段と、
文書データベースに格納された文書集合を検索し、前記第一用語抽出手段の抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成する用語再構成手段と、
前記用語再構成手段の生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する第二用語抽出手段と、
を有することを特徴とする文書解析システム。
【請求項２】
前記第一用語抽出手段は、特定の専門分野の文書を解析対象とした用語抽出処理を実行する構成であり、
前記用語再構成手段は、前記特定の専門分野の文書を格納した文書データベースに格納された文書集合の検索による出現回数のカウント処理を実行する構成であることを特徴とする請求項１に記載の文書解析システム。
【請求項３】
前記第一用語抽出手段は、医療分野の文書を解析対象とした用語抽出処理を実行し、
前記用語再構成手段は、医療分野の文書を格納した文書データベースに格納された文書集合の検索による出現回数のカウント処理を実行し、
前記第二用語抽出手段は、医療分野の用語としての形態素の抽出を行なう構成であることを特徴とする請求項１に記載の文書解析システム。
【請求項４】
前記文書解析システムは、さらに、
前記用語再構成手段の生成した用語テキストから、前記第二用語抽出手段の抽出した用語を削除した更新用語テキストを生成する用語テキスト更新手段を有し、
前記第二用語抽出手段は、前記用語テキスト更新手段の生成した更新用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する構成であることを特徴とする請求項１から３いずれかに記載の文書解析システム。
【請求項５】
前記文書解析システムは、さらに、
前記第二用語抽出手段の抽出した用語から他の抽出用語の組み合わせ構成を持つ用語を選択し、選択した用語の出現頻度が予め定めた閾値以下である場合に出力用語から削除する処理を実行する用語選択手段を有することを特徴とする請求項１から４いずれかに記載の文書解析システム。
【請求項６】
文書解析システムにおいて実行する文書解析方法であり、
文書中の用語の抽出処理を実行する第一用語抽出手段が、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行する第一用語抽出ステップと、
用語再構成手段が、文書データベースに格納された文書集合を検索し、前記第一用語抽出ステップにおいて抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成する用語再構成ステップと、
第二用語抽出手段が、前記用語再構成ステップにおいて生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する第二用語抽出ステップと、
を有することを特徴とする文書解析方法。
【請求項７】
前記第一用語抽出ステップは、特定の専門分野の文書を解析対象とした用語抽出処理を実行するステップであり、
前記用語再構成ステップは、前記特定の専門分野の文書を格納した文書データベースに格納された文書集合の検索による出現回数のカウント処理を実行するステップであることを特徴とする請求項６に記載の文書解析方法。
【請求項８】
前記第一用語抽出ステップは、医療分野の文書を解析対象とした用語抽出処理を実行するステップであり、
前記用語再構成ステップは、医療分野の文書を格納した文書データベースに格納された文書集合の検索による出現回数のカウント処理を実行するステップであり、
前記第二用語抽出ステップは、医療分野の用語としての形態素の抽出を行なうステップであることを特徴とする請求項６に記載の文書解析方法。
【請求項９】
前記文書解析方法は、さらに、
用語テキスト更新手段が、前記用語再構成ステップにおいて生成した用語テキストから、前記第二用語抽出ステップで抽出した用語を削除した更新用語テキストを生成する用語テキスト更新ステップを有し、
前記第二用語抽出ステップは、前記用語テキスト更新ステップにおいて生成した更新用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択するステップであることを特徴とする請求項６から８いずれかに記載の文書解析方法。
【請求項１０】
前記文書解析方法は、さらに、
用語選択手段が、前記第二用語抽出ステップにおいて抽出した用語から他の抽出用語の組み合わせ構成を持つ用語を選択し、選択した用語の出現頻度が予め定めた閾値以下である場合に出力用語から削除する処理を実行する用語選択ステップを有することを特徴とする請求項６から９いずれかに記載の文書解析方法。
【請求項１１】
文書解析システムにおいて文書解析処理を実行させるコンピュータ・プログラムであり、
文書中の用語の抽出処理を実行する第一用語抽出手段に、用語の長さに依存した評価を行わせ、長さ重視の用語候補抽出処理を実行させる第一用語抽出ステップと、
用語再構成手段に、文書データベースに格納された文書集合を検索し、前記第一用語抽出ステップにおいて抽出した用語候補と同じ用語の出現回数をカウントさせ、出現回数に応じた用語の複製を含む用語テキストを生成させる用語再構成ステップと、
第二用語抽出手段に、前記用語再構成ステップにおいて生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行わせ、出現頻度の高い用語を出力用語として選択させる第二用語抽出ステップと、
を有することを特徴とするコンピュータ・プログラム。
【請求項１】
文書中の用語の抽出処理を実行する用語抽出手段であり、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行する第一用語抽出手段と、
文書データベースに格納された文書集合を検索し、前記第一用語抽出手段の抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成する用語再構成手段と、
前記用語再構成手段の生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する第二用語抽出手段と、
を有することを特徴とする文書解析システム。
【請求項２】
前記第一用語抽出手段は、特定の専門分野の文書を解析対象とした用語抽出処理を実行する構成であり、
前記用語再構成手段は、前記特定の専門分野の文書を格納した文書データベースに格納された文書集合の検索による出現回数のカウント処理を実行する構成であることを特徴とする請求項１に記載の文書解析システム。
【請求項３】
前記第一用語抽出手段は、医療分野の文書を解析対象とした用語抽出処理を実行し、
前記用語再構成手段は、医療分野の文書を格納した文書データベースに格納された文書集合の検索による出現回数のカウント処理を実行し、
前記第二用語抽出手段は、医療分野の用語としての形態素の抽出を行なう構成であることを特徴とする請求項１に記載の文書解析システム。
【請求項４】
前記文書解析システムは、さらに、
前記用語再構成手段の生成した用語テキストから、前記第二用語抽出手段の抽出した用語を削除した更新用語テキストを生成する用語テキスト更新手段を有し、
前記第二用語抽出手段は、前記用語テキスト更新手段の生成した更新用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する構成であることを特徴とする請求項１から３いずれかに記載の文書解析システム。
【請求項５】
前記文書解析システムは、さらに、
前記第二用語抽出手段の抽出した用語から他の抽出用語の組み合わせ構成を持つ用語を選択し、選択した用語の出現頻度が予め定めた閾値以下である場合に出力用語から削除する処理を実行する用語選択手段を有することを特徴とする請求項１から４いずれかに記載の文書解析システム。
【請求項６】
文書解析システムにおいて実行する文書解析方法であり、
文書中の用語の抽出処理を実行する第一用語抽出手段が、用語の長さに依存した評価を行い、長さ重視の用語候補抽出処理を実行する第一用語抽出ステップと、
用語再構成手段が、文書データベースに格納された文書集合を検索し、前記第一用語抽出ステップにおいて抽出した用語候補と同じ用語の出現回数をカウントし、出現回数に応じた用語の複製を含む用語テキストを生成する用語再構成ステップと、
第二用語抽出手段が、前記用語再構成ステップにおいて生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択する第二用語抽出ステップと、
を有することを特徴とする文書解析方法。
【請求項７】
前記第一用語抽出ステップは、特定の専門分野の文書を解析対象とした用語抽出処理を実行するステップであり、
前記用語再構成ステップは、前記特定の専門分野の文書を格納した文書データベースに格納された文書集合の検索による出現回数のカウント処理を実行するステップであることを特徴とする請求項６に記載の文書解析方法。
【請求項８】
前記第一用語抽出ステップは、医療分野の文書を解析対象とした用語抽出処理を実行するステップであり、
前記用語再構成ステップは、医療分野の文書を格納した文書データベースに格納された文書集合の検索による出現回数のカウント処理を実行するステップであり、
前記第二用語抽出ステップは、医療分野の用語としての形態素の抽出を行なうステップであることを特徴とする請求項６に記載の文書解析方法。
【請求項９】
前記文書解析方法は、さらに、
用語テキスト更新手段が、前記用語再構成ステップにおいて生成した用語テキストから、前記第二用語抽出ステップで抽出した用語を削除した更新用語テキストを生成する用語テキスト更新ステップを有し、
前記第二用語抽出ステップは、前記用語テキスト更新ステップにおいて生成した更新用語テキストを解析対象として用語の出現頻度に依存した評価を行い、出現頻度の高い用語を出力用語として選択するステップであることを特徴とする請求項６から８いずれかに記載の文書解析方法。
【請求項１０】
前記文書解析方法は、さらに、
用語選択手段が、前記第二用語抽出ステップにおいて抽出した用語から他の抽出用語の組み合わせ構成を持つ用語を選択し、選択した用語の出現頻度が予め定めた閾値以下である場合に出力用語から削除する処理を実行する用語選択ステップを有することを特徴とする請求項６から９いずれかに記載の文書解析方法。
【請求項１１】
文書解析システムにおいて文書解析処理を実行させるコンピュータ・プログラムであり、
文書中の用語の抽出処理を実行する第一用語抽出手段に、用語の長さに依存した評価を行わせ、長さ重視の用語候補抽出処理を実行させる第一用語抽出ステップと、
用語再構成手段に、文書データベースに格納された文書集合を検索し、前記第一用語抽出ステップにおいて抽出した用語候補と同じ用語の出現回数をカウントさせ、出現回数に応じた用語の複製を含む用語テキストを生成させる用語再構成ステップと、
第二用語抽出手段に、前記用語再構成ステップにおいて生成した用語テキストを解析対象として用語の出現頻度に依存した評価を行わせ、出現頻度の高い用語を出力用語として選択させる第二用語抽出ステップと、
を有することを特徴とするコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−２９３０７０（Ｐ２００８−２９３０７０Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１３５１６５（Ｐ２００７−１３５１６５）
【出願日】平成１９年５月２２日（２００７．５．２２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２２日（２００７．５．２２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]