辞書作成装置、辞書作成方法及び辞書作成プログラム
【課題】形態素解析に必要なシステム辞書に存在しない単語を拡張辞書にエントリさせることで当該解析に係る辞書の単語を拡充させる。
【解決手段】テキストデータから形態素解析の拡張辞書データを作成する辞書作成装置１であって、テキストデータからページデータを抽出するページ抽出部１１と、前記ページデータからそのタイトルデータを抽出するタイトル抽出部１２と、前記抽出したタイトルデータが形態素解析のシステム辞書データ１６に存在しない場合に当該タイトルデータを前記形態素解析の拡張辞書のエントリデータとして格納するエントリ格納部１４と、前記格納したエントリデータを形態素解析の拡張辞書データとして出力する拡張辞書データ出力部１５を備える。
【解決手段】テキストデータから形態素解析の拡張辞書データを作成する辞書作成装置１であって、テキストデータからページデータを抽出するページ抽出部１１と、前記ページデータからそのタイトルデータを抽出するタイトル抽出部１２と、前記抽出したタイトルデータが形態素解析のシステム辞書データ１６に存在しない場合に当該タイトルデータを前記形態素解析の拡張辞書のエントリデータとして格納するエントリ格納部１４と、前記格納したエントリデータを形態素解析の拡張辞書データとして出力する拡張辞書データ出力部１５を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はテキスト処理に係る形態素解析のシステム辞書にエントリされていないデータを拡充するための技術に関するものである。
【背景技術】
【０００２】
インターネット上には多種多様なテキストが大量にあり、それらを自動で処理例えば検索処理するには、形態素解析技術の利用が欠かせない。しかしながら、日々、広範な分野で新語が生まれているため、形態素解析を正確に行うには形態素解析のシステム辞書の拡充が不可欠であり、例えば、未知語を形態素解析辞書へ登録する従来技術が開示されている（特許文献１）。
【０００３】
また、別の技術として、カテゴリ分類した蓄積文書に対し、カテゴリ毎に文書中の単語統計量を計算しておき、入力した文書の単語統計量と類似したカテゴリを求めるものがある。この処理において、文書中に省略形などの表記ゆれした単語がある場合、表記ゆれした単語を意味的に正しく計数するために、標準表記に統一して扱うことが一般的である。
【０００４】
一方、形態素解析技術では、形態素解析のシステム辞書に例えば“りんご”と“林檎”のように、平仮名表記に対する標準表記を記載しておくことで、形態素解析結果から文書中の表記ゆれを吸収することが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３３８８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
テキスト処理技術においては、形態素解析のシステム辞書に未記載の単語をいかに拡充するかが課題である。従来技術では、形態素解析で解析が不良であった文字列に対して、文字種、文字列の利用頻度、英単語辞書の読み情報を用いて、未知単語を形態素解析のシステム辞書へ登録する技術である。しかしながら、例えば、一語の単語としたいものが、複数の短い単語で正しく解析されてしまう場合、従来技術では対処できない。
【０００７】
また、標準表記の単語とその省略形のような表記ゆれを統一して扱うために必要な情報をいかに準備することも課題となっている。つまり、様々な分野に対し、人手で表記ゆれ単語と標準表記の情報を網羅的にかつ継続的に取得することは、大変な労力がかかる。
【課題を解決するための手段】
【０００８】
そこで、本発明はテキストデータから抽出したページのタイトルデータを形態素解析の拡張辞書のエントリデータとすることにより形態素解析のシステム辞書における単語を拡充させる。
【０００９】
本発明の辞書作成装置の態様としては、テキストデータから形態素解析の拡張辞書データを作成する辞書作成装置であって、テキストデータからページデータを抽出するページ抽出手段と、前記ページデータからそのタイトルデータを抽出するタイトル抽出手段と、前記抽出したタイトルデータが形態素解析のシステム辞書データに存在しない場合に当該タイトルデータを前記形態素解析の拡張辞書のエントリデータとして格納するエントリ格納手段と、前記格納したエントリデータを形態素解析の拡張辞書データとして出力する出力手段とを備える。
【００１０】
本発明の辞書作成方法は、テキストデータから形態素解析の拡張辞書データを作成する辞書作成方法であって、ページ抽出手段がテキストデータからページデータを抽出するステップと、タイトル抽出手段が前記ページデータからそのタイトルデータを抽出するステップと、エントリ格納手段が前記抽出したタイトルデータが形態素解析のシステム辞書データに存在しない場合に当該タイトルデータを前記形態素解析の拡張辞書のエントリデータとして格納するステップと、出力手段が前記格納したエントリデータを形態素解析の拡張辞書データとして出力するステップとを有する。
【００１１】
本発明の辞書作成装置及び辞書作成方法においては、リダイレクト先タイトル抽出手段が前記抽出されたページデータにリダイレクトのデータが存在する場合にリダイレクト先のタイトルデータを抽出し、前記エントリ格納手段が前記抽出されたリダイレクト先タイトルデータを前記タイトル抽出手段が抽出したタイトルデータと対応付けて前記形態素解析の拡張辞書のエントリデータとして格納するようにするとよい。このようなテキストデータのリダイレクト情報に基づく拡張辞書の作成により、標準表記の単語に対応した特定の単語を形態素解析の拡張辞書にエントリできる。
【００１２】
尚、本発明は前記辞書作成装置を構成する各手段としてコンピュータを機能させる辞書作成プログラムの態様とすることもできる。
【発明の効果】
【００１３】
以上の発明によれば、形態素解析に必要なシステム辞書に存在しない単語が拡張辞書にエントリされるので、形態素解析に係る辞書の単語が拡充する。また、前記システム辞書に存在しない単語はその標準表記がある場合にその表記と対応付けられて拡張辞書にエントリされるので、テキスト処理技術がより有効に最適化される。
【図面の簡単な説明】
【００１４】
【図１】発明の実施形態に係る辞書作成装置の構成を示すブロック図。
【図２】発明の実施形態に係る辞書作成装置の処理手順を説明したフローチャート図。
【図３】本発明の実施形態に係る抽出パターンの一覧表。
【図４】本発明の実施形態に係るテキストデータ、ページデータ（Ａ）とこのページデータのタイトル、ページデータ（Ｂ）とこのページデータのタイトル及びリダイレクト先タイトル、拡張辞書データの一例を示した図。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１６】
［概要］
図１に示された発明の実施形態に係る辞書作成装置１は、インターネット上の事典サイトのタイトルやタイトルとリダイレクトの対応を抽出することにより、テキスト処理技術に係る形態素解析のシステム辞書に記載されていない単語またはこれと標準表記とを効率的に拡充させる。そして、前記形態素解析において、作成した拡張辞書をシステム辞書と共に利用することで、概念的に正しい単語による文書解析を可能にさせる。
【００１７】
［装置の構成］
辞書作成装置１は、ハードウェアリソース（ＣＰＵ、メモリ（ＲＡＭ）、ハードディスクドライブ装置、入出力デバイス等）とソフトウェアリソース（ＯＳ、アプリケーション等）との協働の結果、図１に示されたテキストデータ入力部１０から供されたテキストデータからページデータを抽出するページ抽出部１１と、前記ページデータからそのタイトルデータを抽出するタイトル抽出部１２と、前記抽出したタイトルデータが形態素解析のシステム辞書データ１６に存在しない場合に当該タイトルデータを前記形態素解析の拡張辞書のエントリデータとして格納するエントリ格納部１４と、前記格納したエントリデータを形態素解析の拡張辞書データとして出力する拡張辞書データ出力部１５とを実装する。
【００１８】
以下、図１に示された辞書作成装置１を構成する各機能部１０〜１５について説明する。
【００１９】
テキストデータ入力部１０は、事典サイトから取得した「テキストデータ」を格納し、「拡張辞書データ」の作成のために当該テキストデータをページ抽出部１１に供する。テキストデータ入力部１０は、例えば、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、その他の既知の記録媒体のいずれか、またはハードディスク装置等のストレージ手段、若しくは前記事典サイトにアクセス可能なサーバ装置によって実現できる。
【００２０】
前記テキストデータは、事典サイトが予め準備した事典テキストデータであり、ＸＭＬ形式のファイルとなっている。図４（ａ）に例示されたテキストデータはｐａｇｅタグで各項目に区別され、最初のｔｉｔｌｅタグではタイトルとして例えば“○をかける少女”が記述され、ｔｅｘｔタグの範囲にタイトルに関する内容が記述（図示省略）されている。また、図４（ｄ）に例示されたｔｉｔｌｅタグに挟まれた文字列“○かけ”の場合は、ｔｅｘｔタグ内で“＃ＲＥＤＩＲＥＣＴ［［○をかける少女］］”のようにリダイレクト情報が記述されている。尚、インターネット上で公開・更新されている事典サイトのホームページを収集したデータが、複数のホームページファイルから構成されている場合でも、順に処理する手段を有することで仮想的に１つのファイルのように処理できる。
【００２１】
ページ抽出部１１はテキストデータ入力部１０によって入力されたテキストデータからページデータを抽出する。具体的には図３に示された“ＰＡＧＥ”抽出パターンに基づきページデータを抽出する。“ＰＡＧＥ”抽出パターンは処理対象のテキストデータからページタグ“＜ｐａｇｅ＞”とページタグ“＜／ｐａｇｅ＞”の間の文字列を抽出するための検索条件である。すなわち、テキストデータにおける“＜ｐａｇｅ＞”と“＜／ｐａｇｅ＞”の間の文字列を検索することによってページデータを抽出する。例えば、図４（ａ）に示されたテキストデータの場合、ページ抽出部１１によって図４（ｂ）に示されたページデータ（Ａ）が抽出される。
【００２２】
タイトル抽出部１２はページ抽出部１１によって抽出されたページデータからタイトル部分を抽出する。具体的には図３に示された“ＴＩＴＬＥ”抽出パターンに基づきタイトルデータを抽出する。
【００２３】
“ＴＩＴＬＥ”抽出パターンは処理対象のページデータからタイトルタグ“＜ｔｉｔｌｅ＞”とタイトルタグ“＜／ｔｉｔｌｅ＞”の間の文字列を抽出するためと検索条件である。すなわち、ページデータにおける“＜ｔｉｔｌｅ＞”と“＜／ｔｉｔｌｅ＞”の間の文字列を検索することによってタイトルデータを抽出する。例えば、ページデータが図４（ｂ）に示されたページデータ（Ａ）の場合、タイトル抽出部１２によって図４（ｃ）に示されたページデータ（Ａ）のタイトル「○をかける少女」が抽出される。
【００２４】
リダイレクト先タイトル抽出部１３は、ページ抽出部１１によって抽出されたページデータにリダイレクトの記述がある場合、当該ページデータに記載されているリダイレクト先の情報からリダイレクト先タイトルを抽出する。具体的には前記ページデータにおけるリダイレクトの識別子に基づきリダイレクト先のタイトルデータを抽出する。より具体的には図３に示された“ＲＥＤＩＲＥＣＴ＿ＴＩＴＬＥ”抽出パターンに基づきタイトルデータを抽出する。
【００２５】
“ＲＥＤＩＲＥＣＴ＿ＴＩＴＬＥ”抽出パターンは処理対象のページデータから“＜ｔｅｘｔ＞＃ＲＥＤＩＲＥＣＴ［［”と“］］．*＜／ｔｅｘｔ＞”の間の文字列を抽出するための検索条件である。すなわち、ページデータにおける“＜ｔｅｘｔ＞＃ＲＥＤＩＲＥＣＴ［［”と“］］．*＜／ｔｅｘｔ＞”の間の文字列を検索することによってリダイレクト先のタイトルデータを抽出する。例えば、ページデータが図４（ｄ）に示されたページデータ（Ｂ）の場合、リダイレクト先タイトル抽出部１３によって図４（ｆ）に示されたページデータ（Ｂ）のリダイレクト先タイトルデータ「○をかける少女」を抽出できる。
【００２６】
図３に例示された抽出パターンは、テキストデータ入力部１０が入手したテキストデータが事典サイトによって予め準備された事典テキストデータのＸＭＬ形式ファイルであり、当該事典サイトにおいてタイトルやリダイレクトなどの書式が定められている。これらの書式に基づいて抽出パターンを準備すればよい。
【００２７】
一方、テキストデータ入力部１０のテキストデータがインターネット上の事典サイトのホームページを収集したデータの場合、事典サイトの書式に従って、上記ＸＭＬファイルの場合と同様の抽出パターンを準備すればよい。一般的には１つのホームページに１つの語の説明がなされており、ホームページのタイトルに形態素解析に係る辞書にエントリできる文字列が記載されていることが多い。この場合、ホームページのＨＴＭＬの記述における“＜ｔｉｔｌｅ＞”と“＜／ｔｉｔｌｅ＞”との間の文字列を取得するための“ＴＩＴＬＥ”抽出パターンを設定しておけばよい。
【００２８】
また、例えば、事典サイトのホームページの１つが“○×省”であり、“○×省→○□×△省”のような書式で記載されている場合は、“→”の右側の文字列“○□×△省”を抽出するパターンを“ＲＥＤＩＲＥＣＴ＿ＴＩＴＬＥ”抽出パターンとして設定しておくとよい。尚、“ＲＥＤＩＲＥＣＴ＿ＴＩＴＬＥ”抽出パターンによって、ＵＲＬのみ抽出できる場合は、そのＵＲＬのホームページで抽出したタイトルをリダイレクトのタイトルとしての取得することも可能である。
【００２９】
エントリ格納部１４は、タイトル抽出部１２で抽出されたタイトルデータがシステム辞書データ１６に記載がない場合、当該タイトルデータを拡張辞書用のエントリデータとして格納する。また、リダイレクト先タイトル抽出部１３によってリダイレクト先のタイトルデータが抽出された場合は、このタイトルデータも拡張辞書用のエントリデータとして格納する。さらに、テキストデータ入力部１０から供されたテキストデータに未処理のページデータが存在する場合は、当該ページデータをそのタイトルデータの抽出のためにタイトル抽出部１２に供される。エントリ格納部１４はハードディスク装置等のストレージ手段によって実現できる。
【００３０】
拡張辞書データ出力部１５は、テキストデータに未処理の対象ページデータがない場合、抽出部１２，１３によって抽出した拡張辞書用の全てのエントリデータを拡張辞書データとして出力する。
【００３１】
システム辞書データ１６はテキスト処理技術に係る形態素解析の既存のシステム辞書データである。システム辞書データ１６は、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭに例示される周知の記録媒体、ハードディスク装置等のストレージ手段、または、当該辞書データを提供するサーバ装置等に予め保存される。
【００３２】
［処理手順の説明］
図２を参照しながら辞書作成装置１の処理手順Ｓ１０〜Ｓ１５について説明する。ここでは図４（ａ）に例示されたテキストデータの拡張辞書データの作成手順について説明する。
【００３３】
Ｓ１０：テキストデータ入力部１０は、インターネット上で公開及び更新されている事典サイトが予め準備したある時点での事典サイトの事典テキストデータまたはインターネット上で公開及び更新されている事典サイトのホームページを収集したデータを格納する。そして、これらのデータをページ抽出部１１に入力する。例えば図４（ａ）に示されたテキストデータがページ抽出部１１に入力される。
【００３４】
Ｓ１１：ページ抽出部１１はテキストデータ入力部１０から供されたテキストデータから各ページデータを抽出する。
【００３５】
具体的には図３に示されたＰＡＧＥ抽出パターンに基づく検索によって図４（ａ）のテキストデータの先頭から最初のページタグ＜ｐａｇｅ＞に囲まれる部分のページを抽出する。これにより、図４（ｂ）に例示されたページデータ（Ａ）が抽出される。
【００３６】
Ｓ１２：タイトル抽出部１２はページ抽出部１１で抽出したページデータからページのタイトルデータを抽出する。
【００３７】
具体的には図３に示されたＴＩＴＬＥ抽出パターンに基づく検索によって図４（ｂ）のページデータ（Ａ）からタイトルタグ＜ｔｉｔｌｅ＞に囲まれる部分を抽出する。これによりページデータ（Ａ）から図４（ｃ）に例示されたようなタイトルデータ“○をかける少女”が取得される。
【００３８】
Ｓ１３：リダイレクト先タイトル抽出部１３は、Ｓ１２でページ抽出部１１が抽出したページデータにおいてリダイレクトがある場合、リダイレクト先のタイトルを抽出する。一方、前記ページデータにおいてリダイレクトがないと判断した場合、リダイレクト先のタイトルは抽出しない。
【００３９】
図４の事例では、図３のＲＥＤＩＲＥＣＴ＿ＴＩＴＬＥ抽出パターンに基づき図４（ｂ）のページデータ（Ａ）においてリダイレクトに関する情報の検索を行う。この検索によってページデータ（Ａ）にはリダイレクトに関する情報すなわち“＜ｔｅｘｔ＞＃ＲＥＤＩＲＥＣＴ［［”と“］］．*＜／ｔｅｘｔ＞”の間の文字列が含まれないと判断すると、リダイレクト先のタイトルの抽出を実行しない。
【００４０】
Ｓ１４：エントリ格納部１４は、Ｓ１２でタイトル抽出部１２が抽出したタイトルデータがシステム辞書データ１６において未記載である場合、当該タイトルデータを拡張辞書データのエントリデータの一つとして格納する。
【００４１】
例えば、Ｓ１３で抽出されたタイトルデータ“○をかける少女”がシステム辞書データ１６に記載されていない場合、図４（ｇ）に例示された拡張辞書データの１行目にあるように、タイトルデータ“○をかける少女”を格納する。尚、１カラム目はタイトル、２カラム目は標準表記であるが、この場合、２カラム目は空で格納される。
【００４２】
次に、テキストデータに未処理である対象ページが存在する場合、Ｓ１１に戻り、次ページの抽出処理を行う。図４（ａ）に例示されたテキストデータには次ページ（事例ではページデータ（Ｂ））が存在するのでＳ１１が実行される。
【００４３】
Ｓ１１：ページ抽出部１１は、図３のＰＡＧＥ抽出パターンに基づく検索によってページタグ＜ｐａｇｅ＞に囲まれる部分のページを抽出する。これにより、図４（ｄ）に例示されたページデータ（Ｂ）が抽出される。
【００４４】
Ｓ１２：タイトル抽出部１２はＳ１１でページ抽出部１１によって抽出されたページデータ（Ｂ）からページのタイトルを抽出する。
【００４５】
具体的には図３のＴＩＴＬＥ抽出パターンに基づく検索によって図４（ｄ）のページデータ（Ｂ）からタイトルタグ＜ｔｉｔｌｅ＞に囲まれる部分を抽出する。これによりページデータ（Ｂ）から図４（ｅ）に例示されたようなタイトルデータ“○かけ”が取得される。
【００４６】
Ｓ１３：リダイレクト先タイトル抽出部１３は、Ｓ１２でページ抽出部１１が抽出したページデータ（Ｂ）においてリダイレクトが存在する場合、リダイレクト先のタイトルを抽出する。
【００４７】
図４の事例では、図３のＲＥＤＩＲＥＣＴ＿ＴＩＴＬＥ抽出パターンに基づき図４（ｄ）のページデータ（Ｂ）においてリダイレクトに関する情報の検索を行う。ページデータ（Ｂ）についてリダイレクトに関する情報すなわち“＜ｔｅｘｔ＞＃ＲＥＤＩＲＥＣＴ［［”と“］］．*＜／ｔｅｘｔ＞”の間の文字列の検索が行われる。この検索によって“＃ＲＥＤＩＲＥＣＴ［［○をかける少女］］”というリダイレクトに関する情報が含まれていることを判断すると、このリダイレクト先のタイトルデータ“○をかける少女”（図４（ｆ））を一時的に格納する。
【００４８】
Ｓ１４：エントリ格納部１４は、Ｓ１２でタイトル抽出部１２が抽出したタイトルデータ及びＳ１３でリダイレクト先タイトル抽出部１３が抽出したリダイレクト先のタイトルデータがシステム辞書データ１６において未記載である場合、これらのタイトルデータを拡張辞書データのエントリデータとして格納する。
【００４９】
例えば、“○かけ”がシステム辞書データ１６に記載されていない場合、図４（ｇ）に示した拡張辞書データの２行目にあるように、１カラム目はタイトル、２カラム目は標準表記が格納される。事例では、１カラム目にページデータ（Ｂ）のタイトルデータ“○かけ”が、２カラム目に同ページのリダイレクト先タイトルデータの標準表記“○をかける少女”が格納される。
【００５０】
同様にテキストデータに未処理であるページが存在する場合、次のページに対してＳ１１〜Ｓ１４の処理を行い、未処理であるページがなくなった時点でエントリ格納部１４には、システム辞書にないデータが格納された状態となっている。
【００５１】
Ｓ１５：拡張辞書データ出力部１５は、テキストデータ入力部１０のテキストデータに未処理のページがなくなった時点で、エントリ格納部１４の拡張辞書データを出力する。
【００５２】
以上述べた本実施形態に係るテキストデータはデータ形式の一例であり、同様な処理が可能であれば、発明に係るデータ形式は当該実施形態のデータ形式に限定されない。
【００５３】
［本実施形態の効果］
以上のように本実施形態の辞書作成装置１によれば、形態素解析に必要なシステム辞書に存在しない単語を、既存のテキストデータから抽出し、これを拡張辞書にエントリさせているので、形態素解析に係る辞書の単語が拡充する。
【００５４】
また、既存のテキストデータのリダイレクト関係を利用することで、ある特定の単語（例えば表現ゆれ）とその標準表記とを対応付けた拡張辞書を作成することができる。そして、これにより、テキスト処理のより一層の最適化が実現する。
【００５５】
辞書作成装置１によって作成された拡張辞書の効果の一例について説明する。
【００５６】
カテゴリ分類した蓄積文書に対し、カテゴリ毎に文書中の単語統計量（例えば単語出現頻度）を計算しておき、入力した文書の単語統計量と類似したカテゴリを求める場合で説明する。例えば、“○をかける少女”が映画タイトルであり、これらを含む蓄積文書が“映画”カテゴリに含まれていたとする。
【００５７】
従来技術のようにシステム辞書のみを用いた場合、“○をかける少女”は“○”、“を”、“かけ”、“る”、“少女”と５つの単語に分割され、個々の単語は“映画”カテゴリ以外にも出現しやすいため、単語統計量算出の観点から“映画”カテゴリに特徴的な語とはならない。そのため、入力文書に“○をかける少女”が含まれていた場合、“映画”とは違うカテゴリとして誤推定してしまう。
【００５８】
そこで、辞書作成装置１のようにシステム辞書とこの辞書に含まれていない文字列に基づく拡張辞書とを用いることで、“○をかける少女”はそれで１語であり、“映画”カテゴリ以外では出現しにくくなる。したがって、“○をかける少女”は単語統計量算出の観点から“映画”カテゴリに特徴的な語となる。ゆえに、入力文書に“○をかける少女”が含まれていた場合、“映画”カテゴリと正しく推定できる。
【００５９】
同様に、例えば、“○かけ”が映画タイトルの省略形であり、これらを含む蓄積文書が“映画”カテゴリに含まれていたとする。
【００６０】
従来技術のシステム辞書のみを用いた場合、“○かけ”は“○”、“かけ”と２つの単語に分割され、個々の単語は“映画”カテゴリ以外にも出現しやすいため、単語統計量算出の観点から“映画”カテゴリに特徴的な語とはならない。そのため、入力文書に“○かけ”が含まれていた場合、“映画”とは違うカテゴリとして誤推定してしまう。
【００６１】
そこで、辞書作成装置１のようにシステム辞書とこの辞書に含まれていない文字列に基づく拡張辞書とを用いることで、“○かけ”はそれで１語であり、“○かけ”単独では蓄積文書中の統計量が少ない場合も考慮して、標準表記“○をかける少女”に統一して処理すると、“映画”カテゴリ以外では出現しにくくなる。したがって、単語統計量算出の観点から“映画”カテゴリに特徴的な語となる。ゆえに、入力文書に“○かけ”が含まれていた場合、“映画”カテゴリと正しく推定される。
【００６２】
［本発明のプログラムとしての態様］
本発明は、専用のハードウェアにより実現されるもの以外に、上述の辞書作成装置１を構成する機能部１１〜１５としてコンピュータを機能させる辞書作成プログラムの態様とすることもできる。また、この辞書作成プログラムを格納したコンピュータ読み取り可能な記録媒体も本発明の一態様となる。前記記録媒体としては、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、その他の既知の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置が例示される。さらに、前記記録媒体としては、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含まれる。
【符号の説明】
【００６３】
１…辞書作成装置
１１…ページ抽出部（ページ抽出手段）
１２…タイトル抽出部（タイトル抽出手段）
１３…リダイレクト先タイトル抽出部（リダイレクト先タイトル抽出手段）
１４…エントリ格納部（エントリ格納手段）
１５…拡張辞書データ出力部（出力手段）
１６…システム辞書データ
【技術分野】
【０００１】
本発明はテキスト処理に係る形態素解析のシステム辞書にエントリされていないデータを拡充するための技術に関するものである。
【背景技術】
【０００２】
インターネット上には多種多様なテキストが大量にあり、それらを自動で処理例えば検索処理するには、形態素解析技術の利用が欠かせない。しかしながら、日々、広範な分野で新語が生まれているため、形態素解析を正確に行うには形態素解析のシステム辞書の拡充が不可欠であり、例えば、未知語を形態素解析辞書へ登録する従来技術が開示されている（特許文献１）。
【０００３】
また、別の技術として、カテゴリ分類した蓄積文書に対し、カテゴリ毎に文書中の単語統計量を計算しておき、入力した文書の単語統計量と類似したカテゴリを求めるものがある。この処理において、文書中に省略形などの表記ゆれした単語がある場合、表記ゆれした単語を意味的に正しく計数するために、標準表記に統一して扱うことが一般的である。
【０００４】
一方、形態素解析技術では、形態素解析のシステム辞書に例えば“りんご”と“林檎”のように、平仮名表記に対する標準表記を記載しておくことで、形態素解析結果から文書中の表記ゆれを吸収することが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３３８８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
テキスト処理技術においては、形態素解析のシステム辞書に未記載の単語をいかに拡充するかが課題である。従来技術では、形態素解析で解析が不良であった文字列に対して、文字種、文字列の利用頻度、英単語辞書の読み情報を用いて、未知単語を形態素解析のシステム辞書へ登録する技術である。しかしながら、例えば、一語の単語としたいものが、複数の短い単語で正しく解析されてしまう場合、従来技術では対処できない。
【０００７】
また、標準表記の単語とその省略形のような表記ゆれを統一して扱うために必要な情報をいかに準備することも課題となっている。つまり、様々な分野に対し、人手で表記ゆれ単語と標準表記の情報を網羅的にかつ継続的に取得することは、大変な労力がかかる。
【課題を解決するための手段】
【０００８】
そこで、本発明はテキストデータから抽出したページのタイトルデータを形態素解析の拡張辞書のエントリデータとすることにより形態素解析のシステム辞書における単語を拡充させる。
【０００９】
本発明の辞書作成装置の態様としては、テキストデータから形態素解析の拡張辞書データを作成する辞書作成装置であって、テキストデータからページデータを抽出するページ抽出手段と、前記ページデータからそのタイトルデータを抽出するタイトル抽出手段と、前記抽出したタイトルデータが形態素解析のシステム辞書データに存在しない場合に当該タイトルデータを前記形態素解析の拡張辞書のエントリデータとして格納するエントリ格納手段と、前記格納したエントリデータを形態素解析の拡張辞書データとして出力する出力手段とを備える。
【００１０】
本発明の辞書作成方法は、テキストデータから形態素解析の拡張辞書データを作成する辞書作成方法であって、ページ抽出手段がテキストデータからページデータを抽出するステップと、タイトル抽出手段が前記ページデータからそのタイトルデータを抽出するステップと、エントリ格納手段が前記抽出したタイトルデータが形態素解析のシステム辞書データに存在しない場合に当該タイトルデータを前記形態素解析の拡張辞書のエントリデータとして格納するステップと、出力手段が前記格納したエントリデータを形態素解析の拡張辞書データとして出力するステップとを有する。
【００１１】
本発明の辞書作成装置及び辞書作成方法においては、リダイレクト先タイトル抽出手段が前記抽出されたページデータにリダイレクトのデータが存在する場合にリダイレクト先のタイトルデータを抽出し、前記エントリ格納手段が前記抽出されたリダイレクト先タイトルデータを前記タイトル抽出手段が抽出したタイトルデータと対応付けて前記形態素解析の拡張辞書のエントリデータとして格納するようにするとよい。このようなテキストデータのリダイレクト情報に基づく拡張辞書の作成により、標準表記の単語に対応した特定の単語を形態素解析の拡張辞書にエントリできる。
【００１２】
尚、本発明は前記辞書作成装置を構成する各手段としてコンピュータを機能させる辞書作成プログラムの態様とすることもできる。
【発明の効果】
【００１３】
以上の発明によれば、形態素解析に必要なシステム辞書に存在しない単語が拡張辞書にエントリされるので、形態素解析に係る辞書の単語が拡充する。また、前記システム辞書に存在しない単語はその標準表記がある場合にその表記と対応付けられて拡張辞書にエントリされるので、テキスト処理技術がより有効に最適化される。
【図面の簡単な説明】
【００１４】
【図１】発明の実施形態に係る辞書作成装置の構成を示すブロック図。
【図２】発明の実施形態に係る辞書作成装置の処理手順を説明したフローチャート図。
【図３】本発明の実施形態に係る抽出パターンの一覧表。
【図４】本発明の実施形態に係るテキストデータ、ページデータ（Ａ）とこのページデータのタイトル、ページデータ（Ｂ）とこのページデータのタイトル及びリダイレクト先タイトル、拡張辞書データの一例を示した図。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１６】
［概要］
図１に示された発明の実施形態に係る辞書作成装置１は、インターネット上の事典サイトのタイトルやタイトルとリダイレクトの対応を抽出することにより、テキスト処理技術に係る形態素解析のシステム辞書に記載されていない単語またはこれと標準表記とを効率的に拡充させる。そして、前記形態素解析において、作成した拡張辞書をシステム辞書と共に利用することで、概念的に正しい単語による文書解析を可能にさせる。
【００１７】
［装置の構成］
辞書作成装置１は、ハードウェアリソース（ＣＰＵ、メモリ（ＲＡＭ）、ハードディスクドライブ装置、入出力デバイス等）とソフトウェアリソース（ＯＳ、アプリケーション等）との協働の結果、図１に示されたテキストデータ入力部１０から供されたテキストデータからページデータを抽出するページ抽出部１１と、前記ページデータからそのタイトルデータを抽出するタイトル抽出部１２と、前記抽出したタイトルデータが形態素解析のシステム辞書データ１６に存在しない場合に当該タイトルデータを前記形態素解析の拡張辞書のエントリデータとして格納するエントリ格納部１４と、前記格納したエントリデータを形態素解析の拡張辞書データとして出力する拡張辞書データ出力部１５とを実装する。
【００１８】
以下、図１に示された辞書作成装置１を構成する各機能部１０〜１５について説明する。
【００１９】
テキストデータ入力部１０は、事典サイトから取得した「テキストデータ」を格納し、「拡張辞書データ」の作成のために当該テキストデータをページ抽出部１１に供する。テキストデータ入力部１０は、例えば、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、その他の既知の記録媒体のいずれか、またはハードディスク装置等のストレージ手段、若しくは前記事典サイトにアクセス可能なサーバ装置によって実現できる。
【００２０】
前記テキストデータは、事典サイトが予め準備した事典テキストデータであり、ＸＭＬ形式のファイルとなっている。図４（ａ）に例示されたテキストデータはｐａｇｅタグで各項目に区別され、最初のｔｉｔｌｅタグではタイトルとして例えば“○をかける少女”が記述され、ｔｅｘｔタグの範囲にタイトルに関する内容が記述（図示省略）されている。また、図４（ｄ）に例示されたｔｉｔｌｅタグに挟まれた文字列“○かけ”の場合は、ｔｅｘｔタグ内で“＃ＲＥＤＩＲＥＣＴ［［○をかける少女］］”のようにリダイレクト情報が記述されている。尚、インターネット上で公開・更新されている事典サイトのホームページを収集したデータが、複数のホームページファイルから構成されている場合でも、順に処理する手段を有することで仮想的に１つのファイルのように処理できる。
【００２１】
ページ抽出部１１はテキストデータ入力部１０によって入力されたテキストデータからページデータを抽出する。具体的には図３に示された“ＰＡＧＥ”抽出パターンに基づきページデータを抽出する。“ＰＡＧＥ”抽出パターンは処理対象のテキストデータからページタグ“＜ｐａｇｅ＞”とページタグ“＜／ｐａｇｅ＞”の間の文字列を抽出するための検索条件である。すなわち、テキストデータにおける“＜ｐａｇｅ＞”と“＜／ｐａｇｅ＞”の間の文字列を検索することによってページデータを抽出する。例えば、図４（ａ）に示されたテキストデータの場合、ページ抽出部１１によって図４（ｂ）に示されたページデータ（Ａ）が抽出される。
【００２２】
タイトル抽出部１２はページ抽出部１１によって抽出されたページデータからタイトル部分を抽出する。具体的には図３に示された“ＴＩＴＬＥ”抽出パターンに基づきタイトルデータを抽出する。
【００２３】
“ＴＩＴＬＥ”抽出パターンは処理対象のページデータからタイトルタグ“＜ｔｉｔｌｅ＞”とタイトルタグ“＜／ｔｉｔｌｅ＞”の間の文字列を抽出するためと検索条件である。すなわち、ページデータにおける“＜ｔｉｔｌｅ＞”と“＜／ｔｉｔｌｅ＞”の間の文字列を検索することによってタイトルデータを抽出する。例えば、ページデータが図４（ｂ）に示されたページデータ（Ａ）の場合、タイトル抽出部１２によって図４（ｃ）に示されたページデータ（Ａ）のタイトル「○をかける少女」が抽出される。
【００２４】
リダイレクト先タイトル抽出部１３は、ページ抽出部１１によって抽出されたページデータにリダイレクトの記述がある場合、当該ページデータに記載されているリダイレクト先の情報からリダイレクト先タイトルを抽出する。具体的には前記ページデータにおけるリダイレクトの識別子に基づきリダイレクト先のタイトルデータを抽出する。より具体的には図３に示された“ＲＥＤＩＲＥＣＴ＿ＴＩＴＬＥ”抽出パターンに基づきタイトルデータを抽出する。
【００２５】
“ＲＥＤＩＲＥＣＴ＿ＴＩＴＬＥ”抽出パターンは処理対象のページデータから“＜ｔｅｘｔ＞＃ＲＥＤＩＲＥＣＴ［［”と“］］．*＜／ｔｅｘｔ＞”の間の文字列を抽出するための検索条件である。すなわち、ページデータにおける“＜ｔｅｘｔ＞＃ＲＥＤＩＲＥＣＴ［［”と“］］．*＜／ｔｅｘｔ＞”の間の文字列を検索することによってリダイレクト先のタイトルデータを抽出する。例えば、ページデータが図４（ｄ）に示されたページデータ（Ｂ）の場合、リダイレクト先タイトル抽出部１３によって図４（ｆ）に示されたページデータ（Ｂ）のリダイレクト先タイトルデータ「○をかける少女」を抽出できる。
【００２６】
図３に例示された抽出パターンは、テキストデータ入力部１０が入手したテキストデータが事典サイトによって予め準備された事典テキストデータのＸＭＬ形式ファイルであり、当該事典サイトにおいてタイトルやリダイレクトなどの書式が定められている。これらの書式に基づいて抽出パターンを準備すればよい。
【００２７】
一方、テキストデータ入力部１０のテキストデータがインターネット上の事典サイトのホームページを収集したデータの場合、事典サイトの書式に従って、上記ＸＭＬファイルの場合と同様の抽出パターンを準備すればよい。一般的には１つのホームページに１つの語の説明がなされており、ホームページのタイトルに形態素解析に係る辞書にエントリできる文字列が記載されていることが多い。この場合、ホームページのＨＴＭＬの記述における“＜ｔｉｔｌｅ＞”と“＜／ｔｉｔｌｅ＞”との間の文字列を取得するための“ＴＩＴＬＥ”抽出パターンを設定しておけばよい。
【００２８】
また、例えば、事典サイトのホームページの１つが“○×省”であり、“○×省→○□×△省”のような書式で記載されている場合は、“→”の右側の文字列“○□×△省”を抽出するパターンを“ＲＥＤＩＲＥＣＴ＿ＴＩＴＬＥ”抽出パターンとして設定しておくとよい。尚、“ＲＥＤＩＲＥＣＴ＿ＴＩＴＬＥ”抽出パターンによって、ＵＲＬのみ抽出できる場合は、そのＵＲＬのホームページで抽出したタイトルをリダイレクトのタイトルとしての取得することも可能である。
【００２９】
エントリ格納部１４は、タイトル抽出部１２で抽出されたタイトルデータがシステム辞書データ１６に記載がない場合、当該タイトルデータを拡張辞書用のエントリデータとして格納する。また、リダイレクト先タイトル抽出部１３によってリダイレクト先のタイトルデータが抽出された場合は、このタイトルデータも拡張辞書用のエントリデータとして格納する。さらに、テキストデータ入力部１０から供されたテキストデータに未処理のページデータが存在する場合は、当該ページデータをそのタイトルデータの抽出のためにタイトル抽出部１２に供される。エントリ格納部１４はハードディスク装置等のストレージ手段によって実現できる。
【００３０】
拡張辞書データ出力部１５は、テキストデータに未処理の対象ページデータがない場合、抽出部１２，１３によって抽出した拡張辞書用の全てのエントリデータを拡張辞書データとして出力する。
【００３１】
システム辞書データ１６はテキスト処理技術に係る形態素解析の既存のシステム辞書データである。システム辞書データ１６は、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭに例示される周知の記録媒体、ハードディスク装置等のストレージ手段、または、当該辞書データを提供するサーバ装置等に予め保存される。
【００３２】
［処理手順の説明］
図２を参照しながら辞書作成装置１の処理手順Ｓ１０〜Ｓ１５について説明する。ここでは図４（ａ）に例示されたテキストデータの拡張辞書データの作成手順について説明する。
【００３３】
Ｓ１０：テキストデータ入力部１０は、インターネット上で公開及び更新されている事典サイトが予め準備したある時点での事典サイトの事典テキストデータまたはインターネット上で公開及び更新されている事典サイトのホームページを収集したデータを格納する。そして、これらのデータをページ抽出部１１に入力する。例えば図４（ａ）に示されたテキストデータがページ抽出部１１に入力される。
【００３４】
Ｓ１１：ページ抽出部１１はテキストデータ入力部１０から供されたテキストデータから各ページデータを抽出する。
【００３５】
具体的には図３に示されたＰＡＧＥ抽出パターンに基づく検索によって図４（ａ）のテキストデータの先頭から最初のページタグ＜ｐａｇｅ＞に囲まれる部分のページを抽出する。これにより、図４（ｂ）に例示されたページデータ（Ａ）が抽出される。
【００３６】
Ｓ１２：タイトル抽出部１２はページ抽出部１１で抽出したページデータからページのタイトルデータを抽出する。
【００３７】
具体的には図３に示されたＴＩＴＬＥ抽出パターンに基づく検索によって図４（ｂ）のページデータ（Ａ）からタイトルタグ＜ｔｉｔｌｅ＞に囲まれる部分を抽出する。これによりページデータ（Ａ）から図４（ｃ）に例示されたようなタイトルデータ“○をかける少女”が取得される。
【００３８】
Ｓ１３：リダイレクト先タイトル抽出部１３は、Ｓ１２でページ抽出部１１が抽出したページデータにおいてリダイレクトがある場合、リダイレクト先のタイトルを抽出する。一方、前記ページデータにおいてリダイレクトがないと判断した場合、リダイレクト先のタイトルは抽出しない。
【００３９】
図４の事例では、図３のＲＥＤＩＲＥＣＴ＿ＴＩＴＬＥ抽出パターンに基づき図４（ｂ）のページデータ（Ａ）においてリダイレクトに関する情報の検索を行う。この検索によってページデータ（Ａ）にはリダイレクトに関する情報すなわち“＜ｔｅｘｔ＞＃ＲＥＤＩＲＥＣＴ［［”と“］］．*＜／ｔｅｘｔ＞”の間の文字列が含まれないと判断すると、リダイレクト先のタイトルの抽出を実行しない。
【００４０】
Ｓ１４：エントリ格納部１４は、Ｓ１２でタイトル抽出部１２が抽出したタイトルデータがシステム辞書データ１６において未記載である場合、当該タイトルデータを拡張辞書データのエントリデータの一つとして格納する。
【００４１】
例えば、Ｓ１３で抽出されたタイトルデータ“○をかける少女”がシステム辞書データ１６に記載されていない場合、図４（ｇ）に例示された拡張辞書データの１行目にあるように、タイトルデータ“○をかける少女”を格納する。尚、１カラム目はタイトル、２カラム目は標準表記であるが、この場合、２カラム目は空で格納される。
【００４２】
次に、テキストデータに未処理である対象ページが存在する場合、Ｓ１１に戻り、次ページの抽出処理を行う。図４（ａ）に例示されたテキストデータには次ページ（事例ではページデータ（Ｂ））が存在するのでＳ１１が実行される。
【００４３】
Ｓ１１：ページ抽出部１１は、図３のＰＡＧＥ抽出パターンに基づく検索によってページタグ＜ｐａｇｅ＞に囲まれる部分のページを抽出する。これにより、図４（ｄ）に例示されたページデータ（Ｂ）が抽出される。
【００４４】
Ｓ１２：タイトル抽出部１２はＳ１１でページ抽出部１１によって抽出されたページデータ（Ｂ）からページのタイトルを抽出する。
【００４５】
具体的には図３のＴＩＴＬＥ抽出パターンに基づく検索によって図４（ｄ）のページデータ（Ｂ）からタイトルタグ＜ｔｉｔｌｅ＞に囲まれる部分を抽出する。これによりページデータ（Ｂ）から図４（ｅ）に例示されたようなタイトルデータ“○かけ”が取得される。
【００４６】
Ｓ１３：リダイレクト先タイトル抽出部１３は、Ｓ１２でページ抽出部１１が抽出したページデータ（Ｂ）においてリダイレクトが存在する場合、リダイレクト先のタイトルを抽出する。
【００４７】
図４の事例では、図３のＲＥＤＩＲＥＣＴ＿ＴＩＴＬＥ抽出パターンに基づき図４（ｄ）のページデータ（Ｂ）においてリダイレクトに関する情報の検索を行う。ページデータ（Ｂ）についてリダイレクトに関する情報すなわち“＜ｔｅｘｔ＞＃ＲＥＤＩＲＥＣＴ［［”と“］］．*＜／ｔｅｘｔ＞”の間の文字列の検索が行われる。この検索によって“＃ＲＥＤＩＲＥＣＴ［［○をかける少女］］”というリダイレクトに関する情報が含まれていることを判断すると、このリダイレクト先のタイトルデータ“○をかける少女”（図４（ｆ））を一時的に格納する。
【００４８】
Ｓ１４：エントリ格納部１４は、Ｓ１２でタイトル抽出部１２が抽出したタイトルデータ及びＳ１３でリダイレクト先タイトル抽出部１３が抽出したリダイレクト先のタイトルデータがシステム辞書データ１６において未記載である場合、これらのタイトルデータを拡張辞書データのエントリデータとして格納する。
【００４９】
例えば、“○かけ”がシステム辞書データ１６に記載されていない場合、図４（ｇ）に示した拡張辞書データの２行目にあるように、１カラム目はタイトル、２カラム目は標準表記が格納される。事例では、１カラム目にページデータ（Ｂ）のタイトルデータ“○かけ”が、２カラム目に同ページのリダイレクト先タイトルデータの標準表記“○をかける少女”が格納される。
【００５０】
同様にテキストデータに未処理であるページが存在する場合、次のページに対してＳ１１〜Ｓ１４の処理を行い、未処理であるページがなくなった時点でエントリ格納部１４には、システム辞書にないデータが格納された状態となっている。
【００５１】
Ｓ１５：拡張辞書データ出力部１５は、テキストデータ入力部１０のテキストデータに未処理のページがなくなった時点で、エントリ格納部１４の拡張辞書データを出力する。
【００５２】
以上述べた本実施形態に係るテキストデータはデータ形式の一例であり、同様な処理が可能であれば、発明に係るデータ形式は当該実施形態のデータ形式に限定されない。
【００５３】
［本実施形態の効果］
以上のように本実施形態の辞書作成装置１によれば、形態素解析に必要なシステム辞書に存在しない単語を、既存のテキストデータから抽出し、これを拡張辞書にエントリさせているので、形態素解析に係る辞書の単語が拡充する。
【００５４】
また、既存のテキストデータのリダイレクト関係を利用することで、ある特定の単語（例えば表現ゆれ）とその標準表記とを対応付けた拡張辞書を作成することができる。そして、これにより、テキスト処理のより一層の最適化が実現する。
【００５５】
辞書作成装置１によって作成された拡張辞書の効果の一例について説明する。
【００５６】
カテゴリ分類した蓄積文書に対し、カテゴリ毎に文書中の単語統計量（例えば単語出現頻度）を計算しておき、入力した文書の単語統計量と類似したカテゴリを求める場合で説明する。例えば、“○をかける少女”が映画タイトルであり、これらを含む蓄積文書が“映画”カテゴリに含まれていたとする。
【００５７】
従来技術のようにシステム辞書のみを用いた場合、“○をかける少女”は“○”、“を”、“かけ”、“る”、“少女”と５つの単語に分割され、個々の単語は“映画”カテゴリ以外にも出現しやすいため、単語統計量算出の観点から“映画”カテゴリに特徴的な語とはならない。そのため、入力文書に“○をかける少女”が含まれていた場合、“映画”とは違うカテゴリとして誤推定してしまう。
【００５８】
そこで、辞書作成装置１のようにシステム辞書とこの辞書に含まれていない文字列に基づく拡張辞書とを用いることで、“○をかける少女”はそれで１語であり、“映画”カテゴリ以外では出現しにくくなる。したがって、“○をかける少女”は単語統計量算出の観点から“映画”カテゴリに特徴的な語となる。ゆえに、入力文書に“○をかける少女”が含まれていた場合、“映画”カテゴリと正しく推定できる。
【００５９】
同様に、例えば、“○かけ”が映画タイトルの省略形であり、これらを含む蓄積文書が“映画”カテゴリに含まれていたとする。
【００６０】
従来技術のシステム辞書のみを用いた場合、“○かけ”は“○”、“かけ”と２つの単語に分割され、個々の単語は“映画”カテゴリ以外にも出現しやすいため、単語統計量算出の観点から“映画”カテゴリに特徴的な語とはならない。そのため、入力文書に“○かけ”が含まれていた場合、“映画”とは違うカテゴリとして誤推定してしまう。
【００６１】
そこで、辞書作成装置１のようにシステム辞書とこの辞書に含まれていない文字列に基づく拡張辞書とを用いることで、“○かけ”はそれで１語であり、“○かけ”単独では蓄積文書中の統計量が少ない場合も考慮して、標準表記“○をかける少女”に統一して処理すると、“映画”カテゴリ以外では出現しにくくなる。したがって、単語統計量算出の観点から“映画”カテゴリに特徴的な語となる。ゆえに、入力文書に“○かけ”が含まれていた場合、“映画”カテゴリと正しく推定される。
【００６２】
［本発明のプログラムとしての態様］
本発明は、専用のハードウェアにより実現されるもの以外に、上述の辞書作成装置１を構成する機能部１１〜１５としてコンピュータを機能させる辞書作成プログラムの態様とすることもできる。また、この辞書作成プログラムを格納したコンピュータ読み取り可能な記録媒体も本発明の一態様となる。前記記録媒体としては、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、その他の既知の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置が例示される。さらに、前記記録媒体としては、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含まれる。
【符号の説明】
【００６３】
１…辞書作成装置
１１…ページ抽出部（ページ抽出手段）
１２…タイトル抽出部（タイトル抽出手段）
１３…リダイレクト先タイトル抽出部（リダイレクト先タイトル抽出手段）
１４…エントリ格納部（エントリ格納手段）
１５…拡張辞書データ出力部（出力手段）
１６…システム辞書データ
【特許請求の範囲】
【請求項１】
テキストデータから形態素解析の拡張辞書データを作成する辞書作成装置であって、
テキストデータからページデータを抽出するページ抽出手段と、
前記ページデータからそのタイトルデータを抽出するタイトル抽出手段と、
前記抽出したタイトルデータが形態素解析のシステム辞書データに存在しない場合に当該タイトルデータを前記形態素解析の拡張辞書のエントリデータとして格納するエントリ格納手段と、
前記格納したエントリデータを形態素解析の拡張辞書データとして出力する出力手段と
を備えたこと
を特徴とする辞書作成装置。
【請求項２】
前記抽出されたページデータにリダイレクトのデータが存在する場合にリダイレクト先のタイトルデータを抽出するリダイレクト先タイトル抽出手段をさらに備え、
前記エントリ格納手段は、前記抽出されたリダイレクト先タイトルデータを、前記タイトル抽出手段が抽出したタイトルデータと対応付けて、前記形態素解析の拡張辞書のエントリデータとして格納すること
を特徴とする請求項１に記載の辞書作成装置。
【請求項３】
前記ページ抽出手段は、前記テキストデータにおけるページタグの間の文字列を検索することによってページデータを抽出すること
を特徴とする請求項１または２に記載の辞書作成装置。
【請求項４】
前記タイトル抽出手段は、前記テキストデータにおけるタイトルタグの間の文字列を検索することによってタイトルデータを抽出すること
を特徴とする請求項１から３のいずれか１項に記載の辞書作成装置。
【請求項５】
前記リダイレクト先タイトル抽出手段は、前記テキストデータにおけるリダイレクトの識別子に基づきリダイレクト先のタイトルデータを抽出すること
を特徴とする請求項２から４のいずれか１項に記載の辞書作成装置。
【請求項６】
テキストデータから形態素解析の拡張辞書データを作成する辞書作成方法であって、
ページ抽出手段がテキストデータからページデータを抽出するステップと、
タイトル抽出手段が前記ページデータからそのタイトルデータを抽出するステップと、
エントリ格納手段が前記抽出したタイトルデータが形態素解析のシステム辞書データに存在しない場合に当該タイトルデータを前記形態素解析の拡張辞書のエントリデータとして格納するステップと、
出力手段が前記格納したエントリデータを形態素解析の拡張辞書データとして出力するステップと
を有すること
を特徴とする辞書作成方法。
【請求項７】
リダイレクト先タイトル抽出手段が前記抽出されたページデータにリダイレクトのデータが存在する場合にリダイレクト先のタイトルデータを抽出するステップと、
前記エントリ格納手段が前記抽出されたリダイレクト先タイトルデータを前記タイトル抽出手段が抽出したタイトルデータと対応付けて前記形態素解析の拡張辞書のエントリデータとして格納するステップと
をさらに有すること
を特徴とする請求項６に記載の辞書作成方法。
【請求項８】
請求項１から５のいずれか１項に記載の辞書作成装置を構成する各手段としてコンピュータを機能させることを特徴とする辞書作成プログラム。
【請求項１】
テキストデータから形態素解析の拡張辞書データを作成する辞書作成装置であって、
テキストデータからページデータを抽出するページ抽出手段と、
前記ページデータからそのタイトルデータを抽出するタイトル抽出手段と、
前記抽出したタイトルデータが形態素解析のシステム辞書データに存在しない場合に当該タイトルデータを前記形態素解析の拡張辞書のエントリデータとして格納するエントリ格納手段と、
前記格納したエントリデータを形態素解析の拡張辞書データとして出力する出力手段と
を備えたこと
を特徴とする辞書作成装置。
【請求項２】
前記抽出されたページデータにリダイレクトのデータが存在する場合にリダイレクト先のタイトルデータを抽出するリダイレクト先タイトル抽出手段をさらに備え、
前記エントリ格納手段は、前記抽出されたリダイレクト先タイトルデータを、前記タイトル抽出手段が抽出したタイトルデータと対応付けて、前記形態素解析の拡張辞書のエントリデータとして格納すること
を特徴とする請求項１に記載の辞書作成装置。
【請求項３】
前記ページ抽出手段は、前記テキストデータにおけるページタグの間の文字列を検索することによってページデータを抽出すること
を特徴とする請求項１または２に記載の辞書作成装置。
【請求項４】
前記タイトル抽出手段は、前記テキストデータにおけるタイトルタグの間の文字列を検索することによってタイトルデータを抽出すること
を特徴とする請求項１から３のいずれか１項に記載の辞書作成装置。
【請求項５】
前記リダイレクト先タイトル抽出手段は、前記テキストデータにおけるリダイレクトの識別子に基づきリダイレクト先のタイトルデータを抽出すること
を特徴とする請求項２から４のいずれか１項に記載の辞書作成装置。
【請求項６】
テキストデータから形態素解析の拡張辞書データを作成する辞書作成方法であって、
ページ抽出手段がテキストデータからページデータを抽出するステップと、
タイトル抽出手段が前記ページデータからそのタイトルデータを抽出するステップと、
エントリ格納手段が前記抽出したタイトルデータが形態素解析のシステム辞書データに存在しない場合に当該タイトルデータを前記形態素解析の拡張辞書のエントリデータとして格納するステップと、
出力手段が前記格納したエントリデータを形態素解析の拡張辞書データとして出力するステップと
を有すること
を特徴とする辞書作成方法。
【請求項７】
リダイレクト先タイトル抽出手段が前記抽出されたページデータにリダイレクトのデータが存在する場合にリダイレクト先のタイトルデータを抽出するステップと、
前記エントリ格納手段が前記抽出されたリダイレクト先タイトルデータを前記タイトル抽出手段が抽出したタイトルデータと対応付けて前記形態素解析の拡張辞書のエントリデータとして格納するステップと
をさらに有すること
を特徴とする請求項６に記載の辞書作成方法。
【請求項８】
請求項１から５のいずれか１項に記載の辞書作成装置を構成する各手段としてコンピュータを機能させることを特徴とする辞書作成プログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−１５４４７５（Ｐ２０１１−１５４４７５Ａ）
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願番号】特願２０１０−１４６６１（Ｐ２０１０−１４６６１）
【出願日】平成２２年１月２６日（２０１０．１．２６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願日】平成２２年１月２６日（２０１０．１．２６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]