特徴量算出装置、品詞推定装置およびプログラム
【課題】高い信頼性で未知文字列から単語を特定する技術を提供する。
【解決手段】特徴量算出装置１は、文章データ内において単語の境界を推定し、該境界によって特定される各単語の品詞を推定し、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部１１０と、文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部１０４と、上記ラベル付データと上記変換テーブルとを用いて、文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部１３０とを備え、特徴量データ生成部１３０は、文章データ内において、一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を特徴量として含む特徴量データを生成する。
【解決手段】特徴量算出装置１は、文章データ内において単語の境界を推定し、該境界によって特定される各単語の品詞を推定し、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部１１０と、文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部１０４と、上記ラベル付データと上記変換テーブルとを用いて、文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部１３０とを備え、特徴量データ生成部１３０は、文章データ内において、一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を特徴量として含む特徴量データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴量算出装置、品詞推定装置およびプログラムに関する。
【背景技術】
【０００２】
現在、単語の品詞を推定する技術が知られている（非特許文献１参照）。非特許文献１に記載の技術は、品詞推定の対象である英単語における、数字の有無、大文字の有無、ハイフンの有無などの特徴量に基づいて、英単語の品詞を推定するというものである。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】“Support Vector Machineを用いた未知語の品詞推定”，中川 哲治， 工藤 拓，松本 裕治，情報処理学会研究報告 自然言語処理研究会報告 IPSJ SIG Notes 2001(9) pp.77-82 20010125．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載の技術では、日本語の単語の品詞を推定することができないという問題がある。英単語と日本語の単語とでは特徴が異なるため、英単語の品詞推定に用いる特徴量が、日本語の単語には適用できないからである。また、非特許文献１に記載の技術では、品詞や単語の出現回数などの定量的な数値を特徴量としていないため、出現回数が高い事例と少ない事例とが対等に扱われる。これにより、出現頻度が高い事例に対する信頼性が出現回数の少ない事例と対等になってしまい、品詞の推定精度が低下するという問題がある。
【０００５】
本発明は、上述した課題に鑑みてなされたものであって、日本語の品詞推定を高精度に行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明の一態様である特徴量算出装置は、学習データである文章データ内において単語の境界を推定するとともに、境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部と、文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部と、ラベル付データ生成部によって生成されたラベル付データと変換テーブル記憶部に記憶された変換テーブルとを用いて、文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部とを備え、特徴量データ生成部は、文章データ内において、一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を特徴量として含む特徴量データを生成することを特徴とする。
【０００７】
上記特徴量算出装置において、特徴量データ生成部は、一の単語が、小文字の平仮名、小文字の片仮名、所定の記号のそれぞれを含むか否かを判定し、各判定結果を特徴量として更に含む特徴量データを生成するようにしてもよい。
【０００８】
上記特徴量算出装置は、ラベル付データを用いて変換テーブルを生成する変換テーブル生成部を更に備えるようにしてもよい。
【０００９】
上記問題を解決するために、本発明の他の態様である特徴量算出装置は、学習データである文章データ内において単語の境界を推定するとともに、境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部と、文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部と、ラベル付データ生成部によって生成されたラベル付データと変換テーブル記憶部に記憶された変換テーブルとを用いて、文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部とを備え、特徴量データ生成部は、文章データ内において、一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類を判定するとともに、一の単語が、小文字の平仮名、小文字の片仮名、所定の記号のそれぞれを含むか否かを判定し、各判定結果を特徴量として含む特徴量データを生成することを特徴とする。
【００１０】
上記特徴量算出装置は、ラベル付データを用いて変換テーブルを生成する変換テーブル生成部を更に備えるようにしてもよい。
【００１１】
上記問題を解決するために、本発明の他の態様である品詞推定装置は、学習データである文章データ内において単語の境界を推定するとともに、境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部と、文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部と、ラベル付データ生成部によって生成されたラベル付データと変換テーブル記憶部に記憶された変換テーブルとを用いて、文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部と、特徴量データ生成部によって生成された特徴量データを用いて、品詞が未知である単語の品詞を推定する品詞特定部とを備え、特徴量データ生成部は、文章データ内において、一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を特徴量として含む特徴量データを生成することを特徴とする。
【００１２】
上記問題を解決するために、本発明の他の態様であるプログラムは、文字、単語および品詞を数値に変換するための変換テーブルを記憶する特徴量算出装置のコンピュータに、 学習データである文章データ内において単語の境界を推定するとともに、境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成ステップと、ラベル付データ生成ステップによって生成されたラベル付データと変換テーブルとを用いて、文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成ステップとを実行させるプログラムであって、特徴量データ生成ステップは、文章データ内において、一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を特徴量として含む特徴量データを生成することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、日本語の品詞推定を高精度に行うことができるようになる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による品詞推定装置１の機能ブロック図の一例である。
【図２】学習データである文章データの一例である。
【図３】ラベル付データの一例である。
【図４】変換データ（文字ＩＤテーブル、単語ＩＤテーブル、品詞ＩＤテーブル）の一例である。
【図５】変換データ（文字ＩＤテーブル、単語ＩＤテーブル、品詞ＩＤテーブル）の他の一例である。
【図６】特徴量データの項目の一例である。
【図７】特徴量データの一例である。
【図８】品詞推定装置１の動作の一例を示すフローチャートである。
【図９】品詞推定装置１の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について図面を参照して詳細に説明する。本発明の一実施形態による品詞推定装置１は、図１に示すように、特徴量算出部１０、未知語データ記憶部１０８および品詞推定部１４０を備える。特徴量算出部１０は、学習データ記憶部１００、ラベル付データ記憶部１０２、変換テーブル記憶部１０４、特徴量データ記憶部１０６、ラベル付データ生成部１１０、変換テーブル生成部１２０および特徴量データ生成部１３０を備える。
【００１６】
品詞推定装置１は、学習データ（後述）から得られた特徴量データ（後述）を用いて品詞が未知である単語（以下、「未知語」という）の品詞を推定する装置（例えば、ラベル付データ生成部１１０、変換テーブル生成部１２０および特徴量データ生成部１３０および品詞推定部１４０の各機能（後述）を実行するプログラムを実行するコンピュータ）である。
【００１７】
学習データ記憶部１００は、学習データである文章データ（即ち、テキスト形式のデータ）である記憶する。例えば、学習データ記憶部１００は、図２に示すように、『私は中村です』という文章データ、『マリナーズのイチローは９日、エンゼルス戦に「１番・右翼」で出場し、４打数無安打だった。第１、２打席は空振り三振、第３打席は遊ゴロ、第４打席は右飛。チームは０―３で敗れた。』という文章データを記憶する。なお、上記文章データに係る文章は、例えば、新聞記事やウェブ上の文章である（つまり、学習データ記憶部１００は、新聞記事やウェブ上の文章を複製した文章データを記憶する）。
【００１８】
なお、上記文章データは、文章データ内の単語の境界および単語の品詞などのラベル情報を有しないデータである。また、上記文章データは、後段の品詞推定部１４０による品詞推定の精度を考慮し、正規化処理（例えば、予め「コンピユーター」から「コンピュータ」へ変換する処理）を施す前の文章データであることが好ましい。特徴量データ（後述）に係る単語数は、正規化処理を施す前の方が正規化処理を施した後よりも多いため、品詞推定部１４０による品詞推定の精度が高くなるからである。
【００１９】
ラベル付データ生成部１１０は、学習データ記憶部１００に記憶されている文章データ内において単語の境界を推定するとともに、当該境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成する。
【００２０】
より詳細には、ラベル付データ生成部１１０は、形態素解析機能を備え、文章データ内の単語の境界を推定することによって文章データ内の単語を抽出し、抽出した各単語の品詞を推定する。そして、ラベル付データ生成部１１０は、単語毎に品詞ラベルを付したラベル付データを生成する。但し、ラベル付データ生成部１１０は、単語の境界または品詞が推定できなかった文字列に対しては、所定のラベル（例えば、「未知語」というラベル）を付与したラベル付データを生成する。なお、ラベル付データ生成部１１０が備える形態素解析機能は、例えば、形態素解析用辞書を利用して形態素解析を実行する既知の形態素解析器（例えば、Ｍｅｃａｂ、Ｃｈａｓｅｎ）により実現してもよい。
【００２１】
例えば、ラベル付データ生成部１１０は、図２に示す『私は中村です』という文章データを入力し、図３（ａ）に示す、当該文章データ内の各単語（未知語の場合、文字列）にラベルを付与したラベル付データを生成する。また、例えば、ラベル付データ生成部１１０は、図２に示す『マリナーズのイチローは９日、エンゼルス戦に「１番・右翼」で出場し、４打数無安打だった。』という文章データを入力し、図３（ｂ）に示す、当該文章データ内の各単語（未知語の場合、文字列）にラベルを付与したラベル付データを生成する。なお、図３（ａ）（ｂ）に品詞ラベルのデータ形式（構造）は、例えば、既知の形態素解析器（例えば、Ｍｅｃａｂ）の出力形式に従ったものであって、アスタリスク「＊」は、該当する値が存在しないことを表している。
【００２２】
ラベル付データ生成部１１０は、生成したラベル付データをラベル付データ記憶部１０２に記憶する。つまり、ラベル付データ記憶部１０２は、ラベル付データ生成部１１０によって生成されたラベル付データを記憶する。
【００２３】
変換テーブル生成部１２０は、ラベル付データ記憶部１０２に記憶されているラベル付データを用いて、文字、単語および品詞を数値に変換するための変換テーブルを生成する。当該変換テーブルは、具体的には、文字の種類を数値化（ＩＤ化）した文字ＩＤテーブル、単語の種類を数値化（ＩＤ化）した単語ＩＤテーブル、品詞の種類を数値化（ＩＤ化）した品詞ＩＤテーブルである。
【００２４】
変換テーブル生成部１２０は、生成した変換テーブル（文字ＩＤテーブル、単語ＩＤテーブルおよび品詞ＩＤテーブル）を変換テーブル記憶部１０４に記憶する。つまり、変換テーブル記憶部１０４は、変換テーブル生成部１２０によって生成された変換テーブルを記憶する。
【００２５】
なお、変換テーブル生成部１２０によって生成され、変換テーブル記憶部１０４に記憶される変換テーブル（文字ＩＤテーブル、単語ＩＤテーブル、品詞ＩＤテーブル）は、特徴量データ生成部１３０が特徴量データ（後述）を生成するときに文字、単語、品詞を数値（ＩＤ）に変換するために参照される。従って、変換テーブル生成部１２０は、特徴量データ生成部１３０が文字、単語、品詞を高速にかつ一意に数値（ＩＤ）に変換できるように、変換テーブルをハッシュテーブルとして生成することが好ましい。
【００２６】
例えば、変換テーブル生成部１２０は、各文字をキーとしＩＤを値とするハッシュテーブルを文字ＩＤテーブルとして生成し、各単語をキーとしＩＤを値とするハッシュテーブルを単語ＩＤテーブルとして生成し、各単語の品詞をキーとしＩＤを値とするハッシュテーブルを品詞ＩＤテーブルとして生成する。なお、文字ＩＤテーブル、単語ＩＤテーブル、品詞ＩＤテーブルにおいて、キーは引数、値はキーを渡された場合の返り値である。
【００２７】
以下、具体例として、変換テーブル生成部１２０が、図２に示す『私は中村です』という文章データを元に生成された図３（ａ）に示すラベル付データを用いて、図４に示す変換テーブル（文字ＩＤテーブル、単語ＩＤテーブル、品詞ＩＤテーブル）を生成する例を説明する。なお、説明の便宜上、図４に示す変換テーブルの生成前においては、変換テーブル記憶部１０４には、キーおよび値が何も記憶されていない変換テーブル、即ち初期化された変換テーブルが記憶されているものとする。
【００２８】
変換テーブル生成部１２０は、ラベル付データの第１項目（単語（文字列）「私」、および、ラベル「名詞，代名詞，一般，・・・」）を抽出する。変換テーブル生成部１２０は、変換テーブル記憶部１０４内の文字ＩＤテーブルにキー「私」が登録されていないと判断し、図４（ａ）に示すように、文字ＩＤテーブルに、キー「私」と値（文字ＩＤ）「１」とを対応付けて登録する。なお、キー「私」が既に登録されていた場合には登録は行わない。同様に、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の単語ＩＤテーブルにキー「私」が登録されていないと判断し、図４（ｂ）に示すように、単語ＩＤテーブルに、キー「私」と値（単語ＩＤ）「１」とを対応付けて登録する。なお、キー「私」が既に登録されていた場合には登録は行わない。同様に、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の品詞ＩＤテーブルにキー「名詞・代名詞」が登録されていないと判断し、図４（ｃ）に示すように、単語ＩＤテーブルに、キー「名詞・代名詞」と値（品詞ＩＤ）「１」とを対応付けて登録する。なお、キー「名詞・代名詞」が既に登録されていた場合には登録は行わない。
【００２９】
続いて、変換テーブル生成部１２０は、ラベル付データの第２項目（単語（文字列）「は」、および、ラベル「助詞，係助詞，＊，・・・」）を抽出する。変換テーブル生成部１２０は、変換テーブル記憶部１０４内の文字ＩＤテーブルにキー「は」が登録されていないと判断し、図４（ａ）に示すように、文字ＩＤテーブルに、キー「は」と値（文字ＩＤ）「２」とを対応付けて登録する。なお、キー「は」が既に登録されていた場合には登録は行わない。同様に、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の単語ＩＤテーブルにキー「は」が登録されていない判断し、図４（ｂ）に示すように、単語ＩＤテーブルに、キー「は」と値（単語ＩＤ）「２」とを対応付けて登録する。なお、キー「は」が既に登録されていた場合には登録は行わない。同様に、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の品詞ＩＤテーブルにキー「助詞・係助詞」が登録されていないと判断し、図４（ｃ）に示すように、単語ＩＤテーブルに、キー「助詞・係助詞」と値（品詞ＩＤ）「２」とを対応付けて登録する。なお、キー「助詞・係助詞」が既に登録されている場合には登録は行わない。
【００３０】
続いて、変換テーブル生成部１２０は、ラベル付データの第３項目（単語（文字列）「中村」、および、ラベル「未知語」）を抽出する。「中村」は「中」と「村」の２文字より構成されているため、変換テーブル生成部１２０は、文字ＩＤテーブルの登録に関しては、「中」と「村」とを別々に処理する。即ち、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の文字ＩＤテーブルにキー「中」が登録されていないと判断し、図４（ａ）に示すように、文字ＩＤテーブルに、キー「中」と値（文字ＩＤ）「３」とを対応付けて登録し、また、キー「村」が登録されていないと判断し、図４（ａ）に示すように、文字ＩＤテーブルに、キー「村」と値（文字ＩＤ）「４」とを対応付けて登録する。なお、キー「中」が既に登録されていた場合には登録は行わない（キー「村」についても同様である）。一方、変換テーブル生成部１２０は、単語ＩＤテーブルおよび品詞ＩＤテーブルの登録に関しては、「中村」として処理する。即ち、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の単語ＩＤテーブルにキー「中村」が登録されていない判断し、図４（ｂ）に示すように、単語ＩＤテーブルに、キー「中村」と値（単語ＩＤ）「３」とを対応付けて登録する。なお、キー「中村」が既に登録されていた場合には登録は行わない。同様に、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の品詞ＩＤテーブルにキー「未知語」が登録されていないと判断し、図４（ｃ）に示すように、単語ＩＤテーブルに、キー「未知語」と値（品詞ＩＤ）「３」とを対応付けて登録する。なお、キー「未知語」が既に登録されている場合には登録は行わない。
【００３１】
続いて、変換テーブル生成部１２０は、ラベル付データの第４項目（単語（文字列）「です」、および、ラベル「助動詞，＊，＊，・・・」）を抽出し、図４（ａ）に示すように、文字ＩＤテーブルに、キー「で」と値（文字ＩＤ）「５」とを対応付けて登録し、キー「す」と値（文字ＩＤ）「６」とを対応付けて登録し、図４（ｂ）に示すように、単語ＩＤテーブルに、キー「です」と値（単語ＩＤ）「４」とを対応付けて登録し、図４（ｃ）に示すように、文字ＩＤテーブルに、キー「助動詞」と値（品詞ＩＤ）「４」とを対応付けて登録する。
【００３２】
また、他の例として図５は、変換テーブル生成部１２０が、図２に示す『マリナーズのイチローは９日、エンゼルス戦に「１番・右翼」で出場し、４打数無安打だった。』いう文章データを元に生成された図３（ｂ）に示すラベル付データを用いて生成した変換テーブル（文字ＩＤテーブル、単語ＩＤテーブル、品詞ＩＤテーブル）である。なお、説明の便宜上、図５に示す変換テーブルの生成前においては、変換テーブル記憶部１０４には、キーおよび値が何も記憶されていない変換テーブル、即ち初期化された変換テーブルが記憶されているものとする。
【００３３】
なお、上記具体例では、キーに対応付ける値（文字ＩＤ、単語ＩＤ、品詞ＩＤ）は、未使用分について昇順に登録（付与）しているが、つまり、文章データの先頭から出現の早い順に値を割り振っているが、キーに対して値が一意に定まるのであれば、他の登録方法であってもよい。
【００３４】
特徴量データ生成部１３０は、ラベル付データ記憶部１０２に記憶されているラベル付データと変換テーブル記憶部１０４に記憶されている変換テーブルとを用いて、学習データ記憶部１００に記憶されている文章データ内の一の単語の特徴量を示す特徴量データを生成する。具体的には、特徴量データ生成部１３０は、文章データ内において、当該一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類を判定し、各判定結果（判定データ）を特徴量として含む特徴量データを生成する。
【００３５】
例えば、特徴量データ生成部１３０は、図６に示すように、特徴量を算出するために選択した一の単語（以下、「対象単語」という）に文章データ内において隣接する前後４個迄の各位置に出現する文字の種類（文字ＩＤ）に係る特徴量データとして（ａ−ｓｔｒｉｎｇ１、ａ−ｓｔｒｉｎｇ２、ａ−ｓｔｒｉｎｇ３、ａ−ｓｔｒｉｎｇ４、ｂ−ｓｔｒｉｎｇ１、ｂ−ｓｔｒｉｎｇ２、ｂ−ｓｔｒｉｎｇ３、ｂ−ｓｔｒｉｎｇ４）を生成する。ここでａ−ｓｔｒｉｎｇＮｓ（Ｎｓ＝１，２，３，４）は対象単語のＮｓ個後（うしろ）の文字の種類、ｂ−ｓｔｒｉｎｇＮｓ（Ｎｓ＝１，２，３，４）は対象単語のＮｓ個前の文字の種類である。なお、図６に示すａ−ｗｏｒｄＮｗ（Ｎｗ＝１，２，３）は対象単語のＮｗ個後の単語の種類、ｂ−ｗｏｒｄＮｗ（Ｎｗ＝１，２，３）は対象単語のＮｗ個前の単語の種類である。また、ａ−ｐａｒｔＮｐ（Ｎｐ＝１，２，３）は対象単語のＮｐ個後の単語の品詞の種類、ｂ−ｐａｒｔＮｐ（Ｎｐ＝１，２，３）は対象単語のＮｗ個前の単語の品詞の種類である。
【００３６】
また、特徴量データ生成部１３０は、上述の如く判定した文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果（集計データ）を特徴量として含む特徴量データを生成する。換言すれば、特徴量データ生成部１３０は、文章データ内において、当該一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果（集計データ）を特徴量として含む特徴量データを生成する。
【００３７】
例えば、特徴量データ生成部１３０は、図６に示すように、対象単語に文章データ内において隣接する前後４個迄の各位置に出現する文字の種類（文字ＩＤ）毎の出現回数に係る特徴量データとして（ａ−ｓｔｒｉｎｇ１−ｎｕｍ、ａ−ｓｔｒｉｎｇ２−ｎｕｍ、ａ−ｓｔｒｉｎｇ３−ｎｕｍ、ａ−ｓｔｒｉｎｇ４−ｎｕｍ、ｂ−ｓｔｒｉｎｇ１−ｎｕｍ、ｂ−ｓｔｒｉｎｇ２−ｎｕｍ、ｂ−ｓｔｒｉｎｇ３−ｎｕｍ、ｂ−ｓｔｒｉｎｇ４−ｎｕｍ）を生成する。ここでａ−ｓｔｒｉｎｇＮｓ−ｎｕｍ（Ｎｓ＝１，２，３，４）は対象単語のＮｓ個後の文字の種類毎の出現回数、ｂ−ｓｔｒｉｎｇＮｓ−ｎｕｍ（Ｎｓ＝１，２，３，４）は対象単語のＮｓ個前の文字の種類毎の出現回数である。また、図６に示すａ−ｗｏｒｄＮｗ−ｎｕｍ（Ｎｗ＝１，２，３）は対象単語のＮｗ個後の単語の種類毎の出現回数、ｂ−ｗｏｒｄＮｗ−ｎｕｍ（Ｎｗ＝１，２，３）は対象単語のＮｗ個前の単語の種類毎の出現回数である。また、ａ−ｐａｒｔＮｐ−ｎｕｍ（Ｎｐ＝１，２，３）は対象単語のＮｐ個後の単語の品詞の種類毎の出現回数、ｂ−ｐａｒｔＮｐ−ｎｕｍ（Ｎｐ＝１，２，３）は対象単語のＮｗ個前の単語の品詞の種類毎の出現回数である。
【００３８】
なお、上述の如く、文字に係る上記前後所定個数（上記Ｎｓ）と、単語に係る上記前後所定個数（上記Ｎｗ）と、単語の品詞に係る上記前後所定個数（上記Ｎｐ）とは、異なる個数であってもよい。図６に示す例では、特徴量データ生成部１３０は、文字の種類の判定および種類毎の出現回数の集計については、前後４個迄の８つの位置（つまり、１個後の位置、２個後の位置、３個後の位置、４個後の位置、１個前の位置、２個前の位置、３個前の位置、４個前の位置）を対象とし、単語の種類の判定および種類毎の出現回数の集計、並びに、単語の品詞の種類の判定および種類毎の出現回数の集計については、前後３個迄の６つの位置（つまり、１個後の位置、２個後の位置、３個後の位置、１個前の位置、２個前の位置、３個前の位置）を対象としている。
【００３９】
また、特徴量データ生成部１３０は、当該一の単語が、数字、小文字の平仮名または小文字の片仮名、所定の記号のそれぞれを含むか否かを判定し、各判定結果（判定データ）を特徴量として含む特徴量データを生成する。なお、上記有無は、有を「１」、無を「０」とすることによって数値化する。
【００４０】
例えば、特徴量データ生成部１３０は、図６に示すように、対象単語内の数字の有無に係る特徴量データとして（ｆ−ｎｕｍ）を生成し、対象単語内の小文字の平仮名または小文字の片仮名の有無に係る特徴量データとして（ｆ−ｃａｐ）を生成し、対象単語内の所定の記号の有無に係る特徴量データとして（ｆ−ｆｉｇ）を生成する。
【００４１】
なお、上記小文字の平仮名の一例は「ぁ」「ゃ」、上記小文字の片仮名の一例は「ッ」「ャ」、上記所定の記号の一例は、ハイフン「−」、中黒「・」、マル「○」などである。また、特徴量データ生成部１３０は、例えば、所定の記号を定義する定義情報を保持または参照し、対象単語内の所定の記号の有無を判定する。
【００４２】
以上のように特徴量データ生成部１３０は、対象単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類の判定結果、当該種類毎の出現回数の集計結果、対象単語自体が数字、小文字の平仮名または小文字の片仮名、所定の記号のそれぞれを含むか否かの判定結果を特徴量の各項目とする特徴量データを生成するが、上述の如く、ラベル付データ記憶部１０２に記憶されているラベル付データと変換テーブル記憶部１０４に記憶されている変換テーブルとを参照して、学習データ記憶部１００に記憶されている文章データ内の対象単語に係る上記各項目の値を算出する。
【００４３】
例えば、特徴量データ生成部１３０は、図２に示す『マリナーズのイチローは９日、エンゼルス戦に「１番・右翼」で出場し、４打数無安打だった。』いう文章データ内の「エンゼルス」を対象単語とし、ラベル付データ記憶部１０２には図３（ｂ）に示すラベル付データが記憶され、変換テーブル記憶部１０４には図５に示す変換テーブルが記憶されているとした場合、図７に示す特徴量データ（項目、値）を生成する。
【００４４】
一例として例えば、特徴量データ生成部１３０は、上記文章において、対象文字である「エンゼルス」の１個後の文字「戦」は、図５（ａ）に示す変換テーブル（文字ＩＤテーブル）から値が１９であると判断することによって、図７に示すように、項目「ａ−ｓｔｒｉｎｇ１」の値「１９」を算出（取得）し、「エンゼルス」の１個後の単語「戦」は、図５（ｂ）に示す変換テーブル（単語ＩＤテーブル）から値が９であると判断することによって、図７に示すように、項目「ａ−ｗｏｒｄ１」の値「９」を算出（取得）し、「エンゼルス」の１個後の単語「線」の品詞は、図３（ｂ）に示すラベル付データから「名詞・接尾」であると判断し、更に、図５（ｃ）に示す変換テーブル（品詞ＩＤテーブル）から「名詞・接尾」の値が６であると判断することによって、図７に示すように、項目「ａ−ｐａｒｔ１」の値「６」を算出（取得）する。また、例えば、特徴量データ生成部１３０は、対象文字である「エンゼルス」は、数字を含まないと判定し、図７に示すように、項目「ｆ−ｎｕｍ」の値「０」を算出（取得）し、小文字の平仮名または小文字の片仮名を含まないと判定し、図７に示すように、項目「ｆ−ｃａｐ」の値「０」を算出（取得）し、所定の記号を含まないと判定し、図７に示すように、項目「ｆ−ｆｉｇ」の値「０」を算出（取得）する。
【００４５】
なお、図７に示す例では、Ｘ−ｎｕｍ（Ｘ＝ａ（ｂ）−ｓｔｒｉｎｇＮｓ，ａ（ｂ）−ｗｏｒｄＮｗ，ａ（ｂ）−ｐａｒｔＮｐ）の項目、つまり出現回数に係る各項目については、対象文字である「エンゼルス」の出現位置が１箇所であったため全て１となったが、１または２以上の文章データ内において、対象文字である「エンゼルス」の出現位置が２箇所以上であった場合、適宜カウントアップされることになる。例えば、『マリナーズのイチローは９日、エンゼルス戦に「１番・右翼」で出場し、４打数無安打だった。』いう文章データの他に、『エンゼルス戦は今回で２回目である。』という文章データも学習データ記憶部１００に記憶されている場合、２つの文章とも対象文字である「エンゼルス」の１個後の単語「戦」であるため、図７に示すａ−ｓｔｒｉｎｇ−ｎｕｍの値は１＋１＝２となる。
【００４６】
また、仮に、対象単語の出現位置が文章データの先頭であった場合など、特定の項目（（当該場合には、対象文字の前の文字、単語、単語の品詞に係る項目）が取得できない場合には、当該特定の項目の値は空のままにしてもよい。
【００４７】
なお、特徴量データ生成部１３０は、所定の順番（例えば、文章データ同士については学習データ記憶部に記憶した記憶日時順または文章データを識別するＩＤ順、文章データ内については先頭からの出現順）で、対象単語を学習データ記憶部１００から取得してもよいし、文章データ内の特定の単語を対象単語として指定して学習データ記憶部１００から取得してもよい。
【００４８】
特徴量データ生成部１３０は、生成した特徴量データを特徴量データ記憶部１０６に記憶する。つまり、特徴量データ記憶部１０６は、特徴量データ生成部１３０によって生成された特徴量データを記憶する。
【００４９】
特徴量データ記憶部１０６の実装、即ち特徴量データの記憶方法は、例えば、固定長の配列（ａｒｒａｙ）を用いる。以下、多くの計算機上で利用可能なｉｎｔｅｇｅｒ配列による特徴量データの記憶方法について説明する。
【００５０】
（１）ｉｎｔｅｇｅｒ配列を初期化する。
（２）上記の特徴量を配列の仕様に変換する。具体的には特徴量の項目を示す項目ＩＤと、配列の管理用ＩＤである配列ＩＤを特徴量の先頭に加え、ｉｎｔｅｇｅｒ配列に登録する。
例えば、上述の「エンゼルス」の例に含まれる４４個（配列ＩＤ数１個＋項目数４３個）の値を、ｉｎｔｅｇｅｒ配列に仕様にあわせて変換する。このときの配列の値の数は値の数である４４個以外に、配列を管理するためのＩＤなどを表す値を所持することができる。例えば、以下のｉｎｔｅｇｅｒ配列の例では、品詞ＩＤテーブルから得られる「エンゼルス」の「名詞・固有名詞」に対する品詞ＩＤと、「１つめのｉｎｔｅｇｅｒ配列」を示す配列ＩＤとして、配列そのものに１というＩＤとを割り当てている。
つまり、｛品詞ＩＤ，配列ＩＤ，項目の値１，項目の値２，・・・，項目の値４３｝としている。
（ｉｎｔｅｇｅｒ配列の例）
｛１，１，１９，１，２０，１，２１，１，２２，１，１３，１，１２，１，１１，１，１０，１，９，１，１０，１，１１，１，７，１，６，１，５，１，６，１，８，１，９，１，７，１，６，１，５，１，０，０，０｝
「エンゼルス」と同一の品詞ＩＤ「名詞・固有名詞」において新たなｉｎｔｅｇｅｒ配列が出現した場合、即ち、同一の品詞の他の対象単語が出現した場合には｛１，２，…｝、｛１，３，…｝とし、「エンゼルス」と異なる品詞ＩＤが出現した場合、つまり異なる品詞の他の対象単語が出現した場合には、｛２，１，…｝、｛３，１，…｝としている。
【００５１】
未知語データ記憶部１０８は、品詞が未知である単語（品詞無単語）、即ち未知語に係る未知語文字列を記憶する。未知語文字列は、例えば、非図示の未知語取得部によって外部から取得され未知語データ記憶部１０８に記憶される。
【００５２】
品詞推定部１４０は、特徴量データ記憶部１０６に記憶されている特徴量データを用いて、未知語の品詞を推定する。未知語の品詞を推定した品詞推定部１４０は、当該未知語に推定した品詞を付した品詞付単語データを外部に出力する。
【００５３】
（識別器への仕様変換）
品詞推定の機能を実現する際には、識別器と呼ばれる技術が使われることが多い。識別器の代表例として、ＳＶＭ（Support Vector Machine）と呼ばれる技術が用いられることが多い。ＳＶＭは、判定対象となるデータが特定のクラスに該当するか否かを判定するための機能を提供する。本実施形態に適用する場合、クラスは特定の品詞を指し、「入力データが特定の品詞に該当するか否か」という判定となる。
【００５４】
以下、特徴量データ記憶部１０６に記憶されている特徴量データをＳＶＭの実装例であるｌｉｂｓｖｍの入力データに変換する例を記載する。
（１）品詞ＩＤテーブルに登録されている品詞の種類から、クラスの数Ｃを決定する。
（２）クラスＣのうち、「名詞・固有名詞」（例えば、品詞ＩＤ＝１）の識別器を作成する。
（３）入力データとして、例えば、上記配列ＩＤ＝１のｉｎｔｅｇｅｒ配列を用いる。
｛１，１，１９，１，２０，１，２１，１，２２，１，１３，１，１２，１，１１，１，１０，１，９，１，１０，１，１１，１，７，１，６，１，５，１，６，１，８，１，９，１，７，１，６，１，５，１，０，０，０｝
（４）ｌｉｂｓｖｍでは「データがクラスＣに該当する場合は＋１、クラスＣに該当しない場合は−１」というラベルが必要となる。本データは「名詞・固有名詞」を表すものであるため、ラベルとして「＋１」を付与する。
＋１
（５）次に、各ｉｎｔｅｇｅｒ配列の値をｌｉｂｓｖｍの特徴量に変換する（：で区切る）。例えば、上記例では、１つめの値はａ−ｓｔｒｉｎｇ１の値となり、２つの目の値はａ−ｓｔｒｉｎｇ１−ｎｕｍの値となる。以下同様に繰り返す。
｛＋１ １：１ ２：１ ３：１９ ４：１ ５：２０ ６：１ ７：２１ ８：１ ９：２２ １０：１ １１：１３ １２：１ １３：１２ １４：１ １５：１１ １６：１ １７：１０ １８：１ １９：９ ２０：１ ２１：１０ ２２：１： ２３：７ ２４：１ ２５：６ … ４３：０｝
なお、ｉｎｔｅｇｅｒ配列内の品詞ＩＤテーブルが「名詞・固有名詞」の品詞ＩＤ：１でない場合は、ラベルとして「−１」を付与する。
（６）以上の作業をｉｎｔｅｇｅｒ配列に対して繰り返すことで、「名詞・固有名詞」を判定するためのＳＶＭの入力データが完成する。
（７）他の品詞が存在した場合は、同様に処理し、ＳＶＭ用の入力データを生成する。
【００５５】
続いて、図８および図９を用いて操作支援装置１の動作を説明する。図８は文章データを入力し特徴量データを出力する迄の全体のフローチャート、図９は特徴量データの生成に係るフローチャートである。
【００５６】
まず、図８を用いて操作支援装置１の全体の流れについて説明する。図８において、ラベル付データ生成部１１０は、学習データ記憶部１００に記憶されている文章データ内において単語の境界を推定するとともに、当該境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成する（ステップＳ１００）。ラベル付データを生成したラベル付データ生成部１１０は、生成したラベル付データをラベル付データ記憶部１０２に記憶する。
【００５７】
続いて、変換テーブル生成部１２０は、ラベル付データ記憶部１０２に記憶されているラベル付データを用いて変換テーブル（文字ＩＤテーブル、単語ＩＤテーブルおよび品詞ＩＤテーブル）を生成する（ステップＳ２００）。変換テーブルを生成した変換テーブル生成部１２０は、生成した変換テーブルを変換テーブル記憶部１０４に記憶する。
【００５８】
続いて、特徴量データ生成部１３０は、ラベル付データ記憶部１０２に記憶されているラベル付データと変換テーブル記憶部１０４に記憶されている変換テーブルとを用いて、学習データ記憶部１００に記憶されている文章データ内の対象単語の特徴量を示す特徴量データを生成する（ステップＳ３００）。換言すれば、特徴量データ生成部１３０は、特徴量データとして、対象単語の近傍の文字、単語、品詞の出現頻度に係る統計情報および対象単語の構成（例えば、小文字の平仮名または小文字の片仮名の有無）に係る統計情報からなる文字列集計データを生成する。特徴量データを生成した特徴量データ生成部１３０は、生成した特徴量データを特徴量データ記憶部１０６に記憶する。
【００５９】
続いて、品詞推定部１４０は、特徴量データ記憶部１０６に記憶されている特徴量データを用いて、未知語の品詞を推定する（ステップＳ４００）。未知語の品詞を推定した品詞推定部１４０は、当該未知語に推定した品詞を付した品詞付単語データを外部に出力する。
【００６０】
続いて、図９を用いて特徴量データの生成の流れについて説明する。なお、特徴量データ生成部１３０は、文字の種類の判定および種類毎の出現回数の集計については前後４個迄の８つの位置を対象とし（上記Ｎｓ＝４）、単語の種類の判定および種類毎の出現回数の集計、並びに、単語の品詞の種類の判定および種類毎の出現回数の集計については、前後３個迄の６つの位置を対象とするものとする（上記Ｎｗ＝３、上記Ｎｐ＝３）。なお、図９に示すフローチャートは対象単語の選択により開始する。
【００６１】
図９において、特徴量データ生成部１３０は、対象単語内の数字、小文字、記号の有無を判定し、各判定結果に係る特徴量データ（ｆ−ｎｕｍ、ｆ−ｃａｐ、ｆ−ｆｉｇ）を生成する（ステップＳ３１０）。
【００６２】
続いて、特徴量データ生成部１３０は、学習データ記憶部１００に記憶されている文章データ内において対象単語を探索する（ステップＳ３２０）。次いで、特徴量データ生成部１３０は、特徴量データの算出の基礎とした出現位置（以下、「基礎出現位置」という）以外の出現位置があるか否かを判断する（ステップＳ３３０）。即ち、特徴量データ生成部１３０は、ステップＳ３２０の探索の結果、基礎出現位置以外の出現位置を見つけたか否かを判断する。特徴量データ生成部１３０は、基礎出現位置以外の出現位置がないと判断した場合（ステップＳ３３０：Ｎｏ）、本フローチャートは終了する。
【００６３】
一方、特徴量データ生成部１３０は、基礎出現位置以外の出現位置があると判断した場合（ステップＳ３３０：Ｙｅｓ）、当該出現位置（基礎出現位置以外の出現位置が複数ある場合はうち１つ）を基礎出現位置として設定する（ステップＳ３４０）。特徴量データ生成部１３０は、基礎出現位置として他の出現位置を設定中の場合、当該他の出現位置に代えて当該出現位置を基礎出現位置として再設定する。つまり、特徴量データ生成部１３０は、基礎出現位置を更新する。なお、対象単語は文章データ内から選択するため、最初に実行するステップ３３０においては、特徴量データ生成部１３０は基礎出現位置以外の出現位置がある（ステップＳ３３０：Ｙｅｓ）と判断する。
【００６４】
ステップＳ３４０に続いて、特徴量データ生成部１３０は、当該基礎出現位置の前後４個迄の各文字の文字ＩＤを取得し、出現回数を集計し、特徴量データ（ａ−ｓｔｒｉｎｇ１，ａ−ｓｔｒｉｎｇ１−ｎｕｍ，ａ−ｓｔｒｉｎｇ２，ａ−ｓｔｒｉｎｇ２−ｎｕｍ，・・・，ｂ−ｓｔｒｉｎｇ３，ｂ−ｓｔｒｉｎｇ３−ｎｕｍ，ｂ−ｓｔｒｉｎｇ４，ｂ−ｓｔｒｉｎｇ４−ｎｕｍ）を生成する（ステップＳ３５０）。
【００６５】
ステップＳ３５０に続いて、特徴量データ生成部１３０は、当該基礎出現位置の前後３個迄の各単語の単語ＩＤを取得し、出現回数を集計し、特徴量データ（ａ−ｗｏｒｄ１，ａ−ｗｏｒｄ１−ｎｕｍ，ａ−ｗｏｒｄ２，ａ−ｗｏｒｄ２−ｎｕｍ，・・・，ｂ−ｗｏｒｄ２，ｂ−ｗｏｒｄ２−ｎｕｍ，ｂ−ｗｏｒｄ３，ｂ−ｗｏｒｄ３−ｎｕｍ）を生成する（ステップＳ３６０）。次いで、特徴量データ生成部１３０は、上記各単語について、品詞ＩＤを取得し、出現回数を集計し、特徴量データ（ａ−ｐａｒｔ１，ａ−ｐａｒｔ１−ｎｕｍ，ａ−ｐａｒｔ２，ａ−ｐａｒｔ２−ｎｕｍ，・・・，ｂ−ｐａｒｔ２，ｂ−ｐａｒｔ２−ｎｕｍ，ｂ−ｐａｒｔ３，ｂ−ｐａｒｔ３−ｎｕｍ）を生成する（ステップＳ３７０）。そして、ステップＳ３２０に戻って、特徴量データ生成部１３０は、基礎出現位置以外の出現位置がないと判断する迄（ステップＳ３３０：Ｎｏ）、つまり対象単語の全出現位置についてステップＳ３４０からステップＳ３７０の処理を実行し終わる迄、ステップＳ３２０からステップＳ３７０を繰り返し実行する。
【００６６】
以上、本実施形態によれば、日本語の品詞推定を高精度に行うことができるようになる。具体的には、対象単語内の数字の有無に係る特徴量データに加え、日本語に馴染む小文字の平仮名または小文字の片仮名の有無に係る特徴量データおよび所定の記号の有無に係る特徴量データを用いることによって、日本語の品詞推定を行うことができるようにしている。
【００６７】
また、定量的な数値として、文字、単語および品詞の出現回数に係る特徴量データを用いることによって、品詞推定を高精度に行うことができるようにしている。即ち、対象単語の出現位置の前後所定個数迄の各位置に同一の文字、同一の単語、または、同一の品詞が出現したときは、定量的な数値として出現回数を累積し、累積値を特徴量データとすることによって、品詞推定を高精度に行うことができるようにしている。
【００６８】
なお、本実施形態において、特徴量算出部１０は変換テーブルを生成する変換テーブル生成部１２０を備える構成として説明したが、特徴量算出部１０は変換テーブル生成部１２０を備えない構成であってもよい。特徴量算出部１０が変換テーブル生成部１２０を備えない構成である場合、必要とされる変換テーブルを予め変換テーブル記憶部１０４に記憶しておくか、または、適宜、必要とされる変換テーブルを外部から取得して変換テーブル記憶部１０４に記憶する。
【００６９】
また、本実施形態において、特徴量算出部１０は品詞推定装置１の構成要素として説明したが、特徴量算出部１０はある装置の構成要素ではなく独立した装置（特徴量算出装置１０）であってもよい。当該特徴量算出装置１０は、図１に示すように、学習データ記憶部１００、ラベル付データ記憶部１０２、変換テーブル記憶部１０４、特徴量データ記憶部１０６、ラベル付データ生成部１１０、変換テーブル生成部１２０および特徴量データ生成部１３０を備え、品詞を推定する他の装置に特徴量データを供給する。なお、当該特徴量算出装置１０は、上述の如く変換テーブル生成部１２０を備えない構成であってもよい。
【００７０】
なお、本発明の一実施形態による品詞推定装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の一実施形態による品詞推定装置１に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７１】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００７２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７３】
１ 品詞推定装置 １０ 特徴量算出部（特徴量算出装置） １００ 学習データ記憶部 １０２ ラベル付データ記憶部 １０４ 変換テーブル記憶部 １０６ 特徴量データ記憶部 １０８ 未知語データ記憶部 １１０ ラベル付データ生成部 １２０ 変換テーブル生成部 １３０ 特徴量データ生成部 １４０ 品詞推定部
【技術分野】
【０００１】
本発明は、特徴量算出装置、品詞推定装置およびプログラムに関する。
【背景技術】
【０００２】
現在、単語の品詞を推定する技術が知られている（非特許文献１参照）。非特許文献１に記載の技術は、品詞推定の対象である英単語における、数字の有無、大文字の有無、ハイフンの有無などの特徴量に基づいて、英単語の品詞を推定するというものである。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】“Support Vector Machineを用いた未知語の品詞推定”，中川 哲治， 工藤 拓，松本 裕治，情報処理学会研究報告 自然言語処理研究会報告 IPSJ SIG Notes 2001(9) pp.77-82 20010125．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載の技術では、日本語の単語の品詞を推定することができないという問題がある。英単語と日本語の単語とでは特徴が異なるため、英単語の品詞推定に用いる特徴量が、日本語の単語には適用できないからである。また、非特許文献１に記載の技術では、品詞や単語の出現回数などの定量的な数値を特徴量としていないため、出現回数が高い事例と少ない事例とが対等に扱われる。これにより、出現頻度が高い事例に対する信頼性が出現回数の少ない事例と対等になってしまい、品詞の推定精度が低下するという問題がある。
【０００５】
本発明は、上述した課題に鑑みてなされたものであって、日本語の品詞推定を高精度に行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明の一態様である特徴量算出装置は、学習データである文章データ内において単語の境界を推定するとともに、境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部と、文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部と、ラベル付データ生成部によって生成されたラベル付データと変換テーブル記憶部に記憶された変換テーブルとを用いて、文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部とを備え、特徴量データ生成部は、文章データ内において、一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を特徴量として含む特徴量データを生成することを特徴とする。
【０００７】
上記特徴量算出装置において、特徴量データ生成部は、一の単語が、小文字の平仮名、小文字の片仮名、所定の記号のそれぞれを含むか否かを判定し、各判定結果を特徴量として更に含む特徴量データを生成するようにしてもよい。
【０００８】
上記特徴量算出装置は、ラベル付データを用いて変換テーブルを生成する変換テーブル生成部を更に備えるようにしてもよい。
【０００９】
上記問題を解決するために、本発明の他の態様である特徴量算出装置は、学習データである文章データ内において単語の境界を推定するとともに、境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部と、文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部と、ラベル付データ生成部によって生成されたラベル付データと変換テーブル記憶部に記憶された変換テーブルとを用いて、文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部とを備え、特徴量データ生成部は、文章データ内において、一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類を判定するとともに、一の単語が、小文字の平仮名、小文字の片仮名、所定の記号のそれぞれを含むか否かを判定し、各判定結果を特徴量として含む特徴量データを生成することを特徴とする。
【００１０】
上記特徴量算出装置は、ラベル付データを用いて変換テーブルを生成する変換テーブル生成部を更に備えるようにしてもよい。
【００１１】
上記問題を解決するために、本発明の他の態様である品詞推定装置は、学習データである文章データ内において単語の境界を推定するとともに、境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部と、文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部と、ラベル付データ生成部によって生成されたラベル付データと変換テーブル記憶部に記憶された変換テーブルとを用いて、文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部と、特徴量データ生成部によって生成された特徴量データを用いて、品詞が未知である単語の品詞を推定する品詞特定部とを備え、特徴量データ生成部は、文章データ内において、一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を特徴量として含む特徴量データを生成することを特徴とする。
【００１２】
上記問題を解決するために、本発明の他の態様であるプログラムは、文字、単語および品詞を数値に変換するための変換テーブルを記憶する特徴量算出装置のコンピュータに、 学習データである文章データ内において単語の境界を推定するとともに、境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成ステップと、ラベル付データ生成ステップによって生成されたラベル付データと変換テーブルとを用いて、文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成ステップとを実行させるプログラムであって、特徴量データ生成ステップは、文章データ内において、一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を特徴量として含む特徴量データを生成することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、日本語の品詞推定を高精度に行うことができるようになる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による品詞推定装置１の機能ブロック図の一例である。
【図２】学習データである文章データの一例である。
【図３】ラベル付データの一例である。
【図４】変換データ（文字ＩＤテーブル、単語ＩＤテーブル、品詞ＩＤテーブル）の一例である。
【図５】変換データ（文字ＩＤテーブル、単語ＩＤテーブル、品詞ＩＤテーブル）の他の一例である。
【図６】特徴量データの項目の一例である。
【図７】特徴量データの一例である。
【図８】品詞推定装置１の動作の一例を示すフローチャートである。
【図９】品詞推定装置１の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について図面を参照して詳細に説明する。本発明の一実施形態による品詞推定装置１は、図１に示すように、特徴量算出部１０、未知語データ記憶部１０８および品詞推定部１４０を備える。特徴量算出部１０は、学習データ記憶部１００、ラベル付データ記憶部１０２、変換テーブル記憶部１０４、特徴量データ記憶部１０６、ラベル付データ生成部１１０、変換テーブル生成部１２０および特徴量データ生成部１３０を備える。
【００１６】
品詞推定装置１は、学習データ（後述）から得られた特徴量データ（後述）を用いて品詞が未知である単語（以下、「未知語」という）の品詞を推定する装置（例えば、ラベル付データ生成部１１０、変換テーブル生成部１２０および特徴量データ生成部１３０および品詞推定部１４０の各機能（後述）を実行するプログラムを実行するコンピュータ）である。
【００１７】
学習データ記憶部１００は、学習データである文章データ（即ち、テキスト形式のデータ）である記憶する。例えば、学習データ記憶部１００は、図２に示すように、『私は中村です』という文章データ、『マリナーズのイチローは９日、エンゼルス戦に「１番・右翼」で出場し、４打数無安打だった。第１、２打席は空振り三振、第３打席は遊ゴロ、第４打席は右飛。チームは０―３で敗れた。』という文章データを記憶する。なお、上記文章データに係る文章は、例えば、新聞記事やウェブ上の文章である（つまり、学習データ記憶部１００は、新聞記事やウェブ上の文章を複製した文章データを記憶する）。
【００１８】
なお、上記文章データは、文章データ内の単語の境界および単語の品詞などのラベル情報を有しないデータである。また、上記文章データは、後段の品詞推定部１４０による品詞推定の精度を考慮し、正規化処理（例えば、予め「コンピユーター」から「コンピュータ」へ変換する処理）を施す前の文章データであることが好ましい。特徴量データ（後述）に係る単語数は、正規化処理を施す前の方が正規化処理を施した後よりも多いため、品詞推定部１４０による品詞推定の精度が高くなるからである。
【００１９】
ラベル付データ生成部１１０は、学習データ記憶部１００に記憶されている文章データ内において単語の境界を推定するとともに、当該境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成する。
【００２０】
より詳細には、ラベル付データ生成部１１０は、形態素解析機能を備え、文章データ内の単語の境界を推定することによって文章データ内の単語を抽出し、抽出した各単語の品詞を推定する。そして、ラベル付データ生成部１１０は、単語毎に品詞ラベルを付したラベル付データを生成する。但し、ラベル付データ生成部１１０は、単語の境界または品詞が推定できなかった文字列に対しては、所定のラベル（例えば、「未知語」というラベル）を付与したラベル付データを生成する。なお、ラベル付データ生成部１１０が備える形態素解析機能は、例えば、形態素解析用辞書を利用して形態素解析を実行する既知の形態素解析器（例えば、Ｍｅｃａｂ、Ｃｈａｓｅｎ）により実現してもよい。
【００２１】
例えば、ラベル付データ生成部１１０は、図２に示す『私は中村です』という文章データを入力し、図３（ａ）に示す、当該文章データ内の各単語（未知語の場合、文字列）にラベルを付与したラベル付データを生成する。また、例えば、ラベル付データ生成部１１０は、図２に示す『マリナーズのイチローは９日、エンゼルス戦に「１番・右翼」で出場し、４打数無安打だった。』という文章データを入力し、図３（ｂ）に示す、当該文章データ内の各単語（未知語の場合、文字列）にラベルを付与したラベル付データを生成する。なお、図３（ａ）（ｂ）に品詞ラベルのデータ形式（構造）は、例えば、既知の形態素解析器（例えば、Ｍｅｃａｂ）の出力形式に従ったものであって、アスタリスク「＊」は、該当する値が存在しないことを表している。
【００２２】
ラベル付データ生成部１１０は、生成したラベル付データをラベル付データ記憶部１０２に記憶する。つまり、ラベル付データ記憶部１０２は、ラベル付データ生成部１１０によって生成されたラベル付データを記憶する。
【００２３】
変換テーブル生成部１２０は、ラベル付データ記憶部１０２に記憶されているラベル付データを用いて、文字、単語および品詞を数値に変換するための変換テーブルを生成する。当該変換テーブルは、具体的には、文字の種類を数値化（ＩＤ化）した文字ＩＤテーブル、単語の種類を数値化（ＩＤ化）した単語ＩＤテーブル、品詞の種類を数値化（ＩＤ化）した品詞ＩＤテーブルである。
【００２４】
変換テーブル生成部１２０は、生成した変換テーブル（文字ＩＤテーブル、単語ＩＤテーブルおよび品詞ＩＤテーブル）を変換テーブル記憶部１０４に記憶する。つまり、変換テーブル記憶部１０４は、変換テーブル生成部１２０によって生成された変換テーブルを記憶する。
【００２５】
なお、変換テーブル生成部１２０によって生成され、変換テーブル記憶部１０４に記憶される変換テーブル（文字ＩＤテーブル、単語ＩＤテーブル、品詞ＩＤテーブル）は、特徴量データ生成部１３０が特徴量データ（後述）を生成するときに文字、単語、品詞を数値（ＩＤ）に変換するために参照される。従って、変換テーブル生成部１２０は、特徴量データ生成部１３０が文字、単語、品詞を高速にかつ一意に数値（ＩＤ）に変換できるように、変換テーブルをハッシュテーブルとして生成することが好ましい。
【００２６】
例えば、変換テーブル生成部１２０は、各文字をキーとしＩＤを値とするハッシュテーブルを文字ＩＤテーブルとして生成し、各単語をキーとしＩＤを値とするハッシュテーブルを単語ＩＤテーブルとして生成し、各単語の品詞をキーとしＩＤを値とするハッシュテーブルを品詞ＩＤテーブルとして生成する。なお、文字ＩＤテーブル、単語ＩＤテーブル、品詞ＩＤテーブルにおいて、キーは引数、値はキーを渡された場合の返り値である。
【００２７】
以下、具体例として、変換テーブル生成部１２０が、図２に示す『私は中村です』という文章データを元に生成された図３（ａ）に示すラベル付データを用いて、図４に示す変換テーブル（文字ＩＤテーブル、単語ＩＤテーブル、品詞ＩＤテーブル）を生成する例を説明する。なお、説明の便宜上、図４に示す変換テーブルの生成前においては、変換テーブル記憶部１０４には、キーおよび値が何も記憶されていない変換テーブル、即ち初期化された変換テーブルが記憶されているものとする。
【００２８】
変換テーブル生成部１２０は、ラベル付データの第１項目（単語（文字列）「私」、および、ラベル「名詞，代名詞，一般，・・・」）を抽出する。変換テーブル生成部１２０は、変換テーブル記憶部１０４内の文字ＩＤテーブルにキー「私」が登録されていないと判断し、図４（ａ）に示すように、文字ＩＤテーブルに、キー「私」と値（文字ＩＤ）「１」とを対応付けて登録する。なお、キー「私」が既に登録されていた場合には登録は行わない。同様に、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の単語ＩＤテーブルにキー「私」が登録されていないと判断し、図４（ｂ）に示すように、単語ＩＤテーブルに、キー「私」と値（単語ＩＤ）「１」とを対応付けて登録する。なお、キー「私」が既に登録されていた場合には登録は行わない。同様に、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の品詞ＩＤテーブルにキー「名詞・代名詞」が登録されていないと判断し、図４（ｃ）に示すように、単語ＩＤテーブルに、キー「名詞・代名詞」と値（品詞ＩＤ）「１」とを対応付けて登録する。なお、キー「名詞・代名詞」が既に登録されていた場合には登録は行わない。
【００２９】
続いて、変換テーブル生成部１２０は、ラベル付データの第２項目（単語（文字列）「は」、および、ラベル「助詞，係助詞，＊，・・・」）を抽出する。変換テーブル生成部１２０は、変換テーブル記憶部１０４内の文字ＩＤテーブルにキー「は」が登録されていないと判断し、図４（ａ）に示すように、文字ＩＤテーブルに、キー「は」と値（文字ＩＤ）「２」とを対応付けて登録する。なお、キー「は」が既に登録されていた場合には登録は行わない。同様に、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の単語ＩＤテーブルにキー「は」が登録されていない判断し、図４（ｂ）に示すように、単語ＩＤテーブルに、キー「は」と値（単語ＩＤ）「２」とを対応付けて登録する。なお、キー「は」が既に登録されていた場合には登録は行わない。同様に、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の品詞ＩＤテーブルにキー「助詞・係助詞」が登録されていないと判断し、図４（ｃ）に示すように、単語ＩＤテーブルに、キー「助詞・係助詞」と値（品詞ＩＤ）「２」とを対応付けて登録する。なお、キー「助詞・係助詞」が既に登録されている場合には登録は行わない。
【００３０】
続いて、変換テーブル生成部１２０は、ラベル付データの第３項目（単語（文字列）「中村」、および、ラベル「未知語」）を抽出する。「中村」は「中」と「村」の２文字より構成されているため、変換テーブル生成部１２０は、文字ＩＤテーブルの登録に関しては、「中」と「村」とを別々に処理する。即ち、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の文字ＩＤテーブルにキー「中」が登録されていないと判断し、図４（ａ）に示すように、文字ＩＤテーブルに、キー「中」と値（文字ＩＤ）「３」とを対応付けて登録し、また、キー「村」が登録されていないと判断し、図４（ａ）に示すように、文字ＩＤテーブルに、キー「村」と値（文字ＩＤ）「４」とを対応付けて登録する。なお、キー「中」が既に登録されていた場合には登録は行わない（キー「村」についても同様である）。一方、変換テーブル生成部１２０は、単語ＩＤテーブルおよび品詞ＩＤテーブルの登録に関しては、「中村」として処理する。即ち、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の単語ＩＤテーブルにキー「中村」が登録されていない判断し、図４（ｂ）に示すように、単語ＩＤテーブルに、キー「中村」と値（単語ＩＤ）「３」とを対応付けて登録する。なお、キー「中村」が既に登録されていた場合には登録は行わない。同様に、変換テーブル生成部１２０は、変換テーブル記憶部１０４内の品詞ＩＤテーブルにキー「未知語」が登録されていないと判断し、図４（ｃ）に示すように、単語ＩＤテーブルに、キー「未知語」と値（品詞ＩＤ）「３」とを対応付けて登録する。なお、キー「未知語」が既に登録されている場合には登録は行わない。
【００３１】
続いて、変換テーブル生成部１２０は、ラベル付データの第４項目（単語（文字列）「です」、および、ラベル「助動詞，＊，＊，・・・」）を抽出し、図４（ａ）に示すように、文字ＩＤテーブルに、キー「で」と値（文字ＩＤ）「５」とを対応付けて登録し、キー「す」と値（文字ＩＤ）「６」とを対応付けて登録し、図４（ｂ）に示すように、単語ＩＤテーブルに、キー「です」と値（単語ＩＤ）「４」とを対応付けて登録し、図４（ｃ）に示すように、文字ＩＤテーブルに、キー「助動詞」と値（品詞ＩＤ）「４」とを対応付けて登録する。
【００３２】
また、他の例として図５は、変換テーブル生成部１２０が、図２に示す『マリナーズのイチローは９日、エンゼルス戦に「１番・右翼」で出場し、４打数無安打だった。』いう文章データを元に生成された図３（ｂ）に示すラベル付データを用いて生成した変換テーブル（文字ＩＤテーブル、単語ＩＤテーブル、品詞ＩＤテーブル）である。なお、説明の便宜上、図５に示す変換テーブルの生成前においては、変換テーブル記憶部１０４には、キーおよび値が何も記憶されていない変換テーブル、即ち初期化された変換テーブルが記憶されているものとする。
【００３３】
なお、上記具体例では、キーに対応付ける値（文字ＩＤ、単語ＩＤ、品詞ＩＤ）は、未使用分について昇順に登録（付与）しているが、つまり、文章データの先頭から出現の早い順に値を割り振っているが、キーに対して値が一意に定まるのであれば、他の登録方法であってもよい。
【００３４】
特徴量データ生成部１３０は、ラベル付データ記憶部１０２に記憶されているラベル付データと変換テーブル記憶部１０４に記憶されている変換テーブルとを用いて、学習データ記憶部１００に記憶されている文章データ内の一の単語の特徴量を示す特徴量データを生成する。具体的には、特徴量データ生成部１３０は、文章データ内において、当該一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類を判定し、各判定結果（判定データ）を特徴量として含む特徴量データを生成する。
【００３５】
例えば、特徴量データ生成部１３０は、図６に示すように、特徴量を算出するために選択した一の単語（以下、「対象単語」という）に文章データ内において隣接する前後４個迄の各位置に出現する文字の種類（文字ＩＤ）に係る特徴量データとして（ａ−ｓｔｒｉｎｇ１、ａ−ｓｔｒｉｎｇ２、ａ−ｓｔｒｉｎｇ３、ａ−ｓｔｒｉｎｇ４、ｂ−ｓｔｒｉｎｇ１、ｂ−ｓｔｒｉｎｇ２、ｂ−ｓｔｒｉｎｇ３、ｂ−ｓｔｒｉｎｇ４）を生成する。ここでａ−ｓｔｒｉｎｇＮｓ（Ｎｓ＝１，２，３，４）は対象単語のＮｓ個後（うしろ）の文字の種類、ｂ−ｓｔｒｉｎｇＮｓ（Ｎｓ＝１，２，３，４）は対象単語のＮｓ個前の文字の種類である。なお、図６に示すａ−ｗｏｒｄＮｗ（Ｎｗ＝１，２，３）は対象単語のＮｗ個後の単語の種類、ｂ−ｗｏｒｄＮｗ（Ｎｗ＝１，２，３）は対象単語のＮｗ個前の単語の種類である。また、ａ−ｐａｒｔＮｐ（Ｎｐ＝１，２，３）は対象単語のＮｐ個後の単語の品詞の種類、ｂ−ｐａｒｔＮｐ（Ｎｐ＝１，２，３）は対象単語のＮｗ個前の単語の品詞の種類である。
【００３６】
また、特徴量データ生成部１３０は、上述の如く判定した文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果（集計データ）を特徴量として含む特徴量データを生成する。換言すれば、特徴量データ生成部１３０は、文章データ内において、当該一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果（集計データ）を特徴量として含む特徴量データを生成する。
【００３７】
例えば、特徴量データ生成部１３０は、図６に示すように、対象単語に文章データ内において隣接する前後４個迄の各位置に出現する文字の種類（文字ＩＤ）毎の出現回数に係る特徴量データとして（ａ−ｓｔｒｉｎｇ１−ｎｕｍ、ａ−ｓｔｒｉｎｇ２−ｎｕｍ、ａ−ｓｔｒｉｎｇ３−ｎｕｍ、ａ−ｓｔｒｉｎｇ４−ｎｕｍ、ｂ−ｓｔｒｉｎｇ１−ｎｕｍ、ｂ−ｓｔｒｉｎｇ２−ｎｕｍ、ｂ−ｓｔｒｉｎｇ３−ｎｕｍ、ｂ−ｓｔｒｉｎｇ４−ｎｕｍ）を生成する。ここでａ−ｓｔｒｉｎｇＮｓ−ｎｕｍ（Ｎｓ＝１，２，３，４）は対象単語のＮｓ個後の文字の種類毎の出現回数、ｂ−ｓｔｒｉｎｇＮｓ−ｎｕｍ（Ｎｓ＝１，２，３，４）は対象単語のＮｓ個前の文字の種類毎の出現回数である。また、図６に示すａ−ｗｏｒｄＮｗ−ｎｕｍ（Ｎｗ＝１，２，３）は対象単語のＮｗ個後の単語の種類毎の出現回数、ｂ−ｗｏｒｄＮｗ−ｎｕｍ（Ｎｗ＝１，２，３）は対象単語のＮｗ個前の単語の種類毎の出現回数である。また、ａ−ｐａｒｔＮｐ−ｎｕｍ（Ｎｐ＝１，２，３）は対象単語のＮｐ個後の単語の品詞の種類毎の出現回数、ｂ−ｐａｒｔＮｐ−ｎｕｍ（Ｎｐ＝１，２，３）は対象単語のＮｗ個前の単語の品詞の種類毎の出現回数である。
【００３８】
なお、上述の如く、文字に係る上記前後所定個数（上記Ｎｓ）と、単語に係る上記前後所定個数（上記Ｎｗ）と、単語の品詞に係る上記前後所定個数（上記Ｎｐ）とは、異なる個数であってもよい。図６に示す例では、特徴量データ生成部１３０は、文字の種類の判定および種類毎の出現回数の集計については、前後４個迄の８つの位置（つまり、１個後の位置、２個後の位置、３個後の位置、４個後の位置、１個前の位置、２個前の位置、３個前の位置、４個前の位置）を対象とし、単語の種類の判定および種類毎の出現回数の集計、並びに、単語の品詞の種類の判定および種類毎の出現回数の集計については、前後３個迄の６つの位置（つまり、１個後の位置、２個後の位置、３個後の位置、１個前の位置、２個前の位置、３個前の位置）を対象としている。
【００３９】
また、特徴量データ生成部１３０は、当該一の単語が、数字、小文字の平仮名または小文字の片仮名、所定の記号のそれぞれを含むか否かを判定し、各判定結果（判定データ）を特徴量として含む特徴量データを生成する。なお、上記有無は、有を「１」、無を「０」とすることによって数値化する。
【００４０】
例えば、特徴量データ生成部１３０は、図６に示すように、対象単語内の数字の有無に係る特徴量データとして（ｆ−ｎｕｍ）を生成し、対象単語内の小文字の平仮名または小文字の片仮名の有無に係る特徴量データとして（ｆ−ｃａｐ）を生成し、対象単語内の所定の記号の有無に係る特徴量データとして（ｆ−ｆｉｇ）を生成する。
【００４１】
なお、上記小文字の平仮名の一例は「ぁ」「ゃ」、上記小文字の片仮名の一例は「ッ」「ャ」、上記所定の記号の一例は、ハイフン「−」、中黒「・」、マル「○」などである。また、特徴量データ生成部１３０は、例えば、所定の記号を定義する定義情報を保持または参照し、対象単語内の所定の記号の有無を判定する。
【００４２】
以上のように特徴量データ生成部１３０は、対象単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類の判定結果、当該種類毎の出現回数の集計結果、対象単語自体が数字、小文字の平仮名または小文字の片仮名、所定の記号のそれぞれを含むか否かの判定結果を特徴量の各項目とする特徴量データを生成するが、上述の如く、ラベル付データ記憶部１０２に記憶されているラベル付データと変換テーブル記憶部１０４に記憶されている変換テーブルとを参照して、学習データ記憶部１００に記憶されている文章データ内の対象単語に係る上記各項目の値を算出する。
【００４３】
例えば、特徴量データ生成部１３０は、図２に示す『マリナーズのイチローは９日、エンゼルス戦に「１番・右翼」で出場し、４打数無安打だった。』いう文章データ内の「エンゼルス」を対象単語とし、ラベル付データ記憶部１０２には図３（ｂ）に示すラベル付データが記憶され、変換テーブル記憶部１０４には図５に示す変換テーブルが記憶されているとした場合、図７に示す特徴量データ（項目、値）を生成する。
【００４４】
一例として例えば、特徴量データ生成部１３０は、上記文章において、対象文字である「エンゼルス」の１個後の文字「戦」は、図５（ａ）に示す変換テーブル（文字ＩＤテーブル）から値が１９であると判断することによって、図７に示すように、項目「ａ−ｓｔｒｉｎｇ１」の値「１９」を算出（取得）し、「エンゼルス」の１個後の単語「戦」は、図５（ｂ）に示す変換テーブル（単語ＩＤテーブル）から値が９であると判断することによって、図７に示すように、項目「ａ−ｗｏｒｄ１」の値「９」を算出（取得）し、「エンゼルス」の１個後の単語「線」の品詞は、図３（ｂ）に示すラベル付データから「名詞・接尾」であると判断し、更に、図５（ｃ）に示す変換テーブル（品詞ＩＤテーブル）から「名詞・接尾」の値が６であると判断することによって、図７に示すように、項目「ａ−ｐａｒｔ１」の値「６」を算出（取得）する。また、例えば、特徴量データ生成部１３０は、対象文字である「エンゼルス」は、数字を含まないと判定し、図７に示すように、項目「ｆ−ｎｕｍ」の値「０」を算出（取得）し、小文字の平仮名または小文字の片仮名を含まないと判定し、図７に示すように、項目「ｆ−ｃａｐ」の値「０」を算出（取得）し、所定の記号を含まないと判定し、図７に示すように、項目「ｆ−ｆｉｇ」の値「０」を算出（取得）する。
【００４５】
なお、図７に示す例では、Ｘ−ｎｕｍ（Ｘ＝ａ（ｂ）−ｓｔｒｉｎｇＮｓ，ａ（ｂ）−ｗｏｒｄＮｗ，ａ（ｂ）−ｐａｒｔＮｐ）の項目、つまり出現回数に係る各項目については、対象文字である「エンゼルス」の出現位置が１箇所であったため全て１となったが、１または２以上の文章データ内において、対象文字である「エンゼルス」の出現位置が２箇所以上であった場合、適宜カウントアップされることになる。例えば、『マリナーズのイチローは９日、エンゼルス戦に「１番・右翼」で出場し、４打数無安打だった。』いう文章データの他に、『エンゼルス戦は今回で２回目である。』という文章データも学習データ記憶部１００に記憶されている場合、２つの文章とも対象文字である「エンゼルス」の１個後の単語「戦」であるため、図７に示すａ−ｓｔｒｉｎｇ−ｎｕｍの値は１＋１＝２となる。
【００４６】
また、仮に、対象単語の出現位置が文章データの先頭であった場合など、特定の項目（（当該場合には、対象文字の前の文字、単語、単語の品詞に係る項目）が取得できない場合には、当該特定の項目の値は空のままにしてもよい。
【００４７】
なお、特徴量データ生成部１３０は、所定の順番（例えば、文章データ同士については学習データ記憶部に記憶した記憶日時順または文章データを識別するＩＤ順、文章データ内については先頭からの出現順）で、対象単語を学習データ記憶部１００から取得してもよいし、文章データ内の特定の単語を対象単語として指定して学習データ記憶部１００から取得してもよい。
【００４８】
特徴量データ生成部１３０は、生成した特徴量データを特徴量データ記憶部１０６に記憶する。つまり、特徴量データ記憶部１０６は、特徴量データ生成部１３０によって生成された特徴量データを記憶する。
【００４９】
特徴量データ記憶部１０６の実装、即ち特徴量データの記憶方法は、例えば、固定長の配列（ａｒｒａｙ）を用いる。以下、多くの計算機上で利用可能なｉｎｔｅｇｅｒ配列による特徴量データの記憶方法について説明する。
【００５０】
（１）ｉｎｔｅｇｅｒ配列を初期化する。
（２）上記の特徴量を配列の仕様に変換する。具体的には特徴量の項目を示す項目ＩＤと、配列の管理用ＩＤである配列ＩＤを特徴量の先頭に加え、ｉｎｔｅｇｅｒ配列に登録する。
例えば、上述の「エンゼルス」の例に含まれる４４個（配列ＩＤ数１個＋項目数４３個）の値を、ｉｎｔｅｇｅｒ配列に仕様にあわせて変換する。このときの配列の値の数は値の数である４４個以外に、配列を管理するためのＩＤなどを表す値を所持することができる。例えば、以下のｉｎｔｅｇｅｒ配列の例では、品詞ＩＤテーブルから得られる「エンゼルス」の「名詞・固有名詞」に対する品詞ＩＤと、「１つめのｉｎｔｅｇｅｒ配列」を示す配列ＩＤとして、配列そのものに１というＩＤとを割り当てている。
つまり、｛品詞ＩＤ，配列ＩＤ，項目の値１，項目の値２，・・・，項目の値４３｝としている。
（ｉｎｔｅｇｅｒ配列の例）
｛１，１，１９，１，２０，１，２１，１，２２，１，１３，１，１２，１，１１，１，１０，１，９，１，１０，１，１１，１，７，１，６，１，５，１，６，１，８，１，９，１，７，１，６，１，５，１，０，０，０｝
「エンゼルス」と同一の品詞ＩＤ「名詞・固有名詞」において新たなｉｎｔｅｇｅｒ配列が出現した場合、即ち、同一の品詞の他の対象単語が出現した場合には｛１，２，…｝、｛１，３，…｝とし、「エンゼルス」と異なる品詞ＩＤが出現した場合、つまり異なる品詞の他の対象単語が出現した場合には、｛２，１，…｝、｛３，１，…｝としている。
【００５１】
未知語データ記憶部１０８は、品詞が未知である単語（品詞無単語）、即ち未知語に係る未知語文字列を記憶する。未知語文字列は、例えば、非図示の未知語取得部によって外部から取得され未知語データ記憶部１０８に記憶される。
【００５２】
品詞推定部１４０は、特徴量データ記憶部１０６に記憶されている特徴量データを用いて、未知語の品詞を推定する。未知語の品詞を推定した品詞推定部１４０は、当該未知語に推定した品詞を付した品詞付単語データを外部に出力する。
【００５３】
（識別器への仕様変換）
品詞推定の機能を実現する際には、識別器と呼ばれる技術が使われることが多い。識別器の代表例として、ＳＶＭ（Support Vector Machine）と呼ばれる技術が用いられることが多い。ＳＶＭは、判定対象となるデータが特定のクラスに該当するか否かを判定するための機能を提供する。本実施形態に適用する場合、クラスは特定の品詞を指し、「入力データが特定の品詞に該当するか否か」という判定となる。
【００５４】
以下、特徴量データ記憶部１０６に記憶されている特徴量データをＳＶＭの実装例であるｌｉｂｓｖｍの入力データに変換する例を記載する。
（１）品詞ＩＤテーブルに登録されている品詞の種類から、クラスの数Ｃを決定する。
（２）クラスＣのうち、「名詞・固有名詞」（例えば、品詞ＩＤ＝１）の識別器を作成する。
（３）入力データとして、例えば、上記配列ＩＤ＝１のｉｎｔｅｇｅｒ配列を用いる。
｛１，１，１９，１，２０，１，２１，１，２２，１，１３，１，１２，１，１１，１，１０，１，９，１，１０，１，１１，１，７，１，６，１，５，１，６，１，８，１，９，１，７，１，６，１，５，１，０，０，０｝
（４）ｌｉｂｓｖｍでは「データがクラスＣに該当する場合は＋１、クラスＣに該当しない場合は−１」というラベルが必要となる。本データは「名詞・固有名詞」を表すものであるため、ラベルとして「＋１」を付与する。
＋１
（５）次に、各ｉｎｔｅｇｅｒ配列の値をｌｉｂｓｖｍの特徴量に変換する（：で区切る）。例えば、上記例では、１つめの値はａ−ｓｔｒｉｎｇ１の値となり、２つの目の値はａ−ｓｔｒｉｎｇ１−ｎｕｍの値となる。以下同様に繰り返す。
｛＋１ １：１ ２：１ ３：１９ ４：１ ５：２０ ６：１ ７：２１ ８：１ ９：２２ １０：１ １１：１３ １２：１ １３：１２ １４：１ １５：１１ １６：１ １７：１０ １８：１ １９：９ ２０：１ ２１：１０ ２２：１： ２３：７ ２４：１ ２５：６ … ４３：０｝
なお、ｉｎｔｅｇｅｒ配列内の品詞ＩＤテーブルが「名詞・固有名詞」の品詞ＩＤ：１でない場合は、ラベルとして「−１」を付与する。
（６）以上の作業をｉｎｔｅｇｅｒ配列に対して繰り返すことで、「名詞・固有名詞」を判定するためのＳＶＭの入力データが完成する。
（７）他の品詞が存在した場合は、同様に処理し、ＳＶＭ用の入力データを生成する。
【００５５】
続いて、図８および図９を用いて操作支援装置１の動作を説明する。図８は文章データを入力し特徴量データを出力する迄の全体のフローチャート、図９は特徴量データの生成に係るフローチャートである。
【００５６】
まず、図８を用いて操作支援装置１の全体の流れについて説明する。図８において、ラベル付データ生成部１１０は、学習データ記憶部１００に記憶されている文章データ内において単語の境界を推定するとともに、当該境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成する（ステップＳ１００）。ラベル付データを生成したラベル付データ生成部１１０は、生成したラベル付データをラベル付データ記憶部１０２に記憶する。
【００５７】
続いて、変換テーブル生成部１２０は、ラベル付データ記憶部１０２に記憶されているラベル付データを用いて変換テーブル（文字ＩＤテーブル、単語ＩＤテーブルおよび品詞ＩＤテーブル）を生成する（ステップＳ２００）。変換テーブルを生成した変換テーブル生成部１２０は、生成した変換テーブルを変換テーブル記憶部１０４に記憶する。
【００５８】
続いて、特徴量データ生成部１３０は、ラベル付データ記憶部１０２に記憶されているラベル付データと変換テーブル記憶部１０４に記憶されている変換テーブルとを用いて、学習データ記憶部１００に記憶されている文章データ内の対象単語の特徴量を示す特徴量データを生成する（ステップＳ３００）。換言すれば、特徴量データ生成部１３０は、特徴量データとして、対象単語の近傍の文字、単語、品詞の出現頻度に係る統計情報および対象単語の構成（例えば、小文字の平仮名または小文字の片仮名の有無）に係る統計情報からなる文字列集計データを生成する。特徴量データを生成した特徴量データ生成部１３０は、生成した特徴量データを特徴量データ記憶部１０６に記憶する。
【００５９】
続いて、品詞推定部１４０は、特徴量データ記憶部１０６に記憶されている特徴量データを用いて、未知語の品詞を推定する（ステップＳ４００）。未知語の品詞を推定した品詞推定部１４０は、当該未知語に推定した品詞を付した品詞付単語データを外部に出力する。
【００６０】
続いて、図９を用いて特徴量データの生成の流れについて説明する。なお、特徴量データ生成部１３０は、文字の種類の判定および種類毎の出現回数の集計については前後４個迄の８つの位置を対象とし（上記Ｎｓ＝４）、単語の種類の判定および種類毎の出現回数の集計、並びに、単語の品詞の種類の判定および種類毎の出現回数の集計については、前後３個迄の６つの位置を対象とするものとする（上記Ｎｗ＝３、上記Ｎｐ＝３）。なお、図９に示すフローチャートは対象単語の選択により開始する。
【００６１】
図９において、特徴量データ生成部１３０は、対象単語内の数字、小文字、記号の有無を判定し、各判定結果に係る特徴量データ（ｆ−ｎｕｍ、ｆ−ｃａｐ、ｆ−ｆｉｇ）を生成する（ステップＳ３１０）。
【００６２】
続いて、特徴量データ生成部１３０は、学習データ記憶部１００に記憶されている文章データ内において対象単語を探索する（ステップＳ３２０）。次いで、特徴量データ生成部１３０は、特徴量データの算出の基礎とした出現位置（以下、「基礎出現位置」という）以外の出現位置があるか否かを判断する（ステップＳ３３０）。即ち、特徴量データ生成部１３０は、ステップＳ３２０の探索の結果、基礎出現位置以外の出現位置を見つけたか否かを判断する。特徴量データ生成部１３０は、基礎出現位置以外の出現位置がないと判断した場合（ステップＳ３３０：Ｎｏ）、本フローチャートは終了する。
【００６３】
一方、特徴量データ生成部１３０は、基礎出現位置以外の出現位置があると判断した場合（ステップＳ３３０：Ｙｅｓ）、当該出現位置（基礎出現位置以外の出現位置が複数ある場合はうち１つ）を基礎出現位置として設定する（ステップＳ３４０）。特徴量データ生成部１３０は、基礎出現位置として他の出現位置を設定中の場合、当該他の出現位置に代えて当該出現位置を基礎出現位置として再設定する。つまり、特徴量データ生成部１３０は、基礎出現位置を更新する。なお、対象単語は文章データ内から選択するため、最初に実行するステップ３３０においては、特徴量データ生成部１３０は基礎出現位置以外の出現位置がある（ステップＳ３３０：Ｙｅｓ）と判断する。
【００６４】
ステップＳ３４０に続いて、特徴量データ生成部１３０は、当該基礎出現位置の前後４個迄の各文字の文字ＩＤを取得し、出現回数を集計し、特徴量データ（ａ−ｓｔｒｉｎｇ１，ａ−ｓｔｒｉｎｇ１−ｎｕｍ，ａ−ｓｔｒｉｎｇ２，ａ−ｓｔｒｉｎｇ２−ｎｕｍ，・・・，ｂ−ｓｔｒｉｎｇ３，ｂ−ｓｔｒｉｎｇ３−ｎｕｍ，ｂ−ｓｔｒｉｎｇ４，ｂ−ｓｔｒｉｎｇ４−ｎｕｍ）を生成する（ステップＳ３５０）。
【００６５】
ステップＳ３５０に続いて、特徴量データ生成部１３０は、当該基礎出現位置の前後３個迄の各単語の単語ＩＤを取得し、出現回数を集計し、特徴量データ（ａ−ｗｏｒｄ１，ａ−ｗｏｒｄ１−ｎｕｍ，ａ−ｗｏｒｄ２，ａ−ｗｏｒｄ２−ｎｕｍ，・・・，ｂ−ｗｏｒｄ２，ｂ−ｗｏｒｄ２−ｎｕｍ，ｂ−ｗｏｒｄ３，ｂ−ｗｏｒｄ３−ｎｕｍ）を生成する（ステップＳ３６０）。次いで、特徴量データ生成部１３０は、上記各単語について、品詞ＩＤを取得し、出現回数を集計し、特徴量データ（ａ−ｐａｒｔ１，ａ−ｐａｒｔ１−ｎｕｍ，ａ−ｐａｒｔ２，ａ−ｐａｒｔ２−ｎｕｍ，・・・，ｂ−ｐａｒｔ２，ｂ−ｐａｒｔ２−ｎｕｍ，ｂ−ｐａｒｔ３，ｂ−ｐａｒｔ３−ｎｕｍ）を生成する（ステップＳ３７０）。そして、ステップＳ３２０に戻って、特徴量データ生成部１３０は、基礎出現位置以外の出現位置がないと判断する迄（ステップＳ３３０：Ｎｏ）、つまり対象単語の全出現位置についてステップＳ３４０からステップＳ３７０の処理を実行し終わる迄、ステップＳ３２０からステップＳ３７０を繰り返し実行する。
【００６６】
以上、本実施形態によれば、日本語の品詞推定を高精度に行うことができるようになる。具体的には、対象単語内の数字の有無に係る特徴量データに加え、日本語に馴染む小文字の平仮名または小文字の片仮名の有無に係る特徴量データおよび所定の記号の有無に係る特徴量データを用いることによって、日本語の品詞推定を行うことができるようにしている。
【００６７】
また、定量的な数値として、文字、単語および品詞の出現回数に係る特徴量データを用いることによって、品詞推定を高精度に行うことができるようにしている。即ち、対象単語の出現位置の前後所定個数迄の各位置に同一の文字、同一の単語、または、同一の品詞が出現したときは、定量的な数値として出現回数を累積し、累積値を特徴量データとすることによって、品詞推定を高精度に行うことができるようにしている。
【００６８】
なお、本実施形態において、特徴量算出部１０は変換テーブルを生成する変換テーブル生成部１２０を備える構成として説明したが、特徴量算出部１０は変換テーブル生成部１２０を備えない構成であってもよい。特徴量算出部１０が変換テーブル生成部１２０を備えない構成である場合、必要とされる変換テーブルを予め変換テーブル記憶部１０４に記憶しておくか、または、適宜、必要とされる変換テーブルを外部から取得して変換テーブル記憶部１０４に記憶する。
【００６９】
また、本実施形態において、特徴量算出部１０は品詞推定装置１の構成要素として説明したが、特徴量算出部１０はある装置の構成要素ではなく独立した装置（特徴量算出装置１０）であってもよい。当該特徴量算出装置１０は、図１に示すように、学習データ記憶部１００、ラベル付データ記憶部１０２、変換テーブル記憶部１０４、特徴量データ記憶部１０６、ラベル付データ生成部１１０、変換テーブル生成部１２０および特徴量データ生成部１３０を備え、品詞を推定する他の装置に特徴量データを供給する。なお、当該特徴量算出装置１０は、上述の如く変換テーブル生成部１２０を備えない構成であってもよい。
【００７０】
なお、本発明の一実施形態による品詞推定装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の一実施形態による品詞推定装置１に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７１】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００７２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７３】
１ 品詞推定装置 １０ 特徴量算出部（特徴量算出装置） １００ 学習データ記憶部 １０２ ラベル付データ記憶部 １０４ 変換テーブル記憶部 １０６ 特徴量データ記憶部 １０８ 未知語データ記憶部 １１０ ラベル付データ生成部 １２０ 変換テーブル生成部 １３０ 特徴量データ生成部 １４０ 品詞推定部
【特許請求の範囲】
【請求項１】
学習データである文章データ内において単語の境界を推定するとともに、前記境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部と、
文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部と、
前記ラベル付データ生成部によって生成された前記ラベル付データと前記変換テーブル記憶部に記憶された前記変換テーブルとを用いて、前記文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部と
を備え、
前記特徴量データ生成部は、
前記文章データ内において、前記一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を前記特徴量として含む前記特徴量データを生成することを特徴とする特徴量算出装置。
【請求項２】
学習データである文章データ内において単語の境界を推定するとともに、前記境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部と、
文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部と、
前記ラベル付データ生成部によって生成された前記ラベル付データと前記変換テーブル記憶部に記憶された前記変換テーブルとを用いて、前記文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部と
を備え、
前記特徴量データ生成部は、
前記文章データ内において、前記一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類を判定するとともに、前記一の単語が、小文字の平仮名、小文字の片仮名、所定の記号のそれぞれを含むか否かを判定し、各判定結果を前記特徴量として含む前記特徴量データを生成することを特徴とする特徴量算出装置。
【請求項３】
前記特徴量データ生成部は、
前記一の単語が、小文字の平仮名、小文字の片仮名、所定の記号のそれぞれを含むか否かを判定し、各判定結果を前記特徴量として更に含む前記特徴量データを生成することを特徴とする請求項１に記載の特徴量算出装置。
【請求項４】
前記ラベル付データを用いて前記変換テーブルを生成する変換テーブル生成部を更に備える請求項１から請求項３の何れか１項に記載の特徴量算出装置。
【請求項５】
学習データである文章データ内において単語の境界を推定するとともに、前記境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部と、
文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部と、
前記ラベル付データ生成部によって生成された前記ラベル付データと前記変換テーブル記憶部に記憶された前記変換テーブルとを用いて、前記文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部と、
前記特徴量データ生成部によって生成された特徴量データを用いて、品詞が未知である単語の品詞を推定する品詞特定部と
を備え、
前記特徴量データ生成部は、
前記文章データ内において、前記一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を前記特徴量として含む前記特徴量データを生成することを特徴とする品詞推定装置。
【請求項６】
文字、単語および品詞を数値に変換するための変換テーブルを記憶する特徴量算出装置のコンピュータに、
学習データである文章データ内において単語の境界を推定するとともに、前記境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成ステップと、
前記ラベル付データ生成ステップによって生成された前記ラベル付データと前記変換テーブルとを用いて、前記文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成ステップと
を実行させるプログラムであって、
前記特徴量データ生成ステップは、
前記文章データ内において、前記一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を前記特徴量として含む前記特徴量データを生成することを特徴とするプログラム。
【請求項１】
学習データである文章データ内において単語の境界を推定するとともに、前記境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部と、
文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部と、
前記ラベル付データ生成部によって生成された前記ラベル付データと前記変換テーブル記憶部に記憶された前記変換テーブルとを用いて、前記文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部と
を備え、
前記特徴量データ生成部は、
前記文章データ内において、前記一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を前記特徴量として含む前記特徴量データを生成することを特徴とする特徴量算出装置。
【請求項２】
学習データである文章データ内において単語の境界を推定するとともに、前記境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部と、
文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部と、
前記ラベル付データ生成部によって生成された前記ラベル付データと前記変換テーブル記憶部に記憶された前記変換テーブルとを用いて、前記文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部と
を備え、
前記特徴量データ生成部は、
前記文章データ内において、前記一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類を判定するとともに、前記一の単語が、小文字の平仮名、小文字の片仮名、所定の記号のそれぞれを含むか否かを判定し、各判定結果を前記特徴量として含む前記特徴量データを生成することを特徴とする特徴量算出装置。
【請求項３】
前記特徴量データ生成部は、
前記一の単語が、小文字の平仮名、小文字の片仮名、所定の記号のそれぞれを含むか否かを判定し、各判定結果を前記特徴量として更に含む前記特徴量データを生成することを特徴とする請求項１に記載の特徴量算出装置。
【請求項４】
前記ラベル付データを用いて前記変換テーブルを生成する変換テーブル生成部を更に備える請求項１から請求項３の何れか１項に記載の特徴量算出装置。
【請求項５】
学習データである文章データ内において単語の境界を推定するとともに、前記境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成部と、
文字、単語および品詞を数値に変換するための変換テーブルを記憶する変換テーブル記憶部と、
前記ラベル付データ生成部によって生成された前記ラベル付データと前記変換テーブル記憶部に記憶された前記変換テーブルとを用いて、前記文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成部と、
前記特徴量データ生成部によって生成された特徴量データを用いて、品詞が未知である単語の品詞を推定する品詞特定部と
を備え、
前記特徴量データ生成部は、
前記文章データ内において、前記一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を前記特徴量として含む前記特徴量データを生成することを特徴とする品詞推定装置。
【請求項６】
文字、単語および品詞を数値に変換するための変換テーブルを記憶する特徴量算出装置のコンピュータに、
学習データである文章データ内において単語の境界を推定するとともに、前記境界によって特定される各単語の品詞を推定して、各単語と各単語の品詞を示す品詞ラベルとから構成されるラベル付データを生成するラベル付データ生成ステップと、
前記ラベル付データ生成ステップによって生成された前記ラベル付データと前記変換テーブルとを用いて、前記文章データ内の一の単語の特徴量を示す特徴量データを生成する特徴量データ生成ステップと
を実行させるプログラムであって、
前記特徴量データ生成ステップは、
前記文章データ内において、前記一の単語の出現位置の前後所定個数迄の各位置に出現する文字、単語、単語の品詞の種類毎の出現回数を集計し、各集計結果を前記特徴量として含む前記特徴量データを生成することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−８１６２７（Ｐ２０１１−８１６２７Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２００９−２３３７５７（Ｐ２００９−２３３７５７）
【出願日】平成２１年１０月７日（２００９．１０．７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、独立行政法人情報通信研究機構「高度通信・放送研究開発委託研究／インターネット上の違法・有害情報検出技術の研究開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５９９１０８２６４）株式会社ＫＤＤＩ研究所 (233)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願日】平成２１年１０月７日（２００９．１０．７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、独立行政法人情報通信研究機構「高度通信・放送研究開発委託研究／インターネット上の違法・有害情報検出技術の研究開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５９９１０８２６４）株式会社ＫＤＤＩ研究所 (233)
【Ｆターム（参考）】
[ Back to top ]