言語解析システム及び言語解析方法
【課題】英文で記載された文章の時制の正誤の自動解析をコーパスを収容したデータベースにより行う言語解析システム及び言語解析方法の提供。
【解決手段】データベースから文章を抽出しこれを構成する単語又は句に品詞タグを与える上で、動詞のうち、習慣的動作を表すものではない動作動詞についてはこれを示す動作動詞タグを与え、動作動詞と、動詞のタグを与えられた単語に関する複数の素性と、の相関についての分類器を得ておく。少なくとも解析部において、英語で記載された解析対象の文章の品詞を推定し素性について素性ベクトルに変換する。分類器に素性ベクトルを与えて動詞について動作動詞であり且つ単純現在であるときを文章の時制誤りとする。
【解決手段】データベースから文章を抽出しこれを構成する単語又は句に品詞タグを与える上で、動詞のうち、習慣的動作を表すものではない動作動詞についてはこれを示す動作動詞タグを与え、動作動詞と、動詞のタグを与えられた単語に関する複数の素性と、の相関についての分類器を得ておく。少なくとも解析部において、英語で記載された解析対象の文章の品詞を推定し素性について素性ベクトルに変換する。分類器に素性ベクトルを与えて動詞について動作動詞であり且つ単純現在であるときを文章の時制誤りとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、英文で記載された文章の時制の正誤を自動解析するための言語解析システム及び言語解析方法に関し、特に、この解析をコーパスを収容したデータベースを用いて行う言語解析システム及び言語解析方法に関する。
【背景技術】
【０００２】
英文で記載された文章の句や単語毎に各種のタグを与えてデータベース化したタグ付きコーパス（ｃｏｒｐｕｓ）を用いて、解析対象文章をコンピュータ自動解析するシステムが知られている。コーパスから分類器を機械学習させ、解析対象文章を該分類器によりコンピュータ自動解析させるのである。分類器については、決定木やニューラルネットワークなどの多くのアルゴリズムが提案されている。
【０００３】
例えば、非特許文献１では英文エッセイの自動評価を行うための各種のタグを付けたコーパスについて述べられている。コーパスにタグ付けがなされることで文章中の各単語の機能、例えば、限定詞、前置詞、その他の品詞としての機能や、表現したい内容などについてもコンピュータが認識できるようになる。また、特許文献１でも、同様に、英文エッセイの自動評価を行うためのシステムを開示している。その背景技術として、主語及び動詞の合致のような解析対象文章の正誤はタグを付けたコーパスを利用して容易に行い得ることを述べている。
【０００４】
ここで、特許文献１では、上述した主語及び動詞の合致や、単語のつづりにおける誤りを「厳格なエラー」と定義する一方で、読み手の主観的要素によって正誤判断の分かれるような場合、例えば、エッセイ中での単語の繰り返しエラーの如き文章エラーを区別して定義している。つまり、前者についてはコーパスを用いた簡単な分類器でその正誤を比較的容易に自動解析できるが、後者については自動解析において多くの難しさがある。かかるエラーの１つとして文章の時制誤りが挙げられる。
【０００５】
例えば、２つの解析対象文章（例文１：「I like the car.」）と、（例文２：「I liked the car.」）が与えられたとする。（例文１）及び（例文２）は、それぞれ「私はその車を好きだ。」との現在形、及び、「私はその車を好きだった。」との過去形の文章であり、いずれも文法的には正しい。しかしながら、書き手が（例文１）の現在形の意味を意図して（例文２）を書いたとき、逆に、書き手が（例文２）の過去形の意味を意図して（例文１）を書いたときに各文章は動詞の時制の誤りとされる。すなわち、書き手の意図において、同じ文章でありながら正誤の判断が異なるのである。また、「now」や「in those days」のような時制を確定させる単語や表現を文中に含むときや、前後に時制に関する記述のあるときは、これに依存して正誤が決定される。つまり、動詞の時制の正誤は、書き手の状況の推測や、前後の文章の文脈などの表層情報によって決定され得るのである。
【０００６】
表層情報に関して、例えば、特許文献２では、テキストを精度良く解析等するため、文内及び文間に現われる表層情報から得られる様々な知識をはじめとして、辞書的な知識、言語学的な知見など、できるだけ多様な知識を利用するのが良いと考えられると述べた上で、多様な知識を利用しようとすると学習データに過学習する傾向があることを指摘している。そこで、この「知識」を充実させて表層情報をより効率よく解析することを提案している。
【０００７】
一方、非特許文献２では、一般的な文章の誤りの検出手法について述べている。つまり、誤り情報のタグを付けられたコーパスから正誤を判定するための最大エントロピー法に基づく分類器を学習し、誤り検出を行うことで多くの文章の誤りを検出できるとしている。かかる方法でも、上述した時制の正誤の決定を行い得る。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２００６−５０６７４０号公報
【特許文献２】特開２００５−２１６１２６号公報
【非特許文献】
【０００９】
【非特許文献１】J.Burstein,M.Chodorow, and C.Leacock, "Automated Essay Evaluation: The Criterion OnlineWriting Service", AI Magazine, vol 25, No.3, pp27-36, Sep.2004
【非特許文献２】E.Izumi,K.Uchimoto, T.Saiga, T.Supnithi, and H. Isahara,. "Automatic errordetection in the Japanese learners' English spoken data", Proc. of 41st.Annual Meeting of ACL, pp145-148, 2003.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
非特許文献２では、誤り情報のタグを付けられた特殊なコーパスを用いて学習データの作成を試みているが、かかるコーパスは一般的でないため、時制の正誤の決定の精度を十分に得られるような十分な学習データを得ることは難しい。一方、特許文献２で述べられているように、表層情報から判断される正誤の種類は動詞の時制の誤りに限らず非常に数多く、その正誤の決定の精度は表層情報の取得のための学習データの作成に大きく依存する。しかしながら、時制の正誤の決定に限定すれば、特定の表層情報からの判断で十分であり、大規模な学習データの作成は不要と考えられる。例えば、時制誤りの解析対象である文章において、その中心となる動詞を抽出できる程度のコーパスの如きを用いて、この正誤判断ができることを望まれる。
【００１１】
本発明は、上記したような状況に鑑みてなされたものであって、その目的とするところは、英文で記載された文章の時制の正誤の自動解析をコーパスを収容したデータベースを用いて自動解析する言語解析システム及び言語解析方法の提供にある。
【課題を解決するための手段】
【００１２】
本発明による言語解析システムは、英語で記載された文章の時制の正誤をコーパスを収容したデータベースを用いて自動解析する自動解析システムであって、前記データベースから文章を抽出しこれを構成する単語又は句に品詞タグを与える上で、動詞のうち、習慣的動作を表すものではない動作動詞についてはこれを示す動作動詞タグを与え、前記動作動詞と、前記動詞のタグを与えられた単語に関する複数の素性と、の相関についての分類器を得ておくとともに、少なくとも解析部において、英語で記載された解析対象の文章の品詞を推定し前記素性について素性ベクトルに変換するステップと、前記分類器に前記素性ベクトルを与えて前記動詞について動作動詞であり且つ単純現在であるときを前記文章の時制誤りとするステップと、を含む解析を行うことを特徴とする。
【００１３】
かかる発明によれば、コーパスの文章に更に動詞のstativityに関する動作動詞タグを与えることで時制の正誤の自動解析をできる分類器を得られるのである。つまり、表層情報を大規模に収集することなく、文章の時制の正誤の決定を可能とするのである。
【００１４】
上記した発明において、前記素性は、副詞、動詞及び副詞を除く動詞句内の単語、副詞を除く動詞句の左右ｋ（ｋ＝１，２，３…）個の単語から構成されることを特徴としてもよい。かかる発明によれば、動詞のstativityに直接関連し得る情報を含む素性ベクトルを決定できて、動詞の時制の正誤の決定をより精度良く行い得るのである。
【００１５】
上記した発明において、副詞を除く動詞句の左右ｋ（ｋ＝１，２，３…）個の前記単語は、時制を直接表す単語を除いて計数されることを特徴としてもよい。かかる発明によれば、時制の正誤の決定を効率よく且つより精度良く行い得るのである。
【００１６】
上記した発明において、ｋ＝３であることを特徴としてもよい。かかる発明によれば、時制の正誤の決定をより精度良く行い得るのである。
【００１７】
上記した発明において、前記分類器は最大エントロピー法によるものであることを特徴としてもよい。かかる発明によれば、時制の正誤の決定を比較的容易に且つより精度良く行い得るのである。
【００１８】
本発明による言語解析方法は、英語で記載された文章の時制表現の正誤をコーパスを収容したデータベースを用いて自動解析する自動解析方法であって、前記データベースから文章を抽出しこれを構成する単語又は句に品詞タグを与える上で、動詞のうち、習慣的動作を表すものではない動作動詞についてはこれを示す動作動詞タグを与え、前記動作動詞と、前記動詞のタグを与えられた単語に関する複数の素性と、の相関についての分類器を得ておくとともに、少なくとも解析部において、英語で記載された解析対象の文章の品詞を推定し前記素性について素性ベクトルに変換するステップと、前記分類器に前記素性ベクトルを与えて前記動詞について動作動詞であり且つ単純現在であるときを前記文章の時制誤りとするステップと、を含む解析を行うことを特徴とする。
【００１９】
かかる発明によれば、コーパスの文章に更に動詞のstativityに関する動作動詞タグを与えることで時制の正誤の自動解析をできる分類器を得られるのである。つまり、表層情報を大規模に収集することなく、文章の時制の正誤の決定を可能とするのである。
【００２０】
上記した発明において、前記素性は、副詞、検出対象の動詞及び副詞を除く動詞句内の単語、副詞を除く動詞句の左右ｋ（ｋ＝１，２，３…）個の単語から構成されることを特徴としてもよい。かかる発明によれば、stativityを予測すべき動詞に直接関連し得る情報を加味した素性ベクトルを決定できて、動詞の時制の正誤の決定をより精度良く行い得るのである。
【００２１】
上記した発明において、副詞を除く動詞句の左右ｋ（ｋ＝１，２，３…）個の前記単語は、時制を直接表す単語を除いて計数されることを特徴としてもよい。かかる発明によれば、時制の正誤の決定を効率よく且つより精度良く行い得るのである。
【００２２】
上記した発明において、ｋ＝３であることを特徴としてもよい。かかる発明によれば、時制の正誤の決定をより精度良く行い得るのである。
【００２３】
上記した発明において、前記分類器は最大エントロピー法によるものであることを特徴としてもよい。かかる発明によれば、時制の正誤の決定を比較的容易に且つより精度良く行い得るのである。
【図面の簡単な説明】
【００２４】
【図１】本発明によるシステムの構成図である。
【図２】本発明による解析手順のフロー図である。
【図３】本発明による解析手順の一部のフロー図である。
【図４】本発明による解析手順の一部のフロー図である。
【図５】本発明による解析手順の一部のフロー図である。
【図６】本発明による解析手順の一部のフロー図である。
【図７】本発明による解析結果を示す図である。
【発明を実施するための形態】
【００２５】
図１乃至図６を用いて、本発明の１つの実施例による英文で記載された文章の動詞の時制誤りを解析する言語解析システム及び言語解析方法についてその詳細を説明する。
【００２６】
まず、本発明の言語的原理について説明する。例えば、動詞「read」は不規則動詞であって、現在形と過去形の綴りが一緒でありながら、発音が異なる。ここで、「I read the book.」を発音するよう求められた読み手は、大抵の場合、過去形として発音する。「I read the book yesterday.」のように時制が表層情報として明示されていないにもかかわらず、読み手は時制を過去と認識するのである。
【００２７】
ここで、「stativity（状態性）」に基づいた動詞の分類方法がある。例えば、「I like the car.」における動詞「like」は「好きだ」との状態を表す状態動詞であり、「I drove the car.」における動詞「drive（drove）」は「運転する」との動作を表す動作動詞である。動詞の時制は、この「stativity」に制限を受ける。つまり、「動作動詞」と現在時制の組み合わせは、発話時点で起こっている動作を表現するのには一般的に用いられない。このため、上述した「読む」との動作を表す動作動詞である「read」は、時制を過去と認識されるのである。
【００２８】
英文で記載された文章の正誤を自動解析する、すなわち、英語の学習者などが書いた英文の自動添削などにおいては、「動作動詞」と現在時制の組み合わせを時制表現の特殊な用法として考慮するのではなく、これを時制誤りとして検出することを本発明の言語的原理の１つとしている。かかる言語的原理を用いた言語解析システム１（図１参照）について、以下にその詳細を説明する。
【００２９】
図１に示すように、言語解析システム１は、解析処理の中枢を担う中央制御部１０と、中央制御部１０からの命令により各種のデータを情報処理する処理部１１乃至１４、解析対象の英語の文章テキストデータを入力するキーボードやスキャナなどに接続される解析対象文章入力部２１、及び、解析結果を印字機（プリンタ）や映像装置（モニタ）などに出力する解析結果出力部２２などを含んでいる。また、英文で記載された文章を格納した外部若しくは内部データベースであるコーパスＤＢ３１との間は、文章情報データを得られるように接続されている。これらの間のデータのやりとりは閉じた小規模なシステムだけでなく、専用回線や公衆回線などを介した広域システムでも構成され得る。
【００３０】
図２に示すように、中央制御部１０は、解析手順において、解析対象の文章の動詞の状態性、すなわち「stativity」を予測するために使用される分類器１４を得るための訓練データを所定のプログラムに沿って若しくは人手によって作成させ、stativity予測部１２に適宜、収容させる（Ｓ１）。
【００３１】
詳細には、図３に示すように、所定のプログラム又は操作者の端末操作などによって、コーパスＤＢ３１に収容されているコーパスからテキスト文章を抽出し（Ｓ１１）、その動詞（動詞句）を抽出判別する（Ｓ１２）。なお、テキスト文章に品詞タグが付されていると、文章中の動詞（動詞句）は容易に判別できる。しかしながら、品詞タグがなくとも、この操作は公知の自動品詞推定方法によっても得られ、また人手によっても良い。この動詞について、動作動詞に「D」、その他の動詞については「O」の如きラベル（タグ）を付加して（Ｓ１３）、テキスト文章からなる訓練データをstativity予測部１２に収容していく（Ｓ１４）。但し、習慣的動作は一般的に動詞を現在形で表現するので、これを例外として、動作動詞「D」であっても、「O」のタグをラベル付けすることとする。つまり、厳密には、訓練データとしての「stativity」に関するタグは、動作動詞であるかどうかを示すものではない。
【００３２】
具体的には、「I had hot coffee.」では、動詞「had（have）」が「飲む」との動作動詞であるから、「I had/D hot coffee.」とラベル付けされる。また、「I had an old car.」では、動詞「had（have）」が「所有する」との状態動詞であるから、「I had/O an old car.」とラベル付けされる。すなわち、同じ動詞「had」であっても動作動詞の場合と状態動詞の場合があり、タグのラベル付けを単純な単語の検索のみによっては得られない。
【００３３】
再び、図２に示すように、中央制御部１０は、解析手順において、素性ベクトル変換部１１にstativity予測部１２の「D」又は「O」のタグのラベル付けをされた訓練データであるテキスト文章から素性ベクトルを求めさせ、後述する解析対象文章の動詞の「stativity」を予測するための分類器１４の学習をさせる（Ｓ２）。
【００３４】
詳細には、図４に示すように、stativity予測部１２に収容されている「D」又は「O」のタグのラベル付けをされた動詞を含むテキスト文章を１つ抽出する（Ｓ２１）。このテキスト文章について、「stativity」を予測する動詞に関する複数の素性に対応した素性ベクトルを求め（Ｓ２２）、分類器１４の学習をさせる（Ｓ２３）操作を繰り返し行う（Ｓ２２’）。
【００３５】
図５に示すように、素性ベクトルの作成（Ｓ２２）については、まず、訓練データであるテキスト文章について品詞タグなどから動詞の特定を行う（Ｓ２２１）。
【００３６】
ここで、上述の素性は「stativity」を予測する動詞に直接関するものであることが好ましい。そこで、（i）副詞、（ii）動詞句内の動詞を除く単語、（iii）動詞句の左右ｋ個の単語（ｋ＝１，２，３…）の３つを選択した。(i)の副詞は、動詞を直接修飾し得る品詞であることから素性の対象とし、一方で、(ii)及び(iii)の単語の素性では、副詞を除くことにした。つまり、(iii)では、ｋ個の単語には副詞を計数せず、これを除いて単語を抽出する。
【００３７】
素性の抽出は、テキスト文章の品詞タグから副詞の特定を行い（Ｓ２２２）、続いて、適宜、言語コーパスなどを用いて、動詞句の特定を行う（Ｓ２２３）。更に、動詞句の左右ｋ個の単語を特定する（Ｓ２２４）。そして単語を公知の逐次変換器などで原形に変換し（Ｓ２２５）、抽出された素性について素性ベクトルに変換する（Ｓ２２６）。
【００３８】
具体的には、例えば、「The man quickly [VP had/D] hot coffee.」の例文において、ｋ＝２とすると、
副詞＝quickly
左（k=1）：man、左（k=2）：the
右（k=1）：hot、右（k=2）：DRINK
が素性の対象となる。ここで、動詞句の左（k=1 or 2）では、上記した原則から、副詞quicklyを計数せず、ここにはこれを含まない。なお、"DRINK"は、名詞coffeeの意味コードである。かかる素性を素性ベクトルへ変換する。
【００３９】
上述した手順で素性ベクトルを繰り返し集めながら、例えば、公知の最大エントロピー法やＳＶＭ（Support Vector Machine）法などを用いた方法などで、解析対象文章の動詞の「stativity」を予測するための分類器１４を学習させる（図４参照、Ｓ２３）。
【００４０】
再度、図２に示すように、中央制御部１０は、解析手順において、判定部１３に解析対象文章について、上述のようにして学習により得られる分類器１４を使用して、含まれる動詞の「stativity」を予測させ、動詞の時制表現の誤りの判定を行う（Ｓ３）。
【００４１】
詳細には、図６に示すように、判定部１３は、解析対象文章入力部２１から解析対象の英語の文章テキストを入力させ（Ｓ３１）、上述した素性ベクトルの作成（Ｓ２２）と同様に、動詞を特定し（Ｓ３２）、素性ベクトルを作成する（Ｓ３３）。この素性ベクトルを分類器１４に導入する（Ｓ３４）。これにより、含まれる動詞の「stativity」を予測させ、動詞の時制の誤りの判定を行う。
【００４２】
まず、動詞が単純現在であり、且つ、「stativity」で「D」である場合、文章の動詞の時制誤りであると判断し、それ以外の場合は、時制誤りはないとして、解析結果出力部２２により結果を出力する（Ｓ３５）。なお、オプションとして、文章の動詞の時制誤りであると判断したときに更に文章が命令形であるか（Ｓ３６）、「時」「条件」の副詞節でないか（Ｓ３７）についても公知の方法で判断し、いずれも「Ｙ」の場合を文章の動詞の時制誤りであり、「Ｎ」の場合は、時制誤りはないと判断することでより精度を高めることができる。
【００４３】
(評価試験)
次に、上記した実施例による言語解析システムについての解析精度の評価試験について説明する。
【００４４】
まず、英語学習者に多く使われる１０種類の動詞「buy，come，find，get，go，make，play，see，take，use」を含む文をコーパス（約１８万語）から抽出し、人手により訓練データを作成してstativity予測部１２に収容させる作業（Ｓ１）を行った。ここでは２５６３の訓練データが得られた。
【００４５】
一方、素性ベクトルの作成（Ｓ２２）において、ｋ値は、leave-one-outクロスバリデーションを用いて予測精度を最も高くするように決定した。すなわち、１以上１０以下のｋ値に対して、ｋ＝３のとき予測精度は０．７８９で最も高く、このｋ値に対する分類器を学習させた。
【００４６】
動詞の時制誤りの判定は、誤りをあらかじめ判定してある１７０のエッセイについて行った。この１７０のエッセイ中、１５５に動詞の時制誤りを含み、このうち１０種類の動詞における時制誤りは４１であった。動詞の時制誤りの判定性能は、Recall（再現率）、Precision（適合率）、及び、F値[F = 2 / (1/Recall+1/Precision)]によって評価し、その結果を図７に示した。
【００４７】
なお、図７において、比較例１は、非特許文献２で提案されている方法である。すなわち、誤り情報が付与された学習者コーパスから動詞の時制表現の正誤を判定するための最大エントロピー法に基づく分類器を学習して誤り判定を行っている。ここで、文法誤り情報が付与された学習者コーパスを必要とするため、leave-one-outクロスバリデーションにより一度に１つのエッセイを取り除き判定を行った。
【００４８】
また、比較例２は、３−ｗａｙ法とも呼ばれる方法である。すなわち、最大エントロピー法に基づく分類器を学習して、現在、過去、未来の３値分類を行って誤り判定を行っている。かかる方法は、冠詞誤り検出手法や前置詞誤り検出手法の時制誤り判定への適用ともみなし得る。なお、素性については、実施例と同じである。
【００４９】
また、比較例３は、動詞の現在形を常に誤りと判定したときである。
【００５０】
図７から分かるように、実施例ではいずれの比較例と比べてもRecall（再現率）、Precision（適合率）、及び、F値のいずれにおいても動詞の時制の正誤を高い確率で得ることができた。
【００５１】
以上述べてきたように、本実施例によれば、時制の正誤の決定を動作動詞タグを含めた品詞タグ付きコーパスを収容したコーパスＤＢ３１による分類器１４で自動解析でき得るのである。つまり、時制の正誤の決定のために表層情報を大規模に収集することなく、動詞のstativityを予測できて、これに基づいて正誤を決定できるのである。
【００５２】
また、stativityを予測すべき動詞に直接関連し得る情報を加味した素性から素性ベクトルを決定できて、動詞の時制の正誤の決定をより精度良く行い得るのである。
【００５３】
以上、本発明による実施例及びこれに基づく変形例を説明したが、本発明は必ずしもこれに限定されるものではなく、当業者であれば、本発明の主旨又は添付した特許請求の範囲を逸脱することなく、様々な代替実施例及び改変例を見出すことができるであろう。
【符号の説明】
【００５４】
１ 言語解析システム
１０ 中央制御部
１１ 素性ベクトル変換部
１２ stativity予測部
１３ 判定部
１４ 分類器
３１ コーパスデータベース
【技術分野】
【０００１】
本発明は、英文で記載された文章の時制の正誤を自動解析するための言語解析システム及び言語解析方法に関し、特に、この解析をコーパスを収容したデータベースを用いて行う言語解析システム及び言語解析方法に関する。
【背景技術】
【０００２】
英文で記載された文章の句や単語毎に各種のタグを与えてデータベース化したタグ付きコーパス（ｃｏｒｐｕｓ）を用いて、解析対象文章をコンピュータ自動解析するシステムが知られている。コーパスから分類器を機械学習させ、解析対象文章を該分類器によりコンピュータ自動解析させるのである。分類器については、決定木やニューラルネットワークなどの多くのアルゴリズムが提案されている。
【０００３】
例えば、非特許文献１では英文エッセイの自動評価を行うための各種のタグを付けたコーパスについて述べられている。コーパスにタグ付けがなされることで文章中の各単語の機能、例えば、限定詞、前置詞、その他の品詞としての機能や、表現したい内容などについてもコンピュータが認識できるようになる。また、特許文献１でも、同様に、英文エッセイの自動評価を行うためのシステムを開示している。その背景技術として、主語及び動詞の合致のような解析対象文章の正誤はタグを付けたコーパスを利用して容易に行い得ることを述べている。
【０００４】
ここで、特許文献１では、上述した主語及び動詞の合致や、単語のつづりにおける誤りを「厳格なエラー」と定義する一方で、読み手の主観的要素によって正誤判断の分かれるような場合、例えば、エッセイ中での単語の繰り返しエラーの如き文章エラーを区別して定義している。つまり、前者についてはコーパスを用いた簡単な分類器でその正誤を比較的容易に自動解析できるが、後者については自動解析において多くの難しさがある。かかるエラーの１つとして文章の時制誤りが挙げられる。
【０００５】
例えば、２つの解析対象文章（例文１：「I like the car.」）と、（例文２：「I liked the car.」）が与えられたとする。（例文１）及び（例文２）は、それぞれ「私はその車を好きだ。」との現在形、及び、「私はその車を好きだった。」との過去形の文章であり、いずれも文法的には正しい。しかしながら、書き手が（例文１）の現在形の意味を意図して（例文２）を書いたとき、逆に、書き手が（例文２）の過去形の意味を意図して（例文１）を書いたときに各文章は動詞の時制の誤りとされる。すなわち、書き手の意図において、同じ文章でありながら正誤の判断が異なるのである。また、「now」や「in those days」のような時制を確定させる単語や表現を文中に含むときや、前後に時制に関する記述のあるときは、これに依存して正誤が決定される。つまり、動詞の時制の正誤は、書き手の状況の推測や、前後の文章の文脈などの表層情報によって決定され得るのである。
【０００６】
表層情報に関して、例えば、特許文献２では、テキストを精度良く解析等するため、文内及び文間に現われる表層情報から得られる様々な知識をはじめとして、辞書的な知識、言語学的な知見など、できるだけ多様な知識を利用するのが良いと考えられると述べた上で、多様な知識を利用しようとすると学習データに過学習する傾向があることを指摘している。そこで、この「知識」を充実させて表層情報をより効率よく解析することを提案している。
【０００７】
一方、非特許文献２では、一般的な文章の誤りの検出手法について述べている。つまり、誤り情報のタグを付けられたコーパスから正誤を判定するための最大エントロピー法に基づく分類器を学習し、誤り検出を行うことで多くの文章の誤りを検出できるとしている。かかる方法でも、上述した時制の正誤の決定を行い得る。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２００６−５０６７４０号公報
【特許文献２】特開２００５−２１６１２６号公報
【非特許文献】
【０００９】
【非特許文献１】J.Burstein,M.Chodorow, and C.Leacock, "Automated Essay Evaluation: The Criterion OnlineWriting Service", AI Magazine, vol 25, No.3, pp27-36, Sep.2004
【非特許文献２】E.Izumi,K.Uchimoto, T.Saiga, T.Supnithi, and H. Isahara,. "Automatic errordetection in the Japanese learners' English spoken data", Proc. of 41st.Annual Meeting of ACL, pp145-148, 2003.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
非特許文献２では、誤り情報のタグを付けられた特殊なコーパスを用いて学習データの作成を試みているが、かかるコーパスは一般的でないため、時制の正誤の決定の精度を十分に得られるような十分な学習データを得ることは難しい。一方、特許文献２で述べられているように、表層情報から判断される正誤の種類は動詞の時制の誤りに限らず非常に数多く、その正誤の決定の精度は表層情報の取得のための学習データの作成に大きく依存する。しかしながら、時制の正誤の決定に限定すれば、特定の表層情報からの判断で十分であり、大規模な学習データの作成は不要と考えられる。例えば、時制誤りの解析対象である文章において、その中心となる動詞を抽出できる程度のコーパスの如きを用いて、この正誤判断ができることを望まれる。
【００１１】
本発明は、上記したような状況に鑑みてなされたものであって、その目的とするところは、英文で記載された文章の時制の正誤の自動解析をコーパスを収容したデータベースを用いて自動解析する言語解析システム及び言語解析方法の提供にある。
【課題を解決するための手段】
【００１２】
本発明による言語解析システムは、英語で記載された文章の時制の正誤をコーパスを収容したデータベースを用いて自動解析する自動解析システムであって、前記データベースから文章を抽出しこれを構成する単語又は句に品詞タグを与える上で、動詞のうち、習慣的動作を表すものではない動作動詞についてはこれを示す動作動詞タグを与え、前記動作動詞と、前記動詞のタグを与えられた単語に関する複数の素性と、の相関についての分類器を得ておくとともに、少なくとも解析部において、英語で記載された解析対象の文章の品詞を推定し前記素性について素性ベクトルに変換するステップと、前記分類器に前記素性ベクトルを与えて前記動詞について動作動詞であり且つ単純現在であるときを前記文章の時制誤りとするステップと、を含む解析を行うことを特徴とする。
【００１３】
かかる発明によれば、コーパスの文章に更に動詞のstativityに関する動作動詞タグを与えることで時制の正誤の自動解析をできる分類器を得られるのである。つまり、表層情報を大規模に収集することなく、文章の時制の正誤の決定を可能とするのである。
【００１４】
上記した発明において、前記素性は、副詞、動詞及び副詞を除く動詞句内の単語、副詞を除く動詞句の左右ｋ（ｋ＝１，２，３…）個の単語から構成されることを特徴としてもよい。かかる発明によれば、動詞のstativityに直接関連し得る情報を含む素性ベクトルを決定できて、動詞の時制の正誤の決定をより精度良く行い得るのである。
【００１５】
上記した発明において、副詞を除く動詞句の左右ｋ（ｋ＝１，２，３…）個の前記単語は、時制を直接表す単語を除いて計数されることを特徴としてもよい。かかる発明によれば、時制の正誤の決定を効率よく且つより精度良く行い得るのである。
【００１６】
上記した発明において、ｋ＝３であることを特徴としてもよい。かかる発明によれば、時制の正誤の決定をより精度良く行い得るのである。
【００１７】
上記した発明において、前記分類器は最大エントロピー法によるものであることを特徴としてもよい。かかる発明によれば、時制の正誤の決定を比較的容易に且つより精度良く行い得るのである。
【００１８】
本発明による言語解析方法は、英語で記載された文章の時制表現の正誤をコーパスを収容したデータベースを用いて自動解析する自動解析方法であって、前記データベースから文章を抽出しこれを構成する単語又は句に品詞タグを与える上で、動詞のうち、習慣的動作を表すものではない動作動詞についてはこれを示す動作動詞タグを与え、前記動作動詞と、前記動詞のタグを与えられた単語に関する複数の素性と、の相関についての分類器を得ておくとともに、少なくとも解析部において、英語で記載された解析対象の文章の品詞を推定し前記素性について素性ベクトルに変換するステップと、前記分類器に前記素性ベクトルを与えて前記動詞について動作動詞であり且つ単純現在であるときを前記文章の時制誤りとするステップと、を含む解析を行うことを特徴とする。
【００１９】
かかる発明によれば、コーパスの文章に更に動詞のstativityに関する動作動詞タグを与えることで時制の正誤の自動解析をできる分類器を得られるのである。つまり、表層情報を大規模に収集することなく、文章の時制の正誤の決定を可能とするのである。
【００２０】
上記した発明において、前記素性は、副詞、検出対象の動詞及び副詞を除く動詞句内の単語、副詞を除く動詞句の左右ｋ（ｋ＝１，２，３…）個の単語から構成されることを特徴としてもよい。かかる発明によれば、stativityを予測すべき動詞に直接関連し得る情報を加味した素性ベクトルを決定できて、動詞の時制の正誤の決定をより精度良く行い得るのである。
【００２１】
上記した発明において、副詞を除く動詞句の左右ｋ（ｋ＝１，２，３…）個の前記単語は、時制を直接表す単語を除いて計数されることを特徴としてもよい。かかる発明によれば、時制の正誤の決定を効率よく且つより精度良く行い得るのである。
【００２２】
上記した発明において、ｋ＝３であることを特徴としてもよい。かかる発明によれば、時制の正誤の決定をより精度良く行い得るのである。
【００２３】
上記した発明において、前記分類器は最大エントロピー法によるものであることを特徴としてもよい。かかる発明によれば、時制の正誤の決定を比較的容易に且つより精度良く行い得るのである。
【図面の簡単な説明】
【００２４】
【図１】本発明によるシステムの構成図である。
【図２】本発明による解析手順のフロー図である。
【図３】本発明による解析手順の一部のフロー図である。
【図４】本発明による解析手順の一部のフロー図である。
【図５】本発明による解析手順の一部のフロー図である。
【図６】本発明による解析手順の一部のフロー図である。
【図７】本発明による解析結果を示す図である。
【発明を実施するための形態】
【００２５】
図１乃至図６を用いて、本発明の１つの実施例による英文で記載された文章の動詞の時制誤りを解析する言語解析システム及び言語解析方法についてその詳細を説明する。
【００２６】
まず、本発明の言語的原理について説明する。例えば、動詞「read」は不規則動詞であって、現在形と過去形の綴りが一緒でありながら、発音が異なる。ここで、「I read the book.」を発音するよう求められた読み手は、大抵の場合、過去形として発音する。「I read the book yesterday.」のように時制が表層情報として明示されていないにもかかわらず、読み手は時制を過去と認識するのである。
【００２７】
ここで、「stativity（状態性）」に基づいた動詞の分類方法がある。例えば、「I like the car.」における動詞「like」は「好きだ」との状態を表す状態動詞であり、「I drove the car.」における動詞「drive（drove）」は「運転する」との動作を表す動作動詞である。動詞の時制は、この「stativity」に制限を受ける。つまり、「動作動詞」と現在時制の組み合わせは、発話時点で起こっている動作を表現するのには一般的に用いられない。このため、上述した「読む」との動作を表す動作動詞である「read」は、時制を過去と認識されるのである。
【００２８】
英文で記載された文章の正誤を自動解析する、すなわち、英語の学習者などが書いた英文の自動添削などにおいては、「動作動詞」と現在時制の組み合わせを時制表現の特殊な用法として考慮するのではなく、これを時制誤りとして検出することを本発明の言語的原理の１つとしている。かかる言語的原理を用いた言語解析システム１（図１参照）について、以下にその詳細を説明する。
【００２９】
図１に示すように、言語解析システム１は、解析処理の中枢を担う中央制御部１０と、中央制御部１０からの命令により各種のデータを情報処理する処理部１１乃至１４、解析対象の英語の文章テキストデータを入力するキーボードやスキャナなどに接続される解析対象文章入力部２１、及び、解析結果を印字機（プリンタ）や映像装置（モニタ）などに出力する解析結果出力部２２などを含んでいる。また、英文で記載された文章を格納した外部若しくは内部データベースであるコーパスＤＢ３１との間は、文章情報データを得られるように接続されている。これらの間のデータのやりとりは閉じた小規模なシステムだけでなく、専用回線や公衆回線などを介した広域システムでも構成され得る。
【００３０】
図２に示すように、中央制御部１０は、解析手順において、解析対象の文章の動詞の状態性、すなわち「stativity」を予測するために使用される分類器１４を得るための訓練データを所定のプログラムに沿って若しくは人手によって作成させ、stativity予測部１２に適宜、収容させる（Ｓ１）。
【００３１】
詳細には、図３に示すように、所定のプログラム又は操作者の端末操作などによって、コーパスＤＢ３１に収容されているコーパスからテキスト文章を抽出し（Ｓ１１）、その動詞（動詞句）を抽出判別する（Ｓ１２）。なお、テキスト文章に品詞タグが付されていると、文章中の動詞（動詞句）は容易に判別できる。しかしながら、品詞タグがなくとも、この操作は公知の自動品詞推定方法によっても得られ、また人手によっても良い。この動詞について、動作動詞に「D」、その他の動詞については「O」の如きラベル（タグ）を付加して（Ｓ１３）、テキスト文章からなる訓練データをstativity予測部１２に収容していく（Ｓ１４）。但し、習慣的動作は一般的に動詞を現在形で表現するので、これを例外として、動作動詞「D」であっても、「O」のタグをラベル付けすることとする。つまり、厳密には、訓練データとしての「stativity」に関するタグは、動作動詞であるかどうかを示すものではない。
【００３２】
具体的には、「I had hot coffee.」では、動詞「had（have）」が「飲む」との動作動詞であるから、「I had/D hot coffee.」とラベル付けされる。また、「I had an old car.」では、動詞「had（have）」が「所有する」との状態動詞であるから、「I had/O an old car.」とラベル付けされる。すなわち、同じ動詞「had」であっても動作動詞の場合と状態動詞の場合があり、タグのラベル付けを単純な単語の検索のみによっては得られない。
【００３３】
再び、図２に示すように、中央制御部１０は、解析手順において、素性ベクトル変換部１１にstativity予測部１２の「D」又は「O」のタグのラベル付けをされた訓練データであるテキスト文章から素性ベクトルを求めさせ、後述する解析対象文章の動詞の「stativity」を予測するための分類器１４の学習をさせる（Ｓ２）。
【００３４】
詳細には、図４に示すように、stativity予測部１２に収容されている「D」又は「O」のタグのラベル付けをされた動詞を含むテキスト文章を１つ抽出する（Ｓ２１）。このテキスト文章について、「stativity」を予測する動詞に関する複数の素性に対応した素性ベクトルを求め（Ｓ２２）、分類器１４の学習をさせる（Ｓ２３）操作を繰り返し行う（Ｓ２２’）。
【００３５】
図５に示すように、素性ベクトルの作成（Ｓ２２）については、まず、訓練データであるテキスト文章について品詞タグなどから動詞の特定を行う（Ｓ２２１）。
【００３６】
ここで、上述の素性は「stativity」を予測する動詞に直接関するものであることが好ましい。そこで、（i）副詞、（ii）動詞句内の動詞を除く単語、（iii）動詞句の左右ｋ個の単語（ｋ＝１，２，３…）の３つを選択した。(i)の副詞は、動詞を直接修飾し得る品詞であることから素性の対象とし、一方で、(ii)及び(iii)の単語の素性では、副詞を除くことにした。つまり、(iii)では、ｋ個の単語には副詞を計数せず、これを除いて単語を抽出する。
【００３７】
素性の抽出は、テキスト文章の品詞タグから副詞の特定を行い（Ｓ２２２）、続いて、適宜、言語コーパスなどを用いて、動詞句の特定を行う（Ｓ２２３）。更に、動詞句の左右ｋ個の単語を特定する（Ｓ２２４）。そして単語を公知の逐次変換器などで原形に変換し（Ｓ２２５）、抽出された素性について素性ベクトルに変換する（Ｓ２２６）。
【００３８】
具体的には、例えば、「The man quickly [VP had/D] hot coffee.」の例文において、ｋ＝２とすると、
副詞＝quickly
左（k=1）：man、左（k=2）：the
右（k=1）：hot、右（k=2）：DRINK
が素性の対象となる。ここで、動詞句の左（k=1 or 2）では、上記した原則から、副詞quicklyを計数せず、ここにはこれを含まない。なお、"DRINK"は、名詞coffeeの意味コードである。かかる素性を素性ベクトルへ変換する。
【００３９】
上述した手順で素性ベクトルを繰り返し集めながら、例えば、公知の最大エントロピー法やＳＶＭ（Support Vector Machine）法などを用いた方法などで、解析対象文章の動詞の「stativity」を予測するための分類器１４を学習させる（図４参照、Ｓ２３）。
【００４０】
再度、図２に示すように、中央制御部１０は、解析手順において、判定部１３に解析対象文章について、上述のようにして学習により得られる分類器１４を使用して、含まれる動詞の「stativity」を予測させ、動詞の時制表現の誤りの判定を行う（Ｓ３）。
【００４１】
詳細には、図６に示すように、判定部１３は、解析対象文章入力部２１から解析対象の英語の文章テキストを入力させ（Ｓ３１）、上述した素性ベクトルの作成（Ｓ２２）と同様に、動詞を特定し（Ｓ３２）、素性ベクトルを作成する（Ｓ３３）。この素性ベクトルを分類器１４に導入する（Ｓ３４）。これにより、含まれる動詞の「stativity」を予測させ、動詞の時制の誤りの判定を行う。
【００４２】
まず、動詞が単純現在であり、且つ、「stativity」で「D」である場合、文章の動詞の時制誤りであると判断し、それ以外の場合は、時制誤りはないとして、解析結果出力部２２により結果を出力する（Ｓ３５）。なお、オプションとして、文章の動詞の時制誤りであると判断したときに更に文章が命令形であるか（Ｓ３６）、「時」「条件」の副詞節でないか（Ｓ３７）についても公知の方法で判断し、いずれも「Ｙ」の場合を文章の動詞の時制誤りであり、「Ｎ」の場合は、時制誤りはないと判断することでより精度を高めることができる。
【００４３】
(評価試験)
次に、上記した実施例による言語解析システムについての解析精度の評価試験について説明する。
【００４４】
まず、英語学習者に多く使われる１０種類の動詞「buy，come，find，get，go，make，play，see，take，use」を含む文をコーパス（約１８万語）から抽出し、人手により訓練データを作成してstativity予測部１２に収容させる作業（Ｓ１）を行った。ここでは２５６３の訓練データが得られた。
【００４５】
一方、素性ベクトルの作成（Ｓ２２）において、ｋ値は、leave-one-outクロスバリデーションを用いて予測精度を最も高くするように決定した。すなわち、１以上１０以下のｋ値に対して、ｋ＝３のとき予測精度は０．７８９で最も高く、このｋ値に対する分類器を学習させた。
【００４６】
動詞の時制誤りの判定は、誤りをあらかじめ判定してある１７０のエッセイについて行った。この１７０のエッセイ中、１５５に動詞の時制誤りを含み、このうち１０種類の動詞における時制誤りは４１であった。動詞の時制誤りの判定性能は、Recall（再現率）、Precision（適合率）、及び、F値[F = 2 / (1/Recall+1/Precision)]によって評価し、その結果を図７に示した。
【００４７】
なお、図７において、比較例１は、非特許文献２で提案されている方法である。すなわち、誤り情報が付与された学習者コーパスから動詞の時制表現の正誤を判定するための最大エントロピー法に基づく分類器を学習して誤り判定を行っている。ここで、文法誤り情報が付与された学習者コーパスを必要とするため、leave-one-outクロスバリデーションにより一度に１つのエッセイを取り除き判定を行った。
【００４８】
また、比較例２は、３−ｗａｙ法とも呼ばれる方法である。すなわち、最大エントロピー法に基づく分類器を学習して、現在、過去、未来の３値分類を行って誤り判定を行っている。かかる方法は、冠詞誤り検出手法や前置詞誤り検出手法の時制誤り判定への適用ともみなし得る。なお、素性については、実施例と同じである。
【００４９】
また、比較例３は、動詞の現在形を常に誤りと判定したときである。
【００５０】
図７から分かるように、実施例ではいずれの比較例と比べてもRecall（再現率）、Precision（適合率）、及び、F値のいずれにおいても動詞の時制の正誤を高い確率で得ることができた。
【００５１】
以上述べてきたように、本実施例によれば、時制の正誤の決定を動作動詞タグを含めた品詞タグ付きコーパスを収容したコーパスＤＢ３１による分類器１４で自動解析でき得るのである。つまり、時制の正誤の決定のために表層情報を大規模に収集することなく、動詞のstativityを予測できて、これに基づいて正誤を決定できるのである。
【００５２】
また、stativityを予測すべき動詞に直接関連し得る情報を加味した素性から素性ベクトルを決定できて、動詞の時制の正誤の決定をより精度良く行い得るのである。
【００５３】
以上、本発明による実施例及びこれに基づく変形例を説明したが、本発明は必ずしもこれに限定されるものではなく、当業者であれば、本発明の主旨又は添付した特許請求の範囲を逸脱することなく、様々な代替実施例及び改変例を見出すことができるであろう。
【符号の説明】
【００５４】
１ 言語解析システム
１０ 中央制御部
１１ 素性ベクトル変換部
１２ stativity予測部
１３ 判定部
１４ 分類器
３１ コーパスデータベース
【特許請求の範囲】
【請求項１】
英語で記載された文章の時制の正誤をコーパスを収容したデータベースを用いて自動解析する自動解析システムであって、
前記データベースから文章を抽出しこれを構成する単語又は句に品詞タグを与える上で、動詞のうち、習慣的動作を表すものではない動作動詞についてはこれを示す動作動詞タグを与え、前記動作動詞と、前記動詞のタグを与えられた単語に関する複数の素性と、の相関についての分類器を得ておくとともに、少なくとも解析部において、
英語で記載された解析対象の文章の品詞を推定し前記素性について素性ベクトルに変換するステップと、
前記分類器に前記素性ベクトルを与えて前記動詞について動作動詞であり且つ単純現在であるときを前記文章の時制誤りとするステップと、を含む解析を行うことを特徴とする言語解析システム。
【請求項２】
前記素性は、副詞、動詞及び副詞を除く動詞句内の単語、副詞を除く動詞句の左右ｋ（ｋ＝１，２，３…）個の単語から構成されることを特徴とする請求項１記載の言語解析システム。
【請求項３】
前記左右ｋ（ｋ＝１，２，３…）個の前記単語は、時制を直接表す単語を除いて計数されることを特徴とする請求項２記載の言語解析システム。
【請求項４】
ｋ＝３であることを特徴とする請求項２又は３に記載の言語解析システム。
【請求項５】
前記分類器は最大エントロピー法によるものであることを特徴とする請求項１乃至４のうちの１つに記載の言語解析システム。
【請求項６】
英語で記載された文章の時制の正誤をコーパスを収容したデータベースを用いて自動解析する自動解析方法であって、
前記データベースから文章を抽出しこれを構成する単語又は句に品詞タグを与える上で、動詞のうち、習慣的動作を表すものではない動作動詞についてはこれを示す動作動詞タグを与え、前記動作動詞と、前記動詞のタグを与えられた単語に関する複数の素性と、の相関についての分類器を得ておくとともに、少なくとも解析部において、
英語で記載された解析対象の文章の品詞を推定し前記素性について素性ベクトルに変換するステップと、
前記分類器に前記素性ベクトルを与えて前記動詞について動作動詞であり且つ単純現在であるときを前記文章の時制誤りとするステップと、を含む解析を行うことを特徴とする言語解析方法。
【請求項７】
前記素性は、副詞、動詞及び副詞を除く動詞句内の単語、副詞を除く動詞句の左右ｋ（ｋ＝１，２，３…）個の単語から構成されることを特徴とする請求項６記載の言語解析方法。
【請求項８】
前記左右ｋ（ｋ＝１，２，３…）個の前記単語は、時制を直接表す単語を除いて計数されることを特徴とする請求項７記載の言語解析方法。
【請求項９】
ｋ＝３であることを特徴とする請求項７又は８に記載の言語解析方法。
【請求項１０】
前記分類器は最大エントロピー法によるものであることを特徴とする請求項６乃至９のうちの１つに記載の言語解析方法。
【請求項１】
英語で記載された文章の時制の正誤をコーパスを収容したデータベースを用いて自動解析する自動解析システムであって、
前記データベースから文章を抽出しこれを構成する単語又は句に品詞タグを与える上で、動詞のうち、習慣的動作を表すものではない動作動詞についてはこれを示す動作動詞タグを与え、前記動作動詞と、前記動詞のタグを与えられた単語に関する複数の素性と、の相関についての分類器を得ておくとともに、少なくとも解析部において、
英語で記載された解析対象の文章の品詞を推定し前記素性について素性ベクトルに変換するステップと、
前記分類器に前記素性ベクトルを与えて前記動詞について動作動詞であり且つ単純現在であるときを前記文章の時制誤りとするステップと、を含む解析を行うことを特徴とする言語解析システム。
【請求項２】
前記素性は、副詞、動詞及び副詞を除く動詞句内の単語、副詞を除く動詞句の左右ｋ（ｋ＝１，２，３…）個の単語から構成されることを特徴とする請求項１記載の言語解析システム。
【請求項３】
前記左右ｋ（ｋ＝１，２，３…）個の前記単語は、時制を直接表す単語を除いて計数されることを特徴とする請求項２記載の言語解析システム。
【請求項４】
ｋ＝３であることを特徴とする請求項２又は３に記載の言語解析システム。
【請求項５】
前記分類器は最大エントロピー法によるものであることを特徴とする請求項１乃至４のうちの１つに記載の言語解析システム。
【請求項６】
英語で記載された文章の時制の正誤をコーパスを収容したデータベースを用いて自動解析する自動解析方法であって、
前記データベースから文章を抽出しこれを構成する単語又は句に品詞タグを与える上で、動詞のうち、習慣的動作を表すものではない動作動詞についてはこれを示す動作動詞タグを与え、前記動作動詞と、前記動詞のタグを与えられた単語に関する複数の素性と、の相関についての分類器を得ておくとともに、少なくとも解析部において、
英語で記載された解析対象の文章の品詞を推定し前記素性について素性ベクトルに変換するステップと、
前記分類器に前記素性ベクトルを与えて前記動詞について動作動詞であり且つ単純現在であるときを前記文章の時制誤りとするステップと、を含む解析を行うことを特徴とする言語解析方法。
【請求項７】
前記素性は、副詞、動詞及び副詞を除く動詞句内の単語、副詞を除く動詞句の左右ｋ（ｋ＝１，２，３…）個の単語から構成されることを特徴とする請求項６記載の言語解析方法。
【請求項８】
前記左右ｋ（ｋ＝１，２，３…）個の前記単語は、時制を直接表す単語を除いて計数されることを特徴とする請求項７記載の言語解析方法。
【請求項９】
ｋ＝３であることを特徴とする請求項７又は８に記載の言語解析方法。
【請求項１０】
前記分類器は最大エントロピー法によるものであることを特徴とする請求項６乃至９のうちの１つに記載の言語解析方法。
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１】
【公開番号】特開２０１２−１７４０６４（Ｐ２０１２−１７４０６４Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３６３６８（Ｐ２０１１−３６３６８）
【出願日】平成２３年２月２２日（２０１１．２．２２）
【出願人】（５０２１９４７３５）株式会社教育測定研究所 (10)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２２日（２０１１．２．２２）
【出願人】（５０２１９４７３５）株式会社教育測定研究所 (10)
【Ｆターム（参考）】
[ Back to top ]