エラー情報収集装置、方法及びプログラム
【課題】形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集し、形態素解析器及び仮名漢字変換器の機能向上に寄与する仕組みを提供すること。
【解決手段】エラー情報収集装置１０の形態素用出力部１２は、テキストデータを取得し、形態素解析器３１に出力し、読みデータ取得部１３は、形態素解析器３１の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ、及び読みデータを入力し、分析ＤＢ２１に記憶する。さらに、読みデータ出力部１４は、仮名漢字変換器３２に、元の漢字仮名データが記憶されたその読みデータを出力し、変換データ取得部１５は、仮名漢字変換器３２の出力である読みデータの仮名漢字変換データを入力し、分析ＤＢ２１に記憶する。そして、判定部１６は、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を分析ＤＢ２１に記憶する。
【解決手段】エラー情報収集装置１０の形態素用出力部１２は、テキストデータを取得し、形態素解析器３１に出力し、読みデータ取得部１３は、形態素解析器３１の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ、及び読みデータを入力し、分析ＤＢ２１に記憶する。さらに、読みデータ出力部１４は、仮名漢字変換器３２に、元の漢字仮名データが記憶されたその読みデータを出力し、変換データ取得部１５は、仮名漢字変換器３２の出力である読みデータの仮名漢字変換データを入力し、分析ＤＢ２１に記憶する。そして、判定部１６は、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を分析ＤＢ２１に記憶する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキストデータ処理におけるエラー処理に関する。より詳しくは、形態素解析器と仮名漢字変換器のエラー情報を効率よく収集する仕組みに関する。
【背景技術】
【０００２】
従来より、テキストデータを解析し、形態素に分解する形態素解析器の動作試験は、任意の漢字仮名混じり文をテストツールにかけ、その出力を目視確認して行っている。そして、その結果を反映させることにより形態素解析器の機能向上を図っている。また、機能を自動的に向上させることを目的として学習辞書を導入している形態素解析器がある（特許文献１参照）。
【０００３】
一方、テキストデータを解析し、漢字に変換する仮名漢字変換器の動作試験は、正しい漢字仮名混じり文からひらがなの読みデータを手動で作成し、作成した読みデータを仮名漢字変換器にかけ、変換された結果と元の漢字仮名混じり文とを比較し、自動判定することにより行っている。そして、その結果を反映させることにより仮名漢字変換器の機能向上を図っている。
【０００４】
【特許文献１】特開２００５−２４２８０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、形態素解析器のテスト結果は大量であり、テスト結果のエラー確認を行うことは困難である。また、仮名漢字変換器用に大量のテストデータを用意することも困難である。また、自動的に機能を向上させることを目的として学習辞書を導入している形態素解析器では、機能が向上するには学習時間がかかる。
【０００６】
本発明は、形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集し、形態素解析器及び仮名漢字変換器の機能向上に寄与する仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明は、以下のようなものを提供する。
（１） テキストデータ処理に関するエラー情報を収集するエラー情報収集装置であって、テキストデータを取得し、形態素に分解する形態素解析器に出力する形態素用出力部と、前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶する読みデータ取得部と、漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力する読みデータ出力部と、前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶する変換データ取得部と、前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶する判定部と、を備えることを特徴とするエラー情報収集装置。
【０００８】
（１）の構成によれば、エラー情報収集装置の形態素用出力部は、テキストデータを取得し、形態素解析器に出力し、読みデータ取得部は、形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶する。さらに、読みデータ出力部は、仮名漢字変換器に、元の漢字仮名データが記憶されたその読みデータを出力し、変換データ取得部は、仮名漢字変換器の出力である読みデータの仮名漢字変換データを入力し、記憶装置に記憶する。そして、判定部は、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を記憶装置に記憶する。
【０００９】
このことにより、本発明は、形態素解析器の出力である元の漢字仮名データ及び読みデータを記憶し、さらに、元の漢字仮名データが記憶されたその読みデータを仮名漢字変換器に出力し、仮名漢字変換データを記憶し、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を記憶する。よって、同一と判定した場合は、形態素解析器の解析と、仮名漢字変換器の変換とが正常に機能していることを示す確率が高い。異なると判定した場合には、形態素解析器の解析が異常の場合と、仮名漢字変換器の変換が異常の場合がある。この異常の判定があったテキストデータについてのみ目視確認を行えば、形態素解析器の解析異常か、仮名漢字変換器の変換異常かが判明する。したがって、大量のテスト結果の中から、形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集することができ、その結果を利用すれば、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【００１０】
（２） （１）に記載のエラー情報収集装置であって、前記判定部は、前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一でないと判定した場合にのみ、操作者の入力を受付けて、入力された情報を記憶装置に記憶することを特徴とするエラー情報収集装置。
【００１１】
（２）の構成によれば、エラー情報収集装置の判定部は、元の漢字仮名データと仮名漢字変換データとを比較し、同一でないと判定した場合にのみ、操作者の入力を受付けて、入力された情報を記憶装置に記憶する。
【００１２】
このことにより、元の漢字仮名データと仮名漢字変換データとを比較し、同一でないと判定した場合にのみ、操作者の入力を受付け、形態素解析器のエラーか仮名漢字変換器のエラーかの情報の入力を記憶する。したがって、大量のテスト結果の中から、形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集することができ、その結果を利用すれば、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【００１３】
（３） テキストデータ処理に関するエラー情報を収集する方法であって、テキストデータを取得し、形態素に分解する形態素解析器に出力するステップと、前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶するステップと、漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力するステップと、前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶するステップと、前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶するステップと、を含む方法。
【００１４】
（３）の構成によれば、エラー情報を収集する方法は、テキストデータを取得し、形態素に分解する形態素解析器に出力し、形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶する。さらに、漢字に変換する仮名漢字変換器に、元の漢字仮名データが記憶されたその読みデータを出力し、仮名漢字変換器の出力である読みデータの仮名漢字変換データを入力し、記憶装置に記憶し、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を記憶装置に記憶する。
【００１５】
このことにより、本発明の方法によれば、形態素解析器の出力である元の漢字仮名データ及び読みデータを記憶し、さらに、元の漢字仮名データが記憶されたその読みデータを仮名漢字変換器に出力し、仮名漢字変換データを記憶し、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を記憶する。よって、同一と判定した場合は、形態素解析器の解析と、仮名漢字変換器の変換とが正常に機能していることを示す確率が高い。異なると判定した場合には、形態素解析器の解析が異常の場合と、仮名漢字変換器の変換が異常の場合がある。この異常の判定があったテキストデータについてのみ目視確認を行えば、形態素解析器の解析異常か、仮名漢字変換器の変換異常かが判明する。したがって、大量のテスト結果の中から、形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集することができ、その結果を利用すれば、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【００１６】
（４） テキストデータ処理に関するエラー情報を収集するコンピュータ・プログラムであって、テキストデータを取得し、形態素に分解する形態素解析器に出力するステップと、前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶するステップと、漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力するステップと、前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶するステップと、前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶するステップと、をコンピュータに実行させるコンピュータ・プログラム。
【００１７】
（４）の構成によれば、本発明のコンピュータ・プログラムは、テキストデータを取得し、形態素に分解する形態素解析器に出力するステップと、前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶するステップと、漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力するステップと、前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶するステップと、前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶するステップと、をコンピュータに実行させることができる。
【００１８】
このことにより、本発明のコンピュータ・プログラムを実行させたコンピュータは、形態素解析器の出力である元の漢字仮名データ及び読みデータを記憶する。さらに、元の漢字仮名データが記憶されたその読みデータを仮名漢字変換器に出力し、仮名漢字変換データを記憶する。そして、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を記憶する。よって、同一と判定した場合は、形態素解析器の解析と、仮名漢字変換器の変換とが正常に機能していることを示す確率が高い。異なると判定した場合には、形態素解析器の解析が異常の場合と、仮名漢字変換器の変換が異常の場合がある。この異常の判定があったテキストデータについてのみ目視確認を行えば、形態素解析器の解析異常か、仮名漢字変換器の変換異常かが判明する。したがって、大量のテスト結果の中から、形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集することができ、その結果を利用すれば、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【発明の効果】
【００１９】
本発明によれば、形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集し、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【発明を実施するための最良の形態】
【００２０】
［実施例１］
本発明の１つの実施の形態として、エラー情報収集装置１０を例に挙げて説明する。このエラー情報収集装置１０は、形態素用出力部１２と、読みデータ取得部１３と、読みデータ出力部１４と、変換データ取得部１５と、判定部１６と、記憶装置としてハードディスク１０７０とを備え、形態素解析器３１及び仮名漢字変換器３２の出力と、判定結果をハードディスク１０７０上の分析ＤＢ（データベース）２１に記憶する。以下、本発明の実施形態について、図に従って説明する。
【００２１】
図１は、本発明の機能を構成する構成部と、構成部が処理するデータとの関連を示す図である。
【００２２】
形態素用出力部１２は、テキストデータを取得し、形態素解析器３１に出力する。テキストデータは、通信Ｉ／Ｆ１０４０を介して、取得することができ、試験用に作成されたテキストデータだけではなく、現実に使用されているテキストデータでも利用することができる。例えば、インターネット上の利用可能な、ニュース、文献、公報等のテキストデータや、利用可能な掲示板やブログのテキストデータであることもできる。現実に使用されているテキストデータを利用することにより、現実的な試験を行うことができ、使用頻度に適合した、タイムリーな機能向上を行うことができる。
【００２３】
読みデータ取得部１３は、形態素解析器３１の出力である読みデータを取得し、ハードディスク１０７０に記憶する。形態素解析器３１は、テキストデータを解析し、形態素に分解し、分解して得た漢字とともに、その漢字の読みを読みデータとして出力する。読みデータ取得部１３は、出力された漢字を、その読みデータとともに、分析ＤＢ２１の「元の漢字仮名データ」と、「読みデータ」として、ハードディスク１０７０に記憶する（後述する図３参照）。
【００２４】
読みデータ出力部１４は、読みデータを仮名漢字変換器３２に出力する。この仮名漢字変換器３２に出力する読みデータは、読みデータと対応した漢字データが、元の漢字仮名データとして記憶されている。
【００２５】
変換データ取得部１５は、仮名漢字変換器３２の出力である仮名漢字変換データを取得し、分析ＤＢ２１の「仮名漢字変換データ」として、元の漢字仮名データ及び読みデータと関連付けてハードディスク１０７０に記憶する（後述する図４参照）。
【００２６】
判定部１６は、元の漢字仮名データと、変換された仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を分析ＤＢ２１の「全体判定」として、元の漢字仮名データ、読みデータ、仮名漢字変換データと関連付けてハードディスク１０７０に記憶する（後述する図５参照）。
【００２７】
図２は、本発明のハードウェア構成の一例を示す図である。エラー情報収集装置１０は、制御部１０１を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０（マルチプロセッサ構成ではＣＰＵ＿Ａ１０１２等複数のＣＰＵが追加されてもよい）、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、ハードディスク１０７０、並びにキーボード及びマウス１１００等の入力手段や表示装置１０２２を備える。
【００２８】
ＢＩＯＳ１０６０は、エラー情報収集装置１０の起動時にＣＰＵ１０１０が実行するブートプログラムや、ハードウェアに依存するプログラム等を格納する。
【００２９】
ハードディスク１０７０は、エラー情報収集装置１０が機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶しており、さらに必要に応じて各種データベースを構成可能である。
【００３０】
表示装置１０２２は、ユーザにデータの入力を受付ける画面を表示したり、エラー情報収集装置１０による演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。
【００３１】
ここで、入力手段は、ユーザによる入力の受付けを行うものであり、キーボード及びマウス１１００等により構成する。
【００３２】
また、通信Ｉ／Ｆ１０４０は、エラー情報収集装置１０を専用ネットワーク又は公共ネットワークを介して形態素解析器３１、仮名漢字変換器３２、及びテキストデータ出力装置等と接続できるようにするためのネットワーク・アダプタである。
【００３３】
図３は、本発明の読みデータ取得部１３が取得データを分析ＤＢ２１に記憶した状態を示す図である。図は、読みデータ取得部１３が、形態素解析器３１の出力である形態素に分解した元の漢字仮名データ及び読みデータを取得し、分析ＤＢ２１に記憶したことを示している。分析ＤＢ２１に元の漢字仮名データ及び読みデータとして、例えば、「形態素」と「けいたいもと」、「漢字変換」と「かんじへんかん」、「情報収集」と「じょうほうしゅうしゅう」を記憶したことを示している。分析ＤＢ２１は、「元の漢字仮名データ」、「読みデータ」、「仮名漢字変換データ」、「全体判定」、及び「読みの判定」のレコードを含んでいる。
【００３４】
図４は、本発明の変換データ取得部１５が取得データを分析ＤＢ２１に記憶した状態を示す図である。図は、変換データ取得部１５が、仮名漢字変換器３２の出力である仮名漢字変換データを取得し、分析ＤＢ２１に記憶したことを示している。分析ＤＢ２１の「仮名漢字変換データ」として、例えば、「形態基」、「漢字返還」、「情報収集」を記憶したことを示している。
【００３５】
図５は、本発明の判定部１６が判定結果を分析ＤＢ２１に記憶した状態を示す図である。図は、判定部１６が、元の漢字仮名データと、仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を分析ＤＢ２１の「全体判定」に記憶したことを示している。分析ＤＢ２１の「全体判定」として、判定部１６が、「形態素」と「形態基」とを比較し同一ではないと判断したことを「×」で、「漢字変換」と「漢字返還」とを比較し同一ではないと判断したことを「×」で、「情報収集」と「情報収集」とを比較し同一と判断したことを「○」で、示している。
【００３６】
図６は、本発明の処理内容を示すフローチャートである。
【００３７】
まず、ステップＳ１０１において、ＣＰＵ１０１０は、テキストデータを取得する。具体的には、通信Ｉ／Ｆ１０４０を介してテキストデータを受信し、ハードディスク１０７０に記憶する。
【００３８】
次に、ステップＳ１０２において、ＣＰＵ１０１０は、テキストデータを形態素解析器３１へ出力する。具体的には、通信Ｉ／Ｆ１０４０を介して形態素解析器３１にテキストデータを送信する。
【００３９】
次に、ステップＳ１０３において、ＣＰＵ１０１０は、形態素解析器３１の出力を入力し、記憶する。具体的には、通信Ｉ／Ｆ１０４０を介して取得した形態素解析器３１の出力である元の漢字仮名データ、及び読みデータを受信し、ハードディスク１０７０上の分析ＤＢ２１の「元の漢字仮名データ」及び「読みデータ」に記憶する（図３参照）。
【００４０】
次に、ステップＳ１０４において、ＣＰＵ１０１０は、読みデータを仮名漢字変換器３２に出力する。具体的には、分析ＤＢ２１から、元の漢字仮名データに対応した読みデータを取得し、通信Ｉ／Ｆ１０４０を介して仮名漢字変換器３２に送信する。
【００４１】
次に、ステップＳ１０５において、ＣＰＵ１０１０は、変換データを入力する。具体的には、通信Ｉ／Ｆ１０４０を介して、仮名漢字変換器３２が出力した仮名漢字変換データを受信し、ハードディスク１０７０上の分析ＤＢ２１の「仮名漢字変換データ」に記憶する（図４参照）。
【００４２】
次に、ステップＳ１０６において、ＣＰＵ１０１０は、データを比較し判定する。具体的には、元の漢字仮名データと、仮名漢字変換データとを比較し、同一か否かを判断し、判定結果をハードディスク１０７０上の分析ＤＢ２１の「全体判定」に記憶する（図５参照）。その後処理を終了する。
【００４３】
図７は、本発明の全体判定がエラーの場合の一覧表を示す図である。図は、エラー情報収集装置１０により、全体判定がエラーである場合の、元の漢字仮名データと、読みデータと、仮名漢字変換データとが一覧表として得られることを示している。
【００４４】
［実施例２］
実施例２は、エラー情報収集装置１０において、エラー情報を収集し、全体判定がエラーの場合についてのみ、読みデータが正常であるか否かの判定を受付け、受付けた情報を記憶する。
【００４５】
図８は、実施例２における、エラー情報収集装置１０の処理内容を示すフローチャートである。
【００４６】
ステップＳ２０１からステップＳ２０６は、実施例１のステップＳ１０１からステップＳ１０６と同様であるので省略する。
【００４７】
次に、ステップＳ２０７において、ＣＰＵ１０１０は、全体判定がエラーか否かを判断する。具体的には、分析ＤＢ２１の「全体判定」のデータを判断し、エラーでないと判断した場合には、処理を終了する。
【００４８】
次に、ステップＳ２０８において、ＣＰＵ１０１０は、読みデータの判定の受付けを行う。具体的には、元の漢字仮名データと、読みデータと、仮名漢字変換データとを表示し、操作者の判断を受付け、受付けた情報を分析ＤＢ２１の「読みの判定」に記憶する（後述する図９参照）。その後、処理を終了する。
【００４９】
図９は、実施例２において、読みデータの判定を受付け、受付けた情報を分析ＤＢ２１に記憶した状態を示す図である。例えば、元の漢字仮名データが「形態素」、その読みデータが「けいたいもと」である場合には、読みデータの誤りであるから形態素解析器３１のエラーとして「Ｋ」を、元の漢字仮名データが「漢字変換」、その読みデータが「かんじへんかん」である場合には、読みデータは正しいから仮名漢字変換器３２のエラーとして「Ｈ」を、受付け、記憶したことを示している。
【００５０】
［実施例３］
実施例３は、エラー情報収集装置１０において、判定結果を分析蓄積ＤＢに蓄積し、所定の条件により新語として辞書登録を行う。分析蓄積ＤＢは、ハードディスク１０７０上に記憶され、本発明が収集したエラー情報を蓄積している。分析蓄積ＤＢは、「元の漢字仮名データ」、「読みデータ」、「仮名漢字変換データ」、「全体判定」、「読みの判定」、及び「頻度」のレコードを含んでいる。
【００５１】
図１０は、実施例３における、エラー情報収集装置１０の処理内容を示すフローチャートである。
【００５２】
まず、ステップＳ３０１において、元の漢字仮名データと、読みデータと、仮名漢字変換データと、全体判定とを取得する。具体的には、この処理は、実施例１のステップＳ１０１からステップＳ１０６と同様である。
【００５３】
次に、ステップＳ３０２において、ＣＰＵ１０１０は、全体判定がエラーか否かを判断する。具体的には、分析ＤＢ２１の「全体判定」のデータを判断し、エラーでないと判断した場合には、処理を終了する。
【００５４】
次に、ステップＳ３０３において、ＣＰＵ１０１０は、同じエラーか否かを判断する。具体的には、元の漢字仮名データ、読みデータ、及び仮名漢字変換データと、分析蓄積ＤＢの「元の漢字仮名データ」、「読みデータ」、及び「仮名漢字変換データ」とを比較し、同一レコードがあるか否かを判断する。同一のレコードはないと判断した場合には、ステップＳ３０７へ行く。
【００５５】
次に、ステップＳ３０４において、ＣＰＵ１０１０は、頻度をカウントする。具体的には、分析蓄積ＤＢの同一のレコードに対応する「頻度」をカウントする。
【００５６】
次に、ステップＳ３０５において、ＣＰＵ１０１０は、分析蓄積ＤＢの「頻度」は所定回数以上か否かを判断する。具体的には、分析蓄積ＤＢの「頻度」の値と、予め設定されている所定の回数値とを比較し、分析蓄積ＤＢの「頻度」の値が所定の回数値を超えていないと判断した場合には処理を終了する。
【００５７】
次に、ステップＳ３０６において、ＣＰＵ１０１０は、新語として辞書登録を行う。具体的には、元の漢字仮名データ、及び読みデータを辞書に登録し、登録した元の漢字仮名データ、及び読みデータのレコードは分析蓄積ＤＢ上から削除する。その後、処理を終了する。
【００５８】
ステップＳ３０７において、ＣＰＵ１０１０は、分析蓄積ＤＢに記憶する。具体的には、元の漢字仮名データと、読みデータと、仮名漢字変換データとを分析蓄積ＤＢの「元の漢字仮名データ」、「読みデータ」、及び「仮名漢字変換データ」に記憶する。
【００５９】
次に、ステップＳ３０８において、ＣＰＵ１０１０は、読みデータの判定の受付けを行う。具体的には、元の漢字仮名データと、読みデータと、仮名漢字変換データとを表示し、操作者の判断を受付け、受付けた情報を分析蓄積ＤＢの該当するレコードの「読みの判定」に記憶する（後述する図１１参照）。その後、処理を終了する。
【００６０】
図１１は、実施例３における、分析蓄積ＤＢを示す図である。図は、分析蓄積ＤＢとして、全体判定がエラーの場合のデータを蓄積し、同一エラーについては「頻度」がカウントされていることを示している。
【００６１】
本実施例によれば、エラー情報収集装置１０は、テキストデータを形態素解析器３１に出力し、形態素解析器３１の出力である元の漢字仮名データ及び読みデータを分析ＤＢ２１に記憶する。さらに、元の漢字仮名データが記憶されたその読みデータを仮名漢字変換器３２に出力し、仮名漢字変換データを分析ＤＢ２１に記憶する。そして、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を分析ＤＢ２１に記憶する。同一と判定した場合は、形態素解析器３１の解析と、仮名漢字変換器３２の変換とが正常に機能していることを示す確率が高い。異なると判定した場合には、形態素解析器３１の解析が異常の場合と、仮名漢字変換器３２の変換が異常の場合がある。この異常の判定があったテキストデータについてのみ目視確認を行えば、形態素解析器３１の解析異常か、仮名漢字変換器３２の変換異常かが判明する。また、分析蓄積ＤＢに判定結果を蓄積することにより、新しい語を検出し辞書に登録することができる。したがって、大量のテスト結果の中から、形態素解析器３１及び仮名漢字変換器３２のエラー情報を効率よく収集することができ、その結果を利用すれば、辞書に新しい語を自動的に追加登録することができ、形態素解析器３１及び仮名漢字変換器３２の機能向上として文の区切りロジックの改善等に寄与することもできる。
【００６２】
なお、本発明の実施例２では、読みデータの判定をエラー情報の収集ごとに受付けるとしたが、エラー情報収集後に一括して受付けることもできる。エラー情報を効率よく収集することができ、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【００６３】
なお、本発明の実施例３では、頻度が所定の回数を超えた場合に、新しい語として辞書に登録するとしたが、辞書の登録漢字の読みデータの優先順位を変更することもできる。現実に使用されているテキストデータを用いた結果を利用して、辞書を更新し、形態素解析器３１及び仮名漢字変換器３２の機能向上に寄与することができる。
【００６４】
なお、本発明の実施形態では、実効方法については触れなかったが、定時に自動実行することができる。エラー情報を効率よく収集することができ、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【００６５】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。
【図面の簡単な説明】
【００６６】
【図１】本発明の機能を構成する構成部と、構成部が処理するデータとの関連を示す図である。
【図２】本発明のハードウェア構成の一例を示す図である。
【図３】本発明の読みデータ取得部１３が取得データを分析ＤＢ２１に記憶した状態を示す図である。
【図４】本発明の変換データ取得部１５が取得データを分析ＤＢ２１に記憶した状態を示す図である。
【図５】本発明の判定部１６が判定結果を分析ＤＢ２１に記憶した状態を示す図である。
【図６】本発明の処理内容を示すフローチャートである。
【図７】本発明の全体判定がエラーの場合の一覧表を示す図である。
【図８】実施例２における、エラー情報収集装置１０の処理内容を示すフローチャートである。
【図９】実施例２において、読みデータの判定を受付け、受付けた情報を分析ＤＢ２１に記憶した状態を示す図である。
【図１０】実施例３における、エラー情報収集装置１０の処理内容を示すフローチャートである。
【図１１】実施例３における、分析蓄積ＤＢを示す図である。
【符号の説明】
【００６７】
１０ エラー情報収集装置
１２ 形態素用出力部
１３ 読みデータ取得部
１４ 読みデータ出力部
１５ 変換データ取得部
１６ 判定部
２１ 分析ＤＢ
３１ 形態素解析器
３２ 仮名漢字変換器
１０１０ ＣＰＵ
１０１２ ＣＰＵ＿Ａ
１０２２ 表示装置
１０４０ 通信Ｉ／Ｆ
１０５０ メインメモリ
１０６０ ＢＩＯＳ
１０７０ ハードディスク
１１００ キーボード及びマウス
【技術分野】
【０００１】
本発明は、テキストデータ処理におけるエラー処理に関する。より詳しくは、形態素解析器と仮名漢字変換器のエラー情報を効率よく収集する仕組みに関する。
【背景技術】
【０００２】
従来より、テキストデータを解析し、形態素に分解する形態素解析器の動作試験は、任意の漢字仮名混じり文をテストツールにかけ、その出力を目視確認して行っている。そして、その結果を反映させることにより形態素解析器の機能向上を図っている。また、機能を自動的に向上させることを目的として学習辞書を導入している形態素解析器がある（特許文献１参照）。
【０００３】
一方、テキストデータを解析し、漢字に変換する仮名漢字変換器の動作試験は、正しい漢字仮名混じり文からひらがなの読みデータを手動で作成し、作成した読みデータを仮名漢字変換器にかけ、変換された結果と元の漢字仮名混じり文とを比較し、自動判定することにより行っている。そして、その結果を反映させることにより仮名漢字変換器の機能向上を図っている。
【０００４】
【特許文献１】特開２００５−２４２８０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、形態素解析器のテスト結果は大量であり、テスト結果のエラー確認を行うことは困難である。また、仮名漢字変換器用に大量のテストデータを用意することも困難である。また、自動的に機能を向上させることを目的として学習辞書を導入している形態素解析器では、機能が向上するには学習時間がかかる。
【０００６】
本発明は、形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集し、形態素解析器及び仮名漢字変換器の機能向上に寄与する仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明は、以下のようなものを提供する。
（１） テキストデータ処理に関するエラー情報を収集するエラー情報収集装置であって、テキストデータを取得し、形態素に分解する形態素解析器に出力する形態素用出力部と、前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶する読みデータ取得部と、漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力する読みデータ出力部と、前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶する変換データ取得部と、前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶する判定部と、を備えることを特徴とするエラー情報収集装置。
【０００８】
（１）の構成によれば、エラー情報収集装置の形態素用出力部は、テキストデータを取得し、形態素解析器に出力し、読みデータ取得部は、形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶する。さらに、読みデータ出力部は、仮名漢字変換器に、元の漢字仮名データが記憶されたその読みデータを出力し、変換データ取得部は、仮名漢字変換器の出力である読みデータの仮名漢字変換データを入力し、記憶装置に記憶する。そして、判定部は、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を記憶装置に記憶する。
【０００９】
このことにより、本発明は、形態素解析器の出力である元の漢字仮名データ及び読みデータを記憶し、さらに、元の漢字仮名データが記憶されたその読みデータを仮名漢字変換器に出力し、仮名漢字変換データを記憶し、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を記憶する。よって、同一と判定した場合は、形態素解析器の解析と、仮名漢字変換器の変換とが正常に機能していることを示す確率が高い。異なると判定した場合には、形態素解析器の解析が異常の場合と、仮名漢字変換器の変換が異常の場合がある。この異常の判定があったテキストデータについてのみ目視確認を行えば、形態素解析器の解析異常か、仮名漢字変換器の変換異常かが判明する。したがって、大量のテスト結果の中から、形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集することができ、その結果を利用すれば、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【００１０】
（２） （１）に記載のエラー情報収集装置であって、前記判定部は、前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一でないと判定した場合にのみ、操作者の入力を受付けて、入力された情報を記憶装置に記憶することを特徴とするエラー情報収集装置。
【００１１】
（２）の構成によれば、エラー情報収集装置の判定部は、元の漢字仮名データと仮名漢字変換データとを比較し、同一でないと判定した場合にのみ、操作者の入力を受付けて、入力された情報を記憶装置に記憶する。
【００１２】
このことにより、元の漢字仮名データと仮名漢字変換データとを比較し、同一でないと判定した場合にのみ、操作者の入力を受付け、形態素解析器のエラーか仮名漢字変換器のエラーかの情報の入力を記憶する。したがって、大量のテスト結果の中から、形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集することができ、その結果を利用すれば、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【００１３】
（３） テキストデータ処理に関するエラー情報を収集する方法であって、テキストデータを取得し、形態素に分解する形態素解析器に出力するステップと、前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶するステップと、漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力するステップと、前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶するステップと、前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶するステップと、を含む方法。
【００１４】
（３）の構成によれば、エラー情報を収集する方法は、テキストデータを取得し、形態素に分解する形態素解析器に出力し、形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶する。さらに、漢字に変換する仮名漢字変換器に、元の漢字仮名データが記憶されたその読みデータを出力し、仮名漢字変換器の出力である読みデータの仮名漢字変換データを入力し、記憶装置に記憶し、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を記憶装置に記憶する。
【００１５】
このことにより、本発明の方法によれば、形態素解析器の出力である元の漢字仮名データ及び読みデータを記憶し、さらに、元の漢字仮名データが記憶されたその読みデータを仮名漢字変換器に出力し、仮名漢字変換データを記憶し、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を記憶する。よって、同一と判定した場合は、形態素解析器の解析と、仮名漢字変換器の変換とが正常に機能していることを示す確率が高い。異なると判定した場合には、形態素解析器の解析が異常の場合と、仮名漢字変換器の変換が異常の場合がある。この異常の判定があったテキストデータについてのみ目視確認を行えば、形態素解析器の解析異常か、仮名漢字変換器の変換異常かが判明する。したがって、大量のテスト結果の中から、形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集することができ、その結果を利用すれば、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【００１６】
（４） テキストデータ処理に関するエラー情報を収集するコンピュータ・プログラムであって、テキストデータを取得し、形態素に分解する形態素解析器に出力するステップと、前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶するステップと、漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力するステップと、前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶するステップと、前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶するステップと、をコンピュータに実行させるコンピュータ・プログラム。
【００１７】
（４）の構成によれば、本発明のコンピュータ・プログラムは、テキストデータを取得し、形態素に分解する形態素解析器に出力するステップと、前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶するステップと、漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力するステップと、前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶するステップと、前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶するステップと、をコンピュータに実行させることができる。
【００１８】
このことにより、本発明のコンピュータ・プログラムを実行させたコンピュータは、形態素解析器の出力である元の漢字仮名データ及び読みデータを記憶する。さらに、元の漢字仮名データが記憶されたその読みデータを仮名漢字変換器に出力し、仮名漢字変換データを記憶する。そして、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を記憶する。よって、同一と判定した場合は、形態素解析器の解析と、仮名漢字変換器の変換とが正常に機能していることを示す確率が高い。異なると判定した場合には、形態素解析器の解析が異常の場合と、仮名漢字変換器の変換が異常の場合がある。この異常の判定があったテキストデータについてのみ目視確認を行えば、形態素解析器の解析異常か、仮名漢字変換器の変換異常かが判明する。したがって、大量のテスト結果の中から、形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集することができ、その結果を利用すれば、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【発明の効果】
【００１９】
本発明によれば、形態素解析器及び仮名漢字変換器のエラー情報を効率よく収集し、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【発明を実施するための最良の形態】
【００２０】
［実施例１］
本発明の１つの実施の形態として、エラー情報収集装置１０を例に挙げて説明する。このエラー情報収集装置１０は、形態素用出力部１２と、読みデータ取得部１３と、読みデータ出力部１４と、変換データ取得部１５と、判定部１６と、記憶装置としてハードディスク１０７０とを備え、形態素解析器３１及び仮名漢字変換器３２の出力と、判定結果をハードディスク１０７０上の分析ＤＢ（データベース）２１に記憶する。以下、本発明の実施形態について、図に従って説明する。
【００２１】
図１は、本発明の機能を構成する構成部と、構成部が処理するデータとの関連を示す図である。
【００２２】
形態素用出力部１２は、テキストデータを取得し、形態素解析器３１に出力する。テキストデータは、通信Ｉ／Ｆ１０４０を介して、取得することができ、試験用に作成されたテキストデータだけではなく、現実に使用されているテキストデータでも利用することができる。例えば、インターネット上の利用可能な、ニュース、文献、公報等のテキストデータや、利用可能な掲示板やブログのテキストデータであることもできる。現実に使用されているテキストデータを利用することにより、現実的な試験を行うことができ、使用頻度に適合した、タイムリーな機能向上を行うことができる。
【００２３】
読みデータ取得部１３は、形態素解析器３１の出力である読みデータを取得し、ハードディスク１０７０に記憶する。形態素解析器３１は、テキストデータを解析し、形態素に分解し、分解して得た漢字とともに、その漢字の読みを読みデータとして出力する。読みデータ取得部１３は、出力された漢字を、その読みデータとともに、分析ＤＢ２１の「元の漢字仮名データ」と、「読みデータ」として、ハードディスク１０７０に記憶する（後述する図３参照）。
【００２４】
読みデータ出力部１４は、読みデータを仮名漢字変換器３２に出力する。この仮名漢字変換器３２に出力する読みデータは、読みデータと対応した漢字データが、元の漢字仮名データとして記憶されている。
【００２５】
変換データ取得部１５は、仮名漢字変換器３２の出力である仮名漢字変換データを取得し、分析ＤＢ２１の「仮名漢字変換データ」として、元の漢字仮名データ及び読みデータと関連付けてハードディスク１０７０に記憶する（後述する図４参照）。
【００２６】
判定部１６は、元の漢字仮名データと、変換された仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を分析ＤＢ２１の「全体判定」として、元の漢字仮名データ、読みデータ、仮名漢字変換データと関連付けてハードディスク１０７０に記憶する（後述する図５参照）。
【００２７】
図２は、本発明のハードウェア構成の一例を示す図である。エラー情報収集装置１０は、制御部１０１を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０（マルチプロセッサ構成ではＣＰＵ＿Ａ１０１２等複数のＣＰＵが追加されてもよい）、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、ハードディスク１０７０、並びにキーボード及びマウス１１００等の入力手段や表示装置１０２２を備える。
【００２８】
ＢＩＯＳ１０６０は、エラー情報収集装置１０の起動時にＣＰＵ１０１０が実行するブートプログラムや、ハードウェアに依存するプログラム等を格納する。
【００２９】
ハードディスク１０７０は、エラー情報収集装置１０が機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶しており、さらに必要に応じて各種データベースを構成可能である。
【００３０】
表示装置１０２２は、ユーザにデータの入力を受付ける画面を表示したり、エラー情報収集装置１０による演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。
【００３１】
ここで、入力手段は、ユーザによる入力の受付けを行うものであり、キーボード及びマウス１１００等により構成する。
【００３２】
また、通信Ｉ／Ｆ１０４０は、エラー情報収集装置１０を専用ネットワーク又は公共ネットワークを介して形態素解析器３１、仮名漢字変換器３２、及びテキストデータ出力装置等と接続できるようにするためのネットワーク・アダプタである。
【００３３】
図３は、本発明の読みデータ取得部１３が取得データを分析ＤＢ２１に記憶した状態を示す図である。図は、読みデータ取得部１３が、形態素解析器３１の出力である形態素に分解した元の漢字仮名データ及び読みデータを取得し、分析ＤＢ２１に記憶したことを示している。分析ＤＢ２１に元の漢字仮名データ及び読みデータとして、例えば、「形態素」と「けいたいもと」、「漢字変換」と「かんじへんかん」、「情報収集」と「じょうほうしゅうしゅう」を記憶したことを示している。分析ＤＢ２１は、「元の漢字仮名データ」、「読みデータ」、「仮名漢字変換データ」、「全体判定」、及び「読みの判定」のレコードを含んでいる。
【００３４】
図４は、本発明の変換データ取得部１５が取得データを分析ＤＢ２１に記憶した状態を示す図である。図は、変換データ取得部１５が、仮名漢字変換器３２の出力である仮名漢字変換データを取得し、分析ＤＢ２１に記憶したことを示している。分析ＤＢ２１の「仮名漢字変換データ」として、例えば、「形態基」、「漢字返還」、「情報収集」を記憶したことを示している。
【００３５】
図５は、本発明の判定部１６が判定結果を分析ＤＢ２１に記憶した状態を示す図である。図は、判定部１６が、元の漢字仮名データと、仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を分析ＤＢ２１の「全体判定」に記憶したことを示している。分析ＤＢ２１の「全体判定」として、判定部１６が、「形態素」と「形態基」とを比較し同一ではないと判断したことを「×」で、「漢字変換」と「漢字返還」とを比較し同一ではないと判断したことを「×」で、「情報収集」と「情報収集」とを比較し同一と判断したことを「○」で、示している。
【００３６】
図６は、本発明の処理内容を示すフローチャートである。
【００３７】
まず、ステップＳ１０１において、ＣＰＵ１０１０は、テキストデータを取得する。具体的には、通信Ｉ／Ｆ１０４０を介してテキストデータを受信し、ハードディスク１０７０に記憶する。
【００３８】
次に、ステップＳ１０２において、ＣＰＵ１０１０は、テキストデータを形態素解析器３１へ出力する。具体的には、通信Ｉ／Ｆ１０４０を介して形態素解析器３１にテキストデータを送信する。
【００３９】
次に、ステップＳ１０３において、ＣＰＵ１０１０は、形態素解析器３１の出力を入力し、記憶する。具体的には、通信Ｉ／Ｆ１０４０を介して取得した形態素解析器３１の出力である元の漢字仮名データ、及び読みデータを受信し、ハードディスク１０７０上の分析ＤＢ２１の「元の漢字仮名データ」及び「読みデータ」に記憶する（図３参照）。
【００４０】
次に、ステップＳ１０４において、ＣＰＵ１０１０は、読みデータを仮名漢字変換器３２に出力する。具体的には、分析ＤＢ２１から、元の漢字仮名データに対応した読みデータを取得し、通信Ｉ／Ｆ１０４０を介して仮名漢字変換器３２に送信する。
【００４１】
次に、ステップＳ１０５において、ＣＰＵ１０１０は、変換データを入力する。具体的には、通信Ｉ／Ｆ１０４０を介して、仮名漢字変換器３２が出力した仮名漢字変換データを受信し、ハードディスク１０７０上の分析ＤＢ２１の「仮名漢字変換データ」に記憶する（図４参照）。
【００４２】
次に、ステップＳ１０６において、ＣＰＵ１０１０は、データを比較し判定する。具体的には、元の漢字仮名データと、仮名漢字変換データとを比較し、同一か否かを判断し、判定結果をハードディスク１０７０上の分析ＤＢ２１の「全体判定」に記憶する（図５参照）。その後処理を終了する。
【００４３】
図７は、本発明の全体判定がエラーの場合の一覧表を示す図である。図は、エラー情報収集装置１０により、全体判定がエラーである場合の、元の漢字仮名データと、読みデータと、仮名漢字変換データとが一覧表として得られることを示している。
【００４４】
［実施例２］
実施例２は、エラー情報収集装置１０において、エラー情報を収集し、全体判定がエラーの場合についてのみ、読みデータが正常であるか否かの判定を受付け、受付けた情報を記憶する。
【００４５】
図８は、実施例２における、エラー情報収集装置１０の処理内容を示すフローチャートである。
【００４６】
ステップＳ２０１からステップＳ２０６は、実施例１のステップＳ１０１からステップＳ１０６と同様であるので省略する。
【００４７】
次に、ステップＳ２０７において、ＣＰＵ１０１０は、全体判定がエラーか否かを判断する。具体的には、分析ＤＢ２１の「全体判定」のデータを判断し、エラーでないと判断した場合には、処理を終了する。
【００４８】
次に、ステップＳ２０８において、ＣＰＵ１０１０は、読みデータの判定の受付けを行う。具体的には、元の漢字仮名データと、読みデータと、仮名漢字変換データとを表示し、操作者の判断を受付け、受付けた情報を分析ＤＢ２１の「読みの判定」に記憶する（後述する図９参照）。その後、処理を終了する。
【００４９】
図９は、実施例２において、読みデータの判定を受付け、受付けた情報を分析ＤＢ２１に記憶した状態を示す図である。例えば、元の漢字仮名データが「形態素」、その読みデータが「けいたいもと」である場合には、読みデータの誤りであるから形態素解析器３１のエラーとして「Ｋ」を、元の漢字仮名データが「漢字変換」、その読みデータが「かんじへんかん」である場合には、読みデータは正しいから仮名漢字変換器３２のエラーとして「Ｈ」を、受付け、記憶したことを示している。
【００５０】
［実施例３］
実施例３は、エラー情報収集装置１０において、判定結果を分析蓄積ＤＢに蓄積し、所定の条件により新語として辞書登録を行う。分析蓄積ＤＢは、ハードディスク１０７０上に記憶され、本発明が収集したエラー情報を蓄積している。分析蓄積ＤＢは、「元の漢字仮名データ」、「読みデータ」、「仮名漢字変換データ」、「全体判定」、「読みの判定」、及び「頻度」のレコードを含んでいる。
【００５１】
図１０は、実施例３における、エラー情報収集装置１０の処理内容を示すフローチャートである。
【００５２】
まず、ステップＳ３０１において、元の漢字仮名データと、読みデータと、仮名漢字変換データと、全体判定とを取得する。具体的には、この処理は、実施例１のステップＳ１０１からステップＳ１０６と同様である。
【００５３】
次に、ステップＳ３０２において、ＣＰＵ１０１０は、全体判定がエラーか否かを判断する。具体的には、分析ＤＢ２１の「全体判定」のデータを判断し、エラーでないと判断した場合には、処理を終了する。
【００５４】
次に、ステップＳ３０３において、ＣＰＵ１０１０は、同じエラーか否かを判断する。具体的には、元の漢字仮名データ、読みデータ、及び仮名漢字変換データと、分析蓄積ＤＢの「元の漢字仮名データ」、「読みデータ」、及び「仮名漢字変換データ」とを比較し、同一レコードがあるか否かを判断する。同一のレコードはないと判断した場合には、ステップＳ３０７へ行く。
【００５５】
次に、ステップＳ３０４において、ＣＰＵ１０１０は、頻度をカウントする。具体的には、分析蓄積ＤＢの同一のレコードに対応する「頻度」をカウントする。
【００５６】
次に、ステップＳ３０５において、ＣＰＵ１０１０は、分析蓄積ＤＢの「頻度」は所定回数以上か否かを判断する。具体的には、分析蓄積ＤＢの「頻度」の値と、予め設定されている所定の回数値とを比較し、分析蓄積ＤＢの「頻度」の値が所定の回数値を超えていないと判断した場合には処理を終了する。
【００５７】
次に、ステップＳ３０６において、ＣＰＵ１０１０は、新語として辞書登録を行う。具体的には、元の漢字仮名データ、及び読みデータを辞書に登録し、登録した元の漢字仮名データ、及び読みデータのレコードは分析蓄積ＤＢ上から削除する。その後、処理を終了する。
【００５８】
ステップＳ３０７において、ＣＰＵ１０１０は、分析蓄積ＤＢに記憶する。具体的には、元の漢字仮名データと、読みデータと、仮名漢字変換データとを分析蓄積ＤＢの「元の漢字仮名データ」、「読みデータ」、及び「仮名漢字変換データ」に記憶する。
【００５９】
次に、ステップＳ３０８において、ＣＰＵ１０１０は、読みデータの判定の受付けを行う。具体的には、元の漢字仮名データと、読みデータと、仮名漢字変換データとを表示し、操作者の判断を受付け、受付けた情報を分析蓄積ＤＢの該当するレコードの「読みの判定」に記憶する（後述する図１１参照）。その後、処理を終了する。
【００６０】
図１１は、実施例３における、分析蓄積ＤＢを示す図である。図は、分析蓄積ＤＢとして、全体判定がエラーの場合のデータを蓄積し、同一エラーについては「頻度」がカウントされていることを示している。
【００６１】
本実施例によれば、エラー情報収集装置１０は、テキストデータを形態素解析器３１に出力し、形態素解析器３１の出力である元の漢字仮名データ及び読みデータを分析ＤＢ２１に記憶する。さらに、元の漢字仮名データが記憶されたその読みデータを仮名漢字変換器３２に出力し、仮名漢字変換データを分析ＤＢ２１に記憶する。そして、元の漢字仮名データと仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を分析ＤＢ２１に記憶する。同一と判定した場合は、形態素解析器３１の解析と、仮名漢字変換器３２の変換とが正常に機能していることを示す確率が高い。異なると判定した場合には、形態素解析器３１の解析が異常の場合と、仮名漢字変換器３２の変換が異常の場合がある。この異常の判定があったテキストデータについてのみ目視確認を行えば、形態素解析器３１の解析異常か、仮名漢字変換器３２の変換異常かが判明する。また、分析蓄積ＤＢに判定結果を蓄積することにより、新しい語を検出し辞書に登録することができる。したがって、大量のテスト結果の中から、形態素解析器３１及び仮名漢字変換器３２のエラー情報を効率よく収集することができ、その結果を利用すれば、辞書に新しい語を自動的に追加登録することができ、形態素解析器３１及び仮名漢字変換器３２の機能向上として文の区切りロジックの改善等に寄与することもできる。
【００６２】
なお、本発明の実施例２では、読みデータの判定をエラー情報の収集ごとに受付けるとしたが、エラー情報収集後に一括して受付けることもできる。エラー情報を効率よく収集することができ、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【００６３】
なお、本発明の実施例３では、頻度が所定の回数を超えた場合に、新しい語として辞書に登録するとしたが、辞書の登録漢字の読みデータの優先順位を変更することもできる。現実に使用されているテキストデータを用いた結果を利用して、辞書を更新し、形態素解析器３１及び仮名漢字変換器３２の機能向上に寄与することができる。
【００６４】
なお、本発明の実施形態では、実効方法については触れなかったが、定時に自動実行することができる。エラー情報を効率よく収集することができ、形態素解析器及び仮名漢字変換器の機能向上に寄与することができる。
【００６５】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。
【図面の簡単な説明】
【００６６】
【図１】本発明の機能を構成する構成部と、構成部が処理するデータとの関連を示す図である。
【図２】本発明のハードウェア構成の一例を示す図である。
【図３】本発明の読みデータ取得部１３が取得データを分析ＤＢ２１に記憶した状態を示す図である。
【図４】本発明の変換データ取得部１５が取得データを分析ＤＢ２１に記憶した状態を示す図である。
【図５】本発明の判定部１６が判定結果を分析ＤＢ２１に記憶した状態を示す図である。
【図６】本発明の処理内容を示すフローチャートである。
【図７】本発明の全体判定がエラーの場合の一覧表を示す図である。
【図８】実施例２における、エラー情報収集装置１０の処理内容を示すフローチャートである。
【図９】実施例２において、読みデータの判定を受付け、受付けた情報を分析ＤＢ２１に記憶した状態を示す図である。
【図１０】実施例３における、エラー情報収集装置１０の処理内容を示すフローチャートである。
【図１１】実施例３における、分析蓄積ＤＢを示す図である。
【符号の説明】
【００６７】
１０ エラー情報収集装置
１２ 形態素用出力部
１３ 読みデータ取得部
１４ 読みデータ出力部
１５ 変換データ取得部
１６ 判定部
２１ 分析ＤＢ
３１ 形態素解析器
３２ 仮名漢字変換器
１０１０ ＣＰＵ
１０１２ ＣＰＵ＿Ａ
１０２２ 表示装置
１０４０ 通信Ｉ／Ｆ
１０５０ メインメモリ
１０６０ ＢＩＯＳ
１０７０ ハードディスク
１１００ キーボード及びマウス
【特許請求の範囲】
【請求項１】
テキストデータ処理に関するエラー情報を収集するエラー情報収集装置であって、
テキストデータを取得し、形態素に分解する形態素解析器に出力する形態素用出力部と、
前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶する読みデータ取得部と、
漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力する読みデータ出力部と、
前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶する変換データ取得部と、
前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶する判定部と、
を備えることを特徴とするエラー情報収集装置。
【請求項２】
請求項１に記載のエラー情報収集装置であって、
前記判定部は、前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一でないと判定した場合にのみ、操作者の入力を受付けて、入力された情報を記憶装置に記憶することを特徴とするエラー情報収集装置。
【請求項３】
テキストデータ処理に関するエラー情報を収集する方法であって、
テキストデータを取得し、形態素に分解する形態素解析器に出力するステップと、
前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶するステップと、
漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力するステップと、
前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶するステップと、
前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶するステップと、
を含む方法。
【請求項４】
テキストデータ処理に関するエラー情報を収集するコンピュータ・プログラムであって、
テキストデータを取得し、形態素に分解する形態素解析器に出力するステップと、
前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶するステップと、
漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力するステップと、
前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶するステップと、
前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶するステップと、
をコンピュータに実行させるコンピュータ・プログラム。
【請求項１】
テキストデータ処理に関するエラー情報を収集するエラー情報収集装置であって、
テキストデータを取得し、形態素に分解する形態素解析器に出力する形態素用出力部と、
前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶する読みデータ取得部と、
漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力する読みデータ出力部と、
前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶する変換データ取得部と、
前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶する判定部と、
を備えることを特徴とするエラー情報収集装置。
【請求項２】
請求項１に記載のエラー情報収集装置であって、
前記判定部は、前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一でないと判定した場合にのみ、操作者の入力を受付けて、入力された情報を記憶装置に記憶することを特徴とするエラー情報収集装置。
【請求項３】
テキストデータ処理に関するエラー情報を収集する方法であって、
テキストデータを取得し、形態素に分解する形態素解析器に出力するステップと、
前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶するステップと、
漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力するステップと、
前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶するステップと、
前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶するステップと、
を含む方法。
【請求項４】
テキストデータ処理に関するエラー情報を収集するコンピュータ・プログラムであって、
テキストデータを取得し、形態素に分解する形態素解析器に出力するステップと、
前記形態素解析器の出力である、少なくとも１つの漢字データを含む元の漢字仮名データ及び読みデータを入力し、記憶装置に記憶するステップと、
漢字に変換する仮名漢字変換器に、前記元の漢字仮名データが記憶された前記読みデータを出力するステップと、
前記仮名漢字変換器の出力である前記読みデータの仮名漢字変換データを入力し、前記記憶装置に記憶するステップと、
前記元の漢字仮名データと前記仮名漢字変換データとを比較し、同一か否かを判定し、判定結果を前記記憶装置に記憶するステップと、
をコンピュータに実行させるコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−２９３１１８（Ｐ２００８−２９３１１８Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１３５６９０（Ｐ２００７−１３５６９０）
【出願日】平成１９年５月２２日（２００７．５．２２）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２２日（２００７．５．２２）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
[ Back to top ]