フレーズベースの統計的機械翻訳方法及びシステム
【課題】翻訳品質を効果的に高めるフレーズベースの統計的機械翻訳方法及びシステムを提供する。
【解決手段】統計的機械翻訳方法は、以下のステップから構成される。まずステップ３０５において翻訳すべき入力文を取得する。ステップ３１０において、予め構築されたフレーズテーブルからフレーズファジーマッチング手法を用いて入力文における各句について同一または最も類似した対訳句対を検索する。そして、最も類似した対訳句対について修正を行うことにより、各句の正確な翻訳文を得る。ステップ３１５において、ステップ３１０において得られた対訳句対と予め構築された言語モデルに基づいて、入力文についての目的言語の全ての翻訳文を検出する。そして、統計モデルを用いて最も高いスコアの翻訳文を入力文の正しい目的言語翻訳文として選択する。ステップ３２０において、生成された目的言語翻訳文を出力する。
【解決手段】統計的機械翻訳方法は、以下のステップから構成される。まずステップ３０５において翻訳すべき入力文を取得する。ステップ３１０において、予め構築されたフレーズテーブルからフレーズファジーマッチング手法を用いて入力文における各句について同一または最も類似した対訳句対を検索する。そして、最も類似した対訳句対について修正を行うことにより、各句の正確な翻訳文を得る。ステップ３１５において、ステップ３１０において得られた対訳句対と予め構築された言語モデルに基づいて、入力文についての目的言語の全ての翻訳文を検出する。そして、統計モデルを用いて最も高いスコアの翻訳文を入力文の正しい目的言語翻訳文として選択する。ステップ３２０において、生成された目的言語翻訳文を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理技術、特にフレーズベースの統計的機械翻訳方法及びシステムに関する。
【背景技術】
【０００２】
機械翻訳技術は、主として規則ベースの機械翻訳技術とコーパスベースの機械翻訳技術に分類される。
【０００３】
コーパスベースの機械翻訳技術においては、主な翻訳リソースはコーパスレポジトリによってもたらされる。コーパスベースの機械翻訳技術は、さらに用例ベースの機械翻訳技術と統計ベースの機械翻訳技術に分類される。統計ベースの機械翻訳技術において、フレーズベースの統計的機械翻訳（ＳＭＴ）方法は主な自動機械翻訳方法の一つである。
【０００４】
フレーズベースの統計的機械翻訳方法において、基本翻訳単位は句（フレーズ）であり、使用される翻訳知識はコーパスレポジトリの並列対訳コーパスから得られるフレーズテーブルと言語モデルとからなる。フレーズテーブルは、並列対訳コーパスにおける対訳句対からなる。ここに、句はいくつかの連続した語（ワード）として定義される。
【０００５】
従来のフレーズベースの統計的機械翻訳プロセス（非特許文献１参照）は、主に以下のステップを含む。最初に、厳密なマッチング法(exactly matching method)を用いてフレーズテーブルを検索し、入力文に対応する、完全に一致した対訳句対を全て検出する。次に、対訳句対と言語モデルに基づいて、目的言語における翻訳フラグメントの全ての組合せを入力文について検出する。そして、統計的手法を用いることにより、全ての組合せの中から最もスコアの高い翻訳フラグメントを入力文の正しい目的言語翻訳文として選択する
図１は、上記のプロセスを実装した従来のフレーズベースの統計的機械翻訳システムのブロック図を示している。図１に示すように、システム１０は主として入力部１１、検索部１２、翻訳文生成部１３、出力部１４、フレーズテーブル記憶部１５及び言語モデル記憶部１６その他を含む。
【０００６】
入力部１１は、システム１０と外部とのインタフェースであり、システム１０は外部から入力部１１を介して翻訳すべき入力文を取得する。
【０００７】
検索部１２は、厳密なフレーズマッチング(phrase exactly matching：フレーズイグザクトリマッチング)を行う。具体的には、検索部１２は厳密なフレーズマッチングを用いてフレーズテーブル記憶部１５に記憶されているフレーズテーブルから入力文に対応する完全に一致した全ての対訳句対を検索する。
【０００８】
さらに、翻訳文生成部１３は入力文の正しい目的言語翻訳文を生成する。具体的には、翻訳文生成部１３は検索部１２によって検索された対訳句対と言語モデル記憶部１６に記憶された言語モデルに基づいて入力文についての全ての目的言語翻訳文を検出し、統計モデルを用いて可能な全ての翻訳文から最もスコアの高い一つを入力文の正しい目的言語翻訳文として選択する。
【０００９】
翻訳文生成部１３によって生成された目的言語翻訳文は、出力部１４を介して出力される。
【００１０】
図２は、図１のシステムによって行われる機械翻訳例を示している。この例では、
【数１】
【００１１】
という入力文について、図１のシステムは厳密なフレーズマッチング技術によって入力文に対応する以下の完全に一致した４つの対訳句対（中国語−英語句対）をフレーズテーブルから検出する。
【数２】
【００１２】
さらに、システムは当該４つの対訳句対に基づき、統計モデルを用いて“I found the end of her story very exciting”という最終的な翻訳文を得る。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Philipp Koehn, Franz Josef Och, Daniel Marcu: "Statistical Phrase-Based Translation", Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology (HLT-NAACL 2003), (1), page 48-54, 2003.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上記のように従来のフレーズベースの統計的機械翻訳システムでは、厳密なマッチング手法を用いて、翻訳すべき入力文に関して、完全に一致した対訳句対をフレーズテーブルから検索して入力文の翻訳文を得る。厳密なフレーズマッチング手法の条件は、対応する２つの句が完全に同じでなければならないということである。しかしながら、予め構築されたコーパスレポジトリ内の並列対訳コーパスのサイズは一般に制限されており、長い句をカバーすることができない。このため、翻訳すべき入力文における長い句については、厳密なマッチング手法の使用によってフレーズテーブルの中に完全に一致した対訳句対を見つけ出すことは非常に難しい。従って、翻訳の過程では長い句をいくつかの短い句へ分割して一つずつマッチングをとればよい。しかしながら、長い句が短い句より多くの文脈情報を含んでいることから、入力文について短い句のマッチングに基づいて生成される目的言語の翻訳文の質は、長い句のマッチングに基づいて生成されるそれより通常低い。
【課題を解決するための手段】
【００１５】
本発明の一態様によれば、入力文中の句について予め構築されたフレーズテーブルにおいてファジーマッチングを行うステップを具備するフレーズベースの統計的機械翻訳方法を提供する。
【００１６】
本発明の別の態様によれば、入力文中の句について予め構築されたフレーズテーブルにおいてファジーマッチングを行うように構成されたフレーズファジーマッチング部を具備するフレーズベースの統計的機械翻訳システムを提供する。
【図面の簡単な説明】
【００１７】
【図１】従来のフレーズベースの統計的機械翻訳システムのブロック図；
【図２】図１のシステムの機械翻訳例を示す図；
【図３】本発明の一実施形態に係るフレーズベースの統計的機械翻訳方法のフローチャート；
【図４】本発明の一実施形態に係る図３の方法のフレーズファジーマッチングプロセスの詳細を示すフローチャート；
【図５】図３及び図４の方法を用いた機械翻訳例を示す図；
【図６】本発明の一実施形態に係るフレーズベースの統計的機械翻訳システムのブロック図；
【図７】本発明の一実施形態に係る図６のシステムにおけるフレーズファジーマッチング部のブロック図。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の好ましい実施形態を詳細に説明する。
【００１９】
図３は、本発明の一実施形態に係るフレーズベースの統計的機械翻訳方法のフローチャートである。
【００２０】
図３に示すように、まずステップ３０６において翻訳すべき入力文を取得する。
【００２１】
ステップ３１０において、フレーズファジーマッチングを行う。
【００２２】
具体的には、ステップ３１０では予め構築されたフレーズテーブルからフレーズファジーマッチング手法を用いて入力文における各句について同一または最も類似した対訳句対を検索する。そして、最も類似した対訳句対について修正を行うことにより、各句の正確な翻訳文を得る。
【００２３】
ステップ３１５において、入力文についての目的言語翻訳文を生成する。具体的には、ステップ３１０において得られた対訳句対と予め構築された言語モデルに基づいて、入力文についての目的言語の全ての翻訳文を検出する。そして、統計モデルを用いて最も高いスコアの翻訳文を入力文の正しい目的言語翻訳文として選択する。
【００２４】
ステップ３２０において、生成された目的言語翻訳文を出力する。
【００２５】
以下、ステップ３１０の処理について詳細に説明する。図４は、本発明の一実施形態に係る図３の方法におけるステップ３１０のフレーズファジーマッチングプロセスの詳細なフローチャートである。図５は、図３及び図４の方法を用いた機械翻訳例を示している。
【００２６】
本実施形態では、用例ベースの機械翻訳（ＥＢＭＴ）の考え方に従ってフレーズファジーマッチングを実行する。ＥＢＭＴ法の主なプロセスは、以下の通りである。最初に、例文レポジトリから入力文に類似した例文を検索する。次に、類似した例文と入力文との差分を認識する。最後に、類似した例文における前記の差分を翻訳モデルに基づいて除去し、それにより入力文の翻訳文を生成する。ＥＢＭＴ法については、Harold Somers, “Review Article: Example-based Machine Translation”, 1999, Machine Translation, 14(2): 113-157.で詳しく述べられている。
【００２７】
図４中に示したように、本実施形態のフレーズファジーマッチングプロセスでは、まずステップ４０１において句の検索を行い、予め構築されたフレーズテーブル内の同一または最も類似した対訳句対を検索する。
【００２８】
例えば、図５を参照すると、フレーズテーブルから長い句：
【数３】
【００２９】
に対して同一または最も類似した対訳句対を検索するプロセスにおいては、句：
【数４】
【００３０】
について完全に一致した対訳句対：
【数５】
【００３１】
が見つかり、句：
【数６】
【００３２】
について最も類似した対訳句対：
【数７】
【００３３】
が見つかり、また句：
【数８】
【００３４】
について完全に一致した対訳句対：
【数９】
【００３５】
が見つかる。
【数１０】
【００３６】
のような、フレーズテーブル内で完全に一致した対訳句対を持たない句について、最も類似した対訳句対を検索するプロセスは、以下の通りである。まず、長い句の中にほとんど同一の語を含む複数の類似した候補対訳句対をフレーズテーブルから検出する。そして、次に複数の類似した候補対訳句対の各々について、長い句との間の編集距離を計算する。ここで、編集距離は、類似した候補対訳句対中の原言語句から長い句への変換に必要な挿入、削除及び置換の操作の回数である。そして、最後に長い句から最も編集距離の短い類似した候補対訳句対をほとんど同一の候補対訳句対として選択する。
【００３７】
例えば、図５を参照すると、長い句：
【数１１】
【００３８】
に対して、複数の類似した候補対訳句対：
【数１２】
【００３９】
がフレーズテーブルから検出される。
【００４０】
この場合、候補対訳句対(S1),(S2)及び(S3)について、長い句：
【数１３】
【００４１】
【数１４】
【００４２】
【数１５】
【００４３】
という２つの操作を実行する必要がある。（S2)と長い句との間の編集距離も２であり、すなわち(S2)の原言語句においては
【数１６】
【００４４】
【数１７】
【００４５】
という２つの操作を実行する必要がある。（S3)と長い句との間の編集距離は１、すなわち(S3)の原言語句においては
【数１８】
【００４６】
という一つの操作のみを実行すればよい。
【００４７】
従って、長い句：
【数１９】
【００４８】
からの編集距離が最も短い対訳句対：
【数２０】
【００４９】
を長い句について最も類似した対訳句対として得ることができる。
【００５０】
ステップ４１５においては、完全に一致した対訳句対は見つからないが、最も類似した対訳句対が見つかる、入力文中の長い句の各々について、見つけられた最も類似した対訳句対と長い句との差分を認識する。すなわち、最も類似した対訳句対中の原言語句と長い句との間で異なる語を認識する。
【００５１】
具体的には、ステップ４１５において最も類似した対訳句対における原言語句の中の語が、長い句の中の語と同一かどうかを判断するために、下記の方法のうちの１つを特定の状況によって使用すればよい。
【００５２】
１）最も類似した対訳句対中の原言語句と長い句とを語単位で互いに直接比較して、語が一致しているかどうかを確認する。
【００５３】
２）もし長い句が英語であれば、最も類似した対訳句対中の原言語句と長い句との語の基底形を互いに比較して、語の基底形が一致しているかどうかを確認する。
【００５４】
３）類義語辞書を使用することによって、最も類似した対訳句対中の原言語句と長い句との間の異なる語が同じ意味を示すかどうかを調べる。
【００５５】
例として、例えば図５の例の長い句：
【数２１】
【００５６】
について見つかる最も類似した対訳句対が
【数２２】
【００５７】
であれば、そこに長い句の中の
【数２３】
【００５８】
と異なる語
【数２４】
【００５９】
が文字通り存在する。もし、それが同義語辞書で定義されるなら、
【数２５】
【００６０】
は同義語に属する。その結果、
【数２６】
【００６１】
は同じ意味を表し、異なる部分とは見なされない。
【００６２】
４）翻訳辞書を使用することによって、最も類似した対訳句対中の原言語句と長い句との間で異なる語が同じ意味を示すかどうかを調べる。
【００６３】
同様に、例えば図５の例の長い句：
【数２７】
【００６４】
において見つかる最も類似した対訳句対が
【数２８】
【００６５】
であり、さらに翻訳辞書中に“story”または “novel”と翻訳される
【数２９】
【００６６】
及び“novel”と翻訳される
【数３０】
【００６７】
が見つかれば、
【数３１】
【００６８】
は同じ意味を持つと見なされ、異なる部分とは見なされない。
【００６９】
ステップ４２０においては、完全に一致した対訳句対は見つからないが、最も類似した対訳句対が見つかる、入力文中の長い句の各々について、見つけられた最も類似した対訳句対と長い句との差分を修正し、長い句の目的言語翻訳文を得る。
【００７０】
すなわち、長い句の語に対して最も類似した対訳句対中の異なる語を修正する。具体的には、最も類似した対訳句対中の原言語句において長い句の語に対して異なる意味を持っている語をまず修正する。その結果、修正後の原言語句は長い句と一致する。次に、最も類似した対訳句対中の目的言語句の中の対応する語を修正する。これにより、長い句の目的言語翻訳文を得る。
【００７１】
例えば、図５の例では最も類似した対訳句対：
【数３２】
【００７２】
が長い句：
【数３３】
【００７３】
に対して見つかり、最も類似した対訳句対と長い句との差分は、最も類似した対訳句対に無い語：
【数３４】
【００７４】
であるため、まず
【数３５】
【００７５】
を(S3)の原言語句中の語：
【数３６】
【００７６】
の前に挿入する。この結果、修正後の原言語句は長い句に一致する。次に、辞書を調べて
【数３７】
【００７７】
を取得し、これに基づいて(S3)の目的言語句中の対応する語を修正後の原言語句に従って修正する。例えば、目的言語句中の２番目の“the”を“her”に置き換え、これにより長い句の正しい目的言語翻訳文 “the end of her story”が得られる。
【００７８】
その結果、図５を参照すると、入力文：
【数３８】
【００７９】
について、フレーズファジーマッチングを介して得られる以下の対訳句対：
【数３９】
【００８０】
に基づき、統計モデルを用いて入力文に関して最もスコアの高い最終的な目的言語翻訳文 “I found the end of her story very exciting” (“I found the end of her story very exciting.”の意味)が得られる。
【００８１】
本実施形態のフレーズベースの統計的機械翻訳方法の詳細は、上記の通りである。本実施形態では、句についてファジーマッチングを行うことによって、入力文中の長い句についての高品質の翻訳文を生成し、それにより長い句に基づく入力文の翻訳を実行することができ、もって厳密なフレーズマッチングに基づいた翻訳システムにおける翻訳の質を効果的に高めることができる。さらに、この効果は図２の例における厳密なフレーズマッチングに基づいて得られる翻訳文と、図５の本実施形態に従うフレーズファジーマッチングに基づいて得られる翻訳文との比較に見ることができ、フレーズファジーマッチングに基づいて得られる翻訳文は、厳密なフレーズマッチングに基づいて得られる翻訳文より明らかに優れている。
【００８２】
さらに、図４のプロセスにおいては図３のステップ３１０のフレーズファジーマッチング過程を実行するために、用例ベースの機械翻訳方法が使用されているが、これに限定されないことに注意すべきである。また、他の実施形態ではフレーズファジーマッチングを現在知られているか、または将来知り得る翻訳手法の使用により実行することができる。
【００８３】
本発明は、同じ発明概念の下でフレーズベースの統計的機械翻訳システムを提供する。以下、図面を参照して説明する。
【００８４】
図６は、本発明の一実施形態に係るフレーズベースの統計的機械翻訳システムのブロック図である。図６に示されるように、本実施形態のフレーズベースの統計的機械翻訳システム６０は、入力部６１、フレーズファジーマッチング部６２、翻訳文生成部６３、出力部６４、フレーズテーブル記憶部６５及び言語モデル記憶部６６を含む。
【００８５】
入力部６１は、システム６０と外部とのインタフェースであり、システム６０は外部から入力部６１を介して翻訳すべき入力文を取得する。
【００８６】
フレーズファジーマッチング部６２は、フレーズテーブル記憶部６５に記憶された予め構築されたフレーズテーブル中の入力文の句についてファジーマッチングを行い、句についての目的言語翻訳文を検出する。
【００８７】
翻訳文生成部６３は、フレーズファジーマッチング部６２のマッチング結果と言語モデル記憶部６６に格納された、予め構築された言語モデルに基づいて、入力文についての目的言語の可能な全ての翻訳文を検出し、統計モデルを使用してそれらのうち最もスコアの高い一つを入力文の正しい目的言語翻訳文として選択する。
【００８８】
さらに、翻訳文生成部６３によって生成された目的言語翻訳文は、出力部６４を介して出力される。
【００８９】
以下、フレーズファジーマッチング部６２の詳細について説明する。図７は、本発明の一実施形態に係るフレーズファジーマッチング部のブロック図である。フレーズファジーマッチング部６２は、用例ベースの機械翻訳方法に基づいて実装される。
【００９０】
具体的には、本実施形態のフレーズファジーマッチング部６２は、図７に示されるように対訳句検索部６２２、差分認識部６２３及び修正部６２４を含む。
【００９１】
対訳句検索部６２２は、フレーズテーブル記憶部６５に記憶されたフレーズテーブルから、入力文従って同一または最も類似した対訳句対を検索する。
【００９２】
特に、同一でない対訳句対が見つかる長い句の各々において、対訳句対検索部６２２はほとんど同一の語を長い句に含む複数の最も類似した候補対訳句対を検出し、また複数の類似した候補対訳句対の各々について長い句との間の編集距離を計算する。ここで、編集距離は類似した候補対訳句対中の原言語句から長い句への変換に必要な挿入、削除及び置換の操作の回数である。そして、最も編集距離の短い類似した候補対訳句対をほとんど同一の候補対訳句対として長い句から選択する。
【００９３】
差分認識部６２３は、複数の長い句のうち最も類似した対訳句対が見つかる長い句の各々について、最も類似した対訳句対と長い句との差分を認識する。すなわち、最も類似した対訳句対中の原言語句と長い句との間の異なる意味を持つ語を認識する。
【００９４】
具体的には、差分認識部６２３は複数の長い句のうち最も類似した対訳句対が見つかる長い句の各々について、最も類似した対訳句対中の原言語句と長い句との間で異なる意味を持つ語を直接あるいは類義語辞書／翻訳辞書の使用によって認識する。
【００９５】
修正部６２４は、複数の長い句のうち最も類似した対訳句対が見つかる長い句の各々について、長い句に対する最も類似した対訳句対の差分を修正して、長い句の目的言語翻訳文を得る。
【００９６】
具体的には、修正部６２４は複数の長い句のうち最も類似した対訳句対が見つかる長い句の各々について、最も類似した対訳句対中の原言語句のうち長い句の語に対して異なる意味を持っている語を修正して修正後の原言語句が長い句と一致するようにし、次いで修正後の原言語句に従って、最も類似した対訳句対における目的言語句の中の対応する語を修正する。
【００９７】
さらに、フレーズファジーマッチング部６２は本実施形態における用例ベースの機械翻訳方法に基づいて実装されているが、これに限定されていないことに注意すべきである。また、他の実施形態ではフレーズファジーマッチング部は現在知られているか、または将来知り得る翻訳手法の使用により実装することができる。
【００９８】
本実施形態に係るフレーズベースの統計的機械翻訳システムの詳細は、上記の通りである。フレーズベースの統計的機械翻訳システム６０及びその構成要素については、特別に設計された回路あるいはチップに実装するか、あるいは対応するプログラムを実行するコンピュータ（プロセッサ）によって実現することができる。
【００９９】
本発明のフレーズベースの統計的機械翻訳方法及びシステムについて、いくつかの典型的な実施形態に従って詳細に説明したが、これらの実施形態は網羅的でなく、当業者は本発明の精神及び範囲内で様々な変形及び修正を行ってもよい。従って、本発明はこれらの実施形態に限定されるものでなく、本発明の範囲は専ら特許請求の範囲によって定義される。
【技術分野】
【０００１】
本発明は、情報処理技術、特にフレーズベースの統計的機械翻訳方法及びシステムに関する。
【背景技術】
【０００２】
機械翻訳技術は、主として規則ベースの機械翻訳技術とコーパスベースの機械翻訳技術に分類される。
【０００３】
コーパスベースの機械翻訳技術においては、主な翻訳リソースはコーパスレポジトリによってもたらされる。コーパスベースの機械翻訳技術は、さらに用例ベースの機械翻訳技術と統計ベースの機械翻訳技術に分類される。統計ベースの機械翻訳技術において、フレーズベースの統計的機械翻訳（ＳＭＴ）方法は主な自動機械翻訳方法の一つである。
【０００４】
フレーズベースの統計的機械翻訳方法において、基本翻訳単位は句（フレーズ）であり、使用される翻訳知識はコーパスレポジトリの並列対訳コーパスから得られるフレーズテーブルと言語モデルとからなる。フレーズテーブルは、並列対訳コーパスにおける対訳句対からなる。ここに、句はいくつかの連続した語（ワード）として定義される。
【０００５】
従来のフレーズベースの統計的機械翻訳プロセス（非特許文献１参照）は、主に以下のステップを含む。最初に、厳密なマッチング法(exactly matching method)を用いてフレーズテーブルを検索し、入力文に対応する、完全に一致した対訳句対を全て検出する。次に、対訳句対と言語モデルに基づいて、目的言語における翻訳フラグメントの全ての組合せを入力文について検出する。そして、統計的手法を用いることにより、全ての組合せの中から最もスコアの高い翻訳フラグメントを入力文の正しい目的言語翻訳文として選択する
図１は、上記のプロセスを実装した従来のフレーズベースの統計的機械翻訳システムのブロック図を示している。図１に示すように、システム１０は主として入力部１１、検索部１２、翻訳文生成部１３、出力部１４、フレーズテーブル記憶部１５及び言語モデル記憶部１６その他を含む。
【０００６】
入力部１１は、システム１０と外部とのインタフェースであり、システム１０は外部から入力部１１を介して翻訳すべき入力文を取得する。
【０００７】
検索部１２は、厳密なフレーズマッチング(phrase exactly matching：フレーズイグザクトリマッチング)を行う。具体的には、検索部１２は厳密なフレーズマッチングを用いてフレーズテーブル記憶部１５に記憶されているフレーズテーブルから入力文に対応する完全に一致した全ての対訳句対を検索する。
【０００８】
さらに、翻訳文生成部１３は入力文の正しい目的言語翻訳文を生成する。具体的には、翻訳文生成部１３は検索部１２によって検索された対訳句対と言語モデル記憶部１６に記憶された言語モデルに基づいて入力文についての全ての目的言語翻訳文を検出し、統計モデルを用いて可能な全ての翻訳文から最もスコアの高い一つを入力文の正しい目的言語翻訳文として選択する。
【０００９】
翻訳文生成部１３によって生成された目的言語翻訳文は、出力部１４を介して出力される。
【００１０】
図２は、図１のシステムによって行われる機械翻訳例を示している。この例では、
【数１】
【００１１】
という入力文について、図１のシステムは厳密なフレーズマッチング技術によって入力文に対応する以下の完全に一致した４つの対訳句対（中国語−英語句対）をフレーズテーブルから検出する。
【数２】
【００１２】
さらに、システムは当該４つの対訳句対に基づき、統計モデルを用いて“I found the end of her story very exciting”という最終的な翻訳文を得る。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Philipp Koehn, Franz Josef Och, Daniel Marcu: "Statistical Phrase-Based Translation", Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology (HLT-NAACL 2003), (1), page 48-54, 2003.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上記のように従来のフレーズベースの統計的機械翻訳システムでは、厳密なマッチング手法を用いて、翻訳すべき入力文に関して、完全に一致した対訳句対をフレーズテーブルから検索して入力文の翻訳文を得る。厳密なフレーズマッチング手法の条件は、対応する２つの句が完全に同じでなければならないということである。しかしながら、予め構築されたコーパスレポジトリ内の並列対訳コーパスのサイズは一般に制限されており、長い句をカバーすることができない。このため、翻訳すべき入力文における長い句については、厳密なマッチング手法の使用によってフレーズテーブルの中に完全に一致した対訳句対を見つけ出すことは非常に難しい。従って、翻訳の過程では長い句をいくつかの短い句へ分割して一つずつマッチングをとればよい。しかしながら、長い句が短い句より多くの文脈情報を含んでいることから、入力文について短い句のマッチングに基づいて生成される目的言語の翻訳文の質は、長い句のマッチングに基づいて生成されるそれより通常低い。
【課題を解決するための手段】
【００１５】
本発明の一態様によれば、入力文中の句について予め構築されたフレーズテーブルにおいてファジーマッチングを行うステップを具備するフレーズベースの統計的機械翻訳方法を提供する。
【００１６】
本発明の別の態様によれば、入力文中の句について予め構築されたフレーズテーブルにおいてファジーマッチングを行うように構成されたフレーズファジーマッチング部を具備するフレーズベースの統計的機械翻訳システムを提供する。
【図面の簡単な説明】
【００１７】
【図１】従来のフレーズベースの統計的機械翻訳システムのブロック図；
【図２】図１のシステムの機械翻訳例を示す図；
【図３】本発明の一実施形態に係るフレーズベースの統計的機械翻訳方法のフローチャート；
【図４】本発明の一実施形態に係る図３の方法のフレーズファジーマッチングプロセスの詳細を示すフローチャート；
【図５】図３及び図４の方法を用いた機械翻訳例を示す図；
【図６】本発明の一実施形態に係るフレーズベースの統計的機械翻訳システムのブロック図；
【図７】本発明の一実施形態に係る図６のシステムにおけるフレーズファジーマッチング部のブロック図。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の好ましい実施形態を詳細に説明する。
【００１９】
図３は、本発明の一実施形態に係るフレーズベースの統計的機械翻訳方法のフローチャートである。
【００２０】
図３に示すように、まずステップ３０６において翻訳すべき入力文を取得する。
【００２１】
ステップ３１０において、フレーズファジーマッチングを行う。
【００２２】
具体的には、ステップ３１０では予め構築されたフレーズテーブルからフレーズファジーマッチング手法を用いて入力文における各句について同一または最も類似した対訳句対を検索する。そして、最も類似した対訳句対について修正を行うことにより、各句の正確な翻訳文を得る。
【００２３】
ステップ３１５において、入力文についての目的言語翻訳文を生成する。具体的には、ステップ３１０において得られた対訳句対と予め構築された言語モデルに基づいて、入力文についての目的言語の全ての翻訳文を検出する。そして、統計モデルを用いて最も高いスコアの翻訳文を入力文の正しい目的言語翻訳文として選択する。
【００２４】
ステップ３２０において、生成された目的言語翻訳文を出力する。
【００２５】
以下、ステップ３１０の処理について詳細に説明する。図４は、本発明の一実施形態に係る図３の方法におけるステップ３１０のフレーズファジーマッチングプロセスの詳細なフローチャートである。図５は、図３及び図４の方法を用いた機械翻訳例を示している。
【００２６】
本実施形態では、用例ベースの機械翻訳（ＥＢＭＴ）の考え方に従ってフレーズファジーマッチングを実行する。ＥＢＭＴ法の主なプロセスは、以下の通りである。最初に、例文レポジトリから入力文に類似した例文を検索する。次に、類似した例文と入力文との差分を認識する。最後に、類似した例文における前記の差分を翻訳モデルに基づいて除去し、それにより入力文の翻訳文を生成する。ＥＢＭＴ法については、Harold Somers, “Review Article: Example-based Machine Translation”, 1999, Machine Translation, 14(2): 113-157.で詳しく述べられている。
【００２７】
図４中に示したように、本実施形態のフレーズファジーマッチングプロセスでは、まずステップ４０１において句の検索を行い、予め構築されたフレーズテーブル内の同一または最も類似した対訳句対を検索する。
【００２８】
例えば、図５を参照すると、フレーズテーブルから長い句：
【数３】
【００２９】
に対して同一または最も類似した対訳句対を検索するプロセスにおいては、句：
【数４】
【００３０】
について完全に一致した対訳句対：
【数５】
【００３１】
が見つかり、句：
【数６】
【００３２】
について最も類似した対訳句対：
【数７】
【００３３】
が見つかり、また句：
【数８】
【００３４】
について完全に一致した対訳句対：
【数９】
【００３５】
が見つかる。
【数１０】
【００３６】
のような、フレーズテーブル内で完全に一致した対訳句対を持たない句について、最も類似した対訳句対を検索するプロセスは、以下の通りである。まず、長い句の中にほとんど同一の語を含む複数の類似した候補対訳句対をフレーズテーブルから検出する。そして、次に複数の類似した候補対訳句対の各々について、長い句との間の編集距離を計算する。ここで、編集距離は、類似した候補対訳句対中の原言語句から長い句への変換に必要な挿入、削除及び置換の操作の回数である。そして、最後に長い句から最も編集距離の短い類似した候補対訳句対をほとんど同一の候補対訳句対として選択する。
【００３７】
例えば、図５を参照すると、長い句：
【数１１】
【００３８】
に対して、複数の類似した候補対訳句対：
【数１２】
【００３９】
がフレーズテーブルから検出される。
【００４０】
この場合、候補対訳句対(S1),(S2)及び(S3)について、長い句：
【数１３】
【００４１】
【数１４】
【００４２】
【数１５】
【００４３】
という２つの操作を実行する必要がある。（S2)と長い句との間の編集距離も２であり、すなわち(S2)の原言語句においては
【数１６】
【００４４】
【数１７】
【００４５】
という２つの操作を実行する必要がある。（S3)と長い句との間の編集距離は１、すなわち(S3)の原言語句においては
【数１８】
【００４６】
という一つの操作のみを実行すればよい。
【００４７】
従って、長い句：
【数１９】
【００４８】
からの編集距離が最も短い対訳句対：
【数２０】
【００４９】
を長い句について最も類似した対訳句対として得ることができる。
【００５０】
ステップ４１５においては、完全に一致した対訳句対は見つからないが、最も類似した対訳句対が見つかる、入力文中の長い句の各々について、見つけられた最も類似した対訳句対と長い句との差分を認識する。すなわち、最も類似した対訳句対中の原言語句と長い句との間で異なる語を認識する。
【００５１】
具体的には、ステップ４１５において最も類似した対訳句対における原言語句の中の語が、長い句の中の語と同一かどうかを判断するために、下記の方法のうちの１つを特定の状況によって使用すればよい。
【００５２】
１）最も類似した対訳句対中の原言語句と長い句とを語単位で互いに直接比較して、語が一致しているかどうかを確認する。
【００５３】
２）もし長い句が英語であれば、最も類似した対訳句対中の原言語句と長い句との語の基底形を互いに比較して、語の基底形が一致しているかどうかを確認する。
【００５４】
３）類義語辞書を使用することによって、最も類似した対訳句対中の原言語句と長い句との間の異なる語が同じ意味を示すかどうかを調べる。
【００５５】
例として、例えば図５の例の長い句：
【数２１】
【００５６】
について見つかる最も類似した対訳句対が
【数２２】
【００５７】
であれば、そこに長い句の中の
【数２３】
【００５８】
と異なる語
【数２４】
【００５９】
が文字通り存在する。もし、それが同義語辞書で定義されるなら、
【数２５】
【００６０】
は同義語に属する。その結果、
【数２６】
【００６１】
は同じ意味を表し、異なる部分とは見なされない。
【００６２】
４）翻訳辞書を使用することによって、最も類似した対訳句対中の原言語句と長い句との間で異なる語が同じ意味を示すかどうかを調べる。
【００６３】
同様に、例えば図５の例の長い句：
【数２７】
【００６４】
において見つかる最も類似した対訳句対が
【数２８】
【００６５】
であり、さらに翻訳辞書中に“story”または “novel”と翻訳される
【数２９】
【００６６】
及び“novel”と翻訳される
【数３０】
【００６７】
が見つかれば、
【数３１】
【００６８】
は同じ意味を持つと見なされ、異なる部分とは見なされない。
【００６９】
ステップ４２０においては、完全に一致した対訳句対は見つからないが、最も類似した対訳句対が見つかる、入力文中の長い句の各々について、見つけられた最も類似した対訳句対と長い句との差分を修正し、長い句の目的言語翻訳文を得る。
【００７０】
すなわち、長い句の語に対して最も類似した対訳句対中の異なる語を修正する。具体的には、最も類似した対訳句対中の原言語句において長い句の語に対して異なる意味を持っている語をまず修正する。その結果、修正後の原言語句は長い句と一致する。次に、最も類似した対訳句対中の目的言語句の中の対応する語を修正する。これにより、長い句の目的言語翻訳文を得る。
【００７１】
例えば、図５の例では最も類似した対訳句対：
【数３２】
【００７２】
が長い句：
【数３３】
【００７３】
に対して見つかり、最も類似した対訳句対と長い句との差分は、最も類似した対訳句対に無い語：
【数３４】
【００７４】
であるため、まず
【数３５】
【００７５】
を(S3)の原言語句中の語：
【数３６】
【００７６】
の前に挿入する。この結果、修正後の原言語句は長い句に一致する。次に、辞書を調べて
【数３７】
【００７７】
を取得し、これに基づいて(S3)の目的言語句中の対応する語を修正後の原言語句に従って修正する。例えば、目的言語句中の２番目の“the”を“her”に置き換え、これにより長い句の正しい目的言語翻訳文 “the end of her story”が得られる。
【００７８】
その結果、図５を参照すると、入力文：
【数３８】
【００７９】
について、フレーズファジーマッチングを介して得られる以下の対訳句対：
【数３９】
【００８０】
に基づき、統計モデルを用いて入力文に関して最もスコアの高い最終的な目的言語翻訳文 “I found the end of her story very exciting” (“I found the end of her story very exciting.”の意味)が得られる。
【００８１】
本実施形態のフレーズベースの統計的機械翻訳方法の詳細は、上記の通りである。本実施形態では、句についてファジーマッチングを行うことによって、入力文中の長い句についての高品質の翻訳文を生成し、それにより長い句に基づく入力文の翻訳を実行することができ、もって厳密なフレーズマッチングに基づいた翻訳システムにおける翻訳の質を効果的に高めることができる。さらに、この効果は図２の例における厳密なフレーズマッチングに基づいて得られる翻訳文と、図５の本実施形態に従うフレーズファジーマッチングに基づいて得られる翻訳文との比較に見ることができ、フレーズファジーマッチングに基づいて得られる翻訳文は、厳密なフレーズマッチングに基づいて得られる翻訳文より明らかに優れている。
【００８２】
さらに、図４のプロセスにおいては図３のステップ３１０のフレーズファジーマッチング過程を実行するために、用例ベースの機械翻訳方法が使用されているが、これに限定されないことに注意すべきである。また、他の実施形態ではフレーズファジーマッチングを現在知られているか、または将来知り得る翻訳手法の使用により実行することができる。
【００８３】
本発明は、同じ発明概念の下でフレーズベースの統計的機械翻訳システムを提供する。以下、図面を参照して説明する。
【００８４】
図６は、本発明の一実施形態に係るフレーズベースの統計的機械翻訳システムのブロック図である。図６に示されるように、本実施形態のフレーズベースの統計的機械翻訳システム６０は、入力部６１、フレーズファジーマッチング部６２、翻訳文生成部６３、出力部６４、フレーズテーブル記憶部６５及び言語モデル記憶部６６を含む。
【００８５】
入力部６１は、システム６０と外部とのインタフェースであり、システム６０は外部から入力部６１を介して翻訳すべき入力文を取得する。
【００８６】
フレーズファジーマッチング部６２は、フレーズテーブル記憶部６５に記憶された予め構築されたフレーズテーブル中の入力文の句についてファジーマッチングを行い、句についての目的言語翻訳文を検出する。
【００８７】
翻訳文生成部６３は、フレーズファジーマッチング部６２のマッチング結果と言語モデル記憶部６６に格納された、予め構築された言語モデルに基づいて、入力文についての目的言語の可能な全ての翻訳文を検出し、統計モデルを使用してそれらのうち最もスコアの高い一つを入力文の正しい目的言語翻訳文として選択する。
【００８８】
さらに、翻訳文生成部６３によって生成された目的言語翻訳文は、出力部６４を介して出力される。
【００８９】
以下、フレーズファジーマッチング部６２の詳細について説明する。図７は、本発明の一実施形態に係るフレーズファジーマッチング部のブロック図である。フレーズファジーマッチング部６２は、用例ベースの機械翻訳方法に基づいて実装される。
【００９０】
具体的には、本実施形態のフレーズファジーマッチング部６２は、図７に示されるように対訳句検索部６２２、差分認識部６２３及び修正部６２４を含む。
【００９１】
対訳句検索部６２２は、フレーズテーブル記憶部６５に記憶されたフレーズテーブルから、入力文従って同一または最も類似した対訳句対を検索する。
【００９２】
特に、同一でない対訳句対が見つかる長い句の各々において、対訳句対検索部６２２はほとんど同一の語を長い句に含む複数の最も類似した候補対訳句対を検出し、また複数の類似した候補対訳句対の各々について長い句との間の編集距離を計算する。ここで、編集距離は類似した候補対訳句対中の原言語句から長い句への変換に必要な挿入、削除及び置換の操作の回数である。そして、最も編集距離の短い類似した候補対訳句対をほとんど同一の候補対訳句対として長い句から選択する。
【００９３】
差分認識部６２３は、複数の長い句のうち最も類似した対訳句対が見つかる長い句の各々について、最も類似した対訳句対と長い句との差分を認識する。すなわち、最も類似した対訳句対中の原言語句と長い句との間の異なる意味を持つ語を認識する。
【００９４】
具体的には、差分認識部６２３は複数の長い句のうち最も類似した対訳句対が見つかる長い句の各々について、最も類似した対訳句対中の原言語句と長い句との間で異なる意味を持つ語を直接あるいは類義語辞書／翻訳辞書の使用によって認識する。
【００９５】
修正部６２４は、複数の長い句のうち最も類似した対訳句対が見つかる長い句の各々について、長い句に対する最も類似した対訳句対の差分を修正して、長い句の目的言語翻訳文を得る。
【００９６】
具体的には、修正部６２４は複数の長い句のうち最も類似した対訳句対が見つかる長い句の各々について、最も類似した対訳句対中の原言語句のうち長い句の語に対して異なる意味を持っている語を修正して修正後の原言語句が長い句と一致するようにし、次いで修正後の原言語句に従って、最も類似した対訳句対における目的言語句の中の対応する語を修正する。
【００９７】
さらに、フレーズファジーマッチング部６２は本実施形態における用例ベースの機械翻訳方法に基づいて実装されているが、これに限定されていないことに注意すべきである。また、他の実施形態ではフレーズファジーマッチング部は現在知られているか、または将来知り得る翻訳手法の使用により実装することができる。
【００９８】
本実施形態に係るフレーズベースの統計的機械翻訳システムの詳細は、上記の通りである。フレーズベースの統計的機械翻訳システム６０及びその構成要素については、特別に設計された回路あるいはチップに実装するか、あるいは対応するプログラムを実行するコンピュータ（プロセッサ）によって実現することができる。
【００９９】
本発明のフレーズベースの統計的機械翻訳方法及びシステムについて、いくつかの典型的な実施形態に従って詳細に説明したが、これらの実施形態は網羅的でなく、当業者は本発明の精神及び範囲内で様々な変形及び修正を行ってもよい。従って、本発明はこれらの実施形態に限定されるものでなく、本発明の範囲は専ら特許請求の範囲によって定義される。
【特許請求の範囲】
【請求項１】
入力文中の句に対して予め構築されたフレーズテーブルによりファジーマッチングを行うステップを具備することを特徴とするフレーズベースの統計的機械翻訳方法。
【請求項２】
前記ファジーマッチングを行うステップは、用例ベースの機械翻訳方法を用いて前記入力文中の句に対して前記予め構築されたフレーズテーブルによりファジーマッチングを行うステップを更に具備することを特徴とする請求項１に記載の方法。
【請求項３】
前記ファジーマッチングを行うステップは、
前記入力文に従って同一または最も類似した対訳句対を前記フレーズテーブルから検索するステップと、
前記複数の長い句のうち前記最も類似した対訳句対が見つかる長い句の各々に対して前記最も類似した対訳句対と前記長い句との差分を認識するステップと、
前記複数の長い句のうち最も前記類似した対訳句対が見つかる長い句の各々に対して前記最も類似した対訳句対に対する前記長い句の前記差分を修正して前記長い句の目的言語翻訳文を得るステップと、
を更に具備することを特徴とする請求項１または２のいずれか１項に記載の方法。
【請求項４】
前記長い句の各々に対して同一または最も類似した対訳句対を前記フレーズテーブルから検索するステップは、
前記複数の長い句のうち同一でない対訳句対が見つかる長い句の各々に対して前記フレーズテーブルから複数の類似した候補対訳句対を検出するステップと、
前記複数の類似した候補対訳句対の各々に対して、前記類似した候補対訳句対中の原言語句から前記長い句への変換に必要な挿入、削除及び置換の操作の回数である、前記長い句との間の編集距離を計算するステップと、
前記複数の類似した候補対訳句対中の長い句から、最も編集距離の短い類似した候補対訳句対を前記長い句の最も類似した対訳句対として選択するステップと、を更に具備することを特徴とする請求項３に記載の方法。
【請求項５】
前記最も類似した対訳句対と前記長い句との差分を認識するステップは、
前記最も類似した対訳句対における原言語句と前記長い句との間の意味の異なる語を直接または類義語辞書／翻訳辞書を用いて認識するステップを更に具備することを特徴とする請求項３に記載の方法。
【請求項６】
前記最も類似した対訳句対に対する前記長い句の前記差分を修正するステップは、
前記最も類似した対訳句対における原言語句と前記長い句との間の意味の異なる語を修正後の原言語句が前記長い句と一致するように修正するステップと、
前記修正後の原言語句に従って前記最も類似した対訳句対における目的言語句中の対応する語を修正するステップと、を更に具備することを特徴とする請求項５に記載の方法。
【請求項７】
前記入力文中の句についての前記ファジーマッチングの結果と予め構築された言語モデルとに基づき、統計モデルを用いて前記入力文について最も高いスコアを持つ目的言語翻訳文を生成するステップを更に具備することを特徴とする請求項１に記載の方法。
【請求項８】
入力文中の句について予め構築されたフレーズテーブルによりファジーマッチングを行うように構成されたフレーズファジーマッチング部を具備することを特徴とするフレーズベースの統計的機械翻訳システム。
【請求項１】
入力文中の句に対して予め構築されたフレーズテーブルによりファジーマッチングを行うステップを具備することを特徴とするフレーズベースの統計的機械翻訳方法。
【請求項２】
前記ファジーマッチングを行うステップは、用例ベースの機械翻訳方法を用いて前記入力文中の句に対して前記予め構築されたフレーズテーブルによりファジーマッチングを行うステップを更に具備することを特徴とする請求項１に記載の方法。
【請求項３】
前記ファジーマッチングを行うステップは、
前記入力文に従って同一または最も類似した対訳句対を前記フレーズテーブルから検索するステップと、
前記複数の長い句のうち前記最も類似した対訳句対が見つかる長い句の各々に対して前記最も類似した対訳句対と前記長い句との差分を認識するステップと、
前記複数の長い句のうち最も前記類似した対訳句対が見つかる長い句の各々に対して前記最も類似した対訳句対に対する前記長い句の前記差分を修正して前記長い句の目的言語翻訳文を得るステップと、
を更に具備することを特徴とする請求項１または２のいずれか１項に記載の方法。
【請求項４】
前記長い句の各々に対して同一または最も類似した対訳句対を前記フレーズテーブルから検索するステップは、
前記複数の長い句のうち同一でない対訳句対が見つかる長い句の各々に対して前記フレーズテーブルから複数の類似した候補対訳句対を検出するステップと、
前記複数の類似した候補対訳句対の各々に対して、前記類似した候補対訳句対中の原言語句から前記長い句への変換に必要な挿入、削除及び置換の操作の回数である、前記長い句との間の編集距離を計算するステップと、
前記複数の類似した候補対訳句対中の長い句から、最も編集距離の短い類似した候補対訳句対を前記長い句の最も類似した対訳句対として選択するステップと、を更に具備することを特徴とする請求項３に記載の方法。
【請求項５】
前記最も類似した対訳句対と前記長い句との差分を認識するステップは、
前記最も類似した対訳句対における原言語句と前記長い句との間の意味の異なる語を直接または類義語辞書／翻訳辞書を用いて認識するステップを更に具備することを特徴とする請求項３に記載の方法。
【請求項６】
前記最も類似した対訳句対に対する前記長い句の前記差分を修正するステップは、
前記最も類似した対訳句対における原言語句と前記長い句との間の意味の異なる語を修正後の原言語句が前記長い句と一致するように修正するステップと、
前記修正後の原言語句に従って前記最も類似した対訳句対における目的言語句中の対応する語を修正するステップと、を更に具備することを特徴とする請求項５に記載の方法。
【請求項７】
前記入力文中の句についての前記ファジーマッチングの結果と予め構築された言語モデルとに基づき、統計モデルを用いて前記入力文について最も高いスコアを持つ目的言語翻訳文を生成するステップを更に具備することを特徴とする請求項１に記載の方法。
【請求項８】
入力文中の句について予め構築されたフレーズテーブルによりファジーマッチングを行うように構成されたフレーズファジーマッチング部を具備することを特徴とするフレーズベースの統計的機械翻訳システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−６１６４５（Ｐ２０１０−６１６４５Ａ）
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願番号】特願２００９−１７４６１７（Ｐ２００９−１７４６１７）
【出願日】平成２１年７月２７日（２００９．７．２７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願日】平成２１年７月２７日（２００９．７．２７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]