統計機械翻訳装置および統計機械翻訳プログラム
【課題】 対訳フレーズを利用した統計機械翻訳装置において、より高い精度で翻訳を行うことができる装置を提供する。
【解決手段】 日英機械翻訳のデコーダ４２は、日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、英語言語モデル６０、および英語から日本語へのフレーズ翻訳モデル６８と、日本語の入力文４０に対し可能な全てのセグメンテーションを行なうセグメンテーション処理部８０と、得られたセグメンテーションにしたがい、モデル６８、５６、５８および６０を用い、英語のフレーズを任意の順序で確率付きで並べたフレーズシーケンスを表すラッティスを作成するラッティス作成部８４と、ラッティス作成部８４が作成したラッティスのうちで最も確率の高い上位Ｍ個の経路を探索して出力するＡ＊探索処理部８８とを含む。
【解決手段】 日英機械翻訳のデコーダ４２は、日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、英語言語モデル６０、および英語から日本語へのフレーズ翻訳モデル６８と、日本語の入力文４０に対し可能な全てのセグメンテーションを行なうセグメンテーション処理部８０と、得られたセグメンテーションにしたがい、モデル６８、５６、５８および６０を用い、英語のフレーズを任意の順序で確率付きで並べたフレーズシーケンスを表すラッティスを作成するラッティス作成部８４と、ラッティス作成部８４が作成したラッティスのうちで最も確率の高い上位Ｍ個の経路を探索して出力するＡ＊探索処理部８８とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は機械翻訳装置に関し、特に、統計機械翻訳において対訳コーパス中に現れるフレーズの対訳を生かしながら効率的に翻訳を行なう機械翻訳装置に関する。なお、本明細書において「フレーズ」とは、１または連続する複数の単語のまとまり（単語列）のことをいう。
【背景技術】
【０００２】
機械翻訳を統計的に行なう立場では、非特許文献１において提案されているように、翻訳のソース言語の文ｆを、ターゲット言語ｅの文に翻訳するという問題は、次の最大化問題として定式化される。
【０００３】
【数１】
この問題に関し、雑音を含む通信路モデルを適用すると次の式が得られる。
【０００４】
【数２】
統計機械翻訳においてフレーズを用いた手法を試みた文献として、式（２）の第１番目の因子Ｐ（ｆ｜ｅ）を、さらに制約を課した一連のフレーズの翻訳を掛合わせたもので近似しているものがある（非特許文献２、３、４）。
【０００５】
【数３】
ただし/ｆi（本明細書では、符号の直前の「/」は、直後の符号の直上に記載されるべき上線をあらわすものとする。）は、文ｆに対するフレーズセグメンテーション（フレーズ分割）がされたフレーズセグメンテーション後の文/ｆのｉ番目のフレーズのことをいい、ａiはフレーズセグメンテーションされたテキストのｉ番目のフレーズアライメントのことをいう。
【非特許文献１】Ｐ．Ｆ．ブラウン他、「機械翻訳に対する統計的アプローチ」、計算機言語学、第１６巻、第２号、ｐｐ．７９−８５、１９９０年（P. F. Brown et al., "A statistical approach to machine translation," Computational Linguistics, vol. 16, no. 2, pp. 79-85, 1990.）
【非特許文献２】Ｐ．ケーン他、「フレーズによる統計翻訳」、ＨＬＴ−ＮＡＡＣＬ２００３予稿集、ｐｐ．４８−５４、２００３年（P. Koehn et al., "Statistical phrase-based translation," in Proc. of HLT-NAACL 2003, pp. 48-54 2003.)
【非特許文献３】Ｓ．フォーゲル他、「ｃｍｕ統計翻訳システム」、ＭＴサミットＩＸ予稿集、ｐｐ．４０２−４０９、２００３年（S. Vogel et al., "The cmu statistical translation system," in Proceedings of MT Summit IX, pp. 402-409, 2003.）
【非特許文献４】Ｃ．ティルマン、「統計機械翻訳のための射影拡張アルゴリズム」、自然言語処理における経験法２００３年大会予稿集、ｐｐ．１−８、２００３年（C. Tillmann, "A projection extension algorithm for statistical machine translation," in Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing, pp. 1-8, 2003.）
【非特許文献５】Ｈ．ダウメ ＩＩＩ他、「文書／要約アライメントのためのフレーズによるｈｍｍアプローチ」、ＥＭＮＬＰ２００４予稿集、ｐｐ．１１９−１２６、２００４年（H. Daume III et al., "A phrase-based hmm approach to document/abstract alignment," in Proceedings of EMNLP 2004, pp. 119-126, 2004.）
【非特許文献６】Ａ．Ｐ．デンプスター他、「不完全なデータからのｅｍアルゴリズムによる最大尤度」、王室統計学会ジャーナル、第Ｂ巻、第３９号、ｐｐ．１−３８、１９７７年（A. P. Dempster et al., "Maximum likelihood from incomplete data via the em algorithm," Journal of the Royal Statistical Society, vol. B, no. 39, pp. 1-38, 1977.）
【非特許文献７】Ｆ．Ｊ．オク他、「さまざまな統計的アライメントモデルの系統的比較」、コンピュータ言語学、第２９巻、第１号、ｐｐ．１９−５１、２００３年（F. J. Och et al. "A systematic comparison of various statistical alignment models," Computational Linguistics, vol. 29, no. 1, pp. 19-51, 2003）
【非特許文献８】Ｆ．Ｊ．オク他、「統計機械翻訳のための弁別トレーニングおよび最大エントロピーモデル」、ＡＣＬ２００２予稿集、ｐｐ．２９５−３０２、２００２年（F. J. Och et al., "Discriminative training and maximum entropy models for statistical machine translation," in Proc. of ACL 2002, pp. 295-302, 2002.）
【非特許文献９】Ｆ．Ｊ．オク、「統計機械翻訳における最小誤差率学習」、ＡＣＬ２００３予稿集、ｐｐ．１６０−１６７、２００３年（F. J. Och, "Minimum error rate training in statistical machine translation," in Proc. of ACL 2003, pp. 160-167, 2003.）
【非特許文献１０】Ｗ．Ｈ．プレス他、「Ｃ＋＋の数値的レシピ」、ケンブリッジ大学出版会、２００２年（W. H. Press et al., "Numerical Recipes in C++," Cambridge University Press, 2002.）
【非特許文献１１】Ｎ．ユッフィインク他、「統計機械翻訳における単語グラフの生成」、自然言語処理における経験法大会（ＥＭＮＬＰ０２）予稿集、ｐｐ．１５６−１６３、２００２年（N. Ueffing et al., "Generation of word graphs in statistical machine translation," in Proc. of Conference on Empirical Methods for Natural Language Processing (EMNLP02), pp. 156-163, 2002.）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来の手法では、フレーズの翻訳対を求める際の方法が単純であって、式（３）にしたがってＰ（/ｆi｜/ｅai）を推定しても、例えばフレーズの相互関係などについての条件が含まれていないため、翻訳の精度が低くなるという問題がある。
【０００７】
それゆえに本発明の目的は、対訳フレーズを利用した統計機械翻訳装置において、より高い精度で翻訳を行なうことができる機械翻訳装置を提供することである。
【０００８】
本発明の他の目的は、対訳フレーズを利用した統計機械翻訳装置において、フレーズのセグメンテーションの推定とフレーズの対訳との推定を連携させて行なうことにより、より高い精度で翻訳を行なうことができる機械翻訳装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の局面に係る機械翻訳装置は、ソース言語の入力文をターゲット言語に翻訳する翻訳装置であって、ソース言語のフレーズＮグラムモデル、ターゲット言語のフレーズＮグラムモデルおよび所定の言語モデル、およびターゲット言語からソース言語へのフレーズによる翻訳モデルを記憶するための記憶手段と、ソース言語の入力文に対するセグメンテーションを行なうためのセグメンテーション手段と、セグメンテーション手段により得られたセグメンテーションにしたがい、記憶手段に記憶されたソース言語のフレーズＮグラムモデル、ターゲット言語のフレーズＮグラムモデルおよび言語モデル、ならびにターゲット言語からソース言語へのフレーズによる翻訳モデルを用いて、ターゲット言語のフレーズを任意の順序で、かつソース言語のフレーズＮグラムモデル、ターゲット言語のフレーズＮグラムモデルおよび言語モデル、ならびにフレーズによる翻訳モデルを用いて得た確率を各ノードとエッジとに付して並べた、フレーズのラッティスを作成するためのラッティス作成手段と、ラッティス作成手段により作成されたラッティスのうちで、最大確率を与える上位Ｍ個のフレーズシーケンスを探索するための探索手段とを含む。
【００１０】
フレーズによる翻訳モデルという、従来にない概念を用い、ソース言語の入力文が与えられると、当該入力文に対する翻訳である確率が統計的に最も高い上位Ｍ個の翻訳文を出力することができる。単語レベルのみではなく、フレーズレベルでの確率をも用いるため、入力文と翻訳文との間のフレーズの対応関係を直接的に用い、精度の高い翻訳を行なうことができる。
【００１１】
好ましくは、探索手段は、ラッティス作成手段により作成されたラッティスのうちで、最大確率を与える上位Ｍ個のフレーズシーケンスをＡ＊探索アルゴリズムにより探索するための手段を含む。
【００１２】
さらに好ましくは、ラッティス作成手段は、所定の確率条件を充足するノードのみを用いてラッティスを作成するための手段を含む。
【００１３】
フレーズによる翻訳モデルは、ターゲット言語のフレーズＮグラムモデル、ソース言語によるフレーズセグメンテーションモデル、およびターゲット言語からソース言語へのフレーズ翻訳モデルの組合せにより形成されるようにしてもよい。
【００１４】
本発明の第２の局面に係る統計機械翻訳プログラムは、コンピュータにより実行されると、上記したいずれかの機械翻訳装置として当該コンピュータを動作させる統計機械翻訳プログラムである。
【発明を実施するための最良の形態】
【００１５】
［基本的概念］
従来の技術では、翻訳対を求める方法と、式（３）におけるＰ（/ｆi｜/ｅai）の推定とが別の問題となっており、そのために精度の向上が望めないという問題があったと考えられる。本実施の形態では、以下のような思想に基づいてフレーズを用いた機械翻訳を行なう。すなわち、従来の技術で用いられていた式（３）に代えて、新たに/ｆおよび/ｅという変数を導入し、次の式（４）によってＰ（ｆ｜ｅ）を算出することにより、フレーズ翻訳に相当する関係を直接的に翻訳に反映させる。
【００１６】
【数４】
ただし/ｆは入力文ｆのセグメンテーションを表し、/ｅはターゲット文ｅのセグメンテーションを表す。
【００１７】
式（４）において、Ｐ（ｆ，/ｆ，/ｅ｜ｅ）はさらに３つの項に分解される。
【００１８】
【数５】
式（５）の第１項はセグメンテーションされた入力文/ｆが再構成により入力文ｆとなる確率を表す。第２項は/ｅと/ｆという二つのフレーズシーケンスに対する翻訳確率を表す。最後の項は、フレーズセグメンテーションされた文/ｅが文ｅから生成される尤度を示す。本明細書では、これらの項をそれぞれフレーズセグメンテーションモデル、フレーズ翻訳モデル，およびフレーズＮグラムモデルと呼ぶ。以下、これらにつき個別に説明する。
【００１９】
−フレーズＮグラムモデル−
フレーズＮグラムモデルは以下のように近似できる。
【００２０】
【数６】
式（６）において、Ｐ（/ｅi｜/ｅi-1）は、互いに隣接する、翻訳されたフレーズに関するバイグラム制約として取扱う。
【００２１】
フレーズＮグラムモデルは、文ｅに対し可能な全てのフレーズセグメンテーションを、図１に示すようなラッティス構造/Ｅに広げることで、前向き・後向きアルゴリズムを使用して容易に算出できる。図１に示すように、このラッティス内の各ノードは文ｅ内の特定のフレーズ/Ｅi（ｉ＝１〜６）を表しており、これらノード/Ｅ1〜/Ｅ6はエッジで互いに結ばれている。また各エッジには、当該エッジの前端のノードに対応するフレーズとその後端のノードに対応するフレーズとが連続して生ずる確率が付されている。例えばノード/Ｅiとその直前のノード/Ｅi'とは、確率Ｐ（/Ｅi｜/Ｅi'）が付されたエッジにより結ばれている。図１の例で言えば、ノード/Ｅ2とその直前のノード（図１では/Ｅ1）とを結ぶエッジには確率Ｐ（/Ｅ2｜/Ｅ1）が付されている。
【００２２】
Ｐ（/Ｅi｜/Ｅi'）の値の推定は以下の手順により行なわれる。
【００２３】
１）確率テーブルを何らかの一様な値で初期化する。
【００２４】
２）学習コーパス内の各文ｅに対し、前向き・後向きアルゴリズムを用い、ラッティス内における事後確率Ｐ（/Ｅi，/Ｅi'｜ｅ）を推定する。
【００２５】
３）推定された事後確率を単語の発生頻度として用いて最尤アルゴリズムを用いて事前確率を以下のように算出する。
【００２６】
【数７】
ステップ２および３を所定の終了条件が成立するまで繰返す。終了条件としては、予め定められた繰返し回数を完了したことなどの条件を用いることができる。
【００２７】
−フレーズセグメンテーションモデル−
式（４）に示されたモデル化によると、Ｐ（ｆ｜/ｆ，/ｅ，ｅ）は、フレーズセグメンテーションがされた文/ｆをいかにして並べ替えればソース文ｆが得られるか、を示すディストーション確率とみなすことができる。本実施の形態では、これに代えて、このモデルを特定のフレーズセグメント/ｆjが文ｆ内に生ずる尤度を表すものとみなす。すなわち、
【００２８】
【数８】
このセグメンテーションは、前節に述べたフレーズＮグラムモデルのユニグラム事後確率として実現することができる。このユニグラム事後確率は、文ｆに対するラッティス構造/Ｆを用い、前向き・後向きアルゴリズムを用いて効率的に計算できる。
【００２９】
【数９】
このフレーズセグメンテーションモデルは、ソース文が与えられたときに、あるフレーズに対してある重みを与えるものと考えることができる。仮にフレーズ長を１に限定すると、すなわちどのフレーズも単語を一つしか含まないものとすると、フレーズセグメンテーションの結果は一通りとなる。したがってフレーズセグメンテーションモデルはどのフレーズにも「１」という重みを割当てる。
【００３０】
−フレーズ翻訳モデル−
フレーズ翻訳モデルは、フレーズ翻訳が各フレーズの翻訳の積として得られるように近似したものである。
【００３１】
【数１０】
ただしａiは単語アライメントによる翻訳モデル（例えばＩＢＭ（登録商標）モデル）において見られるようなフレーズアライメントを表す。
【００３２】
フレーズ翻訳モデルの一つの実現形式としては、学習コーパスに現れる全てのフレーム翻訳対を、それらの現れる確率とともにテーブル形式で格納したものが考えられる。
【００３３】
−フレーズによるＨＭＭ統計翻訳−
上記したフレーズＮグラムモデル、フレーズセグメンテーションモデル、およびフレーズ翻訳モデルを全て統合すると、式（４）は次のように書換えることができる。
【００３４】
【数１１】
フレーズセグメンテーションがされた文/ｅと文/ｆとを、それぞれ対応する/Ｅおよび/Ｆというラッティス構造にまで拡張すると、式（１２）は隠れマルコフモデル（ＨＭＭ）と考えることができる。ただしこの場合、図２に示すように、ラッティス/Ｆ内の各ソースフレーズ/Ｆj（ｊ＝１〜６）は、ラッティス/Ｅ内のターゲットフレーズである状態/Ｅi（ｉ＝１〜６）から出力された観測量として扱われる。図２に示す例でいえば、ラッティス/Ｆ内のフレーズ/Ｆ2は、ラッティス/Ｅ中のフレーズ/Ｅ3からの観測量として扱われる。
【００３５】
図２においてラッティス/Ｆにおいて生ずるフレーズ/Ｆ2は、フレーズ/Ｅ3からは確率Ｐ（/Ｆ2｜/Ｅ3）で観測されるということになる。ラッティス/Ｅにおいてフレーズ/Ｅ1の次にフレーズ/Ｅ3が続く確率をＰ（/Ｅ3｜/Ｅ1）、文ｆのセグメンテーションにおいてフレーズ/Ｆ2が生ずる確率をＰ（/Ｆ2|ｆ）とすれば、これらを乗算することで式（１２）のうちｉ＝３、ｊ＝２に相当する項の値が得られる。これをラッティス/Ｅおよびラッティス/Ｆ内の全てのノード（フレーズ）の組合せに対し計算し、合計することで式（４）の値が近似できる。
【００３６】
フレーズによるＨＭＭ構造は、文書と要約との対応を付ける、という問題について、非特許文献５において既に提案されている。非特許文献５に記載の手法では、ジャンプの確率は状態遷移として明確にエンコードされており、その確率は、単語による統計翻訳モデルにおけるアライメント確率にほぼ対応していると言える。ジャンプまたはアライメント確率を明確な形で使用すると、翻訳のモデル化を完全なものにすることができるが、そのかわりにフレーズによるＨＭＭ構造では学習の際に広大なサーチ空間が必要になるという問題がある。
【００３７】
本実施の形態に係る手法では、状態遷移はフレーズＮグラムモデルと、フレーズバイグラムの連結確率とを用いているが、フレーズアライメント確率については無視している。したがって、フレーズによるＨＭＭ翻訳モデルは不完全なモデルということもできる。しかし、その単純さのゆえにパラメータの推定を高速に行なうことができる。
【００３８】
−パラメータ推定−
フレーズによるＨＭＭ翻訳モデルに対するパラメータは、既に説明したように前向き・後向きアルゴリズムを用いて効率的に推定できる。
【００３９】
前向き・後向きアルゴリズムの処理では、二つの補助変数α（ei1i2，ｆj1j2）とβ（ei1i2，ｆj1j2）とを定義する。α（ei1i2、ｆj1j2）は、ｅ1i1-1に存在する全てのフレーズの組合せの出力後にフレーズei1i2がｆj1j2に翻訳される確率の前向き推定値を表す。同様にβ（ei1i2，ｆj1j2）は、ｅi2+1lの右側の全てのフレーズの組合せを考慮したときの、フレーズei1i2がフレーズｆj1j2に翻訳される確率の後向き推定値である。
【００４０】
したがって、前向き・後向きアルゴリズムは、次の漸化式を解くという形に定式化される。
【００４１】
【数１２】
ＥＭアルゴリズムでよく見られるような局所的収束という問題（非特許文献６）を避けるため、本実施の形態では、フレーズによる翻訳モデルの学習にあたって、初期値として非特許文献７に記載のＧＩＺＡ＋＋学習より得られるレキシコンモデルを用いる。さらに、フレーズＮグラムモデルとフレーズセグメンテーションモデルとを単言語コーパスを用いて別々に学習させ、ＨＭＭ学習の繰返し時には固定させておく。
【００４２】
−フレーズセグメントの誘導−
式（１３）および（１４）は、ラッティス構造/Ｅの左側と右側とにおいてそれぞれ全ての可能な経路についての合計という処理と、/Ｆに対し可能な全てのセグメンテーションに関する合計という処理とを含んでいる。この処理は仮にダイナミックプログラミングを使用しても依然として膨大な計算を必要とするので、本実施の形態では、考慮するセグメンテーションを予め限定する。
【００４３】
フレーズ対を導出するにあたってはまず、バイリンガル学習コーパス内において見出し得る全てのバイリンガルフレーズ対について、次の式に示す二つのフレーズ翻訳確率の積を用いる。
【００４４】
【数１３】
ただしｃｏｕｎｔ（/ｅ，/ｆ）は二つのフレーズ/ｅおよび/ｆの共起頻度である。式（１５）の基本的な概念は、２方向の対応関係を見ることにより、バイリンガルのフレーズの対応をとらえる、ということである。
【００４５】
さらに、それ以外のフレーズについては、ＧＩＺＡ＋＋（非特許文献２）により計算したＰ（ｅ｜ｆ）およびＰ（ｆ｜ｅ）という２方向のモデルを用いたビタビ単語アライメントの積集合／和集合に基づき網羅的に導出する。
【００４６】
フレーズ翻訳対の抽出後、それらに対する単言語フレーズレキシコンを抽出し、ソース文およびターゲット文に対する可能なセグメンテーションとして使用する。
【００４７】
−デコーダ−
最良訳を算出するための決定規則は、非特許文献８において示されている、翻訳モデルの全ての構成要素の対数線形和によって行なう。
【００４８】
【数１４】
ただしＰｒj（ｅ，ｆ）は翻訳モデルの構成要素であって、例えばフレーズＮグラムモデルまたは言語モデルなどであり、λjは各モデルに与えられた重みである。重みλjはＩＩＳ（Improved Iterative Scaling）またはＧＩＳ（Generalized Iterative Scaling）アルゴリズムを用いた最尤基準を用いても、滑降シンプレックス法（Downhill Simplex Method：非特許文献９）のように制約なしの最適化アルゴリズムを用いた最小誤差率基準（非特許文献９）を用いてもよい。
【００４９】
デコーダは単語グラフによるデコーダ（非特許文献１１）に類似したものであり、サブモデルの複雑な構造を組込むため、マルチパスでコーディングを行なえるようにしたものである。デコードの最初のパスではビームサーチを用いて入力文に対する翻訳の単語グラフ、すなわちラッティスを生成する。このパスでは、フレーズによるＨＭＭ翻訳モデルのすべてのサブモデルを、ターゲット言語の単語によるトライグラム言語モデルおよびクラス５グラム言語モデルとともに使用する。次のパスでは、この単語グラフに対してＡ＊探索法を用いて翻訳のＮベストパスを探索する。
【００５０】
［構成］
図３に、本実施の形態に係る統計機械翻訳システム２０のブロック図を示す。この統計機械翻訳システム２０は、日本語の文（ｆ）を英語の文（ｅ）に翻訳する日英翻訳装置である。つまり、本実施の形態ではソース言語ｆは日本語、ターゲット言語ｅは英語ということになる。
【００５１】
図３を参照して、統計機械翻訳システム２０は、日本語の単言語コーパス（以下「日本語コーパス」と呼ぶ。）３０と、英語の単言語コーパス（以下「英語コーパス」と呼ぶ。）３４と、日本語および英語の対訳コーパス３２と、日本語コーパス３０、対訳コーパス３２、および英語コーパス３４から日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、英語言語モデル６０、およびフレーズ翻訳モデル６８を作成するためのフレーズによるＨＭＭ翻訳モデル作成部３６と、フレーズによるＨＭＭ翻訳モデル作成部３６により作成された日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、英語言語モデル６０、およびフレーズ翻訳モデル６８を用いて、日本語の入力文４０に対し翻訳を行ない、英語の訳文４４を出力するためのデコーダ（統計機械翻訳装置）４２とを含む。なお図３に示す統計機械翻訳システム２０では、フレーズＮグラムとしてフレーズバイグラムを用いる。また、英語フレーズＮグラムモデル５８と、日本語フレーズＮグラムモデル５６と、フレーズ翻訳モデル６８とは、フレーズによるＨＭＭ翻訳モデル３８を構成する。
【００５２】
フレーズによるＨＭＭ翻訳モデル作成部３６は、日本語コーパス３０から日本語フレーズＮグラムモデル５６を作成するための日本語フレーズＮグラムモデル作成部５０と、英語コーパス３４から英語フレーズＮグラムモデル５８を作成するための英語フレーズＮグラムモデル作成部５２と、英語コーパス３４から英語言語モデル６０を作成するための英語言語モデル作成部５４とを含む。英語言語モデル６０は、図示してはいないが、前述したとおり英語単語トライグラム言語モデルと、英語のクラス５グラム言語モデルとを含む。なおクラスＮグラム言語モデルとは品詞に着目した単語Ｎグラム言語モデルであり、同一の品詞の単語は同じ単語であるとみなして作成したＮグラム言語モデルである。
【００５３】
なお、日本語フレーズＮグラムモデル作成部５０は、日本語フレーズＮグラムモデル５６の作成にあたり、日本語コーパス３０に出現するＮグラムのうち上位の所定個数のみを採用すること、および対訳コーパス３２にフレーズ対として出現する日本語Ｎグラムのみを採用すること、という制約にしたがっている。同様に英語フレーズＮグラムモデル作成部５２は、英語フレーズＮグラムモデル５８の作成にあたって、英語コーパス３４に出現するＮグラムのうち上位の所定個数のみを採用すること、対訳コーパス３２に出現するフレーズ対として出現する英語Ｎグラムのみを採用すること、という制約にしたがっている。
【００５４】
フレーズによるＨＭＭ翻訳モデル作成部３６はさらに、日本語フレーズＮグラムモデル５６に基づき、前述した手法により日本語のフレーズセグメンテーションモデル６６を作成するためのフレーズセグメンテーションモデル作成部６２と、英語フレーズＮグラムモデル５８およびフレーズセグメンテーションモデル６６を用いてフレーズ翻訳モデル６８を構成するＨＭＭのパラメータの推定を行なうＨＭＭ学習部７０とを含む。
【００５５】
一方デコーダ４２は、日本語の入力文４０が与えられると、入力文４０に対して可能な全てのセグメンテーションを行なうためのセグメンテーション処理部８０と、セグメンテーション処理部８０により作成されたセグメンテーションをすべて記憶するためのセグメンテーション記憶部８２と、セグメンテーション記憶部８２に記憶された、入力文４０の全セグメンテーションに基づき、入力文４０に対する翻訳フレーズからなるラッティスを作成するためのラッティス作成部８４とを含む。ラッティス作成部８４は、ラッティス作成にあたって、フレーズ翻訳モデル６８を用いて、セグメンテーション記憶部８２に記憶されている日本語の各フレーズを対応する英語のフレーズに置換し、さらにそれら英語のフレーズを任意の順序で組合せてラッティスを作成し、日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、および英語言語モデル６０を加えて使用して、ラッティスの各エッジおよびノードに確率を割当てていく。なお、英語のフレーズによるラッティス作成時には探索空間が非常に広いので、ラッティス作成部８４は上記した確率を用いたビームサーチを行ない、確率が大きなエッジおよびノードのみを残してラッティスの作成を行なう。
【００５６】
デコーダ４２はさらに、ラッティス作成部８４により作成された確率付きの英語のフレーズからなるラッティスを記憶するためのラッティス記憶部８６と、ラッティス記憶部８６に記憶された確率付きの英語のラッティスに対しＡ＊探索を行なうことにより、ラッティスの経路のうちスコアの高いＭ個をＭベストの訳文４４として出力するためのＡ＊探索処理部８８を含む。
【００５７】
図４に、英語フレーズＮグラムモデル５８の作成におけるＰ（/Ｅi｜/Ｅi'）の値の推定手順を示す。図４を参照して、まずステップ１００において上記した確率を格納するための確率テーブルを何らかの一様な値で初期化する。ステップ１０２では繰返し制御変数ｉを０に初期化する。ステップ１０４で変数ｉに１を加算する。ステップ１０６で変数ｉの値が２を超えたか否かを判定する。変数ｉの値が２を超えていれば処理を終了する。変数ｉの値が２以下であればステップ１０８に進む。
【００５８】
ステップ１０８ではステップ１１０からステップ１１６までの処理を英語コーパス３４（図３参照）内の各文に対し繰返す。
【００５９】
まずステップ１１０においてコーパス中の文に対して可能な全てのセグメンテーションをし、その結果に基づいてラッティスを作成する。ステップ１１２にて、このラッティス中の全てのエッジに図１に示すように確率を割当てる。ステップ１１４では、前向き・後向きアルゴリズムにより、各ノードの事後確率Ｐ（/Ｅi，/Ｅi'｜ｅ）を推定する。
【００６０】
ステップ１１６では以上の処理を全ての文に対して完了したか否かを判定する。まだ完了していなければステップ１１０以下の処理を繰返す。全ての文に対して完了した後、ステップ１１８において、ステップ１１４で推定された事後確率を単語の発生頻度として用い、最尤アルゴリズムによってフレーズＮグラムモデルの事前確率を式（７）に示すように算出する。
【００６１】
続いて再度ステップ１０４に戻り、次の繰返しを行なう。本実施の形態では、上記した処理を２回繰返したところで処理を終了する。
【００６２】
図５に、ある日本語の文Ｆに対するフレーズセグメンテーションモデルを算出する手順を示す。図５を参照して、まずステップ１４０で文Ｆに対して可能な全てのフレーズセグメンテーションを求め、ラッティスを作成する。ステップ１４２において、ステップ１４０により得られたラッティスに出現する全てのフレーズに対し、日本語フレーズＮグラムモデル５６を用い、前向き・後向きアルゴリズムによって前向き確率α、後向き確率βを算出する。ステップ１４４では、式（１０）にしたがってＰ（/Ｆ｜Ｆ）を計算する。この処理を全ての文に対して行なう。
【００６３】
図６に、フレーズ翻訳モデルを算出する手順を示す。図６を参照して、まずステップ１６０で、図３に示す対訳コーパス３２内の全ての対訳文についてフレーズを単位としたラッティス対＜Ｆ，Ｅ＞を作成する。
【００６４】
ステップ１６２では、ステップ１６４〜ステップ１７０までの処理を繰返す。まずステップ１６４において、ソース文Ｆのラッティスにより、文Ｆの各セグメンテーション/Ｆに対する事後確率Ｐ（/Ｆ|Ｆ）を求める。ステップ１６６で、ターゲット文Ｅのラッティスで、セグメンテーション/Ｅとセグメンテーション/Ｆとを組合せたものに対する前向き確率α、後向き確率βを前向き・後向きアルゴリズムを用いて算出する。ステップ１６８では、こうして求めた確率をセグメンテーション/Ｅとセグメンテーション/Ｆとに含まれるフレーズの共起数としてカウントを加算する。
【００６５】
ステップ１７０では、上記したステップ１６４〜１６８までの処理が全ての＜Ｆ，Ｅ＞に対して行なわれたか否かを判定し、まだ行なわれていなければ再びステップ１６４から繰返す。
【００６６】
全ての＜Ｆ，Ｅ＞に対して処理が完了すると、ステップ１７２において、ステップ１６８で計算されたカウント値に基づき、Ｐ（/Ｆ｜/Ｅ）を算出して処理を終了する。
【００６７】
［動作］
以上に構成を説明した図３に示す統計機械翻訳システム２０の動作について以下に説明する。統計機械翻訳システム２０の動作には、以上の説明から明らかなように二つのフェーズがある。第１はフレーズ翻訳モデル６８および関連する日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、英語言語モデル６０を作成するフェーズである。第２は、こうして作成されたフレーズ翻訳モデル６８、日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、および英語言語モデル６０を用い、入力文４０に対する翻訳を行なって訳文４４を出力するフェーズである。以下順に説明する。
【００６８】
−モデル作成フェーズ−
日本語コーパス３０、対訳コーパス３２、および英語コーパス３４が予め準備されているものとする。日本語フレーズＮグラムモデル作成部５０は、日本語コーパス３０から日本語フレーズＮグラムモデル５６を作成する。英語フレーズＮグラムモデル作成部５２は、英語コーパス３４から英語フレーズＮグラムモデル５８を作成する。英語言語モデル作成部５４は、英語コーパス３４から英語言語モデル６０を作成する。
【００６９】
フレーズセグメンテーションモデル作成部６２は、日本語フレーズＮグラムモデル５６および日本語コーパス３０に基づき、フレーズセグメンテーションモデル６６を作成する。
【００７０】
ＨＭＭ学習部７０は、こうして作成されたフレーズセグメンテーションモデル６６および英語フレーズＮグラムモデル５８を用い、さらに対訳コーパス３２を用いてフレーズ翻訳モデル６８の学習を行なう。
【００７１】
−翻訳フェーズ−
フレーズによるＨＭＭ翻訳モデル３８、すなわち日本語フレーズＮグラムモデル５６と英語フレーズＮグラムモデル５８とフレーズ翻訳モデル６８、および英語言語モデル６０が準備できると、デコーダ４２は入力文４０に対する翻訳が可能になる。セグメンテーション処理部８０が入力文４０に対して可能な全てのセグメンテーションを行ないセグメンテーション記憶部８２に記憶させる。ラッティス作成部８４は、セグメンテーション記憶部８２に記憶されたセグメンテーションに基づき、フレーズ翻訳モデル６８などを用いながら、フレーズをノードとする翻訳文のラッティスを作成する。この際作成される翻訳文のラッティスのエッジおよびノードには、モデルに基づいて計算される確率が割当てられる。作成されたラッティスはラッティス記憶部８６に記憶される。
【００７２】
Ａ＊探索処理部８８は、Ａ＊探索アルゴリズムを用いて、ラッティス記憶部８６に記憶された確率付きのラッティスの中で確率が最も高いＭベストのパスを探索し、それらに対応フレーズシーケンスを訳文４４として出力する。
【００７３】
［効果］
以上のように本実施の形態では、対訳コーパスに含まれるフレーズの対応関係を直接にモデル化してＨＭＭ化し、効率的に翻訳フレーズ対を作成し翻訳を行なうことができる。精度も従来のものと比較してより高くなるという効果が得られる。
【００７４】
［コンピュータによる実現］
この実施の形態の統計機械翻訳システム２０は、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図７はこのコンピュータシステム３３０の外観を示し、図８はコンピュータシステム３３０の内部構成を示す。
【００７５】
図７を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２とを含む。
【００７６】
図８を参照して、コンピュータ３４０は、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、および作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータシステム３３０はさらに、プリンタ３４４を含んでいる。
【００７７】
ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【００７８】
コンピュータシステム３３０に統計機械翻訳システム２０としての動作を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。または、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、またはネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
【００７９】
なお、本実施の形態においては、図３に示すフレーズ翻訳モデル６８、日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、および英語言語モデル６０などはいずれも図８に示すハードディスク３５４に記憶されており、必要に応じてＲＡＭ３６０に読出され、プログラム実行時に利用される。図３に示すセグメンテーション記憶部８２、ラッティス記憶部８６などは、いずれもＲＡＭ３６０により実現される。
【００８０】
このプログラムは、コンピュータ３４０にこの実施の形態に係る統計機械翻訳システム２０として動作を行なわせる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）またはサードパーティのプログラム、もしくはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態のシステムを実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記した統計機械翻訳システム２０としての動作を実行する命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰返さない。
【００８１】
［変形例］
上記した実施の形態では、日本語フレーズＮグラムモデル５６および英語言語モデル６０はいずれも、独立した単言語の日本語コーパス３０および英語コーパス３４から作成される。一般に単言語のコーパスの場合、その内容が充実しているため、こうした手順によって作成された日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、英語言語モデル６０は精度が高くなる。しかし本発明はそのような実施の形態には限定されない。例えば、対訳コーパス３２に含まれる対訳数が十分多い場合には、対訳コーパス３２のうちの日本語文から日本語フレーズＮグラムモデル５６を作成し、英語文から英語フレーズＮグラムモデル５８および英語言語モデル６０を作成するようにしてもよい。
【００８２】
なお、本実施の形態では、図４に示す処理は２回繰返し、図６に示す処理は１回のみで終了するが、本発明はそのような実施の形態に限定されるわけではない。例えば図４における処理は１回以上、任意の回数だけ繰返すようにしてもよい。また図６に示す処理では、ステップ１７２の後ステップ１６０に戻るようにし、その繰返しを２回以上行なうようにしてもよい。さらに、繰返し数を固定するのではなく、何らかの条件が成立したら繰返しを終了するようにしてもよい。
【００８３】
また、日本語フレーズＮグラムモデル作成部５０および英語フレーズＮグラムモデル作成部５２による日本語フレーズＮグラムモデル５６および英語フレーズＮグラムモデル５８の作成の際、上記実施の形態では日本語コーパス３０、対訳コーパス３２、および英語コーパス３４を制約として用いている。しかし本発明はそのような実施の形態には限定されない。例えばこれに加えて、またはこれらのいずれかに代えて、フレーズ形式の対訳辞書を制約として用いて日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８の作成を行なうようにしてもよい。
【００８４】
上記した実施の形態では、日本語から英語への翻訳を行なっている。しかし本発明はそのような実施の形態には限定されない。適切なコーパスが利用可能なものであれば、どのような言語の組合せに対しても本発明を適用できる。
【００８５】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００８６】
【図１】ターゲット言語のフレーズラッティス構造の一例を示す図である。
【図２】フレーズ翻訳モデル作成の際に使用されるソース言語とターゲット言語とのフレーズラッティス構造の関係を示す図である。
【図３】本発明の一実施の形態に係る統計機械翻訳システム２０のブロック図である。
【図４】英語フレーズＮグラムモデル５８の作成におけるＰ（/Ｅi｜/Ｅi'）の値の推定手順を示すフローチャートである。
【図５】日本語の文Ｆに対するフレーズセグメンテーションモデルを算出する手順を示すフローチャートである。
【図６】フレーズ翻訳モデルを算出する手順を示すフローチャートである。
【図７】本発明の一実施の形態を実現するコンピュータシステムの外観図である。
【図８】図７に示すコンピュータシステムのブロック図である。
【符号の説明】
【００８７】
２０ 統計機械翻訳システム、３０ 日本語コーパス、３２ 対訳コーパス、３４ 英語コーパス、３６ フレーズによるＨＭＭ翻訳モデル作成部、３８ フレーズによるＨＭＭ翻訳モデル、４０ 入力文、４２ デコーダ、４４ 訳文、５０ 日本語フレーズＮグラムモデル作成部、５２ 英語フレーズＮグラムモデル作成部、５４ 英語言語モデル作成部、５６ 日本語フレーズＮグラムモデル、５８ 英語フレーズＮグラムモデル、６０ 英語言語モデル、６２ フレーズセグメンテーションモデル作成部、６６ フレーズセグメンテーションモデル、６８ フレーズ翻訳モデル、７０ ＨＭＭ学習部、８０ セグメンテーション処理部、８２ セグメンテーション記憶部、８４ ラッティス作成部、８６ ラッティス記憶部
【技術分野】
【０００１】
この発明は機械翻訳装置に関し、特に、統計機械翻訳において対訳コーパス中に現れるフレーズの対訳を生かしながら効率的に翻訳を行なう機械翻訳装置に関する。なお、本明細書において「フレーズ」とは、１または連続する複数の単語のまとまり（単語列）のことをいう。
【背景技術】
【０００２】
機械翻訳を統計的に行なう立場では、非特許文献１において提案されているように、翻訳のソース言語の文ｆを、ターゲット言語ｅの文に翻訳するという問題は、次の最大化問題として定式化される。
【０００３】
【数１】
この問題に関し、雑音を含む通信路モデルを適用すると次の式が得られる。
【０００４】
【数２】
統計機械翻訳においてフレーズを用いた手法を試みた文献として、式（２）の第１番目の因子Ｐ（ｆ｜ｅ）を、さらに制約を課した一連のフレーズの翻訳を掛合わせたもので近似しているものがある（非特許文献２、３、４）。
【０００５】
【数３】
ただし/ｆi（本明細書では、符号の直前の「/」は、直後の符号の直上に記載されるべき上線をあらわすものとする。）は、文ｆに対するフレーズセグメンテーション（フレーズ分割）がされたフレーズセグメンテーション後の文/ｆのｉ番目のフレーズのことをいい、ａiはフレーズセグメンテーションされたテキストのｉ番目のフレーズアライメントのことをいう。
【非特許文献１】Ｐ．Ｆ．ブラウン他、「機械翻訳に対する統計的アプローチ」、計算機言語学、第１６巻、第２号、ｐｐ．７９−８５、１９９０年（P. F. Brown et al., "A statistical approach to machine translation," Computational Linguistics, vol. 16, no. 2, pp. 79-85, 1990.）
【非特許文献２】Ｐ．ケーン他、「フレーズによる統計翻訳」、ＨＬＴ−ＮＡＡＣＬ２００３予稿集、ｐｐ．４８−５４、２００３年（P. Koehn et al., "Statistical phrase-based translation," in Proc. of HLT-NAACL 2003, pp. 48-54 2003.)
【非特許文献３】Ｓ．フォーゲル他、「ｃｍｕ統計翻訳システム」、ＭＴサミットＩＸ予稿集、ｐｐ．４０２−４０９、２００３年（S. Vogel et al., "The cmu statistical translation system," in Proceedings of MT Summit IX, pp. 402-409, 2003.）
【非特許文献４】Ｃ．ティルマン、「統計機械翻訳のための射影拡張アルゴリズム」、自然言語処理における経験法２００３年大会予稿集、ｐｐ．１−８、２００３年（C. Tillmann, "A projection extension algorithm for statistical machine translation," in Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing, pp. 1-8, 2003.）
【非特許文献５】Ｈ．ダウメ ＩＩＩ他、「文書／要約アライメントのためのフレーズによるｈｍｍアプローチ」、ＥＭＮＬＰ２００４予稿集、ｐｐ．１１９−１２６、２００４年（H. Daume III et al., "A phrase-based hmm approach to document/abstract alignment," in Proceedings of EMNLP 2004, pp. 119-126, 2004.）
【非特許文献６】Ａ．Ｐ．デンプスター他、「不完全なデータからのｅｍアルゴリズムによる最大尤度」、王室統計学会ジャーナル、第Ｂ巻、第３９号、ｐｐ．１−３８、１９７７年（A. P. Dempster et al., "Maximum likelihood from incomplete data via the em algorithm," Journal of the Royal Statistical Society, vol. B, no. 39, pp. 1-38, 1977.）
【非特許文献７】Ｆ．Ｊ．オク他、「さまざまな統計的アライメントモデルの系統的比較」、コンピュータ言語学、第２９巻、第１号、ｐｐ．１９−５１、２００３年（F. J. Och et al. "A systematic comparison of various statistical alignment models," Computational Linguistics, vol. 29, no. 1, pp. 19-51, 2003）
【非特許文献８】Ｆ．Ｊ．オク他、「統計機械翻訳のための弁別トレーニングおよび最大エントロピーモデル」、ＡＣＬ２００２予稿集、ｐｐ．２９５−３０２、２００２年（F. J. Och et al., "Discriminative training and maximum entropy models for statistical machine translation," in Proc. of ACL 2002, pp. 295-302, 2002.）
【非特許文献９】Ｆ．Ｊ．オク、「統計機械翻訳における最小誤差率学習」、ＡＣＬ２００３予稿集、ｐｐ．１６０−１６７、２００３年（F. J. Och, "Minimum error rate training in statistical machine translation," in Proc. of ACL 2003, pp. 160-167, 2003.）
【非特許文献１０】Ｗ．Ｈ．プレス他、「Ｃ＋＋の数値的レシピ」、ケンブリッジ大学出版会、２００２年（W. H. Press et al., "Numerical Recipes in C++," Cambridge University Press, 2002.）
【非特許文献１１】Ｎ．ユッフィインク他、「統計機械翻訳における単語グラフの生成」、自然言語処理における経験法大会（ＥＭＮＬＰ０２）予稿集、ｐｐ．１５６−１６３、２００２年（N. Ueffing et al., "Generation of word graphs in statistical machine translation," in Proc. of Conference on Empirical Methods for Natural Language Processing (EMNLP02), pp. 156-163, 2002.）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来の手法では、フレーズの翻訳対を求める際の方法が単純であって、式（３）にしたがってＰ（/ｆi｜/ｅai）を推定しても、例えばフレーズの相互関係などについての条件が含まれていないため、翻訳の精度が低くなるという問題がある。
【０００７】
それゆえに本発明の目的は、対訳フレーズを利用した統計機械翻訳装置において、より高い精度で翻訳を行なうことができる機械翻訳装置を提供することである。
【０００８】
本発明の他の目的は、対訳フレーズを利用した統計機械翻訳装置において、フレーズのセグメンテーションの推定とフレーズの対訳との推定を連携させて行なうことにより、より高い精度で翻訳を行なうことができる機械翻訳装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の局面に係る機械翻訳装置は、ソース言語の入力文をターゲット言語に翻訳する翻訳装置であって、ソース言語のフレーズＮグラムモデル、ターゲット言語のフレーズＮグラムモデルおよび所定の言語モデル、およびターゲット言語からソース言語へのフレーズによる翻訳モデルを記憶するための記憶手段と、ソース言語の入力文に対するセグメンテーションを行なうためのセグメンテーション手段と、セグメンテーション手段により得られたセグメンテーションにしたがい、記憶手段に記憶されたソース言語のフレーズＮグラムモデル、ターゲット言語のフレーズＮグラムモデルおよび言語モデル、ならびにターゲット言語からソース言語へのフレーズによる翻訳モデルを用いて、ターゲット言語のフレーズを任意の順序で、かつソース言語のフレーズＮグラムモデル、ターゲット言語のフレーズＮグラムモデルおよび言語モデル、ならびにフレーズによる翻訳モデルを用いて得た確率を各ノードとエッジとに付して並べた、フレーズのラッティスを作成するためのラッティス作成手段と、ラッティス作成手段により作成されたラッティスのうちで、最大確率を与える上位Ｍ個のフレーズシーケンスを探索するための探索手段とを含む。
【００１０】
フレーズによる翻訳モデルという、従来にない概念を用い、ソース言語の入力文が与えられると、当該入力文に対する翻訳である確率が統計的に最も高い上位Ｍ個の翻訳文を出力することができる。単語レベルのみではなく、フレーズレベルでの確率をも用いるため、入力文と翻訳文との間のフレーズの対応関係を直接的に用い、精度の高い翻訳を行なうことができる。
【００１１】
好ましくは、探索手段は、ラッティス作成手段により作成されたラッティスのうちで、最大確率を与える上位Ｍ個のフレーズシーケンスをＡ＊探索アルゴリズムにより探索するための手段を含む。
【００１２】
さらに好ましくは、ラッティス作成手段は、所定の確率条件を充足するノードのみを用いてラッティスを作成するための手段を含む。
【００１３】
フレーズによる翻訳モデルは、ターゲット言語のフレーズＮグラムモデル、ソース言語によるフレーズセグメンテーションモデル、およびターゲット言語からソース言語へのフレーズ翻訳モデルの組合せにより形成されるようにしてもよい。
【００１４】
本発明の第２の局面に係る統計機械翻訳プログラムは、コンピュータにより実行されると、上記したいずれかの機械翻訳装置として当該コンピュータを動作させる統計機械翻訳プログラムである。
【発明を実施するための最良の形態】
【００１５】
［基本的概念］
従来の技術では、翻訳対を求める方法と、式（３）におけるＰ（/ｆi｜/ｅai）の推定とが別の問題となっており、そのために精度の向上が望めないという問題があったと考えられる。本実施の形態では、以下のような思想に基づいてフレーズを用いた機械翻訳を行なう。すなわち、従来の技術で用いられていた式（３）に代えて、新たに/ｆおよび/ｅという変数を導入し、次の式（４）によってＰ（ｆ｜ｅ）を算出することにより、フレーズ翻訳に相当する関係を直接的に翻訳に反映させる。
【００１６】
【数４】
ただし/ｆは入力文ｆのセグメンテーションを表し、/ｅはターゲット文ｅのセグメンテーションを表す。
【００１７】
式（４）において、Ｐ（ｆ，/ｆ，/ｅ｜ｅ）はさらに３つの項に分解される。
【００１８】
【数５】
式（５）の第１項はセグメンテーションされた入力文/ｆが再構成により入力文ｆとなる確率を表す。第２項は/ｅと/ｆという二つのフレーズシーケンスに対する翻訳確率を表す。最後の項は、フレーズセグメンテーションされた文/ｅが文ｅから生成される尤度を示す。本明細書では、これらの項をそれぞれフレーズセグメンテーションモデル、フレーズ翻訳モデル，およびフレーズＮグラムモデルと呼ぶ。以下、これらにつき個別に説明する。
【００１９】
−フレーズＮグラムモデル−
フレーズＮグラムモデルは以下のように近似できる。
【００２０】
【数６】
式（６）において、Ｐ（/ｅi｜/ｅi-1）は、互いに隣接する、翻訳されたフレーズに関するバイグラム制約として取扱う。
【００２１】
フレーズＮグラムモデルは、文ｅに対し可能な全てのフレーズセグメンテーションを、図１に示すようなラッティス構造/Ｅに広げることで、前向き・後向きアルゴリズムを使用して容易に算出できる。図１に示すように、このラッティス内の各ノードは文ｅ内の特定のフレーズ/Ｅi（ｉ＝１〜６）を表しており、これらノード/Ｅ1〜/Ｅ6はエッジで互いに結ばれている。また各エッジには、当該エッジの前端のノードに対応するフレーズとその後端のノードに対応するフレーズとが連続して生ずる確率が付されている。例えばノード/Ｅiとその直前のノード/Ｅi'とは、確率Ｐ（/Ｅi｜/Ｅi'）が付されたエッジにより結ばれている。図１の例で言えば、ノード/Ｅ2とその直前のノード（図１では/Ｅ1）とを結ぶエッジには確率Ｐ（/Ｅ2｜/Ｅ1）が付されている。
【００２２】
Ｐ（/Ｅi｜/Ｅi'）の値の推定は以下の手順により行なわれる。
【００２３】
１）確率テーブルを何らかの一様な値で初期化する。
【００２４】
２）学習コーパス内の各文ｅに対し、前向き・後向きアルゴリズムを用い、ラッティス内における事後確率Ｐ（/Ｅi，/Ｅi'｜ｅ）を推定する。
【００２５】
３）推定された事後確率を単語の発生頻度として用いて最尤アルゴリズムを用いて事前確率を以下のように算出する。
【００２６】
【数７】
ステップ２および３を所定の終了条件が成立するまで繰返す。終了条件としては、予め定められた繰返し回数を完了したことなどの条件を用いることができる。
【００２７】
−フレーズセグメンテーションモデル−
式（４）に示されたモデル化によると、Ｐ（ｆ｜/ｆ，/ｅ，ｅ）は、フレーズセグメンテーションがされた文/ｆをいかにして並べ替えればソース文ｆが得られるか、を示すディストーション確率とみなすことができる。本実施の形態では、これに代えて、このモデルを特定のフレーズセグメント/ｆjが文ｆ内に生ずる尤度を表すものとみなす。すなわち、
【００２８】
【数８】
このセグメンテーションは、前節に述べたフレーズＮグラムモデルのユニグラム事後確率として実現することができる。このユニグラム事後確率は、文ｆに対するラッティス構造/Ｆを用い、前向き・後向きアルゴリズムを用いて効率的に計算できる。
【００２９】
【数９】
このフレーズセグメンテーションモデルは、ソース文が与えられたときに、あるフレーズに対してある重みを与えるものと考えることができる。仮にフレーズ長を１に限定すると、すなわちどのフレーズも単語を一つしか含まないものとすると、フレーズセグメンテーションの結果は一通りとなる。したがってフレーズセグメンテーションモデルはどのフレーズにも「１」という重みを割当てる。
【００３０】
−フレーズ翻訳モデル−
フレーズ翻訳モデルは、フレーズ翻訳が各フレーズの翻訳の積として得られるように近似したものである。
【００３１】
【数１０】
ただしａiは単語アライメントによる翻訳モデル（例えばＩＢＭ（登録商標）モデル）において見られるようなフレーズアライメントを表す。
【００３２】
フレーズ翻訳モデルの一つの実現形式としては、学習コーパスに現れる全てのフレーム翻訳対を、それらの現れる確率とともにテーブル形式で格納したものが考えられる。
【００３３】
−フレーズによるＨＭＭ統計翻訳−
上記したフレーズＮグラムモデル、フレーズセグメンテーションモデル、およびフレーズ翻訳モデルを全て統合すると、式（４）は次のように書換えることができる。
【００３４】
【数１１】
フレーズセグメンテーションがされた文/ｅと文/ｆとを、それぞれ対応する/Ｅおよび/Ｆというラッティス構造にまで拡張すると、式（１２）は隠れマルコフモデル（ＨＭＭ）と考えることができる。ただしこの場合、図２に示すように、ラッティス/Ｆ内の各ソースフレーズ/Ｆj（ｊ＝１〜６）は、ラッティス/Ｅ内のターゲットフレーズである状態/Ｅi（ｉ＝１〜６）から出力された観測量として扱われる。図２に示す例でいえば、ラッティス/Ｆ内のフレーズ/Ｆ2は、ラッティス/Ｅ中のフレーズ/Ｅ3からの観測量として扱われる。
【００３５】
図２においてラッティス/Ｆにおいて生ずるフレーズ/Ｆ2は、フレーズ/Ｅ3からは確率Ｐ（/Ｆ2｜/Ｅ3）で観測されるということになる。ラッティス/Ｅにおいてフレーズ/Ｅ1の次にフレーズ/Ｅ3が続く確率をＰ（/Ｅ3｜/Ｅ1）、文ｆのセグメンテーションにおいてフレーズ/Ｆ2が生ずる確率をＰ（/Ｆ2|ｆ）とすれば、これらを乗算することで式（１２）のうちｉ＝３、ｊ＝２に相当する項の値が得られる。これをラッティス/Ｅおよびラッティス/Ｆ内の全てのノード（フレーズ）の組合せに対し計算し、合計することで式（４）の値が近似できる。
【００３６】
フレーズによるＨＭＭ構造は、文書と要約との対応を付ける、という問題について、非特許文献５において既に提案されている。非特許文献５に記載の手法では、ジャンプの確率は状態遷移として明確にエンコードされており、その確率は、単語による統計翻訳モデルにおけるアライメント確率にほぼ対応していると言える。ジャンプまたはアライメント確率を明確な形で使用すると、翻訳のモデル化を完全なものにすることができるが、そのかわりにフレーズによるＨＭＭ構造では学習の際に広大なサーチ空間が必要になるという問題がある。
【００３７】
本実施の形態に係る手法では、状態遷移はフレーズＮグラムモデルと、フレーズバイグラムの連結確率とを用いているが、フレーズアライメント確率については無視している。したがって、フレーズによるＨＭＭ翻訳モデルは不完全なモデルということもできる。しかし、その単純さのゆえにパラメータの推定を高速に行なうことができる。
【００３８】
−パラメータ推定−
フレーズによるＨＭＭ翻訳モデルに対するパラメータは、既に説明したように前向き・後向きアルゴリズムを用いて効率的に推定できる。
【００３９】
前向き・後向きアルゴリズムの処理では、二つの補助変数α（ei1i2，ｆj1j2）とβ（ei1i2，ｆj1j2）とを定義する。α（ei1i2、ｆj1j2）は、ｅ1i1-1に存在する全てのフレーズの組合せの出力後にフレーズei1i2がｆj1j2に翻訳される確率の前向き推定値を表す。同様にβ（ei1i2，ｆj1j2）は、ｅi2+1lの右側の全てのフレーズの組合せを考慮したときの、フレーズei1i2がフレーズｆj1j2に翻訳される確率の後向き推定値である。
【００４０】
したがって、前向き・後向きアルゴリズムは、次の漸化式を解くという形に定式化される。
【００４１】
【数１２】
ＥＭアルゴリズムでよく見られるような局所的収束という問題（非特許文献６）を避けるため、本実施の形態では、フレーズによる翻訳モデルの学習にあたって、初期値として非特許文献７に記載のＧＩＺＡ＋＋学習より得られるレキシコンモデルを用いる。さらに、フレーズＮグラムモデルとフレーズセグメンテーションモデルとを単言語コーパスを用いて別々に学習させ、ＨＭＭ学習の繰返し時には固定させておく。
【００４２】
−フレーズセグメントの誘導−
式（１３）および（１４）は、ラッティス構造/Ｅの左側と右側とにおいてそれぞれ全ての可能な経路についての合計という処理と、/Ｆに対し可能な全てのセグメンテーションに関する合計という処理とを含んでいる。この処理は仮にダイナミックプログラミングを使用しても依然として膨大な計算を必要とするので、本実施の形態では、考慮するセグメンテーションを予め限定する。
【００４３】
フレーズ対を導出するにあたってはまず、バイリンガル学習コーパス内において見出し得る全てのバイリンガルフレーズ対について、次の式に示す二つのフレーズ翻訳確率の積を用いる。
【００４４】
【数１３】
ただしｃｏｕｎｔ（/ｅ，/ｆ）は二つのフレーズ/ｅおよび/ｆの共起頻度である。式（１５）の基本的な概念は、２方向の対応関係を見ることにより、バイリンガルのフレーズの対応をとらえる、ということである。
【００４５】
さらに、それ以外のフレーズについては、ＧＩＺＡ＋＋（非特許文献２）により計算したＰ（ｅ｜ｆ）およびＰ（ｆ｜ｅ）という２方向のモデルを用いたビタビ単語アライメントの積集合／和集合に基づき網羅的に導出する。
【００４６】
フレーズ翻訳対の抽出後、それらに対する単言語フレーズレキシコンを抽出し、ソース文およびターゲット文に対する可能なセグメンテーションとして使用する。
【００４７】
−デコーダ−
最良訳を算出するための決定規則は、非特許文献８において示されている、翻訳モデルの全ての構成要素の対数線形和によって行なう。
【００４８】
【数１４】
ただしＰｒj（ｅ，ｆ）は翻訳モデルの構成要素であって、例えばフレーズＮグラムモデルまたは言語モデルなどであり、λjは各モデルに与えられた重みである。重みλjはＩＩＳ（Improved Iterative Scaling）またはＧＩＳ（Generalized Iterative Scaling）アルゴリズムを用いた最尤基準を用いても、滑降シンプレックス法（Downhill Simplex Method：非特許文献９）のように制約なしの最適化アルゴリズムを用いた最小誤差率基準（非特許文献９）を用いてもよい。
【００４９】
デコーダは単語グラフによるデコーダ（非特許文献１１）に類似したものであり、サブモデルの複雑な構造を組込むため、マルチパスでコーディングを行なえるようにしたものである。デコードの最初のパスではビームサーチを用いて入力文に対する翻訳の単語グラフ、すなわちラッティスを生成する。このパスでは、フレーズによるＨＭＭ翻訳モデルのすべてのサブモデルを、ターゲット言語の単語によるトライグラム言語モデルおよびクラス５グラム言語モデルとともに使用する。次のパスでは、この単語グラフに対してＡ＊探索法を用いて翻訳のＮベストパスを探索する。
【００５０】
［構成］
図３に、本実施の形態に係る統計機械翻訳システム２０のブロック図を示す。この統計機械翻訳システム２０は、日本語の文（ｆ）を英語の文（ｅ）に翻訳する日英翻訳装置である。つまり、本実施の形態ではソース言語ｆは日本語、ターゲット言語ｅは英語ということになる。
【００５１】
図３を参照して、統計機械翻訳システム２０は、日本語の単言語コーパス（以下「日本語コーパス」と呼ぶ。）３０と、英語の単言語コーパス（以下「英語コーパス」と呼ぶ。）３４と、日本語および英語の対訳コーパス３２と、日本語コーパス３０、対訳コーパス３２、および英語コーパス３４から日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、英語言語モデル６０、およびフレーズ翻訳モデル６８を作成するためのフレーズによるＨＭＭ翻訳モデル作成部３６と、フレーズによるＨＭＭ翻訳モデル作成部３６により作成された日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、英語言語モデル６０、およびフレーズ翻訳モデル６８を用いて、日本語の入力文４０に対し翻訳を行ない、英語の訳文４４を出力するためのデコーダ（統計機械翻訳装置）４２とを含む。なお図３に示す統計機械翻訳システム２０では、フレーズＮグラムとしてフレーズバイグラムを用いる。また、英語フレーズＮグラムモデル５８と、日本語フレーズＮグラムモデル５６と、フレーズ翻訳モデル６８とは、フレーズによるＨＭＭ翻訳モデル３８を構成する。
【００５２】
フレーズによるＨＭＭ翻訳モデル作成部３６は、日本語コーパス３０から日本語フレーズＮグラムモデル５６を作成するための日本語フレーズＮグラムモデル作成部５０と、英語コーパス３４から英語フレーズＮグラムモデル５８を作成するための英語フレーズＮグラムモデル作成部５２と、英語コーパス３４から英語言語モデル６０を作成するための英語言語モデル作成部５４とを含む。英語言語モデル６０は、図示してはいないが、前述したとおり英語単語トライグラム言語モデルと、英語のクラス５グラム言語モデルとを含む。なおクラスＮグラム言語モデルとは品詞に着目した単語Ｎグラム言語モデルであり、同一の品詞の単語は同じ単語であるとみなして作成したＮグラム言語モデルである。
【００５３】
なお、日本語フレーズＮグラムモデル作成部５０は、日本語フレーズＮグラムモデル５６の作成にあたり、日本語コーパス３０に出現するＮグラムのうち上位の所定個数のみを採用すること、および対訳コーパス３２にフレーズ対として出現する日本語Ｎグラムのみを採用すること、という制約にしたがっている。同様に英語フレーズＮグラムモデル作成部５２は、英語フレーズＮグラムモデル５８の作成にあたって、英語コーパス３４に出現するＮグラムのうち上位の所定個数のみを採用すること、対訳コーパス３２に出現するフレーズ対として出現する英語Ｎグラムのみを採用すること、という制約にしたがっている。
【００５４】
フレーズによるＨＭＭ翻訳モデル作成部３６はさらに、日本語フレーズＮグラムモデル５６に基づき、前述した手法により日本語のフレーズセグメンテーションモデル６６を作成するためのフレーズセグメンテーションモデル作成部６２と、英語フレーズＮグラムモデル５８およびフレーズセグメンテーションモデル６６を用いてフレーズ翻訳モデル６８を構成するＨＭＭのパラメータの推定を行なうＨＭＭ学習部７０とを含む。
【００５５】
一方デコーダ４２は、日本語の入力文４０が与えられると、入力文４０に対して可能な全てのセグメンテーションを行なうためのセグメンテーション処理部８０と、セグメンテーション処理部８０により作成されたセグメンテーションをすべて記憶するためのセグメンテーション記憶部８２と、セグメンテーション記憶部８２に記憶された、入力文４０の全セグメンテーションに基づき、入力文４０に対する翻訳フレーズからなるラッティスを作成するためのラッティス作成部８４とを含む。ラッティス作成部８４は、ラッティス作成にあたって、フレーズ翻訳モデル６８を用いて、セグメンテーション記憶部８２に記憶されている日本語の各フレーズを対応する英語のフレーズに置換し、さらにそれら英語のフレーズを任意の順序で組合せてラッティスを作成し、日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、および英語言語モデル６０を加えて使用して、ラッティスの各エッジおよびノードに確率を割当てていく。なお、英語のフレーズによるラッティス作成時には探索空間が非常に広いので、ラッティス作成部８４は上記した確率を用いたビームサーチを行ない、確率が大きなエッジおよびノードのみを残してラッティスの作成を行なう。
【００５６】
デコーダ４２はさらに、ラッティス作成部８４により作成された確率付きの英語のフレーズからなるラッティスを記憶するためのラッティス記憶部８６と、ラッティス記憶部８６に記憶された確率付きの英語のラッティスに対しＡ＊探索を行なうことにより、ラッティスの経路のうちスコアの高いＭ個をＭベストの訳文４４として出力するためのＡ＊探索処理部８８を含む。
【００５７】
図４に、英語フレーズＮグラムモデル５８の作成におけるＰ（/Ｅi｜/Ｅi'）の値の推定手順を示す。図４を参照して、まずステップ１００において上記した確率を格納するための確率テーブルを何らかの一様な値で初期化する。ステップ１０２では繰返し制御変数ｉを０に初期化する。ステップ１０４で変数ｉに１を加算する。ステップ１０６で変数ｉの値が２を超えたか否かを判定する。変数ｉの値が２を超えていれば処理を終了する。変数ｉの値が２以下であればステップ１０８に進む。
【００５８】
ステップ１０８ではステップ１１０からステップ１１６までの処理を英語コーパス３４（図３参照）内の各文に対し繰返す。
【００５９】
まずステップ１１０においてコーパス中の文に対して可能な全てのセグメンテーションをし、その結果に基づいてラッティスを作成する。ステップ１１２にて、このラッティス中の全てのエッジに図１に示すように確率を割当てる。ステップ１１４では、前向き・後向きアルゴリズムにより、各ノードの事後確率Ｐ（/Ｅi，/Ｅi'｜ｅ）を推定する。
【００６０】
ステップ１１６では以上の処理を全ての文に対して完了したか否かを判定する。まだ完了していなければステップ１１０以下の処理を繰返す。全ての文に対して完了した後、ステップ１１８において、ステップ１１４で推定された事後確率を単語の発生頻度として用い、最尤アルゴリズムによってフレーズＮグラムモデルの事前確率を式（７）に示すように算出する。
【００６１】
続いて再度ステップ１０４に戻り、次の繰返しを行なう。本実施の形態では、上記した処理を２回繰返したところで処理を終了する。
【００６２】
図５に、ある日本語の文Ｆに対するフレーズセグメンテーションモデルを算出する手順を示す。図５を参照して、まずステップ１４０で文Ｆに対して可能な全てのフレーズセグメンテーションを求め、ラッティスを作成する。ステップ１４２において、ステップ１４０により得られたラッティスに出現する全てのフレーズに対し、日本語フレーズＮグラムモデル５６を用い、前向き・後向きアルゴリズムによって前向き確率α、後向き確率βを算出する。ステップ１４４では、式（１０）にしたがってＰ（/Ｆ｜Ｆ）を計算する。この処理を全ての文に対して行なう。
【００６３】
図６に、フレーズ翻訳モデルを算出する手順を示す。図６を参照して、まずステップ１６０で、図３に示す対訳コーパス３２内の全ての対訳文についてフレーズを単位としたラッティス対＜Ｆ，Ｅ＞を作成する。
【００６４】
ステップ１６２では、ステップ１６４〜ステップ１７０までの処理を繰返す。まずステップ１６４において、ソース文Ｆのラッティスにより、文Ｆの各セグメンテーション/Ｆに対する事後確率Ｐ（/Ｆ|Ｆ）を求める。ステップ１６６で、ターゲット文Ｅのラッティスで、セグメンテーション/Ｅとセグメンテーション/Ｆとを組合せたものに対する前向き確率α、後向き確率βを前向き・後向きアルゴリズムを用いて算出する。ステップ１６８では、こうして求めた確率をセグメンテーション/Ｅとセグメンテーション/Ｆとに含まれるフレーズの共起数としてカウントを加算する。
【００６５】
ステップ１７０では、上記したステップ１６４〜１６８までの処理が全ての＜Ｆ，Ｅ＞に対して行なわれたか否かを判定し、まだ行なわれていなければ再びステップ１６４から繰返す。
【００６６】
全ての＜Ｆ，Ｅ＞に対して処理が完了すると、ステップ１７２において、ステップ１６８で計算されたカウント値に基づき、Ｐ（/Ｆ｜/Ｅ）を算出して処理を終了する。
【００６７】
［動作］
以上に構成を説明した図３に示す統計機械翻訳システム２０の動作について以下に説明する。統計機械翻訳システム２０の動作には、以上の説明から明らかなように二つのフェーズがある。第１はフレーズ翻訳モデル６８および関連する日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、英語言語モデル６０を作成するフェーズである。第２は、こうして作成されたフレーズ翻訳モデル６８、日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、および英語言語モデル６０を用い、入力文４０に対する翻訳を行なって訳文４４を出力するフェーズである。以下順に説明する。
【００６８】
−モデル作成フェーズ−
日本語コーパス３０、対訳コーパス３２、および英語コーパス３４が予め準備されているものとする。日本語フレーズＮグラムモデル作成部５０は、日本語コーパス３０から日本語フレーズＮグラムモデル５６を作成する。英語フレーズＮグラムモデル作成部５２は、英語コーパス３４から英語フレーズＮグラムモデル５８を作成する。英語言語モデル作成部５４は、英語コーパス３４から英語言語モデル６０を作成する。
【００６９】
フレーズセグメンテーションモデル作成部６２は、日本語フレーズＮグラムモデル５６および日本語コーパス３０に基づき、フレーズセグメンテーションモデル６６を作成する。
【００７０】
ＨＭＭ学習部７０は、こうして作成されたフレーズセグメンテーションモデル６６および英語フレーズＮグラムモデル５８を用い、さらに対訳コーパス３２を用いてフレーズ翻訳モデル６８の学習を行なう。
【００７１】
−翻訳フェーズ−
フレーズによるＨＭＭ翻訳モデル３８、すなわち日本語フレーズＮグラムモデル５６と英語フレーズＮグラムモデル５８とフレーズ翻訳モデル６８、および英語言語モデル６０が準備できると、デコーダ４２は入力文４０に対する翻訳が可能になる。セグメンテーション処理部８０が入力文４０に対して可能な全てのセグメンテーションを行ないセグメンテーション記憶部８２に記憶させる。ラッティス作成部８４は、セグメンテーション記憶部８２に記憶されたセグメンテーションに基づき、フレーズ翻訳モデル６８などを用いながら、フレーズをノードとする翻訳文のラッティスを作成する。この際作成される翻訳文のラッティスのエッジおよびノードには、モデルに基づいて計算される確率が割当てられる。作成されたラッティスはラッティス記憶部８６に記憶される。
【００７２】
Ａ＊探索処理部８８は、Ａ＊探索アルゴリズムを用いて、ラッティス記憶部８６に記憶された確率付きのラッティスの中で確率が最も高いＭベストのパスを探索し、それらに対応フレーズシーケンスを訳文４４として出力する。
【００７３】
［効果］
以上のように本実施の形態では、対訳コーパスに含まれるフレーズの対応関係を直接にモデル化してＨＭＭ化し、効率的に翻訳フレーズ対を作成し翻訳を行なうことができる。精度も従来のものと比較してより高くなるという効果が得られる。
【００７４】
［コンピュータによる実現］
この実施の形態の統計機械翻訳システム２０は、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図７はこのコンピュータシステム３３０の外観を示し、図８はコンピュータシステム３３０の内部構成を示す。
【００７５】
図７を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２とを含む。
【００７６】
図８を参照して、コンピュータ３４０は、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、および作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータシステム３３０はさらに、プリンタ３４４を含んでいる。
【００７７】
ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【００７８】
コンピュータシステム３３０に統計機械翻訳システム２０としての動作を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。または、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、またはネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
【００７９】
なお、本実施の形態においては、図３に示すフレーズ翻訳モデル６８、日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、および英語言語モデル６０などはいずれも図８に示すハードディスク３５４に記憶されており、必要に応じてＲＡＭ３６０に読出され、プログラム実行時に利用される。図３に示すセグメンテーション記憶部８２、ラッティス記憶部８６などは、いずれもＲＡＭ３６０により実現される。
【００８０】
このプログラムは、コンピュータ３４０にこの実施の形態に係る統計機械翻訳システム２０として動作を行なわせる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）またはサードパーティのプログラム、もしくはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態のシステムを実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記した統計機械翻訳システム２０としての動作を実行する命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰返さない。
【００８１】
［変形例］
上記した実施の形態では、日本語フレーズＮグラムモデル５６および英語言語モデル６０はいずれも、独立した単言語の日本語コーパス３０および英語コーパス３４から作成される。一般に単言語のコーパスの場合、その内容が充実しているため、こうした手順によって作成された日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８、英語言語モデル６０は精度が高くなる。しかし本発明はそのような実施の形態には限定されない。例えば、対訳コーパス３２に含まれる対訳数が十分多い場合には、対訳コーパス３２のうちの日本語文から日本語フレーズＮグラムモデル５６を作成し、英語文から英語フレーズＮグラムモデル５８および英語言語モデル６０を作成するようにしてもよい。
【００８２】
なお、本実施の形態では、図４に示す処理は２回繰返し、図６に示す処理は１回のみで終了するが、本発明はそのような実施の形態に限定されるわけではない。例えば図４における処理は１回以上、任意の回数だけ繰返すようにしてもよい。また図６に示す処理では、ステップ１７２の後ステップ１６０に戻るようにし、その繰返しを２回以上行なうようにしてもよい。さらに、繰返し数を固定するのではなく、何らかの条件が成立したら繰返しを終了するようにしてもよい。
【００８３】
また、日本語フレーズＮグラムモデル作成部５０および英語フレーズＮグラムモデル作成部５２による日本語フレーズＮグラムモデル５６および英語フレーズＮグラムモデル５８の作成の際、上記実施の形態では日本語コーパス３０、対訳コーパス３２、および英語コーパス３４を制約として用いている。しかし本発明はそのような実施の形態には限定されない。例えばこれに加えて、またはこれらのいずれかに代えて、フレーズ形式の対訳辞書を制約として用いて日本語フレーズＮグラムモデル５６、英語フレーズＮグラムモデル５８の作成を行なうようにしてもよい。
【００８４】
上記した実施の形態では、日本語から英語への翻訳を行なっている。しかし本発明はそのような実施の形態には限定されない。適切なコーパスが利用可能なものであれば、どのような言語の組合せに対しても本発明を適用できる。
【００８５】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００８６】
【図１】ターゲット言語のフレーズラッティス構造の一例を示す図である。
【図２】フレーズ翻訳モデル作成の際に使用されるソース言語とターゲット言語とのフレーズラッティス構造の関係を示す図である。
【図３】本発明の一実施の形態に係る統計機械翻訳システム２０のブロック図である。
【図４】英語フレーズＮグラムモデル５８の作成におけるＰ（/Ｅi｜/Ｅi'）の値の推定手順を示すフローチャートである。
【図５】日本語の文Ｆに対するフレーズセグメンテーションモデルを算出する手順を示すフローチャートである。
【図６】フレーズ翻訳モデルを算出する手順を示すフローチャートである。
【図７】本発明の一実施の形態を実現するコンピュータシステムの外観図である。
【図８】図７に示すコンピュータシステムのブロック図である。
【符号の説明】
【００８７】
２０ 統計機械翻訳システム、３０ 日本語コーパス、３２ 対訳コーパス、３４ 英語コーパス、３６ フレーズによるＨＭＭ翻訳モデル作成部、３８ フレーズによるＨＭＭ翻訳モデル、４０ 入力文、４２ デコーダ、４４ 訳文、５０ 日本語フレーズＮグラムモデル作成部、５２ 英語フレーズＮグラムモデル作成部、５４ 英語言語モデル作成部、５６ 日本語フレーズＮグラムモデル、５８ 英語フレーズＮグラムモデル、６０ 英語言語モデル、６２ フレーズセグメンテーションモデル作成部、６６ フレーズセグメンテーションモデル、６８ フレーズ翻訳モデル、７０ ＨＭＭ学習部、８０ セグメンテーション処理部、８２ セグメンテーション記憶部、８４ ラッティス作成部、８６ ラッティス記憶部
【特許請求の範囲】
【請求項１】
ソース言語の入力文をターゲット言語に翻訳する翻訳装置であって、
前記ソース言語のフレーズＮグラムモデル（Ｎは２以上の整数）、前記ターゲット言語のフレーズＮグラムモデルおよび所定の言語モデル、および前記ターゲット言語から前記ソース言語へのフレーズによる翻訳モデルを記憶するための記憶手段と、
前記ソース言語の入力文に対するセグメンテーションを行なうためのセグメンテーション手段と、
前記セグメンテーション手段により得られたセグメンテーションにしたがい、前記記憶手段に記憶された前記ソース言語の前記フレーズＮグラムモデル、前記ターゲット言語の前記フレーズＮグラムモデルおよび前記言語モデル、ならびに前記ターゲット言語から前記ソース言語への前記フレーズによる翻訳モデルを用いて、前記ターゲット言語のフレーズを任意の順序で、かつ前記ソース言語のフレーズＮグラムモデル、前記ターゲット言語の前記フレーズＮグラムモデルおよび前記言語モデル、ならびに前記フレーズによる翻訳モデルを用いて得た確率を各ノードとエッジとに付した、フレーズのラッティスを作成するためのラッティス作成手段と、
前記ラッティス作成手段により作成された前記ラッティスのうちで、最大確率を与える上位Ｍ個のフレーズシーケンスを探索するための探索手段とを含む、統計機械翻訳装置。
【請求項２】
前記探索手段は、前記ラッティス作成手段により作成された前記ラッティスのうちで、最大確率を与える上位Ｍ個のフレーズシーケンスをＡ＊探索アルゴリズムにより探索するための手段を含む、請求項１に記載の統計機械翻訳装置。
【請求項３】
前記ラッティス作成手段は、所定の確率条件を充足するノードのみを用いて前記ラッティスを作成するための手段を含む、請求項１または請求項２に記載の統計機械翻訳装置。
【請求項４】
前記フレーズによる翻訳モデルは、前記ターゲット言語の前記フレーズＮグラムモデル、前記ソース言語によるフレーズセグメンテーションモデル、および前記ターゲット言語から前記ソース言語へのフレーズ翻訳モデルの組合せにより形成される、請求項１〜請求項３のいずれかに記載の統計機械翻訳装置。
【請求項５】
コンピュータにより実行されると、請求項１〜請求項４のいずれかに記載の統計機械翻訳装置として当該コンピュータを動作させる統計機械翻訳プログラム。
【請求項１】
ソース言語の入力文をターゲット言語に翻訳する翻訳装置であって、
前記ソース言語のフレーズＮグラムモデル（Ｎは２以上の整数）、前記ターゲット言語のフレーズＮグラムモデルおよび所定の言語モデル、および前記ターゲット言語から前記ソース言語へのフレーズによる翻訳モデルを記憶するための記憶手段と、
前記ソース言語の入力文に対するセグメンテーションを行なうためのセグメンテーション手段と、
前記セグメンテーション手段により得られたセグメンテーションにしたがい、前記記憶手段に記憶された前記ソース言語の前記フレーズＮグラムモデル、前記ターゲット言語の前記フレーズＮグラムモデルおよび前記言語モデル、ならびに前記ターゲット言語から前記ソース言語への前記フレーズによる翻訳モデルを用いて、前記ターゲット言語のフレーズを任意の順序で、かつ前記ソース言語のフレーズＮグラムモデル、前記ターゲット言語の前記フレーズＮグラムモデルおよび前記言語モデル、ならびに前記フレーズによる翻訳モデルを用いて得た確率を各ノードとエッジとに付した、フレーズのラッティスを作成するためのラッティス作成手段と、
前記ラッティス作成手段により作成された前記ラッティスのうちで、最大確率を与える上位Ｍ個のフレーズシーケンスを探索するための探索手段とを含む、統計機械翻訳装置。
【請求項２】
前記探索手段は、前記ラッティス作成手段により作成された前記ラッティスのうちで、最大確率を与える上位Ｍ個のフレーズシーケンスをＡ＊探索アルゴリズムにより探索するための手段を含む、請求項１に記載の統計機械翻訳装置。
【請求項３】
前記ラッティス作成手段は、所定の確率条件を充足するノードのみを用いて前記ラッティスを作成するための手段を含む、請求項１または請求項２に記載の統計機械翻訳装置。
【請求項４】
前記フレーズによる翻訳モデルは、前記ターゲット言語の前記フレーズＮグラムモデル、前記ソース言語によるフレーズセグメンテーションモデル、および前記ターゲット言語から前記ソース言語へのフレーズ翻訳モデルの組合せにより形成される、請求項１〜請求項３のいずれかに記載の統計機械翻訳装置。
【請求項５】
コンピュータにより実行されると、請求項１〜請求項４のいずれかに記載の統計機械翻訳装置として当該コンピュータを動作させる統計機械翻訳プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−９９２０８（Ｐ２００６−９９２０８Ａ）
【公開日】平成１８年４月１３日（２００６．４．１３）
【国際特許分類】
【出願番号】特願２００４−２８１６３６（Ｐ２００４−２８１６３６）
【出願日】平成１６年９月２８日（２００４．９．２８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年度独立行政法人情報通信研究機構、研究テーマ「大規模コーパスベース音声対話翻訳技術の研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成１８年４月１３日（２００６．４．１３）
【国際特許分類】
【出願日】平成１６年９月２８日（２００４．９．２８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年度独立行政法人情報通信研究機構、研究テーマ「大規模コーパスベース音声対話翻訳技術の研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]