バイリンガルパラレルテキストをアライメントする方法及びそのためのコンピュータで実行可能なプログラム
【課題】異なる語族の２言語の文を高い精度でアライメントする方法を提供する。
【解決手段】バイリンガルのパラレルテキスト３０の文をアライメントする方法は、互いの訳である文の確率を説明する長さベースの確率モデル３４を、文の長さ情報と、対応する単語ペアを含む言語情報４２とに基づいて提供するステップと、バイリンガルのパラレルテキスト３６の文をアライメントして（８４、８８）、長さベースの確率モデル３４を用いてダイナミックプログラミングアルゴリズムで計算されたアライメントの確率の総計が最大となるようにするステップと、バイリンガルテキスト中の句読点が互いにアライメントされるようにアライメントを訂正する（９２）ステップと、を含む。
【解決手段】バイリンガルのパラレルテキスト３０の文をアライメントする方法は、互いの訳である文の確率を説明する長さベースの確率モデル３４を、文の長さ情報と、対応する単語ペアを含む言語情報４２とに基づいて提供するステップと、バイリンガルのパラレルテキスト３６の文をアライメントして（８４、８８）、長さベースの確率モデル３４を用いてダイナミックプログラミングアルゴリズムで計算されたアライメントの確率の総計が最大となるようにするステップと、バイリンガルテキスト中の句読点が互いにアライメントされるようにアライメントを訂正する（９２）ステップと、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はバイリンガルコーパスの文のアライメントに関し、特に、中国語及び英語コーパス等のバイリンガルコーパスの、センテンス長に基づく拡張された文アライメントに関する。
【背景技術】
【０００２】
最近、バイリンガルコーパスの文のアライメント（対応付け）に関する多くの研究がなされている。非特許文献１、２及び３を参照されたい。文のアライメントは、機械翻訳の基本的要素の一つであって、翻訳情報と、バイリンガルコーパスに関する統計的パラメータとを提供する。特に、テキストのアライメントは統計的機械翻訳に不可欠である。
【０００３】
一般に、テキストアライメントの方法の研究として、基本的で同時に主要でもある二つの方面からの研究がある。すなわち、レキシコンに基づくものと、統計的なものとである。レキシコンに基づく手法では、文をアライメントするために、バイリンガルのレキシコンを利用する（非特許文献３及び４）。中国語と英語とのアライメントではまた、中国語のセグメント化及び品詞（Ｐａｒｔ Ｏｆ Ｓｐｅｅｃｈ：ＰＯＳ）情報等の他の情報も必要とされる。
【０００４】
統計的な手法では言語知識はほとんど必要とされない。この手法は、バイリンガルのセンテンス長と、長さの分布のみに関連する。
【０００５】
現在、アルファベット系の言語をアライメントするためにセンテンス長に基づく手法が広く用いられており、同じ語族の言語をアライメントするには良好な結果が得られることが分っている。しかし、言語が異なる語族に属する場合、アライメントの精度は低く、問題が生じる。特に、一方の言語が中国語である場合、センテンス長に基づくアライメントには問題があることが知られている。なぜなら中国語はアルファベット系の言語とは全く異なるからである。
【０００６】
非特許文献２において、ウーは統計的手法とレキシコンによる手法とを同時に組合せた混合手法を提案している。ウーは上述の単一の手法の利点を利用し、レキシコンを手がかりとしたセンテンス長に基づく手法を提案している。
【非特許文献１】ゲール チャーチ、「バイリンガルコーパスで文をアライメントするためのプログラム」、コンピュータ言語学、１９（１）：７５−１０２、１９９１（Gale, Church, "A Program for Aligning Sentences in Bilingual Corpora", Computational Linguistics 19(1): 75-102, 1991.）
【非特許文献２】デカイ ウー、「パラレル英語−中国語コーパスのレキシコン基準を用いた統計的対応付け処理」、ＡＣＬ‐３２、年次学会予稿集、第８０−８７頁、１９９３（DeKai Wu. "Aligning a Parallel English-Chinese Corpus Statistically with Lexical Criteria", in the proceeding of Annual meeting of ACL-32, pp.80-87, 1993.）
【非特許文献３】Ｓ．Ｆ．チェン、「レキシコン情報を用いたバイリンガルコーパスの文の対応付け処理」、ＡＣＬ‐３１、年次学会予稿集、１９９３（S. F. Chen, "Aligning Sentences in Bilingual Corpora Using Lexical Information", in the proceeding of Annual meeting of ACL-31, 1993.）
【非特許文献４】Ｍ．ケイ及びＫ．ローシャイセン、「テキスト翻訳アライメント」コンピュータ言語学、１９（１）、第１２１−１４２頁、１９９３（M. Kay & K. Roescheisen, "Text-Translation Alignment", Computational Linguistics 19(1), pp. 121-142, 1993.）
【非特許文献５】Ｐ．Ｆ．ブラウン、Ｊ．Ｃ．レイ及びＲ．Ｌ．メルサ、「パラレルコーパスの文の対応付け処理」、ＡＣＬ‐２９、年次学会予稿集、第１６９−１７６頁、１９９１（P. F. Brown, J. C. Lai & R. L. Mercer, "Aligning Sentences in Parallel Corpora", in the proceeding of Annual meeting of ACL-29, pp.169-176, 1991.）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、先行技術による、異なる語族の２言語でのパラレルテキスト中の文のアライメントは、精度が低いことが分っている。特に中国語−英語の文のアライメントは非常に困難でその精度が低いことが知られている。
【０００８】
したがって、この発明の目的の一つは、異なる語族の２言語の文を高い精度でアライメントする方法を提供することである。
【０００９】
この発明の別の目的は、中国語−英語の文を高い精度でアライメントする方法を提供することである。
【課題を解決するための手段】
【００１０】
この発明の一局面は、第１の言語と第２の言語とのバイリンガルパラレルテキストの文をアライメントする、コンピュータで実現される以下のステップを含む方法に関する。すなわち、この方法は、第１の言語の文と第２の言語の文とが互いの訳である確率を算出するための、センテンス長に基づく確率モデルを、センテンス長情報と単語ペアの集合とに基づいて準備するステップを含み、ペアの各々は第１の言語の単語と第２の言語の単語とのペアを含む。この方法はさらに、センテンス長に基づく確率を用いてダイナミックプログラミングアルゴリズムで計算されたアライメントの合計確率が最大になるようにバイリンガルパラレルテキストの文をアライメントするステップと、バイリンガルパラレルテキストの対応する句読点が互いにアライメントされるように、アライメントを訂正するステップとを含む。
【００１１】
センテンス長に基づく確率モデルを第１及び第２の言語の単語ペアと組合せることにより、アライメント誤差率を少なくできる。
【００１２】
好ましくは、ペアの各々は、所定の品詞（主に名詞）の単語ペアを含む。単語ペアはバイリンガルのレキシコンとして準備される。
【００１３】
さらに好ましくは、ペアの幾つかは、それぞれ所定の実在物（客観的・概念的なものを含む。）を第１の言語でそれぞれ表す固有名詞と、それら所定の実在物を第２の言語でそれぞれ表す対応の固有名詞とをそれぞれ含む。
【００１４】
固有名詞は、両方の言語で容易に見つけることができる。その対応が明らかだからである。これによってアライメントが正確か否かを判断することが容易になり、したがってアライメント誤差も大幅に減少する。
【００１５】
さらに好ましくは、センテンス長に基づく確率モデルは、互いの訳である第１の言語の文と第２の言語の文との確率が二つのセンテンス長の比に基づいて算出されるように準備される。
【００１６】
各センテンス長は、文中の文字の数で計数してもよい。
【００１７】
一文中の単語数は言語の種類によって異なるであろう。この構成により、単語がデリミタによって分離されていない場合でも、文のセグメント化が不要となる。したがって、中国語、日本語等を含むいずれの言語にも、この方法を適用することができる。
【００１８】
この発明の別の局面は、コンピュータ上で実行されると、上述の方法のいずれかの全てのステップをコンピュータに実行させる、コンピュータで実行可能なプログラムに関する。
【発明を実施するための最良の形態】
【００１９】
[構造]
この発明の一実施の形態は、パラレルテキストにおける中国語−英語の文をアライメントするための新たな手法に関する。この混合手法は、主にセンテンス長に基づく手法に基づき、同時に、バイリンガルレキシコンからの語彙的な情報も考慮する。
【００２０】
この混合手法はセグメント化及び品詞タグ付け等、中国語を更に処理することを不要にするだけでなく、統計的手法において幾つかの中国語のキーワードを使用することによって、文のアライメント精度を向上させる。この実施の形態で用いられるバイリンガルコーパスは、ＬＤＣ（Ｌｉｎｇｕｉｓｔｉｃ Ｄａｔａ Ｃｏｎｓｏｒｔｉｕｍ）コーパスである。
【００２１】
図１はこの発明の一実施の形態に従った文アライメントシステム２０の構成を示すブロック図である。図１を参照して、文アライメントシステム２０は、文ごとにアライメントされた英語コーパス６０及び中国語コーパス６２を含むトレーニングコーパス３０と、トレーニングコーパス３０を用いてセンテンス長に基づく手法のための確率モデル３４をトレーニングするトレーニングモジュール３２とを含む。確率モデル３４は英語と中国語のコーパスの最尤の割当方法を求めるために用いられる。バイリンガル文の各ペアに対し、確率モデル３４は二つのセンテンス長の比に基づいた確率スコアを割当てる。
【００２２】
文アライメントシステム２０はさらに、英語コーパス７０及び中国語コーパス７２を含む入力コーパス３６をアライメントして、アライメントされた出力コーパス４４を出力する、文アライメント装置３８と、中国語コーパス７２中の中国語文のセグメント化及び中国語単語への適切な品詞（ＰＯＳ）タグ付けの際に文アライメント装置３８によって使用される辞書（レキシコン）４０と、アライメントを向上させるために用いられる言語学的情報を記憶する言語情報記憶部４２とを含む。アライメントされた出力コーパス４４は英語コーパス１００及び中国語コーパス１０２を含み、これらは基本的に、それぞれ英語コーパス６０及び中国語コーパス６２と同一である。
【００２３】
文アライメント装置３８は、中国語コーパス７２の文を辞書４０を用いて形態素にセグメント化するセグメント化モジュール８０と、辞書４０を用いて各形態素にＰＯＳタグをタグ付けするためのＰＯＳタグ付けモジュール８２とを含む。セグメント化とＰＯＳタグ付けの目的は、バイリンガルコーパス中で固有名詞を見つけることである。文アライメント装置３８はさらに、英語コーパス７０中の文と、セグメント化されＰＯＳタグ付けされた中国語文とを、アライメントされた文ペアの、確率モデル３４で計算された確率が最大となるようにアライメントして、最大確率のアライメントを第１の結果８６として出力するためのアライメントモジュール８４を含む。文は確率モデル３４のみでアライメントされているので、第１の結果８６は多くの誤差を含むものと考えられる。
【００２４】
文アライメント装置３８はさらに、言語情報記憶部４２に記憶された言語情報を用いて第１の結果８６を訂正し、訂正されたアライメントを第２の結果９０として出力する第１の訂正モジュール８８と、英語及び中国語の句読点情報を用いて第２の結果９０を訂正する第２の訂正モジュール９２とを含む。
【００２５】
この実施の形態で用いられるトレーニングコーパス３０中のバイリンガルテキストは、ＬＤＣコーパスである。これらのファイルは、３つの形式、すなわち、Ｂｉｇ５と、ＧＢコーディングと、対応の英訳文という形式の香港の新聞記事である。この実施の形態では、Ｂｉｇ５コーディングのテキストはＧＢコーディングに変換される。変換後、アライメントされたバイリンガルのコーパスの属性が分析される。完成したパラレルテキストは高品質の逐語訳を含むことになる。このバイリンガルテキストから、バイリンガルペアの翻訳の種類を特定する情報が得られる。ほとんどの中国語文と英語の訳文は１対１タイプである。１対２または２対１の割合は少なく、ごく稀に、ｍが２より大きいｍ対ｍなどと、他の構成とがある。最後の、ｍを持つタイプは全て２対２に統一される。
【００２６】
文アライメントのセンテンス長に基づく手法（非特許文献５）は、英語とフランス語、及び同じ語族の他の言語については良好な結果を生じることが知られている。中国語はアルファベット系の言語とは明確に異なる。したがって、中国語−英語については、アライメント処理は異なっている。
【００２７】
センテンス長に基づく手法は二つの言語の文字列長による統計的モデル（確率モデル３４）に基づくものである。基本的原理は、二つのセンテンス長の比に基づいて、バイリンガル文の各ペアに確率スコアを割当てる、というものである。トレーニングコーパス３０からトレーニングされた確率モデル３４を用いて、入力コーパス３６中の文の全てのアライメントから最大尤度のアライメントを見出す。
【００２８】
以下にその統計的モデルを示す。ここでＡはアライメントされたペアであり、ＬＳ及びＬＴはそれぞれソース言語とターゲット言語を表す。
【００２９】
【数１】
式（１）は、単一のアライメントされたペアの確率は独立であるとして、最大化問題により近似される。
【００３０】
【数２】
式（２）はさらにベイズの定理により近似され、その結果、モデルは｜ｌｓ｜及び｜ｌｔ｜の関数であるパラメータδのみに依存するようになる。
【００３１】
【数３】
上の式で、｜ｌｓ｜及び｜ｌｔ｜はそれぞれ中国語及び英語の、文字数で計数した長さである。Ｍ（ＬＳ，ＬＴ）はアライメントされた「タイプ」である。
【００３２】
現在、センテンス長を計算する幾つかの方法がある（非特許文献５）。セグメント化の誤差を避けるため、文中の語数ではなく文字数を計数した。中国語の文字の各々と中国語の句読点とは長さ２を有するが、英語の文字と句読点との長さは１である。
【００３３】
ここで、モデルを値ｃと分散ｓ２とで示す。ｓ２は長さに比例する。この実施の形態では、ＬＤＣコーパス（トレーニングコーパス３０）でｃ＝１．６３でありｓ２＝３．２である。この場合δは正規分布を有し、以下で定義される。
【００３４】
【数４】
アライメントには４種類がある。１対１のペア、１対２のペア、２対１のペア、及び２対２のペアである。アライメントの種類による事前確率を表１に示す。４種類が学習され、アライメントされたトレーニングコーパス３０にそれらが出現する頻度から対応の確率が推定される。
【００３５】
【表１】
センテンス長パラメータのみでは中国語−英語アライメントに対しては十分でない。アライメント精度をさらに改良するためには、言語学的情報が必要とされる。アライメントでは、語が同じ起源であることに着目するが、中国語と英語のパラレルテキストで音韻的、又は意味論的な起源が同じであることを認識するのは困難である。
【００３６】
このため、第１の訂正モジュールが、バイリンガルコーパス中の中国語のキーワード情報等の言語学的情報をセンテンス長に基づく手法と組合せる。この情報は記憶部４２に記憶され、主に文の主要語を含む。これらの単語は特定の品詞であり、特定の、客観的・概念的なものを含む実在物を示すものと考えられる。典型的な例は組織又は人の名前等の固有名詞である。第１と第２の言語間でのこれらの対応は明確である。キーワード情報の例を図２に示す。
【００３７】
図２を参照して、中国語の単語
【００３８】
【数５】
と英語の“Ｐｒｉｎｃｅ ｏｆ Ｗａｌｅｓ”とは対応する固有名詞であり、同じ実在物を示す。アライメントされた文、又は誤ってアライメントされた文からこれらの対応する単語を見出すことにより、アライメントの精度又は失敗を確認し、または訂正することができる。
【００３９】
ここで、式（２）はレキシコン情報により、以下の近似式に置換可能である。
【００４０】
【数６】
ここでｃｉ＝ｆｒｅｑ（Ｃｗｏｒｄｉ，Ｌｓ）であり、ｅｉ＝（Ｅｗｏｒｄｉ，ＬＴ）であり、Ｃｗｏｒｄｉ及びＥｗｏｒｄｉはそれぞれバイリンガルコーパス中の中国語及び英語の単語情報を示す。
【００４１】
これらは、パラメータδｉで以下のように統一される。
【００４２】
【数７】
ベイズの定理により、これはさらに以下のように変形される。
【００４３】
【数８】
第１の訂正モジュール８８は式（５）を用いて第１の結果８６を訂正する。こうして、トレーニングモジュール３２と言語情報４２とは、第１の言語の文と第２の言語の文とが互いの訳である確率を算出するための、センテンス長に基づく確率モデルを、センテンス長情報と単語ペアの集合とに基づいて提供する。なお、ペアの各々は第１の言語の単語と第２の言語の単語とを含む。アライメントモジュール８４と第１の訂正モジュール８８とは、センテンス長に基づく確率を用いてダイナミックプログラミングアルゴリズムで計算されたアライメントの合計確率が最大になるように、入力コーパス３６の文をアライメントする。
【００４４】
実際には、センテンス長に基づく手法の結果を訂正するには句読点情報も重要である。句読点は順序付きのバイリンガルテキスト間の内部での並びを決定するのに役立つ。
【００４５】
第２の訂正モジュール９２は第１の訂正モジュールから出力された第２の結果９０を、句読点マッチングによって訂正する。４つの主な文の句読点ペアがある。すなわち、中国語と英語でそれぞれ文の終わりを示す「；／;」と、「。／.」と、「？／?」と「！／!」とである。第１の結果８６では、幾つかの中国語と英語の文が正しくアライメントされていないことがあり得る。句読点のミスマッチがあるからである。これらの誤りは以下の状況で生じる。
【００４６】
（１）「（ ）」及び「“ ”」等の句読点は、中国語では通常一文の中に現れるが、英語では別の文で２個の独立したペアに分けられることがある。このような状況は、中国語の文が別の新聞または人から引用されたものであり、２以上の完全な文を含むという条件で生じる。
【００４７】
（２）図３に示すように、中国語の文が、中国語のカンマで示される複数の節を含み、その節の各々が、文末を示す句読点を伴った英語の訳を有する場合、最初のアライメントタイプは節をアライメントするだけでは１対２となる。したがって、複雑な中国語及び英語文をアライメントすることでアライメントタイプは１対１に変更される。
【００４８】
状況（１）は、すべての句読点ペアのマッチングを見出し、分割された中国語文を合体させることによって解決する。状況（２）の場合、中国語での節の数を計数してアライメントタイプを１対１に変更する。状況（２）によって、アライメント誤りは容易に広がっていく。
【００４９】
文をアライメントする処理は、アライメントモジュール８４により、ダイナミックプログラミングアルゴリズムで行なわれる。ソース言語文をＳｉ，ｉ＝１…ｓとし、ターゲット言語文をＴｊ，ｊ＝１…ｔとする。アライメントされた文のシーケンスはＡ（ｋ）＝｛＜Ｓｋ，Ｔｋ＞，ｋ∈[０,Ｋ]｝である。ただし、Ｋはこれらアライメント文の数である。
【００５０】
ダイナミックプログラミングアルゴリズムの手順において、目的とするところは、式（６）を最小にするアライメントされた文のペアを見出すことであり、ｇ（ｉ，ｊ）は再帰的に計算される。
【００５１】
【数９】
ダイナミックプログラミング処理を図４に示す。図４を参照して、手順はステップ１１０で始まり、ここで変数ｉ及びｊが１に初期化され、ｇ（ｉ，ｊ）が０に初期化される。ステップ１１２で、４種類のｇ（ｉ，ｊ）が一致のタイプと確率ｇ（ｉ−１，ｊ−１）、ｇ（ｉ−１，ｊ−２）、ｇ（ｉ−２，ｊ−１）及びｇ（ｉ−２，ｊ−２）とにしたがって計算される。
【００５２】
ステップ１１４で、終点に至るまでの経路が２以上あるかが判断される。もし２以上の経路がある場合は、ステップ１１６で最小のｇ（ｉ，ｊ）となる経路を選択し、制御はステップ１１８に進む。さもなければ、制御は直接ステップ１１８に進む。ステップ１１８で、段落の終点に達したか否かが判断される。もし終点に達していれば、経路が成功裏に見出されたと判断して処理を終了する。さもなければ、ステップ１２０で変数ｉを１だけ増分し、制御はステップ１１２に戻る。
【００５３】
このようなダイナミックプログラミングにより、図１に示すアライメントモジュール８４はセンテンス長に基づくアライメントを決定する。
【００５４】
[動作]
文アライメントシステム２０の動作には二つの局面が存在する。第１の局面では、トレーニングモジュール３２がトレーニングコーパス３０を用いて確率モデル３４をトレーニングする。確率モデル３４が準備され、辞書４０と言語情報記憶部４２とが準備されると、文アライメント装置３８は第２の局面の動作を行なうことができる。
【００５５】
入力コーパス３６が与えられると、セグメント化モジュール８０は中国語コーパス７２の文を多数の形態素にセグメント化し、ＰＯＳタグ付けモジュール８２は形態素の各々に対応のＰＯＳタグを付す。これらの動作は辞書４０を用いて行なわれる。
【００５６】
その後、アライメントモジュール８４は英語コーパス７０の文と中国語コーパス７２の文とを、確率モデル３４を用いて、図４に示すダイナミックプログラミングによりアライメントする。アライメントモジュール８４は、最小のｇ（ｉ，ｊ）に対応するアライメントの結果を、第１の結果８６として出力する。
【００５７】
第１の結果８６は誤差を含むものと考えられるので、第１の訂正モジュールが第１の結果８６を、図２に示すような言語情報を用いて訂正する。訂正されたアライメントは第１の訂正モジュール８８から第２の結果９０として出力される。
【００５８】
第２の訂正モジュール９２はさらに、句読点の対応付けに基づいて第２の訂正モジュール９２を訂正する。訂正された結果はアライメントされたコーパス４４として出力される。
【００５９】
センテンス長に基づく手法とレキシコンによる手法とは、中国語−英語文のアライメントにおいてはそれぞれ長所と短所とを持つ。センテンス長に基づく手法は主に２言語の統計的パラメータに依存し、言語知識からは独立している。この実施の形態は、中国語の言語に固有の特徴に基づき、キーワード情報と句読点とを同時に考慮するという点で優れている。
【００６０】
純粋にレキシコンによる手法は、大規模なコーパスでは、特に中国語の処理が複雑であるため、中国語−英語のアライメントというタスクにはふさわしくない。センテンス長に基づく手法は大規模なバイリンガルテキストに適しており、多言語に移植可能である。中国語はセンテンス長のパラメータに対する感度が低いので、この実施の形態で示したようなセンテンス長に基づく拡張手法は上述の二つの手法の利点を組合わせて利用している。
【００６１】
[実験結果]
１９９７年から１９９９年の間に香港の新聞に載った香港のニュースについてのＬＤＣコーパスを用い、実験を行なった。テスト用のテキストはランダムに選択され、２８８０のバイリンガルのパラレルな文を含む。
【００６２】
アライメント精度は、以下の式（７）で計算した。
精度＝Ｎｕｍｃ／Ｎｕｍｔ （７）
ただし、Ｎｕｍｃは人の判断による、正しくアライメントされた文の数であり、Ｎｕｍｔはテストセット中のアライメント文の総数である。テストの結果を表２に示す。
【００６３】
【表２】
この結果から、拡張された手法に従ったこの実施の形態は、レキシコン情報及び句読点を結果の訂正に導入した場合、純粋なセンテンス長に基づく手法より良好なアライメント精度を達成することが分る。
【００６４】
当業者であれば、この発明の上述の実施の形態をコンピュータハードウェアとそのハードウェア上で実行されるコンピュータソフトウェアで実現できることを理解するであろう。コンピュータプログラムはコンピュータ読出可能媒体に記憶され頒布されてもよい。このようなコンピュータソフトウェア、そのソフトウェアを記憶する媒体、及びソフトウェアでプログラムされるコンピュータは、そのプログラムが請求項のいずれかに記載された全てのステップを実行するかまたは全ての機能を満足する限り、この発明の範囲に含まれる。
【００６５】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００６６】
【図１】この発明の一実施の形態に従った文アライメントシステム２０の構造を示すブロック図である。
【図２】言語情報記憶部４２の見出し語例を示す図である。
【図３】句読点ミスマッチの例を示す図である。
【図４】２個のコーパスの文をアライメントするためのダイナミックプログラミング手順を示す図である。
【符号の説明】
【００６７】
２０ 文アライメントシステム
３０ トレーニングコーパス
３２ トレーニングモジュール
３４ 確率モデル
３６ 入力コーパス
３８ 文アライメント装置
４０ 辞書
４２ 言語情報
４４ 出力コーパス
８０ セグメント化モジュール
８２ ＰＯＳタグ付けモジュール
８４ アライメントモジュール
８８ 第１の訂正モジュール
９２ 第２の訂正モジュール
【技術分野】
【０００１】
この発明はバイリンガルコーパスの文のアライメントに関し、特に、中国語及び英語コーパス等のバイリンガルコーパスの、センテンス長に基づく拡張された文アライメントに関する。
【背景技術】
【０００２】
最近、バイリンガルコーパスの文のアライメント（対応付け）に関する多くの研究がなされている。非特許文献１、２及び３を参照されたい。文のアライメントは、機械翻訳の基本的要素の一つであって、翻訳情報と、バイリンガルコーパスに関する統計的パラメータとを提供する。特に、テキストのアライメントは統計的機械翻訳に不可欠である。
【０００３】
一般に、テキストアライメントの方法の研究として、基本的で同時に主要でもある二つの方面からの研究がある。すなわち、レキシコンに基づくものと、統計的なものとである。レキシコンに基づく手法では、文をアライメントするために、バイリンガルのレキシコンを利用する（非特許文献３及び４）。中国語と英語とのアライメントではまた、中国語のセグメント化及び品詞（Ｐａｒｔ Ｏｆ Ｓｐｅｅｃｈ：ＰＯＳ）情報等の他の情報も必要とされる。
【０００４】
統計的な手法では言語知識はほとんど必要とされない。この手法は、バイリンガルのセンテンス長と、長さの分布のみに関連する。
【０００５】
現在、アルファベット系の言語をアライメントするためにセンテンス長に基づく手法が広く用いられており、同じ語族の言語をアライメントするには良好な結果が得られることが分っている。しかし、言語が異なる語族に属する場合、アライメントの精度は低く、問題が生じる。特に、一方の言語が中国語である場合、センテンス長に基づくアライメントには問題があることが知られている。なぜなら中国語はアルファベット系の言語とは全く異なるからである。
【０００６】
非特許文献２において、ウーは統計的手法とレキシコンによる手法とを同時に組合せた混合手法を提案している。ウーは上述の単一の手法の利点を利用し、レキシコンを手がかりとしたセンテンス長に基づく手法を提案している。
【非特許文献１】ゲール チャーチ、「バイリンガルコーパスで文をアライメントするためのプログラム」、コンピュータ言語学、１９（１）：７５−１０２、１９９１（Gale, Church, "A Program for Aligning Sentences in Bilingual Corpora", Computational Linguistics 19(1): 75-102, 1991.）
【非特許文献２】デカイ ウー、「パラレル英語−中国語コーパスのレキシコン基準を用いた統計的対応付け処理」、ＡＣＬ‐３２、年次学会予稿集、第８０−８７頁、１９９３（DeKai Wu. "Aligning a Parallel English-Chinese Corpus Statistically with Lexical Criteria", in the proceeding of Annual meeting of ACL-32, pp.80-87, 1993.）
【非特許文献３】Ｓ．Ｆ．チェン、「レキシコン情報を用いたバイリンガルコーパスの文の対応付け処理」、ＡＣＬ‐３１、年次学会予稿集、１９９３（S. F. Chen, "Aligning Sentences in Bilingual Corpora Using Lexical Information", in the proceeding of Annual meeting of ACL-31, 1993.）
【非特許文献４】Ｍ．ケイ及びＫ．ローシャイセン、「テキスト翻訳アライメント」コンピュータ言語学、１９（１）、第１２１−１４２頁、１９９３（M. Kay & K. Roescheisen, "Text-Translation Alignment", Computational Linguistics 19(1), pp. 121-142, 1993.）
【非特許文献５】Ｐ．Ｆ．ブラウン、Ｊ．Ｃ．レイ及びＲ．Ｌ．メルサ、「パラレルコーパスの文の対応付け処理」、ＡＣＬ‐２９、年次学会予稿集、第１６９−１７６頁、１９９１（P. F. Brown, J. C. Lai & R. L. Mercer, "Aligning Sentences in Parallel Corpora", in the proceeding of Annual meeting of ACL-29, pp.169-176, 1991.）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、先行技術による、異なる語族の２言語でのパラレルテキスト中の文のアライメントは、精度が低いことが分っている。特に中国語−英語の文のアライメントは非常に困難でその精度が低いことが知られている。
【０００８】
したがって、この発明の目的の一つは、異なる語族の２言語の文を高い精度でアライメントする方法を提供することである。
【０００９】
この発明の別の目的は、中国語−英語の文を高い精度でアライメントする方法を提供することである。
【課題を解決するための手段】
【００１０】
この発明の一局面は、第１の言語と第２の言語とのバイリンガルパラレルテキストの文をアライメントする、コンピュータで実現される以下のステップを含む方法に関する。すなわち、この方法は、第１の言語の文と第２の言語の文とが互いの訳である確率を算出するための、センテンス長に基づく確率モデルを、センテンス長情報と単語ペアの集合とに基づいて準備するステップを含み、ペアの各々は第１の言語の単語と第２の言語の単語とのペアを含む。この方法はさらに、センテンス長に基づく確率を用いてダイナミックプログラミングアルゴリズムで計算されたアライメントの合計確率が最大になるようにバイリンガルパラレルテキストの文をアライメントするステップと、バイリンガルパラレルテキストの対応する句読点が互いにアライメントされるように、アライメントを訂正するステップとを含む。
【００１１】
センテンス長に基づく確率モデルを第１及び第２の言語の単語ペアと組合せることにより、アライメント誤差率を少なくできる。
【００１２】
好ましくは、ペアの各々は、所定の品詞（主に名詞）の単語ペアを含む。単語ペアはバイリンガルのレキシコンとして準備される。
【００１３】
さらに好ましくは、ペアの幾つかは、それぞれ所定の実在物（客観的・概念的なものを含む。）を第１の言語でそれぞれ表す固有名詞と、それら所定の実在物を第２の言語でそれぞれ表す対応の固有名詞とをそれぞれ含む。
【００１４】
固有名詞は、両方の言語で容易に見つけることができる。その対応が明らかだからである。これによってアライメントが正確か否かを判断することが容易になり、したがってアライメント誤差も大幅に減少する。
【００１５】
さらに好ましくは、センテンス長に基づく確率モデルは、互いの訳である第１の言語の文と第２の言語の文との確率が二つのセンテンス長の比に基づいて算出されるように準備される。
【００１６】
各センテンス長は、文中の文字の数で計数してもよい。
【００１７】
一文中の単語数は言語の種類によって異なるであろう。この構成により、単語がデリミタによって分離されていない場合でも、文のセグメント化が不要となる。したがって、中国語、日本語等を含むいずれの言語にも、この方法を適用することができる。
【００１８】
この発明の別の局面は、コンピュータ上で実行されると、上述の方法のいずれかの全てのステップをコンピュータに実行させる、コンピュータで実行可能なプログラムに関する。
【発明を実施するための最良の形態】
【００１９】
[構造]
この発明の一実施の形態は、パラレルテキストにおける中国語−英語の文をアライメントするための新たな手法に関する。この混合手法は、主にセンテンス長に基づく手法に基づき、同時に、バイリンガルレキシコンからの語彙的な情報も考慮する。
【００２０】
この混合手法はセグメント化及び品詞タグ付け等、中国語を更に処理することを不要にするだけでなく、統計的手法において幾つかの中国語のキーワードを使用することによって、文のアライメント精度を向上させる。この実施の形態で用いられるバイリンガルコーパスは、ＬＤＣ（Ｌｉｎｇｕｉｓｔｉｃ Ｄａｔａ Ｃｏｎｓｏｒｔｉｕｍ）コーパスである。
【００２１】
図１はこの発明の一実施の形態に従った文アライメントシステム２０の構成を示すブロック図である。図１を参照して、文アライメントシステム２０は、文ごとにアライメントされた英語コーパス６０及び中国語コーパス６２を含むトレーニングコーパス３０と、トレーニングコーパス３０を用いてセンテンス長に基づく手法のための確率モデル３４をトレーニングするトレーニングモジュール３２とを含む。確率モデル３４は英語と中国語のコーパスの最尤の割当方法を求めるために用いられる。バイリンガル文の各ペアに対し、確率モデル３４は二つのセンテンス長の比に基づいた確率スコアを割当てる。
【００２２】
文アライメントシステム２０はさらに、英語コーパス７０及び中国語コーパス７２を含む入力コーパス３６をアライメントして、アライメントされた出力コーパス４４を出力する、文アライメント装置３８と、中国語コーパス７２中の中国語文のセグメント化及び中国語単語への適切な品詞（ＰＯＳ）タグ付けの際に文アライメント装置３８によって使用される辞書（レキシコン）４０と、アライメントを向上させるために用いられる言語学的情報を記憶する言語情報記憶部４２とを含む。アライメントされた出力コーパス４４は英語コーパス１００及び中国語コーパス１０２を含み、これらは基本的に、それぞれ英語コーパス６０及び中国語コーパス６２と同一である。
【００２３】
文アライメント装置３８は、中国語コーパス７２の文を辞書４０を用いて形態素にセグメント化するセグメント化モジュール８０と、辞書４０を用いて各形態素にＰＯＳタグをタグ付けするためのＰＯＳタグ付けモジュール８２とを含む。セグメント化とＰＯＳタグ付けの目的は、バイリンガルコーパス中で固有名詞を見つけることである。文アライメント装置３８はさらに、英語コーパス７０中の文と、セグメント化されＰＯＳタグ付けされた中国語文とを、アライメントされた文ペアの、確率モデル３４で計算された確率が最大となるようにアライメントして、最大確率のアライメントを第１の結果８６として出力するためのアライメントモジュール８４を含む。文は確率モデル３４のみでアライメントされているので、第１の結果８６は多くの誤差を含むものと考えられる。
【００２４】
文アライメント装置３８はさらに、言語情報記憶部４２に記憶された言語情報を用いて第１の結果８６を訂正し、訂正されたアライメントを第２の結果９０として出力する第１の訂正モジュール８８と、英語及び中国語の句読点情報を用いて第２の結果９０を訂正する第２の訂正モジュール９２とを含む。
【００２５】
この実施の形態で用いられるトレーニングコーパス３０中のバイリンガルテキストは、ＬＤＣコーパスである。これらのファイルは、３つの形式、すなわち、Ｂｉｇ５と、ＧＢコーディングと、対応の英訳文という形式の香港の新聞記事である。この実施の形態では、Ｂｉｇ５コーディングのテキストはＧＢコーディングに変換される。変換後、アライメントされたバイリンガルのコーパスの属性が分析される。完成したパラレルテキストは高品質の逐語訳を含むことになる。このバイリンガルテキストから、バイリンガルペアの翻訳の種類を特定する情報が得られる。ほとんどの中国語文と英語の訳文は１対１タイプである。１対２または２対１の割合は少なく、ごく稀に、ｍが２より大きいｍ対ｍなどと、他の構成とがある。最後の、ｍを持つタイプは全て２対２に統一される。
【００２６】
文アライメントのセンテンス長に基づく手法（非特許文献５）は、英語とフランス語、及び同じ語族の他の言語については良好な結果を生じることが知られている。中国語はアルファベット系の言語とは明確に異なる。したがって、中国語−英語については、アライメント処理は異なっている。
【００２７】
センテンス長に基づく手法は二つの言語の文字列長による統計的モデル（確率モデル３４）に基づくものである。基本的原理は、二つのセンテンス長の比に基づいて、バイリンガル文の各ペアに確率スコアを割当てる、というものである。トレーニングコーパス３０からトレーニングされた確率モデル３４を用いて、入力コーパス３６中の文の全てのアライメントから最大尤度のアライメントを見出す。
【００２８】
以下にその統計的モデルを示す。ここでＡはアライメントされたペアであり、ＬＳ及びＬＴはそれぞれソース言語とターゲット言語を表す。
【００２９】
【数１】
式（１）は、単一のアライメントされたペアの確率は独立であるとして、最大化問題により近似される。
【００３０】
【数２】
式（２）はさらにベイズの定理により近似され、その結果、モデルは｜ｌｓ｜及び｜ｌｔ｜の関数であるパラメータδのみに依存するようになる。
【００３１】
【数３】
上の式で、｜ｌｓ｜及び｜ｌｔ｜はそれぞれ中国語及び英語の、文字数で計数した長さである。Ｍ（ＬＳ，ＬＴ）はアライメントされた「タイプ」である。
【００３２】
現在、センテンス長を計算する幾つかの方法がある（非特許文献５）。セグメント化の誤差を避けるため、文中の語数ではなく文字数を計数した。中国語の文字の各々と中国語の句読点とは長さ２を有するが、英語の文字と句読点との長さは１である。
【００３３】
ここで、モデルを値ｃと分散ｓ２とで示す。ｓ２は長さに比例する。この実施の形態では、ＬＤＣコーパス（トレーニングコーパス３０）でｃ＝１．６３でありｓ２＝３．２である。この場合δは正規分布を有し、以下で定義される。
【００３４】
【数４】
アライメントには４種類がある。１対１のペア、１対２のペア、２対１のペア、及び２対２のペアである。アライメントの種類による事前確率を表１に示す。４種類が学習され、アライメントされたトレーニングコーパス３０にそれらが出現する頻度から対応の確率が推定される。
【００３５】
【表１】
センテンス長パラメータのみでは中国語−英語アライメントに対しては十分でない。アライメント精度をさらに改良するためには、言語学的情報が必要とされる。アライメントでは、語が同じ起源であることに着目するが、中国語と英語のパラレルテキストで音韻的、又は意味論的な起源が同じであることを認識するのは困難である。
【００３６】
このため、第１の訂正モジュールが、バイリンガルコーパス中の中国語のキーワード情報等の言語学的情報をセンテンス長に基づく手法と組合せる。この情報は記憶部４２に記憶され、主に文の主要語を含む。これらの単語は特定の品詞であり、特定の、客観的・概念的なものを含む実在物を示すものと考えられる。典型的な例は組織又は人の名前等の固有名詞である。第１と第２の言語間でのこれらの対応は明確である。キーワード情報の例を図２に示す。
【００３７】
図２を参照して、中国語の単語
【００３８】
【数５】
と英語の“Ｐｒｉｎｃｅ ｏｆ Ｗａｌｅｓ”とは対応する固有名詞であり、同じ実在物を示す。アライメントされた文、又は誤ってアライメントされた文からこれらの対応する単語を見出すことにより、アライメントの精度又は失敗を確認し、または訂正することができる。
【００３９】
ここで、式（２）はレキシコン情報により、以下の近似式に置換可能である。
【００４０】
【数６】
ここでｃｉ＝ｆｒｅｑ（Ｃｗｏｒｄｉ，Ｌｓ）であり、ｅｉ＝（Ｅｗｏｒｄｉ，ＬＴ）であり、Ｃｗｏｒｄｉ及びＥｗｏｒｄｉはそれぞれバイリンガルコーパス中の中国語及び英語の単語情報を示す。
【００４１】
これらは、パラメータδｉで以下のように統一される。
【００４２】
【数７】
ベイズの定理により、これはさらに以下のように変形される。
【００４３】
【数８】
第１の訂正モジュール８８は式（５）を用いて第１の結果８６を訂正する。こうして、トレーニングモジュール３２と言語情報４２とは、第１の言語の文と第２の言語の文とが互いの訳である確率を算出するための、センテンス長に基づく確率モデルを、センテンス長情報と単語ペアの集合とに基づいて提供する。なお、ペアの各々は第１の言語の単語と第２の言語の単語とを含む。アライメントモジュール８４と第１の訂正モジュール８８とは、センテンス長に基づく確率を用いてダイナミックプログラミングアルゴリズムで計算されたアライメントの合計確率が最大になるように、入力コーパス３６の文をアライメントする。
【００４４】
実際には、センテンス長に基づく手法の結果を訂正するには句読点情報も重要である。句読点は順序付きのバイリンガルテキスト間の内部での並びを決定するのに役立つ。
【００４５】
第２の訂正モジュール９２は第１の訂正モジュールから出力された第２の結果９０を、句読点マッチングによって訂正する。４つの主な文の句読点ペアがある。すなわち、中国語と英語でそれぞれ文の終わりを示す「；／;」と、「。／.」と、「？／?」と「！／!」とである。第１の結果８６では、幾つかの中国語と英語の文が正しくアライメントされていないことがあり得る。句読点のミスマッチがあるからである。これらの誤りは以下の状況で生じる。
【００４６】
（１）「（ ）」及び「“ ”」等の句読点は、中国語では通常一文の中に現れるが、英語では別の文で２個の独立したペアに分けられることがある。このような状況は、中国語の文が別の新聞または人から引用されたものであり、２以上の完全な文を含むという条件で生じる。
【００４７】
（２）図３に示すように、中国語の文が、中国語のカンマで示される複数の節を含み、その節の各々が、文末を示す句読点を伴った英語の訳を有する場合、最初のアライメントタイプは節をアライメントするだけでは１対２となる。したがって、複雑な中国語及び英語文をアライメントすることでアライメントタイプは１対１に変更される。
【００４８】
状況（１）は、すべての句読点ペアのマッチングを見出し、分割された中国語文を合体させることによって解決する。状況（２）の場合、中国語での節の数を計数してアライメントタイプを１対１に変更する。状況（２）によって、アライメント誤りは容易に広がっていく。
【００４９】
文をアライメントする処理は、アライメントモジュール８４により、ダイナミックプログラミングアルゴリズムで行なわれる。ソース言語文をＳｉ，ｉ＝１…ｓとし、ターゲット言語文をＴｊ，ｊ＝１…ｔとする。アライメントされた文のシーケンスはＡ（ｋ）＝｛＜Ｓｋ，Ｔｋ＞，ｋ∈[０,Ｋ]｝である。ただし、Ｋはこれらアライメント文の数である。
【００５０】
ダイナミックプログラミングアルゴリズムの手順において、目的とするところは、式（６）を最小にするアライメントされた文のペアを見出すことであり、ｇ（ｉ，ｊ）は再帰的に計算される。
【００５１】
【数９】
ダイナミックプログラミング処理を図４に示す。図４を参照して、手順はステップ１１０で始まり、ここで変数ｉ及びｊが１に初期化され、ｇ（ｉ，ｊ）が０に初期化される。ステップ１１２で、４種類のｇ（ｉ，ｊ）が一致のタイプと確率ｇ（ｉ−１，ｊ−１）、ｇ（ｉ−１，ｊ−２）、ｇ（ｉ−２，ｊ−１）及びｇ（ｉ−２，ｊ−２）とにしたがって計算される。
【００５２】
ステップ１１４で、終点に至るまでの経路が２以上あるかが判断される。もし２以上の経路がある場合は、ステップ１１６で最小のｇ（ｉ，ｊ）となる経路を選択し、制御はステップ１１８に進む。さもなければ、制御は直接ステップ１１８に進む。ステップ１１８で、段落の終点に達したか否かが判断される。もし終点に達していれば、経路が成功裏に見出されたと判断して処理を終了する。さもなければ、ステップ１２０で変数ｉを１だけ増分し、制御はステップ１１２に戻る。
【００５３】
このようなダイナミックプログラミングにより、図１に示すアライメントモジュール８４はセンテンス長に基づくアライメントを決定する。
【００５４】
[動作]
文アライメントシステム２０の動作には二つの局面が存在する。第１の局面では、トレーニングモジュール３２がトレーニングコーパス３０を用いて確率モデル３４をトレーニングする。確率モデル３４が準備され、辞書４０と言語情報記憶部４２とが準備されると、文アライメント装置３８は第２の局面の動作を行なうことができる。
【００５５】
入力コーパス３６が与えられると、セグメント化モジュール８０は中国語コーパス７２の文を多数の形態素にセグメント化し、ＰＯＳタグ付けモジュール８２は形態素の各々に対応のＰＯＳタグを付す。これらの動作は辞書４０を用いて行なわれる。
【００５６】
その後、アライメントモジュール８４は英語コーパス７０の文と中国語コーパス７２の文とを、確率モデル３４を用いて、図４に示すダイナミックプログラミングによりアライメントする。アライメントモジュール８４は、最小のｇ（ｉ，ｊ）に対応するアライメントの結果を、第１の結果８６として出力する。
【００５７】
第１の結果８６は誤差を含むものと考えられるので、第１の訂正モジュールが第１の結果８６を、図２に示すような言語情報を用いて訂正する。訂正されたアライメントは第１の訂正モジュール８８から第２の結果９０として出力される。
【００５８】
第２の訂正モジュール９２はさらに、句読点の対応付けに基づいて第２の訂正モジュール９２を訂正する。訂正された結果はアライメントされたコーパス４４として出力される。
【００５９】
センテンス長に基づく手法とレキシコンによる手法とは、中国語−英語文のアライメントにおいてはそれぞれ長所と短所とを持つ。センテンス長に基づく手法は主に２言語の統計的パラメータに依存し、言語知識からは独立している。この実施の形態は、中国語の言語に固有の特徴に基づき、キーワード情報と句読点とを同時に考慮するという点で優れている。
【００６０】
純粋にレキシコンによる手法は、大規模なコーパスでは、特に中国語の処理が複雑であるため、中国語−英語のアライメントというタスクにはふさわしくない。センテンス長に基づく手法は大規模なバイリンガルテキストに適しており、多言語に移植可能である。中国語はセンテンス長のパラメータに対する感度が低いので、この実施の形態で示したようなセンテンス長に基づく拡張手法は上述の二つの手法の利点を組合わせて利用している。
【００６１】
[実験結果]
１９９７年から１９９９年の間に香港の新聞に載った香港のニュースについてのＬＤＣコーパスを用い、実験を行なった。テスト用のテキストはランダムに選択され、２８８０のバイリンガルのパラレルな文を含む。
【００６２】
アライメント精度は、以下の式（７）で計算した。
精度＝Ｎｕｍｃ／Ｎｕｍｔ （７）
ただし、Ｎｕｍｃは人の判断による、正しくアライメントされた文の数であり、Ｎｕｍｔはテストセット中のアライメント文の総数である。テストの結果を表２に示す。
【００６３】
【表２】
この結果から、拡張された手法に従ったこの実施の形態は、レキシコン情報及び句読点を結果の訂正に導入した場合、純粋なセンテンス長に基づく手法より良好なアライメント精度を達成することが分る。
【００６４】
当業者であれば、この発明の上述の実施の形態をコンピュータハードウェアとそのハードウェア上で実行されるコンピュータソフトウェアで実現できることを理解するであろう。コンピュータプログラムはコンピュータ読出可能媒体に記憶され頒布されてもよい。このようなコンピュータソフトウェア、そのソフトウェアを記憶する媒体、及びソフトウェアでプログラムされるコンピュータは、そのプログラムが請求項のいずれかに記載された全てのステップを実行するかまたは全ての機能を満足する限り、この発明の範囲に含まれる。
【００６５】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００６６】
【図１】この発明の一実施の形態に従った文アライメントシステム２０の構造を示すブロック図である。
【図２】言語情報記憶部４２の見出し語例を示す図である。
【図３】句読点ミスマッチの例を示す図である。
【図４】２個のコーパスの文をアライメントするためのダイナミックプログラミング手順を示す図である。
【符号の説明】
【００６７】
２０ 文アライメントシステム
３０ トレーニングコーパス
３２ トレーニングモジュール
３４ 確率モデル
３６ 入力コーパス
３８ 文アライメント装置
４０ 辞書
４２ 言語情報
４４ 出力コーパス
８０ セグメント化モジュール
８２ ＰＯＳタグ付けモジュール
８４ アライメントモジュール
８８ 第１の訂正モジュール
９２ 第２の訂正モジュール
【特許請求の範囲】
【請求項１】
第１の言語と第２の言語とのバイリンガルパラレルテキストの文をアライメントする、コンピュータで実現される以下のステップを含む方法であって、
前記第１の言語の文と前記第２の言語の文とが互いの訳である確率を算出するための、センテンス長に基づく確率モデルを、センテンス長情報と単語ペアの集合とに基づいて準備するステップを含み、前記ペアの各々は前記第１の言語の単語と前記第２の言語の単語とのペアを含み、さらに
前記センテンス長に基づく確率を用いてダイナミックプログラミングアルゴリズムで計算されたアライメントの合計確率が最大になるように前記バイリンガルパラレルテキストの文をアライメントするステップと、
前記バイリンガルパラレルテキストの対応する句読点が互いにアライメントされるように、アライメントを訂正するステップとを含む、方法。
【請求項２】
前記ペアの各々は、所定の品詞の単語ペアを含む、請求項１に記載の方法。
【請求項３】
前記ペアの幾つかは、それぞれ所定の実在物を前記第１の言語でそれぞれ表す固有名詞と、前記所定の実在物を前記第２の言語でそれぞれ表す対応の固有名詞とを含む、請求項２に記載の方法。
【請求項４】
前記センテンス長に基づく確率モデルは、互いの訳である前記第１の言語の文と前記第２の言語の文との確率が二つの文の長さの比に基づいて算出されるように準備される、請求項１〜請求項３のいずれかに記載の方法。
【請求項５】
各文の長さは、文中の文字数で計数される、請求項１〜請求項４のいずれかに記載の方法。
【請求項６】
コンピュータ上で実行されると、請求項１〜請求項５のいずれかに記載の全てのステップを当該コンピュータに実行させる、コンピュータで実行可能なプログラム。
【請求項１】
第１の言語と第２の言語とのバイリンガルパラレルテキストの文をアライメントする、コンピュータで実現される以下のステップを含む方法であって、
前記第１の言語の文と前記第２の言語の文とが互いの訳である確率を算出するための、センテンス長に基づく確率モデルを、センテンス長情報と単語ペアの集合とに基づいて準備するステップを含み、前記ペアの各々は前記第１の言語の単語と前記第２の言語の単語とのペアを含み、さらに
前記センテンス長に基づく確率を用いてダイナミックプログラミングアルゴリズムで計算されたアライメントの合計確率が最大になるように前記バイリンガルパラレルテキストの文をアライメントするステップと、
前記バイリンガルパラレルテキストの対応する句読点が互いにアライメントされるように、アライメントを訂正するステップとを含む、方法。
【請求項２】
前記ペアの各々は、所定の品詞の単語ペアを含む、請求項１に記載の方法。
【請求項３】
前記ペアの幾つかは、それぞれ所定の実在物を前記第１の言語でそれぞれ表す固有名詞と、前記所定の実在物を前記第２の言語でそれぞれ表す対応の固有名詞とを含む、請求項２に記載の方法。
【請求項４】
前記センテンス長に基づく確率モデルは、互いの訳である前記第１の言語の文と前記第２の言語の文との確率が二つの文の長さの比に基づいて算出されるように準備される、請求項１〜請求項３のいずれかに記載の方法。
【請求項５】
各文の長さは、文中の文字数で計数される、請求項１〜請求項４のいずれかに記載の方法。
【請求項６】
コンピュータ上で実行されると、請求項１〜請求項５のいずれかに記載の全てのステップを当該コンピュータに実行させる、コンピュータで実行可能なプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００６−１２７４０５（Ｐ２００６−１２７４０５Ａ）
【公開日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【外国語出願】
【出願番号】特願２００４−３１８２０７（Ｐ２００４−３１８２０７）
【出願日】平成１６年１１月１日（２００４．１１．１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年４月１日付け、支出負担行為担当官総務省大臣官房会計課企画官、研究テーマ「ネットワーク・ヒューマン・インターフェースの総合的な研究開発（携帯電話等を用いた多言語自動翻訳システムの研究開発）」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【出願番号】特願２００４−３１８２０７（Ｐ２００４−３１８２０７）
【出願日】平成１６年１１月１日（２００４．１１．１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年４月１日付け、支出負担行為担当官総務省大臣官房会計課企画官、研究テーマ「ネットワーク・ヒューマン・インターフェースの総合的な研究開発（携帯電話等を用いた多言語自動翻訳システムの研究開発）」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]