翻訳装置
【課題】音声の入力開始後、短時間で入力された言語を判定する。
【解決手段】言語判定部２５は、入力音声の言語の特徴量を言語辞書２５−２に記憶された言語特徴量と比較して、入力音声の言語を判定する。話者判定部２７は、言語判定部２５によって判定された言語と併せて、入力音声の発話者の特徴量を話者辞書２７−２に記憶させると共に、入力音声の言語の特徴量を話者辞書２７−２に記憶された話者特徴量と比較して、入力音声の発話者の判定し、更に、その発話者の発話する言語を判定する。翻訳方向判定部２８は、会話の初期では、言語判定部２５の判定により、また、会話が進むにつれて、話者判定部２７の判定を重視して、入力音声の言語を判定する。
【解決手段】言語判定部２５は、入力音声の言語の特徴量を言語辞書２５−２に記憶された言語特徴量と比較して、入力音声の言語を判定する。話者判定部２７は、言語判定部２５によって判定された言語と併せて、入力音声の発話者の特徴量を話者辞書２７−２に記憶させると共に、入力音声の言語の特徴量を話者辞書２７−２に記憶された話者特徴量と比較して、入力音声の発話者の判定し、更に、その発話者の発話する言語を判定する。翻訳方向判定部２８は、会話の初期では、言語判定部２５の判定により、また、会話が進むにつれて、話者判定部２７の判定を重視して、入力音声の言語を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、翻訳装置に係り、特に、翻訳元言語と、翻訳先言語とを判定する処理に関する。
【背景技術】
【０００２】
音声を入力して翻訳する装置は、音声によって入力される言語（翻訳元言語）から、音声や、文章の表示によって出力する言語（翻訳先言語）への翻訳を行う際、翻訳元言語と、翻訳先言語とを判定することが不可欠である。この判定を装置の使用者の操作によらず、入力された音声に基づいて行う処理が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３２２５２３号公報（第２−３頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に開示されている方法では、翻訳元言語と、翻訳先言語との判定には、入力される音声によって発話者を同定可能とする事前の学習処理が必要である問題点があった。この問題点は、例えば、旅行先の街頭での会話を翻訳する際に顕著である。この翻訳の際、不特定の発話者の最初の発話から長い待ち時間なしに適切な翻訳が求められ、かつ、発話者の音声による学習は望めない。
【０００５】
本発明は上記問題点を解決するためになされたもので、音声の入力開始後、短時間で入力された言語を判定する翻訳装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の翻訳装置は、第１の言語の発話から第２の言語への翻訳、及び、前記第２の言語の発話から前記第１の言語への翻訳を行う翻訳装置であって、前記第１の言語の発話の言語特徴量と、前記第２の言語の発話の言語特徴量とを記憶する言語特徴量記憶手段と、発話を入力する入力手段と、前記入力手段によって入力された発話の言語特徴量を前記言語特徴量記憶手段に記憶された言語特徴量と比較することによって、その発話が前記第１の言語であるか前記第２の言語であるかを判定する言語判定手段と、前記入力手段によって入力された発話が第１の話者による発話か第２の話者による発話かを判定した結果に従って、その発話が前記第１の言語であるか前記第２の言語であるかを判定する話者判定手段と、前記言語判定手段による判定と、前記話者判定手段による判定とを参照して、前記入力手段によって入力された発話が前記第１の言語であるか前記第２の言語であるかを判定し、前記第１の言語であると判定された場合、前記発話を前記第１の言語から前記第２の言語に翻訳し、前記第２の言語であると判定された場合、前記発話を前記第２の言語から前記第１の言語に翻訳する音声翻訳手段とを有し、前記音声翻訳手段は、前記入力手段によって最初に入力された発話が前記第１の言語であるか前記第２の言語であるかを前記言語判定手段による判定に従って判定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、音声の入力開始後、短時間で入力された言語を判定する。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る移動通信装置の構成を示すブロック図。
【図２】本発明の実施形態に係る会話翻訳部の構成を示すブロック図。
【図３】本発明の実施形態に係る言語辞書の構成の一例を示す図。
【図４】本発明の実施形態に係る話者辞書の構成の一例を示す図。
【図５】本発明の実施形態に係る話者判定部による学習の動作のフローチャート。
【図６】本発明の実施形態に係る話者判定部による学習の際の話者の判断の概要を示す図。
【図７】本発明の実施形態に係る翻訳方向判定部による入力音声の言語を判定する動作のフローチャート。
【発明を実施するための形態】
【０００９】
以下に、本発明の実施形態に係る翻訳装置の実施の形態を、図面を参照して説明する。
【００１０】
図１は、本発明の実施形態に係る翻訳装置が適用された移動通信装置の構成を示すブロック図である。この移動通信装置は、装置全体の制御を行う制御部１１と、移動通信網通信部１２と、移動通信網に属する基地局（図示せず）との間で無線信号の送受信を行うアンテナ１２ａと、移動通信網送受信部１３と、音声処理部１４と、受話音声出力等に用いられるスピーカ１４ａと、送話音声入力等に用いられるマイクロフォン１４ｂと、使用者に情報を視覚的に提示する表示部１５と、使用者からの操作指示を入力する入力部１６と、第１の言語と、第２の言語とによる会話を翻訳する会話翻訳部２０とからなる。
【００１１】
ここで、第１の言語と、第２の言語とは、会話翻訳部２０の動作開始前に定められている。また、会話は、第１の話者による発話と、第２の話者による発話からなり、一方の話者は、第１の言語で発話し、他方の話者は、第２の言語で発話する。
【００１２】
図２は、会話翻訳部２０の構成を示すブロック図である。会話翻訳部２０は、制御部１１と接続され、会話翻訳部２０全体の制御を行う翻訳制御部２１と、音声処理部１４と接続されるバッファ２０−２と、話速推定部２２と、音素種別検出部２３と、話速正規化部２４と、言語判定部２５と、言語辞書２５−２と、話者特徴量算出部２６と、話者判定部２７と、話者辞書２７−２と、翻訳方向判定部２８と、音声翻訳部２９とからなる。
【００１３】
バッファ２０−２には、音声処理部１４によって入力音声が記憶され、処理が終了した入力音声は、翻訳制御部２１によって消去される。なお、図２で、信号の流れと制御の流れとを矢印によって示したが、この矢印は理解を容易にするためのものであり、必ずしも全ての流れを示すものではない。
【００１４】
図３は、言語辞書２５−２の構成の一例を示す。言語辞書２５−２は、言語２５−２ａと、その言語の発話の特徴量である言語特徴量２５−２ｂとからなり、言語２５−２ａが「第１の言語」である情報と、「第２の言語」である情報とからなる。言語特徴量２５−２ｂは、ベクトル量子化（ＶＱ、Vector Quantization）や、混合ガウス分布（ＧＭＭ、Gaussian Mixture Model）等の手法による言語モデルに基づく特徴量である。言語辞書２５−２は、装置の製造時に記憶される。又は、会話翻訳部２０の動作開始前に所定の言語データサーバ装置（図示せず）からダウンロードされる。
【００１５】
図４は、話者辞書２７−２の構成の一例を示す。話者辞書２７−２は、発話者２７−２ａと、その発話者の発話の特徴量である話者特徴量２７−２ｂと、その発話者の発話が第１の言語である確率である第１の言語確率２７−２ｃと、その発話者の発話が第２の言語である確率である第２の言語確率２７−２ｄとからなり、発話者２７−２ａが「第１の話者」である情報と、「第２の話者」である情報とからなる。話者特徴量２７−２ｂは、例えば、メル周波数ケプストラム係数（ＭＦＣＣ、Mel-Frequency Cepstrum Coefficient）であり、話速を含んでも良い。
【００１６】
なお、話者特徴量２７−２ｂと、第１の言語確率２７−２ｃと、第２の言語確率２７−２ｄとは、会話が行われると会話翻訳部２０の動作によって記憶される。即ち、会話の開始時、言い換えると、会話翻訳部２０の動作開始の際、話者特徴量２７−２ｂには値が記憶されていず、動作が進むにつれて、所定の値に収束する。また、会話の開始時、第１の言語確率２７−２ｃと、第２の言語確率２７−２ｄとには、それぞれ０．５が記憶され、動作が進むにつれて、所定の値に収束する。なお、第１の言語確率２７−２ｃと、第２の言語確率２７−２ｄとの和は１であり、また、動作が進むにつれて、各発話者２７−２ａの第１の言語確率２７−２ｃ及び第２の言語確率２７−２ｄの一方は１に近づく。
【００１７】
上記のように構成された、本発明の実施形態に係る移動通信装置の各部の機能を、図１及び図２を参照して説明する。
【００１８】
移動通信網通信部１２は、アンテナ１２ａが基地局から受信した無線信号から高周波信号を得て、この高周波信号を移動通信網送受信部１３に送信する。また、移動通信網送受信部１３から送信された高周波信号をアンテナ１２ａに送信する。
【００１９】
移動通信網送受信部１３は、移動通信網通信部１２からの高周波信号を増幅、周波数変換及び復調し、それによって得たデジタル音声信号を音声処理部１４へ、制御信号を制御部１１へ、それぞれ送信する。更には、移動通信網送受信部１３は、音声処理部１４から送信されたデジタル音声信号と、制御部１１から送信された制御信号とを変調、周波数変換及び増幅し、高周波信号を得て、それを移動通信網通信部１２に送信する。
【００２０】
音声処理部１４は、移動通信網送受信部１３から送信されたデジタル音声信号、及び、会話翻訳部２０から送信されたデジタル音声信号をアナログ音声信号に変換し、それを増幅してスピーカ１４ａに送る。また、マイクロフォン１４ｂが送信するアナログ音声信号を増幅し、それをデジタル音声信号に変換して移動通信網送受信部１３、又は、会話翻訳部２０へ送信する。なお、音声処理部１４は、会話翻訳部２０と音声信号を送受する際、マイクロフォン１４ｂによって入力された、会話翻訳部２０の動作に起因してスピーカ１４ａから発生させた音声を打ち消す処理を行う。
【００２１】
表示部１５は、例えばＬＣＤ（Liquid Crystal Display）の表示部であり、制御部１１の制御により、使用者に操作を促す表示や、使用者が操作した内容の表示や、装置の動作状態の表示等を行う。
【００２２】
入力部１６は、電話番号を含む数字や文字の入力に用いられる文字・数字キーと、移動通信装置の電源のオン及びオフ等の動作指示や、発信及び着信応答等の操作指示等を入力するために用いられる複数の機能キーを備え、使用者が操作したキーを識別するコード信号を制御部１１へ通知する。
【００２３】
話速推定部２２は、バッファ２０−２に記憶された入力音声の話速を発話が続く限り、言い換えると、会話が続く限り繰り返し推定する。音素種別検出部２３は、バッファ２０−２に記憶された入力音声に含まれる音素出現頻度及び音素出現時間長を発話が続く限り、言い換えると、会話が続く限り繰り返し検出する。即ち、摩擦音の多少（摩擦音であることは、４ｋＨｚ以上の成分が多いことによって判断される。）、有声音の多少（有声音は、基本周波数の存在によって判断される。）母音区間の長短、子音と母音との組合せ方等、発話された音素の特徴量を検出する。これらは、言語に依存した特徴量であり、かつ、マイクロフォン１４ｂの特性に依存した周波数歪の影響が少ない。
【００２４】
話速正規化部２４は、音素種別検出部２３によって検出された特徴量を、話速推定部２２によって推定された話速によって正規化し、正規化された音素出現頻度及び音素出現時間長を発話が続く限り、言い換えると、会話が続く限り繰り返し算出し、入力音声の言語特徴量とする。
【００２５】
言語判定部２５は、話速正規化部２４によって算出された入力音声の言語特徴量を、言語辞書２５−２に記憶された言語特徴量２５−２ｂと比較することによって、入力音声は、第１の言語である確率であるＰｌ（Ｌａ）と、第２の言語である確率Ｐｌ（Ｌｂ）とを算出する。なお、この算出は、発話が続く限り、言い換えると、会話が続く限り繰り返し行われるが、発話の開始から短時間、例えば、１秒以内の入力音声によって行なわれた算出結果が翻訳方向判定部２８によって参照される。ここで、発話の開始は、入力音声の音量が所定の発話開始音量閾値以上であることによって判断される。また、発話の終了は、所定の発話終了時間閾値以上に渡って入力音声の音量が発話終了音量閾値未満であることによって判断される。
【００２６】
話者特徴量算出部２６は、バッファ２０−２に記憶された入力音声の話者特徴量を発話が続く限り、言い換えると、会話が続く限り繰り返し算出する。話者判定部２７は、第１に、発話が続く限り、言い換えると、会話が続く限り繰り返し話者辞書２７−２の学習をする。ここで、学習とは、話者辞書２７−２に値を学習更新記憶させることによって行われる。
【００２７】
即ち、話者判定部２７は、話者特徴量算出部２６によって算出された話者特徴量（以後、この話者特徴量は、話速推定部２２によって推定された話速を含んでも良い。）と２つの話者特徴量２７−２ｂとを比較して、算出された話者特徴量と近い話者特徴量２７−２ｂである発話者２７−２ａを得る。そして、その発話者２７−２ａの話者特徴量２７−２ｂを話者特徴量算出部２６によって算出された話者特徴量によって学習し、学習された話者特徴量を話者特徴量２７−２ｂに更新記憶させる。
【００２８】
更に、話者判定部２７は、言語判定部２５によって判定された言語が第１の言語である場合、その発話者２７−２ａの第１の言語確率２７−２ｃを増やし、第２の言語確率２７−２ｄを減らす。その言語が第２の言語である場合、その発話者２７−２ａの第１の言語確率２７−２ｃを減らし、第２の言語確率２７−２ｄを増やす。
【００２９】
なお、会話の開始の際、２つの話者特徴量２７−２ｂには値が記憶されていない。そこで、話者判定部２７は、会話の最初の発話の発話者２７−２ａは、第１の話者であるとして、話者特徴量算出部２６によって算出された話者特徴量を発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとして新規記憶させる。
【００３０】
また、少なくとも発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂが新規記憶された直後には、発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂには値が記憶されていない。その際、話者判定部２７は、話者特徴量算出部２６によって算出された話者特徴量と、発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとを比較して発話者が第１の話者であるか否かの認証を行って、話者は第１の話者か、第２の話者かを判定する。そして、第１の話者と判定された場合、発話者２７−２ａが「第１の話者」である話者辞書２７−２に値を学習記憶させる。一方、第２の話者と判定された場合、発話者２７−２ａが「第２の話者」である話者辞書２７−２に値を新規記憶させる。
【００３１】
話者判定部２７は、第２に、発話者の判定を介して発話された言語の判定を行う。即ち、話者特徴量算出部２６によって算出された話者特徴量を、話者辞書２７−２に記憶された話者特徴量２７−２ｂと比較することによって、発話者の判定を行い、発話者２７−２ａが「第１の話者」である確率と、「第２の話者」である確率とを求める。更に、それぞれの確率を対応する第１の言語確率２７−２ｃと乗算した積を加えることにより、発話が第１の言語である確率Ｐｓ（Ｌａ）を求める。更に、それぞれの確率を対応する第２の言語確率２７−２ｄと乗算した積を加えることにより、発話が第２の言語である確率Ｐｓ（Ｌｂ）を求める。なお、この算出は、発話の開始から短時間、例えば、１秒以内の入力音声によって発話の開始毎に行なわれ、算出結果が翻訳方向判定部２８によって参照される。
【００３２】
ここで、話者特徴量２７−２ｂの学習及び話者特徴量２７−２ｂを参照した判定は、ベクトル量子化や、混合ガウス分布等の手法による統計量モデルに従う。また、判定は、線形判別や、サポートベクトルマシン（ＳＶＭ、Support Vector Machine）等の判定モデルに従っても良い。
【００３３】
以上の説明で、話者判定部２７の動作は、学習動作と、判定動作とに分けられるとしたが、これは、動作の理解を容易にするためである。これらの動作は、共通な動作を含んでいるので、当然に、適宜共通な動作を共用して良い。
【００３４】
ここで、会話翻訳部２０の動作開始直後は、話者特徴量２７−２ｂには値が記憶されていない可能性がある。また、話者特徴量２７−２ｂと、第１の言語確率２７−２ｃと、第２の言語確率２７−２ｄとは、発話の度に行われる学習のために大きく変化する可能性があるので、話者判定部２７は、話者の認証等の如何なる処理によっても妥当な確率Ｐｓ（Ｌａ）と、確率Ｐｓ（Ｌｂ）とを得られない。学習処理が進み、話者特徴量２７−２ｂと、第１の言語確率２７−２ｃと、第２の言語確率２７−２ｄとの値が収束するに従って、確率Ｐｓ（Ｌａ）と、Ｐｓ（Ｌｂ）とは妥当な値が得られる。即ち、話者判定部２７は、発話者の発話は、第１の言語であるか第２の言語であるかを正しく判定することができる。
【００３５】
翻訳方向判定部２８は、言語判定部２５によって算出された、入力音声が第１の言語である確率であるＰｌ（Ｌａ）及び第２の言語である確率Ｐｌ（Ｌｂ）と、話者判定部２７によって算出された、入力音声が第１の言語である確率であるＰｓ（Ｌａ）及び第２の言語である確率Ｐｓ（Ｌｂ）とから、入力音声が第１の言語であるか、第２の言語であるかを判定する。そして、翻訳方向を判定する。即ち、入力音声が第１の言語であれば、翻訳方向は、第１の言語から第２の言語であり、入力音声が第２の言語であれば、翻訳方向は、第２の言語から第１の言語であると判定する。
【００３６】
音声翻訳部２９は、翻訳方向判定部２８によって判定された翻訳方向に従って、バッファ２０−２に記憶された入力音声を発話の開始時の音声まで遡って読み出して翻訳し、翻訳された出力音声を音声処理部１４に送信する。なお、音声翻訳部２９による翻訳された音声が出力中に翻訳方法が逆である旨が入力部１６の所定の操作によって入力された場合、翻訳制御部２１は、翻訳方向判定部２８に上記翻訳方向と逆の方向で、バッファ２０−２に記憶された入力音声を発話の開始時の音声まで遡って読み出して翻訳させる。また、話者判定部２７による上記発話による学習を取り消させる。
【００３７】
ここで、図５に示すフローチャートを参照して、話者判定部２７による学習の動作の詳細を説明する。なお、以下の動作は、２つの話者特徴量２７−２ｂに値が記憶されている際の動作である。話者判定部２７は、発話が開始されると、又は、発話の途中に学習動作を開始し（ステップＳ２７ａ）、話者特徴量算出部２６によって算出された話者特徴量と、言語判定部２５によって判定された言語とを受信する（ステップＳ２７ｂ）。そして、受信された話者特徴量と、発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとの間の距離Ｄ１を算出し、更に、発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂとの間の距離Ｄ２を算出する。
【００３８】
そして、話者判定部２７は、距離Ｄ１と、距離Ｄ２とから、上記発話の話者を判断する（ステップＳ２７ｃ）。この判断の詳細は後述する。第１の話者であると判断された場合、話者判定部２７は、発話者２７−２ａが「第１の話者」である話者辞書２７−２を学習更新記憶させ（ステップＳ２７ｄ）、ステップＳ２７ｂの受信するステップに移る。なお、この更新記憶は、話者特徴量２７−２ｂの学習更新記憶と共に、言語判定部２５によって判定された言語が第１の言語である場合、第１の言語確率２７−２ｃを増やし、第２の言語確率２７−２ｄを減らす更新記憶が含まれる。その言語が第２の言語である場合、第１の言語確率２７−２ｃを減らし、第２の言語確率２７−２ｄを増やす更新記憶が含まれる。
【００３９】
第２の話者であると判断された場合、話者判定部２７は、発話者２７−２ａが「第２の話者」である話者辞書２７−２を学習更新記憶させ（ステップＳ２７ｅ）、ステップＳ２７ｂの受信するステップに移る。なお、この更新記憶は、ステップＳ２７ｄの説明で述べたように、話者特徴量２７−２ｂの学習更新記憶と共に、第１の言語確率２７−２ｃ及び、第２の言語確率２７−２ｄの更新記憶が含まれる。
【００４０】
不詳であると判断された場合、話者判定部２７は、学習をせずに、即ち、話者辞書２７−２の更新をすることなく、ステップＳ２７ｂの受信するステップに移る。話者判定部２７は、発話の終了に伴い、任意の動作ステップで学習動作を終了する（図示せず）。
【００４１】
上述したステップＳ２７ｃの判断の詳細を説明する。話者判定部２７は、距離Ｄ１が距離Ｄ２より小さく、かつ、距離Ｄ１と、距離Ｄ２との差が所定の話者特徴量閾値以上の場合、話者は第１の話者であると判断する。また、距離Ｄ２が距離Ｄ１より小さく、かつ、距離Ｄ１と、距離Ｄ２との差が所定の話者特徴量閾値以上の場合、話者は第２の話者であると判断する。これら以外の場合、即ち、距離Ｄ１と、距離Ｄ２との差が所定の話者特徴量閾値未満の場合、話者は不詳であると判断する。
【００４２】
図６は、発話の話者特徴量に依存してこれらの判断がされる概要を示す。発話ｐの話者特徴量について、発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとの間の距離Ｄｐ１と、発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂとの間の距離Ｄｐ２とを比較する。距離Ｄｐ１は距離Ｄｐ２より小さく、かつ、それらの距離の差は、所定の話者特徴量閾値以上である。よって、発話ｐの話者は、第１の話者であると判断される。
【００４３】
発話ｑの話者特徴量について、発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとの間の距離Ｄｑ１と、発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂとの間の距離Ｄｑ２とを比較する。距離Ｄｑ２は距離Ｄｑ１より小さく、かつ、それらの距離の差は、所定の話者特徴量閾値以上である。よって、発話ｑの話者は、第２の話者であると判断される。
【００４４】
発話ｒの話者特徴量について、発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとの間の距離Ｄｒ１と、発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂとの間の距離Ｄｒ２とを比較する。距離Ｄｒ１は距離Ｄｒ２より小さいが、それらの距離の差は、所定の話者特徴量閾値未満である。よって、発話ｒの話者は、不詳であると判断される。
【００４５】
発話ｓの話者特徴量について、発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとの間の距離Ｄｓ１と、発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂとの間の距離Ｄｓ２とを比較する。距離Ｄｓ２は距離Ｄｓ１より小さいが、それらの距離の差は、所定の話者特徴量閾値未満である。よって、発話ｓの話者は、不詳であると判断される。
【００４６】
このように、話者判定部２７は、学習においては、話者が不詳と判断し、学習更新記憶をさせないことがある。発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂに値が記憶されていない場合、同様に話者が不詳と判断し、学習更新記憶をさせないことがある。しかし、発話の開始の際、会話の冒頭の発話の際を除き、話者を判定し、その判定結果に基づいて、発話された言語の判定を行って、翻訳方向判定部２８に送信する。翻訳方向判定部２８が参照する情報の提供を行いつつ、かつ、話者辞書２７−２を誤った方向に学習させないためである。
【００４７】
ここで、図７に示すフローチャートを参照して、翻訳方向判定部２８による入力音声が第１の言語であるか第２の言語であるかを判定する動作の詳細を説明する。翻訳方向判定部２８は、入力部１６の所定の操作に起因する制御部１１の制御によって起動された翻訳制御部２１によって起動されて動作を開始する（ステップＳ２８ａ）。そして、入力音声が第１の言語であるか第２の言語であるかを判定する際に、話者判定部２７によって算出された確率に付す重みｒを０に設定する（ステップＳ２８ｂ）。ここで、重みｒは、０以上かつ１以下の数であり（０≦ｒ≦１）、１−ｒは、言語判定部２５によって算出された確率に付す重みとなる。
【００４８】
翻訳方向判定部２８は、発話が開始されたか否かを判断し（ステップＳ２８ｃ）、開始されない場合、この判断する動作を繰り返す。発話が開始されたと判断された場合、発話された言語が第１の言語である確率Ｐ（Ｌａ）と、第２の言語である確率Ｐ（Ｌｂ）とを、それぞれ、以下の式で算出する。
Ｐ（Ｌａ）＝ｒ×Ｐｓ（Ｌａ）＋（１−ｒ）×Ｐｌ（Ｌａ）
Ｐ（Ｌｂ）＝ｒ×Ｐｓ（Ｌｂ）＋（１−ｒ）×Ｐｌ（Ｌｂ）
【００４９】
そして、Ｐ（Ｌａ）がＰ（Ｌｂ）より大きければ、発話された言語は第１の言語であると判定し、翻訳方向は、第１の言語から第２の言語であると判定する。Ｐ（Ｌｂ）がＰ（Ｌａ）より大きければ、発話された言語は第２の言語であると判定し、翻訳方向は、第２の言語から第１の言語であると判定する（ステップＳ２８ｄ）。ここで、Ｐ（Ｌａ）と、Ｐ（Ｌｂ）との差が所定の言語判定閾値未満の場合、翻訳方向判定部２８は、発話された言語が第１の言語であるか第２の言語であるかの入力を促す文章や、画像を表示部１５に表示させ、入力部１６の操作に基づいて、翻訳方向とを判定しても良い。
【００５０】
次に、翻訳方向判定部２８は、重みｒを修正し（ステップＳ２８ｅ）、ステップＳ２８ｃの発話が開始されたか否かを判断する動作に移る。翻訳方向判定部２８は、どの動作ステップにあるかを問わず、入力部１６の所定の操作に起因する制御部１１の制御に基づく翻訳制御部２１の終了指示に従って動作を終了する（図示せず）。
【００５１】
ここで、重みｒの修正を説明する。上述したように、会話の最初の発話において、話者判定部２７の判定は妥当でないことが多い。しかし、言語判定部２５の判定は、会話の最初においても概ね妥当である。そこで、重みｒの初期値は０とする。しかし、会話が進み、即ち、発話が繰り返されることによって、話者判定部２７の判定は正確さを増す。しかし、言語判定部２５の判定は、会話が進むことによって正確さを増すことはない。
【００５２】
そこで、重みｒは、発話が繰り返されるに従い大きな値とし、１に漸近させ、又は、１とする。ただし、繰り返された発話の回数の増加によって必ず増大させることは必ずしも適切ではない。学習処理が進むと考えられる所定の回数の及び／又は所定の時間に渡る発話が繰り返された後、また、話者特徴量２７−２ｂを参照した話者判定部２７による話者判定の確度が上がり、かつ、それぞれの発話者２７−２ａに対して、第１の言語確率２７−２ｃ及び第２の言語確率２７−２ｄとの差が大きくなるにつれて増大させることが適切である。重みｒを如何に増加させていくかの詳細は、会話翻訳部２０内の各部の性能のみならず、マイクロフォン１４ｂの性能に依存するので、事前の試用によって決定される。
【００５３】
以上の説明で、音声翻訳部２９は、翻訳結果を出力音声として出力するとしたがこれに限るものではない。音声による出力に加えて、又は、代えて、文を表示部１５に表示させることによって翻訳結果を出力しても良い。また、入力部１６の所定のキー操作によって翻訳結果を出力音声として出力しても良い。
【００５４】
以上の説明で、言語判定部２５、話者判定部２７、及び、翻訳方向判定部２８は、発話された言語が第１の言語である確率と、第２の言語である確率とを別個に算出するとしたが、これに限るものではない。例えば、第１の言語である確率を算出し、第２の言語である確率は、１と第１の言語である確率との差として求めても良い。しかし、上述したように別個に算出するようにすれば、発話される言語が３以上の場合であっても、発話された言語がいずれの言語であるか、全く同じように算出可能である。
【００５５】
以上の説明で、会話する２人の発話者は不特定であるとしたが、これに限るものではない。例えば、発話者の１人は装置の所有者であり、所有者の母国語である第１の言語で発話するとして処理をしても良い。この場合、例えば、発話者２７−２ａが「第１の話者」である話者辞書２７−２の話者特徴量２７−２ｂには装置の所有者の第１の言語による発話の特徴量が、第１の言語確率２７−２ｃには１が、第２の言語確率２７−２ｄには０が事前に記憶される。更には、発話者２７−２ａが「第２の話者」である話者辞書２７−２の第１の言語確率２７−２ｃには０が、第２の言語確率２７−２ｄには１が事前に記憶される。なぜなら、第２の話者が第１の言語で発話するなら、会話翻訳部２０を動作させる必要がないからである。
【００５６】
この場合、話者判定部２７の判定動作は、上述した方法に代えて、又は、加えて発話者が第１の話者であるか否かの認証となる。この認証結果は、発話者２７−２ａが「第１の話者」である話者辞書２７−２の話者特徴量２７−２ｂに所有者の第１の言語による発話の特徴量が記憶されているので、発話者が第１の話者であるか第２の話者であるかを問わず、上述した判定よりも正しい可能性が大きい。更に、会話の最初の発話であっても、充分な正確さを持つ、即ち、Ｐｓ（Ｌａ）とＰｓ（Ｌｂ）との差が所定の値以上であり、会話の最初の発話であっても、翻訳方向判定部２８は、話者判定部２７の判定結果に大きく依存して翻訳方向の判定をする、極端には、話者判定部２７の判定結果によって翻訳方向の判定をしても良い。言い換えれば、重みｒは、上述した説明より大きい。
【００５７】
なお、装置の所有者の母国語は、装置が備えるＳＩＭカード（Subscriber Identity Module Card）に記憶された使用言語情報や、国情報から判断することができる。また、装置の所有者の第１の言語による発話の特徴量は、翻訳制御部２１が会話翻訳部２０を話者特徴量学習モードで動作させ、話者特徴量算出部２６と話者判定部２７の学習機能を動作させることによって話者辞書２７−２に記憶させることができる。また、移動通信網を介した通話の際、話者特徴量算出部２６を動作させ、また、話者判定部２７の学習機能を動作させることによって、所有者の手を煩わすことなく話者辞書２７−２に記憶させることができる。
【００５８】
更に、装置の所有者であるか否かに拘らず、また、１名であるか複数名であるかを問わず、発話者となる者の音声について、事前に発話する言語が記憶され、話者特徴量の学習処理がされるとしても良い。そして、複数名について、発話する言語及び話者特徴量が記憶されている場合、翻訳制御部２１は、会話に先立って、その会話の発話者となる者の選択を促す文章又は画像を表示部１５に表示させ、入力部１６の所定の操作に従って選択された者に係る情報に基づいて、話者特徴量２７−２ｂ、第１の言語確率２７−２ｃ、及び第２の言語確率２７−２ｄを記憶させる。
【００５９】
以上の説明で、発話の開始は、入力音声の音量が所定の発話開始音量閾値以上であることによって判断されるとしたが、これに限るものではない。例えば、入力部１６の所定のキー操作によって判断されるとしても良い。表示部１５がタッチパネルである場合、そのタッチパネルへの指等の接触によって判断されるとしても良い。この操作が必要である場合であっても、本発明の適用よれば翻訳方向の判定を使用者の操作によらないため、不特定の発話者によって装置が使用される場合の使い心地に大きな効果がある。
【００６０】
以上の説明で、スピーカ１４ａと、マイクロフォン１４ｂとは、会話翻訳部２０による翻訳と、移動通信網を介した通話とで共用するとしたが、これに限るものではない。スピーカ１４ａ及びマイクロフォン１４ｂの片方又は両方は、翻訳用と、通話用とが別に備えられているとしても良い。
【００６１】
以上の説明は、本発明を移動通信装置に適用した例を用いたが、本発明は、当然に会話の翻訳を行うあらゆる装置、例えば、ＰＤＡや、パソコン等に適用することが可能である。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。
【符号の説明】
【００６２】
１１ 制御部
１４ 音声処理部
１４ａ スピーカ
１４ｂ マイクロフォン
２０ 会話翻訳部
２１ 翻訳制御部
２２ 話速推定部
２３ 音素種別検出部
２４ 話速正規化部
２５ 言語判定部
２５−２ 言語辞書
２５−２ａ 言語
２５−２ｂ 言語特徴量
２６ 話者特徴量算出部
２７ 話者判定部
２７−２ 話者辞書
２７−２ａ 発話者
２７−２ｂ 話者特徴量
２７−２ｃ 第１の言語確率
２７−２ｄ 第２の言語確率
２８ 翻訳方向判定部
２９ 音声翻訳部
【技術分野】
【０００１】
本発明は、翻訳装置に係り、特に、翻訳元言語と、翻訳先言語とを判定する処理に関する。
【背景技術】
【０００２】
音声を入力して翻訳する装置は、音声によって入力される言語（翻訳元言語）から、音声や、文章の表示によって出力する言語（翻訳先言語）への翻訳を行う際、翻訳元言語と、翻訳先言語とを判定することが不可欠である。この判定を装置の使用者の操作によらず、入力された音声に基づいて行う処理が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３２２５２３号公報（第２−３頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に開示されている方法では、翻訳元言語と、翻訳先言語との判定には、入力される音声によって発話者を同定可能とする事前の学習処理が必要である問題点があった。この問題点は、例えば、旅行先の街頭での会話を翻訳する際に顕著である。この翻訳の際、不特定の発話者の最初の発話から長い待ち時間なしに適切な翻訳が求められ、かつ、発話者の音声による学習は望めない。
【０００５】
本発明は上記問題点を解決するためになされたもので、音声の入力開始後、短時間で入力された言語を判定する翻訳装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の翻訳装置は、第１の言語の発話から第２の言語への翻訳、及び、前記第２の言語の発話から前記第１の言語への翻訳を行う翻訳装置であって、前記第１の言語の発話の言語特徴量と、前記第２の言語の発話の言語特徴量とを記憶する言語特徴量記憶手段と、発話を入力する入力手段と、前記入力手段によって入力された発話の言語特徴量を前記言語特徴量記憶手段に記憶された言語特徴量と比較することによって、その発話が前記第１の言語であるか前記第２の言語であるかを判定する言語判定手段と、前記入力手段によって入力された発話が第１の話者による発話か第２の話者による発話かを判定した結果に従って、その発話が前記第１の言語であるか前記第２の言語であるかを判定する話者判定手段と、前記言語判定手段による判定と、前記話者判定手段による判定とを参照して、前記入力手段によって入力された発話が前記第１の言語であるか前記第２の言語であるかを判定し、前記第１の言語であると判定された場合、前記発話を前記第１の言語から前記第２の言語に翻訳し、前記第２の言語であると判定された場合、前記発話を前記第２の言語から前記第１の言語に翻訳する音声翻訳手段とを有し、前記音声翻訳手段は、前記入力手段によって最初に入力された発話が前記第１の言語であるか前記第２の言語であるかを前記言語判定手段による判定に従って判定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、音声の入力開始後、短時間で入力された言語を判定する。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る移動通信装置の構成を示すブロック図。
【図２】本発明の実施形態に係る会話翻訳部の構成を示すブロック図。
【図３】本発明の実施形態に係る言語辞書の構成の一例を示す図。
【図４】本発明の実施形態に係る話者辞書の構成の一例を示す図。
【図５】本発明の実施形態に係る話者判定部による学習の動作のフローチャート。
【図６】本発明の実施形態に係る話者判定部による学習の際の話者の判断の概要を示す図。
【図７】本発明の実施形態に係る翻訳方向判定部による入力音声の言語を判定する動作のフローチャート。
【発明を実施するための形態】
【０００９】
以下に、本発明の実施形態に係る翻訳装置の実施の形態を、図面を参照して説明する。
【００１０】
図１は、本発明の実施形態に係る翻訳装置が適用された移動通信装置の構成を示すブロック図である。この移動通信装置は、装置全体の制御を行う制御部１１と、移動通信網通信部１２と、移動通信網に属する基地局（図示せず）との間で無線信号の送受信を行うアンテナ１２ａと、移動通信網送受信部１３と、音声処理部１４と、受話音声出力等に用いられるスピーカ１４ａと、送話音声入力等に用いられるマイクロフォン１４ｂと、使用者に情報を視覚的に提示する表示部１５と、使用者からの操作指示を入力する入力部１６と、第１の言語と、第２の言語とによる会話を翻訳する会話翻訳部２０とからなる。
【００１１】
ここで、第１の言語と、第２の言語とは、会話翻訳部２０の動作開始前に定められている。また、会話は、第１の話者による発話と、第２の話者による発話からなり、一方の話者は、第１の言語で発話し、他方の話者は、第２の言語で発話する。
【００１２】
図２は、会話翻訳部２０の構成を示すブロック図である。会話翻訳部２０は、制御部１１と接続され、会話翻訳部２０全体の制御を行う翻訳制御部２１と、音声処理部１４と接続されるバッファ２０−２と、話速推定部２２と、音素種別検出部２３と、話速正規化部２４と、言語判定部２５と、言語辞書２５−２と、話者特徴量算出部２６と、話者判定部２７と、話者辞書２７−２と、翻訳方向判定部２８と、音声翻訳部２９とからなる。
【００１３】
バッファ２０−２には、音声処理部１４によって入力音声が記憶され、処理が終了した入力音声は、翻訳制御部２１によって消去される。なお、図２で、信号の流れと制御の流れとを矢印によって示したが、この矢印は理解を容易にするためのものであり、必ずしも全ての流れを示すものではない。
【００１４】
図３は、言語辞書２５−２の構成の一例を示す。言語辞書２５−２は、言語２５−２ａと、その言語の発話の特徴量である言語特徴量２５−２ｂとからなり、言語２５−２ａが「第１の言語」である情報と、「第２の言語」である情報とからなる。言語特徴量２５−２ｂは、ベクトル量子化（ＶＱ、Vector Quantization）や、混合ガウス分布（ＧＭＭ、Gaussian Mixture Model）等の手法による言語モデルに基づく特徴量である。言語辞書２５−２は、装置の製造時に記憶される。又は、会話翻訳部２０の動作開始前に所定の言語データサーバ装置（図示せず）からダウンロードされる。
【００１５】
図４は、話者辞書２７−２の構成の一例を示す。話者辞書２７−２は、発話者２７−２ａと、その発話者の発話の特徴量である話者特徴量２７−２ｂと、その発話者の発話が第１の言語である確率である第１の言語確率２７−２ｃと、その発話者の発話が第２の言語である確率である第２の言語確率２７−２ｄとからなり、発話者２７−２ａが「第１の話者」である情報と、「第２の話者」である情報とからなる。話者特徴量２７−２ｂは、例えば、メル周波数ケプストラム係数（ＭＦＣＣ、Mel-Frequency Cepstrum Coefficient）であり、話速を含んでも良い。
【００１６】
なお、話者特徴量２７−２ｂと、第１の言語確率２７−２ｃと、第２の言語確率２７−２ｄとは、会話が行われると会話翻訳部２０の動作によって記憶される。即ち、会話の開始時、言い換えると、会話翻訳部２０の動作開始の際、話者特徴量２７−２ｂには値が記憶されていず、動作が進むにつれて、所定の値に収束する。また、会話の開始時、第１の言語確率２７−２ｃと、第２の言語確率２７−２ｄとには、それぞれ０．５が記憶され、動作が進むにつれて、所定の値に収束する。なお、第１の言語確率２７−２ｃと、第２の言語確率２７−２ｄとの和は１であり、また、動作が進むにつれて、各発話者２７−２ａの第１の言語確率２７−２ｃ及び第２の言語確率２７−２ｄの一方は１に近づく。
【００１７】
上記のように構成された、本発明の実施形態に係る移動通信装置の各部の機能を、図１及び図２を参照して説明する。
【００１８】
移動通信網通信部１２は、アンテナ１２ａが基地局から受信した無線信号から高周波信号を得て、この高周波信号を移動通信網送受信部１３に送信する。また、移動通信網送受信部１３から送信された高周波信号をアンテナ１２ａに送信する。
【００１９】
移動通信網送受信部１３は、移動通信網通信部１２からの高周波信号を増幅、周波数変換及び復調し、それによって得たデジタル音声信号を音声処理部１４へ、制御信号を制御部１１へ、それぞれ送信する。更には、移動通信網送受信部１３は、音声処理部１４から送信されたデジタル音声信号と、制御部１１から送信された制御信号とを変調、周波数変換及び増幅し、高周波信号を得て、それを移動通信網通信部１２に送信する。
【００２０】
音声処理部１４は、移動通信網送受信部１３から送信されたデジタル音声信号、及び、会話翻訳部２０から送信されたデジタル音声信号をアナログ音声信号に変換し、それを増幅してスピーカ１４ａに送る。また、マイクロフォン１４ｂが送信するアナログ音声信号を増幅し、それをデジタル音声信号に変換して移動通信網送受信部１３、又は、会話翻訳部２０へ送信する。なお、音声処理部１４は、会話翻訳部２０と音声信号を送受する際、マイクロフォン１４ｂによって入力された、会話翻訳部２０の動作に起因してスピーカ１４ａから発生させた音声を打ち消す処理を行う。
【００２１】
表示部１５は、例えばＬＣＤ（Liquid Crystal Display）の表示部であり、制御部１１の制御により、使用者に操作を促す表示や、使用者が操作した内容の表示や、装置の動作状態の表示等を行う。
【００２２】
入力部１６は、電話番号を含む数字や文字の入力に用いられる文字・数字キーと、移動通信装置の電源のオン及びオフ等の動作指示や、発信及び着信応答等の操作指示等を入力するために用いられる複数の機能キーを備え、使用者が操作したキーを識別するコード信号を制御部１１へ通知する。
【００２３】
話速推定部２２は、バッファ２０−２に記憶された入力音声の話速を発話が続く限り、言い換えると、会話が続く限り繰り返し推定する。音素種別検出部２３は、バッファ２０−２に記憶された入力音声に含まれる音素出現頻度及び音素出現時間長を発話が続く限り、言い換えると、会話が続く限り繰り返し検出する。即ち、摩擦音の多少（摩擦音であることは、４ｋＨｚ以上の成分が多いことによって判断される。）、有声音の多少（有声音は、基本周波数の存在によって判断される。）母音区間の長短、子音と母音との組合せ方等、発話された音素の特徴量を検出する。これらは、言語に依存した特徴量であり、かつ、マイクロフォン１４ｂの特性に依存した周波数歪の影響が少ない。
【００２４】
話速正規化部２４は、音素種別検出部２３によって検出された特徴量を、話速推定部２２によって推定された話速によって正規化し、正規化された音素出現頻度及び音素出現時間長を発話が続く限り、言い換えると、会話が続く限り繰り返し算出し、入力音声の言語特徴量とする。
【００２５】
言語判定部２５は、話速正規化部２４によって算出された入力音声の言語特徴量を、言語辞書２５−２に記憶された言語特徴量２５−２ｂと比較することによって、入力音声は、第１の言語である確率であるＰｌ（Ｌａ）と、第２の言語である確率Ｐｌ（Ｌｂ）とを算出する。なお、この算出は、発話が続く限り、言い換えると、会話が続く限り繰り返し行われるが、発話の開始から短時間、例えば、１秒以内の入力音声によって行なわれた算出結果が翻訳方向判定部２８によって参照される。ここで、発話の開始は、入力音声の音量が所定の発話開始音量閾値以上であることによって判断される。また、発話の終了は、所定の発話終了時間閾値以上に渡って入力音声の音量が発話終了音量閾値未満であることによって判断される。
【００２６】
話者特徴量算出部２６は、バッファ２０−２に記憶された入力音声の話者特徴量を発話が続く限り、言い換えると、会話が続く限り繰り返し算出する。話者判定部２７は、第１に、発話が続く限り、言い換えると、会話が続く限り繰り返し話者辞書２７−２の学習をする。ここで、学習とは、話者辞書２７−２に値を学習更新記憶させることによって行われる。
【００２７】
即ち、話者判定部２７は、話者特徴量算出部２６によって算出された話者特徴量（以後、この話者特徴量は、話速推定部２２によって推定された話速を含んでも良い。）と２つの話者特徴量２７−２ｂとを比較して、算出された話者特徴量と近い話者特徴量２７−２ｂである発話者２７−２ａを得る。そして、その発話者２７−２ａの話者特徴量２７−２ｂを話者特徴量算出部２６によって算出された話者特徴量によって学習し、学習された話者特徴量を話者特徴量２７−２ｂに更新記憶させる。
【００２８】
更に、話者判定部２７は、言語判定部２５によって判定された言語が第１の言語である場合、その発話者２７−２ａの第１の言語確率２７−２ｃを増やし、第２の言語確率２７−２ｄを減らす。その言語が第２の言語である場合、その発話者２７−２ａの第１の言語確率２７−２ｃを減らし、第２の言語確率２７−２ｄを増やす。
【００２９】
なお、会話の開始の際、２つの話者特徴量２７−２ｂには値が記憶されていない。そこで、話者判定部２７は、会話の最初の発話の発話者２７−２ａは、第１の話者であるとして、話者特徴量算出部２６によって算出された話者特徴量を発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとして新規記憶させる。
【００３０】
また、少なくとも発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂが新規記憶された直後には、発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂには値が記憶されていない。その際、話者判定部２７は、話者特徴量算出部２６によって算出された話者特徴量と、発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとを比較して発話者が第１の話者であるか否かの認証を行って、話者は第１の話者か、第２の話者かを判定する。そして、第１の話者と判定された場合、発話者２７−２ａが「第１の話者」である話者辞書２７−２に値を学習記憶させる。一方、第２の話者と判定された場合、発話者２７−２ａが「第２の話者」である話者辞書２７−２に値を新規記憶させる。
【００３１】
話者判定部２７は、第２に、発話者の判定を介して発話された言語の判定を行う。即ち、話者特徴量算出部２６によって算出された話者特徴量を、話者辞書２７−２に記憶された話者特徴量２７−２ｂと比較することによって、発話者の判定を行い、発話者２７−２ａが「第１の話者」である確率と、「第２の話者」である確率とを求める。更に、それぞれの確率を対応する第１の言語確率２７−２ｃと乗算した積を加えることにより、発話が第１の言語である確率Ｐｓ（Ｌａ）を求める。更に、それぞれの確率を対応する第２の言語確率２７−２ｄと乗算した積を加えることにより、発話が第２の言語である確率Ｐｓ（Ｌｂ）を求める。なお、この算出は、発話の開始から短時間、例えば、１秒以内の入力音声によって発話の開始毎に行なわれ、算出結果が翻訳方向判定部２８によって参照される。
【００３２】
ここで、話者特徴量２７−２ｂの学習及び話者特徴量２７−２ｂを参照した判定は、ベクトル量子化や、混合ガウス分布等の手法による統計量モデルに従う。また、判定は、線形判別や、サポートベクトルマシン（ＳＶＭ、Support Vector Machine）等の判定モデルに従っても良い。
【００３３】
以上の説明で、話者判定部２７の動作は、学習動作と、判定動作とに分けられるとしたが、これは、動作の理解を容易にするためである。これらの動作は、共通な動作を含んでいるので、当然に、適宜共通な動作を共用して良い。
【００３４】
ここで、会話翻訳部２０の動作開始直後は、話者特徴量２７−２ｂには値が記憶されていない可能性がある。また、話者特徴量２７−２ｂと、第１の言語確率２７−２ｃと、第２の言語確率２７−２ｄとは、発話の度に行われる学習のために大きく変化する可能性があるので、話者判定部２７は、話者の認証等の如何なる処理によっても妥当な確率Ｐｓ（Ｌａ）と、確率Ｐｓ（Ｌｂ）とを得られない。学習処理が進み、話者特徴量２７−２ｂと、第１の言語確率２７−２ｃと、第２の言語確率２７−２ｄとの値が収束するに従って、確率Ｐｓ（Ｌａ）と、Ｐｓ（Ｌｂ）とは妥当な値が得られる。即ち、話者判定部２７は、発話者の発話は、第１の言語であるか第２の言語であるかを正しく判定することができる。
【００３５】
翻訳方向判定部２８は、言語判定部２５によって算出された、入力音声が第１の言語である確率であるＰｌ（Ｌａ）及び第２の言語である確率Ｐｌ（Ｌｂ）と、話者判定部２７によって算出された、入力音声が第１の言語である確率であるＰｓ（Ｌａ）及び第２の言語である確率Ｐｓ（Ｌｂ）とから、入力音声が第１の言語であるか、第２の言語であるかを判定する。そして、翻訳方向を判定する。即ち、入力音声が第１の言語であれば、翻訳方向は、第１の言語から第２の言語であり、入力音声が第２の言語であれば、翻訳方向は、第２の言語から第１の言語であると判定する。
【００３６】
音声翻訳部２９は、翻訳方向判定部２８によって判定された翻訳方向に従って、バッファ２０−２に記憶された入力音声を発話の開始時の音声まで遡って読み出して翻訳し、翻訳された出力音声を音声処理部１４に送信する。なお、音声翻訳部２９による翻訳された音声が出力中に翻訳方法が逆である旨が入力部１６の所定の操作によって入力された場合、翻訳制御部２１は、翻訳方向判定部２８に上記翻訳方向と逆の方向で、バッファ２０−２に記憶された入力音声を発話の開始時の音声まで遡って読み出して翻訳させる。また、話者判定部２７による上記発話による学習を取り消させる。
【００３７】
ここで、図５に示すフローチャートを参照して、話者判定部２７による学習の動作の詳細を説明する。なお、以下の動作は、２つの話者特徴量２７−２ｂに値が記憶されている際の動作である。話者判定部２７は、発話が開始されると、又は、発話の途中に学習動作を開始し（ステップＳ２７ａ）、話者特徴量算出部２６によって算出された話者特徴量と、言語判定部２５によって判定された言語とを受信する（ステップＳ２７ｂ）。そして、受信された話者特徴量と、発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとの間の距離Ｄ１を算出し、更に、発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂとの間の距離Ｄ２を算出する。
【００３８】
そして、話者判定部２７は、距離Ｄ１と、距離Ｄ２とから、上記発話の話者を判断する（ステップＳ２７ｃ）。この判断の詳細は後述する。第１の話者であると判断された場合、話者判定部２７は、発話者２７−２ａが「第１の話者」である話者辞書２７−２を学習更新記憶させ（ステップＳ２７ｄ）、ステップＳ２７ｂの受信するステップに移る。なお、この更新記憶は、話者特徴量２７−２ｂの学習更新記憶と共に、言語判定部２５によって判定された言語が第１の言語である場合、第１の言語確率２７−２ｃを増やし、第２の言語確率２７−２ｄを減らす更新記憶が含まれる。その言語が第２の言語である場合、第１の言語確率２７−２ｃを減らし、第２の言語確率２７−２ｄを増やす更新記憶が含まれる。
【００３９】
第２の話者であると判断された場合、話者判定部２７は、発話者２７−２ａが「第２の話者」である話者辞書２７−２を学習更新記憶させ（ステップＳ２７ｅ）、ステップＳ２７ｂの受信するステップに移る。なお、この更新記憶は、ステップＳ２７ｄの説明で述べたように、話者特徴量２７−２ｂの学習更新記憶と共に、第１の言語確率２７−２ｃ及び、第２の言語確率２７−２ｄの更新記憶が含まれる。
【００４０】
不詳であると判断された場合、話者判定部２７は、学習をせずに、即ち、話者辞書２７−２の更新をすることなく、ステップＳ２７ｂの受信するステップに移る。話者判定部２７は、発話の終了に伴い、任意の動作ステップで学習動作を終了する（図示せず）。
【００４１】
上述したステップＳ２７ｃの判断の詳細を説明する。話者判定部２７は、距離Ｄ１が距離Ｄ２より小さく、かつ、距離Ｄ１と、距離Ｄ２との差が所定の話者特徴量閾値以上の場合、話者は第１の話者であると判断する。また、距離Ｄ２が距離Ｄ１より小さく、かつ、距離Ｄ１と、距離Ｄ２との差が所定の話者特徴量閾値以上の場合、話者は第２の話者であると判断する。これら以外の場合、即ち、距離Ｄ１と、距離Ｄ２との差が所定の話者特徴量閾値未満の場合、話者は不詳であると判断する。
【００４２】
図６は、発話の話者特徴量に依存してこれらの判断がされる概要を示す。発話ｐの話者特徴量について、発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとの間の距離Ｄｐ１と、発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂとの間の距離Ｄｐ２とを比較する。距離Ｄｐ１は距離Ｄｐ２より小さく、かつ、それらの距離の差は、所定の話者特徴量閾値以上である。よって、発話ｐの話者は、第１の話者であると判断される。
【００４３】
発話ｑの話者特徴量について、発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとの間の距離Ｄｑ１と、発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂとの間の距離Ｄｑ２とを比較する。距離Ｄｑ２は距離Ｄｑ１より小さく、かつ、それらの距離の差は、所定の話者特徴量閾値以上である。よって、発話ｑの話者は、第２の話者であると判断される。
【００４４】
発話ｒの話者特徴量について、発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとの間の距離Ｄｒ１と、発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂとの間の距離Ｄｒ２とを比較する。距離Ｄｒ１は距離Ｄｒ２より小さいが、それらの距離の差は、所定の話者特徴量閾値未満である。よって、発話ｒの話者は、不詳であると判断される。
【００４５】
発話ｓの話者特徴量について、発話者２７−２ａが「第１の話者」である話者特徴量２７−２ｂとの間の距離Ｄｓ１と、発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂとの間の距離Ｄｓ２とを比較する。距離Ｄｓ２は距離Ｄｓ１より小さいが、それらの距離の差は、所定の話者特徴量閾値未満である。よって、発話ｓの話者は、不詳であると判断される。
【００４６】
このように、話者判定部２７は、学習においては、話者が不詳と判断し、学習更新記憶をさせないことがある。発話者２７−２ａが「第２の話者」である話者特徴量２７−２ｂに値が記憶されていない場合、同様に話者が不詳と判断し、学習更新記憶をさせないことがある。しかし、発話の開始の際、会話の冒頭の発話の際を除き、話者を判定し、その判定結果に基づいて、発話された言語の判定を行って、翻訳方向判定部２８に送信する。翻訳方向判定部２８が参照する情報の提供を行いつつ、かつ、話者辞書２７−２を誤った方向に学習させないためである。
【００４７】
ここで、図７に示すフローチャートを参照して、翻訳方向判定部２８による入力音声が第１の言語であるか第２の言語であるかを判定する動作の詳細を説明する。翻訳方向判定部２８は、入力部１６の所定の操作に起因する制御部１１の制御によって起動された翻訳制御部２１によって起動されて動作を開始する（ステップＳ２８ａ）。そして、入力音声が第１の言語であるか第２の言語であるかを判定する際に、話者判定部２７によって算出された確率に付す重みｒを０に設定する（ステップＳ２８ｂ）。ここで、重みｒは、０以上かつ１以下の数であり（０≦ｒ≦１）、１−ｒは、言語判定部２５によって算出された確率に付す重みとなる。
【００４８】
翻訳方向判定部２８は、発話が開始されたか否かを判断し（ステップＳ２８ｃ）、開始されない場合、この判断する動作を繰り返す。発話が開始されたと判断された場合、発話された言語が第１の言語である確率Ｐ（Ｌａ）と、第２の言語である確率Ｐ（Ｌｂ）とを、それぞれ、以下の式で算出する。
Ｐ（Ｌａ）＝ｒ×Ｐｓ（Ｌａ）＋（１−ｒ）×Ｐｌ（Ｌａ）
Ｐ（Ｌｂ）＝ｒ×Ｐｓ（Ｌｂ）＋（１−ｒ）×Ｐｌ（Ｌｂ）
【００４９】
そして、Ｐ（Ｌａ）がＰ（Ｌｂ）より大きければ、発話された言語は第１の言語であると判定し、翻訳方向は、第１の言語から第２の言語であると判定する。Ｐ（Ｌｂ）がＰ（Ｌａ）より大きければ、発話された言語は第２の言語であると判定し、翻訳方向は、第２の言語から第１の言語であると判定する（ステップＳ２８ｄ）。ここで、Ｐ（Ｌａ）と、Ｐ（Ｌｂ）との差が所定の言語判定閾値未満の場合、翻訳方向判定部２８は、発話された言語が第１の言語であるか第２の言語であるかの入力を促す文章や、画像を表示部１５に表示させ、入力部１６の操作に基づいて、翻訳方向とを判定しても良い。
【００５０】
次に、翻訳方向判定部２８は、重みｒを修正し（ステップＳ２８ｅ）、ステップＳ２８ｃの発話が開始されたか否かを判断する動作に移る。翻訳方向判定部２８は、どの動作ステップにあるかを問わず、入力部１６の所定の操作に起因する制御部１１の制御に基づく翻訳制御部２１の終了指示に従って動作を終了する（図示せず）。
【００５１】
ここで、重みｒの修正を説明する。上述したように、会話の最初の発話において、話者判定部２７の判定は妥当でないことが多い。しかし、言語判定部２５の判定は、会話の最初においても概ね妥当である。そこで、重みｒの初期値は０とする。しかし、会話が進み、即ち、発話が繰り返されることによって、話者判定部２７の判定は正確さを増す。しかし、言語判定部２５の判定は、会話が進むことによって正確さを増すことはない。
【００５２】
そこで、重みｒは、発話が繰り返されるに従い大きな値とし、１に漸近させ、又は、１とする。ただし、繰り返された発話の回数の増加によって必ず増大させることは必ずしも適切ではない。学習処理が進むと考えられる所定の回数の及び／又は所定の時間に渡る発話が繰り返された後、また、話者特徴量２７−２ｂを参照した話者判定部２７による話者判定の確度が上がり、かつ、それぞれの発話者２７−２ａに対して、第１の言語確率２７−２ｃ及び第２の言語確率２７−２ｄとの差が大きくなるにつれて増大させることが適切である。重みｒを如何に増加させていくかの詳細は、会話翻訳部２０内の各部の性能のみならず、マイクロフォン１４ｂの性能に依存するので、事前の試用によって決定される。
【００５３】
以上の説明で、音声翻訳部２９は、翻訳結果を出力音声として出力するとしたがこれに限るものではない。音声による出力に加えて、又は、代えて、文を表示部１５に表示させることによって翻訳結果を出力しても良い。また、入力部１６の所定のキー操作によって翻訳結果を出力音声として出力しても良い。
【００５４】
以上の説明で、言語判定部２５、話者判定部２７、及び、翻訳方向判定部２８は、発話された言語が第１の言語である確率と、第２の言語である確率とを別個に算出するとしたが、これに限るものではない。例えば、第１の言語である確率を算出し、第２の言語である確率は、１と第１の言語である確率との差として求めても良い。しかし、上述したように別個に算出するようにすれば、発話される言語が３以上の場合であっても、発話された言語がいずれの言語であるか、全く同じように算出可能である。
【００５５】
以上の説明で、会話する２人の発話者は不特定であるとしたが、これに限るものではない。例えば、発話者の１人は装置の所有者であり、所有者の母国語である第１の言語で発話するとして処理をしても良い。この場合、例えば、発話者２７−２ａが「第１の話者」である話者辞書２７−２の話者特徴量２７−２ｂには装置の所有者の第１の言語による発話の特徴量が、第１の言語確率２７−２ｃには１が、第２の言語確率２７−２ｄには０が事前に記憶される。更には、発話者２７−２ａが「第２の話者」である話者辞書２７−２の第１の言語確率２７−２ｃには０が、第２の言語確率２７−２ｄには１が事前に記憶される。なぜなら、第２の話者が第１の言語で発話するなら、会話翻訳部２０を動作させる必要がないからである。
【００５６】
この場合、話者判定部２７の判定動作は、上述した方法に代えて、又は、加えて発話者が第１の話者であるか否かの認証となる。この認証結果は、発話者２７−２ａが「第１の話者」である話者辞書２７−２の話者特徴量２７−２ｂに所有者の第１の言語による発話の特徴量が記憶されているので、発話者が第１の話者であるか第２の話者であるかを問わず、上述した判定よりも正しい可能性が大きい。更に、会話の最初の発話であっても、充分な正確さを持つ、即ち、Ｐｓ（Ｌａ）とＰｓ（Ｌｂ）との差が所定の値以上であり、会話の最初の発話であっても、翻訳方向判定部２８は、話者判定部２７の判定結果に大きく依存して翻訳方向の判定をする、極端には、話者判定部２７の判定結果によって翻訳方向の判定をしても良い。言い換えれば、重みｒは、上述した説明より大きい。
【００５７】
なお、装置の所有者の母国語は、装置が備えるＳＩＭカード（Subscriber Identity Module Card）に記憶された使用言語情報や、国情報から判断することができる。また、装置の所有者の第１の言語による発話の特徴量は、翻訳制御部２１が会話翻訳部２０を話者特徴量学習モードで動作させ、話者特徴量算出部２６と話者判定部２７の学習機能を動作させることによって話者辞書２７−２に記憶させることができる。また、移動通信網を介した通話の際、話者特徴量算出部２６を動作させ、また、話者判定部２７の学習機能を動作させることによって、所有者の手を煩わすことなく話者辞書２７−２に記憶させることができる。
【００５８】
更に、装置の所有者であるか否かに拘らず、また、１名であるか複数名であるかを問わず、発話者となる者の音声について、事前に発話する言語が記憶され、話者特徴量の学習処理がされるとしても良い。そして、複数名について、発話する言語及び話者特徴量が記憶されている場合、翻訳制御部２１は、会話に先立って、その会話の発話者となる者の選択を促す文章又は画像を表示部１５に表示させ、入力部１６の所定の操作に従って選択された者に係る情報に基づいて、話者特徴量２７−２ｂ、第１の言語確率２７−２ｃ、及び第２の言語確率２７−２ｄを記憶させる。
【００５９】
以上の説明で、発話の開始は、入力音声の音量が所定の発話開始音量閾値以上であることによって判断されるとしたが、これに限るものではない。例えば、入力部１６の所定のキー操作によって判断されるとしても良い。表示部１５がタッチパネルである場合、そのタッチパネルへの指等の接触によって判断されるとしても良い。この操作が必要である場合であっても、本発明の適用よれば翻訳方向の判定を使用者の操作によらないため、不特定の発話者によって装置が使用される場合の使い心地に大きな効果がある。
【００６０】
以上の説明で、スピーカ１４ａと、マイクロフォン１４ｂとは、会話翻訳部２０による翻訳と、移動通信網を介した通話とで共用するとしたが、これに限るものではない。スピーカ１４ａ及びマイクロフォン１４ｂの片方又は両方は、翻訳用と、通話用とが別に備えられているとしても良い。
【００６１】
以上の説明は、本発明を移動通信装置に適用した例を用いたが、本発明は、当然に会話の翻訳を行うあらゆる装置、例えば、ＰＤＡや、パソコン等に適用することが可能である。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。
【符号の説明】
【００６２】
１１ 制御部
１４ 音声処理部
１４ａ スピーカ
１４ｂ マイクロフォン
２０ 会話翻訳部
２１ 翻訳制御部
２２ 話速推定部
２３ 音素種別検出部
２４ 話速正規化部
２５ 言語判定部
２５−２ 言語辞書
２５−２ａ 言語
２５−２ｂ 言語特徴量
２６ 話者特徴量算出部
２７ 話者判定部
２７−２ 話者辞書
２７−２ａ 発話者
２７−２ｂ 話者特徴量
２７−２ｃ 第１の言語確率
２７−２ｄ 第２の言語確率
２８ 翻訳方向判定部
２９ 音声翻訳部
【特許請求の範囲】
【請求項１】
第１の言語の発話から第２の言語への翻訳、及び、前記第２の言語の発話から前記第１の言語への翻訳を行う翻訳装置であって、
前記第１の言語の発話の言語特徴量と、前記第２の言語の発話の言語特徴量とを記憶する言語特徴量記憶手段と、
発話を入力する入力手段と、
前記入力手段によって入力された発話の言語特徴量を前記言語特徴量記憶手段に記憶された言語特徴量と比較することによって、その発話が前記第１の言語であるか前記第２の言語であるかを判定する言語判定手段と、
前記入力手段によって入力された発話が第１の話者による発話か第２の話者による発話かを判定した結果に従って、その発話が前記第１の言語であるか前記第２の言語であるかを判定する話者判定手段と、
前記言語判定手段による判定と、前記話者判定手段による判定とを参照して、前記入力手段によって入力された発話が前記第１の言語であるか前記第２の言語であるかを判定し、前記第１の言語であると判定された場合、前記発話を前記第１の言語から前記第２の言語に翻訳し、前記第２の言語であると判定された場合、前記発話を前記第２の言語から前記第１の言語に翻訳する音声翻訳手段とを有し、
前記音声翻訳手段は、前記入力手段によって最初に入力された発話が前記第１の言語であるか前記第２の言語であるかを前記言語判定手段による判定に従って判定する
ことを特徴とする翻訳装置。
【請求項２】
前記話者判定手段は、前記第１の話者の話者特徴量及び発話する言語の確率と、前記第２の話者の話者特徴量及び発話する言語の確率とを記憶し、前記入力手段によって入力された発話の話者特徴量を前記第１の話者の話者特徴量及び前記第２の話者の話者特徴量と比較してその発話の話者を判定し、
（ａ）その発話は、前記判定された話者の発話する確率の大きい言語である判定し、
（ｂ）前記記憶された前記判定された話者の話者特徴量を前記入力された発話の話者特徴量によって学習更新すると共に、前記記憶された前記判定された話者の発話する言語の確率を前記言語判定手段によって判定されたその発話の言語によって学習更新する
ことを特徴とする請求項１に記載の翻訳装置。
【請求項３】
前記話者判定手段は、
（ｃ）前記入力手段によって最初に入力された発話の話者特徴量を前記第１の話者の話者特徴量として記憶し、また、前記言語判定手段によって判定されたその発話の言語を前記第１の話者の言語であると記憶し、
（ｄ）前記入力手段によって２回目以降に発話が入力され、かつ、前記第２の話者の話者特徴量が記憶されていない際、その入力された発話の話者特徴量を前記記憶された第１の話者の話者特徴量と比較することによって、その発話は前記第１の話者による発話か前記第２の話者による発話かを判定し、前記第１の話者による発話と判定された場合、その入力された発話の話者特徴量及び前記言語判定手段によって判定されたその発話の言語を参照して前記記憶された第１の話者の話者特徴量及び言語を学習記憶し、前記第２の話者による発話であると判定された場合、その入力された発話の話者特徴量を前記第２の話者の話者特徴量として記憶し、また、前記言語判定手段によって判定されたその発話の言語を前記第２の話者の言語であると記憶し、
（ｅ）前記入力手段によって発話が入力され、かつ、前記第１の話者の話者特徴量及び前記第２の話者の話者特徴量が記憶されている場合、その入力された発話の話者特徴量を前記記憶された第１の話者の話者特徴量及び前記第２の話者の話者特徴量と比較することによって、その発話は前記第１の話者による発話か前記第２の話者による発話かを判定し、その入力された発話の話者特徴量及び前記言語判定手段によって判定されたその発話の言語を参照して、前記記憶された前記判定された話者の話者特徴量及び言語を学習記憶し、
（ｆ）前記入力手段によって入力された発話の話者特徴量と、前記記憶された第１の話者の話者特徴量及び／又は第２の話者の話者特徴量とを比較することによって、その発話は前記第１の話者による発話か前記第２の話者による発話かを判定し、前記発話は、前記判定された話者の言語であると記憶された言語であると判定する
ことを特徴とする請求項１に記載の翻訳装置。
【請求項４】
前記音声翻訳手段は、前記入力手段によって所定の回数以後に入力された発話が前記第１の言語であるか前記第２の言語であるかを、前記言語判定手段による判定より前記話者判定手段による判定により大きい重みを付して判定する
ことを特徴とする請求項２又は請求項３に記載の翻訳装置。
【請求項５】
前記音声翻訳手段は、前記入力手段によって入力された発話が前記第１の言語であるか前記第２の言語であるかの判定の際、後に入力された発話についての判定には、前に入力された発話についての判定に比較して、前記話者判定手段による判定に小さくない重みを付し、前記言語判定手段による判定に大きくない重みを付す
ことを特徴とする請求項２又は請求項３に記載の翻訳装置。
【請求項６】
第１の言語の発話から第２の言語への翻訳、及び、前記第２の言語の発話から前記第１の言語への翻訳を行う翻訳装置であって、
前記第１の言語の発話の言語特徴量と、前記第２の言語の発話の言語特徴量とを記憶する言語特徴量記憶手段と、
前記第１の言語を発話する第１の話者の発話の話者特徴量を記憶する話者特徴量記憶手段と、
発話を入力する入力手段と、
前記入力手段によって入力された発話の言語特徴量を前記言語特徴量記憶手段に記憶された言語特徴量と比較することによって、その発話が前記第１の言語であるか前記第２の言語であるかを判定する言語判定手段と、
前記入力手段によって入力された発話の話者特徴量と、前記話者特徴量記憶手段に記憶された第１の話者の話者特徴量とを比較することによって、その発話が前記第１の話者による発話であるか否かを判定し、前記第１の話者による発話であると判定された場合、前記発話は前記第１の言語であると判定し、前記第１の話者による発話でないと判定された場合、前記発話は前記第２の言語であると判定する話者判定手段と、
前記言語判定手段による判定と、前記話者判定手段による判定とを参照して、前記入力手段によって入力された発話が前記第１の言語であるか前記第２の言語であるかを判定し、前記第１の言語であると判定された場合、前記発話を前記第１の言語から前記第２の言語に翻訳し、前記第２の言語であると判定された場合、前記発話を前記第２の言語から前記第１の言語に翻訳する音声翻訳手段と
を有することを特徴とする翻訳装置。
【請求項７】
第１の言語の発話から第２の言語への翻訳、及び、前記第２の言語の発話から前記第１の言語への翻訳を行う翻訳装置であって、
前記第１の言語を発話する第１の話者の発話の話者特徴量を記憶する話者特徴量記憶手段と、
発話を入力する入力手段と、
前記入力手段によって入力された発話の話者特徴量と、前記話者特徴量記憶手段に記憶された第１の話者の話者特徴量とを比較することによって、その発話が前記第１の話者による発話であるか否かを判定する話者判定手段と、
前記話者判定手段によって前記発話が前記第１の話者による発話であると判定された場合、前記発話を前記第１の言語から前記第２の言語に翻訳し、前記第１の話者による発話でないと判定された場合、前記発話を前記第２の言語から前記第１の言語に翻訳する音声翻訳手段と
を有することを特徴とする翻訳装置。
【請求項１】
第１の言語の発話から第２の言語への翻訳、及び、前記第２の言語の発話から前記第１の言語への翻訳を行う翻訳装置であって、
前記第１の言語の発話の言語特徴量と、前記第２の言語の発話の言語特徴量とを記憶する言語特徴量記憶手段と、
発話を入力する入力手段と、
前記入力手段によって入力された発話の言語特徴量を前記言語特徴量記憶手段に記憶された言語特徴量と比較することによって、その発話が前記第１の言語であるか前記第２の言語であるかを判定する言語判定手段と、
前記入力手段によって入力された発話が第１の話者による発話か第２の話者による発話かを判定した結果に従って、その発話が前記第１の言語であるか前記第２の言語であるかを判定する話者判定手段と、
前記言語判定手段による判定と、前記話者判定手段による判定とを参照して、前記入力手段によって入力された発話が前記第１の言語であるか前記第２の言語であるかを判定し、前記第１の言語であると判定された場合、前記発話を前記第１の言語から前記第２の言語に翻訳し、前記第２の言語であると判定された場合、前記発話を前記第２の言語から前記第１の言語に翻訳する音声翻訳手段とを有し、
前記音声翻訳手段は、前記入力手段によって最初に入力された発話が前記第１の言語であるか前記第２の言語であるかを前記言語判定手段による判定に従って判定する
ことを特徴とする翻訳装置。
【請求項２】
前記話者判定手段は、前記第１の話者の話者特徴量及び発話する言語の確率と、前記第２の話者の話者特徴量及び発話する言語の確率とを記憶し、前記入力手段によって入力された発話の話者特徴量を前記第１の話者の話者特徴量及び前記第２の話者の話者特徴量と比較してその発話の話者を判定し、
（ａ）その発話は、前記判定された話者の発話する確率の大きい言語である判定し、
（ｂ）前記記憶された前記判定された話者の話者特徴量を前記入力された発話の話者特徴量によって学習更新すると共に、前記記憶された前記判定された話者の発話する言語の確率を前記言語判定手段によって判定されたその発話の言語によって学習更新する
ことを特徴とする請求項１に記載の翻訳装置。
【請求項３】
前記話者判定手段は、
（ｃ）前記入力手段によって最初に入力された発話の話者特徴量を前記第１の話者の話者特徴量として記憶し、また、前記言語判定手段によって判定されたその発話の言語を前記第１の話者の言語であると記憶し、
（ｄ）前記入力手段によって２回目以降に発話が入力され、かつ、前記第２の話者の話者特徴量が記憶されていない際、その入力された発話の話者特徴量を前記記憶された第１の話者の話者特徴量と比較することによって、その発話は前記第１の話者による発話か前記第２の話者による発話かを判定し、前記第１の話者による発話と判定された場合、その入力された発話の話者特徴量及び前記言語判定手段によって判定されたその発話の言語を参照して前記記憶された第１の話者の話者特徴量及び言語を学習記憶し、前記第２の話者による発話であると判定された場合、その入力された発話の話者特徴量を前記第２の話者の話者特徴量として記憶し、また、前記言語判定手段によって判定されたその発話の言語を前記第２の話者の言語であると記憶し、
（ｅ）前記入力手段によって発話が入力され、かつ、前記第１の話者の話者特徴量及び前記第２の話者の話者特徴量が記憶されている場合、その入力された発話の話者特徴量を前記記憶された第１の話者の話者特徴量及び前記第２の話者の話者特徴量と比較することによって、その発話は前記第１の話者による発話か前記第２の話者による発話かを判定し、その入力された発話の話者特徴量及び前記言語判定手段によって判定されたその発話の言語を参照して、前記記憶された前記判定された話者の話者特徴量及び言語を学習記憶し、
（ｆ）前記入力手段によって入力された発話の話者特徴量と、前記記憶された第１の話者の話者特徴量及び／又は第２の話者の話者特徴量とを比較することによって、その発話は前記第１の話者による発話か前記第２の話者による発話かを判定し、前記発話は、前記判定された話者の言語であると記憶された言語であると判定する
ことを特徴とする請求項１に記載の翻訳装置。
【請求項４】
前記音声翻訳手段は、前記入力手段によって所定の回数以後に入力された発話が前記第１の言語であるか前記第２の言語であるかを、前記言語判定手段による判定より前記話者判定手段による判定により大きい重みを付して判定する
ことを特徴とする請求項２又は請求項３に記載の翻訳装置。
【請求項５】
前記音声翻訳手段は、前記入力手段によって入力された発話が前記第１の言語であるか前記第２の言語であるかの判定の際、後に入力された発話についての判定には、前に入力された発話についての判定に比較して、前記話者判定手段による判定に小さくない重みを付し、前記言語判定手段による判定に大きくない重みを付す
ことを特徴とする請求項２又は請求項３に記載の翻訳装置。
【請求項６】
第１の言語の発話から第２の言語への翻訳、及び、前記第２の言語の発話から前記第１の言語への翻訳を行う翻訳装置であって、
前記第１の言語の発話の言語特徴量と、前記第２の言語の発話の言語特徴量とを記憶する言語特徴量記憶手段と、
前記第１の言語を発話する第１の話者の発話の話者特徴量を記憶する話者特徴量記憶手段と、
発話を入力する入力手段と、
前記入力手段によって入力された発話の言語特徴量を前記言語特徴量記憶手段に記憶された言語特徴量と比較することによって、その発話が前記第１の言語であるか前記第２の言語であるかを判定する言語判定手段と、
前記入力手段によって入力された発話の話者特徴量と、前記話者特徴量記憶手段に記憶された第１の話者の話者特徴量とを比較することによって、その発話が前記第１の話者による発話であるか否かを判定し、前記第１の話者による発話であると判定された場合、前記発話は前記第１の言語であると判定し、前記第１の話者による発話でないと判定された場合、前記発話は前記第２の言語であると判定する話者判定手段と、
前記言語判定手段による判定と、前記話者判定手段による判定とを参照して、前記入力手段によって入力された発話が前記第１の言語であるか前記第２の言語であるかを判定し、前記第１の言語であると判定された場合、前記発話を前記第１の言語から前記第２の言語に翻訳し、前記第２の言語であると判定された場合、前記発話を前記第２の言語から前記第１の言語に翻訳する音声翻訳手段と
を有することを特徴とする翻訳装置。
【請求項７】
第１の言語の発話から第２の言語への翻訳、及び、前記第２の言語の発話から前記第１の言語への翻訳を行う翻訳装置であって、
前記第１の言語を発話する第１の話者の発話の話者特徴量を記憶する話者特徴量記憶手段と、
発話を入力する入力手段と、
前記入力手段によって入力された発話の話者特徴量と、前記話者特徴量記憶手段に記憶された第１の話者の話者特徴量とを比較することによって、その発話が前記第１の話者による発話であるか否かを判定する話者判定手段と、
前記話者判定手段によって前記発話が前記第１の話者による発話であると判定された場合、前記発話を前記第１の言語から前記第２の言語に翻訳し、前記第１の話者による発話でないと判定された場合、前記発話を前記第２の言語から前記第１の言語に翻訳する音声翻訳手段と
を有することを特徴とする翻訳装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２４８００２（Ｐ２０１１−２４８００２Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１１９５６９（Ｐ２０１０−１１９５６９）
【出願日】平成２２年５月２５日（２０１０．５．２５）
【出願人】（３１００２２３７２）富士通東芝モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２５日（２０１０．５．２５）
【出願人】（３１００２２３７２）富士通東芝モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
[ Back to top ]