コード基盤多国語通訳装置及び方法
【課題】迅速に多国語への通訳を行うことができるコード基盤多国語通訳装置及び方法を提供する。
【解決手段】各国言語に共通する意思伝達のための単語や簡単な慣用文をコードで定義した後、各国の言語をコードにマッピングして迅速に多国語を通訳できるコード基盤多国語通訳装置及び方法を提供する。この装置はコードを基準に自国語単語と慣用文が他国語単語と慣用文にマッピングされている多国語標準データベースと、自国語を音声認識する自国語音声認識器と、自国語音声認識器で認識された自国語を受信して対応するコードを検索し、検索されたコードに対応する他国語を探して出力する通訳検索エンジンと、通訳検索エンジンから受信した他国語が慣用文であればそのまま出力し、複数の単語であれば自国語の語順を他国語の語順に変換して変換された他国語文章を出力する語順変換器と、音声出力手段と、ディスプレイ手段とで構成される。
【解決手段】各国言語に共通する意思伝達のための単語や簡単な慣用文をコードで定義した後、各国の言語をコードにマッピングして迅速に多国語を通訳できるコード基盤多国語通訳装置及び方法を提供する。この装置はコードを基準に自国語単語と慣用文が他国語単語と慣用文にマッピングされている多国語標準データベースと、自国語を音声認識する自国語音声認識器と、自国語音声認識器で認識された自国語を受信して対応するコードを検索し、検索されたコードに対応する他国語を探して出力する通訳検索エンジンと、通訳検索エンジンから受信した他国語が慣用文であればそのまま出力し、複数の単語であれば自国語の語順を他国語の語順に変換して変換された他国語文章を出力する語順変換器と、音声出力手段と、ディスプレイ手段とで構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多国語通訳装置及び方法に関し、さらに詳しくは各国言語に共通する意思伝達のための単語や簡単な慣用文をコード(インデックス)で定義した後、各国の言語をコードにマッピングして迅速に多国語を通訳できるコード基盤多国語通訳装置及び方法に関する。
【背景技術】
【０００２】
最近、交通手段が発達し経済水準が向上することによって海外旅行が頻繁になって外国人の訪問も増加している。ところが、外国語が上手でない場合、海外旅行や外国人に会った時、意志疎通が図れないことが多い。このような問題点を解決するために本願出願人は大韓民国特許庁に音声認識を用いた多国語通訳／学習装置及び方法を特許出願して大韓民国登録特許第１０−０５９３５８９号として登録を受けている。特許登録された第１０−０５９３５８９号の技術によれば、多国語コンテンツを様々な状況(エピソード)とケース(ユニット)に分けて構築した後、状況とケースを基準に通訳を処理する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】大韓民国登録特許第１０−０５９３５８９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の多国語通訳システムはそれぞれの状況とケース毎に予めコンテンツを構築しておいた後、状況とケースに応じた内容を探して相手の国の言葉に変換していたので状況とケースが正確に一致しない場合には、通訳ができなくなり自然な通訳が難しく、状況とケースを探して通訳する手順が複雑で、時間が遅れる問題点がある。
【０００５】
本発明は、前記のような問題点を解消するために提案されるものであり、本発明の目的は各国言語に共通する意思伝達のための単語や簡単な慣用文をコードで定義した後、コードを基準に各国の言語のデータベースを構築し、音声認識によって自国語を認識した後、コードを基準に他国語を検索して迅速に多国語への通訳を行うことができるコード基盤多国語通訳装置及び方法を提供することにある。
【課題を解決するための手段】
【０００６】
前記のような目的を達成するために、本発明の装置は、コードを基準に自国語単語と慣用文が他国語単語と慣用文にマッピングされている多国語標準データベースと、マイクを介して入力された自国語を音声認識する自国語音声認識器と、前記自国語音声認識器で認識された自国語を受信して対応するコードを検索し、検索されたコードに対応する他国語を探して出力する通訳検索エンジンと、前記通訳検索エンジンから受信した他国語が慣用文であればそのまま出力し、複数の単語であれば自国語の語順を他国語の語順に変換してその変換された他国語の文章を出力する語順変換器と、前記語順変換器の他国語テキストを音声信号に変換するＴＴＳ(Text to Speech)と、前記ＴＴＳの音声信号を増幅してスピーカに出力する音声出力手段と、前記語順変換器のテキスト出力を文字で表示するディスプレイ手段と、を具備したことを特徴とする。
【０００７】
また前記のような目的を達成するために本発明の方法は、意思伝達のための単語や慣用語でコードを定義し、前記コードを基準に多国語標準データベースを構築するステップと、自国語と他国語を設定するステップと、設定された自国語の音声を受信して自国語を音声認識するステップと、前記認識された自国語に対応するコードを検索するステップと、前記検索されたコードにマッピングされた他国語を自国語順で検索するステップと、前記自国語順で配列された他国語を他国語の語順に変換して他国語テキスト文章を形成するステップと、前記他国語テキスト文章を他国語音声信号に変換するステップと、を具備したことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、各国言語に共通する意思伝達のための単語や簡単な慣用文を手話に基づいたコード(手話コード)で定義した後、手話コードを基準に各国の言語のデータベースを構築し、音声認識によって自国語を認識した後、手話コードを基準に他国語を検索して迅速かつ正確に自国語を他国語に通訳することができる。また、本発明によれば、自国語をＮヶ国語に同時通訳することができ、テキストとともにＴＴＳ技術を用いて他国語の音声を即時出力できる。
【図面の簡単な説明】
【０００９】
【図１】本発明によって多国語標準データベースを構築する概念を示した概略図である。
【図２】本発明による標準コード基盤多国語通訳装置の第１実施の形態を示す図である。
【図３】本発明による第１実施の形態の動作手順を示すフローチャートである。
【図４】本発明による標準コード基盤多国語通訳装置の第２実施の形態を示す図である。
【図５】本発明による第２実施の形態の動作手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
本発明と本発明の実施によって達成される技術的課題は、次に説明する本発明の好ましい実施の形態によってより明確になるであろう。次の実施の形態は本発明を説明するために例示したものに過ぎず、本発明の範囲を制限するためのものではない。
【００１１】
図１は、本発明によって多国語標準データベースを構築する概念を示した概略図である。
【００１２】
本発明は、意思伝達のために共通する単語や慣用文をコード化して標準コードを生成した後、各国言語を標準コードとマッピングさせて標準コードを基準に次の表１のような多国語標準データベースを構築する。本発明の実施の形態では各国の手話が意思伝達に必要な最適の手段であることに着目して手話を基準にコード(14)を定義するが、頻繁に使用する簡単な文章もコードで定義する。このように本発明によって各国の手話単語と頻繁に使用する簡単な慣用文をコード化して共通の意味を示すように定義したものを「手話コード(14)」とする。
【００１３】
【表１】
【００１４】
前記表１で第１国語(12-1)は韓国語、第２国語は英語、第ｎ国語(12-N)は日本語である。本発明では韓国語の
に該当する意味を手話コード(14)「00000001」で定義した後、この手話コード(14)と同じ意味の英語である「ｍｏｕｎｔａｉｎ」をマッピングさせ、日本語の「やま」をマッピングさせる。このように本発明の多国語標準データベース(16)には各国の単語と簡単な慣用文が手話コード(14)を基準にマッピングされている。
【００１５】
図２は、本発明によるコード基盤多国語通訳装置の第１実施の形態であり、独立した端末機の形態で実施した例である。このような端末機としては専用端末機も使用可能であるが、携帯電話、電子辞典、ポータブルマルチメディアプレーヤー(ＰＭＰ)などのような携帯端末機に追加搭載されることもできる。
【００１６】
本発明によるコード基盤多国語通訳装置(100)は、図２に示すように、マイク(102)、アナログデジタル(Ａ／Ｄ)変換器(104)、デジタルアナログ(Ｄ／Ａ)変換器(106)、増幅器(108)、スピーカ(110)、キー入力部(112)、音声認識器(121)、通訳検索エンジン(122)、語順変換器(123)、ＴＴＳ(124)、多国語標準データベース(16)及びＬＣＤ(130)で構成される。ここで、音声認識器(121)、通訳検索エンジン(122)、語順変換器(123)及びＴＴＳ(124)は、ＭＣＵ(120)で実行されるソフトウェアであり得る。
【００１７】
図２に示すように、多国語標準データベース(16)はＨＤＤやフラッシュメモリのような保存媒体に保存されており、手話コードを基準に自国語単語と慣用文が他国語単語と慣用文にマッピングされている。
【００１８】
アナログデジタル変換器(104)はマイク(102)からアナログ音声信号を受信してデジタルに変換し、自国語音声認識器(121)はマイク(102)を介して入力された自国語を音声認識して認識された文章と単語のテキストを出力する。
【００１９】
通訳検索エンジン(122)は音声認識器(121)が認識した自国語文章を受信して多国語標準データベース(16)上の自国語データと比較して一致する文章があれば、その文章の手話コードを探して、その手話コードにマッピングされた他国語文章を探して他国語文章を語順を変換することなくＴＴＳ(124)に出力する。また、通訳検索エンジン(122)は一致する文章がない場合、その文章を構成する単語をそれぞれ検索して単語の手話コードを探した後、その手話コードにマッピングされた他国語単語を検索して語順変換器(123)に出力する。
【００２０】
語順変換器(123)は通訳検索エンジン(122)から文章や単語を自国語順で入力されて文章の場合には語順を変換することなくそのままＴＴＳ(124)に伝達し、単語の場合には文章終了信号に応じて自国語の語順を他国語の語順に変換して変換された他国語文章をＴＴＳ(124)に出力する。
【００２１】
ＴＴＳ(１２４)は語順変換器(123)の他国語テキストを音声データに変換し、デジタルアナログ変換器(124)はデジタルデータをアナログ信号に変換して増幅器(108)に出力する。増幅器(108)はアナログオーディオ信号を受信して増幅した後スピーカ(110)を介して出力する。
【００２２】
ＬＣＤ(１３０)は語順変換器(123)から入力された他国語テキストデータを受信して自国語に対応する他国語文章を文字で表示する。場合によっては語順変換器(130)を介して手話コードを受信して他国語の手話動作を共に出力することができる。またＬＣＤ(130)はタッチパネルで実施されキー入力部機能と一体になることもできる。
【００２３】
制御部(125)は電源がオン状態になると、多国語通訳を設定するための初期画面をＬＣＤ(130)に出力して通訳可能な言語を案内するとともに、キー入力部(112)を介して使用者の操作を受信して自国語と他国語とを設定する。ここで自国語とは使用者が音声で入力する言語であり、他国語とは相手方が聞いて理解できる相手方の言語である。本発明によれば、多国語標準データベース(16)にＮヶ国語のデータを保存する場合にＮヶ国語の同時通訳が可能であるが、実際にはデータベースの容量を考慮して韓国語、日本語、英語など３ヶ国語のデータベースを構築した後、自国語−他国語設定に沿って次の表２のように通訳処理を行うことができる。また語順変換器(123)、ＴＴＳ(124)、デジタルアナログ変換器(106)、増幅器(108)、スピーカ(110)など出力部分を二重に構成する場合には自国語を二つの他国語に同時通訳することもでき、Ｎ重に構成する場合にはＮヶ国語に同時通訳することもできる。
【００２４】
【表２】
【００２５】
次に、上記のように構成される多国語通訳装置(100)の動作を説明すれば次のとおりである。
【００２６】
図３は、本発明による第１実施の形態の動作手順を示すフローチャートである。
【００２７】
先ず、本発明による手話コード基盤多国語通訳装置(100)は、意思伝達のための単語や慣用語で手話コードを定義し、手話コードを基準に多国語標準データベース(16)を構築する(S101)。そして、手話コード基盤多国語通訳装置の保存装置には多国語標準データベース(16)と動作のためのソフトウェアが搭載されている。
【００２８】
電源がオン状態になると、ＭＣＵ(120)はフラッシュメモリやＨＤＤに保存されたソフトウェアを読み込んで多国語通訳のためのメニュー画面をＬＣＤ(130)に出力する。メニュー画面には自国語と他国語を設定するための項目があり、方向キーやエンターキーなどを用いて自国語と他国語を設定する(S102)。
【００２９】
自国語と他国語が設定されるとＭＣＵ(120)は自国語を認識するための音声認識器(121)を駆動し、通訳検索エンジン(122)に自国語と他国語の設定を知らせ、設定された自国語の語順を他国語の語順に変換するための語順変換器(123)を駆動させ、設定された他国語テキストを他国語音声に変換するためのＴＴＳ(124)を駆動する。
【００３０】
設定が完了した後、使用者が自国語で話すと、マイク(102)は自国語音声を電気的な信号に変換し、アナログデジタル変換器(104)はデジタル変換して音声認識器(121)に伝達する。音声認識器(121)は一つの文章の最初と最後を認識するとともに文章の内容を認識し、文章を構成する単語を認識して自国語テキストを出力する(S103)。
【００３１】
そして、通訳検索エンジン(122)は先ず音声認識器(121)から伝達された文章を多国語標準データベース(16)の該当自国語データと比較して一致する慣用文があれば、その文章の手話コードを検索する(S104)。そして、検索された手話コードにマッピングされた他国語の文章を引き出して語順変換器(123)を経てそのままＴＴＳ(124)に伝達する(S111)、(S112)。
【００３２】
もし、文章レベル検索で一致する文章がない場合には文章を構成する単語を同じ方式で検索して多国語標準データベース(16)からその単語の手話コードを検索した後、手話コードにマッピングされた他国語単語を探して語順変換器(123)に伝達する(S105〜S107)。
【００３３】
語順変換器(123)は自国語単語順で配列された他国語の語順を変換して他国語文章を形成した後、変換された他国語文章テキストをＬＣＤ(130)にそのまま出力して他国語文字に表示するとともに、ＴＴＳ(124)に伝達して他国語テキストを他国語音声に変換する(S108〜S110)。
【００３４】
したがって、本発明によれば、手話コードを基準に多国語標準データベースから自国語に対応する他国語文章や単語を検索して迅速かつ正確に通訳処理を行うことができる。
【００３５】
図４は、本発明によるコード基盤多国語通訳装置の第２実施の形態であって、クライアント−サーバ構造で実施した例であり、図５は、本発明による第２実施の形態の動作手順を示したフローチャートである。このようなクライアント−サーバ構造の通訳装置はウェブサーバで実施されインターネットを介して複数のクライアントに本発明による通訳サービスを提供することができる。
【００３６】
図４に示すように、本発明による多国語通訳サービスサイト(210)は、多国語通訳サービスのためのソフトウェアを搭載している多国語通訳サーバ(212)と、多国語標準データベース(16)が搭載されたデータベースサーバ(214)とを含む。多国語通訳サーバ(212)はウェブアプリケーションサーバであり、インターネット(202)を介して有線端末機(ＰＣ)(220)が連結可能であるとともに、ゲートウェイ(Ｇ／Ｗ)(204)を介して移動通信網(206)を経て携帯端末機(230)と連結可能である。有線端末機(220)はマイク入力とスピーカ出力機能を有しウェブブラウザが搭載されたＰＣやノートパソコンであり、携帯端末機(230)は無線ランに接続可能なノートパソコンやウェブブック、又は移動通信網を介して連結されるスマートフォン、携帯電話などである。
【００３７】
図５に示すように、有線端末機(220)や携帯端末機(230)を介して多国語通訳サービスサイト(210)に接続する(S201)。
【００３８】
多国語通訳サービスサイト(210)は端末機(220)、(230)が接続すると多国語通訳サービスのためのウェブページを提供した後、自国語と他国語を設定させる(S202)。使用者が端末機(220)、(230)を介して自国語と他国語を選択すると、多国語通訳サーバ(212)は選択された自国語を他国語に通訳するための音声認識器、通訳検索エンジン、多国語標準データベース、語順変換器及びＴＴＳなどを含む通訳ソフトウェアファイルをダウンロードさせる(S203)。
【００３９】
このように自国語と他国語を予め設定する場合、多国語通訳サーバ(２１２)は使用者が必要とするソフトウェアモジュールとデータベースのみを選択して伝送することができるので伝送容量を低減することができる。そして、選択された自国語と他国語のみが搭載された多国語標準データベースもすべてのファイルを伝送することなく、使用頻度に合わせて頻繁に使用する内容のデータを次の表３のようなＧＹ＿ＸＭＬファイル形式で先に伝送し、使用頻度の低いデータはクライアントが要求する時に追加的に伝送することができる。
【００４０】
【表３】
【００４１】
次に、端末機(220)、(230)はダウンロードしたソフトウェアを実行した後、端末機(220)、(230)に設置されたマイクを介して自国語音声を受信することで自国語を音声認識する(S204)、(S205)。
【００４２】
そして、ダウンロードした多国語標準データベースから認識された自国語に対応する手話コードを検索し、検索した結果該当する手話コードがない場合、多国語通訳サーバ(212)に多国語標準データベースの他の一部を要求してダウンロードする(S206〜S208)。次に、新しくダウンロードした多国語標準データベースから認識された自国語に対応する手話コードを検索する(S206)。
【００４３】
そして、検索された手話コードにマッピングされた他国語を検索し、一つの文章が終了すると、自国語順で配列された他国語の語順を他国語の語順に変換して他国語テキスト文章を形成する(S210〜S212)。次に、他国語テキスト文章をＬＣＤ画面上に表示するとともに、ＴＴＳに他国語テキスト文章を音声信号に変換してスピーカを介して出力する(S213)、(S214)。
【００４４】
このように本発明による多国語通訳サービスは、インターネットを介してクライアント−サーバ構造でサービスすることができる。また、本発明は発音機能付語学辞典に応用することができ、携帯電話、スマートフォン、ポータブルマルチメディアプレーヤー、ナビゲーションなどのようなモバイル機器で実施されることができる。
【００４５】
以上、本発明を図面に図示された実施の形態を参照しながら説明したが、本技術分野の通常の知識を有する者であれば、これより様々な変形及び均等な他の実施の形態が可能であることを理解できるはずである。
【符号の説明】
【００４６】
14…手話コード、16…多国語標準データベース、102…マイク、104…アナログデジタル変換器、106…デジタルアナログ変換器、108…増幅器、110…スピーカ、112…キー入力部、120…ＭＣＵ、121…音声認識器、122…通訳検索エンジン、123…語順変換器、124…ＴＴＳ、130…ＬＣＤ。
【技術分野】
【０００１】
本発明は、多国語通訳装置及び方法に関し、さらに詳しくは各国言語に共通する意思伝達のための単語や簡単な慣用文をコード(インデックス)で定義した後、各国の言語をコードにマッピングして迅速に多国語を通訳できるコード基盤多国語通訳装置及び方法に関する。
【背景技術】
【０００２】
最近、交通手段が発達し経済水準が向上することによって海外旅行が頻繁になって外国人の訪問も増加している。ところが、外国語が上手でない場合、海外旅行や外国人に会った時、意志疎通が図れないことが多い。このような問題点を解決するために本願出願人は大韓民国特許庁に音声認識を用いた多国語通訳／学習装置及び方法を特許出願して大韓民国登録特許第１０−０５９３５８９号として登録を受けている。特許登録された第１０−０５９３５８９号の技術によれば、多国語コンテンツを様々な状況(エピソード)とケース(ユニット)に分けて構築した後、状況とケースを基準に通訳を処理する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】大韓民国登録特許第１０−０５９３５８９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の多国語通訳システムはそれぞれの状況とケース毎に予めコンテンツを構築しておいた後、状況とケースに応じた内容を探して相手の国の言葉に変換していたので状況とケースが正確に一致しない場合には、通訳ができなくなり自然な通訳が難しく、状況とケースを探して通訳する手順が複雑で、時間が遅れる問題点がある。
【０００５】
本発明は、前記のような問題点を解消するために提案されるものであり、本発明の目的は各国言語に共通する意思伝達のための単語や簡単な慣用文をコードで定義した後、コードを基準に各国の言語のデータベースを構築し、音声認識によって自国語を認識した後、コードを基準に他国語を検索して迅速に多国語への通訳を行うことができるコード基盤多国語通訳装置及び方法を提供することにある。
【課題を解決するための手段】
【０００６】
前記のような目的を達成するために、本発明の装置は、コードを基準に自国語単語と慣用文が他国語単語と慣用文にマッピングされている多国語標準データベースと、マイクを介して入力された自国語を音声認識する自国語音声認識器と、前記自国語音声認識器で認識された自国語を受信して対応するコードを検索し、検索されたコードに対応する他国語を探して出力する通訳検索エンジンと、前記通訳検索エンジンから受信した他国語が慣用文であればそのまま出力し、複数の単語であれば自国語の語順を他国語の語順に変換してその変換された他国語の文章を出力する語順変換器と、前記語順変換器の他国語テキストを音声信号に変換するＴＴＳ(Text to Speech)と、前記ＴＴＳの音声信号を増幅してスピーカに出力する音声出力手段と、前記語順変換器のテキスト出力を文字で表示するディスプレイ手段と、を具備したことを特徴とする。
【０００７】
また前記のような目的を達成するために本発明の方法は、意思伝達のための単語や慣用語でコードを定義し、前記コードを基準に多国語標準データベースを構築するステップと、自国語と他国語を設定するステップと、設定された自国語の音声を受信して自国語を音声認識するステップと、前記認識された自国語に対応するコードを検索するステップと、前記検索されたコードにマッピングされた他国語を自国語順で検索するステップと、前記自国語順で配列された他国語を他国語の語順に変換して他国語テキスト文章を形成するステップと、前記他国語テキスト文章を他国語音声信号に変換するステップと、を具備したことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、各国言語に共通する意思伝達のための単語や簡単な慣用文を手話に基づいたコード(手話コード)で定義した後、手話コードを基準に各国の言語のデータベースを構築し、音声認識によって自国語を認識した後、手話コードを基準に他国語を検索して迅速かつ正確に自国語を他国語に通訳することができる。また、本発明によれば、自国語をＮヶ国語に同時通訳することができ、テキストとともにＴＴＳ技術を用いて他国語の音声を即時出力できる。
【図面の簡単な説明】
【０００９】
【図１】本発明によって多国語標準データベースを構築する概念を示した概略図である。
【図２】本発明による標準コード基盤多国語通訳装置の第１実施の形態を示す図である。
【図３】本発明による第１実施の形態の動作手順を示すフローチャートである。
【図４】本発明による標準コード基盤多国語通訳装置の第２実施の形態を示す図である。
【図５】本発明による第２実施の形態の動作手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
本発明と本発明の実施によって達成される技術的課題は、次に説明する本発明の好ましい実施の形態によってより明確になるであろう。次の実施の形態は本発明を説明するために例示したものに過ぎず、本発明の範囲を制限するためのものではない。
【００１１】
図１は、本発明によって多国語標準データベースを構築する概念を示した概略図である。
【００１２】
本発明は、意思伝達のために共通する単語や慣用文をコード化して標準コードを生成した後、各国言語を標準コードとマッピングさせて標準コードを基準に次の表１のような多国語標準データベースを構築する。本発明の実施の形態では各国の手話が意思伝達に必要な最適の手段であることに着目して手話を基準にコード(14)を定義するが、頻繁に使用する簡単な文章もコードで定義する。このように本発明によって各国の手話単語と頻繁に使用する簡単な慣用文をコード化して共通の意味を示すように定義したものを「手話コード(14)」とする。
【００１３】
【表１】
【００１４】
前記表１で第１国語(12-1)は韓国語、第２国語は英語、第ｎ国語(12-N)は日本語である。本発明では韓国語の
に該当する意味を手話コード(14)「00000001」で定義した後、この手話コード(14)と同じ意味の英語である「ｍｏｕｎｔａｉｎ」をマッピングさせ、日本語の「やま」をマッピングさせる。このように本発明の多国語標準データベース(16)には各国の単語と簡単な慣用文が手話コード(14)を基準にマッピングされている。
【００１５】
図２は、本発明によるコード基盤多国語通訳装置の第１実施の形態であり、独立した端末機の形態で実施した例である。このような端末機としては専用端末機も使用可能であるが、携帯電話、電子辞典、ポータブルマルチメディアプレーヤー(ＰＭＰ)などのような携帯端末機に追加搭載されることもできる。
【００１６】
本発明によるコード基盤多国語通訳装置(100)は、図２に示すように、マイク(102)、アナログデジタル(Ａ／Ｄ)変換器(104)、デジタルアナログ(Ｄ／Ａ)変換器(106)、増幅器(108)、スピーカ(110)、キー入力部(112)、音声認識器(121)、通訳検索エンジン(122)、語順変換器(123)、ＴＴＳ(124)、多国語標準データベース(16)及びＬＣＤ(130)で構成される。ここで、音声認識器(121)、通訳検索エンジン(122)、語順変換器(123)及びＴＴＳ(124)は、ＭＣＵ(120)で実行されるソフトウェアであり得る。
【００１７】
図２に示すように、多国語標準データベース(16)はＨＤＤやフラッシュメモリのような保存媒体に保存されており、手話コードを基準に自国語単語と慣用文が他国語単語と慣用文にマッピングされている。
【００１８】
アナログデジタル変換器(104)はマイク(102)からアナログ音声信号を受信してデジタルに変換し、自国語音声認識器(121)はマイク(102)を介して入力された自国語を音声認識して認識された文章と単語のテキストを出力する。
【００１９】
通訳検索エンジン(122)は音声認識器(121)が認識した自国語文章を受信して多国語標準データベース(16)上の自国語データと比較して一致する文章があれば、その文章の手話コードを探して、その手話コードにマッピングされた他国語文章を探して他国語文章を語順を変換することなくＴＴＳ(124)に出力する。また、通訳検索エンジン(122)は一致する文章がない場合、その文章を構成する単語をそれぞれ検索して単語の手話コードを探した後、その手話コードにマッピングされた他国語単語を検索して語順変換器(123)に出力する。
【００２０】
語順変換器(123)は通訳検索エンジン(122)から文章や単語を自国語順で入力されて文章の場合には語順を変換することなくそのままＴＴＳ(124)に伝達し、単語の場合には文章終了信号に応じて自国語の語順を他国語の語順に変換して変換された他国語文章をＴＴＳ(124)に出力する。
【００２１】
ＴＴＳ(１２４)は語順変換器(123)の他国語テキストを音声データに変換し、デジタルアナログ変換器(124)はデジタルデータをアナログ信号に変換して増幅器(108)に出力する。増幅器(108)はアナログオーディオ信号を受信して増幅した後スピーカ(110)を介して出力する。
【００２２】
ＬＣＤ(１３０)は語順変換器(123)から入力された他国語テキストデータを受信して自国語に対応する他国語文章を文字で表示する。場合によっては語順変換器(130)を介して手話コードを受信して他国語の手話動作を共に出力することができる。またＬＣＤ(130)はタッチパネルで実施されキー入力部機能と一体になることもできる。
【００２３】
制御部(125)は電源がオン状態になると、多国語通訳を設定するための初期画面をＬＣＤ(130)に出力して通訳可能な言語を案内するとともに、キー入力部(112)を介して使用者の操作を受信して自国語と他国語とを設定する。ここで自国語とは使用者が音声で入力する言語であり、他国語とは相手方が聞いて理解できる相手方の言語である。本発明によれば、多国語標準データベース(16)にＮヶ国語のデータを保存する場合にＮヶ国語の同時通訳が可能であるが、実際にはデータベースの容量を考慮して韓国語、日本語、英語など３ヶ国語のデータベースを構築した後、自国語−他国語設定に沿って次の表２のように通訳処理を行うことができる。また語順変換器(123)、ＴＴＳ(124)、デジタルアナログ変換器(106)、増幅器(108)、スピーカ(110)など出力部分を二重に構成する場合には自国語を二つの他国語に同時通訳することもでき、Ｎ重に構成する場合にはＮヶ国語に同時通訳することもできる。
【００２４】
【表２】
【００２５】
次に、上記のように構成される多国語通訳装置(100)の動作を説明すれば次のとおりである。
【００２６】
図３は、本発明による第１実施の形態の動作手順を示すフローチャートである。
【００２７】
先ず、本発明による手話コード基盤多国語通訳装置(100)は、意思伝達のための単語や慣用語で手話コードを定義し、手話コードを基準に多国語標準データベース(16)を構築する(S101)。そして、手話コード基盤多国語通訳装置の保存装置には多国語標準データベース(16)と動作のためのソフトウェアが搭載されている。
【００２８】
電源がオン状態になると、ＭＣＵ(120)はフラッシュメモリやＨＤＤに保存されたソフトウェアを読み込んで多国語通訳のためのメニュー画面をＬＣＤ(130)に出力する。メニュー画面には自国語と他国語を設定するための項目があり、方向キーやエンターキーなどを用いて自国語と他国語を設定する(S102)。
【００２９】
自国語と他国語が設定されるとＭＣＵ(120)は自国語を認識するための音声認識器(121)を駆動し、通訳検索エンジン(122)に自国語と他国語の設定を知らせ、設定された自国語の語順を他国語の語順に変換するための語順変換器(123)を駆動させ、設定された他国語テキストを他国語音声に変換するためのＴＴＳ(124)を駆動する。
【００３０】
設定が完了した後、使用者が自国語で話すと、マイク(102)は自国語音声を電気的な信号に変換し、アナログデジタル変換器(104)はデジタル変換して音声認識器(121)に伝達する。音声認識器(121)は一つの文章の最初と最後を認識するとともに文章の内容を認識し、文章を構成する単語を認識して自国語テキストを出力する(S103)。
【００３１】
そして、通訳検索エンジン(122)は先ず音声認識器(121)から伝達された文章を多国語標準データベース(16)の該当自国語データと比較して一致する慣用文があれば、その文章の手話コードを検索する(S104)。そして、検索された手話コードにマッピングされた他国語の文章を引き出して語順変換器(123)を経てそのままＴＴＳ(124)に伝達する(S111)、(S112)。
【００３２】
もし、文章レベル検索で一致する文章がない場合には文章を構成する単語を同じ方式で検索して多国語標準データベース(16)からその単語の手話コードを検索した後、手話コードにマッピングされた他国語単語を探して語順変換器(123)に伝達する(S105〜S107)。
【００３３】
語順変換器(123)は自国語単語順で配列された他国語の語順を変換して他国語文章を形成した後、変換された他国語文章テキストをＬＣＤ(130)にそのまま出力して他国語文字に表示するとともに、ＴＴＳ(124)に伝達して他国語テキストを他国語音声に変換する(S108〜S110)。
【００３４】
したがって、本発明によれば、手話コードを基準に多国語標準データベースから自国語に対応する他国語文章や単語を検索して迅速かつ正確に通訳処理を行うことができる。
【００３５】
図４は、本発明によるコード基盤多国語通訳装置の第２実施の形態であって、クライアント−サーバ構造で実施した例であり、図５は、本発明による第２実施の形態の動作手順を示したフローチャートである。このようなクライアント−サーバ構造の通訳装置はウェブサーバで実施されインターネットを介して複数のクライアントに本発明による通訳サービスを提供することができる。
【００３６】
図４に示すように、本発明による多国語通訳サービスサイト(210)は、多国語通訳サービスのためのソフトウェアを搭載している多国語通訳サーバ(212)と、多国語標準データベース(16)が搭載されたデータベースサーバ(214)とを含む。多国語通訳サーバ(212)はウェブアプリケーションサーバであり、インターネット(202)を介して有線端末機(ＰＣ)(220)が連結可能であるとともに、ゲートウェイ(Ｇ／Ｗ)(204)を介して移動通信網(206)を経て携帯端末機(230)と連結可能である。有線端末機(220)はマイク入力とスピーカ出力機能を有しウェブブラウザが搭載されたＰＣやノートパソコンであり、携帯端末機(230)は無線ランに接続可能なノートパソコンやウェブブック、又は移動通信網を介して連結されるスマートフォン、携帯電話などである。
【００３７】
図５に示すように、有線端末機(220)や携帯端末機(230)を介して多国語通訳サービスサイト(210)に接続する(S201)。
【００３８】
多国語通訳サービスサイト(210)は端末機(220)、(230)が接続すると多国語通訳サービスのためのウェブページを提供した後、自国語と他国語を設定させる(S202)。使用者が端末機(220)、(230)を介して自国語と他国語を選択すると、多国語通訳サーバ(212)は選択された自国語を他国語に通訳するための音声認識器、通訳検索エンジン、多国語標準データベース、語順変換器及びＴＴＳなどを含む通訳ソフトウェアファイルをダウンロードさせる(S203)。
【００３９】
このように自国語と他国語を予め設定する場合、多国語通訳サーバ(２１２)は使用者が必要とするソフトウェアモジュールとデータベースのみを選択して伝送することができるので伝送容量を低減することができる。そして、選択された自国語と他国語のみが搭載された多国語標準データベースもすべてのファイルを伝送することなく、使用頻度に合わせて頻繁に使用する内容のデータを次の表３のようなＧＹ＿ＸＭＬファイル形式で先に伝送し、使用頻度の低いデータはクライアントが要求する時に追加的に伝送することができる。
【００４０】
【表３】
【００４１】
次に、端末機(220)、(230)はダウンロードしたソフトウェアを実行した後、端末機(220)、(230)に設置されたマイクを介して自国語音声を受信することで自国語を音声認識する(S204)、(S205)。
【００４２】
そして、ダウンロードした多国語標準データベースから認識された自国語に対応する手話コードを検索し、検索した結果該当する手話コードがない場合、多国語通訳サーバ(212)に多国語標準データベースの他の一部を要求してダウンロードする(S206〜S208)。次に、新しくダウンロードした多国語標準データベースから認識された自国語に対応する手話コードを検索する(S206)。
【００４３】
そして、検索された手話コードにマッピングされた他国語を検索し、一つの文章が終了すると、自国語順で配列された他国語の語順を他国語の語順に変換して他国語テキスト文章を形成する(S210〜S212)。次に、他国語テキスト文章をＬＣＤ画面上に表示するとともに、ＴＴＳに他国語テキスト文章を音声信号に変換してスピーカを介して出力する(S213)、(S214)。
【００４４】
このように本発明による多国語通訳サービスは、インターネットを介してクライアント−サーバ構造でサービスすることができる。また、本発明は発音機能付語学辞典に応用することができ、携帯電話、スマートフォン、ポータブルマルチメディアプレーヤー、ナビゲーションなどのようなモバイル機器で実施されることができる。
【００４５】
以上、本発明を図面に図示された実施の形態を参照しながら説明したが、本技術分野の通常の知識を有する者であれば、これより様々な変形及び均等な他の実施の形態が可能であることを理解できるはずである。
【符号の説明】
【００４６】
14…手話コード、16…多国語標準データベース、102…マイク、104…アナログデジタル変換器、106…デジタルアナログ変換器、108…増幅器、110…スピーカ、112…キー入力部、120…ＭＣＵ、121…音声認識器、122…通訳検索エンジン、123…語順変換器、124…ＴＴＳ、130…ＬＣＤ。
【特許請求の範囲】
【請求項１】
コードを基準に自国語単語と慣用文が他国語単語と慣用文にマッピングされている多国語標準データベースと、
マイクを介して入力された自国語を音声認識する自国語音声認識器と、
前記自国語音声認識器で認識された自国語を受信して対応するコードを検索し、検索されたコードに対応する他国語を探して出力する通訳検索エンジンと、
前記通訳検索エンジンから受信した他国語が慣用文であればそのまま出力し、複数の単語であれば自国語の語順を他国語の語順に変換して変換された他国語文章を出力する語順変換器と、
前記語順変換器の他国語テキストを音声信号に変換するＴＴＳ(Text to Speech)と、
前記ＴＴＳの音声信号を増幅してスピーカに出力する音声出力手段と、
前記語順変換器のテキスト出力を文字で表示するディスプレイ手段と、を具備したことを特徴とするコード基盤多国語通訳装置。
【請求項２】
前記多国語通訳装置は、
使用者の操作を受信して自国語と他国語とを設定し、前記音声認識器に設定された自国語を音声認識させ、前記通訳検索エンジンに自国語と他国語を知らせ、前記語順変換器に設定された自国語の語順を設定された他国語の語順に変換させ、前記ＴＴＳが選択された他国語テキストを他国語音声に変換するように制御する制御部をさらに具備したことを特徴とする請求項１に記載のコード基盤多国語通訳装置。
【請求項３】
前記多国語通訳装置は、
前記通訳検索エンジンがコードにマッピングされたＮヶ国の言語データをそれぞれＮ個の語順変換器に伝達し、Ｎ個の語順変換器はＮ個のＴＴＳにそれぞれ伝達した後、Ｎ個の音声出力手段に出力して自国語をＮヶ国語に同時通訳できることを特徴とする請求項１に記載のコード基盤多国語通訳装置。
【請求項４】
前記多国語通訳装置は、
独立型携帯端末機であるか、サーバ−クライアント構造であることを特徴とするコード請求項１に記載の基盤多国語通訳装置。
【請求項５】
前記コードは、
各国の手話単語と頻繁に使用する簡単な手話慣用文をコード化して共通の意味を表すように定義した手話コードであることを特徴とする請求項１に記載のコード基盤多国語通訳装置。
【請求項６】
意思伝達のための単語や慣用語でコードを定義し、前記コードを基準に多国語標準データベースを構築するステップと、
自国語と他国語とを設定するステップと、
設定された自国語の音声を受信して自国語を音声認識するステップと、
前記認識された自国語に対応するコードを検索するステップと、
前記検索されたコードにマッピングされる他国語を自国語順で検索するステップと、
前記自国語順で配列された他国語を他国語の語順に変換して他国語テキスト文章を形成するステップと、
前記他国語テキスト文章を他国語音声信号に変換するステップと、を具備したことを特徴とするコード基盤多国語通訳方法。
【請求項７】
多国語通訳サーバに接続して自国語と他国語を設定するステップと、
前記多国語通訳サーバから多国語標準データベースの一部と通訳ソフトウェアとをダウンロードして実行するステップと、
自国語音声を受信して自国語を音声認識するステップと、
ダウンロードされた前記多国語標準データベースから前記認識された自国語に対応するコードを検索するステップと、
前記検索の結果対応するコードがない場合、前記多国語通訳サーバに前記多国語標準データベースの他の一部を要請してダウンロードするステップと、
前記新しくダウンロードした多国語標準データベースから前記認識された自国語に対応するコードを検索するステップと、
前記検索されたコードにマッピングされた他国語を自国語順で検索するステップと、
前記自国語の語順で配列された他国語単語の語順を他国語の語順に変換して他国語テキスト文章を形成するステップと、
前記他国語テキスト文章を音声信号に変換するステップと、を具備したことを特徴とするコード基盤多国語通訳方法。
【請求項１】
コードを基準に自国語単語と慣用文が他国語単語と慣用文にマッピングされている多国語標準データベースと、
マイクを介して入力された自国語を音声認識する自国語音声認識器と、
前記自国語音声認識器で認識された自国語を受信して対応するコードを検索し、検索されたコードに対応する他国語を探して出力する通訳検索エンジンと、
前記通訳検索エンジンから受信した他国語が慣用文であればそのまま出力し、複数の単語であれば自国語の語順を他国語の語順に変換して変換された他国語文章を出力する語順変換器と、
前記語順変換器の他国語テキストを音声信号に変換するＴＴＳ(Text to Speech)と、
前記ＴＴＳの音声信号を増幅してスピーカに出力する音声出力手段と、
前記語順変換器のテキスト出力を文字で表示するディスプレイ手段と、を具備したことを特徴とするコード基盤多国語通訳装置。
【請求項２】
前記多国語通訳装置は、
使用者の操作を受信して自国語と他国語とを設定し、前記音声認識器に設定された自国語を音声認識させ、前記通訳検索エンジンに自国語と他国語を知らせ、前記語順変換器に設定された自国語の語順を設定された他国語の語順に変換させ、前記ＴＴＳが選択された他国語テキストを他国語音声に変換するように制御する制御部をさらに具備したことを特徴とする請求項１に記載のコード基盤多国語通訳装置。
【請求項３】
前記多国語通訳装置は、
前記通訳検索エンジンがコードにマッピングされたＮヶ国の言語データをそれぞれＮ個の語順変換器に伝達し、Ｎ個の語順変換器はＮ個のＴＴＳにそれぞれ伝達した後、Ｎ個の音声出力手段に出力して自国語をＮヶ国語に同時通訳できることを特徴とする請求項１に記載のコード基盤多国語通訳装置。
【請求項４】
前記多国語通訳装置は、
独立型携帯端末機であるか、サーバ−クライアント構造であることを特徴とするコード請求項１に記載の基盤多国語通訳装置。
【請求項５】
前記コードは、
各国の手話単語と頻繁に使用する簡単な手話慣用文をコード化して共通の意味を表すように定義した手話コードであることを特徴とする請求項１に記載のコード基盤多国語通訳装置。
【請求項６】
意思伝達のための単語や慣用語でコードを定義し、前記コードを基準に多国語標準データベースを構築するステップと、
自国語と他国語とを設定するステップと、
設定された自国語の音声を受信して自国語を音声認識するステップと、
前記認識された自国語に対応するコードを検索するステップと、
前記検索されたコードにマッピングされる他国語を自国語順で検索するステップと、
前記自国語順で配列された他国語を他国語の語順に変換して他国語テキスト文章を形成するステップと、
前記他国語テキスト文章を他国語音声信号に変換するステップと、を具備したことを特徴とするコード基盤多国語通訳方法。
【請求項７】
多国語通訳サーバに接続して自国語と他国語を設定するステップと、
前記多国語通訳サーバから多国語標準データベースの一部と通訳ソフトウェアとをダウンロードして実行するステップと、
自国語音声を受信して自国語を音声認識するステップと、
ダウンロードされた前記多国語標準データベースから前記認識された自国語に対応するコードを検索するステップと、
前記検索の結果対応するコードがない場合、前記多国語通訳サーバに前記多国語標準データベースの他の一部を要請してダウンロードするステップと、
前記新しくダウンロードした多国語標準データベースから前記認識された自国語に対応するコードを検索するステップと、
前記検索されたコードにマッピングされた他国語を自国語順で検索するステップと、
前記自国語の語順で配列された他国語単語の語順を他国語の語順に変換して他国語テキスト文章を形成するステップと、
前記他国語テキスト文章を音声信号に変換するステップと、を具備したことを特徴とするコード基盤多国語通訳方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−５３９２２（Ｐ２０１１−５３９２２Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０２３４６（Ｐ２００９−２０２３４６）
【出願日】平成２１年９月２日（２００９．９．２）
【出願人】（５０９２４７０８７）
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月２日（２００９．９．２）
【出願人】（５０９２４７０８７）
【Ｆターム（参考）】
[ Back to top ]