外国語学習装置及び対話システム
本発明は外国語学習装置及びその提供方法に関し、この装置は、ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、ユーザのレベル情報及び対話文脈情報を用いて発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、ユーザの発話意図及びユーザの発話状況に応じて互いに異なる表現を抽出するフィードバック処理器と、を含む。本発明によれば、学習者レベルが低くても学習者の発話意図を把握することができ、学習者に様々な状況に応じた適切な表現を提供することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は外国語学習装置及びその提供方法に関する。
【背景技術】
【０００２】
一般に外国語会話教育のもっとも効果的な方法はネイティブの教師と学生が一対一で自然な対話を行うことである。しかし、このような方法は費用が多くかかるため実際多くの学生がそのような機会に恵まれることは難しい。
【０００３】
そのため、近年、ネイティブの教師の代わりを務められる人工知能自然言語処理技術を利用した音声ベースの自然言語対話装置に対する研究が活発に行われている。しかし、既存の音声認識器はそのほとんどが母国語話者を対象に開発されたものであるので、外国語学習者である非母国語話者の音声認識に用いられると極めて低い認識性能を示す。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような音声認識の技術的制約により学習者の自由な発話入力が事実上不可能であるため、今までのほとんどの外国語学習のための対話システムは、シナリオベースの制限された形態で活用されることが一般的であった。しかし、実際の外国語習得理論によれば学習者は自らの発話に対する相手の反応を通して自らが持つ外国語知識をテストして習うと知られる。したがって、外国語学習のためにシナリオの形態で常に同じ応答をするほとんどの既存の対話システムの学習効果は微々たるものである。
【０００５】
本発明が解決しようとする課題は、学習者の外国語レベルが低くても学習者の発話意図を把握して発話意図に沿った応答を学習者に提供することができ、様々な状況に応じた適切な表現を学習者に提供できる外国語学習装置及びそのサービス提供方法を提供することである。
【課題を解決するための手段】
【０００６】
上記技術的課題を解決するための本発明の一様態による外国語学習装置は、ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、前記ユーザのレベル情報及び対話文脈情報を用いて前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、前記ユーザの発話意図及び前記ユーザの発話状況に応じて互いに異なる表現を抽出するフィードバック処理器と、を含む。
【０００７】
前記発話意図認識器は前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記ユーザの発話意図を抽出できる。
【０００８】
前記発話意図認識器は前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定できる。
前記発話意図認識器は前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出できる。
【０００９】
前記ユーザの発話意図及び前記対話文脈情報に応じて前記発話テキストに対する応答を生成する対話管理モジュールをさらに含むことができる。
【００１０】
前記フィードバック処理器は予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合はデータベースからお勧め表現を抽出して前記ユーザに提供できる。
【００１１】
前記フィードバック処理器は前記ユーザの発話が正しくない場合、データベースから正しい表現を抽出して前記ユーザに提供できる。
【００１２】
前記フィードバック処理器は前記ユーザの発話が正しい場合、前記ユーザ発話と同一又は類似の意味を有する代替表現をデータベースから抽出して前記ユーザに提供できる。
【００１３】
前記フィードバック処理器から抽出された表現を自然語発話に変換する自然語発話生成器と、前記自然語発話生成器で変換された自然語発話を音声で合成する音声合成器と、をさらに含むことができる。
【００１４】
本発明の他の様態による外国語学習装置は、ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、前記ユーザの発話意図及び前記ユーザの発話状況に応じてお勧め表現、正しい表現及び代替表現を抽出して前記ユーザに提供するフィードバック処理器と、を含む。
【００１５】
前記フィードバック処理器は予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合は前記お勧め表現を抽出し、前記ユーザの発話が正しくない場合は前記正しい表現を抽出し、前記ユーザの発話が正しい場合は前記代替表現をデータベースから抽出できる。
【００１６】
本発明の他の様態による対話システムは、ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、を含む。
【００１７】
前記発話意図認識器は前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定できる。
【００１８】
前記発話意図認識器は前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出できる。
【００１９】
本発明の他の様態による外国語学習の提供方法は、ユーザが発話した音声を認識して発話テキストに変換するステップと、前記ユーザのレベル情報及び対話文脈情報を用いて前記発話テキストに対するユーザの発話意図を抽出するステップと、前記ユーザの発話意図及び前記ユーザの発話状況に応じて互いに異なる表現を抽出するステップと、を含む。
【００２０】
本発明の他の様態による外国語学習の提供方法は、ユーザが発話した音声を認識して発話テキストに変換するステップと、前記発話テキストに対するユーザの発話意図を抽出するステップと、前記ユーザの発話意図及び前記ユーザの発話状況に応じてお勧め表現、正しい表現及び代替表現を抽出して前記ユーザに提供するステップと、を含む。
【００２１】
本発明の他の様態による対話の提供方法は、ユーザが発話した音声を認識して発話テキストに変換するステップと、前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記発話テキストに対するユーザの発話意図を抽出するステップと、を含む。
【発明の効果】
【００２２】
このように本発明によれば、学習者のレベル毎の言語特性及び対話文脈に応じて学習者の発話意図を把握することによって、学習者のレベルが低くても学習者の発話意図を正確に把握することができ、したがって、発話意図に沿った応答を学習者に提供できる。さらに、学習者に様々な状況に応じた適切な表現を提供することによって学習者へのストレスを最小化しながら自然に学習を進めることができる。このように学習者は正確かつ多様なフィードバックを受け正しい表現を提供されて反復練習ができるので低廉な費用で外国語学習ができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態による外国語学習装置のブロック図である。
【図２】図１の発話意図認識器で発話ベースモデルと対話文脈ベースモデルとを用いて発話意図を抽出する様子を示す概念図である。
【図３】本発明の実施形態による外国語学習の提供方法によって発話意図を抽出する過程を示すフローチャートである。
【図４】本発明の実施形態による外国語学習の提供方法によって学習者に応答する過程を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。
【００２５】
では、添付図面を参照して本発明の実施形態に対して本発明の属する技術分野における通常の知識を有する者が容易に実施できるように詳細に説明する。
まずは図１及び図２を参照して本発明の実施形態による外国語学習装置に対して詳しく説明する。
【００２６】
図１は、本発明の実施形態による外国語学習装置のブロック図であり、図２は、図１の発話意図認識器で発話ベースモデルと対話文脈ベースモデルとを用いて発話意図を抽出する様子を示す概念図である。
【００２７】
図１に示すように、本発明の実施形態による外国語学習装置１００は音声認識器１０、発話意図認識器２０、フィードバック処理器３０、対話管理モジュール４０、音声合成器５０、自然語発話生成器６０、会員データベース６５、発話データベース７０、文脈データベース８０及び表現データベース９０を含む。
【００２８】
音声認識器１０はマイクを介して入力された学習者の音声を認識して認識された音声を発話テキストに変換し、変換された発話テキストを発話意図認識器２０に伝達する。今後の説明の便宜のために、学習者は、例えば、韓国語を母国語とするユーザであり、音声認識器１０は韓国語以外の言語、例えば、英語に基づく音声認識器であると仮定する。したがって、学習者は英語を駆使して外国語学習装置１００と対話をして学習を進めるとする。無論、韓国語や英語は例に過ぎず、それ以外の言語、中国語、日本語、ドイツ語などである場合も同様に適用され得る。
【００２９】
発話意図認識器２０は音声認識器１０から伝達された発話テキストを用いて学習者の発話意図を把握する。この時、発話意図認識器２０は発話データベース７０と文脈データベース８０に保存されている情報に基づいてそれぞれ生成された発話ベースモデルと対話文脈ベースモデルとを用いて学習者の発話意図を抽出する。
【００３０】
図２に示すように、発話データベース７０には第１乃至第ｎレベルの発話データが保存されている。第１乃至第ｎレベルの発話データは学習者の発話に含まれた単語、形態素、構文情報などのような発話データを学習者のレベルに応じて第１乃至第ｎレベルに分類して同じレベルに該当する発話データ同士を集めたものである。
【００３１】
文脈データベース８０には該当学習者に対する以前の発話に対する情報、学習者と外国語学習装置１００の間で交わした対話の目録、外国語学習装置１００から提供されたお勧め表現、代替表現、正しい表現など学習者の学習内容に対する文脈情報などが保存されている。
【００３２】
対話の先天的な特性上、学習者のレベルによって誤りや単語の使用などの差が発生するので発話ベースモデルは学習者レベル毎に、すなわち、第１乃至第ｎレベル発話ベースモデルに個別的にモデリングされる。各レベルの発話ベースモデルは発話データベース７０の第１乃至第ｎレベルの発話データによる言語学的情報に基づいてそれぞれ構築される。しかし、対話文脈の流れはほとんど変化がないので文脈ベースモデルは１つのモデルに生成され、文脈データベース８０の各種情報に基づいて構築される。
【００３３】
発話ベースモデルと対話文脈ベースモデルは一般に事後確率を求めるための様々な統計及び規則モデルを適用できる。例えば、発話ベースモデルは発話を構成する単語のｎ−ｇｒａｍ情報を資質に利用した分類器を介して作ることができ、対話文脈ベースモデルは前回のシステム発話意図、前回のユーザの発話意図、今回のユーザの発話意図、今回までユーザが知らせた情報などを資質に利用した分類器を介して作ることができる。このために、一般に多く使用される最大エントロピー（Ｍａｘｉｍｕｍ−ｅｎｔｒｏｐｙ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）のような様々な種類の分類器を利用できる。
【００３４】
会員データベース６５には学習者の身元情報、ＩＤ、パスワード、学習者レベルと共に学習者が学習した内容に対する情報が保存されている。学習者レベルは発話意図認識器２０で学習者の発話意図を認識するためにどの発話ベースモデルを適用するかを選択する基準になる。すなわち、会員データベース６５に現在の学習者の学習者レベルが第３レベルと保存されている場合、発話意図認識器２０は第３レベルの発話ベースモデルを用いて発話意図を推定する。
【００３５】
発話意図認識器２０は予め入力された学習者レベルに応じた発話ベースモデルを選択し該当レベルの発話ベースモデルを用いて音声認識器１０からの発話テキストに対する発話意図と信頼度を推定する。同時に、発話意図認識器２０は対話文脈ベースモデルを用いて対話文脈情報に基づく発話意図と信頼度を推定する。対話文脈情報は学習者と外国語学習装置１００の間で交わした対話情報であり、対話の開始から今回まで進んできた対話情報又はその一部の対話情報を意味する。
【００３６】
発話意図認識器２０は発話ベースモデルに基づいた発話意図及び信頼度と対話文脈ベースモデルに基づいた発話意図及び信頼度を統計的に合成して最も高い確率を持つものを最終的な学習者の発話意図として抽出する。このように学習者レベル毎の特性と対話文脈情報をともに考慮することによって誤りが含まれるか、学習者の発話音声が未熟であるにもかかわらず、なるべく正確に学習者の発話意図を予測できる。
【００３７】
この時、発話意図認識器２０は発話ベースモデルと対話文脈ベースモデルを結合するために相互情報量尺度（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｍｅａｓｕｒｅ）などのモデル結合のために一般に使用される様々な統計的方法論を使用することができる。
【００３８】
対話管理モジュール４０は、１）発話意図認識器２０からの学習者の発話意図と発話テキストに基づいて学習者の発話が正しいか否か、２）予め設定された時間内に学習者からの発話が入力されたか否か、３）学習者が明示的に助けを求めたか否かを判断する。
【００３９】
１）対話管理モジュール４０は学習者の発話が正しいと判断した場合は、学習者の発話意図と現在の対話文脈を考慮して学習者の発話テキストに対する適切な応答を生成し、生成された応答を自然語発話生成器６０に伝達する。例えば、学習者が「Ｗｈａｔ ｋｉｎｄ ｏｆ ｍｕｓｉｃ ｄｏ ｙｏｕ ｌｉｓｔｅｎ ｔｏ？」 と正しく発話した場合、対話管理モジュール４０は「Ｉ ｕｓｕａｌｌｙ ｌｉｓｔｅｎ ｔｏ ｃｏｕｎｔｒｙ ｍｕｓｉｃ。」のような応答を生成できる。
【００４０】
２）対話管理モジュール４０は予め設定された時間内に学習者の発話入力がない場合、フィードバック処理器３０で学習者の発話テキストと発話意図を伝達する。
【００４１】
３）対話管理モジュール４０は学習者が学習画面に表示された「Ｈｅｌｐ ｍｅ」ボタンを押すか、直接「Ｈｅｌｐ ｍｅ」、「Ｉ ｄｏｎ’ｔ ｋｎｏｗ」、「Ｉ ｄｏｎ’ｔ ｋｎｏｗ ｗｈａｔ ｔｏ ｓａｙ」などを発話するとフィードバック処理器３０にフィードバックを要求する。
【００４２】
フィードバック処理器３０は予め設定された条件に符合すると学習者に様々な表現をフィードバックする。すなわち、フィードバック処理器３０は、ｉ）予め決められた時間内に学習者の発話入力がなかった場合、又は学習者によって明示的に助けを求められた場合、ｉｉ）学習者の発話が正しくないと判断された場合、ｉｉｉ）学習者の発話は正しいが、類似表現の学習が必要な場合にそれぞれお勧め表現、正しい表現、代替表現を提供する。
【００４３】
一方、表現データベース９０は発話意図毎に、又は対話文脈による主題又はテーマ毎にお勧め表現、正しい表現、代替表現などを保存しており、フィードバック処理器３０からの要求に応じて対応する表現を提供する。
【００４４】
ｉ）応答時間の超過又は明示的に助けを求められた時
学習者が対話中にどのようにしゃべれば良いのかが全くわからず対話の文章を続けることができない場合、学習者は所定時間以上発話ができないことがある。この場合、対話管理モジュール４０で応答時間が経過したことをフィードバック処理器３０に知らせ、学習者との対話内容をフィードバック処理器３０に伝達する。すると、フィードバック処理器３０では現在の対話文脈情報を考慮して学習者の対話文脈に応じて主題又はテーマを選択し、最終の対話文章に続けて対話を持続して行ける文章をお勧め表現として表現データベース９０から抽出する。
【００４５】
ｉｉ）学習者の発話が正しくない場合
学習者の発話が正しくないと判断された場合、フィードバック処理器３０は対話文脈を考慮して表現データベース９０から学習者の発話意図に最も沿った文章を選択して正しい表現として抽出する。
【００４６】
ｉｉｉ）学習者の発話が正しい場合
学習者の発話が正しいと判断された場合、フィードバック処理器３０は表現データベース９０から学習者の発話と同一又は類似の内容の異なる表現を選択して代替表現として抽出する。
【００４７】
自然語発話生成器６０は対話管理モジュール４０やフィードバック処理器３０で生成された概念的応答を自然語発話に変換する。別途に図示していないが、自然語発話生成器６０は自然語発話をテキスト形態に表示画面に出力することもできる。
【００４８】
音声合成器５０は自然語発話生成器６０で生成された自然語発話に基づいてネイティブによる発音からなる音声を合成し、合成された音声をスピーカ、ヘッドフォン又はイヤホンなどの装置を介して出力する。
【００４９】
このように本発明の実施形態による外国語学習装置１００によれば、学習者レベル毎に発話ベースモデルを構築しておいて対話文脈ベースモデルとともに学習者の発話意図を抽出することによって誤りが含まれるか、学習者の発話が未熟であるにもかかわらず学習者の発話意図を的確に抽出することができる。また、学習者に様々な状況に適合したフィードバックを提供することによって学習者が自分で自らの誤りを把握し類似した表現を学びながら対話を進めて行くことができる。
【００５０】
本発明の実施形態による外国語学習装置１００は、独立したサーバ形態に具現されることができ、学習者はコンピュータ、携帯情報端末（ＰＤＡ）、有線又は無線電話などのユーザ端末を用いて外国語学習装置１００と対話をすることができ、この場合、ユーザ端末と外国語学習装置１００は有無線通信ネットワークを介して連結される。これに対して、外国語学習装置１００は独立した１つの装置に具現されることもでき、この場合、学習者が外国語学習装置１００を携帯して使用するか、外国語学習装置１００と対面して使用することができる。
【００５１】
また、外国語学習装置１００は全体としてだけでなくその機能の一部が、ユーザ端末又は知能ロボットなどに具現されることもでき、単に外国語を学習するための装置だけでなく、例えばショッピング、ビジネスなどのように様々なコンテンツと結合して使われることもでき、ユーザに特定のサービスを提供するためにユーザと対話をすることができる対話システム又は自然語処理人工知能エージェントに適用されることもできる。
【００５２】
会員データベース６５、発話データベース７０、文脈データベース８０及び表現データベース９０は１つのデータベースに具現されることもできる。また、以上では外国語学習装置１００が会員データベース６５、発話データベース７０及び文脈データベース８０を含むと説明したが、これらが必ず外国語学習装置１００に含まれる必要はなく、これらのうち少なくとも１つは外国語学習装置１００と別途に外部に具現されることもでき、省略され得る。
【００５３】
では、本発明の実施形態による外国語学習の提供方法に対して図３及び図４を参照して詳しく説明する。
【００５４】
図３は、本発明の実施形態による外国語学習の提供方法によって発話意図を抽出する過程を示すフローチャートであり、図４は、本発明の実施形態による外国語学習の提供方法によって学習者に応答する過程を示すフローチャートである。
【００５５】
まず、図３に示すように、学習者からの発話が入力されると（Ｓ３００）、音声認識器１０は学習者の音声を認識して認識された音声を発話テキストに変換して発話意図認識器２０に伝達する（Ｓ３１０）。発話意図認識器２０は対話文脈ベースモデルを用いて対話文脈情報に基づいた発話意図と信頼度を推定する（Ｓ３２５）。同時に、発話意図認識器２０は第１乃至第ｎレベルの発話ベースモデルのうち学習者レベルに応じた発話ベースモデルを選択し該当レベルの発話ベースモデルを用いて学習者の発話テキストに基づいた発話意図と信頼度を推定する（Ｓ３２０）。その後、発話意図認識器２０は発話ベースモデルによる発話意図及び信頼度と対話文脈ベースモデルによる発話意図及び信頼度を合成して最終学習者の発話意図を抽出する（Ｓ３３０）。発話意図認識器２０は抽出された学習者の発話意図を対話管理モジュール４０に伝達する（Ｓ３４０）。
【００５６】
図４に示すように、対話管理モジュール４０は学習者から予め決められた時間内に発話が入力されたかを判断する（Ｓ４００）。予め決められた時間内に発話が入力された場合（Ｓ４００−Ｙ）、入力された発話が明示的に助けを求める発話であるかを判断する（Ｓ４１０）。ステップ４１０は学習者の発話によらず学習者が助けを求めるボタンなどを入力することによって判断することもできる。
【００５７】
対話管理モジュール４０は入力された発話が明示的に助けを求める発話でないと判断した場合は（Ｓ４１０−Ｎ）学習者の発話が正しい発話であるかを判断し（Ｓ４２０）、判断の結果、正しい発話であると判断した場合は（Ｓ４２０−Ｙ）発話意図認識器２０からの学習者の発話意図と対話文脈を考慮して学習者発話に対する適切な応答を生成し（Ｓ４３０）、正しい発話でないと判断した場合は（Ｓ４２０−Ｎ）制御権をフィードバック処理器３０に渡してフィードバック処理器３０は学習者の発話意図と対話文脈を考慮して表現データベース９０から正しい表現を抽出する（Ｓ４６０）。
【００５８】
予め決められた時間内に発話が入力されなかったか（Ｓ４００−Ｎ）、入力された発話が明示的に助けを求める発話である場合（Ｓ４１０−Ｙ）、対話管理モジュール４０はフィードバック処理器３０に制御権を渡してフィードバック処理器３０は対話文脈情報に基づいて表現データベース９０からお勧め表現を抽出する（Ｓ４５０）。
【００５９】
一方、フィードバック処理器３０は学習者の発話が正しい場合（Ｓ４２０−Ｙ）、学習者の発話と同一又は類似の意味の代替表現を表現データベース９０から抽出する（Ｓ４４０）。
【００６０】
自然語発話生成器６０は対話管理モジュール４０及びフィードバック処理器３０で生成された応答を自然語発話に変換する（Ｓ４７０）。その後、音声合成器５０は変換された自然語発話に基づいてネイティブの発音による音声で合成する（Ｓ４８０）。
【００６１】
外国語学習装置１００は合成された音声をスピーカなどを介して出力し、また必要に応じて音声出力と別途に自然語発話をテキスト形態で表示画面に出力できる。
【００６２】
学習者は対話文章を続けることができない場合や明示的に助けを求めた場合は外国語学習装置１００からお勧め表現を提供されることによって続けて対話を進めて行くことができ、正しくない発話をした場合は正しい表現を提供されることによって誤りを修正することができ自らの不足した部分が対話を介して自然に分かるので少ないストレスで外国語学習ができる。また、学習者は正しい発話をした場合にも同じ意味の異なる表現を提供されることによって外国語の表現の範囲を広めることができる。
【００６３】
以上で、本発明の好ましい実施形態に対して詳しく説明したが、本発明の権利範囲はこれに限定されず、以下の請求範囲で定義している本発明の基本概念を利用した当業者の様々な変形及び改良形態も本発明の権利範囲に属するものである。
【技術分野】
【０００１】
本発明は外国語学習装置及びその提供方法に関する。
【背景技術】
【０００２】
一般に外国語会話教育のもっとも効果的な方法はネイティブの教師と学生が一対一で自然な対話を行うことである。しかし、このような方法は費用が多くかかるため実際多くの学生がそのような機会に恵まれることは難しい。
【０００３】
そのため、近年、ネイティブの教師の代わりを務められる人工知能自然言語処理技術を利用した音声ベースの自然言語対話装置に対する研究が活発に行われている。しかし、既存の音声認識器はそのほとんどが母国語話者を対象に開発されたものであるので、外国語学習者である非母国語話者の音声認識に用いられると極めて低い認識性能を示す。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような音声認識の技術的制約により学習者の自由な発話入力が事実上不可能であるため、今までのほとんどの外国語学習のための対話システムは、シナリオベースの制限された形態で活用されることが一般的であった。しかし、実際の外国語習得理論によれば学習者は自らの発話に対する相手の反応を通して自らが持つ外国語知識をテストして習うと知られる。したがって、外国語学習のためにシナリオの形態で常に同じ応答をするほとんどの既存の対話システムの学習効果は微々たるものである。
【０００５】
本発明が解決しようとする課題は、学習者の外国語レベルが低くても学習者の発話意図を把握して発話意図に沿った応答を学習者に提供することができ、様々な状況に応じた適切な表現を学習者に提供できる外国語学習装置及びそのサービス提供方法を提供することである。
【課題を解決するための手段】
【０００６】
上記技術的課題を解決するための本発明の一様態による外国語学習装置は、ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、前記ユーザのレベル情報及び対話文脈情報を用いて前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、前記ユーザの発話意図及び前記ユーザの発話状況に応じて互いに異なる表現を抽出するフィードバック処理器と、を含む。
【０００７】
前記発話意図認識器は前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記ユーザの発話意図を抽出できる。
【０００８】
前記発話意図認識器は前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定できる。
前記発話意図認識器は前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出できる。
【０００９】
前記ユーザの発話意図及び前記対話文脈情報に応じて前記発話テキストに対する応答を生成する対話管理モジュールをさらに含むことができる。
【００１０】
前記フィードバック処理器は予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合はデータベースからお勧め表現を抽出して前記ユーザに提供できる。
【００１１】
前記フィードバック処理器は前記ユーザの発話が正しくない場合、データベースから正しい表現を抽出して前記ユーザに提供できる。
【００１２】
前記フィードバック処理器は前記ユーザの発話が正しい場合、前記ユーザ発話と同一又は類似の意味を有する代替表現をデータベースから抽出して前記ユーザに提供できる。
【００１３】
前記フィードバック処理器から抽出された表現を自然語発話に変換する自然語発話生成器と、前記自然語発話生成器で変換された自然語発話を音声で合成する音声合成器と、をさらに含むことができる。
【００１４】
本発明の他の様態による外国語学習装置は、ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、前記ユーザの発話意図及び前記ユーザの発話状況に応じてお勧め表現、正しい表現及び代替表現を抽出して前記ユーザに提供するフィードバック処理器と、を含む。
【００１５】
前記フィードバック処理器は予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合は前記お勧め表現を抽出し、前記ユーザの発話が正しくない場合は前記正しい表現を抽出し、前記ユーザの発話が正しい場合は前記代替表現をデータベースから抽出できる。
【００１６】
本発明の他の様態による対話システムは、ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、を含む。
【００１７】
前記発話意図認識器は前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定できる。
【００１８】
前記発話意図認識器は前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出できる。
【００１９】
本発明の他の様態による外国語学習の提供方法は、ユーザが発話した音声を認識して発話テキストに変換するステップと、前記ユーザのレベル情報及び対話文脈情報を用いて前記発話テキストに対するユーザの発話意図を抽出するステップと、前記ユーザの発話意図及び前記ユーザの発話状況に応じて互いに異なる表現を抽出するステップと、を含む。
【００２０】
本発明の他の様態による外国語学習の提供方法は、ユーザが発話した音声を認識して発話テキストに変換するステップと、前記発話テキストに対するユーザの発話意図を抽出するステップと、前記ユーザの発話意図及び前記ユーザの発話状況に応じてお勧め表現、正しい表現及び代替表現を抽出して前記ユーザに提供するステップと、を含む。
【００２１】
本発明の他の様態による対話の提供方法は、ユーザが発話した音声を認識して発話テキストに変換するステップと、前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記発話テキストに対するユーザの発話意図を抽出するステップと、を含む。
【発明の効果】
【００２２】
このように本発明によれば、学習者のレベル毎の言語特性及び対話文脈に応じて学習者の発話意図を把握することによって、学習者のレベルが低くても学習者の発話意図を正確に把握することができ、したがって、発話意図に沿った応答を学習者に提供できる。さらに、学習者に様々な状況に応じた適切な表現を提供することによって学習者へのストレスを最小化しながら自然に学習を進めることができる。このように学習者は正確かつ多様なフィードバックを受け正しい表現を提供されて反復練習ができるので低廉な費用で外国語学習ができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態による外国語学習装置のブロック図である。
【図２】図１の発話意図認識器で発話ベースモデルと対話文脈ベースモデルとを用いて発話意図を抽出する様子を示す概念図である。
【図３】本発明の実施形態による外国語学習の提供方法によって発話意図を抽出する過程を示すフローチャートである。
【図４】本発明の実施形態による外国語学習の提供方法によって学習者に応答する過程を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。
【００２５】
では、添付図面を参照して本発明の実施形態に対して本発明の属する技術分野における通常の知識を有する者が容易に実施できるように詳細に説明する。
まずは図１及び図２を参照して本発明の実施形態による外国語学習装置に対して詳しく説明する。
【００２６】
図１は、本発明の実施形態による外国語学習装置のブロック図であり、図２は、図１の発話意図認識器で発話ベースモデルと対話文脈ベースモデルとを用いて発話意図を抽出する様子を示す概念図である。
【００２７】
図１に示すように、本発明の実施形態による外国語学習装置１００は音声認識器１０、発話意図認識器２０、フィードバック処理器３０、対話管理モジュール４０、音声合成器５０、自然語発話生成器６０、会員データベース６５、発話データベース７０、文脈データベース８０及び表現データベース９０を含む。
【００２８】
音声認識器１０はマイクを介して入力された学習者の音声を認識して認識された音声を発話テキストに変換し、変換された発話テキストを発話意図認識器２０に伝達する。今後の説明の便宜のために、学習者は、例えば、韓国語を母国語とするユーザであり、音声認識器１０は韓国語以外の言語、例えば、英語に基づく音声認識器であると仮定する。したがって、学習者は英語を駆使して外国語学習装置１００と対話をして学習を進めるとする。無論、韓国語や英語は例に過ぎず、それ以外の言語、中国語、日本語、ドイツ語などである場合も同様に適用され得る。
【００２９】
発話意図認識器２０は音声認識器１０から伝達された発話テキストを用いて学習者の発話意図を把握する。この時、発話意図認識器２０は発話データベース７０と文脈データベース８０に保存されている情報に基づいてそれぞれ生成された発話ベースモデルと対話文脈ベースモデルとを用いて学習者の発話意図を抽出する。
【００３０】
図２に示すように、発話データベース７０には第１乃至第ｎレベルの発話データが保存されている。第１乃至第ｎレベルの発話データは学習者の発話に含まれた単語、形態素、構文情報などのような発話データを学習者のレベルに応じて第１乃至第ｎレベルに分類して同じレベルに該当する発話データ同士を集めたものである。
【００３１】
文脈データベース８０には該当学習者に対する以前の発話に対する情報、学習者と外国語学習装置１００の間で交わした対話の目録、外国語学習装置１００から提供されたお勧め表現、代替表現、正しい表現など学習者の学習内容に対する文脈情報などが保存されている。
【００３２】
対話の先天的な特性上、学習者のレベルによって誤りや単語の使用などの差が発生するので発話ベースモデルは学習者レベル毎に、すなわち、第１乃至第ｎレベル発話ベースモデルに個別的にモデリングされる。各レベルの発話ベースモデルは発話データベース７０の第１乃至第ｎレベルの発話データによる言語学的情報に基づいてそれぞれ構築される。しかし、対話文脈の流れはほとんど変化がないので文脈ベースモデルは１つのモデルに生成され、文脈データベース８０の各種情報に基づいて構築される。
【００３３】
発話ベースモデルと対話文脈ベースモデルは一般に事後確率を求めるための様々な統計及び規則モデルを適用できる。例えば、発話ベースモデルは発話を構成する単語のｎ−ｇｒａｍ情報を資質に利用した分類器を介して作ることができ、対話文脈ベースモデルは前回のシステム発話意図、前回のユーザの発話意図、今回のユーザの発話意図、今回までユーザが知らせた情報などを資質に利用した分類器を介して作ることができる。このために、一般に多く使用される最大エントロピー（Ｍａｘｉｍｕｍ−ｅｎｔｒｏｐｙ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）のような様々な種類の分類器を利用できる。
【００３４】
会員データベース６５には学習者の身元情報、ＩＤ、パスワード、学習者レベルと共に学習者が学習した内容に対する情報が保存されている。学習者レベルは発話意図認識器２０で学習者の発話意図を認識するためにどの発話ベースモデルを適用するかを選択する基準になる。すなわち、会員データベース６５に現在の学習者の学習者レベルが第３レベルと保存されている場合、発話意図認識器２０は第３レベルの発話ベースモデルを用いて発話意図を推定する。
【００３５】
発話意図認識器２０は予め入力された学習者レベルに応じた発話ベースモデルを選択し該当レベルの発話ベースモデルを用いて音声認識器１０からの発話テキストに対する発話意図と信頼度を推定する。同時に、発話意図認識器２０は対話文脈ベースモデルを用いて対話文脈情報に基づく発話意図と信頼度を推定する。対話文脈情報は学習者と外国語学習装置１００の間で交わした対話情報であり、対話の開始から今回まで進んできた対話情報又はその一部の対話情報を意味する。
【００３６】
発話意図認識器２０は発話ベースモデルに基づいた発話意図及び信頼度と対話文脈ベースモデルに基づいた発話意図及び信頼度を統計的に合成して最も高い確率を持つものを最終的な学習者の発話意図として抽出する。このように学習者レベル毎の特性と対話文脈情報をともに考慮することによって誤りが含まれるか、学習者の発話音声が未熟であるにもかかわらず、なるべく正確に学習者の発話意図を予測できる。
【００３７】
この時、発話意図認識器２０は発話ベースモデルと対話文脈ベースモデルを結合するために相互情報量尺度（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｍｅａｓｕｒｅ）などのモデル結合のために一般に使用される様々な統計的方法論を使用することができる。
【００３８】
対話管理モジュール４０は、１）発話意図認識器２０からの学習者の発話意図と発話テキストに基づいて学習者の発話が正しいか否か、２）予め設定された時間内に学習者からの発話が入力されたか否か、３）学習者が明示的に助けを求めたか否かを判断する。
【００３９】
１）対話管理モジュール４０は学習者の発話が正しいと判断した場合は、学習者の発話意図と現在の対話文脈を考慮して学習者の発話テキストに対する適切な応答を生成し、生成された応答を自然語発話生成器６０に伝達する。例えば、学習者が「Ｗｈａｔ ｋｉｎｄ ｏｆ ｍｕｓｉｃ ｄｏ ｙｏｕ ｌｉｓｔｅｎ ｔｏ？」 と正しく発話した場合、対話管理モジュール４０は「Ｉ ｕｓｕａｌｌｙ ｌｉｓｔｅｎ ｔｏ ｃｏｕｎｔｒｙ ｍｕｓｉｃ。」のような応答を生成できる。
【００４０】
２）対話管理モジュール４０は予め設定された時間内に学習者の発話入力がない場合、フィードバック処理器３０で学習者の発話テキストと発話意図を伝達する。
【００４１】
３）対話管理モジュール４０は学習者が学習画面に表示された「Ｈｅｌｐ ｍｅ」ボタンを押すか、直接「Ｈｅｌｐ ｍｅ」、「Ｉ ｄｏｎ’ｔ ｋｎｏｗ」、「Ｉ ｄｏｎ’ｔ ｋｎｏｗ ｗｈａｔ ｔｏ ｓａｙ」などを発話するとフィードバック処理器３０にフィードバックを要求する。
【００４２】
フィードバック処理器３０は予め設定された条件に符合すると学習者に様々な表現をフィードバックする。すなわち、フィードバック処理器３０は、ｉ）予め決められた時間内に学習者の発話入力がなかった場合、又は学習者によって明示的に助けを求められた場合、ｉｉ）学習者の発話が正しくないと判断された場合、ｉｉｉ）学習者の発話は正しいが、類似表現の学習が必要な場合にそれぞれお勧め表現、正しい表現、代替表現を提供する。
【００４３】
一方、表現データベース９０は発話意図毎に、又は対話文脈による主題又はテーマ毎にお勧め表現、正しい表現、代替表現などを保存しており、フィードバック処理器３０からの要求に応じて対応する表現を提供する。
【００４４】
ｉ）応答時間の超過又は明示的に助けを求められた時
学習者が対話中にどのようにしゃべれば良いのかが全くわからず対話の文章を続けることができない場合、学習者は所定時間以上発話ができないことがある。この場合、対話管理モジュール４０で応答時間が経過したことをフィードバック処理器３０に知らせ、学習者との対話内容をフィードバック処理器３０に伝達する。すると、フィードバック処理器３０では現在の対話文脈情報を考慮して学習者の対話文脈に応じて主題又はテーマを選択し、最終の対話文章に続けて対話を持続して行ける文章をお勧め表現として表現データベース９０から抽出する。
【００４５】
ｉｉ）学習者の発話が正しくない場合
学習者の発話が正しくないと判断された場合、フィードバック処理器３０は対話文脈を考慮して表現データベース９０から学習者の発話意図に最も沿った文章を選択して正しい表現として抽出する。
【００４６】
ｉｉｉ）学習者の発話が正しい場合
学習者の発話が正しいと判断された場合、フィードバック処理器３０は表現データベース９０から学習者の発話と同一又は類似の内容の異なる表現を選択して代替表現として抽出する。
【００４７】
自然語発話生成器６０は対話管理モジュール４０やフィードバック処理器３０で生成された概念的応答を自然語発話に変換する。別途に図示していないが、自然語発話生成器６０は自然語発話をテキスト形態に表示画面に出力することもできる。
【００４８】
音声合成器５０は自然語発話生成器６０で生成された自然語発話に基づいてネイティブによる発音からなる音声を合成し、合成された音声をスピーカ、ヘッドフォン又はイヤホンなどの装置を介して出力する。
【００４９】
このように本発明の実施形態による外国語学習装置１００によれば、学習者レベル毎に発話ベースモデルを構築しておいて対話文脈ベースモデルとともに学習者の発話意図を抽出することによって誤りが含まれるか、学習者の発話が未熟であるにもかかわらず学習者の発話意図を的確に抽出することができる。また、学習者に様々な状況に適合したフィードバックを提供することによって学習者が自分で自らの誤りを把握し類似した表現を学びながら対話を進めて行くことができる。
【００５０】
本発明の実施形態による外国語学習装置１００は、独立したサーバ形態に具現されることができ、学習者はコンピュータ、携帯情報端末（ＰＤＡ）、有線又は無線電話などのユーザ端末を用いて外国語学習装置１００と対話をすることができ、この場合、ユーザ端末と外国語学習装置１００は有無線通信ネットワークを介して連結される。これに対して、外国語学習装置１００は独立した１つの装置に具現されることもでき、この場合、学習者が外国語学習装置１００を携帯して使用するか、外国語学習装置１００と対面して使用することができる。
【００５１】
また、外国語学習装置１００は全体としてだけでなくその機能の一部が、ユーザ端末又は知能ロボットなどに具現されることもでき、単に外国語を学習するための装置だけでなく、例えばショッピング、ビジネスなどのように様々なコンテンツと結合して使われることもでき、ユーザに特定のサービスを提供するためにユーザと対話をすることができる対話システム又は自然語処理人工知能エージェントに適用されることもできる。
【００５２】
会員データベース６５、発話データベース７０、文脈データベース８０及び表現データベース９０は１つのデータベースに具現されることもできる。また、以上では外国語学習装置１００が会員データベース６５、発話データベース７０及び文脈データベース８０を含むと説明したが、これらが必ず外国語学習装置１００に含まれる必要はなく、これらのうち少なくとも１つは外国語学習装置１００と別途に外部に具現されることもでき、省略され得る。
【００５３】
では、本発明の実施形態による外国語学習の提供方法に対して図３及び図４を参照して詳しく説明する。
【００５４】
図３は、本発明の実施形態による外国語学習の提供方法によって発話意図を抽出する過程を示すフローチャートであり、図４は、本発明の実施形態による外国語学習の提供方法によって学習者に応答する過程を示すフローチャートである。
【００５５】
まず、図３に示すように、学習者からの発話が入力されると（Ｓ３００）、音声認識器１０は学習者の音声を認識して認識された音声を発話テキストに変換して発話意図認識器２０に伝達する（Ｓ３１０）。発話意図認識器２０は対話文脈ベースモデルを用いて対話文脈情報に基づいた発話意図と信頼度を推定する（Ｓ３２５）。同時に、発話意図認識器２０は第１乃至第ｎレベルの発話ベースモデルのうち学習者レベルに応じた発話ベースモデルを選択し該当レベルの発話ベースモデルを用いて学習者の発話テキストに基づいた発話意図と信頼度を推定する（Ｓ３２０）。その後、発話意図認識器２０は発話ベースモデルによる発話意図及び信頼度と対話文脈ベースモデルによる発話意図及び信頼度を合成して最終学習者の発話意図を抽出する（Ｓ３３０）。発話意図認識器２０は抽出された学習者の発話意図を対話管理モジュール４０に伝達する（Ｓ３４０）。
【００５６】
図４に示すように、対話管理モジュール４０は学習者から予め決められた時間内に発話が入力されたかを判断する（Ｓ４００）。予め決められた時間内に発話が入力された場合（Ｓ４００−Ｙ）、入力された発話が明示的に助けを求める発話であるかを判断する（Ｓ４１０）。ステップ４１０は学習者の発話によらず学習者が助けを求めるボタンなどを入力することによって判断することもできる。
【００５７】
対話管理モジュール４０は入力された発話が明示的に助けを求める発話でないと判断した場合は（Ｓ４１０−Ｎ）学習者の発話が正しい発話であるかを判断し（Ｓ４２０）、判断の結果、正しい発話であると判断した場合は（Ｓ４２０−Ｙ）発話意図認識器２０からの学習者の発話意図と対話文脈を考慮して学習者発話に対する適切な応答を生成し（Ｓ４３０）、正しい発話でないと判断した場合は（Ｓ４２０−Ｎ）制御権をフィードバック処理器３０に渡してフィードバック処理器３０は学習者の発話意図と対話文脈を考慮して表現データベース９０から正しい表現を抽出する（Ｓ４６０）。
【００５８】
予め決められた時間内に発話が入力されなかったか（Ｓ４００−Ｎ）、入力された発話が明示的に助けを求める発話である場合（Ｓ４１０−Ｙ）、対話管理モジュール４０はフィードバック処理器３０に制御権を渡してフィードバック処理器３０は対話文脈情報に基づいて表現データベース９０からお勧め表現を抽出する（Ｓ４５０）。
【００５９】
一方、フィードバック処理器３０は学習者の発話が正しい場合（Ｓ４２０−Ｙ）、学習者の発話と同一又は類似の意味の代替表現を表現データベース９０から抽出する（Ｓ４４０）。
【００６０】
自然語発話生成器６０は対話管理モジュール４０及びフィードバック処理器３０で生成された応答を自然語発話に変換する（Ｓ４７０）。その後、音声合成器５０は変換された自然語発話に基づいてネイティブの発音による音声で合成する（Ｓ４８０）。
【００６１】
外国語学習装置１００は合成された音声をスピーカなどを介して出力し、また必要に応じて音声出力と別途に自然語発話をテキスト形態で表示画面に出力できる。
【００６２】
学習者は対話文章を続けることができない場合や明示的に助けを求めた場合は外国語学習装置１００からお勧め表現を提供されることによって続けて対話を進めて行くことができ、正しくない発話をした場合は正しい表現を提供されることによって誤りを修正することができ自らの不足した部分が対話を介して自然に分かるので少ないストレスで外国語学習ができる。また、学習者は正しい発話をした場合にも同じ意味の異なる表現を提供されることによって外国語の表現の範囲を広めることができる。
【００６３】
以上で、本発明の好ましい実施形態に対して詳しく説明したが、本発明の権利範囲はこれに限定されず、以下の請求範囲で定義している本発明の基本概念を利用した当業者の様々な変形及び改良形態も本発明の権利範囲に属するものである。
【特許請求の範囲】
【請求項１】
ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、
前記ユーザのレベル情報及び対話文脈情報を用いて前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、
前記ユーザの発話意図及び前記ユーザの発話状況に応じて互いに異なる表現を抽出するフィードバック処理器と、
を含む外国語学習装置。
【請求項２】
前記発話意図認識器は前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記ユーザの発話意図を抽出する請求項１に記載の外国語学習装置。
【請求項３】
前記発話意図認識器は前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定する請求項２に記載の外国語学習装置。
【請求項４】
前記発話意図認識器は前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出する請求項３に記載の外国語学習装置。
【請求項５】
前記ユーザの発話意図及び前記対話文脈情報に応じて前記発話テキストに対する応答を生成する対話管理モジュールをさらに含む請求項１に記載の外国語学習装置。
【請求項６】
前記フィードバック処理器は予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合はデータベースからお勧め表現を抽出して前記ユーザに提供する請求項１に記載の外国語学習装置。
【請求項７】
前記フィードバック処理器は前記ユーザの発話が正しくない場合はデータベースから正しい表現を抽出して前記ユーザに提供する請求項１に記載の外国語学習装置。
【請求項８】
前記フィードバック処理器は前記ユーザの発話が正しい場合は前記ユーザ発話と同一又は類似の意味を有する代替表現をデータベースから抽出して前記ユーザに提供する請求項１に記載の外国語学習装置。
【請求項９】
前記フィードバック処理器から抽出された表現を自然語発話に変換する自然語発話生成器と、
前記自然語発話生成器で変換された自然語発話を音声で合成する音声合成器と、
をさらに含む請求項１に記載の外国語学習装置。
【請求項１０】
ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、
前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、
前記ユーザの発話意図及び前記ユーザの発話状況に応じてお勧め表現、正しい表現及び代替表現を抽出して前記ユーザに提供するフィードバック処理器と、
を含む外国語学習装置。
【請求項１１】
前記フィードバック処理器は予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合は前記お勧め表現を抽出し、前記ユーザの発話が正しくない場合は前記正しい表現を抽出し、前記ユーザの発話が正しい場合は前記代替表現をデータベースから抽出する請求項１０に記載の外国語学習装置。
【請求項１２】
ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、
前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、
を含む対話システム。
【請求項１３】
前記発話意図認識器は前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定する請求項１２に記載の対話システム。
【請求項１４】
前記発話意図認識器は前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出する請求項１３に記載の対話システム。
【請求項１５】
ユーザが発話した音声を認識して発話テキストに変換するステップと、
前記ユーザのレベル情報及び対話文脈情報を用いて前記発話テキストに対するユーザの発話意図を抽出するステップと、
前記ユーザの発話意図及び前記ユーザの発話状況に応じて互いに異なる表現を抽出するステップと、
を含む外国語学習の提供方法。
【請求項１６】
前記発話意図抽出ステップは、前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記ユーザの発話意図を抽出するステップを含む請求項１５に記載の外国語学習の提供方法。
【請求項１７】
前記発話意図抽出ステップは、前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定するステップを含む請求項１６に記載の外国語学習の提供方法。
【請求項１８】
前記発話意図抽出ステップは、前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出するステップを含む請求項１７に記載の外国語学習の提供方法。
【請求項１９】
前記ユーザの発話意図及び前記対話文脈情報に応じて前記発話テキストに対する応答を生成するステップをさらに含む請求項１５に記載の外国語学習の提供方法。
【請求項２０】
前記表現抽出ステップは予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合はデータベースからお勧め表現を抽出して前記ユーザに提供するステップを含む請求項１５に記載の外国語学習の提供方法。
【請求項２１】
前記表現抽出ステップは前記ユーザの発話が正しくない場合はデータベースから正しい表現を抽出して前記ユーザに提供するステップを含む請求項１５に記載の外国語学習の提供方法。
【請求項２２】
前記表現抽出ステップは前記ユーザの発話が正しい場合は前記ユーザ発話と同一又は類似の意味を有する代替表現をデータベースから抽出して前記ユーザに提供するステップを含む請求項１５に記載の外国語学習の提供方法。
【請求項２３】
前記抽出された表現を自然語発話に変換するステップと、
前記変換された自然語発話を音声で合成するステップと、
をさらに含む請求項１５に記載の外国語学習の提供方法。
【請求項２４】
ユーザが発話した音声を認識して発話テキストに変換するステップと、
前記発話テキストに対するユーザの発話意図を抽出するステップと、
前記ユーザの発話意図及び前記ユーザの発話状況に応じてお勧め表現、正しい表現及び代替表現を抽出して前記ユーザに提供するステップと、
を含む外国語学習の提供方法。
【請求項２５】
前記提供ステップは予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合は前記お勧め表現を抽出し、前記ユーザの発話が正しくない場合は前記正しい表現を抽出し、前記ユーザの発話が正しい場合は前記代替表現をデータベースから抽出するステップを含む請求項２４に記載の外国語学習の提供方法。
【請求項２６】
ユーザが発話した音声を認識して発話テキストに変換するステップと、
前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記発話テキストに対するユーザの発話意図を抽出するステップと、
を含む対話の提供方法。
【請求項２７】
前記発話意図抽出ステップは前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定するステップを含む請求項２６に記載の対話の提供方法。
【請求項２８】
前記発話意図抽出ステップは前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出するステップを含む請求項２７に記載の対話の提供方法。
【請求項１】
ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、
前記ユーザのレベル情報及び対話文脈情報を用いて前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、
前記ユーザの発話意図及び前記ユーザの発話状況に応じて互いに異なる表現を抽出するフィードバック処理器と、
を含む外国語学習装置。
【請求項２】
前記発話意図認識器は前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記ユーザの発話意図を抽出する請求項１に記載の外国語学習装置。
【請求項３】
前記発話意図認識器は前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定する請求項２に記載の外国語学習装置。
【請求項４】
前記発話意図認識器は前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出する請求項３に記載の外国語学習装置。
【請求項５】
前記ユーザの発話意図及び前記対話文脈情報に応じて前記発話テキストに対する応答を生成する対話管理モジュールをさらに含む請求項１に記載の外国語学習装置。
【請求項６】
前記フィードバック処理器は予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合はデータベースからお勧め表現を抽出して前記ユーザに提供する請求項１に記載の外国語学習装置。
【請求項７】
前記フィードバック処理器は前記ユーザの発話が正しくない場合はデータベースから正しい表現を抽出して前記ユーザに提供する請求項１に記載の外国語学習装置。
【請求項８】
前記フィードバック処理器は前記ユーザの発話が正しい場合は前記ユーザ発話と同一又は類似の意味を有する代替表現をデータベースから抽出して前記ユーザに提供する請求項１に記載の外国語学習装置。
【請求項９】
前記フィードバック処理器から抽出された表現を自然語発話に変換する自然語発話生成器と、
前記自然語発話生成器で変換された自然語発話を音声で合成する音声合成器と、
をさらに含む請求項１に記載の外国語学習装置。
【請求項１０】
ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、
前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、
前記ユーザの発話意図及び前記ユーザの発話状況に応じてお勧め表現、正しい表現及び代替表現を抽出して前記ユーザに提供するフィードバック処理器と、
を含む外国語学習装置。
【請求項１１】
前記フィードバック処理器は予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合は前記お勧め表現を抽出し、前記ユーザの発話が正しくない場合は前記正しい表現を抽出し、前記ユーザの発話が正しい場合は前記代替表現をデータベースから抽出する請求項１０に記載の外国語学習装置。
【請求項１２】
ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、
前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、
を含む対話システム。
【請求項１３】
前記発話意図認識器は前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定する請求項１２に記載の対話システム。
【請求項１４】
前記発話意図認識器は前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出する請求項１３に記載の対話システム。
【請求項１５】
ユーザが発話した音声を認識して発話テキストに変換するステップと、
前記ユーザのレベル情報及び対話文脈情報を用いて前記発話テキストに対するユーザの発話意図を抽出するステップと、
前記ユーザの発話意図及び前記ユーザの発話状況に応じて互いに異なる表現を抽出するステップと、
を含む外国語学習の提供方法。
【請求項１６】
前記発話意図抽出ステップは、前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記ユーザの発話意図を抽出するステップを含む請求項１５に記載の外国語学習の提供方法。
【請求項１７】
前記発話意図抽出ステップは、前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定するステップを含む請求項１６に記載の外国語学習の提供方法。
【請求項１８】
前記発話意図抽出ステップは、前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出するステップを含む請求項１７に記載の外国語学習の提供方法。
【請求項１９】
前記ユーザの発話意図及び前記対話文脈情報に応じて前記発話テキストに対する応答を生成するステップをさらに含む請求項１５に記載の外国語学習の提供方法。
【請求項２０】
前記表現抽出ステップは予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合はデータベースからお勧め表現を抽出して前記ユーザに提供するステップを含む請求項１５に記載の外国語学習の提供方法。
【請求項２１】
前記表現抽出ステップは前記ユーザの発話が正しくない場合はデータベースから正しい表現を抽出して前記ユーザに提供するステップを含む請求項１５に記載の外国語学習の提供方法。
【請求項２２】
前記表現抽出ステップは前記ユーザの発話が正しい場合は前記ユーザ発話と同一又は類似の意味を有する代替表現をデータベースから抽出して前記ユーザに提供するステップを含む請求項１５に記載の外国語学習の提供方法。
【請求項２３】
前記抽出された表現を自然語発話に変換するステップと、
前記変換された自然語発話を音声で合成するステップと、
をさらに含む請求項１５に記載の外国語学習の提供方法。
【請求項２４】
ユーザが発話した音声を認識して発話テキストに変換するステップと、
前記発話テキストに対するユーザの発話意図を抽出するステップと、
前記ユーザの発話意図及び前記ユーザの発話状況に応じてお勧め表現、正しい表現及び代替表現を抽出して前記ユーザに提供するステップと、
を含む外国語学習の提供方法。
【請求項２５】
前記提供ステップは予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合は前記お勧め表現を抽出し、前記ユーザの発話が正しくない場合は前記正しい表現を抽出し、前記ユーザの発話が正しい場合は前記代替表現をデータベースから抽出するステップを含む請求項２４に記載の外国語学習の提供方法。
【請求項２６】
ユーザが発話した音声を認識して発話テキストに変換するステップと、
前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記発話テキストに対するユーザの発話意図を抽出するステップと、
を含む対話の提供方法。
【請求項２７】
前記発話意図抽出ステップは前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定するステップを含む請求項２６に記載の対話の提供方法。
【請求項２８】
前記発話意図抽出ステップは前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出するステップを含む請求項２７に記載の対話の提供方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２０１３−５１２４６１（Ｐ２０１３−５１２４６１Ａ）
【公表日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１２−５４１０００（Ｐ２０１２−５４１０００）
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【国際出願番号】ＰＣＴ／ＫＲ２０１０／００７０７３
【国際公開番号】ＷＯ２０１１／０７４７７１
【国際公開日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（５０８３５５４９３）浦項工科大學校 産學協力團 (14)
【氏名又は名称原語表記】ＰＯＳＴＥＣＨ ＡＣＡＤＥＭＹ−ＩＮＤＵＳＴＲＹ ＦＯＵＮＤＡＴＩＯＮ
【住所又は居所原語表記】Ｓａｎ ３１，Ｈｙｏｊａ−ｄｏｎｇ，Ｎａｍ−ｇｕ，Ｐｏｈａｎｇ−ｓｉ Ｇｙｅｏｎｇｓａｎｇｂｕｋ−ｄｏ ７９０−７８４ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公表日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【国際出願番号】ＰＣＴ／ＫＲ２０１０／００７０７３
【国際公開番号】ＷＯ２０１１／０７４７７１
【国際公開日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（５０８３５５４９３）浦項工科大學校 産學協力團 (14)
【氏名又は名称原語表記】ＰＯＳＴＥＣＨ ＡＣＡＤＥＭＹ−ＩＮＤＵＳＴＲＹ ＦＯＵＮＤＡＴＩＯＮ
【住所又は居所原語表記】Ｓａｎ ３１，Ｈｙｏｊａ−ｄｏｎｇ，Ｎａｍ−ｇｕ，Ｐｏｈａｎｇ−ｓｉ Ｇｙｅｏｎｇｓａｎｇｂｕｋ−ｄｏ ７９０−７８４ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]