音声分析機能を持つ言語発音学習装置及びそのシステム
【課題】英語発音の学習方法について一定の基準を広く提示し、学習者が取得しにくかった口腔内の舌の動き、息の出し方等について、３Ｄアニメーション映像を駆使し、ネイティブの発音を身につけることを、容易かつ効率的に学習をすることができる、音声分析機能を持つ言語発音学習装置及びそのシステムを提供する。
【解決手段】マスターすべき主なフォルマント（Ｆ１〜Ｆ３）を抽出表示し、学習者はビジュアルで自分の発話結果と模範者の発話との相違点を視覚で把握できることを備え、学習者の発話結果の相違点を改善するための考察について、文字及び３Ｄアニメーションで提示する。
【解決手段】マスターすべき主なフォルマント（Ｆ１〜Ｆ３）を抽出表示し、学習者はビジュアルで自分の発話結果と模範者の発話との相違点を視覚で把握できることを備え、学習者の発話結果の相違点を改善するための考察について、文字及び３Ｄアニメーションで提示する。
【発明の詳細な説明】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外国語などの言語の発音学習のためのものであり、特に学習者に自分の発音の矯正を視覚的に把握できる、言語学習装置及びそのシステムに関するものである。
【背景技術】
【０００２】
学習者が話す音声に含まれる単語それぞれを識別し、テキストデータとして出力する方法が提案されている。例えば、特開２００６−１２６４９８号公報、英語の学習支援装置（文献１）は、このような音声識別方法を開示する。
【０００３】
例えば、これら従来の音声識別方法を用い、英語の音声から英単語を識別する英語用音声識別装置により、日本人が発音した英語音声から英文のテキストデータを作成すると、識別率が低下してしまう。これは、英語には、日本語に存在しない音（ｔｈ等）、あるいは、日本語においては区別しにくい音（ｌ，ｒ等）等があり、日本人は、一般に、このような英語の音を正確に発音できないので、英語用音声識別装置が不正確な発音をそのまま単語に置き換えてしまうためである。例えば、日本人が英語で″ｒｉｃｅ″と発音したつもりであっても、英語用の音声識別装置は、この音声を″ｌｉｃｅ″あるいは″ｌｏｕｓｅ″と識別してしまうことがある。
【０００４】
このような不具合は、上に示した例とは逆に、英語を母国語とするアメリカ人が、日本語の音声から日本文のテキストを作成する音声識別装置を用いる場合、あるいは、イギリス式の英語を母国語とする英国人が、アメリカ式英語用に調整された音声識別装置を用いる場合、あるいは、特定の人が何らかの理由で正確な発音をしにくくなった場合等、様々な場合に生じうる。しかしながら、上記文献に開示された音声識別方法では、より正確な発音はどのようにすればよいかわからないため、学習者が充分な学習効果を得ることはできない。
【発明が解決しようとする課題】
【０００５】
本発明は、上述した従来技術の問題点を精査し、今まで確固とした実践法が確立していなかった英語発音の学習方法について一定の基準を広く提示し、学習者が取得しにくかった口腔内の舌の動き、息の出し方等について、３Ｄアニメーション映像を駆使し、ネイティブの発音を身につけることを、容易かつ効率的に学習することができる、音声分析機能を持つ言語発音学習装置及びそのシステムを提供することを目的とする。
【０００６】
さらに、本発明は、上記音声分析機能を持つ言語発音学習装置及びそのシステムを利用した学習の過程で得られるデータを利用して、学習者の発音の特異点を指摘し、学習者の発した音声データの特異点と、口腔内の舌の動きなどを、３Ｄアニメーション映像による視覚学習により、学習者の発音を矯正する方法を提供することを目的とする。
【０００７】
英語発話（発音）の言葉（単語）は、それぞれに固有の動作があり、その動作のポイントを把握（学習）することが、効果的な訓練となる。その動作を数値化しているのがフォルマントであり、フォルマントの言葉別パターンをマスターする方法を提供することを目的とする。
【課題を達成するための手段】
【０００８】
マスターすべき主なフォルマント（Ｆ１〜Ｆ３）だけを抽出表示し、学習者はビジュアルで自分の発話結果と模範者の発話との相違点を視覚で把握できることを備え、学習者の発話結果の相違点を改善するための考察について、文字及び３Ｄアニメーションで提示する機能を備える。
【０００９】
視覚表示する技術は、発話の音作りを形成する部位（口・顎・唇・舌・息）の組み合わせをデータベース化し、音声解析数値と照合して特異点を抽出し、３Ｄの立体アニメーション映像でリアルタイムに見ることができる機能を備え、模範者の正しい発話動作との相違点が把握できる機能を備える。
【００１０】
学習者の間違った発話に応じた部位の動作を抽出できる機能を備える。
【００１１】
学習者の英語の発音力を客観的に評価できる技術としては、模範者の発話を数値化したデータベースにより、音声解析プログラムに基づくシステムと、学習者の発話力を数値で評価できる機能を備える。
【００１２】
日本語に無い音素の発音は難しく、正しい発音を習得するために、言語（音声）を視覚に換えることが出来る機能を有する。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について説明する。
次に視覚学習の例として、英語の発音学習においては、ｐ，ｔ，ｋ，ｒの入る単語が８０％以上あることから、この単語の発音をマスターすることが大切であることが分かる。
【００１４】
例えば、図−１のｐの発音で、ｐが最初に来るｐａｙでは、▲１▼縦線（破裂音）と▲２▼の帯気が表示される。帯気は１００ｍ／ｓ以上が理想で、ｔ，ｋも同じパターンである。
【００１５】
図−２のｐが真中に来るｅｍｐｔｙでは、▲１▼縦線と▲２▼の帯気が同じように表示される。
【００１６】
図−３のｐが最後に来るｍａｐでは、ｐを非常に弱く発音するため▲１▼縦線や▲２▼帯気は表示されない。帯気は、ｐ音を発音するときに、強く息を吐き出す様を表している。
【００１７】
図−４で、▲１▼縦線（破裂音）の始まりと、▲２▼フォルマント（黒い実践）の始まりの時間（帯気）を測り、１００ｍｓ以上の時間があれば英語の発音になっている。
【００１８】
前記のように音声を視覚的に分かるようにすることで、この音声分析機能を持つ言語発音学習装置及びそのシステムが分かりやすくなっている。
【００１９】
また、学習者の音声から、口の動き及び舌の動きを画面に表示し、前記学習者に認識させ、音素別動画ＤＢより、複数の口腔内の口の動き及び舌の動きを示す口腔内画像と、複数の息の出し方を示す息画像を表示させ、
【００２０】
学習者に発音を視覚的に学習させる方法（図−５）では、破裂音も習得しにくい音素の一つだが、息のため方、出し方、舌の位置を直感的に理解し、習得できるようになる。
【００２１】
さらに、口腔内の動きの画像に並べて、入力された単語または文書から、音素別動画ＤＢ内の口腔内画像を組み合わせて、ネイティブスピーカーの口腔内の画像を表示する。
【００２２】
音声分析機能を持つ言語発音学習装置及びそのシステムの英語発音は、世界経済の中心であるアメリカ英語（米語）で、シカゴのアナウンサーを基準とし、さらに米国中西部在住の児童から社会人までの発話サンプル音声や音素別特性等を発音評価システムとして、音素情報データベース化の基準としている。
【００２３】
尚、音素別動画データベースの構築についても、前記シカゴのアナウンサー及び米国中西部在住の児童から社会人までの発話サンプル音声並びに口腔内の動きを基準としている。
【発明の効果】
以上説明したように、本発明によれば学習者は、音声解析処理と３Ｄアニメーション映像と、波形加工された基本周波数のグラフを表示することにより、自分の発音の矯正を視覚的に把握でき、容易かつ効率的に学習することができ、世界に通じるアメリカ英語を確実に習得することができる。
【図面の簡単な説明】
【図１】ｐの発音で、ｐが最初に来る場合
【図２】ｐが真中に来る場合
【図３】ｐが最後に来る場合
【図４】▲１▼縦線（破裂音）の始まりと、▲２▼フォルマント（黒い実践）の始まり
【図５】息画像
【図６】音声認識処理を示すフローチャート
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外国語などの言語の発音学習のためのものであり、特に学習者に自分の発音の矯正を視覚的に把握できる、言語学習装置及びそのシステムに関するものである。
【背景技術】
【０００２】
学習者が話す音声に含まれる単語それぞれを識別し、テキストデータとして出力する方法が提案されている。例えば、特開２００６−１２６４９８号公報、英語の学習支援装置（文献１）は、このような音声識別方法を開示する。
【０００３】
例えば、これら従来の音声識別方法を用い、英語の音声から英単語を識別する英語用音声識別装置により、日本人が発音した英語音声から英文のテキストデータを作成すると、識別率が低下してしまう。これは、英語には、日本語に存在しない音（ｔｈ等）、あるいは、日本語においては区別しにくい音（ｌ，ｒ等）等があり、日本人は、一般に、このような英語の音を正確に発音できないので、英語用音声識別装置が不正確な発音をそのまま単語に置き換えてしまうためである。例えば、日本人が英語で″ｒｉｃｅ″と発音したつもりであっても、英語用の音声識別装置は、この音声を″ｌｉｃｅ″あるいは″ｌｏｕｓｅ″と識別してしまうことがある。
【０００４】
このような不具合は、上に示した例とは逆に、英語を母国語とするアメリカ人が、日本語の音声から日本文のテキストを作成する音声識別装置を用いる場合、あるいは、イギリス式の英語を母国語とする英国人が、アメリカ式英語用に調整された音声識別装置を用いる場合、あるいは、特定の人が何らかの理由で正確な発音をしにくくなった場合等、様々な場合に生じうる。しかしながら、上記文献に開示された音声識別方法では、より正確な発音はどのようにすればよいかわからないため、学習者が充分な学習効果を得ることはできない。
【発明が解決しようとする課題】
【０００５】
本発明は、上述した従来技術の問題点を精査し、今まで確固とした実践法が確立していなかった英語発音の学習方法について一定の基準を広く提示し、学習者が取得しにくかった口腔内の舌の動き、息の出し方等について、３Ｄアニメーション映像を駆使し、ネイティブの発音を身につけることを、容易かつ効率的に学習することができる、音声分析機能を持つ言語発音学習装置及びそのシステムを提供することを目的とする。
【０００６】
さらに、本発明は、上記音声分析機能を持つ言語発音学習装置及びそのシステムを利用した学習の過程で得られるデータを利用して、学習者の発音の特異点を指摘し、学習者の発した音声データの特異点と、口腔内の舌の動きなどを、３Ｄアニメーション映像による視覚学習により、学習者の発音を矯正する方法を提供することを目的とする。
【０００７】
英語発話（発音）の言葉（単語）は、それぞれに固有の動作があり、その動作のポイントを把握（学習）することが、効果的な訓練となる。その動作を数値化しているのがフォルマントであり、フォルマントの言葉別パターンをマスターする方法を提供することを目的とする。
【課題を達成するための手段】
【０００８】
マスターすべき主なフォルマント（Ｆ１〜Ｆ３）だけを抽出表示し、学習者はビジュアルで自分の発話結果と模範者の発話との相違点を視覚で把握できることを備え、学習者の発話結果の相違点を改善するための考察について、文字及び３Ｄアニメーションで提示する機能を備える。
【０００９】
視覚表示する技術は、発話の音作りを形成する部位（口・顎・唇・舌・息）の組み合わせをデータベース化し、音声解析数値と照合して特異点を抽出し、３Ｄの立体アニメーション映像でリアルタイムに見ることができる機能を備え、模範者の正しい発話動作との相違点が把握できる機能を備える。
【００１０】
学習者の間違った発話に応じた部位の動作を抽出できる機能を備える。
【００１１】
学習者の英語の発音力を客観的に評価できる技術としては、模範者の発話を数値化したデータベースにより、音声解析プログラムに基づくシステムと、学習者の発話力を数値で評価できる機能を備える。
【００１２】
日本語に無い音素の発音は難しく、正しい発音を習得するために、言語（音声）を視覚に換えることが出来る機能を有する。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について説明する。
次に視覚学習の例として、英語の発音学習においては、ｐ，ｔ，ｋ，ｒの入る単語が８０％以上あることから、この単語の発音をマスターすることが大切であることが分かる。
【００１４】
例えば、図−１のｐの発音で、ｐが最初に来るｐａｙでは、▲１▼縦線（破裂音）と▲２▼の帯気が表示される。帯気は１００ｍ／ｓ以上が理想で、ｔ，ｋも同じパターンである。
【００１５】
図−２のｐが真中に来るｅｍｐｔｙでは、▲１▼縦線と▲２▼の帯気が同じように表示される。
【００１６】
図−３のｐが最後に来るｍａｐでは、ｐを非常に弱く発音するため▲１▼縦線や▲２▼帯気は表示されない。帯気は、ｐ音を発音するときに、強く息を吐き出す様を表している。
【００１７】
図−４で、▲１▼縦線（破裂音）の始まりと、▲２▼フォルマント（黒い実践）の始まりの時間（帯気）を測り、１００ｍｓ以上の時間があれば英語の発音になっている。
【００１８】
前記のように音声を視覚的に分かるようにすることで、この音声分析機能を持つ言語発音学習装置及びそのシステムが分かりやすくなっている。
【００１９】
また、学習者の音声から、口の動き及び舌の動きを画面に表示し、前記学習者に認識させ、音素別動画ＤＢより、複数の口腔内の口の動き及び舌の動きを示す口腔内画像と、複数の息の出し方を示す息画像を表示させ、
【００２０】
学習者に発音を視覚的に学習させる方法（図−５）では、破裂音も習得しにくい音素の一つだが、息のため方、出し方、舌の位置を直感的に理解し、習得できるようになる。
【００２１】
さらに、口腔内の動きの画像に並べて、入力された単語または文書から、音素別動画ＤＢ内の口腔内画像を組み合わせて、ネイティブスピーカーの口腔内の画像を表示する。
【００２２】
音声分析機能を持つ言語発音学習装置及びそのシステムの英語発音は、世界経済の中心であるアメリカ英語（米語）で、シカゴのアナウンサーを基準とし、さらに米国中西部在住の児童から社会人までの発話サンプル音声や音素別特性等を発音評価システムとして、音素情報データベース化の基準としている。
【００２３】
尚、音素別動画データベースの構築についても、前記シカゴのアナウンサー及び米国中西部在住の児童から社会人までの発話サンプル音声並びに口腔内の動きを基準としている。
【発明の効果】
以上説明したように、本発明によれば学習者は、音声解析処理と３Ｄアニメーション映像と、波形加工された基本周波数のグラフを表示することにより、自分の発音の矯正を視覚的に把握でき、容易かつ効率的に学習することができ、世界に通じるアメリカ英語を確実に習得することができる。
【図面の簡単な説明】
【図１】ｐの発音で、ｐが最初に来る場合
【図２】ｐが真中に来る場合
【図３】ｐが最後に来る場合
【図４】▲１▼縦線（破裂音）の始まりと、▲２▼フォルマント（黒い実践）の始まり
【図５】息画像
【図６】音声認識処理を示すフローチャート
【特許請求の範囲】
【請求項１】
学習者が入力した音声データを、音素別動画ＤＢから取得し、ネイティブスピーカーの口腔内の画像を３Ｄ表示することと、音素ＤＢと比較・分析し、特異点を抽出することと、数値データを３つのグラフ波形に加工し出力することと、音声分析部で評点を計算して評点計算結果を出力することを特徴とする、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項２】
学習者が練習するテキストを表示する練習テキスト出力部と、練習するテキストを登録しておくテキスト情報ＤＢと、表示するテキストを前記テキスト情報ＤＢから取り出してソートするテキスト取得部と、リスト表示された練習テキストからマウスもしくはキーボードにより選択入力する練習テキスト入力部と、入力された練習テキストを一時的に記憶しておくテキストデータ記憶部とを備えた、前記請求項１に記載の、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項３】
音素別の動画情報を登録しておく音素別動画ＤＢと、前記音素別動画ＤＢから動画情報を取得する動画情報取得部と、取得した動画情報を加工する動画加工部と、加工された動画を表示する動画出力部とを備えた、前記請求項１に記載の、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項４】
学習者が発生した音声を入力する音声入力部と、入力された音声を一時的に録音しておく音声録音記憶部と、録音された音声を再生する音声再生出力部とを備えた、前記請求項１に記載の、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項５】
録音された音声の周波数成分を分析し数値データ化する音声分析部と、基準となる音素情報を登録しておく音素情報ＤＢと、音声分析結果と音素情報ＤＢの基準音素情報からそれぞれ特異点を抽出して比較する特異点抽出部とを備えた、前記請求項１に記載の、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項６】
比較結果を評点として数値計算する評点計算部と、評点計算結果を表示する評点出力部とを備えた、前記請求項１に記載の、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項７】
前記音声分析部の数値データをグラフ波形に加工する波形加工部と、波形加工された基本周波数のグラフを表示する基本周波数出力部と、スペクトログラムのグラフを表示するスペクトログラム出力部と、フォルマントのグラフを表示するフォルマント出力部とを備えた、前記請求項１に記載の、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項１】
学習者が入力した音声データを、音素別動画ＤＢから取得し、ネイティブスピーカーの口腔内の画像を３Ｄ表示することと、音素ＤＢと比較・分析し、特異点を抽出することと、数値データを３つのグラフ波形に加工し出力することと、音声分析部で評点を計算して評点計算結果を出力することを特徴とする、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項２】
学習者が練習するテキストを表示する練習テキスト出力部と、練習するテキストを登録しておくテキスト情報ＤＢと、表示するテキストを前記テキスト情報ＤＢから取り出してソートするテキスト取得部と、リスト表示された練習テキストからマウスもしくはキーボードにより選択入力する練習テキスト入力部と、入力された練習テキストを一時的に記憶しておくテキストデータ記憶部とを備えた、前記請求項１に記載の、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項３】
音素別の動画情報を登録しておく音素別動画ＤＢと、前記音素別動画ＤＢから動画情報を取得する動画情報取得部と、取得した動画情報を加工する動画加工部と、加工された動画を表示する動画出力部とを備えた、前記請求項１に記載の、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項４】
学習者が発生した音声を入力する音声入力部と、入力された音声を一時的に録音しておく音声録音記憶部と、録音された音声を再生する音声再生出力部とを備えた、前記請求項１に記載の、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項５】
録音された音声の周波数成分を分析し数値データ化する音声分析部と、基準となる音素情報を登録しておく音素情報ＤＢと、音声分析結果と音素情報ＤＢの基準音素情報からそれぞれ特異点を抽出して比較する特異点抽出部とを備えた、前記請求項１に記載の、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項６】
比較結果を評点として数値計算する評点計算部と、評点計算結果を表示する評点出力部とを備えた、前記請求項１に記載の、音声分析機能を持つ言語発音学習装置及びそのシステム。
【請求項７】
前記音声分析部の数値データをグラフ波形に加工する波形加工部と、波形加工された基本周波数のグラフを表示する基本周波数出力部と、スペクトログラムのグラフを表示するスペクトログラム出力部と、フォルマントのグラフを表示するフォルマント出力部とを備えた、前記請求項１に記載の、音声分析機能を持つ言語発音学習装置及びそのシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−８８６７５（Ｐ２０１２−８８６７５Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２４７８７４（Ｐ２０１０−２４７８７４）
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【出願人】（５１０２９３０３９）
【出願人】（５１０２９３０９５）
【出願人】（５１０２９３１１０）
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【出願人】（５１０２９３０３９）
【出願人】（５１０２９３０９５）
【出願人】（５１０２９３１１０）
【Ｆターム（参考）】
[ Back to top ]