地域別発音学習支援装置
【課題】 地域に特有の話し方を効率的に学習し又はそれを矯正できるような仕組みを提供すること。
【解決手段】 各学習者に課題文章を夫々発音させて得た音声の音声データを、同じ地域の話し方の音声の音声データ群毎に取り纏めてデータベース化し、ある学習者が発音した課題文章の音声データの特徴とデータベースに蓄積されている音声データ群の特徴とを比較することにより、その学習者が自ら指定した地域の話し方で良好に発音できているかを判定する。
【解決手段】 各学習者に課題文章を夫々発音させて得た音声の音声データを、同じ地域の話し方の音声の音声データ群毎に取り纏めてデータベース化し、ある学習者が発音した課題文章の音声データの特徴とデータベースに蓄積されている音声データ群の特徴とを比較することにより、その学習者が自ら指定した地域の話し方で良好に発音できているかを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発音の学習を支援する技術に関する。
【背景技術】
【０００２】
従来より、外国語の学習を支援する種々のシステムが提案されており、その多くは、お手本となるネーティブスピーカの発音内容を表わした音声データとユーザの発音内容を表わした音声データとを比較することによって発音の巧拙を評価している。例えば、特許文献１に記された複数言語音声認識システムは、ユーザの発音がいわゆるカタカナ英語とネイティブ英語のどちらの発音により近いかを「言語認識辞書」と呼ばれるデータベースを用いて判定し、その判定結果を基に発音の評価を行う。特許文献２に記されたオンライン教育システムは、ユーザの発音内容を記録した音声及び映像のデータと予め準備したお手本データとを比較して得た差分データを基に発音の良否を判定し、その判定結果に応じたアドバイスを提示する。特許文献３に記された外国語発音学習方法も同様に、学習者であるユーザの発音内容を示す音声信号とネイティブスピーカの発音内容を示す音声信号とを比較することによって発音の良否を評価する。
【特許文献１】特開２００４−２７１８９５号公報
【特許文献２】特開２００４−１０１６３７号公報
【特許文献３】特開２００２−４０９２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、言語学習者の中には、「ミネソタ訛り」や「ニュージーランド訛り」などといったような、地域に特有のイントネーションやアクセントまで正確に身につけたいと希望するものや、逆に、そのような地域に特有の話し方が身についてしまっているので標準的なものへと矯正したいと希望する者も少なくない。
本発明は、このような背景の下に案出されたものであり、地域に特有な話し方を効率的に学習し又はそれを矯正できるような仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の好適な態様である地域別発音学習支援装置は、ある文章を異なる地域の話し方で夫々発音させて得た音声の音声データを同じ地域の話し方の音声毎に取り纏めた各音声データ群、それら各地域毎の音声データ群が表す音声の波形の特徴を表す特徴パラメータ、及び当該各地域を示す地域情報を対応付けた各セットを記憶するデータベースと、話者が発音した前記ある文章の音声を集音してその音声データを生成する集音手段と、地域を指定する地域指定手段と、前記生成した音声データを解析してその波形の特徴を表す特徴パラメータを取得する特徴パラメータ取得手段と、前記指定された地域の地域情報と対応付けて前記データベースに記憶された特徴パラメータと前記取得した特徴パラメータの一致度が所定値以上であるか否か判断する判断手段と、前記特徴パラメータの一致度が所定値以上であると前記判断手段が判断すると、前記指定された地域の地域情報と対応付けて前記データベースに記憶された音声データ群に前記集音手段が生成した音声データを追加すると共に、前記指定された地域の地域情報と対応付けて前記データベースに記憶された特徴パラメータに前記取得した特徴パラメータを作用させることによってその内容を更新するデータベース更新手段と、前記特徴パラメータの一致度が所定値以上であると前記判断手段が判断したとき、前記指定された地域の話し方での発音が良好である旨のメッセージを出力する一方、前記特徴パラメータの一致度が所定値よりも小さいと前記判断手段が判断したとき、前記指定された地域の話し方での発音が良好でない旨のメッセージを出力する判断結果出力手段とを備える。
【０００５】
この態様において、前記特徴パラメータの一致度が所定値以上であると前記判断手段が判断すると、前記指定された地域の地域情報と対応付けて前記データベースに記憶された音声データ群の全部又は一部を読み出し、読み出した音声データが表す音声を放音するお手本音声放音手段を更に備えてもよい。
【０００６】
本発明の別の好適な態様である地域別学習発音支援装置は、ある文章を異なる地域の話し方で夫々発音させて得た音声の音声データを同じ地域の話し方の音声毎に取り纏めた各音声データ群、それら各地域毎の音声データ群が表す音声の波形の特徴を表す特徴パラメータ、及び当該各地域を示す地域情報を対応付けた各セットを記憶するデータベースと、話者が発音した前記ある文章の音声を集音してその音声データを生成する集音手段と、前記生成した音声データを解析してその波形の特徴を表す特徴パラメータを取得する特徴パラメータ取得手段と、前記取得された特徴パラメータと最も近い特徴を表す特徴パラメータと対応付けて前記データベースに記憶された地域情報を読み出し、読み出した地域情報が表す地域を表示する表示手段と、前記読み出した地域情報と対応付けて前記データベースに記憶された音声データ群に前記生成した音声データを追加すると共に、当該地域情報と対応付けて当該データベースに記憶された特徴パラメータに前記取得した特徴パラメータを作用させることによってその内容を更新するデータベース更新手段とを備える。
【発明の効果】
【０００７】
本発明によると、地域に特有な話し方を効率的に学習し又は矯正することができる。
【発明を実施するための最良の形態】
【０００８】
（第１実施形態）
本願発明の第１実施形態について説明する。
本実施形態は、以下の２つの特徴を有する。
１つ目の特徴は、各学習者に英語学習の課題となる文章（以下、「課題文章」と呼ぶ）を夫々発音させて得た音声の音声データを、同じ地域の話し方の音声の音声データ群毎に取り纏めてデータベース化した点である。
２つ目の特徴は、ある学習者が発音した課題文章の音声データの特徴とデータベースに蓄積されている音声データ群の特徴とを比較することにより、その学習者が自ら指定した地域の話し方で良好に発音できているかを判定するようにした点である。
【０００９】
図１は、本実施形態に係る発音学習支援装置の構成を示すブロック図である。図に示すように、この装置は、集音部１１、表示部１２、操作部１３、放音部１４、記憶部１５、及び制御部１６を備える。
集音部１１は、マイクロホンであり、学習者が発音した音声を集音してその音声データを生成する。
表示部１２は、コンピュータディスプレイである。
操作部１３は、学習者が地域の選択等の操作を行なうためのマウスである。
【００１０】
記憶部１５は、ハードディスクであり、地域別音声データベース１５ａを記憶する。
図２は、地域別音声データベース１５ａのデータ構造図である。このデータベースを構成するレコードの各々は、「地域」、「学習者属性」、「音声データ」、及び「特徴パラメータ」の４つのフィールドを有している。
「地域」のフィールドには、「ミネソタ」や「ニュージーランド」などといったような、標準語と異なる特有の話し方で英語が話される各地域を示す地域情報が記憶される。
「学習者属性」のフィールドには、「男 ○○歳」や「女 △△歳」などといったような、課題文章を発音した学習者の性別を示す性別情報とその年齢を示す年齢情報の対が記憶される。
「音声データ」のフィールドには、各学習者によって発音された課題文章の音声データが記憶される。但し、後の動作説明の項でも詳述するように、各学習者の発音した音声が各々の指定した地域の話し方で良好に発音できていない場合はこのフィールドに記憶され得ないことになっている。
「特徴パラメータ」のフィールドには、各地域毎に取り纏められた音声データ群の特徴パラメータが記憶される。
この特徴パラメータは、学習者が発音した音声の音声データにＦＦＴ（Fast Fourier Transform）解析などの処理を行うことによって得られるパラメータの組であり、ストレスアクセントパラメータ、トニックアクセントパラメータ、及びイントネーションパラメータの３種類のパラメータからなる。ここで、ストレスアクセントパラメータは、音声の波形における音量レベルの大きい箇所のタイミングを表すパラメータである（図３（Ａ）参照）。また、トニックアクセントパラメータは、音声の波形における基本周波数の高い箇所のタイミングを表すパラメータである（図３（Ｂ）参照）。更に、イントネーションパラメータは、基本周波数の抑揚曲線を表すパラメータである（図３（Ｂ）参照）。一般に、ある音声から得たこれら３つのパラメータと他の音声から得た３つのパラメータの値が近ければ近いほど、両者の話し方が似通っているということができる。
【００１１】
図１に戻り、制御部１６は、ＲＡＭ、ＲＯＭ、ＣＰＵなどを内蔵する。そして、ＣＰＵがＲＡＭをワークエリアとしてＲＯＭのプログラムを実行すると、図１に示す音声解析部１６ａ、データ抽出部１６ｂ、地域判定部１６ｃ、結果出力部１６ｄ、音声データ追加部１６ｅ、特徴パラメータ更新部１６ｆの各部が論理的に実現される。各部の機能について概説すると、まず、音声解析部１６ａは、集音部１１から供給される音声データを解析して特徴パラメータを取得する。データ抽出部１６ｂは、操作部１３を介して指定された地域の特徴パラメータを地域別音声データベース１５ａから抽出する。地域判定部１６ｃは、音声解析部１６ａが取得した特徴パラメータとデータ抽出部１６ｂが抽出した特徴パラメータとを比較することにより、学習者が自らの指定した地域の話し方で発音できているか否かを判定する。結果出力部１６ｄは、地域判定部１６ｃの判定結果を表示部１２や放音部１４を介して出力する。音声データ追加部１６ｅは、音声解析部１６ａが取得した音声データを地域別音声データベース１５ａに追加する。また、特徴パラメータ更新部１６ｆは、データ抽出部１６ｂが抽出した地域別音声データベース１５ａの特徴パラメータに音声解析部１６ａが取得した特徴パラメータを作用させることによってその内容を更新する。
【００１２】
次に、本実施形態の動作を説明する。
図４は、本実施形態の動作を示すフローチャートである。
学習者が発音学習支援装置を起動させると、その表示部１２に個人情報入力要求画面が表示される（Ｓ１００）。個人情報入力要求画面には、「あなたの性別と年齢、それから、話し方を学習したい地域を指定してください。」という内容の文字列が表示され、その下には、性別入力欄、年齢入力欄、及び地域入力欄が表示される。
学習者は、各入力欄に情報を入力する。例えば、３０歳の女性でミネソタ地方に特有の英語の話し方を学習したい場合は、性別入力欄に「女性」と、年齢入力欄に「３０」と、地域入力欄に「ミネソタ」と夫々入力する。各入力欄に情報が入力されると、性別入力欄に入力された性別を示す性別情報、年齢入力欄に入力された年齢を示す年齢情報、及び地域別入力欄に入力された地域を示す地域情報が制御部１６のＲＡＭに記憶される。
【００１３】
続いて、表示部１２に発音要求画面が表示される（Ｓ１１０）。発音要求画面の上段には、「以下の文章を発音してください。」という内容の文字列が表示され、その下には、課題文章が表示される。
学習者は、課題文章を発音する。課題文章が発音されると、発音された音声を集音部１１が集音して得た音声データが制御部１６へ供給され、同部１６のＲＡＭに記憶される。
【００１４】
制御部１６は、集音部１１から供給された音声データを解析することによって、その波形の特徴を表す特徴パラメータを取得する（Ｓ１２０）。即ち、本ステップでは、音声データにＦＦＴ処理などを行うことによって、ストレスアクセントパラメータ、トニックアクセントパラメータ、及びイントネーションパラメータの組を取得する。
続いて、制御部１６は、個人情報入力要求画面の地域入力欄に入力された地域の地域情報を「地域」のフィールドに記憶したレコードを地域別音声データベース１５ａから特定する（Ｓ１３０）。
【００１５】
制御部１６は、ステップ１３０で特定したレコードの「特徴パラメータ」のフィールドに記憶された特徴パラメータを読み出す（Ｓ１４０）。
制御部１６は、ステップ１２０で取得した特徴パラメータが表す波形の特徴とステップ１４０で読み出した特徴パラメータが表す波形の特徴の一致度が所定値以上であるか否か判断する（Ｓ１５０）。
【００１６】
ステップ１５０にて波形の特徴の一致度が所定値以上であると判断した制御部１６は、発音良好メッセージ画面を表示部１２に表示する（Ｓ１６０）。
発音良好メッセージ画面の上段には、「○○地方の話し方でうまく発音できています。あなたの発音した音声をサンプルとしてデータベースに追加してもよろしいですか。」という内容の文字列が表示される。そして、その下には、「はい」又は「いいえ」と夫々記したボタンが表示される。
学習者は、いずれかのボタンを選択する。
【００１７】
「いいえ」のボタンが選択されると、処理が終了する。
「はい」のボタンが選択されると、制御部１６は、ステップ１３０で特定したレコードの「特徴パラメータ」のフィールドに記憶されている特徴パラメータにステップ１２０で取得された特徴パラメータを作用させることによってその内容を新しいものへと更新する（Ｓ１７０）。新たな特徴パラメータは、以下の手順に従って求める。まず、ステップ１３０で特定したレコードの「特徴パラメータ」のフィールドに記憶されている特徴パラメータを読み出す。続いて、その特徴パラメータに同じレコードの「音声データ」のフィールドに記憶されている音声データの数を掛けた積とステップ１２０で取得された特徴パラメータの和を求める。最後に、求めた和をそれまで「音声データ」のフィールドに記憶されていた音声データ数に１を加えた数で割った商を、新たな特徴パラメータとする。例えば、あるレコードの「音声データ」のフィールドに５つの音声データが記憶されており、且つ「特徴パラメータ」のフィールドに記憶された特徴パラメータの値が「Ｐ」であったとした場合、特徴パラメータ「ｐ」を作用させた新たな特徴パラメータ「Ｐ´」は、以下の式で求められる。
（数１）
Ｐ´＝｛（Ｐ×５）＋ｐ｝／６
【００１８】
続いて、制御部１６は、ステップ１３０で特定したレコードの「音声データ」のフィールドに、集音部１１から供給された音声データを追加する（Ｓ１８０）。また、この際、同じレコードの「学習者属性」のフィールドには、性別入力欄に入力された性別を示す性別情報と年齢情報入力欄に入力された年齢を示す年齢情報の対が記憶される。
一方、ステップ１５０にて波形の特徴の一致度が所定値より小さいと判断した制御部１６は、発音不良メッセージ画面を表示部１２に表示させる。発音不良メッセージ画面の上段には、「指定された○○地方の話し方と少し離れています。○○地方の良好な話し方のサンプルをお聞きになりますか、」という内容の文字列が表示される（Ｓ１９０）。そして、その下には、「はい」又は「いいえ」と夫々記したボタンが表示される。
学習者は、いずれかのボタンを選択する。
【００１９】
「いいえ」のボタンが選択されると、処理が終了する。
「はい」のボタンが選択されると、制御部１６は、ステップ１３０で特定したレコードの「音声データ」のフィールドに記憶されている音声データを読み出す（Ｓ２００）。なお、「音声データ」のフィールドに複数の音声データが記憶されているときは、それらのうち１つを読み出す。
更に、制御部１６は、ステップ１９０で読み出した音声データが表す音声をお手本音声として放音部１４から出力させる（Ｓ２１０）。
【００２０】
以上説明した本実施形態によると、各学習者に課題文章を夫々発音させて得た音声データを同じ地域の話し方の音声の音声データ群毎に取り纏めた地域別発音データベースが設けられ、ある学習者が地域を指定して課題文章を発音すると、指定された地域の音声データ群の特徴とその学習者が発音した課題文章の音声データの特徴とを比較することにより、指定した地域の話し方で良好に発音できているかどうかが判定される。従って、学習者は、自らが目的の地域の話し方で良好に発音できているか否かを客観的に把握することができる。
また、地域別音声データベース１５ａには各地域毎の音声データ群の特徴を表す特徴パラメータが記憶されており、特徴パラメータは学習者の発音が良好であると判定されるたびにその音声データの特徴を加味して更新されるようになっている。従って、各地域の話し方で良好に発音された多くの音声データが集まるほど、特徴パラメータの精度と信頼性を高めていくことがができる。
【００２１】
（第２実施形態）
上記実施形態においては、学習者の発音した課題文章の音声データの特徴と自ら指定した地域の特徴の一致度が所定値よりも低かったとき、良好に発音できていない旨を示す発音不良メッセージ画面が表示されるようになっていた。これに対し、本実施形態では、特徴の一致度が所定値より低いとき、学習者が発音した課題文章の話し方に最も近い地域を提示する。
【００２２】
図５は、本実施形態の動作を示すフローチャートである。本実施形態では、図２に示すステップ１５０において、特徴の一致度が所定値よりも小さいと判断された後の処理が第１実施形態と異なる。
ステップ１５０にて、波形の特徴の一致度が所定値より小さいと判断した制御部１６は、ステップ１２０で取得した特徴パラメータに最も近い特徴を表す特徴パラメータを記憶したレコードを地域別音声データベース１５ａから特定する（Ｓ１９１）。
【００２３】
続いて、制御部１６は、ステップ１９１で特定したレコードの「地域」のフィールドに記憶された地域情報を読み出す（Ｓ１９２）。
制御部１６は、ステップ１９２で読み出した地域情報を所定の雛形に埋め込んで得た地域提示画面を表示部１２に表示させる（Ｓ１９３）。
地域提示画面の上段には、「▽▽地方の訛りが抜け切っていないようです。指定された○○地方の良好な話し方のサンプルをお聞きになりますか。」という内容の文字列が表示される。そして、その下には、「はい」及び「いいえ」と夫々記したボタンが表示される。
【００２４】
この画面において、「いいえ」が選択されると処理が終了する一方、「はい」が選択されると、図４のステップ２００以降の処理が実行される。
本実施形態によると、学習者は、自らの発音がどの地域の話し方の発音に最も近いかを直ちに把握することができる。
【００２５】
（他の実施形態）
本実施形態は、種々の変形実施が可能である。
上記実施形態は、本願発明を英語学習に適用したものであったが、英語以外の外国語にこれを適用することももちろん可能である。
上記実施形態では、個人情報入力要求画面において、学習者の性別及び年齢の入力を求めていたが、これらの入力は必須ではなく、話し方の学習を希望する地域の指定だけを求めるようにしてもよい。
上記実施形態は、自らの母国語と異なる外国語の学習の用途に本願発明を適用したものであったが、自らの母国語でありながら特定の地方の訛りを学習するといったような用途に本願発明を適用してもよい。
上記実施形態では、音声データから抽出したストレスアクセントパラメータ、トニックアクセントパラメータ、及びイントネーションパラメータの３種類のパラメータの一致度に基づいて話し方の良否を判定していたが、音声データの波形の特徴を示す他のパラメータに基づいて話し方の良否を判定してもよい。例えば、音声の母音の特徴を決定付ける属性であるフォルマントの特徴を表す特徴パラメータの比較に基づいて話し方の良否を判定してもよいし、また、音声データの周波数スペクトルから得られる倍音構成比の時間的変動の比較に基づいて話し方の良否を判定してもよい。
【図面の簡単な説明】
【００２６】
【図１】発音学習支援装置の構成を示すブロック図である。
【図２】地域別音声データベースのデータ構造図である。
【図３】特徴パラメータを説明するための図である。
【図４】第１実施形態の動作を示すフローチャートである。
【図５】第２実施形態の動作を示すフローチャートである。
【符号の説明】
【００２７】
１１…集音部、１２…表示部、１３…操作部、１４…放音部、１５…記憶部、１６…制御部
【技術分野】
【０００１】
本発明は、発音の学習を支援する技術に関する。
【背景技術】
【０００２】
従来より、外国語の学習を支援する種々のシステムが提案されており、その多くは、お手本となるネーティブスピーカの発音内容を表わした音声データとユーザの発音内容を表わした音声データとを比較することによって発音の巧拙を評価している。例えば、特許文献１に記された複数言語音声認識システムは、ユーザの発音がいわゆるカタカナ英語とネイティブ英語のどちらの発音により近いかを「言語認識辞書」と呼ばれるデータベースを用いて判定し、その判定結果を基に発音の評価を行う。特許文献２に記されたオンライン教育システムは、ユーザの発音内容を記録した音声及び映像のデータと予め準備したお手本データとを比較して得た差分データを基に発音の良否を判定し、その判定結果に応じたアドバイスを提示する。特許文献３に記された外国語発音学習方法も同様に、学習者であるユーザの発音内容を示す音声信号とネイティブスピーカの発音内容を示す音声信号とを比較することによって発音の良否を評価する。
【特許文献１】特開２００４−２７１８９５号公報
【特許文献２】特開２００４−１０１６３７号公報
【特許文献３】特開２００２−４０９２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、言語学習者の中には、「ミネソタ訛り」や「ニュージーランド訛り」などといったような、地域に特有のイントネーションやアクセントまで正確に身につけたいと希望するものや、逆に、そのような地域に特有の話し方が身についてしまっているので標準的なものへと矯正したいと希望する者も少なくない。
本発明は、このような背景の下に案出されたものであり、地域に特有な話し方を効率的に学習し又はそれを矯正できるような仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の好適な態様である地域別発音学習支援装置は、ある文章を異なる地域の話し方で夫々発音させて得た音声の音声データを同じ地域の話し方の音声毎に取り纏めた各音声データ群、それら各地域毎の音声データ群が表す音声の波形の特徴を表す特徴パラメータ、及び当該各地域を示す地域情報を対応付けた各セットを記憶するデータベースと、話者が発音した前記ある文章の音声を集音してその音声データを生成する集音手段と、地域を指定する地域指定手段と、前記生成した音声データを解析してその波形の特徴を表す特徴パラメータを取得する特徴パラメータ取得手段と、前記指定された地域の地域情報と対応付けて前記データベースに記憶された特徴パラメータと前記取得した特徴パラメータの一致度が所定値以上であるか否か判断する判断手段と、前記特徴パラメータの一致度が所定値以上であると前記判断手段が判断すると、前記指定された地域の地域情報と対応付けて前記データベースに記憶された音声データ群に前記集音手段が生成した音声データを追加すると共に、前記指定された地域の地域情報と対応付けて前記データベースに記憶された特徴パラメータに前記取得した特徴パラメータを作用させることによってその内容を更新するデータベース更新手段と、前記特徴パラメータの一致度が所定値以上であると前記判断手段が判断したとき、前記指定された地域の話し方での発音が良好である旨のメッセージを出力する一方、前記特徴パラメータの一致度が所定値よりも小さいと前記判断手段が判断したとき、前記指定された地域の話し方での発音が良好でない旨のメッセージを出力する判断結果出力手段とを備える。
【０００５】
この態様において、前記特徴パラメータの一致度が所定値以上であると前記判断手段が判断すると、前記指定された地域の地域情報と対応付けて前記データベースに記憶された音声データ群の全部又は一部を読み出し、読み出した音声データが表す音声を放音するお手本音声放音手段を更に備えてもよい。
【０００６】
本発明の別の好適な態様である地域別学習発音支援装置は、ある文章を異なる地域の話し方で夫々発音させて得た音声の音声データを同じ地域の話し方の音声毎に取り纏めた各音声データ群、それら各地域毎の音声データ群が表す音声の波形の特徴を表す特徴パラメータ、及び当該各地域を示す地域情報を対応付けた各セットを記憶するデータベースと、話者が発音した前記ある文章の音声を集音してその音声データを生成する集音手段と、前記生成した音声データを解析してその波形の特徴を表す特徴パラメータを取得する特徴パラメータ取得手段と、前記取得された特徴パラメータと最も近い特徴を表す特徴パラメータと対応付けて前記データベースに記憶された地域情報を読み出し、読み出した地域情報が表す地域を表示する表示手段と、前記読み出した地域情報と対応付けて前記データベースに記憶された音声データ群に前記生成した音声データを追加すると共に、当該地域情報と対応付けて当該データベースに記憶された特徴パラメータに前記取得した特徴パラメータを作用させることによってその内容を更新するデータベース更新手段とを備える。
【発明の効果】
【０００７】
本発明によると、地域に特有な話し方を効率的に学習し又は矯正することができる。
【発明を実施するための最良の形態】
【０００８】
（第１実施形態）
本願発明の第１実施形態について説明する。
本実施形態は、以下の２つの特徴を有する。
１つ目の特徴は、各学習者に英語学習の課題となる文章（以下、「課題文章」と呼ぶ）を夫々発音させて得た音声の音声データを、同じ地域の話し方の音声の音声データ群毎に取り纏めてデータベース化した点である。
２つ目の特徴は、ある学習者が発音した課題文章の音声データの特徴とデータベースに蓄積されている音声データ群の特徴とを比較することにより、その学習者が自ら指定した地域の話し方で良好に発音できているかを判定するようにした点である。
【０００９】
図１は、本実施形態に係る発音学習支援装置の構成を示すブロック図である。図に示すように、この装置は、集音部１１、表示部１２、操作部１３、放音部１４、記憶部１５、及び制御部１６を備える。
集音部１１は、マイクロホンであり、学習者が発音した音声を集音してその音声データを生成する。
表示部１２は、コンピュータディスプレイである。
操作部１３は、学習者が地域の選択等の操作を行なうためのマウスである。
【００１０】
記憶部１５は、ハードディスクであり、地域別音声データベース１５ａを記憶する。
図２は、地域別音声データベース１５ａのデータ構造図である。このデータベースを構成するレコードの各々は、「地域」、「学習者属性」、「音声データ」、及び「特徴パラメータ」の４つのフィールドを有している。
「地域」のフィールドには、「ミネソタ」や「ニュージーランド」などといったような、標準語と異なる特有の話し方で英語が話される各地域を示す地域情報が記憶される。
「学習者属性」のフィールドには、「男 ○○歳」や「女 △△歳」などといったような、課題文章を発音した学習者の性別を示す性別情報とその年齢を示す年齢情報の対が記憶される。
「音声データ」のフィールドには、各学習者によって発音された課題文章の音声データが記憶される。但し、後の動作説明の項でも詳述するように、各学習者の発音した音声が各々の指定した地域の話し方で良好に発音できていない場合はこのフィールドに記憶され得ないことになっている。
「特徴パラメータ」のフィールドには、各地域毎に取り纏められた音声データ群の特徴パラメータが記憶される。
この特徴パラメータは、学習者が発音した音声の音声データにＦＦＴ（Fast Fourier Transform）解析などの処理を行うことによって得られるパラメータの組であり、ストレスアクセントパラメータ、トニックアクセントパラメータ、及びイントネーションパラメータの３種類のパラメータからなる。ここで、ストレスアクセントパラメータは、音声の波形における音量レベルの大きい箇所のタイミングを表すパラメータである（図３（Ａ）参照）。また、トニックアクセントパラメータは、音声の波形における基本周波数の高い箇所のタイミングを表すパラメータである（図３（Ｂ）参照）。更に、イントネーションパラメータは、基本周波数の抑揚曲線を表すパラメータである（図３（Ｂ）参照）。一般に、ある音声から得たこれら３つのパラメータと他の音声から得た３つのパラメータの値が近ければ近いほど、両者の話し方が似通っているということができる。
【００１１】
図１に戻り、制御部１６は、ＲＡＭ、ＲＯＭ、ＣＰＵなどを内蔵する。そして、ＣＰＵがＲＡＭをワークエリアとしてＲＯＭのプログラムを実行すると、図１に示す音声解析部１６ａ、データ抽出部１６ｂ、地域判定部１６ｃ、結果出力部１６ｄ、音声データ追加部１６ｅ、特徴パラメータ更新部１６ｆの各部が論理的に実現される。各部の機能について概説すると、まず、音声解析部１６ａは、集音部１１から供給される音声データを解析して特徴パラメータを取得する。データ抽出部１６ｂは、操作部１３を介して指定された地域の特徴パラメータを地域別音声データベース１５ａから抽出する。地域判定部１６ｃは、音声解析部１６ａが取得した特徴パラメータとデータ抽出部１６ｂが抽出した特徴パラメータとを比較することにより、学習者が自らの指定した地域の話し方で発音できているか否かを判定する。結果出力部１６ｄは、地域判定部１６ｃの判定結果を表示部１２や放音部１４を介して出力する。音声データ追加部１６ｅは、音声解析部１６ａが取得した音声データを地域別音声データベース１５ａに追加する。また、特徴パラメータ更新部１６ｆは、データ抽出部１６ｂが抽出した地域別音声データベース１５ａの特徴パラメータに音声解析部１６ａが取得した特徴パラメータを作用させることによってその内容を更新する。
【００１２】
次に、本実施形態の動作を説明する。
図４は、本実施形態の動作を示すフローチャートである。
学習者が発音学習支援装置を起動させると、その表示部１２に個人情報入力要求画面が表示される（Ｓ１００）。個人情報入力要求画面には、「あなたの性別と年齢、それから、話し方を学習したい地域を指定してください。」という内容の文字列が表示され、その下には、性別入力欄、年齢入力欄、及び地域入力欄が表示される。
学習者は、各入力欄に情報を入力する。例えば、３０歳の女性でミネソタ地方に特有の英語の話し方を学習したい場合は、性別入力欄に「女性」と、年齢入力欄に「３０」と、地域入力欄に「ミネソタ」と夫々入力する。各入力欄に情報が入力されると、性別入力欄に入力された性別を示す性別情報、年齢入力欄に入力された年齢を示す年齢情報、及び地域別入力欄に入力された地域を示す地域情報が制御部１６のＲＡＭに記憶される。
【００１３】
続いて、表示部１２に発音要求画面が表示される（Ｓ１１０）。発音要求画面の上段には、「以下の文章を発音してください。」という内容の文字列が表示され、その下には、課題文章が表示される。
学習者は、課題文章を発音する。課題文章が発音されると、発音された音声を集音部１１が集音して得た音声データが制御部１６へ供給され、同部１６のＲＡＭに記憶される。
【００１４】
制御部１６は、集音部１１から供給された音声データを解析することによって、その波形の特徴を表す特徴パラメータを取得する（Ｓ１２０）。即ち、本ステップでは、音声データにＦＦＴ処理などを行うことによって、ストレスアクセントパラメータ、トニックアクセントパラメータ、及びイントネーションパラメータの組を取得する。
続いて、制御部１６は、個人情報入力要求画面の地域入力欄に入力された地域の地域情報を「地域」のフィールドに記憶したレコードを地域別音声データベース１５ａから特定する（Ｓ１３０）。
【００１５】
制御部１６は、ステップ１３０で特定したレコードの「特徴パラメータ」のフィールドに記憶された特徴パラメータを読み出す（Ｓ１４０）。
制御部１６は、ステップ１２０で取得した特徴パラメータが表す波形の特徴とステップ１４０で読み出した特徴パラメータが表す波形の特徴の一致度が所定値以上であるか否か判断する（Ｓ１５０）。
【００１６】
ステップ１５０にて波形の特徴の一致度が所定値以上であると判断した制御部１６は、発音良好メッセージ画面を表示部１２に表示する（Ｓ１６０）。
発音良好メッセージ画面の上段には、「○○地方の話し方でうまく発音できています。あなたの発音した音声をサンプルとしてデータベースに追加してもよろしいですか。」という内容の文字列が表示される。そして、その下には、「はい」又は「いいえ」と夫々記したボタンが表示される。
学習者は、いずれかのボタンを選択する。
【００１７】
「いいえ」のボタンが選択されると、処理が終了する。
「はい」のボタンが選択されると、制御部１６は、ステップ１３０で特定したレコードの「特徴パラメータ」のフィールドに記憶されている特徴パラメータにステップ１２０で取得された特徴パラメータを作用させることによってその内容を新しいものへと更新する（Ｓ１７０）。新たな特徴パラメータは、以下の手順に従って求める。まず、ステップ１３０で特定したレコードの「特徴パラメータ」のフィールドに記憶されている特徴パラメータを読み出す。続いて、その特徴パラメータに同じレコードの「音声データ」のフィールドに記憶されている音声データの数を掛けた積とステップ１２０で取得された特徴パラメータの和を求める。最後に、求めた和をそれまで「音声データ」のフィールドに記憶されていた音声データ数に１を加えた数で割った商を、新たな特徴パラメータとする。例えば、あるレコードの「音声データ」のフィールドに５つの音声データが記憶されており、且つ「特徴パラメータ」のフィールドに記憶された特徴パラメータの値が「Ｐ」であったとした場合、特徴パラメータ「ｐ」を作用させた新たな特徴パラメータ「Ｐ´」は、以下の式で求められる。
（数１）
Ｐ´＝｛（Ｐ×５）＋ｐ｝／６
【００１８】
続いて、制御部１６は、ステップ１３０で特定したレコードの「音声データ」のフィールドに、集音部１１から供給された音声データを追加する（Ｓ１８０）。また、この際、同じレコードの「学習者属性」のフィールドには、性別入力欄に入力された性別を示す性別情報と年齢情報入力欄に入力された年齢を示す年齢情報の対が記憶される。
一方、ステップ１５０にて波形の特徴の一致度が所定値より小さいと判断した制御部１６は、発音不良メッセージ画面を表示部１２に表示させる。発音不良メッセージ画面の上段には、「指定された○○地方の話し方と少し離れています。○○地方の良好な話し方のサンプルをお聞きになりますか、」という内容の文字列が表示される（Ｓ１９０）。そして、その下には、「はい」又は「いいえ」と夫々記したボタンが表示される。
学習者は、いずれかのボタンを選択する。
【００１９】
「いいえ」のボタンが選択されると、処理が終了する。
「はい」のボタンが選択されると、制御部１６は、ステップ１３０で特定したレコードの「音声データ」のフィールドに記憶されている音声データを読み出す（Ｓ２００）。なお、「音声データ」のフィールドに複数の音声データが記憶されているときは、それらのうち１つを読み出す。
更に、制御部１６は、ステップ１９０で読み出した音声データが表す音声をお手本音声として放音部１４から出力させる（Ｓ２１０）。
【００２０】
以上説明した本実施形態によると、各学習者に課題文章を夫々発音させて得た音声データを同じ地域の話し方の音声の音声データ群毎に取り纏めた地域別発音データベースが設けられ、ある学習者が地域を指定して課題文章を発音すると、指定された地域の音声データ群の特徴とその学習者が発音した課題文章の音声データの特徴とを比較することにより、指定した地域の話し方で良好に発音できているかどうかが判定される。従って、学習者は、自らが目的の地域の話し方で良好に発音できているか否かを客観的に把握することができる。
また、地域別音声データベース１５ａには各地域毎の音声データ群の特徴を表す特徴パラメータが記憶されており、特徴パラメータは学習者の発音が良好であると判定されるたびにその音声データの特徴を加味して更新されるようになっている。従って、各地域の話し方で良好に発音された多くの音声データが集まるほど、特徴パラメータの精度と信頼性を高めていくことがができる。
【００２１】
（第２実施形態）
上記実施形態においては、学習者の発音した課題文章の音声データの特徴と自ら指定した地域の特徴の一致度が所定値よりも低かったとき、良好に発音できていない旨を示す発音不良メッセージ画面が表示されるようになっていた。これに対し、本実施形態では、特徴の一致度が所定値より低いとき、学習者が発音した課題文章の話し方に最も近い地域を提示する。
【００２２】
図５は、本実施形態の動作を示すフローチャートである。本実施形態では、図２に示すステップ１５０において、特徴の一致度が所定値よりも小さいと判断された後の処理が第１実施形態と異なる。
ステップ１５０にて、波形の特徴の一致度が所定値より小さいと判断した制御部１６は、ステップ１２０で取得した特徴パラメータに最も近い特徴を表す特徴パラメータを記憶したレコードを地域別音声データベース１５ａから特定する（Ｓ１９１）。
【００２３】
続いて、制御部１６は、ステップ１９１で特定したレコードの「地域」のフィールドに記憶された地域情報を読み出す（Ｓ１９２）。
制御部１６は、ステップ１９２で読み出した地域情報を所定の雛形に埋め込んで得た地域提示画面を表示部１２に表示させる（Ｓ１９３）。
地域提示画面の上段には、「▽▽地方の訛りが抜け切っていないようです。指定された○○地方の良好な話し方のサンプルをお聞きになりますか。」という内容の文字列が表示される。そして、その下には、「はい」及び「いいえ」と夫々記したボタンが表示される。
【００２４】
この画面において、「いいえ」が選択されると処理が終了する一方、「はい」が選択されると、図４のステップ２００以降の処理が実行される。
本実施形態によると、学習者は、自らの発音がどの地域の話し方の発音に最も近いかを直ちに把握することができる。
【００２５】
（他の実施形態）
本実施形態は、種々の変形実施が可能である。
上記実施形態は、本願発明を英語学習に適用したものであったが、英語以外の外国語にこれを適用することももちろん可能である。
上記実施形態では、個人情報入力要求画面において、学習者の性別及び年齢の入力を求めていたが、これらの入力は必須ではなく、話し方の学習を希望する地域の指定だけを求めるようにしてもよい。
上記実施形態は、自らの母国語と異なる外国語の学習の用途に本願発明を適用したものであったが、自らの母国語でありながら特定の地方の訛りを学習するといったような用途に本願発明を適用してもよい。
上記実施形態では、音声データから抽出したストレスアクセントパラメータ、トニックアクセントパラメータ、及びイントネーションパラメータの３種類のパラメータの一致度に基づいて話し方の良否を判定していたが、音声データの波形の特徴を示す他のパラメータに基づいて話し方の良否を判定してもよい。例えば、音声の母音の特徴を決定付ける属性であるフォルマントの特徴を表す特徴パラメータの比較に基づいて話し方の良否を判定してもよいし、また、音声データの周波数スペクトルから得られる倍音構成比の時間的変動の比較に基づいて話し方の良否を判定してもよい。
【図面の簡単な説明】
【００２６】
【図１】発音学習支援装置の構成を示すブロック図である。
【図２】地域別音声データベースのデータ構造図である。
【図３】特徴パラメータを説明するための図である。
【図４】第１実施形態の動作を示すフローチャートである。
【図５】第２実施形態の動作を示すフローチャートである。
【符号の説明】
【００２７】
１１…集音部、１２…表示部、１３…操作部、１４…放音部、１５…記憶部、１６…制御部
【特許請求の範囲】
【請求項１】
ある文章を異なる地域の話し方で夫々発音させて得た音声の音声データを同じ地域の話し方の音声毎に取り纏めた各音声データ群、それら各地域毎の音声データ群が表す音声の波形の特徴を表す特徴パラメータ、及び当該各地域を示す地域情報を対応付けた各セットを記憶するデータベースと、
話者が発音した前記ある文章の音声を集音してその音声データを生成する集音手段と、
地域を指定する地域指定手段と、
前記生成した音声データを解析してその波形の特徴を表す特徴パラメータを取得する特徴パラメータ取得手段と、
前記指定された地域の地域情報と対応付けて前記データベースに記憶された特徴パラメータと前記取得した特徴パラメータの一致度が所定値以上であるか否か判断する判断手段と、
前記特徴パラメータの一致度が所定値以上であると前記判断手段が判断すると、前記指定された地域の地域情報と対応付けて前記データベースに記憶された音声データ群に前記集音手段が生成した音声データを追加すると共に、前記指定された地域の地域情報と対応付けて前記データベースに記憶された特徴パラメータに前記取得した特徴パラメータを作用させることによってその内容を更新するデータベース更新手段と、
前記特徴パラメータの一致度が所定値以上であると前記判断手段が判断したとき、前記指定された地域の話し方での発音が良好である旨のメッセージを出力する一方、前記特徴パラメータの一致度が所定値よりも小さいと前記判断手段が判断したとき、前記指定された地域の話し方での発音が良好でない旨のメッセージを出力する判断結果出力手段と
を備えた地域別発音学習支援装置。
【請求項２】
請求項１に記載の地域別発音学習支援装置において、
前記特徴パラメータの一致度が所定値よりも小さいと前記判断手段が判断すると、前記指定された地域の地域情報と対応付けて前記データベースに記憶された音声データ群の全部又は一部を読み出し、読み出した音声データが表す音声を放音するお手本音声放音手段
を更に備えた地域別発音学習支援装置。
【請求項３】
ある文章を異なる地域の話し方で夫々発音させて得た音声の音声データを同じ地域の話し方の音声毎に取り纏めた各音声データ群、それら各地域毎の音声データ群が表す音声の波形の特徴を表す特徴パラメータ、及び当該各地域を示す地域情報を対応付けた各セットを記憶するデータベースと、
話者が発音した前記ある文章の音声を集音してその音声データを生成する集音手段と、
前記生成した音声データを解析してその波形の特徴を表す特徴パラメータを取得する特徴パラメータ取得手段と、
前記取得された特徴パラメータと最も近い特徴を表す特徴パラメータと対応付けて前記データベースに記憶された地域情報を読み出し、読み出した地域情報が表す地域を表示する表示手段と、
前記読み出した地域情報と対応付けて前記データベースに記憶された音声データ群に前記生成した音声データを追加すると共に、当該地域情報と対応付けて当該データベースに記憶された特徴パラメータに前記取得した特徴パラメータを作用させることによってその内容を更新するデータベース更新手段と
を備えた地域別発音学習支援装置。
【請求項１】
ある文章を異なる地域の話し方で夫々発音させて得た音声の音声データを同じ地域の話し方の音声毎に取り纏めた各音声データ群、それら各地域毎の音声データ群が表す音声の波形の特徴を表す特徴パラメータ、及び当該各地域を示す地域情報を対応付けた各セットを記憶するデータベースと、
話者が発音した前記ある文章の音声を集音してその音声データを生成する集音手段と、
地域を指定する地域指定手段と、
前記生成した音声データを解析してその波形の特徴を表す特徴パラメータを取得する特徴パラメータ取得手段と、
前記指定された地域の地域情報と対応付けて前記データベースに記憶された特徴パラメータと前記取得した特徴パラメータの一致度が所定値以上であるか否か判断する判断手段と、
前記特徴パラメータの一致度が所定値以上であると前記判断手段が判断すると、前記指定された地域の地域情報と対応付けて前記データベースに記憶された音声データ群に前記集音手段が生成した音声データを追加すると共に、前記指定された地域の地域情報と対応付けて前記データベースに記憶された特徴パラメータに前記取得した特徴パラメータを作用させることによってその内容を更新するデータベース更新手段と、
前記特徴パラメータの一致度が所定値以上であると前記判断手段が判断したとき、前記指定された地域の話し方での発音が良好である旨のメッセージを出力する一方、前記特徴パラメータの一致度が所定値よりも小さいと前記判断手段が判断したとき、前記指定された地域の話し方での発音が良好でない旨のメッセージを出力する判断結果出力手段と
を備えた地域別発音学習支援装置。
【請求項２】
請求項１に記載の地域別発音学習支援装置において、
前記特徴パラメータの一致度が所定値よりも小さいと前記判断手段が判断すると、前記指定された地域の地域情報と対応付けて前記データベースに記憶された音声データ群の全部又は一部を読み出し、読み出した音声データが表す音声を放音するお手本音声放音手段
を更に備えた地域別発音学習支援装置。
【請求項３】
ある文章を異なる地域の話し方で夫々発音させて得た音声の音声データを同じ地域の話し方の音声毎に取り纏めた各音声データ群、それら各地域毎の音声データ群が表す音声の波形の特徴を表す特徴パラメータ、及び当該各地域を示す地域情報を対応付けた各セットを記憶するデータベースと、
話者が発音した前記ある文章の音声を集音してその音声データを生成する集音手段と、
前記生成した音声データを解析してその波形の特徴を表す特徴パラメータを取得する特徴パラメータ取得手段と、
前記取得された特徴パラメータと最も近い特徴を表す特徴パラメータと対応付けて前記データベースに記憶された地域情報を読み出し、読み出した地域情報が表す地域を表示する表示手段と、
前記読み出した地域情報と対応付けて前記データベースに記憶された音声データ群に前記生成した音声データを追加すると共に、当該地域情報と対応付けて当該データベースに記憶された特徴パラメータに前記取得した特徴パラメータを作用させることによってその内容を更新するデータベース更新手段と
を備えた地域別発音学習支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−７１９０４（Ｐ２００７−７１９０４Ａ）
【公開日】平成１９年３月２２日（２００７．３．２２）
【国際特許分類】
【出願番号】特願２００５−２５５３６８（Ｐ２００５−２５５３６８）
【出願日】平成１７年９月２日（２００５．９．２）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１９年３月２２日（２００７．３．２２）
【国際特許分類】
【出願日】平成１７年９月２日（２００５．９．２）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]