学習用教材および教材情報出力装置
【課題】 言語の発音を正確かつ簡単に理解できるようにする。
【解決手段】 学習用教材１は、所定の言語の原文を表示する原文表示部１１と、原文表示部１１により表示された原文に対応した発音を音楽記号で示した楽譜を表示する楽譜表示部１２とを備える。基準となる五線は表示されず、相対的な音高差を認識し易くするための水平線が必要に応じて付加される。原文に対応した他の言語による訳文を表示する訳文表示部１３と、他の言語における表音文字を用いて、楽譜に対応した発音の読みを表示する発音表示部１４とをさらに設けることができる。本発明は、言語を学習するための教材に適用できる。
【解決手段】 学習用教材１は、所定の言語の原文を表示する原文表示部１１と、原文表示部１１により表示された原文に対応した発音を音楽記号で示した楽譜を表示する楽譜表示部１２とを備える。基準となる五線は表示されず、相対的な音高差を認識し易くするための水平線が必要に応じて付加される。原文に対応した他の言語による訳文を表示する訳文表示部１３と、他の言語における表音文字を用いて、楽譜に対応した発音の読みを表示する発音表示部１４とをさらに設けることができる。本発明は、言語を学習するための教材に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は学習用教材および教材情報出力装置に関し、特に、学習者が言語の発音をより正確かつ効率よく理解できるようにする学習用教材および教材情報出力装置に関する。
【背景技術】
【０００２】
従来の語学学習用教材では、学習言語の発音を表記する場合に発音記号（もしくは音声記号）が用いられる。特に、あらゆる言語の発音を包括的に表記することが可能な統一記号である国際音声記号（IPA：International Phonetic Alphabet）が用いられることがある。
【０００３】
また、特別な記号を用いずに、理解が容易である母国語での表音文字（例えば、学習者の母国語が日本語の場合には平仮名もしくは片仮名）によって、学習言語の発音を表記することも多い。
【０００４】
さらに、例えば、特許文献１には、英単語において、強勢アクセントを持つ音節の活字を大きく太字にし、視覚的に目立つようにすることで、学習者がアクセントの位置を視覚的に理解し、正確に記憶することができるようにする英単語学習教材が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−００５６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、国際音声記号などの発音記号により発音が表記される教材を使用するには、発音記号そのものについても学習する必要がある。そのため初学者にとっては、発音記号により発音を覚えることが難しい。
【０００７】
また、表音文字による発音の表記や、教材の活字を強調表示することで強勢アクセントの位置を提示する方法では、言語の発音におけるイントネーションやリズムといった重要な要素の情報を与えることができない。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、発音記号を理解できない初学者であっても、言語の発音をより正確かつ効率よく理解できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面は、所定の言語の原文を表示する原文表示部と、前記原文表示部により表示された前記原文に対応した発音を音楽記号で示した楽譜を表示する楽譜表示部とを備える学習用教材である。
【００１０】
前記音楽記号のうちの音符により前記発音の相対的な長さと高さを表し、休符記号により前記発音の切れ目を表し、強弱記号により前記発音の強弱を表すことができる。
【００１１】
前記音楽記号のうちの連桁により、前記発音の一体的に発音される部分を表すことができる。
【００１２】
前記音楽記号のうちのスラーまたはタイにより、前記発音の連結して発音される部分を表すことができる。
【００１３】
前記原文表示部により表示された前記原文に対応した他の言語による訳文を表示する訳文表示部と、前記他の言語における表音文字を用いて、前記楽譜表示部により表示された前記楽譜に対応した前記発音の読みを表示する発音表示部とをさらに備えることができる。
【００１４】
本発明の他の側面は、所定の言語の原文を取得する原文取得手段と、前記原文取得手段により取得された前記原文に対応した発音を音楽記号で示した楽譜の楽譜情報を取得する楽譜取得手段と、前記楽譜取得手段により取得された前記楽譜情報と、前記原文取得手段により取得された前記原文とを蓄積する蓄積手段と、前記蓄積手段に蓄積された前記楽譜情報から生成した楽譜と前記原文との対応を関連づけた教材情報を出力する出力手段と を備える教材情報出力装置である。
【００１５】
前記出力手段は、前記音楽記号のうちの音符により前記発音の相対的な長さと高さを表し、休符記号により前記発音の切れ目を表し、強弱記号により前記発音の強弱を表した前記楽譜を生成し、前記楽譜と前記原文との対応を関連づけた教材情報を出力することができる。
【００１６】
前記出力手段は、前記音楽記号のうちの連桁により前記発音の一体的に発音される部分を表した前記楽譜を生成することができる。
【００１７】
前記原文取得手段により取得された前記原文に対応した他の言語による訳文を取得する訳文取得手段と、前記他の言語における表音文字を用いて、前記楽譜取得手段により取得された前記楽譜情報に対応した前記発音の読みを取得する発音取得手段とをさらに備え、前記蓄積手段は、前記訳文取得手段により取得された前記訳文と、前記発音取得手段により取得された前記発音の読みとをさらに蓄積し、前記出力手段は、前記蓄積手段に蓄積された前記楽譜情報から生成した前記楽譜、前記原文、前記訳文、および前記発音の読みの対応を関連づけた教材情報を出力することができる。
【００１８】
前記所定の言語の前記発音の音声データを取得する音声取得手段と、前記音声取得手段により取得された前記音声データを、前記楽譜情報に変換する楽譜化手段とをさらに備え、前記楽譜取得手段は、前記楽譜化手段により変換された前記楽譜情報を取得することができる。
【００１９】
前記音声取得手段により取得された前記音声データから、前記所定の言語の前記原文を認識する音声認識手段をさらに備え、前記原文取得手段は、前記音声認識手段により認識された前記原文を取得することができる。
【００２０】
本発明の一側面の学習用教材においては、所定の言語の原文が表示されるとともに、表示された原文に対応した発音を音楽記号で示した楽譜が表示される。
【００２１】
本発明の一側面の教材情報出力装置においては、所定の言語の原文が取得され、取得された原文に対応した発音を音楽記号で示した楽譜の楽譜情報が取得される。取得された楽譜情報と原文とが蓄積され、蓄積された楽譜情報から生成した楽譜と原文との対応を関連づけた教材情報が出力される。
【発明の効果】
【００２２】
以上のように、本発明の一側面によれば、学習者が言語の発音をより正確かつ効率よく理解できるようになる。
【図面の簡単な説明】
【００２３】
【図１】本発明の学習用教材の第１の実施の形態の構成を示す図である。
【図２】本発明の学習用教材の第２の実施の形態の構成を示す図である。
【図３】本発明の学習用教材の第３の実施の形態の構成を示す図である。
【図４】本発明の学習用教材の第４の実施の形態の構成を示す図である。
【図５】本発明の教材情報出力装置の第１の実施の形態の構成を示すブロック図である。
【図６】本発明の教材情報出力装置の第１の実施の形態の動作を説明するフローチャートである。
【図７】本発明の教材情報出力装置の第２の実施の形態の構成を示すブロック図である。
【図８】本発明の教材情報出力装置の第２の実施の形態の動作を説明するフローチャートである。
【図９】絶対的に音高を表した楽譜を示す図である。
【図１０】本発明の教材情報出力装置の第３の実施の形態の構成を示すブロック図である。
【図１１】本発明の教材情報出力装置の第３の実施の形態の動作を説明するフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２５】
図１は、本発明を適用した学習用教材の第１の実施の形態の構成を示す図である。本実施の形態は、日本語を母国語とする学習者が、英語を学習する教材を例示する。この学習用教材１は、原文表示部１１、楽譜表示部１２、訳文表示部１３、および発音表示部１４から構成される。
【００２６】
原文表示部１１は、学習者の学習対象とする言語がセンテンス（文）やフレーズ（成句）などを１つの単位として表示する。図１の例では、英語のセンテンス「What did you make?」が表示されている。
【００２７】
楽譜表示部１２は、原文表示部１１のセンテンスをネイティブスピーカが発音した場合の音節を音楽記号で表示する。すなわち、イントネーション（すなわち、相対的な音の高さの変動）、リズム（すなわち、音の時間的な緩急）、およびアーティキュレーション（すなわち、音や音のつながりにおける強弱や表情）などの発音の特徴が、ひとまとまりとして認識される音を単位として音楽記号を対応付けることにより表現される。音楽記号としては、例えば、音符、休符、アクセント記号、テヌート記号、スタッカート記号、スラー記号、タイ記号、および等間隔の水平線などを用いることができる。
【００２８】
楽譜表示部１２が表示する楽譜は五線記譜法に準じた形式で表示され、音符の縦方向の位置により発音における音の高低（すなわち、音高）が示され、音符と休符の配列により発音のリズムが示される。楽譜の表示において４分音符の１拍の長さ（すなわち、テンポ）としては任意の長さを採用することができる。例えば、英語の発音の場合であれば、１分間に４分音符を８０乃至１２０拍程度打つテンポを採用することができる。
【００２９】
発音の音高情報は、五線譜上において正確に表現することはできない。何故なら五線譜上では、１２平均律における１オクターブの１２分の１の半音を最小単位とする表現しかできないが、人が言語を話すときの音高差を表現するには、半音よりさらに細かい単位が必要になるからである。
【００３０】
そこで本実施の形態では、音高差は相対的に表示される。例えば、音高を「low」、「medium」、「high」、「very high」の４つのレベルとする場合、音符をこの４つのレベルのいずれかの位置に配置することで、音高が表現される。この場合、音高差が相対的な量で表現されるため、楽譜表示部１２に表示される楽譜に、等間隔の水平線を併せて表示する必要はない。
【００３１】
しかし、各音符のレベルの差を学習者が容易に認識できるようにするため、等間隔の水平線を併せて表示することもできる。図１の実施の形態では３本の水平線が表示されている。ただし、この水平線は絶対的な音高の基準となる五線譜の五線ではない。例えば図１の実施の形態において、第５番目の音符が一番上の水平線と２番目の水平線の間に配置され、第６番目の音符が第２番目の水平線上に配置されているが、これは、第６番目の音符に対応する音声が第５番目の音符に対応する音高より全音の分だけ低いことを意味するものではない。単に第６番目の音高は第５番目の音高より相対的に低いことを意味しているに過ぎない。もちろん第５番目と第６番目の音符に対応する音高の絶対的高さ、すなわち周波数が特定されるものでもない。
【００３２】
楽譜表示部１２は、音楽記号によりさまざまなアーティキュレーションを視覚的に表示する。例えば、その音を強く発音するときのアクセント記号、音の高さを保って発音するときのテヌート記号、音を切り離して発音するときのスタッカート記号、および音を結び付けて滑らかに発音するときのスラー記号やタイ記号などを併せて表示することもできる。また、８分音符より細かい音価の音符をつなげて表示する連桁によって、発音のまとまりを表現することもできる。
【００３３】
図１の例では、原文表示部１１に表示されているセンテンス「What did you make?」の発音が、１６分音符、１６分休符、８分音符、１６分音符、１６分音符、８分音符、および１６分音符により表現されている。第１番目の１６分音符から第４番目の１６分音符は連桁とされ、第３番目と第４番目の１６分音符はタイ記号で連結されている。第５番目の８分音符と第６番目の１６分音符は連桁とされている。楽譜には水平線が表示されている。すなわち、第１番目の１６分音符が最も高い音であり、第２番目の８分音符の音高はそれより低く、第３番目と第４番目の１６分音符の音高は第２番目の８分音符の音高より低い。第５番目の８分音符と第６番目の１６分音符の音高は、第１番目の１６分音符より低く、第２番目の８分音符より高い。第５番目の８分音符の音高は、第６番目の１６分音符より高い。第１番目の１６分音符と第５番目の８分音符にアクセント記号が付されている。
【００３４】
すなわちこの例では、「What」、「did you」、「make?」の各フレーズの発音の相対的な高さが音符の縦方向の位置により表現され、発音の相対的な長さが音符の種類により表現される。「What」は１６分音符により、「did you」は８分音符と２つの１６分音符により、そして「make?」は８分音符と１６分音符により、それぞれ表されているので、それぞれの音の高さは各音符の縦方向の位置に対応する。この例の場合、３本の水平線が付加されているので、各音符の相対的な高さが判り易くなっている。
【００３５】
音の長さは各音符の種類により表されている。この例では、発音が８分音符と１６分音符で表現されている。「di(d)」や「ma」に８分音符を対応付け、「What」、「(di)ｄ you」、および「(ma)ke」に１６分音符を対応付けることにより、前者の音の方が後者の音より相対的に長いことが表現されている。「What」と「did you」の間の音の切れ目の長さは、休符記号である１６分休符により表されている。
【００３６】
連桁は、その部分が一体的に発音される部分であることを表す。図１の例では、第１番目の１６分音符から第４番目の１６分音符が対応付けられている「What did you」の部分と、第５番目の８分音符と第６番目の１６分音符が対応付けられている「make」の部分が、それぞれ連桁とされ、一体的または連続的に発音される部分であることが表されている。すなわち、このセンテンスは、大きく分けると、「What did you」の部分と「make」の部分という、２つの部分に分けて発音されるべきことが表現されている。
【００３７】
純粋に音楽的に表示するだけの場合には、例えば、「What did you」の部分の先頭の１６分音符は連桁とせず、単独の音符として表現することが可能である。しかし、そのようにすると、「What did you」の部分を一体的に、すなわち、「What」の部分を「did you」の部分と一体的に発音すべきことが表現できない。そこで、一体的に発音される部分は連桁で表現される。
【００３８】
さらに細かくは、「What did you」のうちの、２つの１６分音符で表される「(di)d you」の部分が連桁とされ、一体的に発音される部分であることが表されている。同様に、８分音符で表示される「di(d)」の部分と、２つの１６分音符で表示される「you」の部分が連桁とされ、一体的に発音される部分であることが表されている。
【００３９】
また、８分音符と１６分音符で表される「make」のうちの「ma」と「ke」の部分も連桁とされ、一体的に発音される部分であることが表されている。
【００４０】
さらに「did 」のうちの最後の「d」と「you」の発音は、一音節となるように連結して発音すべきことが、タイの記号により表されている。純粋に音楽的に表示するだけの場合には、第３番目と第４番目の２つの１６分音符を１個の８分音符により表すことも可能である。しかし、そのようにすると、発音には、「d」と「you」の２つの音節があることが理解しにくくなる。そこで本実施の形態においては、音節の数に対応する数の音符が表示され、それらにタイ記号（音高が異なる場合にはスラー記号）が付加される。これにより、「ディド」のうちの「ド」の部分と、次の「ユー」の部分は、２音節としてではなく、「ドゥユー」のように１音節となるように連結して発音すべきことが、すなわち実質的に音節数が減少するように発音すべきことが表現される。
【００４１】
また「What」と「make?」の「ma」の部分が強く発音されることが、強弱記号であるアクセント記号により示されている。
【００４２】
楽譜表示部１２の楽譜と原文表示部１１の綴りとの関連を学習者が容易に理解できるように、楽譜表示部１２の楽譜は原文表示部１１の対応する単語の下側または上側に表示される。
【００４３】
訳文表示部１３は、原文表示部１１に対応した別の言語による訳文を表示する。図１の例では、学習者の母国語が日本語の場合であって、日本語による訳文「何を作ったの？」が表示されている。この例では、訳文表示部１３の訳文は、原文表示部１１の原文に対応したものであることが判るように、原文表示部１１の右側に表示されている。訳文表示部１３の表示位置は、原文表示部１１との対応が学習者にとって容易に理解できる範囲であれば任意である。
【００４４】
発音表示部１４は、原文表示部１１の原文の発音の読みを、学習者が理解できる表音文字により表示する。図１の例では、日本語の表音文字の１つである片仮名により、発音の読み「ワッ ディドゥユー メイク？」が表示されている。また、発音表示部１４は、それぞれの音が楽譜表示部１２の音符に対応するように表示され、音符との関連を学習者が容易に理解できるように、楽譜表示部１２の上側または下側に隣接して表示される。
【００４５】
学習用教材１を用いて学習する場合、学習者は、原文表示部１１に表示された英語のセンテンスについて、訳文表示部１３に表示された訳文により意味を学習し、発音表示部１４に表示された発音の読みにより発音を学習する。また、学習用教材１には、原文表示部１１の原文のネイティブスピーカによる発音が記録されたコンパクトディスクが付属しており、学習者はその再生音を聞きながら楽譜表示部１２に表示された楽譜を見ることによりイントネーション、リズム、およびアーティキュレーションといった発音の仕方を学習する。
【００４６】
図２は、本発明を適用した学習用教材の第２の実施の形態の構成を示す図である。本実施の形態は、日本語を母国語とする学習者が、英語を学習する教材を例示する。この学習用教材３は、原文表示部３１，４１、楽譜表示部３２，４２、訳文表示部３３，４３、発音表示部３４，４４、顔イラスト表示部３５，４５、およびイラスト表示部５０から構成される。
【００４７】
原文表示部３１，４１は、それぞれ図１における原文表示部１１に対応したものであり、図２の例では、学習対象のセンテンス「What color do you like?」、および「Pink.」をそれぞれ表示している。
【００４８】
楽譜表示部３２，４２は、図１における楽譜表示部１２に対応したものである。
【００４９】
図２の例では、楽譜表示部３２は、１６分音符、１６分休符、１６分音符、１６分音符、１６分音符、１６分音符、１６分音符、１６分音符、および１６分音符により表現されている。第１番目から第３番目の１６分音符、第４番目と第５番目の１６分音符、および第６番目から第８番目の１６分音符はそれぞれ連桁とされている。この例では、楽譜には水平線が表示されていない。第１番目の１６分音符より第２番目の１６分音符の音高の方が高く、第３番目の１６分音符は第２番目の１６分音符の音高よりも低く、第１番目の１６分音符の音高よりも高い。第４番目の１６分音符の音高は第１番目の１６分音符よりも低く、第５番目の１６分音符の音高は第４番目の１６分音符よりも低い。第６番目の１６分音符の音高は第５番目の１６分音符よりも高く、第３番目の１６分音符と同程度である。第７番目の１６分音符の音高は第６番目の１６分音符よりも低く、第８番目の１６分音符は第７番目の１６分音符よりも低い。
【００５０】
図２の例では、「What color」、「do you」、「like?」の各フレーズの発音の相対的な高さが音符の縦方向の位置により表現され、発音の相対的な長さが音符の種類により表現される。この例では、「What color」、「do you」、「like?」の全てが、１６分音符により表されている。それぞれの音の高さは各音符の縦方向の位置により表されている。この例の場合、水平線が付加されていないが、各音符の縦方向の位置は、相対的な高さが判る位置に配置されている。
【００５１】
「What」、「color」、「do you」、「like?」発音は、それぞれ１個の１６分音符、２個の１６分音符、２個の１６分音符、および３個の１６分音符で表現されている。これにより、それぞれの発音の長さが同じであることが表現されている。「What」と「color」の間の音の切れ目の長さは、休符記号である１６分休符により表されている。
【００５２】
第１番目乃至第３番目の１６分音符で表される「What color」の部分、第４番目と第５番目の１６分音符で表される「do you」の部分、および第６番目乃至第８番目の１６分音符で表される「like?」の部分が、それぞれ連桁とされている。従って、「What color」、「do you」、および「like?」の各部分が、それぞれ一体的に発音される。
【００５３】
楽譜表示部４２は、８分音符と１６分音符により表現されており、第１番目の８分音符と第２番目の１６分音符は連桁とされている。楽譜には水平線が表示されていない。第１番目の８分音符より第２番目の１６分音符の音高の方が低い。また、第１番目の８分音符にアクセント記号が付されている。
【００５４】
「Pink.」の部分は、８分音符と１６分音符により表されている。それぞれの音の高さは各音符の縦方向の位置により表されている。この例の場合、水平線が付加されていないが、各音符の縦方向の位置は、相対的な高さが判る位置に配置されている。
【００５５】
「Pin」の部分に８分音符を対応付け、「k」の部分に１６分音符を対応付けることにより、前者の音の方が後者の音より長いことが表現されている。また「Pin」の部分が強く発音されることが、強弱記号であるアクセント記号により示されている。
【００５６】
「Pin」の部分の８分音符と、「k」の部分の１６分音符を連桁とすることで、「Pink」は一体的に発音されるべきことが表現されている。
【００５７】
訳文表示部３３，４３は、図１における訳文表示部１３に対応したものである。図２の例では、訳文表示部３３には訳文「何色が好きかな？」、訳文表示部４３には訳文「ピンク。」がそれぞれ表示されている。
【００５８】
発音表示部３４，４４は、図１における発音表示部１４に対応したものである。図２の例では、発音表示部３４には発音の読み「ワッ カラー ドゥ ユー ライク？」、発音表示部４４には発音の読み「ピンク。」がそれぞれ表示されている。
【００５９】
顔イラスト表示部３５，４５は、発話者を識別するために発話者がイラストで表示される。図２の例では、顔イラスト表示部３５には保育士の顔のイラスト、顔イラスト表示部４５には園児の顔のイラストがそれぞれ原文表示部３１，４１の原文に付して表示されている。これにより、原文表示部３１のセンテンス「What color do you like?」は保育士が、原文表示部４１のセンテンス「Pink.」は園児が、それぞれ発話するものであることが示されている。
【００６０】
イラスト表示部５０は、会話の状況をイラストにより表示する。図２の例では、イラスト表示部５０には、保育士が色の一覧表の紙を手にし、「What color do you like?」と問いかけ、園児が保育士の持っている紙の中からピンクを指して、「Pink.」と答える様子を表すイラストが表示されている。
【００６１】
学習用教材３を用いて学習する場合、学習者は、原文表示部３１，４１に表示された会話について、顔イラスト表示部３５，４５、およびイラスト表示部５０に表示されたイラストにより会話の状況を理解し、訳文表示部３３，４３に表示された訳文により意味を学習する。また、学習者は発音表示部３４，４４に表示された発音の読みと、付属するコンパクトディスクからの再生音により発音を学習し、楽譜表示部３２，４２に表示された楽譜によりイントネーション、リズム、およびアーティキュレーションといった会話における発音の仕方を学習する。
【００６２】
図３は、本発明を適用した学習用教材の第３の実施の形態の構成を示す図である。本実施の形態は、日本語を母国語とする学習者が、英語を学習する教材を例示する。この学習用教材６は、原文表示部６１と楽譜表示部６２から構成される。
【００６３】
学習用教材６は、例えば、英語の発音の仕方を学習するものである。原文表示部６１は、図１における原文表示部１１に対応したものであり、図３の例では、学習対象のセンテンス「Good morning.」が表示されている。
【００６４】
楽譜表示部６２は、図１における楽譜表示部１２に対応したものである。図３の例では、楽譜表示部６２は、１６分音符、１６分休符、８分音符、付点８分音符により表現されている。第２番目の８分音符と第３番目の付点８分音符は連桁とされている。楽譜には水平線が表示されていない。第１番目の１６分音符より第２番目の８分音符の音高の方が高く、第３番目の付点８分音符の音高は第２番目の８分音符よりも低く、第１番目の１６分音符よりも高い。
【００６５】
つまり、「Good」、「morning」の各フレーズの発音の相対的な高さが音符の縦方向の位置により表現され、発音の相対的な長さが音符の種類により表現される。図３の例では、「Good」が１６分音符により表され、「morning」が２つの８分音符により表されている。２つの８分音符のうちの最後の８分音符には、付点が付されているので、最初の８分音符の１．５倍の長さであることが表されている。勿論この長さも相対的であり、正確に１．５倍の長さである必要はない。「Good」と「morning」の間の音の切れ目の長さは、休符記号である１６分休符により表されている。
【００６６】
「morning」を表現する２つの８分音符は連桁とされ、一体的に発音すべきことが表現されている。
【００６７】
この例の場合、水平線が付加されていないが、各音符の縦方向の位置は、相対的な高さが判る位置に配置されている。
【００６８】
学習用教材６を用いて学習する場合、学習者は、原文表示部６１に表示された原文についてのイントネーション、リズム、およびアーティキュレーションといった発音の仕方を、楽譜表示部６２に表示された楽譜とコンパクトディスクからの再生音により学習する。
【００６９】
図４は、本発明を適用した学習用教材の第４の実施の形態の構成を示す図である。本実施の形態は、日本語を母国語とする学習者が、中国語を学習する教材を例示する。この学習用教材７は、原文表示部７１、楽譜表示部７２、訳文表示部７３、および発音表示部７４から構成される。
【００７０】
原文表示部７１は、図１における原文表示部１１に対応したものであり、図４の例では、学習対象のセンテンス「早上好。」が表示されている。
【００７１】
楽譜表示部７２は、図１における楽譜表示部１２に対応したものである。図４の例では、楽譜表示部７２は、３つの８分音符により表現されている。楽譜には水平線が表示されている。第１番目の８分音符の音高に対して、第２番目の８分音符は高く、第３番目の８分音符は低い。
【００７２】
図４の例では、「早」、「上」、「好。」の全てが、８分音符により表されている。それぞれの発音の高さは各音符の縦方向の位置により表されている。この例の場合、４本の水平線が付加されているので、各音符の相対的な高さが判り易くなっている。
【００７３】
また、「早」、「上」、「好。」発音が、それぞれ８分音符で表現されているので、それぞれの発音の長さは同じである。
【００７４】
訳文表示部７３は、図１における訳文表示部１３に対応したものである。図４の例では、訳文表示部７３には訳文「おはよう。」が表示されている。
【００７５】
発音表示部７４は、図１における発音表示部１４に対応したものである。図４の例では、発音表示部７４には発音の読み「ザオ シャン ハオ。」が表示されている。
【００７６】
学習用教材７を用いて学習する場合、学習者は、原文表示部７１に表示された中国語のセンテンスについて、訳文表示部７３に表示された訳文により意味を学習し、発音表示部７４に表示された発音の読みにより発音を学習し、楽譜表示部７２に表示された楽譜によりイントネーション、リズム、およびアーティキュレーションといった発音の仕方を学習する。この場合にも、付属するコンパクトディスクの再生音が利用される。
【００７７】
以上の実施の形態は、英語、および中国語を学習の対象としたが、本発明の学習用教材は、音声を伴う言語であれば任意の言語に適用可能である。
【００７８】
発音を学習する際に、楽譜による視覚的な情報のほかに、楽譜の発音を音声データとして収録したコンパクトディスク、メモリなどを用いて、聴覚による学習を併せて行うことにより、当該発音を視覚と聴覚の両面で学習することができ、言語の習得において相乗的な効率化が期待できる。
【００７９】
図５は、本発明を適用した教材情報出力装置の第１の実施の形態の構成を示す図である。本実施の形態の教材情報出力装置１００は、音声取得部１０１、楽譜化部１０２、楽譜取得部１０３、音声認識部１０４、原文取得部１０５、訳文取得部１０６、発音取得部１０７、蓄積部１０８、および出力部１０９から構成される。
【００８０】
音声取得部１０１は、学習対象のセンテンスやフレーズを１つの単位として、学習対象の言語（例えば、英語）のネイティブスピーカなどが発音した音声データを取得し、取得した音声データを楽譜化部１０２および音声認識部１０４に供給する。
【００８１】
楽譜化部１０２は、音声取得部１０１により取得した音声データから、発音のイントネーション、リズム、およびアーティキュレーションを、音楽記号として符号化した楽譜情報に変換し、変換された楽譜情報を楽譜取得部１０３に供給する。楽譜化部１０２が符号化する楽譜情報は、図１における楽譜表示部１２が表示する楽譜に対応したものである。楽譜取得部１０３は、楽譜化部１０２により変換された楽譜情報を取得し、取得した楽譜情報を蓄積部１０８に供給する。
【００８２】
音声認識部１０４は、音声取得部１０１により取得された音声データから、発音された音声を認識して対応する文字データに変換し、変換した文字データを原文取得部１０５に供給する。原文取得部１０５は、音声認識部１０４により変換された文字データを原文として取得し、取得した原文の文字データを蓄積部１０８に供給する。
【００８３】
訳文取得部１０６は、原文取得部１０５により取得された原文に対応した訳文（例えば、日本語）の文字データとして取得し、取得した訳文の文字データを蓄積部１０８に供給する。発音取得部１０７は、楽譜取得部１０３により取得された楽譜情報に対応した発音の読みを、訳文に対応する言語（例えば、日本語）における表音文字（例えば、片仮名）の文字データとして取得し、取得した発音の読みの文字データを蓄積部１０８に供給する。
【００８４】
蓄積部１０８は、楽譜取得部１０３により取得された楽譜情報、原文取得部１０５により取得された原文の文字データ、訳文取得部１０６により取得された訳文の文字データ、および音声取得部１０７により取得された発音の読みの文字データを蓄積し、出力部１０９に供給する。
【００８５】
出力部１０９は、蓄積部１０８により蓄積された楽譜情報から楽譜を生成する。そして、生成した楽譜、蓄積部１０８により蓄積された原文、訳文、および発音の読みの４つの文字データを関連づけた教材情報を出力する。
【００８６】
次に、図６のフローチャートを参照して、図５の教材情報出力装置１００による教材情報出力処理について説明する。
【００８７】
ステップＳ１２１において、音声取得部１０１が原文（この実施の形態の場合、英語）の発音についての音声データを取得する。ステップＳ１２１の処理では、教材情報として出力したい英文のセンテンスやフレーズをネイティブスピーカが発話することで、音声取得部１０１が音声データを取得する。
【００８８】
ステップＳ１２２において、楽譜化部１０２はステップＳ１２１の処理により取得された音声データを楽譜情報に変換する。
【００８９】
楽譜情報は、発音のイントネーション、リズム、アーティキュレーションを音楽記号により符号化したものであり、そのうち発音のイントネーションは楽譜化部１０２により、例えば次のように楽譜情報に変換される。すなわち、音声取得部１０１により取得した音声データは、フーリエ変換により時間周波数情報に変換され、時間周波数情報における各音の周波数をもとに音符の音高に変換される。楽譜化部１０２が楽譜上の音高とそれに対応する周波数範囲との関係を定義した変換テーブルが記録されたメモリを持つことで、音声データにおける各音の周波数を、楽譜上の音高情報へ変換することができる。
【００９０】
発音のリズムは楽譜化部１０２により例えば次のように楽譜情報に変換される。すなわち、音声取得部１０１により取得された音声データの振幅のピーク位置や持続時間などの時間振幅情報は、音符や休符の種類と時間位置に変換される。楽譜化部１０２が時間振幅情報と楽譜情報との関係を定義した変換テーブルが記録されたメモリを持つことで、音声データの振幅のピーク位置を楽譜上における音符の時間位置に変換し、振幅の持続時間を音符の種類に変換することができる。また、所定のテンポに合わせて発音された音声データを利用することができれば、より正確なリズムの楽譜情報に変換することができる。
【００９１】
発音のアーティキュレーションは楽譜化部１０２により例えば次のように楽譜情報に変換される。すなわち、音声取得部１０１により取得された音声データの時間振幅が第１の閾値と比較され、第１の閾値以上の振幅ピークを持つ音には、アクセント記号が付加される。
【００９２】
所定の音を示す周波数の持続時間が第２の閾値と比較され、第２の閾値以上の持続時間を持つ音には、テヌート記号が付加される。また、音の周波数の持続時間が、第２の閾値よりも小さい第３の閾値以下の持続時間であれば、音を切り離して発音するときのスタッカート記号が付加される。
【００９３】
隣接する複数音が発音される間、振幅が第４の閾値以下とならない場合、その複数音が同じ音高のときはタイ記号、異なる音高のときはスラー記号が付加される。例えば、図１の実施の形態において、楽譜表示部１２の第３番目と第４番目の音符は、それぞれ発音表示部１４の「ドゥ」、「ユー」の音に対応している。この２音は途切れず滑らかに発音されているため、「ドゥ」の振幅ピークと「ユー」の振幅ピークとの間であっても振幅は第４の閾値以下とならない。すなわち、「ドゥ」の発音が終わり、「ユー」の発音が始まるまでの間の振幅が第４の閾値以下に下がらないため、第３番目と第４番目の音符にはタイ記号が付加されている。
【００９４】
第４の閾値よりも小さい第５の閾値を想定し、連続する複数音が発音される間、振幅が第５の閾値以下とならず、その複数音の音価が８分音符より細かい場合には、それらの音符は連桁とされ、ひとまとまりの発音として表現される。
【００９５】
以上のように、楽譜化部１０２は、音声データの時間振幅情報と時間周波数情報をもとに、音声データを楽譜情報に変換する。なお、音声データを楽譜情報に変換する方法は、上述したものに限定されるものではなく、任意のアルゴリズムを用いることや、複数のアルゴリズムを組み合わせて用いることもできる。
【００９６】
楽譜情報の情報形式は、既に規格化されている電子楽器デジタルインタフェース（MIDI：Musical Instrument Digital Interface）などのデータフォーマットに従ったものでもよいし、独自の情報形式を用いてもよい。また、楽譜情報は必要に応じて編集が可能な形式であってもよい。
【００９７】
ステップＳ１２３において、楽譜取得部１０３はステップＳ１２２の処理で変換された楽譜情報を取得する。ステップＳ１２４において、音声認識部１０４はステップＳ１２１の処理で取得した音声データを音声認識し、文字データに変換する。この音声認識部１０４の音声認識アルゴリズムには、例えば、隠れマルコフモデル（HMM：Hidden Markov Model）など任意のアルゴリズムを採用することができる。ステップＳ１２５において、原文取得部１０５はステップＳ１２４の処理で認識された文字データを取得する。
【００９８】
ステップＳ１２６において、訳文取得部１０６は外部から入力された訳文についての文字データを取得する。ステップＳ１２７において、発音取得部１０７は外部から入力された発音の読みについての文字データを取得する。ステップＳ１２６，Ｓ１２７の処理では、操作者がキーボードやマウスを操作することで入力した文字データが取得されたり、記憶媒体に既に記憶されている文字データが取得される。
【００９９】
ステップＳ１２８において、蓄積部１０８は楽譜取得部１０３、原文取得部１０５、訳文取得部１０６、発音取得部１０７が取得したデータを蓄積する。すなわち、蓄積部１０８はステップＳ１２３の処理で取得した楽譜情報のデータ、ステップＳ１２５の処理で取得した原文の文字データ、ステップＳ１２６の処理で取得した訳文の文字データ、およびステップＳ１２７の処理で取得した発音の読みの文字データの４つを蓄積する。
【０１００】
ステップＳ１２９において、出力部１０９はステップＳ１２８の処理で蓄積したデータから教材情報が出力される。ステップＳ１２９の処理では、蓄積部１０８により蓄積された楽譜情報から楽譜を生成する。そして、生成した楽譜、蓄積部１０８により蓄積された原文、訳文、および発音の読みの４つの要素が関連づけられて教材情報として出力される。例えば、図１の原文表示部１１、楽譜表示部１２、訳文表示部１３、発音表示部１４に、原文の文字データ、楽譜情報、訳文の文字データ、発音の読みの文字データをそれぞれ対応させた教材情報が出力される。また、出力部１０９は、操作者からの指示に基づいて、楽譜上で音高差を示す等間隔の水平線を表示する。出力の具体的な形態は、LCD等の表示部への表示や、紙等への印刷である。これにより、例えば図１の示されているような学習用教材１が生成される。
【０１０１】
以上の教材情報出力処理により、教材情報出力装置１００は発音の音声データから楽譜情報と原文を自動認識するので、言語の意味と発音を学習するための教材情報を効率よく出力することができる。
【０１０２】
図７は、本発明を適用した教材情報出力装置の第２の実施の形態の構成を示す図である。この教材情報出力装置２００は、楽譜取得部２０１、原文取得部２０２、訳文取得部２０３、発音取得部２０４、蓄積部２０５、および出力部２０６から構成される。
【０１０３】
図７の装置は、上述した図５の装置における、音声取得部１０１、楽譜化部１０２、および音声認識部１０４に相当する構成を持たず、原文の発音の楽譜情報および原文の文字データを直接取得するものである。すなわち、楽譜取得部２０１は、原文の発音の楽譜情報を取得し、蓄積部２０５に蓄積させる。原文取得部２０２は、発音に対応した原文の文字データを取得し、蓄積部２０５に蓄積させる。
【０１０４】
訳文取得部２０３、発音取得部２０４、蓄積部２０５、および出力部２０６は、図４における訳文取得部１０６、発音取得部１０７、蓄積部１０８、および出力部１０９にそれぞれ対応したものであり、その説明は適宜省略する。
【０１０５】
次に、図８のフローチャートを参照して、教材情報出力装置２００の処理について説明する。
【０１０６】
ステップＳ２２１において、楽譜取得部２０１は原文（例えば、英語）の発音についての楽譜情報を取得する。ここでは、例えば、絶対音感を持つ楽譜作成者が、ネイティブスピーカの発音する英語のセンテンスを聞き、そのイントネーション、リズム、アーティキュレーションを把握する。そして、楽譜作成者は、把握した発音の情報を楽譜作成者自身で楽譜取得部２０１に入力する。楽譜取得部２０１は楽譜作成者が、例えば、キーボードやマウスなどの入力装置を操作することで入力した楽譜情報を取得する。もちろん、絶対音感を持つ楽譜作成者が作成した楽譜に基づく楽譜情報を、ほかの操作者が入力することもできる。
【０１０７】
楽譜作成者は楽譜情報を譜面として楽譜取得部２０１に入力することができる。人間の音声における音高は連続的なものである一方、譜面における音高の表記は、半音を最小単位とした不連続なものである。また、絶対音感を持つ楽譜作成者は、１２平均律において半音の１００分の１（すなわち、１セント）程度の音高を識別する能力を有している。したがって、絶対音感を持つ楽譜作成者は、音声データの発音における音高を楽譜の表記よりも細かい単位で把握する。
【０１０８】
楽譜作成者は、発音の各音を絶対的な音高として把握することもできるし、発音の第１音目を絶対的な音高として把握し、続く第ｎ音目の音高は第ｎ−１番目の音高を基準とした相対的な音高として把握してもよい。いずれの場合においても、楽譜作成者は、把握した発音の音高情報を譜面として入力する際には、セント単位で把握した音高を半音単位または全音単位の音高に切り捨て、あるいは切り上げを行い、半音単位または全音単位の音高として五線譜上に入力する。
【０１０９】
発音のリズムやアーティキュレーションについても、楽譜作成者がネイティブスピーカの発音から把握した内容を譜面として楽譜取得部２０１に入力する。発音の把握は、楽譜作成者の主観に頼ったものであり、楽譜作成者が異なると同じ発音であっても異なる譜面情報が入力される場合がある。しかしここでは、発音を譜面という視覚的に理解でき、発音のイメージをつかみやすい情報に変換することが最も重要であり、譜面情報における細部の正確性は大きな問題とはならない。
【０１１０】
図９は、絶対音感を有する楽譜作成者がネイティブスピーカの発話「What color do you like?」を聞いて、それを五線譜上に表現した例を示している。この状態では、切り捨て、または切り上げの処理が行われているものの、音高が絶対的に表されている。しかし言語はその性質上、絶対的に音高がネイティブスピーカの音高と一致していなくてはならないというものではない。そこで本実施の形態においては、図２の楽譜表示部３２に表示されているように、音部記号（例えば、ト音記号）が省略されて、相対的な音高が入力される。変化記号（例えば、シャープやフラット）による半音の上げ下げも、その厳密さは必要ないので省略される。
【０１１１】
ステップＳ２２２において、原文取得部２０２はネイティブスピーカの発音に対応した原文についての文字データを取得する。ステップＳ２２３において、訳文取得部２０３は原文取得部２０２により取得された原文に対応した訳文についての文字データを取得する。ステップＳ２２４において、発音取得部２０４は楽譜取得部２０１により取得された楽譜情報に対応した発音の読みについての文字データを取得する。ステップＳ２２１乃至Ｓ２２４の処理では、ユーザがキーボードやマウスなどの入力装置を操作することで入力した楽譜情報および文字データを取得する。
【０１１２】
ステップＳ２２５において、蓄積部２０５は楽譜取得部２０１、原文取得部２０２、訳文取得部２０３、および発音取得部２０４が取得したデータを蓄積する。すなわち、蓄積部２０５はステップＳ２２１の処理で取得した楽譜情報のデータ、ステップＳ２２２の処理で取得した原文の文字データ、ステップＳ２２３の処理で取得した訳文の文字データ、およびステップＳ２２４の処理で取得した発音の読みの文字データの４つを蓄積する。
【０１１３】
ステップＳ２２６において、出力部２０６はステップＳ２２５の処理で蓄積したデータから教材情報を出力する。ステップＳ２２６の処理では、蓄積部２０５により蓄積された楽譜情報から楽譜が生成される。そして、生成された楽譜、蓄積部２０５により蓄積された原文、訳文、および発音の読みの４つの要素が関連づけられて教材情報として出力される。例えば、図１の原文表示部１１、楽譜表示部１２、訳文表示部１３、発音表示部１４に、原文の文字データ、楽譜情報、訳文の文字データ、発音の読みの文字データをそれぞれ対応させた教材情報が出力される。また、出力部２０６は、相対的な音高差を示す等間隔の水平線を必要に応じて生成することもできる。これにより、例えば図１に示されるような学習用教材１が生成される。
【０１１４】
以上の教材情報出力処理により、教材情報出力装置２００は発音についての楽譜情報を絶対音感を有する楽譜作成者の入力から直接取得するので、発音における繊細な表現を楽譜情報へ反映した教材情報を出力することができる。
【０１１５】
図１０は、本発明を適用した教材情報出力装置の第３の実施の形態の構成を示す図である。この教材情報出力装置３００は、音声取得部３０１、楽譜化部３０２、楽譜取得部３０３、音声認識部３０４、原文取得部３０５、蓄積部３０６、および出力部３０７から構成される。
【０１１６】
図１０の装置は、上述した図５の装置における、訳文取得部１０６と発音取得部１０７に相当する構成を持たず、学習する言語の原文とその発音を示す楽譜のみを教材情報として出力するものである。
【０１１７】
すなわち、蓄積部３０６は、楽譜取得部３０３により取得された楽譜情報、および原文取得部３０５により取得された原文についての文字データを蓄積する。出力部３０７は、蓄積部３０６に蓄積された楽譜情報から五線譜による楽譜を生成する。そして、生成された楽譜と蓄積部３０６に蓄積された原文の２つの要素を関連づけた教材情報が出力される。
【０１１８】
音声取得部３０１、楽譜化部３０２、楽譜取得部３０３、音声認識部３０４、および原文取得部３０５は、図５における音声取得部１０１、楽譜化部１０２、楽譜取得部１０３、音声認識部１０４、および原文取得部１０５にそれぞれ対応したものであり、繰り返しになるので、その説明は適宜省略する。
【０１１９】
次に、図１１のフローチャートを参照して、教材情報出力装置３００の処理について説明する。
【０１２０】
ステップＳ３２１において、音声取得部３０１は原文の発音についての音声データを取得する。ステップＳ３２１の処理では、例えばネイティブスピーカの原文の音声データが取得される。ステップＳ３２２において、楽譜化部３０２はステップＳ３２１の処理で取得した音声データを楽譜情報に変換する。ステップＳ３２２の処理は、図６のステップＳ１２２の処理と同様の処理である。
【０１２１】
ステップＳ３２３において、楽譜取得部３０３はステップＳ３２２の処理で変換された楽譜情報を取得する。ステップＳ３２４において、音声認識部３０４はステップＳ３２１の処理で取得された音声データを音声認識し、文字データに変換する。ステップＳ３２５において、原文取得部３０５はステップＳ３２４の処理で変換された原文についての文字データを取得する。ステップＳ３２３乃至Ｓ３２５の処理は、図６におけるステップＳ１２３乃至Ｓ１２５の処理と同様の処理である。
【０１２２】
ステップＳ３２６において、蓄積部３０６は楽譜取得部３０３、および原文取得部３０５が取得したデータを蓄積する。すなわち、蓄積部３０６はステップＳ３２３の処理で取得され楽譜情報のデータ、およびステップＳ３２５の処理で取得された原文の文字データの２つを蓄積する。
【０１２３】
ステップＳ３２７において、出力部３０７はステップ３２６の処理で蓄積したデータから教材情報を出力する。ステップＳ３２７の処理では、蓄積部３０６により蓄積された楽譜情報から楽譜が生成される。そして、生成された楽譜、および蓄積部３０６により蓄積された原文の２つの要素を関連づけた教材情報が出力される。このとき相対的な音高差を示す等間隔の水平線が必要に応じて付加される。これにより、例えば、図３に示されるような原文表示部６１と楽譜表示部６２に、原文の文字データと楽譜情報をそれぞれ対応させた教材情報が出力される。
【０１２４】
以上の教材情報出力処理により、教材情報出力装置３００は発音の音声データから、教材情報に必要な楽譜情報と原文の両方を自動認識するので、言語の発音を学習するための教材情報を効率よく出力することができる。
【０１２５】
なお、本明細書において、各ステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１２６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２７】
１１ 原文表示部，１２ 楽譜表示部，１３ 訳文表示部，１４ 発音表示部，３１ 原文表示部，３２ 楽譜表示部，３３ 訳文表示部，３４ 発音表示部，４１ 原文表示部，４２ 楽譜表示部，４３ 訳文表示部，４４ 発音表示部，６１ 原文表示部，６２ 楽譜表示部，７１ 原文表示部，７２ 楽譜表示部，７３ 訳文表示部，７４ 発音表示部
【技術分野】
【０００１】
本発明は学習用教材および教材情報出力装置に関し、特に、学習者が言語の発音をより正確かつ効率よく理解できるようにする学習用教材および教材情報出力装置に関する。
【背景技術】
【０００２】
従来の語学学習用教材では、学習言語の発音を表記する場合に発音記号（もしくは音声記号）が用いられる。特に、あらゆる言語の発音を包括的に表記することが可能な統一記号である国際音声記号（IPA：International Phonetic Alphabet）が用いられることがある。
【０００３】
また、特別な記号を用いずに、理解が容易である母国語での表音文字（例えば、学習者の母国語が日本語の場合には平仮名もしくは片仮名）によって、学習言語の発音を表記することも多い。
【０００４】
さらに、例えば、特許文献１には、英単語において、強勢アクセントを持つ音節の活字を大きく太字にし、視覚的に目立つようにすることで、学習者がアクセントの位置を視覚的に理解し、正確に記憶することができるようにする英単語学習教材が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−００５６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、国際音声記号などの発音記号により発音が表記される教材を使用するには、発音記号そのものについても学習する必要がある。そのため初学者にとっては、発音記号により発音を覚えることが難しい。
【０００７】
また、表音文字による発音の表記や、教材の活字を強調表示することで強勢アクセントの位置を提示する方法では、言語の発音におけるイントネーションやリズムといった重要な要素の情報を与えることができない。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、発音記号を理解できない初学者であっても、言語の発音をより正確かつ効率よく理解できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面は、所定の言語の原文を表示する原文表示部と、前記原文表示部により表示された前記原文に対応した発音を音楽記号で示した楽譜を表示する楽譜表示部とを備える学習用教材である。
【００１０】
前記音楽記号のうちの音符により前記発音の相対的な長さと高さを表し、休符記号により前記発音の切れ目を表し、強弱記号により前記発音の強弱を表すことができる。
【００１１】
前記音楽記号のうちの連桁により、前記発音の一体的に発音される部分を表すことができる。
【００１２】
前記音楽記号のうちのスラーまたはタイにより、前記発音の連結して発音される部分を表すことができる。
【００１３】
前記原文表示部により表示された前記原文に対応した他の言語による訳文を表示する訳文表示部と、前記他の言語における表音文字を用いて、前記楽譜表示部により表示された前記楽譜に対応した前記発音の読みを表示する発音表示部とをさらに備えることができる。
【００１４】
本発明の他の側面は、所定の言語の原文を取得する原文取得手段と、前記原文取得手段により取得された前記原文に対応した発音を音楽記号で示した楽譜の楽譜情報を取得する楽譜取得手段と、前記楽譜取得手段により取得された前記楽譜情報と、前記原文取得手段により取得された前記原文とを蓄積する蓄積手段と、前記蓄積手段に蓄積された前記楽譜情報から生成した楽譜と前記原文との対応を関連づけた教材情報を出力する出力手段と を備える教材情報出力装置である。
【００１５】
前記出力手段は、前記音楽記号のうちの音符により前記発音の相対的な長さと高さを表し、休符記号により前記発音の切れ目を表し、強弱記号により前記発音の強弱を表した前記楽譜を生成し、前記楽譜と前記原文との対応を関連づけた教材情報を出力することができる。
【００１６】
前記出力手段は、前記音楽記号のうちの連桁により前記発音の一体的に発音される部分を表した前記楽譜を生成することができる。
【００１７】
前記原文取得手段により取得された前記原文に対応した他の言語による訳文を取得する訳文取得手段と、前記他の言語における表音文字を用いて、前記楽譜取得手段により取得された前記楽譜情報に対応した前記発音の読みを取得する発音取得手段とをさらに備え、前記蓄積手段は、前記訳文取得手段により取得された前記訳文と、前記発音取得手段により取得された前記発音の読みとをさらに蓄積し、前記出力手段は、前記蓄積手段に蓄積された前記楽譜情報から生成した前記楽譜、前記原文、前記訳文、および前記発音の読みの対応を関連づけた教材情報を出力することができる。
【００１８】
前記所定の言語の前記発音の音声データを取得する音声取得手段と、前記音声取得手段により取得された前記音声データを、前記楽譜情報に変換する楽譜化手段とをさらに備え、前記楽譜取得手段は、前記楽譜化手段により変換された前記楽譜情報を取得することができる。
【００１９】
前記音声取得手段により取得された前記音声データから、前記所定の言語の前記原文を認識する音声認識手段をさらに備え、前記原文取得手段は、前記音声認識手段により認識された前記原文を取得することができる。
【００２０】
本発明の一側面の学習用教材においては、所定の言語の原文が表示されるとともに、表示された原文に対応した発音を音楽記号で示した楽譜が表示される。
【００２１】
本発明の一側面の教材情報出力装置においては、所定の言語の原文が取得され、取得された原文に対応した発音を音楽記号で示した楽譜の楽譜情報が取得される。取得された楽譜情報と原文とが蓄積され、蓄積された楽譜情報から生成した楽譜と原文との対応を関連づけた教材情報が出力される。
【発明の効果】
【００２２】
以上のように、本発明の一側面によれば、学習者が言語の発音をより正確かつ効率よく理解できるようになる。
【図面の簡単な説明】
【００２３】
【図１】本発明の学習用教材の第１の実施の形態の構成を示す図である。
【図２】本発明の学習用教材の第２の実施の形態の構成を示す図である。
【図３】本発明の学習用教材の第３の実施の形態の構成を示す図である。
【図４】本発明の学習用教材の第４の実施の形態の構成を示す図である。
【図５】本発明の教材情報出力装置の第１の実施の形態の構成を示すブロック図である。
【図６】本発明の教材情報出力装置の第１の実施の形態の動作を説明するフローチャートである。
【図７】本発明の教材情報出力装置の第２の実施の形態の構成を示すブロック図である。
【図８】本発明の教材情報出力装置の第２の実施の形態の動作を説明するフローチャートである。
【図９】絶対的に音高を表した楽譜を示す図である。
【図１０】本発明の教材情報出力装置の第３の実施の形態の構成を示すブロック図である。
【図１１】本発明の教材情報出力装置の第３の実施の形態の動作を説明するフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２５】
図１は、本発明を適用した学習用教材の第１の実施の形態の構成を示す図である。本実施の形態は、日本語を母国語とする学習者が、英語を学習する教材を例示する。この学習用教材１は、原文表示部１１、楽譜表示部１２、訳文表示部１３、および発音表示部１４から構成される。
【００２６】
原文表示部１１は、学習者の学習対象とする言語がセンテンス（文）やフレーズ（成句）などを１つの単位として表示する。図１の例では、英語のセンテンス「What did you make?」が表示されている。
【００２７】
楽譜表示部１２は、原文表示部１１のセンテンスをネイティブスピーカが発音した場合の音節を音楽記号で表示する。すなわち、イントネーション（すなわち、相対的な音の高さの変動）、リズム（すなわち、音の時間的な緩急）、およびアーティキュレーション（すなわち、音や音のつながりにおける強弱や表情）などの発音の特徴が、ひとまとまりとして認識される音を単位として音楽記号を対応付けることにより表現される。音楽記号としては、例えば、音符、休符、アクセント記号、テヌート記号、スタッカート記号、スラー記号、タイ記号、および等間隔の水平線などを用いることができる。
【００２８】
楽譜表示部１２が表示する楽譜は五線記譜法に準じた形式で表示され、音符の縦方向の位置により発音における音の高低（すなわち、音高）が示され、音符と休符の配列により発音のリズムが示される。楽譜の表示において４分音符の１拍の長さ（すなわち、テンポ）としては任意の長さを採用することができる。例えば、英語の発音の場合であれば、１分間に４分音符を８０乃至１２０拍程度打つテンポを採用することができる。
【００２９】
発音の音高情報は、五線譜上において正確に表現することはできない。何故なら五線譜上では、１２平均律における１オクターブの１２分の１の半音を最小単位とする表現しかできないが、人が言語を話すときの音高差を表現するには、半音よりさらに細かい単位が必要になるからである。
【００３０】
そこで本実施の形態では、音高差は相対的に表示される。例えば、音高を「low」、「medium」、「high」、「very high」の４つのレベルとする場合、音符をこの４つのレベルのいずれかの位置に配置することで、音高が表現される。この場合、音高差が相対的な量で表現されるため、楽譜表示部１２に表示される楽譜に、等間隔の水平線を併せて表示する必要はない。
【００３１】
しかし、各音符のレベルの差を学習者が容易に認識できるようにするため、等間隔の水平線を併せて表示することもできる。図１の実施の形態では３本の水平線が表示されている。ただし、この水平線は絶対的な音高の基準となる五線譜の五線ではない。例えば図１の実施の形態において、第５番目の音符が一番上の水平線と２番目の水平線の間に配置され、第６番目の音符が第２番目の水平線上に配置されているが、これは、第６番目の音符に対応する音声が第５番目の音符に対応する音高より全音の分だけ低いことを意味するものではない。単に第６番目の音高は第５番目の音高より相対的に低いことを意味しているに過ぎない。もちろん第５番目と第６番目の音符に対応する音高の絶対的高さ、すなわち周波数が特定されるものでもない。
【００３２】
楽譜表示部１２は、音楽記号によりさまざまなアーティキュレーションを視覚的に表示する。例えば、その音を強く発音するときのアクセント記号、音の高さを保って発音するときのテヌート記号、音を切り離して発音するときのスタッカート記号、および音を結び付けて滑らかに発音するときのスラー記号やタイ記号などを併せて表示することもできる。また、８分音符より細かい音価の音符をつなげて表示する連桁によって、発音のまとまりを表現することもできる。
【００３３】
図１の例では、原文表示部１１に表示されているセンテンス「What did you make?」の発音が、１６分音符、１６分休符、８分音符、１６分音符、１６分音符、８分音符、および１６分音符により表現されている。第１番目の１６分音符から第４番目の１６分音符は連桁とされ、第３番目と第４番目の１６分音符はタイ記号で連結されている。第５番目の８分音符と第６番目の１６分音符は連桁とされている。楽譜には水平線が表示されている。すなわち、第１番目の１６分音符が最も高い音であり、第２番目の８分音符の音高はそれより低く、第３番目と第４番目の１６分音符の音高は第２番目の８分音符の音高より低い。第５番目の８分音符と第６番目の１６分音符の音高は、第１番目の１６分音符より低く、第２番目の８分音符より高い。第５番目の８分音符の音高は、第６番目の１６分音符より高い。第１番目の１６分音符と第５番目の８分音符にアクセント記号が付されている。
【００３４】
すなわちこの例では、「What」、「did you」、「make?」の各フレーズの発音の相対的な高さが音符の縦方向の位置により表現され、発音の相対的な長さが音符の種類により表現される。「What」は１６分音符により、「did you」は８分音符と２つの１６分音符により、そして「make?」は８分音符と１６分音符により、それぞれ表されているので、それぞれの音の高さは各音符の縦方向の位置に対応する。この例の場合、３本の水平線が付加されているので、各音符の相対的な高さが判り易くなっている。
【００３５】
音の長さは各音符の種類により表されている。この例では、発音が８分音符と１６分音符で表現されている。「di(d)」や「ma」に８分音符を対応付け、「What」、「(di)ｄ you」、および「(ma)ke」に１６分音符を対応付けることにより、前者の音の方が後者の音より相対的に長いことが表現されている。「What」と「did you」の間の音の切れ目の長さは、休符記号である１６分休符により表されている。
【００３６】
連桁は、その部分が一体的に発音される部分であることを表す。図１の例では、第１番目の１６分音符から第４番目の１６分音符が対応付けられている「What did you」の部分と、第５番目の８分音符と第６番目の１６分音符が対応付けられている「make」の部分が、それぞれ連桁とされ、一体的または連続的に発音される部分であることが表されている。すなわち、このセンテンスは、大きく分けると、「What did you」の部分と「make」の部分という、２つの部分に分けて発音されるべきことが表現されている。
【００３７】
純粋に音楽的に表示するだけの場合には、例えば、「What did you」の部分の先頭の１６分音符は連桁とせず、単独の音符として表現することが可能である。しかし、そのようにすると、「What did you」の部分を一体的に、すなわち、「What」の部分を「did you」の部分と一体的に発音すべきことが表現できない。そこで、一体的に発音される部分は連桁で表現される。
【００３８】
さらに細かくは、「What did you」のうちの、２つの１６分音符で表される「(di)d you」の部分が連桁とされ、一体的に発音される部分であることが表されている。同様に、８分音符で表示される「di(d)」の部分と、２つの１６分音符で表示される「you」の部分が連桁とされ、一体的に発音される部分であることが表されている。
【００３９】
また、８分音符と１６分音符で表される「make」のうちの「ma」と「ke」の部分も連桁とされ、一体的に発音される部分であることが表されている。
【００４０】
さらに「did 」のうちの最後の「d」と「you」の発音は、一音節となるように連結して発音すべきことが、タイの記号により表されている。純粋に音楽的に表示するだけの場合には、第３番目と第４番目の２つの１６分音符を１個の８分音符により表すことも可能である。しかし、そのようにすると、発音には、「d」と「you」の２つの音節があることが理解しにくくなる。そこで本実施の形態においては、音節の数に対応する数の音符が表示され、それらにタイ記号（音高が異なる場合にはスラー記号）が付加される。これにより、「ディド」のうちの「ド」の部分と、次の「ユー」の部分は、２音節としてではなく、「ドゥユー」のように１音節となるように連結して発音すべきことが、すなわち実質的に音節数が減少するように発音すべきことが表現される。
【００４１】
また「What」と「make?」の「ma」の部分が強く発音されることが、強弱記号であるアクセント記号により示されている。
【００４２】
楽譜表示部１２の楽譜と原文表示部１１の綴りとの関連を学習者が容易に理解できるように、楽譜表示部１２の楽譜は原文表示部１１の対応する単語の下側または上側に表示される。
【００４３】
訳文表示部１３は、原文表示部１１に対応した別の言語による訳文を表示する。図１の例では、学習者の母国語が日本語の場合であって、日本語による訳文「何を作ったの？」が表示されている。この例では、訳文表示部１３の訳文は、原文表示部１１の原文に対応したものであることが判るように、原文表示部１１の右側に表示されている。訳文表示部１３の表示位置は、原文表示部１１との対応が学習者にとって容易に理解できる範囲であれば任意である。
【００４４】
発音表示部１４は、原文表示部１１の原文の発音の読みを、学習者が理解できる表音文字により表示する。図１の例では、日本語の表音文字の１つである片仮名により、発音の読み「ワッ ディドゥユー メイク？」が表示されている。また、発音表示部１４は、それぞれの音が楽譜表示部１２の音符に対応するように表示され、音符との関連を学習者が容易に理解できるように、楽譜表示部１２の上側または下側に隣接して表示される。
【００４５】
学習用教材１を用いて学習する場合、学習者は、原文表示部１１に表示された英語のセンテンスについて、訳文表示部１３に表示された訳文により意味を学習し、発音表示部１４に表示された発音の読みにより発音を学習する。また、学習用教材１には、原文表示部１１の原文のネイティブスピーカによる発音が記録されたコンパクトディスクが付属しており、学習者はその再生音を聞きながら楽譜表示部１２に表示された楽譜を見ることによりイントネーション、リズム、およびアーティキュレーションといった発音の仕方を学習する。
【００４６】
図２は、本発明を適用した学習用教材の第２の実施の形態の構成を示す図である。本実施の形態は、日本語を母国語とする学習者が、英語を学習する教材を例示する。この学習用教材３は、原文表示部３１，４１、楽譜表示部３２，４２、訳文表示部３３，４３、発音表示部３４，４４、顔イラスト表示部３５，４５、およびイラスト表示部５０から構成される。
【００４７】
原文表示部３１，４１は、それぞれ図１における原文表示部１１に対応したものであり、図２の例では、学習対象のセンテンス「What color do you like?」、および「Pink.」をそれぞれ表示している。
【００４８】
楽譜表示部３２，４２は、図１における楽譜表示部１２に対応したものである。
【００４９】
図２の例では、楽譜表示部３２は、１６分音符、１６分休符、１６分音符、１６分音符、１６分音符、１６分音符、１６分音符、１６分音符、および１６分音符により表現されている。第１番目から第３番目の１６分音符、第４番目と第５番目の１６分音符、および第６番目から第８番目の１６分音符はそれぞれ連桁とされている。この例では、楽譜には水平線が表示されていない。第１番目の１６分音符より第２番目の１６分音符の音高の方が高く、第３番目の１６分音符は第２番目の１６分音符の音高よりも低く、第１番目の１６分音符の音高よりも高い。第４番目の１６分音符の音高は第１番目の１６分音符よりも低く、第５番目の１６分音符の音高は第４番目の１６分音符よりも低い。第６番目の１６分音符の音高は第５番目の１６分音符よりも高く、第３番目の１６分音符と同程度である。第７番目の１６分音符の音高は第６番目の１６分音符よりも低く、第８番目の１６分音符は第７番目の１６分音符よりも低い。
【００５０】
図２の例では、「What color」、「do you」、「like?」の各フレーズの発音の相対的な高さが音符の縦方向の位置により表現され、発音の相対的な長さが音符の種類により表現される。この例では、「What color」、「do you」、「like?」の全てが、１６分音符により表されている。それぞれの音の高さは各音符の縦方向の位置により表されている。この例の場合、水平線が付加されていないが、各音符の縦方向の位置は、相対的な高さが判る位置に配置されている。
【００５１】
「What」、「color」、「do you」、「like?」発音は、それぞれ１個の１６分音符、２個の１６分音符、２個の１６分音符、および３個の１６分音符で表現されている。これにより、それぞれの発音の長さが同じであることが表現されている。「What」と「color」の間の音の切れ目の長さは、休符記号である１６分休符により表されている。
【００５２】
第１番目乃至第３番目の１６分音符で表される「What color」の部分、第４番目と第５番目の１６分音符で表される「do you」の部分、および第６番目乃至第８番目の１６分音符で表される「like?」の部分が、それぞれ連桁とされている。従って、「What color」、「do you」、および「like?」の各部分が、それぞれ一体的に発音される。
【００５３】
楽譜表示部４２は、８分音符と１６分音符により表現されており、第１番目の８分音符と第２番目の１６分音符は連桁とされている。楽譜には水平線が表示されていない。第１番目の８分音符より第２番目の１６分音符の音高の方が低い。また、第１番目の８分音符にアクセント記号が付されている。
【００５４】
「Pink.」の部分は、８分音符と１６分音符により表されている。それぞれの音の高さは各音符の縦方向の位置により表されている。この例の場合、水平線が付加されていないが、各音符の縦方向の位置は、相対的な高さが判る位置に配置されている。
【００５５】
「Pin」の部分に８分音符を対応付け、「k」の部分に１６分音符を対応付けることにより、前者の音の方が後者の音より長いことが表現されている。また「Pin」の部分が強く発音されることが、強弱記号であるアクセント記号により示されている。
【００５６】
「Pin」の部分の８分音符と、「k」の部分の１６分音符を連桁とすることで、「Pink」は一体的に発音されるべきことが表現されている。
【００５７】
訳文表示部３３，４３は、図１における訳文表示部１３に対応したものである。図２の例では、訳文表示部３３には訳文「何色が好きかな？」、訳文表示部４３には訳文「ピンク。」がそれぞれ表示されている。
【００５８】
発音表示部３４，４４は、図１における発音表示部１４に対応したものである。図２の例では、発音表示部３４には発音の読み「ワッ カラー ドゥ ユー ライク？」、発音表示部４４には発音の読み「ピンク。」がそれぞれ表示されている。
【００５９】
顔イラスト表示部３５，４５は、発話者を識別するために発話者がイラストで表示される。図２の例では、顔イラスト表示部３５には保育士の顔のイラスト、顔イラスト表示部４５には園児の顔のイラストがそれぞれ原文表示部３１，４１の原文に付して表示されている。これにより、原文表示部３１のセンテンス「What color do you like?」は保育士が、原文表示部４１のセンテンス「Pink.」は園児が、それぞれ発話するものであることが示されている。
【００６０】
イラスト表示部５０は、会話の状況をイラストにより表示する。図２の例では、イラスト表示部５０には、保育士が色の一覧表の紙を手にし、「What color do you like?」と問いかけ、園児が保育士の持っている紙の中からピンクを指して、「Pink.」と答える様子を表すイラストが表示されている。
【００６１】
学習用教材３を用いて学習する場合、学習者は、原文表示部３１，４１に表示された会話について、顔イラスト表示部３５，４５、およびイラスト表示部５０に表示されたイラストにより会話の状況を理解し、訳文表示部３３，４３に表示された訳文により意味を学習する。また、学習者は発音表示部３４，４４に表示された発音の読みと、付属するコンパクトディスクからの再生音により発音を学習し、楽譜表示部３２，４２に表示された楽譜によりイントネーション、リズム、およびアーティキュレーションといった会話における発音の仕方を学習する。
【００６２】
図３は、本発明を適用した学習用教材の第３の実施の形態の構成を示す図である。本実施の形態は、日本語を母国語とする学習者が、英語を学習する教材を例示する。この学習用教材６は、原文表示部６１と楽譜表示部６２から構成される。
【００６３】
学習用教材６は、例えば、英語の発音の仕方を学習するものである。原文表示部６１は、図１における原文表示部１１に対応したものであり、図３の例では、学習対象のセンテンス「Good morning.」が表示されている。
【００６４】
楽譜表示部６２は、図１における楽譜表示部１２に対応したものである。図３の例では、楽譜表示部６２は、１６分音符、１６分休符、８分音符、付点８分音符により表現されている。第２番目の８分音符と第３番目の付点８分音符は連桁とされている。楽譜には水平線が表示されていない。第１番目の１６分音符より第２番目の８分音符の音高の方が高く、第３番目の付点８分音符の音高は第２番目の８分音符よりも低く、第１番目の１６分音符よりも高い。
【００６５】
つまり、「Good」、「morning」の各フレーズの発音の相対的な高さが音符の縦方向の位置により表現され、発音の相対的な長さが音符の種類により表現される。図３の例では、「Good」が１６分音符により表され、「morning」が２つの８分音符により表されている。２つの８分音符のうちの最後の８分音符には、付点が付されているので、最初の８分音符の１．５倍の長さであることが表されている。勿論この長さも相対的であり、正確に１．５倍の長さである必要はない。「Good」と「morning」の間の音の切れ目の長さは、休符記号である１６分休符により表されている。
【００６６】
「morning」を表現する２つの８分音符は連桁とされ、一体的に発音すべきことが表現されている。
【００６７】
この例の場合、水平線が付加されていないが、各音符の縦方向の位置は、相対的な高さが判る位置に配置されている。
【００６８】
学習用教材６を用いて学習する場合、学習者は、原文表示部６１に表示された原文についてのイントネーション、リズム、およびアーティキュレーションといった発音の仕方を、楽譜表示部６２に表示された楽譜とコンパクトディスクからの再生音により学習する。
【００６９】
図４は、本発明を適用した学習用教材の第４の実施の形態の構成を示す図である。本実施の形態は、日本語を母国語とする学習者が、中国語を学習する教材を例示する。この学習用教材７は、原文表示部７１、楽譜表示部７２、訳文表示部７３、および発音表示部７４から構成される。
【００７０】
原文表示部７１は、図１における原文表示部１１に対応したものであり、図４の例では、学習対象のセンテンス「早上好。」が表示されている。
【００７１】
楽譜表示部７２は、図１における楽譜表示部１２に対応したものである。図４の例では、楽譜表示部７２は、３つの８分音符により表現されている。楽譜には水平線が表示されている。第１番目の８分音符の音高に対して、第２番目の８分音符は高く、第３番目の８分音符は低い。
【００７２】
図４の例では、「早」、「上」、「好。」の全てが、８分音符により表されている。それぞれの発音の高さは各音符の縦方向の位置により表されている。この例の場合、４本の水平線が付加されているので、各音符の相対的な高さが判り易くなっている。
【００７３】
また、「早」、「上」、「好。」発音が、それぞれ８分音符で表現されているので、それぞれの発音の長さは同じである。
【００７４】
訳文表示部７３は、図１における訳文表示部１３に対応したものである。図４の例では、訳文表示部７３には訳文「おはよう。」が表示されている。
【００７５】
発音表示部７４は、図１における発音表示部１４に対応したものである。図４の例では、発音表示部７４には発音の読み「ザオ シャン ハオ。」が表示されている。
【００７６】
学習用教材７を用いて学習する場合、学習者は、原文表示部７１に表示された中国語のセンテンスについて、訳文表示部７３に表示された訳文により意味を学習し、発音表示部７４に表示された発音の読みにより発音を学習し、楽譜表示部７２に表示された楽譜によりイントネーション、リズム、およびアーティキュレーションといった発音の仕方を学習する。この場合にも、付属するコンパクトディスクの再生音が利用される。
【００７７】
以上の実施の形態は、英語、および中国語を学習の対象としたが、本発明の学習用教材は、音声を伴う言語であれば任意の言語に適用可能である。
【００７８】
発音を学習する際に、楽譜による視覚的な情報のほかに、楽譜の発音を音声データとして収録したコンパクトディスク、メモリなどを用いて、聴覚による学習を併せて行うことにより、当該発音を視覚と聴覚の両面で学習することができ、言語の習得において相乗的な効率化が期待できる。
【００７９】
図５は、本発明を適用した教材情報出力装置の第１の実施の形態の構成を示す図である。本実施の形態の教材情報出力装置１００は、音声取得部１０１、楽譜化部１０２、楽譜取得部１０３、音声認識部１０４、原文取得部１０５、訳文取得部１０６、発音取得部１０７、蓄積部１０８、および出力部１０９から構成される。
【００８０】
音声取得部１０１は、学習対象のセンテンスやフレーズを１つの単位として、学習対象の言語（例えば、英語）のネイティブスピーカなどが発音した音声データを取得し、取得した音声データを楽譜化部１０２および音声認識部１０４に供給する。
【００８１】
楽譜化部１０２は、音声取得部１０１により取得した音声データから、発音のイントネーション、リズム、およびアーティキュレーションを、音楽記号として符号化した楽譜情報に変換し、変換された楽譜情報を楽譜取得部１０３に供給する。楽譜化部１０２が符号化する楽譜情報は、図１における楽譜表示部１２が表示する楽譜に対応したものである。楽譜取得部１０３は、楽譜化部１０２により変換された楽譜情報を取得し、取得した楽譜情報を蓄積部１０８に供給する。
【００８２】
音声認識部１０４は、音声取得部１０１により取得された音声データから、発音された音声を認識して対応する文字データに変換し、変換した文字データを原文取得部１０５に供給する。原文取得部１０５は、音声認識部１０４により変換された文字データを原文として取得し、取得した原文の文字データを蓄積部１０８に供給する。
【００８３】
訳文取得部１０６は、原文取得部１０５により取得された原文に対応した訳文（例えば、日本語）の文字データとして取得し、取得した訳文の文字データを蓄積部１０８に供給する。発音取得部１０７は、楽譜取得部１０３により取得された楽譜情報に対応した発音の読みを、訳文に対応する言語（例えば、日本語）における表音文字（例えば、片仮名）の文字データとして取得し、取得した発音の読みの文字データを蓄積部１０８に供給する。
【００８４】
蓄積部１０８は、楽譜取得部１０３により取得された楽譜情報、原文取得部１０５により取得された原文の文字データ、訳文取得部１０６により取得された訳文の文字データ、および音声取得部１０７により取得された発音の読みの文字データを蓄積し、出力部１０９に供給する。
【００８５】
出力部１０９は、蓄積部１０８により蓄積された楽譜情報から楽譜を生成する。そして、生成した楽譜、蓄積部１０８により蓄積された原文、訳文、および発音の読みの４つの文字データを関連づけた教材情報を出力する。
【００８６】
次に、図６のフローチャートを参照して、図５の教材情報出力装置１００による教材情報出力処理について説明する。
【００８７】
ステップＳ１２１において、音声取得部１０１が原文（この実施の形態の場合、英語）の発音についての音声データを取得する。ステップＳ１２１の処理では、教材情報として出力したい英文のセンテンスやフレーズをネイティブスピーカが発話することで、音声取得部１０１が音声データを取得する。
【００８８】
ステップＳ１２２において、楽譜化部１０２はステップＳ１２１の処理により取得された音声データを楽譜情報に変換する。
【００８９】
楽譜情報は、発音のイントネーション、リズム、アーティキュレーションを音楽記号により符号化したものであり、そのうち発音のイントネーションは楽譜化部１０２により、例えば次のように楽譜情報に変換される。すなわち、音声取得部１０１により取得した音声データは、フーリエ変換により時間周波数情報に変換され、時間周波数情報における各音の周波数をもとに音符の音高に変換される。楽譜化部１０２が楽譜上の音高とそれに対応する周波数範囲との関係を定義した変換テーブルが記録されたメモリを持つことで、音声データにおける各音の周波数を、楽譜上の音高情報へ変換することができる。
【００９０】
発音のリズムは楽譜化部１０２により例えば次のように楽譜情報に変換される。すなわち、音声取得部１０１により取得された音声データの振幅のピーク位置や持続時間などの時間振幅情報は、音符や休符の種類と時間位置に変換される。楽譜化部１０２が時間振幅情報と楽譜情報との関係を定義した変換テーブルが記録されたメモリを持つことで、音声データの振幅のピーク位置を楽譜上における音符の時間位置に変換し、振幅の持続時間を音符の種類に変換することができる。また、所定のテンポに合わせて発音された音声データを利用することができれば、より正確なリズムの楽譜情報に変換することができる。
【００９１】
発音のアーティキュレーションは楽譜化部１０２により例えば次のように楽譜情報に変換される。すなわち、音声取得部１０１により取得された音声データの時間振幅が第１の閾値と比較され、第１の閾値以上の振幅ピークを持つ音には、アクセント記号が付加される。
【００９２】
所定の音を示す周波数の持続時間が第２の閾値と比較され、第２の閾値以上の持続時間を持つ音には、テヌート記号が付加される。また、音の周波数の持続時間が、第２の閾値よりも小さい第３の閾値以下の持続時間であれば、音を切り離して発音するときのスタッカート記号が付加される。
【００９３】
隣接する複数音が発音される間、振幅が第４の閾値以下とならない場合、その複数音が同じ音高のときはタイ記号、異なる音高のときはスラー記号が付加される。例えば、図１の実施の形態において、楽譜表示部１２の第３番目と第４番目の音符は、それぞれ発音表示部１４の「ドゥ」、「ユー」の音に対応している。この２音は途切れず滑らかに発音されているため、「ドゥ」の振幅ピークと「ユー」の振幅ピークとの間であっても振幅は第４の閾値以下とならない。すなわち、「ドゥ」の発音が終わり、「ユー」の発音が始まるまでの間の振幅が第４の閾値以下に下がらないため、第３番目と第４番目の音符にはタイ記号が付加されている。
【００９４】
第４の閾値よりも小さい第５の閾値を想定し、連続する複数音が発音される間、振幅が第５の閾値以下とならず、その複数音の音価が８分音符より細かい場合には、それらの音符は連桁とされ、ひとまとまりの発音として表現される。
【００９５】
以上のように、楽譜化部１０２は、音声データの時間振幅情報と時間周波数情報をもとに、音声データを楽譜情報に変換する。なお、音声データを楽譜情報に変換する方法は、上述したものに限定されるものではなく、任意のアルゴリズムを用いることや、複数のアルゴリズムを組み合わせて用いることもできる。
【００９６】
楽譜情報の情報形式は、既に規格化されている電子楽器デジタルインタフェース（MIDI：Musical Instrument Digital Interface）などのデータフォーマットに従ったものでもよいし、独自の情報形式を用いてもよい。また、楽譜情報は必要に応じて編集が可能な形式であってもよい。
【００９７】
ステップＳ１２３において、楽譜取得部１０３はステップＳ１２２の処理で変換された楽譜情報を取得する。ステップＳ１２４において、音声認識部１０４はステップＳ１２１の処理で取得した音声データを音声認識し、文字データに変換する。この音声認識部１０４の音声認識アルゴリズムには、例えば、隠れマルコフモデル（HMM：Hidden Markov Model）など任意のアルゴリズムを採用することができる。ステップＳ１２５において、原文取得部１０５はステップＳ１２４の処理で認識された文字データを取得する。
【００９８】
ステップＳ１２６において、訳文取得部１０６は外部から入力された訳文についての文字データを取得する。ステップＳ１２７において、発音取得部１０７は外部から入力された発音の読みについての文字データを取得する。ステップＳ１２６，Ｓ１２７の処理では、操作者がキーボードやマウスを操作することで入力した文字データが取得されたり、記憶媒体に既に記憶されている文字データが取得される。
【００９９】
ステップＳ１２８において、蓄積部１０８は楽譜取得部１０３、原文取得部１０５、訳文取得部１０６、発音取得部１０７が取得したデータを蓄積する。すなわち、蓄積部１０８はステップＳ１２３の処理で取得した楽譜情報のデータ、ステップＳ１２５の処理で取得した原文の文字データ、ステップＳ１２６の処理で取得した訳文の文字データ、およびステップＳ１２７の処理で取得した発音の読みの文字データの４つを蓄積する。
【０１００】
ステップＳ１２９において、出力部１０９はステップＳ１２８の処理で蓄積したデータから教材情報が出力される。ステップＳ１２９の処理では、蓄積部１０８により蓄積された楽譜情報から楽譜を生成する。そして、生成した楽譜、蓄積部１０８により蓄積された原文、訳文、および発音の読みの４つの要素が関連づけられて教材情報として出力される。例えば、図１の原文表示部１１、楽譜表示部１２、訳文表示部１３、発音表示部１４に、原文の文字データ、楽譜情報、訳文の文字データ、発音の読みの文字データをそれぞれ対応させた教材情報が出力される。また、出力部１０９は、操作者からの指示に基づいて、楽譜上で音高差を示す等間隔の水平線を表示する。出力の具体的な形態は、LCD等の表示部への表示や、紙等への印刷である。これにより、例えば図１の示されているような学習用教材１が生成される。
【０１０１】
以上の教材情報出力処理により、教材情報出力装置１００は発音の音声データから楽譜情報と原文を自動認識するので、言語の意味と発音を学習するための教材情報を効率よく出力することができる。
【０１０２】
図７は、本発明を適用した教材情報出力装置の第２の実施の形態の構成を示す図である。この教材情報出力装置２００は、楽譜取得部２０１、原文取得部２０２、訳文取得部２０３、発音取得部２０４、蓄積部２０５、および出力部２０６から構成される。
【０１０３】
図７の装置は、上述した図５の装置における、音声取得部１０１、楽譜化部１０２、および音声認識部１０４に相当する構成を持たず、原文の発音の楽譜情報および原文の文字データを直接取得するものである。すなわち、楽譜取得部２０１は、原文の発音の楽譜情報を取得し、蓄積部２０５に蓄積させる。原文取得部２０２は、発音に対応した原文の文字データを取得し、蓄積部２０５に蓄積させる。
【０１０４】
訳文取得部２０３、発音取得部２０４、蓄積部２０５、および出力部２０６は、図４における訳文取得部１０６、発音取得部１０７、蓄積部１０８、および出力部１０９にそれぞれ対応したものであり、その説明は適宜省略する。
【０１０５】
次に、図８のフローチャートを参照して、教材情報出力装置２００の処理について説明する。
【０１０６】
ステップＳ２２１において、楽譜取得部２０１は原文（例えば、英語）の発音についての楽譜情報を取得する。ここでは、例えば、絶対音感を持つ楽譜作成者が、ネイティブスピーカの発音する英語のセンテンスを聞き、そのイントネーション、リズム、アーティキュレーションを把握する。そして、楽譜作成者は、把握した発音の情報を楽譜作成者自身で楽譜取得部２０１に入力する。楽譜取得部２０１は楽譜作成者が、例えば、キーボードやマウスなどの入力装置を操作することで入力した楽譜情報を取得する。もちろん、絶対音感を持つ楽譜作成者が作成した楽譜に基づく楽譜情報を、ほかの操作者が入力することもできる。
【０１０７】
楽譜作成者は楽譜情報を譜面として楽譜取得部２０１に入力することができる。人間の音声における音高は連続的なものである一方、譜面における音高の表記は、半音を最小単位とした不連続なものである。また、絶対音感を持つ楽譜作成者は、１２平均律において半音の１００分の１（すなわち、１セント）程度の音高を識別する能力を有している。したがって、絶対音感を持つ楽譜作成者は、音声データの発音における音高を楽譜の表記よりも細かい単位で把握する。
【０１０８】
楽譜作成者は、発音の各音を絶対的な音高として把握することもできるし、発音の第１音目を絶対的な音高として把握し、続く第ｎ音目の音高は第ｎ−１番目の音高を基準とした相対的な音高として把握してもよい。いずれの場合においても、楽譜作成者は、把握した発音の音高情報を譜面として入力する際には、セント単位で把握した音高を半音単位または全音単位の音高に切り捨て、あるいは切り上げを行い、半音単位または全音単位の音高として五線譜上に入力する。
【０１０９】
発音のリズムやアーティキュレーションについても、楽譜作成者がネイティブスピーカの発音から把握した内容を譜面として楽譜取得部２０１に入力する。発音の把握は、楽譜作成者の主観に頼ったものであり、楽譜作成者が異なると同じ発音であっても異なる譜面情報が入力される場合がある。しかしここでは、発音を譜面という視覚的に理解でき、発音のイメージをつかみやすい情報に変換することが最も重要であり、譜面情報における細部の正確性は大きな問題とはならない。
【０１１０】
図９は、絶対音感を有する楽譜作成者がネイティブスピーカの発話「What color do you like?」を聞いて、それを五線譜上に表現した例を示している。この状態では、切り捨て、または切り上げの処理が行われているものの、音高が絶対的に表されている。しかし言語はその性質上、絶対的に音高がネイティブスピーカの音高と一致していなくてはならないというものではない。そこで本実施の形態においては、図２の楽譜表示部３２に表示されているように、音部記号（例えば、ト音記号）が省略されて、相対的な音高が入力される。変化記号（例えば、シャープやフラット）による半音の上げ下げも、その厳密さは必要ないので省略される。
【０１１１】
ステップＳ２２２において、原文取得部２０２はネイティブスピーカの発音に対応した原文についての文字データを取得する。ステップＳ２２３において、訳文取得部２０３は原文取得部２０２により取得された原文に対応した訳文についての文字データを取得する。ステップＳ２２４において、発音取得部２０４は楽譜取得部２０１により取得された楽譜情報に対応した発音の読みについての文字データを取得する。ステップＳ２２１乃至Ｓ２２４の処理では、ユーザがキーボードやマウスなどの入力装置を操作することで入力した楽譜情報および文字データを取得する。
【０１１２】
ステップＳ２２５において、蓄積部２０５は楽譜取得部２０１、原文取得部２０２、訳文取得部２０３、および発音取得部２０４が取得したデータを蓄積する。すなわち、蓄積部２０５はステップＳ２２１の処理で取得した楽譜情報のデータ、ステップＳ２２２の処理で取得した原文の文字データ、ステップＳ２２３の処理で取得した訳文の文字データ、およびステップＳ２２４の処理で取得した発音の読みの文字データの４つを蓄積する。
【０１１３】
ステップＳ２２６において、出力部２０６はステップＳ２２５の処理で蓄積したデータから教材情報を出力する。ステップＳ２２６の処理では、蓄積部２０５により蓄積された楽譜情報から楽譜が生成される。そして、生成された楽譜、蓄積部２０５により蓄積された原文、訳文、および発音の読みの４つの要素が関連づけられて教材情報として出力される。例えば、図１の原文表示部１１、楽譜表示部１２、訳文表示部１３、発音表示部１４に、原文の文字データ、楽譜情報、訳文の文字データ、発音の読みの文字データをそれぞれ対応させた教材情報が出力される。また、出力部２０６は、相対的な音高差を示す等間隔の水平線を必要に応じて生成することもできる。これにより、例えば図１に示されるような学習用教材１が生成される。
【０１１４】
以上の教材情報出力処理により、教材情報出力装置２００は発音についての楽譜情報を絶対音感を有する楽譜作成者の入力から直接取得するので、発音における繊細な表現を楽譜情報へ反映した教材情報を出力することができる。
【０１１５】
図１０は、本発明を適用した教材情報出力装置の第３の実施の形態の構成を示す図である。この教材情報出力装置３００は、音声取得部３０１、楽譜化部３０２、楽譜取得部３０３、音声認識部３０４、原文取得部３０５、蓄積部３０６、および出力部３０７から構成される。
【０１１６】
図１０の装置は、上述した図５の装置における、訳文取得部１０６と発音取得部１０７に相当する構成を持たず、学習する言語の原文とその発音を示す楽譜のみを教材情報として出力するものである。
【０１１７】
すなわち、蓄積部３０６は、楽譜取得部３０３により取得された楽譜情報、および原文取得部３０５により取得された原文についての文字データを蓄積する。出力部３０７は、蓄積部３０６に蓄積された楽譜情報から五線譜による楽譜を生成する。そして、生成された楽譜と蓄積部３０６に蓄積された原文の２つの要素を関連づけた教材情報が出力される。
【０１１８】
音声取得部３０１、楽譜化部３０２、楽譜取得部３０３、音声認識部３０４、および原文取得部３０５は、図５における音声取得部１０１、楽譜化部１０２、楽譜取得部１０３、音声認識部１０４、および原文取得部１０５にそれぞれ対応したものであり、繰り返しになるので、その説明は適宜省略する。
【０１１９】
次に、図１１のフローチャートを参照して、教材情報出力装置３００の処理について説明する。
【０１２０】
ステップＳ３２１において、音声取得部３０１は原文の発音についての音声データを取得する。ステップＳ３２１の処理では、例えばネイティブスピーカの原文の音声データが取得される。ステップＳ３２２において、楽譜化部３０２はステップＳ３２１の処理で取得した音声データを楽譜情報に変換する。ステップＳ３２２の処理は、図６のステップＳ１２２の処理と同様の処理である。
【０１２１】
ステップＳ３２３において、楽譜取得部３０３はステップＳ３２２の処理で変換された楽譜情報を取得する。ステップＳ３２４において、音声認識部３０４はステップＳ３２１の処理で取得された音声データを音声認識し、文字データに変換する。ステップＳ３２５において、原文取得部３０５はステップＳ３２４の処理で変換された原文についての文字データを取得する。ステップＳ３２３乃至Ｓ３２５の処理は、図６におけるステップＳ１２３乃至Ｓ１２５の処理と同様の処理である。
【０１２２】
ステップＳ３２６において、蓄積部３０６は楽譜取得部３０３、および原文取得部３０５が取得したデータを蓄積する。すなわち、蓄積部３０６はステップＳ３２３の処理で取得され楽譜情報のデータ、およびステップＳ３２５の処理で取得された原文の文字データの２つを蓄積する。
【０１２３】
ステップＳ３２７において、出力部３０７はステップ３２６の処理で蓄積したデータから教材情報を出力する。ステップＳ３２７の処理では、蓄積部３０６により蓄積された楽譜情報から楽譜が生成される。そして、生成された楽譜、および蓄積部３０６により蓄積された原文の２つの要素を関連づけた教材情報が出力される。このとき相対的な音高差を示す等間隔の水平線が必要に応じて付加される。これにより、例えば、図３に示されるような原文表示部６１と楽譜表示部６２に、原文の文字データと楽譜情報をそれぞれ対応させた教材情報が出力される。
【０１２４】
以上の教材情報出力処理により、教材情報出力装置３００は発音の音声データから、教材情報に必要な楽譜情報と原文の両方を自動認識するので、言語の発音を学習するための教材情報を効率よく出力することができる。
【０１２５】
なお、本明細書において、各ステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１２６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２７】
１１ 原文表示部，１２ 楽譜表示部，１３ 訳文表示部，１４ 発音表示部，３１ 原文表示部，３２ 楽譜表示部，３３ 訳文表示部，３４ 発音表示部，４１ 原文表示部，４２ 楽譜表示部，４３ 訳文表示部，４４ 発音表示部，６１ 原文表示部，６２ 楽譜表示部，７１ 原文表示部，７２ 楽譜表示部，７３ 訳文表示部，７４ 発音表示部
【特許請求の範囲】
【請求項１】
所定の言語の原文を表示する原文表示部と、
前記原文表示部により表示された前記原文に対応した発音を音楽記号で示した楽譜を表示する楽譜表示部と
を備える学習用教材。
【請求項２】
前記音楽記号のうちの音符により前記発音の相対的な長さと高さを表し、休符記号により前記発音の切れ目を表し、強弱記号により前記発音の強弱を表す
請求項１に記載の学習用教材。
【請求項３】
前記音楽記号のうちの連桁により、前記発音の一体的に発音される部分を表す
請求項２に記載の学習用教材。
【請求項４】
前記音楽記号のうちのスラーまたはタイにより、前記発音の連結して発音される部分を表す
請求項３に記載の学習用教材。
【請求項５】
前記原文表示部により表示された前記原文に対応した他の言語による訳文を表示する訳文表示部と、
前記他の言語における表音文字を用いて、前記楽譜表示部により表示された前記楽譜に対応した前記発音の読みを表示する発音表示部と
をさらに備える請求項４に記載の学習用教材。
【請求項６】
所定の言語の原文を取得する原文取得手段と、
前記原文取得手段により取得された前記原文に対応した発音を音楽記号で示した楽譜の楽譜情報を取得する楽譜取得手段と、
前記楽譜取得手段により取得された前記楽譜情報と、前記原文取得手段により取得された前記原文とを蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記楽譜情報から生成した楽譜と前記原文との対応を関連づけた教材情報を出力する出力手段と
を備える教材情報出力装置。
【請求項７】
前記出力手段は、前記音楽記号のうちの音符により前記発音の相対的な長さと高さを表し、休符記号により前記発音の切れ目を表し、強弱記号により前記発音の強弱を表した前記楽譜を生成し、前記楽譜と前記原文との対応を関連づけた教材情報を出力する
請求項６に記載の教材情報出力装置。
【請求項８】
前記出力手段は、前記音楽記号のうちの連桁により前記発音の一体的に発音される部分を表した前記楽譜を生成する
請求項７に記載の教材情報出力装置。
【請求項９】
前記原文取得手段により取得された前記原文に対応した他の言語による訳文を取得する訳文取得手段と、
前記他の言語における表音文字を用いて、前記楽譜取得手段により取得された前記楽譜情報に対応した前記発音の読みを取得する発音取得手段と
をさらに備え、
前記蓄積手段は、前記訳文取得手段により取得された前記訳文と、前記発音取得手段により取得された前記発音の読みとをさらに蓄積し、
前記出力手段は、前記蓄積手段に蓄積された前記楽譜情報から生成した前記楽譜、前記原文、前記訳文、および前記発音の読みの対応を関連づけた教材情報を出力する
請求項８に記載の教材情報出力装置。
【請求項１０】
前記所定の言語の前記発音の音声データを取得する音声取得手段と、
前記音声取得手段により取得された前記音声データを、前記楽譜情報に変換する楽譜化手段と
をさらに備え、
前記楽譜取得手段は、前記楽譜化手段により変換された前記楽譜情報を取得する
請求項８に記載の教材情報出力装置。
【請求項１１】
前記音声取得手段により取得された前記音声データから、前記所定の言語の前記原文を認識する音声認識手段
をさらに備え、
前記原文取得手段は、前記音声認識手段により認識された前記原文を取得する
請求項１０に記載の教材情報出力装置。
【請求項１】
所定の言語の原文を表示する原文表示部と、
前記原文表示部により表示された前記原文に対応した発音を音楽記号で示した楽譜を表示する楽譜表示部と
を備える学習用教材。
【請求項２】
前記音楽記号のうちの音符により前記発音の相対的な長さと高さを表し、休符記号により前記発音の切れ目を表し、強弱記号により前記発音の強弱を表す
請求項１に記載の学習用教材。
【請求項３】
前記音楽記号のうちの連桁により、前記発音の一体的に発音される部分を表す
請求項２に記載の学習用教材。
【請求項４】
前記音楽記号のうちのスラーまたはタイにより、前記発音の連結して発音される部分を表す
請求項３に記載の学習用教材。
【請求項５】
前記原文表示部により表示された前記原文に対応した他の言語による訳文を表示する訳文表示部と、
前記他の言語における表音文字を用いて、前記楽譜表示部により表示された前記楽譜に対応した前記発音の読みを表示する発音表示部と
をさらに備える請求項４に記載の学習用教材。
【請求項６】
所定の言語の原文を取得する原文取得手段と、
前記原文取得手段により取得された前記原文に対応した発音を音楽記号で示した楽譜の楽譜情報を取得する楽譜取得手段と、
前記楽譜取得手段により取得された前記楽譜情報と、前記原文取得手段により取得された前記原文とを蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記楽譜情報から生成した楽譜と前記原文との対応を関連づけた教材情報を出力する出力手段と
を備える教材情報出力装置。
【請求項７】
前記出力手段は、前記音楽記号のうちの音符により前記発音の相対的な長さと高さを表し、休符記号により前記発音の切れ目を表し、強弱記号により前記発音の強弱を表した前記楽譜を生成し、前記楽譜と前記原文との対応を関連づけた教材情報を出力する
請求項６に記載の教材情報出力装置。
【請求項８】
前記出力手段は、前記音楽記号のうちの連桁により前記発音の一体的に発音される部分を表した前記楽譜を生成する
請求項７に記載の教材情報出力装置。
【請求項９】
前記原文取得手段により取得された前記原文に対応した他の言語による訳文を取得する訳文取得手段と、
前記他の言語における表音文字を用いて、前記楽譜取得手段により取得された前記楽譜情報に対応した前記発音の読みを取得する発音取得手段と
をさらに備え、
前記蓄積手段は、前記訳文取得手段により取得された前記訳文と、前記発音取得手段により取得された前記発音の読みとをさらに蓄積し、
前記出力手段は、前記蓄積手段に蓄積された前記楽譜情報から生成した前記楽譜、前記原文、前記訳文、および前記発音の読みの対応を関連づけた教材情報を出力する
請求項８に記載の教材情報出力装置。
【請求項１０】
前記所定の言語の前記発音の音声データを取得する音声取得手段と、
前記音声取得手段により取得された前記音声データを、前記楽譜情報に変換する楽譜化手段と
をさらに備え、
前記楽譜取得手段は、前記楽譜化手段により変換された前記楽譜情報を取得する
請求項８に記載の教材情報出力装置。
【請求項１１】
前記音声取得手段により取得された前記音声データから、前記所定の言語の前記原文を認識する音声認識手段
をさらに備え、
前記原文取得手段は、前記音声認識手段により認識された前記原文を取得する
請求項１０に記載の教材情報出力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１３９１５（Ｐ２０１２−１３９１５Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１４９８０１（Ｐ２０１０−１４９８０１）
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（５１０１８２１２４）合同会社 ハミングリッシュ アカデミー (1)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（５１０１８２１２４）合同会社 ハミングリッシュ アカデミー (1)
【Ｆターム（参考）】
[ Back to top ]