説明

外国語学習装置、外国語学習方法、外国語学習の記録媒体およびプログラム

【課題】世界のグローバル化の進展に伴い、一層の外国語学習策の強化が必要である。
【解決手段】外国語の音声信号から、複数の帯域濾波器を有する第1の帯域濾波部により所定の帯域の信号を抽出し、包絡線抽出器を有する包絡線抽出部により各帯域信号の包絡線を抽出し、雑音源信号を複数の帯域濾波器を有する第2の帯域濾波部に加えて、上記所定の帯域に対応する雑音信号を抽出し、第1の帯域濾波部と第2の帯域濾波部の出力を乗算部において乗算し、乗算部の出力を加算部において累算して、劣化雑音音声信号を作成し、劣化雑音音声信号を聴取することにより、脳の外国語認識活動の活性化を行い、効果的な外国語学習を可能にする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声信号の少なくとも一部の帯域信号を雑音化した劣化雑音音声を聴取することにより、脳の活動を活発化し、外国語学習を行う外国語学習装置、外国語学習方法、外国語学習の記録媒体およびプログラムに関する。
【背景技術】
【0002】
従来、音声信号の認識研究において、音声信号をそのまま聞かずとも、音声信号の成分を所定の方法で雑音化しても、言葉をかなり認識できることが知られている。かかる技術は、例えば、非特許文献1や非特許文献2や非特許文献3に記載されている。
【0003】
かかる文献によれば、音声信号を4つの周波数帯域(0〜600、600〜1500、1500〜2500、2500〜4000Hz)に分けて、それぞれの音声信号を半波整流し、16Hzのローパスフィルタにかけて、各周波数帯の振幅包絡をもとめ、各周波数帯域に対応したバンドノイズを掛け合わせた信号を足し合せた信号を作成する。このような信号を劣化雑音音声という。劣化雑音音声を正常な聴力を有する被験者に聞かせたところ約80%の了解度が得られたことが報告されている。
【非特許文献1】Shannon, R.V.,et.al,:"Speech Recognition with Primarily Temporal Cues",SIENCE,270,303−305(1995)
【非特許文献2】小畑宣久、力丸裕:経時的振幅変化に着目した周波数成分劣化音声知覚の検討、日本音響学会聴覚研究会資料H−99−6(1999)
【非特許文献3】小畑宣久、力丸裕:帯域雑音により合成された日本語音声の了解度−聴覚中枢新家の機能を利用したスピーチプロセッサを目指して−、日本音響学会聴覚研究会資料H−2000−3(2000)
【発明の開示】
【発明が解決しようとする課題】
【0004】
近年、世界のグローバル化の進展に伴い、一層の外国語学習策の強化が必要である。
【課題を解決するための手段】
【0005】
上記の課題を解決するために、本発明の外国語学習装置、外国語学習方法、外国語学習の記録媒体およびプログラムは、以下のような手段および手順を採用する。
【0006】
本第一の発明の外国語学習装置は、外国語の音声信号の少なくとも一部を帯域信号、または、複数の帯域信号に分けて、その一部または全部の帯域信号を雑音化した劣化雑音音声信号を生成する劣化雑音音声生成部、および、前記劣化雑音音声信号を出力する出力部を具備する外国語学習装置である。
かかる構成により、学習者の脳内で通常母国語の音声知覚や発声に使われる部位以外の部位を賦活し、外国語用の新しい神経ネットワークが形成され、外国語の学習の効率が上がる。
【0007】
本第二の発明の外国語学習装置は、外国語の音声信号を出力する音源信号部、前記音声信号の少なくとも一部を複数の帯域信号に分けて、その一部または全部の帯域信号を雑音化した劣化雑音音声信号を生成する劣化雑音音声生成部、学習者の回答結果に応じて、前記音声信号の聞き取りの難易度を変更する制御部、および、前記劣化雑音音声信号を出力する出力部を具備する外国語学習装置である。
かかる構成により、学習者の脳内で通常母国語の音声知覚や発声に使われる部位以外の部位を賦活し、外国語用の新しい神経ネットワークがより広範に形成され、外国語の学習の効率が上がる。
【0008】
本第三の発明の外国語学習装置は、外国語であって聞き取りの難易度が異なる音声信号を複数記憶する音源信号部、前記音声信号の少なくとも一部を複数の帯域信号に分けて、その一部または全部の帯域信号を雑音化した劣化雑音音声信号を生成する劣化雑音音声生成部、学習者の回答結果に応じて、前記複数の音声信号から音声信号を選択して前記劣化雑音音声生成部に供給して難易度を変更する制御部、および、前記劣化雑音音声信号を出力する出力部を具備する外国語学習装置である。
かかる構成により、学習者の脳内で通常母国語の音声知覚や発声に使われる部位以外の部位を賦活し、外国語用の新しい神経ネットワークがより広範に形成され、外国語の学習の効率が上がる。
【0009】
本第四の発明の外国語学習装置は、外国語の音声信号を出力する音源信号部、前記音声信号の少なくとも一部を複数の帯域信号に分けて、その一部または全部の帯域信号を雑音化した劣化雑音音声信号を生成する劣化雑音音声生成部、学習者の回答結果に応じて、前記劣化雑音音声生成部における帯域分割周波数や雑音化する帯域数を変更する制御部、および、前記劣化雑音音声信号を出力する出力部を具備する外国語学習装置である。
かかる構成によっても、学習者の脳内で通常母国語の音声知覚や発声に使われる部位以外の部位を賦活し、外国語用の新しい神経ネットワークがより広範に形成され、外国語の学習の効率が上がる。
【0010】
本第五の発明の外国語学習装置は、学習者の正答率の上昇と共に、前記劣化雑音音声信号の帯域分割周波数、および、または、雑音化する帯域数を変更し、前記劣化雑音音声信号が前記音声信号となるまで訓練を行うことを特徴とする外国語学習装置である。
かかる構成によっても、学習者の脳内で通常母国語の音声知覚や発声に使われる部位以外の部位を賦活し、外国語用の新しい神経ネットワークがより広範に形成され、外国語の学習の効率が上がる。
【0011】
本第六の発明の外国語学習装置は、前記音源信号部と前記劣化雑音音声生成部に代えて、前記劣化雑音音声信号を記憶する音源信号部を具備し、前記音源信号部から前記劣化雑音音声信号を読み出し、前記出力部に供給することを特徴とする外国語学習装置、あるいは、外国語の音声信号の少なくとも一部を複数の帯域信号に分けて、その一部または全部の帯域信号を雑音化した劣化雑音音声信号であって、前記音声信号の聞き取りの難易度が変更された複数の劣化雑音音声信号、または、雑音化する周波数帯域、および、または、雑音化する周波数帯域の帯域数が変更された複数の劣化雑音音声信号を記憶する音源信号部、
学習者の回答結果に応じて、前記音源信号部から前記劣化雑音音声信号を選択して読み出す制御部、および、前記劣化雑音音声信号を出力する出力部を具備する外国語学習装置である。
かかる構成により、外国語用の新しい神経ネットワークをより広範に形成するのに最適な多数の音源を用意でき、外国語の学習の効率が上がる。
【0012】
上記、外国語学習装置において適用する外国語学習方法は、コンピュータプログラムなどの手順として実行可能であるので、コンピュータに機能させるためのプログラムを記録したプログラム記録媒体やコンピュータに機能させるためのプログラムとしてよい。また、上記外国語の音声信号や劣化雑音音声信号を記録した記録媒体とすることにより、外国語学習用の教材として使用することができる。
【発明の効果】
【0013】
本発明によれば、外国語の通常音声を劣化雑音音声に変換して聴取する外国語学習装置、外国語学習方法、外国語学習の記録媒体およびプログラムにより、脳の活性化を促し、脳機能の強化、言語理解の増進により、効率的な外国語学習を行うことできる。
【発明を実施するための最良の形態】
【0014】
以下、外国語学習装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
【0015】
図1は、本発明の外国語学習装置のブロック図である。図1において、マイクロフォンからの外国語の入力音声信号が、入力端子7を経て劣化雑音音声生成部9に供給される。劣化雑音音声生成部9は、後述する劣化雑音音声信号を生成し、出力部16に供給する。出力部16は、出力端子8を経てヘッドフォン13に劣化雑音音声信号を供給し、劣化雑音音声信号を音に変換する。学習者は、ヘッドフォン13により劣化雑音音声信号を聞き、外国語を学習する。劣化雑音音声生成部9は、帯域濾波部1、包絡線抽出部2、乗算部3、帯域濾波部4、雑音源5、および、加算部6を具備する。入力音声信号は、入力端子7を経て、帯域濾波部1に印加される。帯域濾波部1は、所定の帯域の信号を抽出する複数の帯域濾波器1a、1b、1c、1dを有し、音声信号を複数の帯域信号に分波する。各帯域濾波器1a、1b、1c、1dの出力信号は、包絡線抽出部2の包絡線抽出器2a、2b、2c、2dにそれぞれ印加され各帯域信号の包絡線を抽出する。雑音源5の出力する雑音信号は、複数の帯域濾波器4a、4b、4c、4dを有する帯域濾波部4に印加され、帯域濾波部1と同様の周波数帯域を有する帯域雑音信号に分波される。包絡線抽出器2a、2b、2c、2dと帯域濾波器4a、4b、4c、4dの出力は、乗算器3a、3b、3c、3dを有する乗算部3において、対応する帯域毎に乗算され乗算結果は、加算部6において累算され、出力端子8において出力信号となる。なお、帯域濾波器は、信号の所定の周波数成分を抽出する周知の機能のもので、アナログ回路やデジタル回路、デジタル信号プロセッサなどにより構成できる。また、包絡線抽出器は、信号の振幅値の変化を検出する周知の機能を有するもので、半波整流や全波整流の原理を用いてアナログ回路やデジタル回路、デジタル信号プロセッサなどにより構成できる。また、帯域濾波部1、4において、最高帯域を担当する帯域濾波器1a,4aは高域濾波器でもよく、高域濾波器の場合を含むものとする。最低帯域を担当する帯域濾波器1d、4dは低域濾波器でもよく、低域濾波器の場合を含むものとする。なお、出力部16において、ヘッドフォン13に代りにスピーカを使用してもよい。また、出力端子8よりヘッドフォン13に劣化雑音音声信号を供給する際には、劣化雑音音声信号のデジタルサンプル情報を、図示しないデジタルアナログ変換器と電力増幅器によりアナログ信号に変換して供給することは言うまでもない。また、出力部16の内、デジタルアナログ変換器、電力増幅器、ヘッドフォン13、スピーカのいずれかが、本発明の外国語学習装置の付属品として取替え可能になっていてもよい。
【0016】
このようにして作成した外国語の劣化雑音音声を、イヤフォンにより聞かせると、脳の通常の聴覚認識の賦活部位以外の多様な部位が活性化されていることが判明した。上記のような4帯域の劣化雑音音声を聞かせながら、MRI装置により、脳の賦活部位を調べると、左側頭葉の通常の音声認識に利用される部位と考えられる部分に活性化が見られる。また,これに加え、右側頭葉、前頭葉、頭頂葉,小脳の右側など、音声認識以外に関連すると考えられる部位にも賦活が見られる。図2は、functional MRI装置を使用して、脳の活性化状態を観測した結果を示す図である。白く塗りつぶした部位は一定以上の活性化を観測した部位である。図中のSub.A、Sub.B、Sub.Cは、被験者を表す。B4、B1、N、Sは、提示した刺激であり、それぞれ以下のとおりである。B4は、音声素材をバンドパスフィルタにより4周波数帯域に分割し,それぞれの振幅包絡を抽出したもので、帯域分割周波数を600、1500、2100Hzとし、対応する周波数帯域をもつ狭帯域雑音と振幅包絡を掛け合わせて作成した。B1は、全周波数帯域の振幅包絡を抽出し,雑音と掛け合わせた。ただし,この雑音には前もって,上記帯域分割周波数で分割された音声素材の実効値が、対応する帯域に掛けられている。Sは、音声素材をそのまま用いたものである。Nは、B1と同様の方法でパワースペクトルをB4に近似したものであるが、振幅包絡は掛けられていない。音声素材としては、12〜16モーラ(2〜3秒)からなる平易な文章をサンプリング周波数8000Hz、量子化精度16ビットで録音した。さらに、ハイパスフィルタによって低周波ノイズ(40Hz以下)を低減させたものである。図2中の[B4−B1]は、刺激B4と刺激B1の活性度の差を表す。[S−N]で見られる左側頭葉の賦活部位(図2c)は,通常の音声認識に利用される部位であると考えられる。[B4−B1](図2a、b)、[B4−N](図2e)においても,[S−N]と同じ部位が賦活されている。また、これに加え右側頭葉の賦活も見られる。さらにSub.Bでは前頭葉の両側、Sub.Cでは前頭葉と頭頂葉の両側、小脳の右側にも賦活が見られる。このことから、B4の聴取では、通常の音声認識の処理に加えて,他の補助的処理手段を用いて音声認識をおこなっていると考えることができる。また、側頭葉以外の賦活パターンが被験者間で大きく異なることが観測され、音声認識部位以外の活性化には、個人差があると考えられる。従って、従来人為的には活性化が期待できなかった部位を活性化する可能性がある。
【0017】
脳活動の活性化は、その部位の機能を維持、強化するので、聴覚認識部位の機能を強化できることはもちろん、聴覚認識部位以外の多様な部位、たとえば、言語認識部位について機能強化ができ、外国語学習効果が期待できる。通常、脳の所定の部位を選択的に活性化することは、普通の人にとっては容易ではない。特別な思考活動や運動をしないと活性化できない部位もある。本発明によれば、意識することなく、自分の脳の多様な部位の活性化を行うことができ、他の方法では活性化が困難な部位の活性化もできるので、聴力の機能強化、聴取内容の認識機能の強化により、外国語学習に効果的である。たとえば、帯域数を極端に減らしてトレーニングを始めると、通常使っていた周波数情報が使えないので、脳は周波数情報なしでなんとか音声を知覚・弁別しようとする。このとき、通常使用していないけれど、使えそうなものがあれば、換わりに使う(代償)仕組みが脳内で働き始める。しかし、この作業には、通常使わない脳内の部位を使う必要が生じ、新しい神経ネットワークが創設される。すなわち、劣化雑音音声の使用により、脳内で通常母国語の音声知覚や発声に使われる部位以外の部位を賦活し、外国語用の新しい神経ネットワークが形成されると考えられる。この過程で、通常の音声を聞いたときには弁別できなかった違いを弁別したり、弁別に従ってその外国語本来の正確な発音する機能を獲得したりできる。その結果、外国語の弁別能が上昇し、発声も上手になる。従って、ヒヤリングだけでなく、スピーキングにも効果が期待できる。
【0018】
上記説明では、帯域濾波部4の出力信号である帯域雑音信号を雑音源5から作成したが、音声信号を歪ませて雑音化した信号から作成してもよい。帯域濾波部1の入力信号を歪ませて雑音信号として雑音源5の出力信号の代りに帯域濾波器4aから4dに供給してもよいし、帯域濾波器1a〜1dの出力信号を歪ませて雑音信号として乗算器3aから3dのそれぞれに供給してもよい。
【0019】
図1では、4つの周波数帯域の音声信号についてそれぞれ包絡検出し、包絡信号により対応する帯域雑音信号の振幅を変化させたが、一部の包絡信号のみを用いてもよい。包絡信号の時間変化の早さは音声の変化に追随するものでよいが、更に遅いものにしてもよい。すなわち、各周波数帯域の包絡信号の時間平均値としてもよい。また、全周波数帯域の包絡信号としてもよい。脳の活性化効果は、やや少なくなることもあるが、聴覚認識や音声認識部位以外の活性化が行える。
【0020】
図1では、4つの周波数帯域の音声信号のすべてを帯域雑音信号に置き換えたが、一部の周波数帯域の音声信号は乗算部3に加えずに、直接加算器6に加えるようにして、音声信号成分を残してもよい。外国語学習の初級者の場合、音声信号成分を残す周波数帯域を多くするようにしてもよい。また、外国語学習の進歩に従い、音声信号成分を残す周波数帯域を様々に変更してもよい。
【0021】
本実施の形態の外国語学習装置の各ブロックは、アナログ回路による、帯域濾波回路、包絡検出回路、乗算回路、雑音信号発生回路などにより実現できる。また、これらの回路機能を、デジタル信号プロセッサ(DSP)により実現することも可能である。
なお、マイクロフォンと入力端子7は、外国語の音声信号を劣化雑音音声生成部9に出力する音源信号部のブロックと看做してもよい。
【0022】
以上、本実施の形態によれば、入力音声信号の少なくとも一部を単一又は複数の帯域信号に分けて雑音化した劣化雑音音声信号とし、学習者が聴取するようにした外国語学習装置であり、当該外国語学習装置により脳の活性化を促し、外国語学習に効果が期待される。
なお、帯域分割周波数を600、1500、2100Hzは、日本語の母音のフォルマントの差異に対応する周波数に近いので、外国人が日本語を学習する場合に適用できる。
(実施の形態2)
【0023】
図3は、本発明の劣化雑音音声を用いた別の実施の形態による外国語学習装置のブロック図である。図3において、劣化雑音音声生成部9は、図1において示したのと同様に、帯域濾波部1、包絡線抽出部2、乗算部3、帯域濾波部4、雑音源5、加算部6により構成される。音源信号部10には、外国語による種々の言葉や文章の音声信号が記憶されている。記憶されている音声信号は、外国語の音声波形をデジタルサンプルデータの形式としたものでよいが、音声圧縮されたデジタルデータ形式でもよい。なお、これら以外の形式でもよい。音源信号部10は、記憶している音声信号を読み出して、劣化雑音音声生成部9に供給する。音源信号部10が供給する音声信号は、上記デジタルサンプルの形式である。音源信号部10が音声圧縮されたデジタルデータを読み出した場合は、圧縮を解いてデジタルサンプル形式とした音声信号を劣化雑音音声生成部9に供給する。制御部11は選択用の操作手段を内蔵しており、音源信号部10に制御信号または制御情報を加えて所定の言葉や文章の音声信号による課題を選択、指定する。操作手段は、ボタンスイッチやキーボード入力手段などでよい。音源信号部10は、指定された言葉や文章の音声信号を劣化雑音音声生成部9の帯域濾波部1に供給する。出力端子8からは、その言葉や文章の劣化雑音音声信号が得られる。これを、出力部16のヘッドフォン13により、学習者に聞かせる。なお、出力部16において、スピーカを使用してもよい。指導者は、制御部11の操作手段を外国語学習の教科過程にしたがって操作して、順次、言葉や文章を聞かせ、学習者は劣化雑音音声を聴いて、認識した言葉や文章を指導者に口頭で回答し、指導者は、正誤を判定してその結果を学習者に知らせ、次のステップに進む。学習者は、正誤を知ることにより学習をする。指導者は正誤の状況に応じて、次に与える言葉や文章を選択する。
【0024】
帯域濾波部1、4の各帯域濾波器の周波数帯域は、0〜600Hz、600〜1500Hz、1500〜2500Hz、2500〜4000Hzを標準的なものとする。帯域選択部12は、帯域濾波部1と2の上記各帯域分割周波数、または/および、帯域数を切り替えることができる。このためには、帯域選択部12には、帯域分割周波数や帯域数を指示する複数組の情報を記憶しておき、ボタンスイッチやキーボード入力手段などの操作手段により、複数組の情報から選択するようにすればよい。たとえば、周波数帯域の数を1、2、3、4の内から選択できる。これは、母音、子音、破裂音など、言葉によっては、4つの周波数帯域を必要としない場合があるからである。たとえば、帯域濾波器1c、1d、4c、4dの出力を0とすることにより、周波数帯域の数を2とすることができる。また、全部、あるいは任意の一部の帯域濾波器について、その周波数帯域の間の帯域分割周波数を600Hz、1500Hz、2500Hz、4000Hzとは別の周波数に切換選択できる。600Hz、1500Hz、2500Hz、4000Hzは、第1フォルマントと第2フォルマントによって、音声の母音、日本語では、/a/、/i/、/u/、/e/、/o/を分離する周波数境界の標準的なものに近い値である。この周波数境界は、日本語を外国語として学習する場合に適用可能である。しかし、この周波数境界は、人によって少し異なっている場合がある。このような個人差に対応して、周波数帯域の境界を調整、変更することにより外国語学習効果がよくなることが期待されるので、このために帯域選択部12により周波数境界を切換選択できるようにしておく。また、外国語では、母音の体系が日本語の場合とは異なるものがあるので、外国語に対応するように帯域濾波器の数や帯域分割周波数を切り替えられるようにしてもよい。
【0025】
外国語対応をする場合は、言語自動認識部を設けておき、学習者や指導者が最初にマイクロフォンに入力した言葉や文章を自動認識して、言語自動認識部が国名データを帯域選択部12に与えて、帯域選択部12が、その国の言葉に対応した帯域濾波器数と周波数帯域境界を、帯域濾波部1と4に設定させるようにしてもよい。
なお、上記、帯域濾波器数と周波数帯域境界の選択や切換、言語自動認識による帯域濾波器数と周波数帯域境界の選択や切換は、実施の形態1で説明した外国語学習装置にも適用することができる。
以上、本実施の形態のような、上述の外国語学習装置により、外国語認識に対する脳の活動の活性化を促す効果がある。
【0026】
なお、音源信号部10は、半導体メモリ、ハードディスクメモリなどの記憶手段により実現できる。制御部11は、専用のハードウェアにより構成されてもよく、あるいは、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって実現され得る。制御部11には、単語や文章を選択するスイッチのような入力手段を設ければよい。
(実施の形態3)
以下、外国語学習方法の実施の形態について説明する。図4は、本発明の外国語学習装置の機能を実施する方法のフローチャートの一例である。
【0027】
以下説明する各ステップは、音声データが生成されるサンプリング周波数に対応する周期に同期して定常的に実行される。音声入力手順(ステップS10)において、外国語学習装置のマイクロフォンからの入力音声信号をAD変換し、帯域濾波手順(ステップS12)に音声データを渡す。次に、帯域選択手順(ステップS11)において、以降の帯域濾波手順(ステップS12)と(ステップS14)が行なう帯域濾波の帯域周波数の数や帯域分割周波数の変更や設定を必要に応じて行なう。この手順は、帯域選択部12に対する学習者の操作がある場合に実行する。操作が無ければ手順を飛ばす。次に、帯域濾波手順(ステップS12)において、設定された帯域濾波の帯域周波数の数や帯域分割周波数にもとづいて、音声データを濾波する。濾波された音声データは、包絡抽出手順(ステップS13)において、その包絡成分データが抽出される。次に、帯域濾波手順(ステップS14)において、ホワイトノイズの雑音信号を、上記設定された帯域濾波の帯域周波数の数や帯域分割周波数にしたがって濾波し、帯域雑音信号データを生成する。包絡成分データと帯域雑音信号データは、つぎの乗算手順(ステップS15)において乗算され、乗算結果が複数の帯域分ある場合は、加算手順(ステップS16)において累算する。累算した音声データは、劣化雑音音声データである。これを、信号提示手順(ステップS17)において、DA変換しアナログ音声信号としてイヤフォンより学習者に提示し、聴取してもらう。
【0028】
(ステップS10)〜(ステップS17)の各手順は、図4のように順次実行してもよいし、それぞれ並列的に実行してもよい。それらの手順は、デジタル信号プロセッサ(DSP)のプログラムの形式で実現できる。各帯域濾波手順は、周知のデジタルフィルタの演算処理プログラムにより実現できる。包絡抽出手順は、帯域濾波した音声データを半波整流処理し、高周波変動を除去する低域濾波処理を行えばよい。また、帯域濾波した音声データを半波整流処理し、その出力波形のデータのピーク値を包絡線データとしてもよい。このようなデジタル波形処理の個々は、デジタル信号プロセッサ(DSP)のプログラムとして周知であるので、詳細の説明は省く。また、デジタル信号プロセッサ(DSP)の処理動作は、MPUと半導体メモリによるコンピュータシステム、および、メモリに記憶したプログラムによっても実現可能である。
【0029】
また、(ステップS11)から(ステップS16)の手順は、劣化雑音音声作成手順(ステップS100)を構成する。なお、(ステップS100)を、以下の説明において、劣化雑音作成手順、または、第1のステップと呼ぶことがある。
【0030】
帯域選択手順(ステップS11)において、日本語、英語、ドイツ語、中国語などの言語自動認識手順を備えて、認識した言語にあった周波数帯域の数と帯域分割周波数を選択するようにしてもよい。言語自動認識の技術は、公知技術であるので、ここでの詳細な説明は省略する。
(実施の形態4)
【0031】
図5は、外国語学習の進捗に従って、音声信号による課題の聞き取りの難易度を変更した劣化雑音音声信号や、劣化音声信号の帯域分割周波数や雑音化する帯域数を変更して異ならせた劣化雑音音声信号を学習者が聞いて学習効果を向上させるようにした本発明の外国語学習装置のブロック図である。聞き取りの難易度とは、音源信号部20が出力する音声信号を聞いたときに、音声信号の理解が容易か、困難かを意味する。聞き取りの難易度は、外国語の音声信号を構成する文章や言葉が異なる場合に変わる。簡単な文章、短い文章、文法構造が簡単な文章、短い単語などは一般的に、聞き取りの難易度が低い。音声信号における話し言葉の速さ、すなわち、発生速度が中庸の場合は、発生速度が速い場合や発生速度が極端に遅い場合にくらべて、聞き取りの難易度が低い。英語などでは、女性の話し言葉の方が、男性の話し言葉よりも理解しやすく、聞き取りの難易度が低い。これは、音声信号のピッチ周波数の違いにより、聞き取りの難易度が異なることによると考えられる。本実施の形態では、学習者の回答結果により、上記のような音声信号の聞き取りの難易度を変化させて、学習効果を高める。聞き取りの難易度を変化させる方法としては、後述するように、文章や言葉、話し言葉の発声速度、ピッチ周波数などが異なる複数の音声信号を音源として記憶しておき、複数の音声信号から選択する方法や、音声信号の再生速度や再生ピッチ周波数を変化させる方法などがある。なお、以下の説明で、文章は、単語や熟語などの言葉も含む意味とする。逆に、言葉は、文章、単語、熟語などを含む意味とする。上記説明したように、音声信号の聞き取りの難易度を変更するとは、異なる音声信号から選択して変更を行う場合と、選択した音声信号に変更を及ぼす場合の何れをも含む概念である。また、音声信号を構成する文章の一部の単語などの言葉の音声信号を別の難易度の単語の音声信号に置き換えて別の文章の音声信号として出力する場合も含む。このような言葉の置き換えの方法は、編集による音声合成などの技術として周知であるので、説明を省く。
【0032】
以上説明したように、本実施の形態においては、音声信号を構成する言葉、音声信号の発声速度、ピッチ周波数の1つが異なる複数の音声信号を記憶しておいて適宜選択し、劣化雑音音声信号に変換して出力部16により出力する。また、音声信号を構成する言葉の一部、あるいは全部を元の音声信号から変更する、音声信号の発声速度を元の音声信号から変更する、あるいは、ピッチ周波数の1つを元の音声信号から変更することにより生成した難易度が異なる音声信号を、劣化雑音音声信号に変換して出力部16により出力する。なお、難易度を異ならせる方法については、上記例に限定されない。
【0033】
図5において、本発明の外国語学習装置は、音源信号部20、劣化雑音音声生成部21、制御部30、ヘッドフォン13、表示部14、および、受付部15を具備する。音源信号部20には、外国語学習用の単語や文章の例文などの例題が音声信号として複数記憶されている。音源1から音源3は、音源信号であって、それぞれ難易度に対応しており、音源1は初級者用の例題、音源2は中級者用の例題、音源3は上級者用の例題である。各例題は、例えば、課題10個ずつからなる。各課題は、難易度識別子Ni(Ni=1〜3)と課題番号Qj(Qj=1〜10)により個別に選択可能となっている。音源信号部20は、各課題の音声信号を劣化雑音音声生成部21に供給する。
【0034】
劣化雑音音声生成部21は、図1において説明した劣化雑音音声を生成する構成と基本的には同様であるが、帯域分割周波数や雑音化する帯域数が変更できるようにしている。このために、各帯域濾波器1a、1b、1c、1dの出力信号と、それぞれに対応する各乗算器3a、3b、3c、3dの出力信号の何れかを選択するスイッチSWa、SWB、SWc、SWdを各帯域に対応して設け、各スイッチSWa、SWB、SWc、SWdの出力信号を加算部6において加算するようにしている。各スイッチSWa、SWB、SWc、SWdにより、任意の帯域を外国語音声成分にするか、劣化雑音成分にするかを選択できる。すなわち、スイッチSWa、SWB、SWc、SWdにより、劣化雑音成分を適用する帯域数を選択、変更できる。このために、帯域設定手段22にスイッチ情報を格納するスイッチ情報レジスタを設けておき、当該レジスタ内のスイッチ情報により各SWa、SWB、SWc、SWdの信号選択を切り替える。本劣化雑音音声生成部21の場合、スイッチ情報レジスタは4ビット、スイッチ情報は4ビットの情報でよい。また、各帯域濾波器1aと4a、1bと4b、1cと4c、1dと4dの各帯域分割周波数、すなわち、境界周波数を変更可能とする。帯域設定手段22に帯域分割周波数情報用の帯域分割周波数レジスタを設けておき、当該レジスタに設定される帯域分割周波数情報を各帯域濾波器に供給し、各帯域濾波器の帯域分割周波数を変更する。帯域濾波器1aと4a、1bと4b、1cと4c、1dと4dのように4組の場合、帯域分割周波数は3つの周波数であるので、最低3つの帯域分割周波数情報を設定、変更すればよい。スイッチ情報と帯域分割周波数情報の詳細の例については、後述する。
【0035】
制御部30は、回答評価制御手段31、正解記憶手段32、音源選択手段33、帯域選択手段34、表示制御手段36、および、入力解析手段35を具備する。正解記憶手段32には、音源信号部20に記憶している各課題に対する正解情報として正解文字情報が記憶されている。正解1は初級者用の音源1の各課題に対応する正解文字情報であり、正解2は中級者用の音源2の各課題に対応する正解文字情報であり、正解3は上級者用の音源3の各課題に対応する正解文字情報である。各正解文字情報は、音源1、音源2、音源3と同様、難易度識別子Di=1〜3と課題番号Qi=1〜10により個別に選択可能となっている。受付部15は、学習者が回答を入力する手段であり、学習者が入力する回答結果を受け付ける。受付部15は、テンキーやキーボード等で構成されうる。入力解析手段35は、受付部15からの入力情報を解析し、文字列情報や数字情報に変換する手段であり、テンキーやキーボード等の入力用のデバイス・ドライバ等で実現され得る。表示部14は、液晶表示などの表示手段であり、表示用のデバイス・ドライバなどによる表示制御手段36からの出力情報を表示する。また、入力解析手段35からは、入力された文字列情報や数字情報が表示制御手段36に供給され、当該文字列や数字が、表示部14に表示される。回答評価制御手段31は、後述する手順にしたがって、難易度識別子Di=1〜3と課題番号Qj=1〜10の何れかを音源選択手段33に供給し、かつ、帯域分割周波数情報とスイッチ情報を帯域選択手段34に供給する。帯域選択手段34は、帯域分割周波数情報とスイッチ情報を、図6に示した帯域設定手段22に供給する。音源選択手段33は、回答評価制御手段31から供給された難易度識別子Diと課題番号Qjに従って、音源信号部20内の課題を読み出して劣化雑音音声生成部21に供給するとともに、正解記憶手段32から、上記読み出した課題に対応する正解文字情報を読み出して回答評価制御手段31に供給する。回答評価制御手段31は、正解記憶手段32から供給される正解文字情報と、入力解析手段35から供給される回答の文字列情報や数字情報とを比較し、後述する手順により、同じ難易度における次の課題の選択や、別の難易度における課題の選択を行い、該当する難易度識別子Di=1〜3と課題番号Qj=1〜10の何れかを音源選択手段33に供給する。また、回答評価制御手段31は、正解文字情報を表示制御手段36に供給し、表示部14に正解の文字列を表示する。回答評価制御手段31は、正解記憶手段32、音源選択手段33、帯域選択手段34、表示制御手段36、および、入力解析手段35の各動作の制御を行う。
【0036】
図7は、本実施の形態における外国語学習装置の動作の手順を示すフローチャートである。図7は、音声信号の聞き取りの難易度を変更する場合のフローチャートである。外国語学習装置の電源がONになると、回答評価制御手段31は、最初に、帯域選択手段34が予め記憶している帯域分割周波数情報とスイッチ情報を帯域設定手段22に供給し、劣化音声化する周波数帯域の帯域分割周波数の設定と、雑音化する帯域数の設定を行わせる。次に、回答評価制御手段31は、(ステップS30)の音源選択手順において、初級者用の音源1の難易度識別子Di=1と課題番号Qj=1を音源選択手段33に供給する。音源選択手段33は、難易度識別子Di=1と課題番号Qj=1を音源信号部20に渡し、音源信号部20において音源1を選択させ、音源1の音声信号を劣化雑音音声生成部21に供給させる。また、音源選択手段33は、難易度識別子Di=1と課題番号Qj=1を正解記憶手段32に渡し、正解記憶手段32に正解1を選択させ、正解1を回答評価制御手段31に出力させる。
【0037】
次に(ステップS100)に進み、図4において説明した劣化雑音音声作成手順を実行する。次に(ステップS31)に進み、劣化雑音音声提示手順を実行する。本手順は、図6の劣化雑音音声生成部21により生成した劣化雑音音声信号をヘッドフォン13により学習者に聞かせる手順である。出力端子8よりヘッドフォン13に劣化雑音音声信号を供給する際には、劣化雑音音声信号のデジタルサンプル情報を、図示しないデジタルアナログ変換器と電力増幅器によりアナログ信号に変換して供給することは言うまでもない。
【0038】
次に(ステップS32)に進み、回答手順において、学習者は課題を聞き、回答案を受付部15に入力する。受付部15は、回答結果を受け付ける。学習者の回答結果である回答案情報は、入力解析手段35において、単語や文章の文字列情報に変換され、回答評価制御手段31に供給される。
【0039】
次に(ステップS33)の回答評価手順に進み、制御部30の回答評価制御手段31は、上記(ステップS30)において受け取っていた難易度識別子Di=1と課題番号Qj=1の課題に対する正解の文字列情報と回答案の文字列情報とを比較し、一致している場合、正解と判定し、不一致の場合、不正解と判定する。回答評価制御手段31は、内部に具備する正解数記憶手段に正解数または不正解数を記録する。
【0040】
次に(ステップS34)の正解提示手順に進み、回答評価制御手段31は、正解の文字列情報を表示制御手段36に供給し、表示制御手段36は、表示部14に正解の文字列を表示させる。学習者は、自身の回答案と正解とを比較して、誤ったところを確認して学習する。
【0041】
次に(ステップS35)に進み、回答評価制御手段31は、記憶している課題番号Qj=1について、課題番号QjがQj=10かどうか判定する。Qj=10でない場合、難易度Ni=1の課題については、まだ全問終了していないので、Noである。回答評価制御手段31は、Qjに1を加えた新たなQjを記憶し、(ステップS30)に戻る。
【0042】
(ステップS30)において、回答評価制御手段31は、難易度識別子Di=1と課題番号Qj=2を音源選択手段33に供給する。(ステップS30)から(ステップS34)の手順により、難易度識別子Di=1と課題番号Qj=2の音声信号の課題を使用した学習が行える。制御部30は、Qj=10になるまで、(ステップS30)から(ステップS35)の手順を繰り返す。この一連の手順において、回答評価制御手段31は、(ステップS33)においては、内部に具備する正解数記憶手段に正解数または不正解数を累積記録する。
【0043】
(ステップS35)において、回答評価制御手段31は、記憶している難易度識別子Di=1と課題番号Qjについて、課題番号QjがQj=10かどうか判定する。Qj=10の場合、難易度Ni=1の課題については、全問終了であるので、Yesであり、(ステップS36)に進む。(ステップS36)の正答率評価手順において、回答評価制御手段31は、正解数記憶手段に記憶している正解数と不正解数を調べ、正解数と不正解数の和に対する正解数の比、すなわち、正答率CI(%)を算出する。
【0044】
次に(ステップS37)の正答率提示手順に進み、回答評価制御手段31は、算出した正答率情報を表示制御手段36に渡し、表示部14に、正答率CIの数値を%表示させる。次に(ステップS38)の正答率対応音源探索手順に進み、回答評価制御手段31は、正答率CIが所定の閾値、たとえば、75%以上かどうかを判定し、上記閾値以上の場合、難易度識別子D1に1を加算しDi=2とし、課題番号をQi=1として、音源選択手段33に供給する。音源選択手段33は、難易度識別子Di=2と課題番号をQi=1に対応する課題の音源と正解の情報が音源信号部20と正解記憶手段32にあるかどうかを調べる。見つかれば、音源選択手段33は、回答評価制御手段31に正解記憶手段32内の難易度識別子Di=2と課題番号をQi=1に対応する正解文字情報を渡す。
【0045】
回答評価制御手段31は、(ステップS39)に進み、新難易度の課題の有無を判定する。回答評価制御手段31は、難易度識別子Di=2と課題番号をQi=1に対応する正解文字情報を受け取ったことにより、新難易度の課題の有と判定し、Yesとなり、(ステップS30)に戻る。
【0046】
(ステップS30)から(ステップS35)において、難易度識別子Di=2、課題番号をQi=1から10の課題について、劣化雑音音声信号がヘッドフォン13を介して学習者に供給され、中級者用の音源2を教材として外国語の学習が行われる。(ステップS35)において、Qi=10になると、難易度識別子Di=2の課題が終了し、(ステップS36)から(ステップS39)に進み、難易度識別子Di=2の課題10問に対する正答率CIの判定が行われ、正答率CIが所定の閾値以上であれば、更に難易度が高い上級者向けの難易度識別子Di=3の教材である音源3の課題10問が学習者に提示される。
【0047】
上級者向けの難易度識別子Di=3の教材の課題10問の学習が終わり、正答率CIが所定の閾値以上の場合、回答評価制御手段31は、正解記憶手段32から、もはや正解文字情報の供給がないので、(ステップS39)において、回答評価制御手段31は、学習終了の文字情報を生成して、表示制御手段36に供給し、表示制御手段36は、表示部14に学習終了の文字を表示させる。
以上のように、図7のフローチャートの手順によれば、学習者の回答結果の正答率CIが閾値より高い場合、課題の難易度を変更し、高い難易度の課題を提示するので、高い学習効果が得られる。
【0048】
また、次のようにしてもよい。回答評価制御手段31内部に正答率記憶手段を設けておき、算出した正答率を正答率記憶手段に閾値として記憶しておく。回答評価制御手段31は、今回の例題に対する正解率CIを算出すると、次に、今回の当該正答率CIと上記正答率記憶手段に記憶している閾値、すなわち前回の正答率とを比較する。今回の正答率CIが閾値より大きい場合、回答評価制御手段31は、正答率が上昇したと判定し、難易度識別子Diを増加させて、音源選択手段33に、次の例題を選択させるようにしてもよい。このようにすれば、学習者の回答結果の正答率CIの上昇に従って、課題の難易度を変更し、高い難易度の課題を提示するので、高い学習効果が得られる。
【0049】
なお、同じ難易度の音源の音声信号と当該音声信号に対応する正解情報を各難易度についてそれぞれ複数組記憶しておき、正答率CIが所定の閾値に達しない場合は、(ステップS38)において、難易度が同じである他の課題を選択して提示するようにしてもよい。正答率CIが別の所定の閾値よりも小さい場合は、難易度が低い課題を選択するようにしてもよい。
【0050】
また、上記フローチャートでは、難易度が最も低い課題から課題提示を始めるようにしたが、学習者が難易度を選択するようにしてもよい。このためには、スタート直後に、回答評価制御手段31が、「1.初級」、「2.中級」、「3.上級」、「数字を選択してください」などの文字情報を表示制御手段36に供給して、表示部14に表示させ、学習者に選択を促す。学習者が選択した数字を受付部15に入力すると、入力解析手段35は、数字情報を回答評価制御手段31に渡す。回答評価制御手段31は、受け取った数字情報を難易度識別子Diとして適用し、課題番号Qj=1と共に音源選択手段33に供給して、任意の難易度の音声信号の課題を選択するようにすればよい。
【0051】
上記説明では、正解1、正解2、正解3の各正解文字情報を、制御部30内に設けた正解記憶手段32に記憶したが、正解1、正解2、正解3の各正解文字情報を、音源1、音源2、音源3とそれぞれ対にして、音源信号部20の内部に記憶してもよい。この場合は、音源選択手段33が、音源1、音源2、音源3の何れかを選択すると、対になっている正解文字情報を、音源選択手段33が取り出して、回答評価制御手段31に渡すようにすればよい。
【0052】
音源1、音源2、音源3は、聞き取りの難易度を変化させるために、各音源を構成する文章、単語、熟語などの言葉が互いに異なるような音声信号とする。あるいは、音源1、音源2、音源3は、話し言葉の速さが互いに異なる音声信号とする。また、音源1、音源2、音源3は、ピッチ周波数の異なる音声信号とする。また、音源1、音源2、音源3は、男性、女性、子供などの声による音声信号としてもよい。
【0053】
また、音源信号部20の内部に、音声信号の速度変換手段、または、ピッチ周波数変換手段を具備させ、音源1、音源2、音源3による音声信号を速度変換手段により発声速度を変化させるか、または、ピッチ周波数変換手段によりピッチ周波数変化させ、劣化雑音音声生成部21に供給してもよい。この場合は、音源信号部20の内部に記憶している音源1、音源2、音源3による音声信号は、音源信号部20が劣化雑音音声生成部21に供給する音声信号の元になるデジタルサンプルの形式のデータである。この場合は、制御部30の音源選択手段33は、音源信号部20内部の速度変換手段、または、ピッチ周波数変換手段に対して、学習者の回答結果に従って、速度指示情報、または、ピッチ周波数指示情報を供給すればよい。速度変換手段やピッチ周波数変換手段の具体例としては、音声信号のデジタルサンプルデータの読み出し速度を変化させる手順、高速読み出しによりデジタルサンプルデータが不足になる場合に読み出したデジタルサンプルデータを繰り返して挿入する手順、また、低速読み出しにより音声信号のデジタルサンプルデータが余る場合にデータを間引く手順、などの処理を組み合わせることによる周知の手段を適用できる。
【0054】
また、既に上記説明で触れたが、音源信号部20の内部に記憶している音源1、音源2、音源3による音声信号として、文章を構成する主語、述語、目的語、副詞、助詞など、および、各種の単語などの文章の構成要素を音声信号の形式で記憶しておき、構成要素を選択し、つなげて1つの文章を構成するようにした、音声信号の生成方式、すなわち、編集による音声合成方式を適用する場合は、次のようにすればよい。すなわち、回答評価制御手段31は、受け取った数字情報を難易度識別子Diとして適用し、課題番号Qjと共に音源選択手段33に供給する。音源選択手段33は、難易度識別子Diと課題番号Qjを音源信号部20に渡す。音源信号部20は、難易度識別子Diと課題番号Qjに従って、課題の文章を構成する単語を選択して、1つの文章を構成し、音声信号の形式で、劣化雑音音声生成部21に供給する。このためには、音源信号部20の内部に、難易度識別子Diと課題番号Qjと対応する文章の構成要素の識別子群との対応表を設けておく。音源信号部20は、音源選択手段33から得た難易度識別子Diと課題番号Qjを元に、上記対応表を参照して、使用する構成要素の識別子を調べ、その識別子の要素である音声信号を識別子の順に読み出して、一連の文章になった音声信号を生成すればよい。従って、文章の元になる上記文章の要素の音声信号は、音源信号部20が記憶する音声信号であって、劣化雑音音声生成部21に供給する音声信号の元になるデジタルサンプルの形式の音声信号に相当する。なお、それぞれの要素の音声信号1つ1つが、音源選択手段33が供給する音声信号であると看做してもよい。この場合は、音源信号部20は、複数の音声信号を連続した1群として、劣化雑音音声生成部21に供給するとも看做せる。
(実施の形態5)
【0055】
本実施の形態では、学習者の学習の進捗状況に応じて帯域分割周波数や雑音化する帯域数を変更する。本実施の形態の外国語学習装置の構成は、図5および図6において説明した構成と同様であるので、異なる部分を中心に説明する。
【0056】
図6に示した劣化雑音音声生成部21において、帯域濾波器1aと4aの高域遮断周波数をfa(Hz)とする。帯域濾波器1aと4aの低域遮断周波数、および、帯域濾波器1bと4bの高域遮断周波数、すなわち、帯域分割周波数をfab(Hz)とする。帯域濾波器1bと4bの低域遮断周波数、および、帯域濾波器1cと4cの高域遮断周波数、すなわち、帯域分割周波数をfbc(Hz)とする。帯域濾波器1cと4cの低域遮断周波数、および、帯域濾波器1dと4dの高域遮断周波数、すなわち、帯域分割周波数をfcd(Hz)とする。帯域濾波器1dと4dの低域遮断周波数をfd(Hz)とする。1組の帯域分割周波数情報を、{fd、fcd、fbc、fab、fa}で表す。帯域分割周波数情報がM組ある場合、各帯域分割周波数情報の1組を、{fm}={fdm、fcdm、fbcm、fabm、fam}と表す。ここで、m=1〜Mとする。mは、帯域分割周波数情報の組を識別する識別子情報である。
【0057】
また、各スイッチSWa、SWb、SWc、SWdのスイッチ情報をSa、Sb、Sc、Sdとする。スイッチ情報=1の場合、各スイッチSWa、SWb、SWc、SWdにおいて、それぞれ帯域濾波器1a、1b、1c、1dの出力信号を選択し、スイッチ情報=0の場合、それぞれ乗算器3a、3b、3c、3dの出力信号を選択するものとする。1組のスイッチ情報を、{S}={Sd、Sc、Sb、Sa}と表す。なお、Sd=Sc=Sb=Sa=1の場合は、劣化雑音音声生成部21の出力端子8における出力信号は入力端子7の音源信号とほぼ同じで、劣化雑音成分を含まない音源信号に戻る。Sd=Sc=Sb=Sa=0の場合は、劣化雑音音声生成部21の出力端子8における出力信号は、全ての周波数帯域が劣化雑音成分になる。スイッチ情報がN組ある場合、各スイッチ情報の1組を、{Sn}={Sdn、Scn、Sbn、San}と表す。ここで、n=1〜Nとする。nは、スイッチ情報の組を識別する識別子情報である。
【0058】
また、正答率をCI(%)で表し、正答率の閾値を25%、50%、75%とする。正答率CIが、0%≦CI≦25%の場合、m=1、n=1とし、25%<CI≦50%の場合、m=2、n=2とし、50%<CI≦75%の場合、m=3、n=3とし、75%<CI≦100%の場合、m=4、n=4とする。なお、この場合は、M=N=4である。
【0059】
各帯域分割周波数情報のm=1〜Mの組、{fm}={fdm、fcdm、fbcm、fabm、fam}(ただし、m=1〜M)と、スイッチ情報のn=1〜Nの組、{Sn}={Sdn、Scn、Sbn、San}(ただし、n=1〜N)をテーブルとして、帯域選択手段34内の記憶手段に記憶しておく。M=N=4の場合の、本テーブルの例を図9(A)および(B)に示す。
【0060】
また、回答評価制御手段31内の記憶手段に、正答率の閾値25%、50%、75%の閾値情報と、正答率CIが0%≦CI≦25%の場合、m=1、n=1とし、25%<CI≦50%の場合、m=2、n=2とし、50%<CI≦75%の場合、m=3、n=3とし、75%<CI≦100%の場合、m=4、n=4とする対応表とを記憶しておく。本対応表の例を図9(C)に示す。なお、閾値としては上記以外の値でもよい。
【0061】
図8は、本実施の形態における外国語学習装置の動作手順のフローチャートである。なお、{S1}={0、0、0、0}、{S2}={0、1、0、0}、{S3}={0、1、0、1}、{S4}={1、1、1、1}であるものとして、以下の説明を行う。本発明の外国語学習装置の電源がONになると、回答評価制御手段31は、(ステップS40)において、最初に、識別子情報m=1と識別子情報n=1、すなわち、(m、n)=(1、1)を帯域選択手段34に渡す。帯域選択手段34は、記憶手段内の図9(A)のテーブルと図9(B)のテーブルを参照し、m=1の帯域分割周波数情報{f1}とn=1のスイッチ情報{S1}を選択して帯域設定手段22に供給する。帯域設定手段22は、帯域分割周波数情報{f1}とスイッチ情報{S1}に従って、劣化雑音音声生成部21において劣化音声化する周波数帯域の帯域分割周波数の設定と雑音化する帯域数の設定を行う。スイッチ情報{S1}は{0、0、0、0}であるので、音声信号の全体域が劣化雑音成分になる。
【0062】
次に、回答評価制御手段31は、(ステップS30)の音源選択手順において、初級者用の音源1の難易度識別子Di=1と課題番号Qj=1を音源選択手段33に供給する。音源選択手段33は、難易度識別子Di=1と課題番号Qj=1を音源信号部20に渡し、音源信号部20において音源1を選択させ、音源1の音声信号を劣化雑音音声生成部21に供給させる。また、音源選択手段33は、難易度識別子Di=1と課題番号Qj=1を正解記憶手段32に渡し、正解記憶手段32に正解1を選択させ、正解1を回答評価制御手段31に出力させる。
【0063】
次に(ステップS100)に進み、劣化雑音音声生成部21は、帯域分割周波数情報{f1}とスイッチ情報{S1}に従って、音源1の課題番号Qj=1の音声信号から劣化雑音音声信号を生成する。その後の(ステップS31)から(ステップS35)は、実施の形態4において図7と共に説明した手順と同じである。10問の課題の学習が終わると、(ステップS35)においてYesとなり、(ステップS36)に進み、回答評価制御手段31は、正答率CIを算出する。次に(ステップS37)に進み、正答率CIが表示部14に表示される。(ステップS36)、(ステップS37)も、実施の形態4において図7と共に説明した手順と同じである。
【0064】
次に、(ステップS48)の正答率対応帯域探索手順に進む。(ステップS48)において、回答評価制御手段31は、その内部に設けてある記憶手段に記憶している図9(C)の対応表を探索し、正答率CIが該当する欄を調べ、正答率CIの値に対応する識別子情報の組(m、n)を読み出して帯域選択手段34に渡す。図9(C)の対応表を探索し、正答率CIが該当する欄を調べるには、正答率CIと25%、50%、75%の閾値情報とを、回答評価制御手段31内に設けた比較手段により比較し、正答率CIが、どの閾値の範囲になるかを調べればよい。
【0065】
次に(ステップS49)に進み、正答率CIが100%であればYesとなり、学習を終了する。正答率CIが100%未満の場合、Noの判定となり、(ステップS40)に戻る。(ステップS40)に戻ると、回答評価制御手段31から帯域選択手段34に渡されていた(n、m)に基づき、帯域選択手段34は、図9(A)、(B)のテーブルを参照して、{fm}、{Sn}を読み出し、帯域設定手段22に渡す。帯域設定手段22は、{fm}、{Sn}に従い、劣化雑音音声生成部21内の各帯域濾波器の周波数特性と各スイッチの設定を行う。
【0066】
次に(ステップS30)から(ステップS35)の手順を繰り返す。正答率CIが30%であった場合、(m、n)=(2、2)が図9(C)の対応表により選択され、図9(B)のテーブルにより、{S2}={0、1、0、0}に従って、各スイッチが設定される。帯域濾波器1cの帯域の音声信号の部分が帯域雑音成分になる。正答率が向上するに従い、{Sdn、Scn、Sbn、San}において、ビット1が増えるので、音源1の課題番号Qj=1から10の音声信号に対して、音源1の音声信号成分が使用される帯域数が増える。正答率CIが75%を越えると、(m、n)=(4、4)となり、{S4}={1、1、1、1}であるので、全帯域において、音源信号成分が使用され、元の音声信号に戻る。このように、本実施の形態の外国語学習装置では、学習が進んで正答率CIが大きくなると、図9(C)の対応表では、(m、n)の識別子の値が大きくなり、劣化雑音成分と原音声信号成分の分布割合が変化する。
【0067】
{fm}、{Sn}の情報の内容の意義について説明する。学習の初期においては、当該外国語を聞き分けて理解するための神経回路が脳に殆どないと考えられる。この状態では、{Sn}={0、0、0、0}としておき、学習者が通常使用しない部位の脳細胞を活性化させて、新たな神経回路を形成しやすくする。全帯域濾波器の周波数帯域で、劣化雑音音声成分となり、多様な部位の脳細胞が活性化される。なぜなら、帯域数を極端に減らしてトレーニングを始めると、通常使っていた周波数情報が使えないので、脳は周波数情報なしでなんとか音声を知覚・弁別しようとする。このとき、通常使用していないけれど、使えそうなものがあれば、換わりに使う(代償)仕組みが脳内で働き始める。しかし、この作業には、通常使わない脳内の部位を使う必要が生じ、新しい神経ネットワークが創設されるからである。この状態で学習を続けると、外国語の聞き分けが少しではあるが可能になり、正答率CIが25%を越えるようになる。この段階では、全周波数帯域が劣化雑音音声成分ではなく、全帯域濾波器の一部の周波数帯域で、元の音声信号成分を使用する。すなわち、{Sn}の一部のビットを1とする。正答率CIが向上するに従って、{Sn}のビットの1を多くする。この過程で、最初の{Sn}={0、0、0、0}の場合とは異なる部位の脳細胞が活性化されるとともに、当該外国語の聞き分けに必要な脳神経回路の形成とその強化が進む。正答率CIが100%に近づいた段階では、{Sn}={1、1、1、1}として、劣化雑音音声生成部が音声信号とほぼ同じ信号を出力する。すなわち、全帯域濾波器の周波数帯域を元の音声信号成分として、当該外国語の聞き分けに必要な脳神経回路の強化を完成する。劣化雑音音声生成部が音声信号と同じ信号を出力するには、{Sn}={1、1、1、1}として、全帯域信号が、元の音声信号の成分により構成されるようにする。なお、元の音声信号を出力端子8に直接導くスイッチを設けてもよい。元の音声信号とほぼ同じ信号とは、音声信号と全く同じ周波数成分を有する信号、または、大略同じ周波数成分を有する信号を意味する。すなわち、帯域濾波部1において、フィルタの周波数特性や位相特性によって、元の音声信号の周波数成分やその位相が変更されるので、出力端子8における信号の周波数成分やその位相特性は、元の音声信号とは全く同じにならない場合があるが、このような場合もほぼ同じ信号といえる。
【0068】
帯域分割周波数情報{fm}についても、同様の考え方で、様々な帯域周波数分割状態を作って、脳に通常とは異なる音刺激を与えることにより、当該外国語の聞き分けに必要な脳神経回路の形成とその強化を行うことができる。たとえば、最初は、4つの周波数帯域が設定され、正答率CIが向上するに従って、帯域雑音化している周波数帯域の帯域幅を狭めてゆき、帯域雑音化しない周波数帯域の帯域幅を拡大してゆき、正答率CIが十分大きくなると、帯域雑音化している周波数帯域の帯域幅をゼロとすれば、スイッチ情報{Sn}により帯域数を変更するのと同様の効果を実現できる。また、最初に、{f1}={fd1、fcd1、fbc1、fab1、fa1}を{100Hz、100Hz、8000Hz、8000Hz、8000Hz}とすると、帯域濾波器1d、4d、1b、4b、1a、4aの周波数帯域幅は、ほぼ0Hzになり、帯域濾波器1c、4cの周波数帯域幅は、ほぼ100Hzから8000Hzになり、帯域数が1つになる。この帯域の音声信号を雑音帯域信号に変換すると、元の音声信号成分が殆どなく、かつ、抽出される包絡線信号も1つになるので、聞き取りの難易度が高い劣化雑音音声信号になる。{f2}、{f3}、{f4}になるに従って、fcd=600Hz、fbc=1500Hz、fab=2500Hzのような値に近づけるように変更してゆくと、聞き取りの難易度がやや低下して聞き取りやすくなる。さらに、4つの帯域の信号を帯域雑音信号から音声信号成分に戻してゆくと、更に聞き取り易くなってゆく。したがって、帯域分割周波数を変化させることにより、各帯域濾波器の帯域幅を変化させることができると共に、帯域数を変化させることもできる。
【0069】
また、次のようにしてもよい。回答評価制御手段31内部に正答率記憶手段を設けておき、算出した正答率を正答率記憶手段に閾値として記憶しておく。回答評価制御手段31は、今回の例題に対する正解率CIを算出すると、次に、今回の当該正答率CIと上記正答率記憶手段に記憶している閾値、すなわち前回の正答率とを比較する。今回の正答率CIが閾値より大きい場合、回答評価制御手段31は、正答率が上昇したと判定し、m、nの値を増加させ、帯域選択手段34に、(m、n)に対応した帯域分割周波数や帯域数を選択させる。
【0070】
図9(A)のテーブルでは、m=1から4の4種類の帯域分割周波数の組を選択した。mの数を多くして、多数の帯域分割周波数の組から選択するようにしてもよい。また、正答率CIの大きさに正比例または反比例するように、帯域分割周波数の値を連続的に変化させてもよい。各帯域濾波器の帯域分割周波数を正答率CIの関数式の形で変化させてもよい。
【0071】
このように、聞き取りの難易度が高い劣化雑音音声信号を聞いて学習を行っておくと、実施の形態1において説明したと同様に、いきなり通常の音声を聞いたときには弁別できなかった違いを弁別したり、弁別に従ってその外国語本来の正確な発音する機能を獲得したりできる。その結果、外国語の弁別能が上昇し、発声も上手になる。従って、ヒヤリングだけでなく、スピーキングにも効果が期待できる。本実施の形態では、帯域分割周波数や劣化雑音の帯域数を順次変化させるので、外国語学習効果が多角的に行える。
【0072】
帯域分割周波数情報{fm}、スイッチ情報{Sn}の内容や表現形式は上記の例に限られない。正答率CIと(m、n)の対応についても、図9(C)の対応表以外でもよい。たとえば、(m、n)のmとnをランダムに変更して、様々な帯域分割周波数情報{fm}とスイッチ情報{Sn}の組み合わせにより、劣化雑音音声信号を作り学習者に聞かせてもよい。
【0073】
本実施の形態では、(ステップS30)において、初級者用の音源1を使用するように説明したが、中級者用の音源2、上級者用の音源3を使用してもよいことは言うまでもない。使用する音源を学習者に選択させる手順を追加してもよいし、正答率の向上に伴って、使用する音源の難易度を変更する手順を組み合わせてもよい。
【0074】
上記実施の形態4及び実施の形態5における劣化雑音音声生成部21の動作(ステップS100)は、図4に示した(ステップS11)〜(ステップS16)の各手順と同様でよい。なお、図6におけるスイッチSWa、SWb、SWc、SWdが、劣化雑音成分を選択しない場合は、該当する帯域の乗算を省いてもよい。図4のように各処理ステップを順次実行してもよいし、音源信号情報のサンプリング周波数に同期して、それぞれ並列的に実行してもよい。それらの手順は、デジタル信号プロセッサ(DSP)のプログラムの形式で実現できる。各帯域濾波手順は、周知のデジタルフィルタの演算処理プログラムにより実現できる。包絡抽出手順は、帯域濾波した音声データを半波整流処理し、高周波変動を除去する低域濾波処理を行えばよい。また、帯域濾波した音声データを半波整流処理し、その出力波形のデータのピーク値を包絡線データとしてもよい。このようなデジタル波形処理の個々は、デジタル信号プロセッサ(DSP)のプログラムとして周知であるので、詳細の説明は省く。また、デジタル信号プロセッサ(DSP)の処理動作は、MPUと半導体メモリによるコンピュータシステム、および、メモリに記憶したプログラムによっても実現可能である。
【0075】
上記実施の形態4及び実施の形態5における制御部30は、通常、MPUやメモリ等から実現され得る。メモリとしては、半導体メモリやハードディスクメモリなどの記憶媒体が適用できる。記憶媒体は、不揮発性の記憶媒体が好適であるが、揮発性の記憶媒体でもよい。制御部30における各処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。回答手順(ステップS32)、正解提示手順(ステップS34)、正答率提示手順(ステップS37)は、テンキーやキーボード等の入力手段のためのデバイス・ドライバや、表示画面の制御ソフトウェア等で実現され得る。表示部14への表示の出力とは、ディスプレイへの表示、プリンタへの印字、音出力、外部の装置への送信等を含む概念である。また、表示部14は、ディスプレイやスピーカ等の出力デバイスを含むと考えても含まないと考えても良い。音源信号部20と正解記憶手段32には、半導体メモリやハードディスクメモリなどの記憶媒体が適用できる。回答評価制御手段31や帯域選択手段34内の記憶手段についても、半導体メモリやハードディスクメモリなどの記憶媒体が適用できる。また、音源信号部20と正解記憶手段32を、CD−ROM記憶装置により構成し、CD−ROMディスクのような記録媒体に音源信号部20と正解記憶手段32を記録しておき、CD−ROMドライブ装置によりCD−ROMディスクを読み出すようにしてもよい。
(実施の形態6)
【0076】
図1の外国語学習装置では、マイクロフォンからの入力音声信号が、入力端子7を経て帯域濾波部1に印加されるようにしたが、入力の音声信号に音声成分とともに周囲雑音成分が含まれる場合がある。このような場合には、図10のような構成にしてもよい。図10において、マイクロフォンからの入力端子7に印可された入力音声信号は、音声信号抽出部50を経て劣化雑音音声生成部9に印加される。音声信号抽出部50は、周囲雑音などを含む入力音声信号から、音声信号を抽出する機能を有する。このために、例えば、スペクトルサブトラクションのような手法で、入力音声信号中に含まれる音声信号以外の雑音成分を抑圧するような構成とする。
(実施の形態7)
【0077】
図3の外国語学習装置や図5の外国語学習装置において、音源信号部10、20の音声信号が音声成分以外の周囲雑音を含む場合は、図10において説明した音声信号抽出部50を経て劣化雑音音声生成部9、21に印加するようにしてもよい。また、2人の内のひとりが、マイクロフォンから言葉や文章を入力して、もうひとりが、その劣化雑音音声を聞き、元の言葉や文章を言い当てるようなゲーム形式の外国語学習装置やゲーム装置では、周囲の雑音が混入することがあるので、音声信号抽出部50を設けることが好ましい。
(実施の形態8)
【0078】
図11は、音源信号部40に、あらかじめ音声信号を劣化雑音音声に変換した劣化雑音音声信号を音源として記憶しておき、劣化雑音音声信号を出力部16に供給し、ヘッドフォン13により学習者に聞かせる外国語学習装置である。本実施の形態では、図3や図5の劣化雑音音声生成部9、21を具備しなくともよいことになる。制御部30は、図5の実施の形態と同様でよい。
【0079】
また、音源信号部40に、劣化雑音音声信号の音源1、音源2、音源3と、各音源と対になる正解1、正解2、正解3の各正解文字情報を記憶してもよい。各正解文字情報は、各音源を構成する複数の課題に対応して、課題ごとの正解文字情報から構成される。この場合は、制御部30の音源選択手段33が、音源1、音源2、音源3の何れかを選択すると、選択される音源と対になっている正解文字情報を、音源選択手段33が音源信号部40から取り出して、制御部30の回答評価制御手段31に渡すようにすればよい。
【0080】
音源信号部40を、CD−ROM記録媒体とCD−ROMドライブ装置のような記録媒体と記録媒体読み出し装置により構成し、制御部30の音源選択手段33が、記録読み出し装置に指示して、所定の劣化雑音音声信号音源と正解文字情報を読み出し、劣化雑音音声信号を出力部16に出力し、正解文字情報を回答評価制御手段31に渡すようにしてもよい。記録媒体と記録媒体読み出し装置としては、不揮発性の半導体メモリを内蔵したメモリカードのような記憶媒体と記憶媒体の読み出し装置により構成してもよい。CD−ROM記録媒体やメモリカードには、劣化雑音音声信号の音源1、音源2、音源3とそれぞれ対になった正解1、正解2、正解3の各正解文字情報を記録または記憶しておく。実施の形態4、実施の形態5で説明した制御部30の処理手順のプログラムも、CD−ROM記録媒体やメモリカードに記録または記憶しておいてもよい。
(実施の形態9)
【0081】
上記図5の構成を基本として、種々の外国語学習用のゲーム装置を実現することができる。最初に、ゲームのタイトルや難易度選択画面を表示し、遊戯者が難易度を受付部15から選択し、制御部30は、選択された難易度の単語や文章の劣化雑音音声を選択して提示する。正答率の記録や正答数などをゲーム中にも表示部14に表示してゆく。高得点が得られたら表示部14に面白い画面がご褒美として現れ、遊戯者が楽しめるようにする。一定時間内に何問答えられ、何問の正解が出るかを競うようにすることもできる。このようなゲームの場合、外国語学習の初級者向けでもよいし、上級者向けのゲーム装置とすることもできる。対象者によって、提示内容、提示速度、提示画面は、適切なものにすることができる。高得点を獲得しようとする意欲が脳の活性化を更に促す効果も期待できる。
【0082】
遊戯者が、ゲームの難易度の選択を、受付部15を操作して行なってもよい。たとえば、帯域濾波器の数を1〜4個の内から選択する。4個の場合の方が、1個の場合よりも、元の言葉や文章をより正しく判別し易いので、ゲームの難易度レベルの遊戯者が選択できることになる。
(実施の形態10)
次に、実施の形態2において簡単に述べた、外国語に応じて帯域分割周波数を変更する場合の構成について、図12(A)、(B)により更に詳しく説明する。
【0083】
図12(A)において、マイクロフォン63と入力端子7は、音源信号部60を構成する。マイクロフォン63の出力信号は、図示しないアナログ・デジタル変換回路によりデジタル音声信号情報の形式に変換した音声信号として、入力端子7を介して、劣化雑音音声生成部9に供給される。また、デジタル形式の音声信号は、種別取得部63にも供給される。種別取得部63は、周知の言語自動認識手段を内蔵している。言語自動認識手段は、デジタル音声信号情報を分析して、どの外国語かを調べ、該当する外国語に対応した外国語種別情報を生成する機能を有するもので、一般的にはコンピュータシステムによって構成される。外国語種別情報とは、日本語、英語、中国語、フランス語、ドイツ語などに割り振られた外国語識別用の情報である。種別取得部63は、デジタル音声信号情報を受付け、受け付けたデジタル音声信号情報に基づいて外国語種別情報を生成し、外国語種別情報を変更部62に供給する。変更部62は、外国語種別情報に従って、その国の言葉に対応した帯域濾波器数と周波数帯域境界を、帯域濾波部1と4に設定させる。変更部62は、帯域選択部12と同様に実現できるが、帯域濾波器数と周波数帯域境界を設定するパラメータとして、各国の言語に対応したパラメータを予め内蔵しておき、外国語種別情報に従って、パラメータを選択する構成とすればよい。すなわち、変更部62は、帯域分割周波数、または/および、帯域数に関する外国語ごとの対応表を記憶しておき、種別取得部63から供給される外国語種別情報に従って、帯域分割周波数、または/および、帯域数の情報を対応表から読み出し、劣化雑音音声生成部9に供給する。
【0084】
図12(B)は、言語自動認識装置に代えて、キーボードやマウスなどの入力装置により、外国語に適した帯域濾波器数と周波数帯域境界を、劣化雑音音声生成部9の帯域濾波部1と4に設定させる実施例である。種別受付部64は、指導者または学習者が外国語種別情報を入力する入力手段であって、スイッチ、キーボード、マウスなどの入力装置などを適用できる。種別受付部64が受け付けた外国語種別情報は、変更部62に供給される。変更部62は、帯域分割周波数、または/および、帯域数に関する外国語ごとの対応表を記憶しておき、種別取得部63から供給される外国語種別情報に従って、帯域分割周波数、または/および、帯域数の情報を読み出し、劣化雑音音声生成部9に供給する。種別受付部64が受け付けた外国語種別情報は、音源信号部10にも供給される。音源信号部10には、複数の外国語に対応した音源信号が記憶されており、音源信号部10は、供給された外国語種別情報に従って、該当する外国語の音声信号を選択して、劣化雑音音声生成部9に供給する。
このようにすれば、当該外国語に適した帯域濾波器数と周波数帯域境界を劣化雑音音声生成部9に設定させ、適切な劣化雑音音声信号を生成して、出力部16に出力することができる。
【0085】
なお、劣化雑音音声生成部9の代りに、劣化雑音音声生成部21の構成を適用してもよい。この場合は、劣化雑音音声生成部21内に帯域設定手段22が設けられているので、変更部62は、帯域選択手段34と同様の構成とし、内部に、帯域濾波器数と周波数帯域境界を設定するパラメータとして、各国の言語に対応したパラメータを予め内蔵しておき、外国語種別情報に従って、パラメータを選択して、帯域設定手段22に供給する構成とすればよい。すなわち、変更部62は、帯域分割周波数、または/および、帯域数に関する外国語ごとの対応表を記憶しておき、種別取得部63から供給される外国語種別情報に従って、帯域分割周波数、または/および、帯域数の情報を対応表から読み出し、帯域設定手段22に供給する。
【0086】
また、本実施の形態に、図5から図9において説明した、回答結果に従って難易度の変化した音声信号を供給したり、回答結果に従って帯域分割周波数、または/および、帯域数を変更したりする構成を組み合わせてもよいことは言うまでもない。
(その他の実施の形態及び補足)
【0087】
音源信号部10、20に記憶されている音声信号は、音声信号波形のデジタルサンプルデータの形式で記憶されるのが好適であるが、アナログ波形、圧縮データ形式などでもよく、これらの形式に限定されない。出力部16の出力端子8における劣化雑音音声信号の出力形式は、デジタルサンプルデータの形式、アナログ信号波形などが考えられるが、デジタルサンプルデータの形式の場合、アナログ信号波形に変換してヘッドフォン13に供給することは言うまでもない。劣化雑音音声信号は、最終的に音に変換され、学習者が聞くことになる。
【0088】
上記各実施の形態では、劣化雑音音声生成部9、21における帯域濾波部1と4の帯域濾波器の数を、典型例として4個としたが、その数は、4個に限定されるものではなく、4個以下、以上でもよく、その時々に必要に応じた帯域数で実施すればよい。また、帯域分割周波数や雑音化する帯域数を変化させる方法は、図6に示した劣化雑音音声生成部21による方法に限られない。たとえば、帯域濾波器の高域、低域の遮断特性を変化させることにより、劣化雑音成分と元の音声信号成分の比を変化させるような構成にしてもよい。劣化雑音音声生成部21は、劣化雑音音声信号における元の音声信号成分と雑音成分のエネルギー比、エネルギー比の周波数分布などが変化できるものでもよい。スイッチSWaの代りに、乗算器3aと帯域濾波器1aの出力信号に重み付けをして加算する加算器を設け、重み情報を、正答率CIに従って変更すると、元の音声信号成分と雑音成分のエネルギー比を変更できる。スイッチSWb、SWc、SWdについても同様の加算器に置き換え、各加算器の重み情報を変更設定すれば、帯域ごとの元の音声信号成分と雑音成分のエネルギー比を自由に変更できる。
【0089】
上記実施の形態4、5では、例題として課題10問に対して正答率CIを算出したが、課題1問ごとの正答率、すなわち、正解か誤りかを判定し、その結果により次の課題を選択するようにしてもよいことは言うまでもない。
【0090】
また、学習者が、受付部15に当該外国語の文字で入力してもよいし、母国語の文字で入力するようにしてもよい。正解記憶手段32に記憶する正解文字情報は、当該外国語の文字情報、および、または、母国語の文字情報とすればよい。
【0091】
学習者が、回答番号を選択して回答するようにしてもよい。このためには、例題の各課題に対応して、複数個、例えば、5個の回答案の文字情報と回答番号を正解文字情報として正解記憶手段32に記憶しておき、回答評価制御手段31が、表示制御手段36を介して表示部14に表示させ、回答者が、表示を見て、回答番号を選択して受付部15に入力する、あるいは、マウスにより、表示部14上の回答番号の文字を選択して、入力解析手段35に入力するようにすればよい。
【0092】
上記各実施の形態において、劣化雑音音声信号を出力する前に、元の音声信号を出力して、学習者に聞かせるようにしてもよい。劣化雑音音声信号と元の音声信号を交互に出力するようにしてもよい。このためには、音源信号部10、20の出力信号を、劣化雑音音声生成部21を迂回してヘッドフォン13に供給する経路を設けておけばよい。
【0093】
本発明の外国語学習のプログラムは、上記各実施の形態において説明した外国語学習装置の処理手順をコンピュータに動作させるためのプログラムであり、幾つかのプログラムがあり得る。すなわち、外国語の音声信号の少なくとも一部を帯域信号に分けて雑音化した劣化雑音音声信号を出力するステップ、例えば、劣化雑音作成手順、または、第1のステップである(ステップS100)を具備する外国語学習のプログラムである。
【0094】
あるいは、学習者の回答結果を受け付けるステップ、例えば(ステップS32)と、前記回答結果に応じて、外国語の音声信号を構成する言葉、前記音声信号の発声速度、ピッチ周波数の1つを変更して聞き取りの難易度を変更するステップと、前記変更された音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号のうちの一部または全部の帯域信号を雑音化した劣化雑音音声信号を出力するステップ、例えば(ステップS100)と(ステップS31)を具備する外国語学習のプログラムである。
【0095】
あるいは、学習者の回答結果を受け付けるステップ、例えば(ステップS32)と、前記回答結果に応じて、外国語の2以上の音声信号から1つを選択するステップ、例えば(ステップS30)と、前記選択した音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号のうちの一部または全部の帯域信号を雑音化した劣化雑音音声信号を出力するステップ、例えば(ステップS100)と(ステップS31)を具備する外国語学習のプログラムである。
【0096】
あるいは、外国語の音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号のうちの一部または全部の帯域信号を雑音化した劣化雑音音声信号を出力するステップ、例えば(ステップS100)と(ステップS31)と、学習者の回答結果を受け付けるステップ、例えば(ステップS32)と、前記回答結果に応じて、前記劣化雑音音声生成部における帯域分割周波数、または/および、雑音化する帯域数を変更するステップ、例えば(ステップS40)を具備する外国語学習のプログラムである。
【0097】
なお、本発明の外国語学習方法手順のプログラムを記録した記録媒体は、プログラムを記録したROM、RAM、フレキシブルディスク、CD−ROM、DVD、メモリカード、ハードディスクなどの記録媒体をいう。また、電話回線、搬送路などの通信媒体も含む概念である。すなわち、本実施の形態の処理を、ソフトウェアで実現する場合、このソフトウェアをソフトウェアダウンロード等により配布しても良い。
【0098】
また、音源信号部10、20、40が記憶する音声信号または劣化雑音音声信号、および、音源信号部20、40が記憶する音声信号または劣化雑音音声信号、あるいは、更には、例題や課題に対応する正解文字情報を記録した記録媒体は、プログラムを記録したROM、RAM、フレキシブルディスク、CD−ROM、DVD、メモリカード、ハードディスクなどの記録媒体をいう。また、音源信号部10、20、40が記憶する音声信号または劣化雑音音声信号、および、音源信号部20、40が記憶する音声信号または劣化雑音音声信号、あるいは、更には、例題や課題に対応する正解文字情報を、教材などのソフトウェアとしてソフトウェアダウンロード等により配布しても良い。
【0099】
外国語の音声信号またはその劣化雑音音声信号は、複数の課題や複数の例題として纏めて、遠隔地にあるサーバ装置に格納しておき、当該サーバ装置から、通信手段を介して、外国語の音声信号またはその劣化雑音音声信号のデータをダウンロードして、音源信号部10、20、40に一旦記憶してから、上記各実施の形態のように読み出してもよい。また、外国語の音声信号またはその劣化雑音音声信号による課題を1つだけ学習時にダウンロードして使用し、学習が終わると次の課題をダウンロードするようにしてもよい。サーバ装置には、正解情報も格納しておき、例題や課題と共にダウンロードするのが好ましい。この場合は、学習者の回答結果を制御部30から通信手段により、遠隔地にある外国語の音声信号またはその劣化雑音音声信号を格納してあるサーバ装置に送信し、サーバ装置が次の例題を選択するようにしてもよい。音源信号部20を遠隔地にあるサーバ装置内部に設け、劣化雑音音声生成部21、制御部30および、出力部16を、個人情報端末PDA、携帯電話、家庭用のパソコン、家庭電気機器などに搭載し、劣化雑音音声生成部21、制御部30とサーバ装置との間を通信手段により結合するようにしてもよい。音源信号部20と劣化雑音音声生成部21を遠隔地にあるサーバ装置内部に設け、制御部30と出力部16を、個人情報端末PDA、携帯電話、家庭用のパソコン、家庭電気機器などに搭載し、制御部30、出力部16とサーバ装置との間を通信手段により結合するようにしてもよい。音源信号部40を遠隔地にあるサーバ装置内部に設けて、制御部30と出力部16を、個人情報端末PDA、携帯電話、家庭用のパソコン、家庭電気機器などに搭載し、制御部30、出力部16とサーバ装置との間を通信手段により結合するようにしてもよい。
【0100】
また、音源信号部20と劣化雑音音声生成部21、または、音源信号部40と、制御部30とを遠隔地にあるサーバ装置内部に設け、表示部14、受付部15、ヘッドフォン13のような出力部16を、個人情報端末PDA、携帯電話、家庭用のパソコン、家庭電気機器などの端末装置に搭載し、サーバ装置が、劣化雑音音声信号と当該劣化雑音音声信に対応する正解情報を端末装置に、通信回線を介して送信すべく出力するようにしてもよい。正解情報は、端末装置内の表示部14において表示され、受付部15により受け付けた回答結果は、通信回線を介して、サーバ装置の制御部30に送られるようにすればよい。なお、制御部30の入力解析手段35と表示制御手段36は、端末装置に設けてもよい。
なお、上記のようなダウンロード形式を適用する場合、サーバ装置と端末装置には通信回線と結合するための送受信回路を設けることは言うまでもない。
【産業上の利用可能性】
【0101】
本発明にかかる外国語学習装置、外国語学習方法、外国語学習の記録媒体およびプログラムは、外国語学習学校や一般家庭において使用できる。
【図面の簡単な説明】
【0102】
【図1】本発明の一実施形態による外国語学習装置のブロック図
【図2】劣化雑音音声による脳の活動活性化の観測例を示す図
【図3】本発明の一実施形態による別の外国語学習装置のブロック図
【図4】本発明の一実施形態による外国語学習装置の動作を示すフローチャート
【図5】本発明の一実施形態による更に他の外国語学習装置のブロック図
【図6】本発明の一実施形態による劣化雑音音声生成部のブロック図
【図7】本発明の一実施形態による外国語学習装置の動作を示すフローチャート
【図8】本発明の一実施形態による別の外国語学習装置の動作のフローチャート
【図9】本発明の一実施形態によるテーブル、対応表などの図
【図10】本発明の一実施形態による更に別の外国語学習装置のブロック図
【図11】本発明の一実施形態による更に他の外国語学習装置のブロック図
【図12】本発明の一実施形態による更に他の外国語学習装置のブロック図
【符号の説明】
【0103】
1、4 帯域濾波部
2 包絡抽出部
3 乗算部
5 雑音源
6 加算部
7 入力端子
8 出力端子
9 劣化雑音音声生成部
10、20、40 音源信号部
11、30 制御部
12 帯域選択部
13 ヘッドフォン
14 表示部
15 受付部
16 出力部
22 帯域設定手段
31 回答評価制御手段
32 正解記憶手段
33 音源選択手段
34 帯域選択手段
35 入力解析手段
36 表示制御手段
50 音声信号抽出部
60 音源信号部
61 種別取得部
62 変更部
63 マイクロフォン
64 種別受付部

【特許請求の範囲】
【請求項1】
外国語の音声信号の少なくとも一部を帯域信号に分けて雑音化した劣化雑音音声信号を出力する外国語学習装置。
【請求項2】
外国語の音声信号を供給する音源信号部と、
前記音源信号部が供給する前記音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号のうちの一部または全部の帯域信号を雑音化した劣化雑音音声信号を生成する劣化雑音音声生成部と、
前記劣化雑音音声信号を出力する出力部と、を具備する外国語学習装置。
【請求項3】
前記音源信号部は、
外国語の音声信号を複数記憶しており、
前記劣化雑音音声生成部は、
前記音源信号部が供給する前記音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号の一部または全部の帯域信号を雑音化した劣化雑音音声信号を生成し、
学習者の回答結果を受け付ける受付部と、
前記回答結果に応じて、前記音源信号部に記憶されている前記複数の音声信号から1つ以上の音声信号を選択させ、選択された音声信号に対応する劣化雑音音声生成信号を、前記出力部に出力させる制御部と、をさらに具備する請求項2記載の外国語学習装置。
【請求項4】
前記音源信号部は、
外国語の音声信号を1つ以上記憶しており、前記音声信号を構成する言葉、前記音声信号の発声速度、前記音声信号のピッチ周波数のいずれかを変更して、前記劣化雑音音声生成部に供給し、
学習者の回答結果を受け付ける受付部と、
前記回答結果に応じて、前記音源信号部に、前記音声信号を構成する言葉、前記音声信号の発声速度、前記音声信号のピッチ周波数のいずれかを変更させる制御部と、をさらに具備する請求項2記載の外国語学習装置。
【請求項5】
学習者の回答結果を受け付ける受付部と、
前記回答結果に応じて、前記劣化雑音音声生成部が生成する劣化雑音音声信号の帯域分割周波数、または/および前記劣化雑音音声生成部が生成する劣化雑音音声信号の帯域数を変更させる制御部と、をさらに具備する請求項2記載の外国語学習装置。
【請求項6】
前記制御部は、前記音声信号に対応する正解を示す情報である正解情報を記憶している正解記憶手段と、
前記正解情報と前記回答結果を比較し、正答率を算出し、前記正答率を所定の閾値と比較する回答評価制御手段を更に具備し、
前記正答率が前記所定の閾値より大きい場合、前記制御部は、前記劣化雑音音声信号の帯域分割周波数、または/および、雑音化する帯域数を、前記劣化雑音音声生成部に変更させ、前記劣化雑音音声生成部は、前記音源信号部から供給される音声信号とほぼ同じ信号を出力する請求項5記載の外国語学習装置。
【請求項7】
前記劣化雑音音声信号を記憶している音源信号部と、
前記劣化雑音音声信号を出力する出力部と、を具備し、
前記音源信号部が前記出力部に前記劣化雑音音声信号を供給する請求項1記載の外国語学習装置。
【請求項8】
外国語の音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号の一部または全部の帯域信号を雑音化した劣化雑音音声信号であって、複数の劣化雑音音声信号、または、雑音化する周波数帯域、または/および、雑音化する周波数帯域の帯域数が変更された複数の劣化雑音音声信号を記憶している音源信号部と、
学習者の回答結果を受け付ける受付部と、
前記学習者の回答結果に応じて、前記音源信号部から前記劣化雑音音声信号を選択して読み出させる制御部と、
前記音源信号部が読み出した劣化雑音音声信号を出力する出力部と、を具備する請求項1記載の外国語学習装置。
【請求項9】
外国語の種別に関する情報である外国語種別情報を受け付ける種別受付部と、
前記種別受付部が受け付けた外国語種別情報に基づいて、前記劣化雑音音声生成部に、前記劣化雑音音声信号の生成における帯域数、または/および、帯域分割周波数を変更させる変更部と、をさらに具備する請求項2記載の外国語学習装置。
【請求項10】
外国語の音声信号を受付け、種別に関する情報である外国語種別情報を生成する種別取得部と、
前記種別取得部が生成した外国語種別情報に基づいて、前記劣化雑音音声生成部に、前記劣化雑音音声信号の生成における帯域数、または/および、帯域分割周波数を変更させる変更部と、をさらに具備する請求項2記載の外国語学習装置。
【請求項11】
前記音声信号の中から音声成分を抽出する音声信号抽出器をさらに具備し、前記劣化雑音音声信号は、前記音声信号抽出器の出力から作成される請求項2記載の外国語学習装置。
【請求項12】
外国語の音声信号の少なくとも一部を帯域信号に分けて雑音化した劣化雑音音声信号を出力するステップを具備する外国語学習方法。
【請求項13】
外国語の音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号のうちの一部または全部の帯域信号を雑音化した劣化雑音音声信号を出力する第1のステップを具備する外国語学習方法。
【請求項14】
学習者の回答結果を受け付けるステップと、
前記回答結果に応じて、外国語の2以上の音声信号から1つを選択するステップと、を更に具備し、
前記第1のステップにおいて、前記選択された音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号のうちの一部または全部の帯域信号を雑音化した劣化雑音音声信号を出力するステップを具備する請求項13記載の外国語学習方法。
【請求項15】
学習者の回答結果を受け付けるステップと、
前記回答結果に応じて、外国語の音声信号を構成する言葉、前記音声信号の発声速度、ピッチ周波数のいずれかを変更するステップと、を更に具備し、
前記第1のステップにおいて、前記変更された音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号のうちの一部または全部の帯域信号を雑音化した劣化雑音音声信号を出力する請求項13記載の外国語学習方法。
【請求項16】
学習者の回答結果を受け付けるステップと、
前記回答結果に応じて、前記劣化雑音音声信号の生成における帯域分割周波数、または/および雑音化する帯域数を変更させるステップと、を更に具備する請求項13記載の外国語学習方法。
【請求項17】
学習者の回答結果を受け付けるステップと、
前記回答結果と正解情報を比較し、正答率を算出し、前記正答率を所定の閾値と比較するステップと、
前記正答率が所定の閾値より大きい場合、前記劣化雑音音声信号の帯域分割周波数、または/および、雑音化する帯域数を変更し、出力する前記劣化雑音音声信号を前記外国語の音声信号とほぼ同じ信号にするステップと、を更に具備する請求項13記載の外国語学習方法。
【請求項18】
外国語の音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号のうちの一部または全部の帯域信号を雑音化した劣化雑音音声信号を記録した外国語学習用の記録媒体。
【請求項19】
前記記録された劣化雑音音声信号は、前記外国語の音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号のうちの一部または全部の帯域信号を雑音化した劣化雑音音声信号であって、前記音声信号を構成する言葉、前記音声信号の発声速度、ピッチ周波数の何れかが異なるか、または、雑音化する周波数帯域、および、または、雑音化する周波数帯域の帯域数が異なる、複数の劣化雑音音声信号である請求項18記載の外国語学習用の記録媒体。
【請求項20】
コンピュータに、
外国語の音声信号の少なくとも一部を帯域信号に分けて雑音化した劣化雑音音声信号を出力する第1のステップを実行させるための外国語学習のプログラム。
【請求項21】
コンピュータに、
学習者の回答結果を受け付けるステップと、
前記回答結果に応じて、外国語の2以上の音声信号から1つを選択するステップと、を更に実行させ、
前記第1のステップにおいて、
前記選択された音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号のうちの一部または全部の帯域信号を雑音化した劣化雑音音声信号を出力する請求項20記載の外国語学習のプログラム。
【請求項22】
コンピュータに、
学習者の回答結果を受け付けるステップと、
前記回答結果に応じて、外国語の音声信号を構成する言葉、前記音声信号の発声速度、ピッチ周波数のいずれかを変更するステップと、を更に実行させ、
前記第1のステップにおいて、
前記変更された音声信号の少なくとも一部を複数の帯域信号に分けて、当該複数の帯域信号のうちの一部または全部の帯域信号を雑音化した劣化雑音音声信号を出力する請求項20記載の外国語学習のプログラム。
【請求項23】
コンピュータに、
学習者の回答結果を受け付けるステップと、
前記回答結果に応じて、前記劣化雑音音声信号の生成における帯域分割周波数、または/および、雑音化する帯域数を変更するステップと、を更に実行させる請求項20記載の外国語学習のプログラム。


【図1】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図2】
image rotate


【公開番号】特開2007−17572(P2007−17572A)
【公開日】平成19年1月25日(2007.1.25)
【国際特許分類】
【出願番号】特願2005−197209(P2005−197209)
【出願日】平成17年7月6日(2005.7.6)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 平成17年5月1に日 社団法人日本音響学会発行の「日本音響学会誌 61巻 5号」に発表
【出願人】(000115636)リオン株式会社 (128)
【出願人】(502369768)
【Fターム(参考)】