記憶支援システム、記憶支援プログラム、及び記憶支援方法
【課題】日常会話程度の外国語の習得を効果的に支援するシステムを提供する。
【解決手段】音声単位取得部１３は、原音声を所定の区切り条件で以て分割して音声単位を取得する。速度調整部１４及び音声再生部１５は、この音声単位のうち、人間の短期記憶の限度以上の長さを有する音声単位に関し、その再生時間が所定時間内に収まるように再生速度を上げて再生する。学習者は、各音声単位が音声出力部２を通して出力された後に、同じ音声を繰り返して発声する。関連画像表示部１６は、音声単位の再生と同時に、その意味に対応した画像を表示部３上に表示させることで、学習者が概念を理解できるように支援することもできる。
【解決手段】音声単位取得部１３は、原音声を所定の区切り条件で以て分割して音声単位を取得する。速度調整部１４及び音声再生部１５は、この音声単位のうち、人間の短期記憶の限度以上の長さを有する音声単位に関し、その再生時間が所定時間内に収まるように再生速度を上げて再生する。学習者は、各音声単位が音声出力部２を通して出力された後に、同じ音声を繰り返して発声する。関連画像表示部１６は、音声単位の再生と同時に、その意味に対応した画像を表示部３上に表示させることで、学習者が概念を理解できるように支援することもできる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外国語の習得、言語訓練、記憶を伴う各種学習などのための記憶支援システムに関する。また本発明は該システムを実現するためのプログラム、及び記憶支援のための方法に関する。
【背景技術】
【０００２】
グローバル化が進む現代社会において、外国語習得の重要性はますます高まっている。特に、通訳が出来るといった高いレベルのものではなく、例えば挨拶や買い物、簡単な人間関係を構築することができる程度の、いわば日常会話レベルの外国語習得の需要はかなり高い。しかしながら、何年もかけて外国語を勉強しているのにもかかわらず、実際に使える程度にまで至らないケースが少なからず見られる。
【０００３】
この様な現状にあって、初学者がより効果的に外国語を習得できる学習方法の研究が止むことなく行われている。例えば特許文献１には、通常速の外国文と再生速度を上げた外国文とを交互に再生することで学習効果を高める方法が開示されている。しかしながら、特許文献１に記載の方法も含めて、数多くの外国語学習方法が提案されてきているものの、初学者が実際に効率よく外国語を習得できる方法は確立されていない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２４１６４４号公報
【非特許文献】
【０００５】
【非特許文献１】都築正喜、「小学校英語教育とプロソディ理論」、日本英語音声学会九州沖縄四国支部第４回研究大会、２００３年１２月６日
【非特許文献２】玉井健、「リスニング力向上におけるシャドーイングの効果について」、日本通訳学会第３会年次大会講演集、２００２年９月２３日、ｐ．１７８−１９２
【非特許文献３】望月通子、「シャドーイング法の日本語教育への応用を探る」、関西大学視聴覚教育、第２９号、２００６年、ｐ．３７−５３
【非特許文献４】田中深雪、「シャドーイングをめぐる議論についての私見」、日本通訳学会第３回年次大会シンポジウム講演集、２００２年９月２３日、ｐ．２１１−２１４
【非特許文献５】本條勝彦、「メニー・シャドウイングス・モデル（"Many Shadowings" Model）」、日本通訳学会第８回年次大会講演集、２００７年９月２２日
【非特許文献６】ミラー（Mille G. A.）、「ザ・マジカル・ナンバー・セブン、プラス・オア・マイナス・トゥー：サム・リミッツオンアーワキャパシティフォー・プロセッシング・インフォメイション（The magical number seven, plus or minus two: Some limits on our capacity for processing information）」、サイコロジカル・レビュー（Psychological Review）、６３巻、ｐ．８１−９７
【発明の概要】
【発明が解決しようとする課題】
【０００６】
日常会話程度の外国語を習得するためには、以下の４つの能力を高める必要があると考えられる。
（１）音声そのものを聞き取る能力
（２）聞き取った音声と意味（または概念）とを結びつける能力
（３）音声そのものの発声能力
（４）発声している（または発声しようとする）音声と意味（または概念）とを結びつける能力
【０００７】
ここでいう発声能力とは、単なる単語単位の「発音」能力だけを指すものではなく、日常会話の実際の場面において当該言語のネイティブ話者にとって自然（ナチュラル）と感じられる「発声＝音声」であり、言語学上プロソディ（韻律）と呼ばれる、イントネーション（抑揚）・リズム（律動）・ストレス（強勢）・ピッチ（高低）・トーン（音調）、テンポ、さらには声の大小、発声速度など、様々な音声学的特徴を指す。小学校の英語教育で、このプロソディ的側面を重要視した発声（発音）教育も提案されている（非特許文献１参照）。
【０００８】
上記の能力を効果的に向上させる訓練法として、これまでの研究や実際の教育結果から効果があるとされている主なものには、「シャドーイング」、「パラフレージング」、「リプロダクション」等がある。
【０００９】
「シャドーイング」は、ネイティブ話者等による発音を聞きながら、それにかぶせるようにして訓練者が聞き取った音を発声するという方法である。これはもともとプロの同時通訳者を目指す者を対象とした訓練法であって、シャドーイングを行うことにより、上記４つの能力、特に上記の（１）、（３）の能力を向上させるのに有効であると言われている（非特許文献２、３など参照）。しかしながら、シャドーイングは、ある程度の構文の知識や意味の理解がなければ行うことができないため、初学者や初級者には向かず、適切な効果が得られない場合もよく見受けられる（非特許文献４、５など参照）。
【００１０】
また、シャドーイングは、自分の発声（自分の骨を伝って聞こえてしまう音）を聞きながら、同時に模範となるネイティブ話者の音声（以下「原文」という）を聴かなければならないという点で、認知的負荷の高い作業を課していることになる。その結果として、特に全く未知の言語を成人してから学ぶ初期の段階では、原文の聞き落としや副唱発声自体の品質低下を招いている可能性もあることが、本願発明者らの実験によってわかってきている。
【００１１】
「パラフレージング」は、学習者がある程度の長さの原文を聞いた後、その意味を表す別の構文を発声するものである。しかしながら、これも原文の意味を正確に理解する能力や新たな構文を自力で創り出す能力が要求されるため、やはり初学者には向かないと言える。
【００１２】
「リプロダクション」は、ある程度の長さの原文を聞いた直後に、学習者がそれを真似て発声するという訓練方法である。一般的なリプロダクションでは、原文をセンテンス（ひとかたまりの意味を持つ文）毎に区切ってその音声を一旦停止するため、原文の長さは様々であり、場合によってはかなり長くなる場合もある。しかしながら、本願発明者らが行った実験によれば、原文が時間的に長くなればなるほど、学習者による原文の再現性（正確な副唱発声の品質）が失われる傾向にあり、その質が落ちることが判明した。これは言語音声に対する人間の短期記憶の理論（非特許文献６参照）にも関係する。こうしたことから、従来の行われているリプロダクションも、必ずしも効率的な学習方法であるとは言えない。
【００１３】
本発明は上記のような従来の課題に鑑みてなされたものであり、その目的とするところは、例えば全くの初学者が新たな外国語を習得する際などにおいて効率的な訓練を行うことができる、記憶支援システム、記憶支援プログラム及び記憶支援方法を提供することである。
【課題を解決するための手段】
【００１４】
リプロダクションに関する本願発明者が行った実験によれば、前述したように、原文が時間的に長くなればなるほど、学習者による原文の再現性は失われる傾向にある。一方で、原文の時間的長さがある一定の時間内に収まっている場合には、学習者が原文の意味を全く理解していない場合であっても（特に全く未知の言語を成人してから学ぶ初学者であっても）、原文を聴いた直後にそれを真似て行った発声は、ネイティブ話者にとっても自然な発音に聞こえることが判明した。
【００１５】
さらに、本願発明者は、成人した後に外国語として英語又は英語以外の言語を学び、しかも語学学校や通信教育による学習を行わなかったのにも拘わらずその言語による日常会話を現地の人たちと同程度に使いこなすことができる人たちを対象としたアンケート調査の結果の中で、それぞれの言語の日常会話能力を習得した方法に共通点があることに着目した。それは、その言語に出会った初期の段階でネイティブ話者の発音を短い単位で繰り返し真似て発声していたという点である。また、それを日常生活の中で実際に出会う事物の知覚と共に行っていた点にも注目した。
【００１６】
以上のような研究結果に基づき、本願発明者らは、原文を正確な言語音声の短期記憶が可能な長さに加工した上でリプロダクションを実行させるという、とりわけ初学者にとって効果的な言語の訓練を支援するシステムに想到した。
【００１７】
本発明に係る記憶支援システムは、以上のような知見及び研究によって成されたものであり、原音声に基づいて音声出力部から出力される再生音声に従ってユーザが発声することにより記憶を支援するための記憶支援システムであって、
a)原音声を所定の区切り条件で以て分割した音声単位を順次取得する音声単位取得部と、
b)前記音声単位取得部によって取得された音声単位のうち、通常の再生速度で再生したときに所定の時間長以上となる音声単位に関し、その再生時間が前記所定の時間長内に収まるように再生速度を上げる速度調整部と、
c)前記速度調整部で該当する音声単位の再生速度を調整しつつ、前記音声単位取得部で取得した音声単位を所定の時間間隔で以て音声出力部から再生する音声再生部と、
を備えることを特徴とする。
【００１８】
上記所定の時間長は、正確な言語音声の短期記憶が可能な長さの範囲に設定されることが好ましい。非特許文献６などの過去の研究によれば、一般的な短期記憶の限界は１５〜２０秒程度であると言われているが、これは記憶対象の意味や概念を理解している場合であると考えられ、そうした理解がない場合や欠けている場合には記憶可能な時間はかなり短縮される。本願発明者らのこれまでの実験によれば、特に全く未知の言語を成人してから学ぶ初期の段階では、記憶に留めることが可能であるのは数秒以内にすぎない。そこで、こうした学習においては、上記所定の時間長を例えば３〜５秒程度にしておくのがよい。また、学習の進度に応じて、つまりは原文の意味や概念に対する認識が進んだ段階では、上記所定の時間長を例えば５〜１０秒程度と長くすることが有効である。
【００１９】
さらに、前記速度調整部が再生速度を上げる際には、原音声の音高よりも再生される音高を高くすることが望ましい。これは、音高の調整を特に行わずに再生速度を上げることにより、自然に達成される。
【００２０】
ある音声の再生速度を上げると、これに伴って音高が上がる。この場合、従来一般には再生速度が上がっても音高が原音声の音高とほぼ同じとなるように音声処理をする。しかし、発明者らが行った別の実験によれば、再生速度を上げた際に、音高を下げる処理を行わずに、音高が上がったままの音声の方が自然で聞きとりやすく、学習しやすいと感じる人の方が多いことがわかった。さらに加えて、従来の研究より、ネイティブ話者による外国語を聞く際、話速を変化させながら聞くことにより、滑舌や構音能力が上がるだけでなく、内容の理解までもが向上することがわかっている。再生速度を上げた時に音高を上げる（音高を下げる処理を行わない）ことにより、以上のような優れた効果がもたらされる。
【００２１】
先に述べたように、日常会話程度の外国語を短期間で習得するためには、学習者が聞き取る原音声及び学習者が発声する音声と、その意味又は概念とを結びつけることが肝要である。
そこで、本発明に係る記憶支援システムは、予め用意された種々の画像を記憶する画像記憶部と、前記音声再生部が再生する各音声単位に関連した画像を前記画像記憶部から読み出し、少なくとも音声単位の再生中にその画像をユーザに対して表示部等を介して表示する関連画像表示部と、を更に備える構成とすることが望ましい。これによって、ユーザは聞き取った音声とその意味とを結びつけることが可能になるとともに、自分が発声する音声とその意味とを結びつけることが可能になる。
【００２２】
また、本願発明者らの実験によれば、上記のような正確な言語音声の短期記憶が可能な長さに加工した原文を対象に学習者にリプロダクションを実行させた場合、特に、発声の時間長が原文の時間長にほぼ一致した場合に、プロソディの各要素も高品質で再現（複唱）されている（即ち、ネイティブ話者の評価が高い）ことが判明した。このことから、学習者の複唱発声を録音し、その時間長を計測し、原文の音声の時間長との差を自動計時することにより、ネイティブ話者である教師がいなくても、学習者の複唱発声の品質、即ち発声の正確度を自動評価することが可能となる。
【００２３】
即ち、本発明に係る記憶支援システムの好ましい一態様は、
ユーザの発声を入力する音声入力部と、
前記音声出力部から出力された音声単位の長さと、直後に該音声入力部から入力されたユーザの発声長さとの比較を行い、その比較に基づいてユーザの発声を評価して評価結果をユーザに通知する通知部と、
を更に備える構成とするとよい。
【００２４】
また、本発明に係る記憶支援プログラムは上記の記憶支援システムに用いられるプログラムであって、コンピュータを、
a)原音声を所定の区切り条件で以て分割した音声単位を順次取得する音声単位取得部と、
b)前記音声単位取得部によって取得された音声単位のうち、通常の再生速度で再生したときに所定の時間長以上となる音声単位に関し、その再生時間が前記所定の時間長内に収まるように再生速度を上げる速度調整部と、
c)前記速度調整部で該当する音声単位の再生速度を調整しつつ、前記音声単位取得部で取得した音声単位を所定の時間間隔で以て音声出力部から再生する音声再生部と、
して機能させることを特徴とする。
【００２５】
また、本発明に係る記憶支援方法は、
原音声に基づいて音声出力部から出力される再生音声に従ってユーザが発声することによる言語の訓練を支援するための記憶支援方法であって、
a)原音声を所定の区切り条件で以て分割した音声単位を順次取得する音声単位取得ステップと、
b)前記音声単位取得ステップにおいて取得された音声単位のうち、通常の再生速度で再生したときに所定の時間長以上となる音声単位に関し、その再生時間が前記所定の時間長内に収まるように再生速度を上げる速度調整ステップと、
c)前記速度調整ステップで該当する音声単位の再生速度を調整しつつ、前記音声単位取得ステップにおいて取得した音声単位を所定の時間間隔で以て音声出力部から再生する音声再生ステップと、
から成ることを特徴とする。
【発明の効果】
【００２６】
本発明に係る記憶支援システム、記憶支援プログラム及び記憶支援方法によれば、原音声が所定の長さの音声単位に分割される。このとき、ある音声単位が所定の時間長以上の長さであれば、その再生時間がその所定の時間長内に収まるように、その再生速度が調整される。学習者は一つの音声単位が出力された直後にその音声単位の音声を真似て発音するが、どの音声単位も所定の時間内、好ましくは短期記憶が可能な長さであるため、非常に正確に発音を行うことができる。このため、正しく発音が出来たか否かを教師などに判定してもらう必要がなく、一人でも効果性が高い外国語の学習を行うことが可能となる。
【００２７】
なお、本発明に係る記憶支援システム、記憶支援プログラム及び記憶支援方法は、上記のような外国語学習、特に初学者の学習に効果があるのみならず、例えば各種の疾病等により母語の認知能力が低下した人の言語の訓練にも有効である。さらには、より一般的な記憶を伴う学習、例えば各種入試や資格試験のための学習などにも利用することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明に係る記憶支援システムの一実施形態である言語訓練支援システムを模式的に示した図。
【図２】前記実施形態に係る語学訓練支援システムの処理を表すフローチャート。
【図３】音声単位取得部及び速度調整部が実行する処理を模式的に示した説明図。
【図４】関連画像表示部が表示する画像の一例。
【図５】画像作成部が画像を作成する処理を模式的に示した説明図。
【発明を実施するための形態】
【００２９】
本発明に係る記憶支援システムの一実施形態は、原音声に基づいて音声出力部から出力される再生音声を聴いたユーザ（以下、適宜「学習者」と称する）が、それに基づいて発声することで言語の訓練を行うという形態で用いられるものである。
【００３０】
以下、本発明に係る記憶支援システムの一実施形態について、図面を参照しつつ詳細な説明を行う。図１は、本実施形態による言語訓練支援システムを模式的に示した図である。
【００３１】
本実施形態に係る言語訓練支援システム１は、ＣＰＵやメモリ、大容量記憶媒体などを含んで成る一般的なコンピュータ（専用のデバイスを含む）において実現することができる。
記憶媒体の中には、種々の原音声が記憶された原音声記憶部１１及び、種々の画像が記憶された画像記憶部１２が設けられている。また、ＣＰＵ（図示せず）が所定のプログラム（即ち言語訓練支援プログラム）を実行することにより、音声単位取得部１３、速度調整部１４、音声再生部１５、関連画像表示部１６、不一致通知部１７等がソフトウェア的に実現される。
【００３２】
また、言語訓練支援システム１には学習者に対して音声を出力するためのヘッドホンやスピーカ等の音声出力部２、画像を含む各種情報を表示するための例えば液晶モニタである表示部３、学習者の音声を入力するために設けられる音声入力部としてのマイク４が接続される。これらの音声出力部２、表示部３、マイク４は、言語訓練支援システム１自体に一体的に形成、つまり内蔵されていても良いし、外付けされていても良い。
【００３３】
なお、言語訓練支援システム１において音声は、実際にはアナログ信号、デジタル信号（圧縮信号、非圧縮信号）、音波などにその形態を変化させるが、本発明ではいずれも単に音声として取り扱う。
【００３４】
以下、言語訓練支援システム１を用いて日本語を母語とする学習者が英語の訓練を行う場合を想定し、この処理を図２のフローチャートを参照しつつ説明する。また、図３には以下における説明の補足として、音声単位取得部１３及び速度調整部１４が実行する処理を模式的に示す。
【００３５】
まず、学習者が再生ボタン（図示せず）などを押下することにより、学習の開始の指示を入力する。このとき、原音声記憶部１１に含まれている複数の音声のうちから、所望する音声を選択するようにしても良い。この入力を受けると音声単位取得部１３は、指定された又は予め定められた原音声を読み出す（ステップＳ１）。ここでは例として、図３に示すように原音声が、"Yesterday I called you but you were not at home. I just called to say I love you and I mean it from the bottom of my heart. Well, to tell you the truth, I couldn't help but call you."であったとする。
【００３６】
音声単位取得部１３はこの原音声を所定の区切り条件で以て分割し、音声単位を取得する（ステップＳ２）。ここでは例として１秒（1000ms）以上の無音区間が検出された場合に分割を行うものとする。本例の場合、音声単位取得部１３は"…at home"と"I just…"との間に1200msの無音区間、"…my heart"と"Well, …"の間に1500msの無音区間が存在していることを検出する。そこで、原音声をこれら２個所の無音区間で分割し、以下の３つの音声単位<１>〜<３>を取得する。
【００３７】
音声単位<１>：Yesterday I called you but you were not at home.
音声単位<２>：I just called to say I love you and I mean it from the bottom of my heart.
音声単位<３>：Well, to tell you the truth, I couldn't help but call you.
【００３８】
なお、各音声単位と音声単位の間に存在していた、区切り条件として検出された無音区間は、ステップＳ２において取得される音声単位には含めないようにする。
【００３９】
次に、速度調整部１４は、音声単位<１>の再生時間が３．５秒、音声単位<２>の再生時間が７．２秒、音声単位<３>の再生時間が４．５秒であることを検出する。本実施例においては、再生時間の限界長さが５秒として予め設定されているものとする。（なお、上述したように、この再生時間の限界長さは短期記憶の可能な秒数の限界長さの範囲内で設定されるのが好ましい。）このうち、音声単位<１>及び<３>の再生時間はいずれも５秒を下回っているが、音声単位<２>の再生時間は７．２秒であって５秒を上回っている。そこで、速度調整部１４は、音声単位<２>の再生時間が、予め設定されている再生時間の限界長さ５秒と同一になるようにその再生速度を上げる（ステップＳ３）。なお、「再生速度を上げる」とは、後述するように音声再生部１５が音声単位を再生する際に、その再生速度が上がるように適宜の音声処理を行うという意味である。
【００４０】
再生速度が上がると音高は自然に高くなるが、本実施例の言語訓練支援システム１では、これに対して特に何の処理も行わず、音高が高くなった状態のままにしておく。
【００４１】
次に音声再生部１５は、上記ステップＳ３において得られた、再生速度の調整が終了した（ただし、音声単位<１>及び<３>は速度調整なし）音声単位のうち、最初の音声単位である音声単位<１>を音声出力部２を介して再生する（ステップＳ４）。
【００４２】
また、ステップＳ４において、関連画像表示部１６は音声再生部１５が再生しようとする音声単位に含まれる概念（意味）を抽出し、画像記憶部１２に保存されている多数の画像の中から、予め定められた画像を選択、又はその概念に最も近い画像を選出して読み出し、その画像を表示部３に表示する。この画像は、少なくとも対応する音声単位が再生されている間、表示部３に表示するのが良い。また、この画像は音声単位の再生が終了した後も、次の音声単位の再生が開始されるまで表示し続けてもよい。
【００４３】
例えば、音声単位<１>に対応して、図４に示すような、「昨日、私の側から電話をあなたの家に電話をしたが、あなたは家にはいなかった」を表す画像が表示されることで、学習者は、"Yesterday I called you but you were not at home."の英文の意味に対応する概念を把握することができる。
【００４４】
このように、関連画像表示部１６が音声単位の意味に関連した画像を表示部３に表示することによって、学習者は原音声を聞き取りながらその概念を視覚的に直ちに把握することができる。従って、学習者は聞き取った音声とその意味とを結びつける処理を行うと同時に、その後で発声する音声とその意味とを結び付ける処理を行うことが可能となり、日常会話程度の外国語を効率よく習得する上で有効な訓練を、自然な仕方で実施することができる。
【００４５】
音声再生部１５は音声単位<１>を再生し終わった後、所定長さの無音時間を設ける（ステップＳ５）。この無音時間、即ち一つの音声単位が再生されてから次の音声単位が再生されるまでの時間間隔は、学習者が音声出力部２を通して音声単位を聴いた後に、各音声単位を真似て発声することができるのに十分な時間であれば良い。これは例えば１０秒のように固定の長さとしてもよいし、速度調整部１４が基準として用いる再生時間の限界長さ（本実施例では５秒）に若干の秒数を加えたものとしてもよい。また、各音声単位の長さに対し、若干の秒数を加えた長さとすることもできる。この場合には各音声単位の再生時間に合わせて時間間隔が変化することになる。
【００４６】
次いで学習者は、上記ステップＳ５において設けられる無音時間が開始された直後に、つまり一つの音声単位を聴いた直後に、聞き取った音声単位を繰り返すようにして発声する。この発声はマイク４を通して不一致通知部１７に送られる（ステップＳ６）。
【００４７】
不一致通知部１７は、直前に音声出力部２から出力された音声単位の長さと、その直後にマイク４から入力された学習者の発声の長さとの比較を行う（ステップＳ７）。両者の長さが常に完全に一致することは期待できないから、比較する上で適宜の誤差を許容することが望ましい。例えば±１秒の誤差を許容する場合、再生時間が３．５秒である音声単位<１>が出力された直後にマイク４から入力された学習者の発声の長さが４．０秒であったとすると、不一致通知部１７は両者の値が誤差の間に収まっていると判定し、何の処理も行わず、次のステップに進む（ステップＳ７のＹｅｓ）。又はここで、表示部３等に何らかの表示（例えば「ＯＫ」と表示する）を行うことで、学習者に対して発声長さが良好であったことを通知することもできる。
【００４８】
一方、再生時間が３．５秒である音声単位<１>が出力された直後にマイク４から入力される学習者の発声の長さが５．５秒であったり、２．０秒であったりした場合、即ち許容誤差の範囲に収まっていない場合（ステップＳ７のＮｏ）には、不一致通知部１７は、音声単位の長さとその直後に入力された学習者の発声長さとが一致していないと判断し、両者の値が不一致である旨を学習者に対して通知する（ステップＳ８）。これは例えば表示部３に「一致しません」との表示を行えば良い。
【００４９】
このように不一致通知部１７が動作することで、学習者は自分が正しく発声を行うことができたか否かを確実に知ることができる。これは上述したとおり、原音声の長さが短期記憶が可能な時間内であって、聞き取った音声を復唱することができさえすれば、通常は正確に発声することが出来ることが知られているという理由に基づく。
【００５０】
本実施形態において、不一致通知部１７は音声の長さのみを比較対象として学習者の発声の正確性を判定するが、音声の波形を比較することでより厳密に発声の正確性を判定するようにしても勿論構わない。
【００５１】
次に、ステップＳ９において再生すべき音声単位が残っているか否かが判断される。本実施例の場合、音声単位<２>及び<３>がまだ残っているので（ステップＳ９のＹｅｓ）、プロセスは前記ステップＳ４に戻る。このステップＳ４において、音声再生部１５は音声単位<２>を、再生速度を上げて、再生時間が５秒となるように再生する。以後は音声単位<１>に関する場合と同様にステップＳ５〜Ｓ９を実行する。ステップＳ９において再生すべき音声単位が残っていると判断されるので、プロセスは前記ステップＳ４に再度戻り、音声単位<３>に関してもステップＳ５〜Ｓ９が実行され、最後にステップＳ９においてＮｏと判断されることにより、一連の処理（学習者にとっては訓練）が終了する。
【００５２】
以上、本発明の一実施形態に係る言語訓練支援システムについて具体的に動作の説明を行った。しかしながら、上述の実施形態はあくまでも例であって、本発明の精神内で様々な追加や変形、改良を行うことができることは言うまでもない。以下に一つの変形例を述べる。
【００５３】
上記の例では、関連画像表示部１６が音声単位に関連した画像を画像記憶部１２から選択して、それを表示部３に表示するようにしていた。この場合には、音声単位に関連する画像を予め準備しておき、それを画像記憶部１２に記憶させておく前準備が必要になる。音声単位がどのような概念を有しているかが予めわかっている場合には良いが、そうでない場合には、様々な概念に対応することができるように、画像記憶部１２に多数の画像を用意しておく必要が生じる。
【００５４】
そこで、画像を構成する基となる複数の画像パーツが記憶された画像パーツ記憶部１８と、音声単位の音声から意味を抽出し、その意味に対応する一又は複数の画像パーツを画像パーツ記憶部１８より選択し、選択した画像パーツを組み合わせることによって画像を作成し、その作成された画像を学習者に表示する画像作成部１９を設けることもできる。音声単位の概念に対応した画像を提示するという意味において画像作成部１９は上述した関連画像表示部１６と同様の働きをするが、両者は共存させても良いし、関連画像表示部１６の代わりに画像作成部１９を設けても良い。これらに合わせて画像記憶部１２と画像パーツ記憶部１８も適宜に設ける。
【００５５】
いま、例として、音声単位<１>："Yesterday I called you but you were not at home."に対応する画像（即ち図４に示したような画像）を、画像作成部１９が画像パーツを用いて作成する場合の処理を図５を参照しつつ説明する。画像作成部１９は、音声単位<１>の音声に対して所定の構文解析を実行することにより、画像パーツ記憶部１８から、「昨日」「私」「電話」「する」「あなた」「家」「いない」のそれぞれに対応する画像パーツを選択する（図５の上段）。次に、構文解析の結果に基づき、これらの７つの画像パーツを適宜に組み合わせることで、画像を作成する（図５の下段）。このようにして作成された画像は、表示部３を介して学習者に表示される。
【００５６】
このように、本発明の一実施形態である言語訓練支援システム１に画像パーツ記憶部１８と画像作成部１９とを更に設けることにより、音声単位の概念を示す画像をより高い自由度で以て作成することができるようになる。
【００５７】
また、上記の実施例では、音声単位取得部１３は原音声を１秒間以上の無音区間という区切り条件で以て分割していたが、この無音区間の長さをさらに短くしてもよい。これにより、学習者にとっては訓練がより容易となる。同時に、一つの音声単位に含まれる概念がより少なくなるから、例えば画像作成部１９が生成する画像の正確性が一層高まる。
【００５８】
更に、上述した実施例では、全ての音声単位の再生速度が速度調整部１４によって調整された（されなかった場合も含む）後に音声再生部１５が音声単位の再生を行っていたが、速度調整部１４及び音声再生部１５の処理は平行して実行してももちろん構わない。同様に、図２のフローチャートに示した処理の順番はあくまでも一例であり、複数の処理が適宜に前後して、又は同時に実行されたとしても構わないことは言うまでもない。
【００５９】
また、本発明の記憶支援システムの付加的な機能として、学習者の指示に応じて、出力される音声単位の再生速度を一律に上げたり又は下げたりし、且つ音高の調整は行わないような速度調整機能を設けることもできる。これにより、学習者は任意に様々な速度で原音声を聴くことが可能となり、聞き取り能力の更なる向上を図ることができる。
【００６０】
本発明に係る記憶支援システムは、原音声がユーザの母語とは異なる外国語の音声である場合、即ち外国語の訓練の支援において有効であるが、このシステムの使用形態は何ら限定されるものではない。例えば、原音声をユーザの母語としてもよい。この場合、例えば認知症、脳梗塞の後遺症などで母語の認知能力が低下した人の訓練用として本発明に係る記憶支援システムを好適に使用することができる。さらにまた本発明は、より一般的な記憶を伴う学習などのシステムに用いることもできる。
【符号の説明】
【００６１】
１…言語訓練支援システム
２…音声出力部
３…表示部
４…マイク
１１…原音声記憶部
１２…画像記憶部
１３…音声単位取得部
１４…速度調節部
１５…音声再生部
１６…関連画像表示部
１７…不一致通知部
１８…画像パーツ記憶部
１９…画像作成部
【技術分野】
【０００１】
本発明は、外国語の習得、言語訓練、記憶を伴う各種学習などのための記憶支援システムに関する。また本発明は該システムを実現するためのプログラム、及び記憶支援のための方法に関する。
【背景技術】
【０００２】
グローバル化が進む現代社会において、外国語習得の重要性はますます高まっている。特に、通訳が出来るといった高いレベルのものではなく、例えば挨拶や買い物、簡単な人間関係を構築することができる程度の、いわば日常会話レベルの外国語習得の需要はかなり高い。しかしながら、何年もかけて外国語を勉強しているのにもかかわらず、実際に使える程度にまで至らないケースが少なからず見られる。
【０００３】
この様な現状にあって、初学者がより効果的に外国語を習得できる学習方法の研究が止むことなく行われている。例えば特許文献１には、通常速の外国文と再生速度を上げた外国文とを交互に再生することで学習効果を高める方法が開示されている。しかしながら、特許文献１に記載の方法も含めて、数多くの外国語学習方法が提案されてきているものの、初学者が実際に効率よく外国語を習得できる方法は確立されていない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２４１６４４号公報
【非特許文献】
【０００５】
【非特許文献１】都築正喜、「小学校英語教育とプロソディ理論」、日本英語音声学会九州沖縄四国支部第４回研究大会、２００３年１２月６日
【非特許文献２】玉井健、「リスニング力向上におけるシャドーイングの効果について」、日本通訳学会第３会年次大会講演集、２００２年９月２３日、ｐ．１７８−１９２
【非特許文献３】望月通子、「シャドーイング法の日本語教育への応用を探る」、関西大学視聴覚教育、第２９号、２００６年、ｐ．３７−５３
【非特許文献４】田中深雪、「シャドーイングをめぐる議論についての私見」、日本通訳学会第３回年次大会シンポジウム講演集、２００２年９月２３日、ｐ．２１１−２１４
【非特許文献５】本條勝彦、「メニー・シャドウイングス・モデル（"Many Shadowings" Model）」、日本通訳学会第８回年次大会講演集、２００７年９月２２日
【非特許文献６】ミラー（Mille G. A.）、「ザ・マジカル・ナンバー・セブン、プラス・オア・マイナス・トゥー：サム・リミッツオンアーワキャパシティフォー・プロセッシング・インフォメイション（The magical number seven, plus or minus two: Some limits on our capacity for processing information）」、サイコロジカル・レビュー（Psychological Review）、６３巻、ｐ．８１−９７
【発明の概要】
【発明が解決しようとする課題】
【０００６】
日常会話程度の外国語を習得するためには、以下の４つの能力を高める必要があると考えられる。
（１）音声そのものを聞き取る能力
（２）聞き取った音声と意味（または概念）とを結びつける能力
（３）音声そのものの発声能力
（４）発声している（または発声しようとする）音声と意味（または概念）とを結びつける能力
【０００７】
ここでいう発声能力とは、単なる単語単位の「発音」能力だけを指すものではなく、日常会話の実際の場面において当該言語のネイティブ話者にとって自然（ナチュラル）と感じられる「発声＝音声」であり、言語学上プロソディ（韻律）と呼ばれる、イントネーション（抑揚）・リズム（律動）・ストレス（強勢）・ピッチ（高低）・トーン（音調）、テンポ、さらには声の大小、発声速度など、様々な音声学的特徴を指す。小学校の英語教育で、このプロソディ的側面を重要視した発声（発音）教育も提案されている（非特許文献１参照）。
【０００８】
上記の能力を効果的に向上させる訓練法として、これまでの研究や実際の教育結果から効果があるとされている主なものには、「シャドーイング」、「パラフレージング」、「リプロダクション」等がある。
【０００９】
「シャドーイング」は、ネイティブ話者等による発音を聞きながら、それにかぶせるようにして訓練者が聞き取った音を発声するという方法である。これはもともとプロの同時通訳者を目指す者を対象とした訓練法であって、シャドーイングを行うことにより、上記４つの能力、特に上記の（１）、（３）の能力を向上させるのに有効であると言われている（非特許文献２、３など参照）。しかしながら、シャドーイングは、ある程度の構文の知識や意味の理解がなければ行うことができないため、初学者や初級者には向かず、適切な効果が得られない場合もよく見受けられる（非特許文献４、５など参照）。
【００１０】
また、シャドーイングは、自分の発声（自分の骨を伝って聞こえてしまう音）を聞きながら、同時に模範となるネイティブ話者の音声（以下「原文」という）を聴かなければならないという点で、認知的負荷の高い作業を課していることになる。その結果として、特に全く未知の言語を成人してから学ぶ初期の段階では、原文の聞き落としや副唱発声自体の品質低下を招いている可能性もあることが、本願発明者らの実験によってわかってきている。
【００１１】
「パラフレージング」は、学習者がある程度の長さの原文を聞いた後、その意味を表す別の構文を発声するものである。しかしながら、これも原文の意味を正確に理解する能力や新たな構文を自力で創り出す能力が要求されるため、やはり初学者には向かないと言える。
【００１２】
「リプロダクション」は、ある程度の長さの原文を聞いた直後に、学習者がそれを真似て発声するという訓練方法である。一般的なリプロダクションでは、原文をセンテンス（ひとかたまりの意味を持つ文）毎に区切ってその音声を一旦停止するため、原文の長さは様々であり、場合によってはかなり長くなる場合もある。しかしながら、本願発明者らが行った実験によれば、原文が時間的に長くなればなるほど、学習者による原文の再現性（正確な副唱発声の品質）が失われる傾向にあり、その質が落ちることが判明した。これは言語音声に対する人間の短期記憶の理論（非特許文献６参照）にも関係する。こうしたことから、従来の行われているリプロダクションも、必ずしも効率的な学習方法であるとは言えない。
【００１３】
本発明は上記のような従来の課題に鑑みてなされたものであり、その目的とするところは、例えば全くの初学者が新たな外国語を習得する際などにおいて効率的な訓練を行うことができる、記憶支援システム、記憶支援プログラム及び記憶支援方法を提供することである。
【課題を解決するための手段】
【００１４】
リプロダクションに関する本願発明者が行った実験によれば、前述したように、原文が時間的に長くなればなるほど、学習者による原文の再現性は失われる傾向にある。一方で、原文の時間的長さがある一定の時間内に収まっている場合には、学習者が原文の意味を全く理解していない場合であっても（特に全く未知の言語を成人してから学ぶ初学者であっても）、原文を聴いた直後にそれを真似て行った発声は、ネイティブ話者にとっても自然な発音に聞こえることが判明した。
【００１５】
さらに、本願発明者は、成人した後に外国語として英語又は英語以外の言語を学び、しかも語学学校や通信教育による学習を行わなかったのにも拘わらずその言語による日常会話を現地の人たちと同程度に使いこなすことができる人たちを対象としたアンケート調査の結果の中で、それぞれの言語の日常会話能力を習得した方法に共通点があることに着目した。それは、その言語に出会った初期の段階でネイティブ話者の発音を短い単位で繰り返し真似て発声していたという点である。また、それを日常生活の中で実際に出会う事物の知覚と共に行っていた点にも注目した。
【００１６】
以上のような研究結果に基づき、本願発明者らは、原文を正確な言語音声の短期記憶が可能な長さに加工した上でリプロダクションを実行させるという、とりわけ初学者にとって効果的な言語の訓練を支援するシステムに想到した。
【００１７】
本発明に係る記憶支援システムは、以上のような知見及び研究によって成されたものであり、原音声に基づいて音声出力部から出力される再生音声に従ってユーザが発声することにより記憶を支援するための記憶支援システムであって、
a)原音声を所定の区切り条件で以て分割した音声単位を順次取得する音声単位取得部と、
b)前記音声単位取得部によって取得された音声単位のうち、通常の再生速度で再生したときに所定の時間長以上となる音声単位に関し、その再生時間が前記所定の時間長内に収まるように再生速度を上げる速度調整部と、
c)前記速度調整部で該当する音声単位の再生速度を調整しつつ、前記音声単位取得部で取得した音声単位を所定の時間間隔で以て音声出力部から再生する音声再生部と、
を備えることを特徴とする。
【００１８】
上記所定の時間長は、正確な言語音声の短期記憶が可能な長さの範囲に設定されることが好ましい。非特許文献６などの過去の研究によれば、一般的な短期記憶の限界は１５〜２０秒程度であると言われているが、これは記憶対象の意味や概念を理解している場合であると考えられ、そうした理解がない場合や欠けている場合には記憶可能な時間はかなり短縮される。本願発明者らのこれまでの実験によれば、特に全く未知の言語を成人してから学ぶ初期の段階では、記憶に留めることが可能であるのは数秒以内にすぎない。そこで、こうした学習においては、上記所定の時間長を例えば３〜５秒程度にしておくのがよい。また、学習の進度に応じて、つまりは原文の意味や概念に対する認識が進んだ段階では、上記所定の時間長を例えば５〜１０秒程度と長くすることが有効である。
【００１９】
さらに、前記速度調整部が再生速度を上げる際には、原音声の音高よりも再生される音高を高くすることが望ましい。これは、音高の調整を特に行わずに再生速度を上げることにより、自然に達成される。
【００２０】
ある音声の再生速度を上げると、これに伴って音高が上がる。この場合、従来一般には再生速度が上がっても音高が原音声の音高とほぼ同じとなるように音声処理をする。しかし、発明者らが行った別の実験によれば、再生速度を上げた際に、音高を下げる処理を行わずに、音高が上がったままの音声の方が自然で聞きとりやすく、学習しやすいと感じる人の方が多いことがわかった。さらに加えて、従来の研究より、ネイティブ話者による外国語を聞く際、話速を変化させながら聞くことにより、滑舌や構音能力が上がるだけでなく、内容の理解までもが向上することがわかっている。再生速度を上げた時に音高を上げる（音高を下げる処理を行わない）ことにより、以上のような優れた効果がもたらされる。
【００２１】
先に述べたように、日常会話程度の外国語を短期間で習得するためには、学習者が聞き取る原音声及び学習者が発声する音声と、その意味又は概念とを結びつけることが肝要である。
そこで、本発明に係る記憶支援システムは、予め用意された種々の画像を記憶する画像記憶部と、前記音声再生部が再生する各音声単位に関連した画像を前記画像記憶部から読み出し、少なくとも音声単位の再生中にその画像をユーザに対して表示部等を介して表示する関連画像表示部と、を更に備える構成とすることが望ましい。これによって、ユーザは聞き取った音声とその意味とを結びつけることが可能になるとともに、自分が発声する音声とその意味とを結びつけることが可能になる。
【００２２】
また、本願発明者らの実験によれば、上記のような正確な言語音声の短期記憶が可能な長さに加工した原文を対象に学習者にリプロダクションを実行させた場合、特に、発声の時間長が原文の時間長にほぼ一致した場合に、プロソディの各要素も高品質で再現（複唱）されている（即ち、ネイティブ話者の評価が高い）ことが判明した。このことから、学習者の複唱発声を録音し、その時間長を計測し、原文の音声の時間長との差を自動計時することにより、ネイティブ話者である教師がいなくても、学習者の複唱発声の品質、即ち発声の正確度を自動評価することが可能となる。
【００２３】
即ち、本発明に係る記憶支援システムの好ましい一態様は、
ユーザの発声を入力する音声入力部と、
前記音声出力部から出力された音声単位の長さと、直後に該音声入力部から入力されたユーザの発声長さとの比較を行い、その比較に基づいてユーザの発声を評価して評価結果をユーザに通知する通知部と、
を更に備える構成とするとよい。
【００２４】
また、本発明に係る記憶支援プログラムは上記の記憶支援システムに用いられるプログラムであって、コンピュータを、
a)原音声を所定の区切り条件で以て分割した音声単位を順次取得する音声単位取得部と、
b)前記音声単位取得部によって取得された音声単位のうち、通常の再生速度で再生したときに所定の時間長以上となる音声単位に関し、その再生時間が前記所定の時間長内に収まるように再生速度を上げる速度調整部と、
c)前記速度調整部で該当する音声単位の再生速度を調整しつつ、前記音声単位取得部で取得した音声単位を所定の時間間隔で以て音声出力部から再生する音声再生部と、
して機能させることを特徴とする。
【００２５】
また、本発明に係る記憶支援方法は、
原音声に基づいて音声出力部から出力される再生音声に従ってユーザが発声することによる言語の訓練を支援するための記憶支援方法であって、
a)原音声を所定の区切り条件で以て分割した音声単位を順次取得する音声単位取得ステップと、
b)前記音声単位取得ステップにおいて取得された音声単位のうち、通常の再生速度で再生したときに所定の時間長以上となる音声単位に関し、その再生時間が前記所定の時間長内に収まるように再生速度を上げる速度調整ステップと、
c)前記速度調整ステップで該当する音声単位の再生速度を調整しつつ、前記音声単位取得ステップにおいて取得した音声単位を所定の時間間隔で以て音声出力部から再生する音声再生ステップと、
から成ることを特徴とする。
【発明の効果】
【００２６】
本発明に係る記憶支援システム、記憶支援プログラム及び記憶支援方法によれば、原音声が所定の長さの音声単位に分割される。このとき、ある音声単位が所定の時間長以上の長さであれば、その再生時間がその所定の時間長内に収まるように、その再生速度が調整される。学習者は一つの音声単位が出力された直後にその音声単位の音声を真似て発音するが、どの音声単位も所定の時間内、好ましくは短期記憶が可能な長さであるため、非常に正確に発音を行うことができる。このため、正しく発音が出来たか否かを教師などに判定してもらう必要がなく、一人でも効果性が高い外国語の学習を行うことが可能となる。
【００２７】
なお、本発明に係る記憶支援システム、記憶支援プログラム及び記憶支援方法は、上記のような外国語学習、特に初学者の学習に効果があるのみならず、例えば各種の疾病等により母語の認知能力が低下した人の言語の訓練にも有効である。さらには、より一般的な記憶を伴う学習、例えば各種入試や資格試験のための学習などにも利用することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明に係る記憶支援システムの一実施形態である言語訓練支援システムを模式的に示した図。
【図２】前記実施形態に係る語学訓練支援システムの処理を表すフローチャート。
【図３】音声単位取得部及び速度調整部が実行する処理を模式的に示した説明図。
【図４】関連画像表示部が表示する画像の一例。
【図５】画像作成部が画像を作成する処理を模式的に示した説明図。
【発明を実施するための形態】
【００２９】
本発明に係る記憶支援システムの一実施形態は、原音声に基づいて音声出力部から出力される再生音声を聴いたユーザ（以下、適宜「学習者」と称する）が、それに基づいて発声することで言語の訓練を行うという形態で用いられるものである。
【００３０】
以下、本発明に係る記憶支援システムの一実施形態について、図面を参照しつつ詳細な説明を行う。図１は、本実施形態による言語訓練支援システムを模式的に示した図である。
【００３１】
本実施形態に係る言語訓練支援システム１は、ＣＰＵやメモリ、大容量記憶媒体などを含んで成る一般的なコンピュータ（専用のデバイスを含む）において実現することができる。
記憶媒体の中には、種々の原音声が記憶された原音声記憶部１１及び、種々の画像が記憶された画像記憶部１２が設けられている。また、ＣＰＵ（図示せず）が所定のプログラム（即ち言語訓練支援プログラム）を実行することにより、音声単位取得部１３、速度調整部１４、音声再生部１５、関連画像表示部１６、不一致通知部１７等がソフトウェア的に実現される。
【００３２】
また、言語訓練支援システム１には学習者に対して音声を出力するためのヘッドホンやスピーカ等の音声出力部２、画像を含む各種情報を表示するための例えば液晶モニタである表示部３、学習者の音声を入力するために設けられる音声入力部としてのマイク４が接続される。これらの音声出力部２、表示部３、マイク４は、言語訓練支援システム１自体に一体的に形成、つまり内蔵されていても良いし、外付けされていても良い。
【００３３】
なお、言語訓練支援システム１において音声は、実際にはアナログ信号、デジタル信号（圧縮信号、非圧縮信号）、音波などにその形態を変化させるが、本発明ではいずれも単に音声として取り扱う。
【００３４】
以下、言語訓練支援システム１を用いて日本語を母語とする学習者が英語の訓練を行う場合を想定し、この処理を図２のフローチャートを参照しつつ説明する。また、図３には以下における説明の補足として、音声単位取得部１３及び速度調整部１４が実行する処理を模式的に示す。
【００３５】
まず、学習者が再生ボタン（図示せず）などを押下することにより、学習の開始の指示を入力する。このとき、原音声記憶部１１に含まれている複数の音声のうちから、所望する音声を選択するようにしても良い。この入力を受けると音声単位取得部１３は、指定された又は予め定められた原音声を読み出す（ステップＳ１）。ここでは例として、図３に示すように原音声が、"Yesterday I called you but you were not at home. I just called to say I love you and I mean it from the bottom of my heart. Well, to tell you the truth, I couldn't help but call you."であったとする。
【００３６】
音声単位取得部１３はこの原音声を所定の区切り条件で以て分割し、音声単位を取得する（ステップＳ２）。ここでは例として１秒（1000ms）以上の無音区間が検出された場合に分割を行うものとする。本例の場合、音声単位取得部１３は"…at home"と"I just…"との間に1200msの無音区間、"…my heart"と"Well, …"の間に1500msの無音区間が存在していることを検出する。そこで、原音声をこれら２個所の無音区間で分割し、以下の３つの音声単位<１>〜<３>を取得する。
【００３７】
音声単位<１>：Yesterday I called you but you were not at home.
音声単位<２>：I just called to say I love you and I mean it from the bottom of my heart.
音声単位<３>：Well, to tell you the truth, I couldn't help but call you.
【００３８】
なお、各音声単位と音声単位の間に存在していた、区切り条件として検出された無音区間は、ステップＳ２において取得される音声単位には含めないようにする。
【００３９】
次に、速度調整部１４は、音声単位<１>の再生時間が３．５秒、音声単位<２>の再生時間が７．２秒、音声単位<３>の再生時間が４．５秒であることを検出する。本実施例においては、再生時間の限界長さが５秒として予め設定されているものとする。（なお、上述したように、この再生時間の限界長さは短期記憶の可能な秒数の限界長さの範囲内で設定されるのが好ましい。）このうち、音声単位<１>及び<３>の再生時間はいずれも５秒を下回っているが、音声単位<２>の再生時間は７．２秒であって５秒を上回っている。そこで、速度調整部１４は、音声単位<２>の再生時間が、予め設定されている再生時間の限界長さ５秒と同一になるようにその再生速度を上げる（ステップＳ３）。なお、「再生速度を上げる」とは、後述するように音声再生部１５が音声単位を再生する際に、その再生速度が上がるように適宜の音声処理を行うという意味である。
【００４０】
再生速度が上がると音高は自然に高くなるが、本実施例の言語訓練支援システム１では、これに対して特に何の処理も行わず、音高が高くなった状態のままにしておく。
【００４１】
次に音声再生部１５は、上記ステップＳ３において得られた、再生速度の調整が終了した（ただし、音声単位<１>及び<３>は速度調整なし）音声単位のうち、最初の音声単位である音声単位<１>を音声出力部２を介して再生する（ステップＳ４）。
【００４２】
また、ステップＳ４において、関連画像表示部１６は音声再生部１５が再生しようとする音声単位に含まれる概念（意味）を抽出し、画像記憶部１２に保存されている多数の画像の中から、予め定められた画像を選択、又はその概念に最も近い画像を選出して読み出し、その画像を表示部３に表示する。この画像は、少なくとも対応する音声単位が再生されている間、表示部３に表示するのが良い。また、この画像は音声単位の再生が終了した後も、次の音声単位の再生が開始されるまで表示し続けてもよい。
【００４３】
例えば、音声単位<１>に対応して、図４に示すような、「昨日、私の側から電話をあなたの家に電話をしたが、あなたは家にはいなかった」を表す画像が表示されることで、学習者は、"Yesterday I called you but you were not at home."の英文の意味に対応する概念を把握することができる。
【００４４】
このように、関連画像表示部１６が音声単位の意味に関連した画像を表示部３に表示することによって、学習者は原音声を聞き取りながらその概念を視覚的に直ちに把握することができる。従って、学習者は聞き取った音声とその意味とを結びつける処理を行うと同時に、その後で発声する音声とその意味とを結び付ける処理を行うことが可能となり、日常会話程度の外国語を効率よく習得する上で有効な訓練を、自然な仕方で実施することができる。
【００４５】
音声再生部１５は音声単位<１>を再生し終わった後、所定長さの無音時間を設ける（ステップＳ５）。この無音時間、即ち一つの音声単位が再生されてから次の音声単位が再生されるまでの時間間隔は、学習者が音声出力部２を通して音声単位を聴いた後に、各音声単位を真似て発声することができるのに十分な時間であれば良い。これは例えば１０秒のように固定の長さとしてもよいし、速度調整部１４が基準として用いる再生時間の限界長さ（本実施例では５秒）に若干の秒数を加えたものとしてもよい。また、各音声単位の長さに対し、若干の秒数を加えた長さとすることもできる。この場合には各音声単位の再生時間に合わせて時間間隔が変化することになる。
【００４６】
次いで学習者は、上記ステップＳ５において設けられる無音時間が開始された直後に、つまり一つの音声単位を聴いた直後に、聞き取った音声単位を繰り返すようにして発声する。この発声はマイク４を通して不一致通知部１７に送られる（ステップＳ６）。
【００４７】
不一致通知部１７は、直前に音声出力部２から出力された音声単位の長さと、その直後にマイク４から入力された学習者の発声の長さとの比較を行う（ステップＳ７）。両者の長さが常に完全に一致することは期待できないから、比較する上で適宜の誤差を許容することが望ましい。例えば±１秒の誤差を許容する場合、再生時間が３．５秒である音声単位<１>が出力された直後にマイク４から入力された学習者の発声の長さが４．０秒であったとすると、不一致通知部１７は両者の値が誤差の間に収まっていると判定し、何の処理も行わず、次のステップに進む（ステップＳ７のＹｅｓ）。又はここで、表示部３等に何らかの表示（例えば「ＯＫ」と表示する）を行うことで、学習者に対して発声長さが良好であったことを通知することもできる。
【００４８】
一方、再生時間が３．５秒である音声単位<１>が出力された直後にマイク４から入力される学習者の発声の長さが５．５秒であったり、２．０秒であったりした場合、即ち許容誤差の範囲に収まっていない場合（ステップＳ７のＮｏ）には、不一致通知部１７は、音声単位の長さとその直後に入力された学習者の発声長さとが一致していないと判断し、両者の値が不一致である旨を学習者に対して通知する（ステップＳ８）。これは例えば表示部３に「一致しません」との表示を行えば良い。
【００４９】
このように不一致通知部１７が動作することで、学習者は自分が正しく発声を行うことができたか否かを確実に知ることができる。これは上述したとおり、原音声の長さが短期記憶が可能な時間内であって、聞き取った音声を復唱することができさえすれば、通常は正確に発声することが出来ることが知られているという理由に基づく。
【００５０】
本実施形態において、不一致通知部１７は音声の長さのみを比較対象として学習者の発声の正確性を判定するが、音声の波形を比較することでより厳密に発声の正確性を判定するようにしても勿論構わない。
【００５１】
次に、ステップＳ９において再生すべき音声単位が残っているか否かが判断される。本実施例の場合、音声単位<２>及び<３>がまだ残っているので（ステップＳ９のＹｅｓ）、プロセスは前記ステップＳ４に戻る。このステップＳ４において、音声再生部１５は音声単位<２>を、再生速度を上げて、再生時間が５秒となるように再生する。以後は音声単位<１>に関する場合と同様にステップＳ５〜Ｓ９を実行する。ステップＳ９において再生すべき音声単位が残っていると判断されるので、プロセスは前記ステップＳ４に再度戻り、音声単位<３>に関してもステップＳ５〜Ｓ９が実行され、最後にステップＳ９においてＮｏと判断されることにより、一連の処理（学習者にとっては訓練）が終了する。
【００５２】
以上、本発明の一実施形態に係る言語訓練支援システムについて具体的に動作の説明を行った。しかしながら、上述の実施形態はあくまでも例であって、本発明の精神内で様々な追加や変形、改良を行うことができることは言うまでもない。以下に一つの変形例を述べる。
【００５３】
上記の例では、関連画像表示部１６が音声単位に関連した画像を画像記憶部１２から選択して、それを表示部３に表示するようにしていた。この場合には、音声単位に関連する画像を予め準備しておき、それを画像記憶部１２に記憶させておく前準備が必要になる。音声単位がどのような概念を有しているかが予めわかっている場合には良いが、そうでない場合には、様々な概念に対応することができるように、画像記憶部１２に多数の画像を用意しておく必要が生じる。
【００５４】
そこで、画像を構成する基となる複数の画像パーツが記憶された画像パーツ記憶部１８と、音声単位の音声から意味を抽出し、その意味に対応する一又は複数の画像パーツを画像パーツ記憶部１８より選択し、選択した画像パーツを組み合わせることによって画像を作成し、その作成された画像を学習者に表示する画像作成部１９を設けることもできる。音声単位の概念に対応した画像を提示するという意味において画像作成部１９は上述した関連画像表示部１６と同様の働きをするが、両者は共存させても良いし、関連画像表示部１６の代わりに画像作成部１９を設けても良い。これらに合わせて画像記憶部１２と画像パーツ記憶部１８も適宜に設ける。
【００５５】
いま、例として、音声単位<１>："Yesterday I called you but you were not at home."に対応する画像（即ち図４に示したような画像）を、画像作成部１９が画像パーツを用いて作成する場合の処理を図５を参照しつつ説明する。画像作成部１９は、音声単位<１>の音声に対して所定の構文解析を実行することにより、画像パーツ記憶部１８から、「昨日」「私」「電話」「する」「あなた」「家」「いない」のそれぞれに対応する画像パーツを選択する（図５の上段）。次に、構文解析の結果に基づき、これらの７つの画像パーツを適宜に組み合わせることで、画像を作成する（図５の下段）。このようにして作成された画像は、表示部３を介して学習者に表示される。
【００５６】
このように、本発明の一実施形態である言語訓練支援システム１に画像パーツ記憶部１８と画像作成部１９とを更に設けることにより、音声単位の概念を示す画像をより高い自由度で以て作成することができるようになる。
【００５７】
また、上記の実施例では、音声単位取得部１３は原音声を１秒間以上の無音区間という区切り条件で以て分割していたが、この無音区間の長さをさらに短くしてもよい。これにより、学習者にとっては訓練がより容易となる。同時に、一つの音声単位に含まれる概念がより少なくなるから、例えば画像作成部１９が生成する画像の正確性が一層高まる。
【００５８】
更に、上述した実施例では、全ての音声単位の再生速度が速度調整部１４によって調整された（されなかった場合も含む）後に音声再生部１５が音声単位の再生を行っていたが、速度調整部１４及び音声再生部１５の処理は平行して実行してももちろん構わない。同様に、図２のフローチャートに示した処理の順番はあくまでも一例であり、複数の処理が適宜に前後して、又は同時に実行されたとしても構わないことは言うまでもない。
【００５９】
また、本発明の記憶支援システムの付加的な機能として、学習者の指示に応じて、出力される音声単位の再生速度を一律に上げたり又は下げたりし、且つ音高の調整は行わないような速度調整機能を設けることもできる。これにより、学習者は任意に様々な速度で原音声を聴くことが可能となり、聞き取り能力の更なる向上を図ることができる。
【００６０】
本発明に係る記憶支援システムは、原音声がユーザの母語とは異なる外国語の音声である場合、即ち外国語の訓練の支援において有効であるが、このシステムの使用形態は何ら限定されるものではない。例えば、原音声をユーザの母語としてもよい。この場合、例えば認知症、脳梗塞の後遺症などで母語の認知能力が低下した人の訓練用として本発明に係る記憶支援システムを好適に使用することができる。さらにまた本発明は、より一般的な記憶を伴う学習などのシステムに用いることもできる。
【符号の説明】
【００６１】
１…言語訓練支援システム
２…音声出力部
３…表示部
４…マイク
１１…原音声記憶部
１２…画像記憶部
１３…音声単位取得部
１４…速度調節部
１５…音声再生部
１６…関連画像表示部
１７…不一致通知部
１８…画像パーツ記憶部
１９…画像作成部
【特許請求の範囲】
【請求項１】
原音声に基づいて音声出力部から出力される再生音声に従ってユーザが発声することにより記憶を支援するための記憶支援システムであって、
a)原音声を所定の区切り条件で以て分割した音声単位を順次取得する音声単位取得部と、
b)前記音声単位取得部によって取得された音声単位のうち、通常の再生速度で再生したときに所定の時間長以上となる音声単位に関し、その再生時間が前記所定の時間長内に収まるように再生速度を上げる速度調整部と、
c)前記速度調整部で該当する音声単位の再生速度を調整しつつ、前記音声単位取得部で取得した音声単位を所定の時間間隔で以て音声出力部から再生する音声再生部と、
を備えることを特徴とする言語訓練支援システム。
【請求項２】
前記所定の時間長が３秒乃至１０秒の範囲に設定されることを特徴とする請求項１に記載の記憶支援システム。
【請求項３】
前記速度調整部は、再生速度を上げる際に原音声の音高よりも音高を高くすることを特徴とする請求項１又は２に記載の記憶支援システム。
【請求項４】
前記音声単位取得部は、所定の長さ以上の無音が続くことを前記区切り条件としたものであることを特徴とする請求項１〜３のいずれかに記載の記憶支援支援システム。
【請求項５】
予め用意された種々の画像を記憶する画像記憶部と、
前記音声再生部が再生する各音声単位に関連した画像を前記画像記憶部から読み出し、少なくとも音声単位の再生中に該画像をユーザに表示する関連画像表示部と、
を更に備えることを特徴とする請求項１〜４のいずれかに記載の記憶支援支援システム。
【請求項６】
画像を構成する基となる複数の画像パーツが記憶された画像パーツ記憶部と、
音声単位の音声から意味を抽出し、該意味に対応する一又は複数の画像パーツを前記画像パーツ記憶部より選択し、選択した画像パーツを組み合わせることによって画像を作成し、該作成された画像をユーザに表示する画像作成部と、
を更に備えることを特徴とする請求項１〜５のいずれかに記載の記憶支援支援システム。
【請求項７】
ユーザの発声を入力する音声入力部と、
前記音声出力部から出力された音声単位の長さと、直後に該音声入力部から入力されたユーザの発声長さとの比較を行い、その比較に基づいてユーザの発声を評価して評価結果をユーザに通知する通知部と、
を更に備えることを特徴とする請求項１〜６のいずれかに記載の記憶支援支援システム。
【請求項８】
原音声に基づいて音声出力部から出力される再生音声に従ってユーザが発声することにより記憶を支援するための記憶支援システムに用いられるプログラムであって、コンピュータを、
a)原音声を所定の区切り条件で以て分割した音声単位を順次取得する音声単位取得部と、
b)前記音声単位取得部によって取得された音声単位のうち、通常の再生速度で再生したときに所定の時間長以上となる音声単位に関し、その再生時間が前記所定の時間長内に収まるように再生速度を上げる速度調整部と、
c)前記速度調整部で該当する音声単位の再生速度を調整しつつ、前記音声単位取得部で取得した音声単位を所定の時間間隔で以て音声出力部から再生する音声再生部と、
して機能させることを特徴とする記憶支援プログラム。
【請求項９】
前記所定の時間長が３秒乃至１０秒の範囲に設定されることを特徴とする請求項８に記載の記憶支援プログラム。
【請求項１０】
前記速度調整部は、再生速度を上げる際に原音声の音高よりも音高を高くすることを特徴とする請求項８又は９に記載の記憶支援プログラム。
【請求項１１】
予め用意された種々の画像を記憶する画像記憶部を更に備えるコンピュータを、更に
前記音声再生部が再生する各音声単位に関連した画像を前記画像記憶部から読み出し、少なくとも音声単位の再生中に該画像をユーザに表示する関連画像表示部として機能させることを特徴とする請求項８〜１０のいずれかに記載の記憶支援プログラム。
【請求項１２】
画像を構成する基となる複数の画像パーツが記憶された画像パーツ記憶部を更に備えるコンピュータを、更に、
音声単位の音声から意味を抽出し、該意味に対応する一又は複数の画像パーツを前記画像パーツ記憶部より選択し、選択した画像パーツを組み合わせることによって画像を作成し、該作成された画像をユーザに表示する画像作成部として機能させることを特徴とする請求項８〜１１のいずれかに記載の記憶支援プログラム。
【請求項１３】
ユーザの発声を入力する音声入力部を更に備えるコンピュータを、更に、
前記音声出力部から出力された音声単位の長さと、直後に該音声入力部から入力されたユーザの発声長さとの比較を行い、その比較に基づいてユーザの発声を評価して評価結果をユーザに通知する通知部として機能させることを特徴とする請求項８〜１２のいずれかに記載の記憶支援プログラム。
【請求項１４】
原音声に基づいて音声出力部から出力される再生音声に従ってユーザが発声することにより記憶を支援するための記憶支援方法であって、
a)原音声を所定の区切り条件で以て分割した音声単位を順次取得する音声単位取得ステップと、
b)前記音声単位取得ステップにおいて取得された音声単位のうち、通常の再生速度で再生したときに所定の時間長以上となる音声単位に関し、その再生時間が前記所定の時間長内に収まるように再生速度を上げる速度調整ステップと、
c)前記速度調整ステップで該当する音声単位の再生速度を調整しつつ、前記音声単位取得ステップにおいて取得した音声単位を所定の時間間隔で以て音声出力部から再生する音声再生ステップと、
から成ることを特徴とする記憶支援方法。
【請求項１５】
前記所定の時間長が３秒乃至１０秒の範囲に設定されることを特徴とする請求項１４に記載の記憶支援方法。
【請求項１６】
前記速度調整ステップにおいて再生速度を上げる際に原音声の音高よりも音高を高くすることを特徴とする請求項１４又は１５に記載の記憶支援方法。
【請求項１】
原音声に基づいて音声出力部から出力される再生音声に従ってユーザが発声することにより記憶を支援するための記憶支援システムであって、
a)原音声を所定の区切り条件で以て分割した音声単位を順次取得する音声単位取得部と、
b)前記音声単位取得部によって取得された音声単位のうち、通常の再生速度で再生したときに所定の時間長以上となる音声単位に関し、その再生時間が前記所定の時間長内に収まるように再生速度を上げる速度調整部と、
c)前記速度調整部で該当する音声単位の再生速度を調整しつつ、前記音声単位取得部で取得した音声単位を所定の時間間隔で以て音声出力部から再生する音声再生部と、
を備えることを特徴とする言語訓練支援システム。
【請求項２】
前記所定の時間長が３秒乃至１０秒の範囲に設定されることを特徴とする請求項１に記載の記憶支援システム。
【請求項３】
前記速度調整部は、再生速度を上げる際に原音声の音高よりも音高を高くすることを特徴とする請求項１又は２に記載の記憶支援システム。
【請求項４】
前記音声単位取得部は、所定の長さ以上の無音が続くことを前記区切り条件としたものであることを特徴とする請求項１〜３のいずれかに記載の記憶支援支援システム。
【請求項５】
予め用意された種々の画像を記憶する画像記憶部と、
前記音声再生部が再生する各音声単位に関連した画像を前記画像記憶部から読み出し、少なくとも音声単位の再生中に該画像をユーザに表示する関連画像表示部と、
を更に備えることを特徴とする請求項１〜４のいずれかに記載の記憶支援支援システム。
【請求項６】
画像を構成する基となる複数の画像パーツが記憶された画像パーツ記憶部と、
音声単位の音声から意味を抽出し、該意味に対応する一又は複数の画像パーツを前記画像パーツ記憶部より選択し、選択した画像パーツを組み合わせることによって画像を作成し、該作成された画像をユーザに表示する画像作成部と、
を更に備えることを特徴とする請求項１〜５のいずれかに記載の記憶支援支援システム。
【請求項７】
ユーザの発声を入力する音声入力部と、
前記音声出力部から出力された音声単位の長さと、直後に該音声入力部から入力されたユーザの発声長さとの比較を行い、その比較に基づいてユーザの発声を評価して評価結果をユーザに通知する通知部と、
を更に備えることを特徴とする請求項１〜６のいずれかに記載の記憶支援支援システム。
【請求項８】
原音声に基づいて音声出力部から出力される再生音声に従ってユーザが発声することにより記憶を支援するための記憶支援システムに用いられるプログラムであって、コンピュータを、
a)原音声を所定の区切り条件で以て分割した音声単位を順次取得する音声単位取得部と、
b)前記音声単位取得部によって取得された音声単位のうち、通常の再生速度で再生したときに所定の時間長以上となる音声単位に関し、その再生時間が前記所定の時間長内に収まるように再生速度を上げる速度調整部と、
c)前記速度調整部で該当する音声単位の再生速度を調整しつつ、前記音声単位取得部で取得した音声単位を所定の時間間隔で以て音声出力部から再生する音声再生部と、
して機能させることを特徴とする記憶支援プログラム。
【請求項９】
前記所定の時間長が３秒乃至１０秒の範囲に設定されることを特徴とする請求項８に記載の記憶支援プログラム。
【請求項１０】
前記速度調整部は、再生速度を上げる際に原音声の音高よりも音高を高くすることを特徴とする請求項８又は９に記載の記憶支援プログラム。
【請求項１１】
予め用意された種々の画像を記憶する画像記憶部を更に備えるコンピュータを、更に
前記音声再生部が再生する各音声単位に関連した画像を前記画像記憶部から読み出し、少なくとも音声単位の再生中に該画像をユーザに表示する関連画像表示部として機能させることを特徴とする請求項８〜１０のいずれかに記載の記憶支援プログラム。
【請求項１２】
画像を構成する基となる複数の画像パーツが記憶された画像パーツ記憶部を更に備えるコンピュータを、更に、
音声単位の音声から意味を抽出し、該意味に対応する一又は複数の画像パーツを前記画像パーツ記憶部より選択し、選択した画像パーツを組み合わせることによって画像を作成し、該作成された画像をユーザに表示する画像作成部として機能させることを特徴とする請求項８〜１１のいずれかに記載の記憶支援プログラム。
【請求項１３】
ユーザの発声を入力する音声入力部を更に備えるコンピュータを、更に、
前記音声出力部から出力された音声単位の長さと、直後に該音声入力部から入力されたユーザの発声長さとの比較を行い、その比較に基づいてユーザの発声を評価して評価結果をユーザに通知する通知部として機能させることを特徴とする請求項８〜１２のいずれかに記載の記憶支援プログラム。
【請求項１４】
原音声に基づいて音声出力部から出力される再生音声に従ってユーザが発声することにより記憶を支援するための記憶支援方法であって、
a)原音声を所定の区切り条件で以て分割した音声単位を順次取得する音声単位取得ステップと、
b)前記音声単位取得ステップにおいて取得された音声単位のうち、通常の再生速度で再生したときに所定の時間長以上となる音声単位に関し、その再生時間が前記所定の時間長内に収まるように再生速度を上げる速度調整ステップと、
c)前記速度調整ステップで該当する音声単位の再生速度を調整しつつ、前記音声単位取得ステップにおいて取得した音声単位を所定の時間間隔で以て音声出力部から再生する音声再生ステップと、
から成ることを特徴とする記憶支援方法。
【請求項１５】
前記所定の時間長が３秒乃至１０秒の範囲に設定されることを特徴とする請求項１４に記載の記憶支援方法。
【請求項１６】
前記速度調整ステップにおいて再生速度を上げる際に原音声の音高よりも音高を高くすることを特徴とする請求項１４又は１５に記載の記憶支援方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−１９１２３５（Ｐ２０１０−１９１２３５Ａ）
【公開日】平成２２年９月２日（２０１０．９．２）
【国際特許分類】
【出願番号】特願２００９−３６１３０（Ｐ２００９−３６１３０）
【出願日】平成２１年２月１９日（２００９．２．１９）
【出願人】（５０１３１９５８６）株式会社ストレートワード (3)
【出願人】（３０４０２５８３９）株式会社パワーシフト (1)
【Ｆターム（参考）】
【公開日】平成２２年９月２日（２０１０．９．２）
【国際特許分類】
【出願日】平成２１年２月１９日（２００９．２．１９）
【出願人】（５０１３１９５８６）株式会社ストレートワード (3)
【出願人】（３０４０２５８３９）株式会社パワーシフト (1)
【Ｆターム（参考）】
[ Back to top ]