音情報処理方式
【課題】母語を外国語に即訳口述したり模範的外国語音声を反復口述する外国語学習システムの録音機能において、学習者が当該外国語の口述を開始する時間と口述時間長に時間制限を設ける音情報処理方式を開発する。
【解決手段】(1)即訳練習を意図した練習システムでは、母語音声を手動で再生し前記再生の後手動で一時停止すると音声録音が自動的に開始し、一時停止していた母語再生を手動で一時停止解除すると音声録音が自動的に一時停止し、母語再生が継続するような機能を有するシステムを構成する。また、全録音時間長は、母語音声における有音時間長と無音時間長に依存して定める。学習する際には、前記音声録音がなされている間に直前に再生された母語音声を即訳して口述を行う。録音時間の累積が所定の全録音時間長を超えたときは、録音停止する。
(2)反復練習を意図した練習システムでは、(1)での母語音声を模範的外国語音声に入れ替えたシステムを構成する。
【解決手段】(1)即訳練習を意図した練習システムでは、母語音声を手動で再生し前記再生の後手動で一時停止すると音声録音が自動的に開始し、一時停止していた母語再生を手動で一時停止解除すると音声録音が自動的に一時停止し、母語再生が継続するような機能を有するシステムを構成する。また、全録音時間長は、母語音声における有音時間長と無音時間長に依存して定める。学習する際には、前記音声録音がなされている間に直前に再生された母語音声を即訳して口述を行う。録音時間の累積が所定の全録音時間長を超えたときは、録音停止する。
(2)反復練習を意図した練習システムでは、(1)での母語音声を模範的外国語音声に入れ替えたシステムを構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、語学学習に資する外国語学習システムの録音機能において、録音時間に関する制限を行う音情報処理方式に関する。以下、説明を簡単にするため、学習対象は日本語を母語とする学習者に対する英語と仮定する。
【背景技術】
【０００２】
英語スピーキング学習では、英語母語者の正しい発音を類似の速度で反復練習することが多い。つまり、反復練習の場合は、教材としての英語音声（教材英語音声）を聴いてそれと似たような発音で反復する。また、逐次通訳練習の場合は、教材としての日本語音声（教材日本語音声）を聴いたあと、ただちに英語口述する。学習者の音声はコンピュータの録音機能を用いて音声録音することにより、学習に役立てることができる。しかし、通常の録音機では録音時間にほとんど制限がないので、長時間かけて口述録音することができる。つまり、従来の録音機を用いると、録音スタンバイ、録音開始、録音一旦停止、録音停止を利用者がすべて手動操作で行っていた。
一方、実際のスピーキングでは、スピーキングを開始するタイミングが遅れないよう意識したり、スピーキングをある程度の時間内に行うよう意識することが少なくない。したがって、音声録音では、前記タイミングや録音可能時間に時間制限を設ける方が実用に資する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明では、上記を解決するため、英語学習システムで学習者が音声録音を行おうとするとき、次に示す時間的制約を付す。すなわち、
課題１：英語の反復練習と通訳練習のいずれの場合も、学習者の音声録音時間長が、教材音声ファイルの有音時間長と無音時間長の一次結合として定まること、
課題２：英語の反復練習と通訳練習のいずれの場合も、教材音声の再生が終了したら、学習者の音声録音が自動的に開始すること、
課題３：英語の反復練習と通訳練習のいずれの場合も、教材音声の再生を手動で一時停止すると学習者音声録音が自動的に開始し、その後教材音声の一時停止状態を手動で解除すると、学習者音声録音が自動的に一時停止すると同時に教材音声の再生が継続すること、
を可能にするような音声機能が必要となる。課題３は、教材音声がいくつかのセンテンスに分かれている場合に対処するために、これを設ける。また、当該音声ファイルの有音時間長と無音時間長を定めるため、課題４を定める。
課題４：教材音声ファイルの再生前に、前記音声ファイルで、有音時間長と無音時間長を求めること
【課題を解決するための手段】
【０００４】
１の課題を解決するには、録音時間長として以下の２とおりがある。
1a.当該教材音声ファイルの有音時間長をｘとし無音時間長をｙとしたとき、a、ｂを定数（ａ＞０、ｂ＞０）として、ａｘ＋ｂｙとして設定する。
1b.前記1aに対応した録音時間長を教材音声とともにデータベースに設定する
上記1aの場合、教材英語音声の反復練習では、未習熟状態に合わせて１より大きいａの値を設定する。ａが１であると、教材音声と同じスピードで口述しなければならないからである。教材日本語音声の通訳練習では、録音時間長さを当該日本語音声ファイルにおける有音時間長と無音時間長に基づいて定めるか、または、当該英語音声ファイルにおける有音時間長と無音時間長に基づいて定める。
一方、上記1bの方法では、前記ｘとｙを一次結合した値を録音時間長として設定できるのみならず、教材の内容に合わせて任意に設定できるという特長がある。
課題２を解決するには、教材再生の終了信号を検出したら、割り込み処理により学習者録音を開始するよう、プログラミングする。
課題３を解決するには、教材再生の一時停止信号を検出したら、割り込み処理により学習者録音を開始し、前記一時停止状態の解除信号を検出したら、割り込み処理により学習者録音を一時停止するよう、プログラミングする。
課題４を解決するには、音声パワーに関する閾値eを外的基準として設け、当該音声ファイルで前記閾値以上となる時間長を累積してｘ（累積有音時間長）とし、前記閾値未満となる時間長を累積してｙ（累積無音時間長）とし、２定数ａ、ｂ（ａ＞０、ｂ＞０）に対して、ａｘ＋ｂｙを録音時間長として設定できるようなプログラムを開発し、音声録音に先だって前記プログラムを稼働する。ａは、累積有音時間長なる変数に対する係数であるので、学習者に教材音声より多少遅めの回答を許す場合は、ａ＞１とし、遅さの度合に応じて、1.2、1.4などと大きくする。ｂは、累積無音時間長であるので、前記遅さに影響させる必要がないと判断する場合は、ｂ＝１とする。
【発明の効果】
【０００５】
本発明は、教材としての音声を含む英語学習システムにおいて、学習者が音声録音を行おうとするとき、
１：英語の反復練習と通訳練習のいずれの場合も、学習者の録音時間長が、教材音声ファイルの有音時間長に依存して限定されるので、学習者にとって、ある程度スピーディに口述しようとする意識が働く、
２：英語の反復練習と通訳練習のいずれの場合も、教材音声の再生が終了すると、学習者の音声録音が自動的に開始するので、学習者にとって、前記教材音声再生終了後ただちに口述しようとする意識が働く、
３：英語の反復練習と通訳練習のいずれの場合も、教材音声の再生を一時停止すると学習者音声録音が自動的に開始し、その後教材音声の一時停止状態を解除して再生を開始すると学習者音声録音が自動的に一時停止するので、学習者にとって、教材音声がいくつかのセンテンスに分かれている場合には、センテンスごとに反復練習や通訳練習を行うことができ、しかも、直前の教材音声再生後ただちに口述しようとする意識が働く、
という特長があるので、高い学習効果を有する。しかも、録音可能時間を教材音声ファイルの有音時間長の定数倍した値に依存して定めているので、学習者の学力に応じた学習環境設定が可能になるという特長を有する。
【図面の簡単な説明】
【０００６】
【図１】(a)は、英語の反復練習において、教材英語音声の再生操作と学習者の音声録音の時系列を示したものである。(b)は、日→英の通訳練習において、日本語の再生操作と学習者の音声録音の時系列を示したものである。
【図２】英語の反復練習において、教材英語音声の再生を開始しその後前記再生を一時停止させたときに学習者の音声録音が自動的に開始するまでのコンピュータ画面の一部を示したものである。(a)は教材英語の再生を開始する直前の図である。(b)は教材英語音声を再生したのちの図である。 (c)は教材英語音声を再生し、前記再生後再生を一時停止させたことにより、学習者音声の録音が自動的に開始したのちの図である。
【図３】図２(c)に引き続き、教材英語音声の一時停止状態を解除して再生状態にしたときから、教材英語音声の再生が終了し、引き続く学習者音声の自動録音も終了した瞬間までのコンピュータ画面の一部を示したものである。(a)は教材英語音声の一時停止操作を解除したことにより、学習者音声の録音が一時停止し、同時に教材英語音声の再生を継続しつつある図である。(b)は教材英語の再生が終了したことにより、一時停止していた学習者音声録音が再開始したのちの図である。 (c)は(b)の学習者音声に設けられた録音可能時間がゼロになった瞬間の図である。
【図４】録音可能時間を学習課題別に設定するための表である。
【図５】通訳練習における初期画面である。
【図６】教材音声ファイルにおける有音時間長と無音時間長の定め方を表したものである。閾値以上の音パワー部分が有音部であり、閾値未満の音パワー部分が無音部である。
【発明を実施するための形態】
【０００７】
以下、図面を用いて本発明を詳細に説明する。
「発明が解決しようとする課題」に記した４つの課題を以下の２つの実施形態に再分類する。いずれの携帯においても、課題４は共通する。
実施形態１：前記課題１、課題２、課題３において、反復練習を行う形態。
実施形態２：前記課題１、課題２、課題３において、通訳練習を行う形態。
実施形態1での課題１に関し、学習者が録音できる時間長（録音可能時間）は、当該教材英語音声の有音時間長ｘと無音時間長ｙに対し、ａｘ＋ｂｙとする（ａ＞０、ｂ＞０）。実施形態２での課題１に関し、学習者が録音できる時間長は、当該の教材英語音声または教材日本語音声の有音時間長ｘと無音時間長ｙに対し、ａｘ＋ｂｙとする（ａ＞０、ｂ＞０）。ａとｂの値は、学習者が事前に設定しておくものとする。
実施形態１に関し、実施手順を図１(a)で説明する。実施形態１は、教材英語音声を再生し、それを学習者が反復し、該音声を録音する形態である。
【０００８】
[s101]は、実施手順を説明するための時間軸である。[s101]の上側は、[s102]に示すとおり教材英語音声の再生に関する説明領域である。[s101]の下側は、[s102]に示すとおり英語音声の録音に関する説明領域である。学習者が教材英語音声の再生ボタンを押すと、前記ボタンが「一時停止」に表示変更されるとともに、[s103]教材英語の再生が開始する。前記開始後、一時停止ボタンを押すと、前記一時停止ボタンが「再生」に表示変更されるとともに、[s104]教材英語音声の再生が一時停止する。前記一時停止と同時に、[s122]学習者音声の録音が自動的に開始する。学習者は再生された英語を反復して録音し、反復が終了したら、教材英語の再生ボタンを押す。前記再生ボタンを押すと、前記再生ボタンが「一時停止」に表示変更され、さらに[s123]学習者音声録音が自動一時停止するとともに、[s105]教材英語の一時停止状態が自動解除となり、英語再生が継続する。
以上の操作を続けて、学習者は教材英語を反復し音声録音を続けていく。教材英語再生が終了したときは、[s124]学習者音声録音が自動的に開始する。[s124]の録音自動開始後、学習者が教材英語の再生の停止ボタンを押すか録音可能時間が超過[s107]したら、[s125]録音を自動停止する。
以上の一連の手順ののちに、学習者音声の再生ボタンを押すと、教材英語を学習者が発した音声を連続して聴取することができる。前記聴取と教材英語音声の再生の比較により、学習者の英語音声と教材の英語音声を比較することができる。
【０００９】
実施形態２に関し、実施手順を図１(b)で説明する。実施形態２は、教材日本語音声を再生し、再生された日本語音声を学習者が英語に即訳し、該音声を録音する形態である。
時間軸と時間軸の上側と下側の意味は、図１(a)と同様である。学習者が教材日本語音声の再生ボタンを押すと、前記ボタンが「一時停止」に表示変更されるとともに、[s131]教材日本語の再生が開始する。前記開始後、一時停止ボタンを押すと、前記一時停止ボタンが「再生」に表示変更されるとともに、[s132]教材日本語音声の再生が一時停止する。前記一時停止と同時に、[s141]学習者音声の録音が自動的に開始する。学習者は、ただちに [s131]から [s132]に至るまでに発せられた日本語を英語に即訳口述し録音する。前記即訳口述が終了したら、教材日本語の再生ボタンを押す。前記ボタン押しによって[s142]録音が自動一時停止するとともに、[s133]教材日本語音声再生の一時停止状態が解除となり、日本語再生が継続する。
【００１０】
以上の一連の操作を続けて、学習者は教材日本語を英語に即訳口述し音声録音を続けていく。教材日本語再生が[s134]終了したときは、[s143]学習者音声録音が自動的に開始する。[s143]の録音自動開始後、学習者が教材日本語の再生の停止ボタンを押すか録音可能時間が超過[s135]したら、[s144]録音が自動停止する。
以上の手順ののちに、学習者音声の再生ボタンを押すと、学習者が発した即訳英語音声を連続して聴取することができる。前記聴取と教材英語音声の再生の比較により、学習者の英語音声と教材の英語音声を比較することができる。
【００１１】
図２は、実施形態１において、教材英語音声の再生開始から一時停止するまでの過程を示したコンピュータ画面の一部である。
図２(a)において、[s201]では、反復（手動）モード、反復（自動）モード、即訳モードの３つの練習モードがあることを示している。反復（手動）モードでは、従来の録音機と同じく、教材音声再生と学習者音声録音はすべて手動で行う。反復（自動）モードでは、図１(a)の方法を採る。即訳モードでは、図１(b)の方法を採る。３つのモードは、手動で変更する。図２(a)では、[s202]の矢印のモードすなわち反復（自動）モードであることを示している。
[s203]の仕切り線の上側が教材音声領域であり、下側が学習者音声領域である。反復（自動）モードの教材再生音は英語であるので、[s204]のように「英語」と表示されている。[s205]は再生ボタンであるが、前記再生ボタンは再生と一時停止のトグル式機能を有している。[s206]は停止ボタンである。[s208]はスライドバーであり、教材音声の再生時には[s207]のスライドボタンが右方向に移動する。[s209]は教材音声のミュートボタンである。[s210]は教材音声の音量調整である。[s221]は学習者音声の録音可能時間が９．２秒であることを示している。[s222]は録音ボタンであり、録音中は赤で点滅を続ける。[s223]は学習者音声の再生ボタンである。[s223]は、音声再生が始まると「一時停止」と表示変更する。前記再生ボタンは、再生と一時停止のトグル式機能を有している。[s224]は学習者音声再生を停止させるボタンである。[s226]は学習者音声用のスライドバーであり、学習者音声の再生時に[s225]のスライドボタンが右方向に移動する。[s227] は録音が機能していることをリアルタイムで確認するための表示装置である。[s228]は学習者音声のミュートボタンである。[s229]は学習者音声の音量調整である。
【００１２】
図２(b)は、図２(a)で教材英語音声を再生し始めたときの様子を示している。まだ学習者音声の録音が始まっていないので、[s232]は[s221]と同じく９．２秒のままとなっている。[s205]の再生ボタンを押したあとなので、[s205]の部分が[s233]のように「一時停止」に表示変更されている。図２(b)は、教材英語音声の再生中なので、当初[s207]に位置したスライドボタン[s234]は[s236]の方向に移動して[s235]に到達しさらに右方向に移動しつつあることを示している。
図２(c)は図２(b)において、[s233]の一時停止ボタンを押したときの図である。前記ボタン押しによって[s235]のスライドボタンは[s247]で一時停止している。前記一時停止と同時に、[s243]の録音ボタンが赤で点滅を始める。さらに、学習者音声のスライドボタンが[s244]の位置から[s245]の方向に移動して[s246]に到達し、さらに右方向に移動しつつあることを示している。また録音経過とともに、録音可能時間が[s241]に示すように[s232]の値より減少している。
【００１３】
図３は、実施形態１において、図２(c)の状態から教材英語音声の終了にいたるまでの過程を示したコンピュータ画面の一部である。
図２(c)で、学習者が[s242]の再生ボタンを押し、前記ボタン押しの後の状態を示したのが、図３(a)である。前記録音が停止した状態なので、[s351]の録音可能時間は[s241]と同じであり、[s353]の録音ボタンは赤点滅を停止している。教材英語音声が再生中であるので、再生ボタンは[s352]のように「一時停止」の表記に変わっている。学習者音声のスライドボタンは[s354]に停止し、教材英語音声のスライドボタンは、当初の[s355]から[s356]の方向に移動して[s357]の位置に到達してさらに右方向に移動しつつある。
【００１４】
図３(b)は、図３(a)のあと、教材英語音声再生が終了してスライドボタンが最右端の[s367]に停止した状態を示す。同時に、前記スライドボタンの停止とともに学習者音声録音が自動開始し、[s364]にあった学習者用スライドボタンが[s365]の方向に移動し、[s366]に到達し、さらに右方向に移動しつつあることを示す。学習者音声の録音中であるので、[s363]が赤点滅し、さらに録音可能時間[s361]が[s351]より減少している。
図３(c)は、図３(b)で学習者音声のスライドボタン[s366]が最右端[s374]に到達し録音が終了した瞬間の様子を示している。教材英語音声再生が終了したので、[s362]は[s372]のように再生ボタンと表記変更しているが、もはや機能しない。[s373]の録音ボタンは赤点滅が停止する。録音可能時間は、[s371]のようにゼロとなっている。
図３(b)は、瞬間的に図３(c)を経て、図２(a)の状態に戻る。その後、図２(a)の学習者音声の再生ボタン[s223]を押すと、録音した学習者音声を連続して聴取することができる。
【００１５】
以上の図２(a)〜(c)および図３(a)〜(c)の経過により、学習者は、教材英語音声の再生を一時停止し、ただちに、発せられた英語部分を反復口述して録音し、その後、残りの教材英語音声を再生するという手順を繰り返し行うことにより、教材英語音声の反復を所定の録音可能時間内に行うという練習をすることができる。
反復（自動）モードにおける録音可能時間は、教材英語の有音時間長ｘと無音時間長ｙの一次結合ａｘ＋ｂｙ（ａ＞０，ｂ＞０）の値として定める。あるいは、図４に示すように、各課題に対して録音可能時間を個別に設定するという方法もある。
【００１６】
即訳練習でのコンピュータ画面は、モードを示す矢印の位置が図２(a)の[s202]から図５の[s501]の即訳モードに変わり、[s204]の「英語」の表記が図５の[s502]の「日本語」の表記に変わることを除いては、反復（自動）練習の場合と同じである。
したがって、即訳モードで、学習者は、再生される教材日本語音声を任意の位置で一時停止し、当該日本語部分を即訳口述し録音するという手順を繰り返し行い、所定の録音可能時間内に当該日本語を即訳する練習を行うことができる。
即訳モードにおける録音可能時間は、教材英語の有音時間長ｘと無音時間長ｙの一次結合ａｘ＋ｂｙ（ａ＞０，ｂ＞０）の値として定める。あるいは、図４に示すように、各課題に対して録音可能時間を個別に設定するという方法もある。
学習者の録音を開始するに先立ち、コンピュータは録音可能時間を定める。
反復（自動）モードであるときは、教材英語ファイルに基づいて定める。図６の例では、閾値e以上の部分が有音部分であり、e未満の部分が無音部分である。したがって、[s606]ｘ１と[s609]ｘ２が有音部分となり、ｘ１＋ｘ２（＝ｘ）が有音時間長となる。[s605]ｙ１、[s608]ｙ２および[s610]ｙ３が無音部分であり、ｙ１＋ｙ２＋ｙ３（＝ｙ）が無音時間長となる。録音可能時間ｔは、ａｘ＋ｂｙと定める。ａとｂは学習者等が定めるが、ｂは通常は１でよい。
即訳モードの場合の録音可能時間の定め方は、前記反復（自動）モードの場合とほぼ同様である。
eをゼロとしたとき、すなわち録音可能時間を当該教材ファイルの時間長に基づいて定めるときは、録音可能時間は単に当該教材ファイル長の定数倍とすればよい。
【符号の説明】
【００１７】
s101：時間軸
s102：英語再生領域
s103：教材英語再生開始
s104：教材英語再生の一時停止
s105：教材英語再生の一時停止解除
s106：巨財英語再生終了
s107：停止、録音時間超過
s121：英語再生領域
s122：学習者音声録音自動開始
s123：学習者音声録音の自動一時停止
s124：学習者音声録音自動開始
s125：学習者音声録音自動停止
s131：教材日本語再生開始
s132：教材日本語再生の一時停止
s133：教材日本語再生の一時停止解除
s134：教材日本語再生終了
s135：停止、録音時間超過
s141：学習者音声録音自動開始
s142：学習者音声録音の自動一時停止
s143：学習者音声録音自動開始
s144：学習者音声録音自動停止
s201：録音再生モード指定領域
s202：現モード（反復（自動））
s203：仕切り線
s204：教材再生のdefault言語表記
s205：教材再生ボタン
s206：教材音声の停止ボタン
s207：スライドボタン
s208：スライドバー
s209：ミュートボタン
s210：音量ボタン
s221：録音可能時間（秒）
s222：学習者音声録音ボタン
s223：学習者音声再生ボタン
s224：学習者音声停止ボタン
s225：スライドボタン
s226：スライドバー
s227：音声パワー表示
s228：ミュートボタン
s229：音量ボタン
s232：録音可能時間（秒）
s233：教材音声の一時停止ボタン
s234：教材音声の再生開始時のスライドボタン
s235：スライドバー
s236：教材音声のスライドボタン（移動中）
s241：録音中の録音可能時間（秒）
s242：教材の再生ボタン
s243：録音ボタン
s244：録音開始時のスライドボタン
s245：録音中のスライドボタンの移動方向
s246：録音中のスライドボタン
s247：教材音声のスライドボタン（一時停止中）
s351：録音可能時間
s352：教材音声の一時停止ボタン
s353：録音ボタン
s354：録音用スライドボタン（一時停止中）
s355：教材音声の一時停止解除時のスライドボタン
s356：教材音声のスライドボタンの移動方向
s357：教材音声のスライドボタン（移動中）
s361：録音可能時間（秒）
s362：教材音声の再生ボタン
s363：学習者音声の録音ボタン
s364：学習者音声の一時停止解除時のスライドボタン
s365：学習者音声のスライドボタンの移動方向
s366：学習者音声のスライドボタン（移動中）
s367：教材音声の再生終了時のスライドボタン
s371：録音可能時間
s372：教材音声の再生ボタン
s373：学習者音声の録音ボタン
s374：録音終了時の録音ボタン
s501：現モード（即訳）
s502：教材音声のdefault言語
s601：教材音声ファイル
s602：横軸（時間）
s603：縦軸（音パワー）
s604：有音と無音を区別する閾値
s605：無音時間
s606：有音時間
s607：音パワーの包絡線
s608：無音時間
s609：有音時間
s610：無音時間
【技術分野】
【０００１】
本発明は、語学学習に資する外国語学習システムの録音機能において、録音時間に関する制限を行う音情報処理方式に関する。以下、説明を簡単にするため、学習対象は日本語を母語とする学習者に対する英語と仮定する。
【背景技術】
【０００２】
英語スピーキング学習では、英語母語者の正しい発音を類似の速度で反復練習することが多い。つまり、反復練習の場合は、教材としての英語音声（教材英語音声）を聴いてそれと似たような発音で反復する。また、逐次通訳練習の場合は、教材としての日本語音声（教材日本語音声）を聴いたあと、ただちに英語口述する。学習者の音声はコンピュータの録音機能を用いて音声録音することにより、学習に役立てることができる。しかし、通常の録音機では録音時間にほとんど制限がないので、長時間かけて口述録音することができる。つまり、従来の録音機を用いると、録音スタンバイ、録音開始、録音一旦停止、録音停止を利用者がすべて手動操作で行っていた。
一方、実際のスピーキングでは、スピーキングを開始するタイミングが遅れないよう意識したり、スピーキングをある程度の時間内に行うよう意識することが少なくない。したがって、音声録音では、前記タイミングや録音可能時間に時間制限を設ける方が実用に資する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明では、上記を解決するため、英語学習システムで学習者が音声録音を行おうとするとき、次に示す時間的制約を付す。すなわち、
課題１：英語の反復練習と通訳練習のいずれの場合も、学習者の音声録音時間長が、教材音声ファイルの有音時間長と無音時間長の一次結合として定まること、
課題２：英語の反復練習と通訳練習のいずれの場合も、教材音声の再生が終了したら、学習者の音声録音が自動的に開始すること、
課題３：英語の反復練習と通訳練習のいずれの場合も、教材音声の再生を手動で一時停止すると学習者音声録音が自動的に開始し、その後教材音声の一時停止状態を手動で解除すると、学習者音声録音が自動的に一時停止すると同時に教材音声の再生が継続すること、
を可能にするような音声機能が必要となる。課題３は、教材音声がいくつかのセンテンスに分かれている場合に対処するために、これを設ける。また、当該音声ファイルの有音時間長と無音時間長を定めるため、課題４を定める。
課題４：教材音声ファイルの再生前に、前記音声ファイルで、有音時間長と無音時間長を求めること
【課題を解決するための手段】
【０００４】
１の課題を解決するには、録音時間長として以下の２とおりがある。
1a.当該教材音声ファイルの有音時間長をｘとし無音時間長をｙとしたとき、a、ｂを定数（ａ＞０、ｂ＞０）として、ａｘ＋ｂｙとして設定する。
1b.前記1aに対応した録音時間長を教材音声とともにデータベースに設定する
上記1aの場合、教材英語音声の反復練習では、未習熟状態に合わせて１より大きいａの値を設定する。ａが１であると、教材音声と同じスピードで口述しなければならないからである。教材日本語音声の通訳練習では、録音時間長さを当該日本語音声ファイルにおける有音時間長と無音時間長に基づいて定めるか、または、当該英語音声ファイルにおける有音時間長と無音時間長に基づいて定める。
一方、上記1bの方法では、前記ｘとｙを一次結合した値を録音時間長として設定できるのみならず、教材の内容に合わせて任意に設定できるという特長がある。
課題２を解決するには、教材再生の終了信号を検出したら、割り込み処理により学習者録音を開始するよう、プログラミングする。
課題３を解決するには、教材再生の一時停止信号を検出したら、割り込み処理により学習者録音を開始し、前記一時停止状態の解除信号を検出したら、割り込み処理により学習者録音を一時停止するよう、プログラミングする。
課題４を解決するには、音声パワーに関する閾値eを外的基準として設け、当該音声ファイルで前記閾値以上となる時間長を累積してｘ（累積有音時間長）とし、前記閾値未満となる時間長を累積してｙ（累積無音時間長）とし、２定数ａ、ｂ（ａ＞０、ｂ＞０）に対して、ａｘ＋ｂｙを録音時間長として設定できるようなプログラムを開発し、音声録音に先だって前記プログラムを稼働する。ａは、累積有音時間長なる変数に対する係数であるので、学習者に教材音声より多少遅めの回答を許す場合は、ａ＞１とし、遅さの度合に応じて、1.2、1.4などと大きくする。ｂは、累積無音時間長であるので、前記遅さに影響させる必要がないと判断する場合は、ｂ＝１とする。
【発明の効果】
【０００５】
本発明は、教材としての音声を含む英語学習システムにおいて、学習者が音声録音を行おうとするとき、
１：英語の反復練習と通訳練習のいずれの場合も、学習者の録音時間長が、教材音声ファイルの有音時間長に依存して限定されるので、学習者にとって、ある程度スピーディに口述しようとする意識が働く、
２：英語の反復練習と通訳練習のいずれの場合も、教材音声の再生が終了すると、学習者の音声録音が自動的に開始するので、学習者にとって、前記教材音声再生終了後ただちに口述しようとする意識が働く、
３：英語の反復練習と通訳練習のいずれの場合も、教材音声の再生を一時停止すると学習者音声録音が自動的に開始し、その後教材音声の一時停止状態を解除して再生を開始すると学習者音声録音が自動的に一時停止するので、学習者にとって、教材音声がいくつかのセンテンスに分かれている場合には、センテンスごとに反復練習や通訳練習を行うことができ、しかも、直前の教材音声再生後ただちに口述しようとする意識が働く、
という特長があるので、高い学習効果を有する。しかも、録音可能時間を教材音声ファイルの有音時間長の定数倍した値に依存して定めているので、学習者の学力に応じた学習環境設定が可能になるという特長を有する。
【図面の簡単な説明】
【０００６】
【図１】(a)は、英語の反復練習において、教材英語音声の再生操作と学習者の音声録音の時系列を示したものである。(b)は、日→英の通訳練習において、日本語の再生操作と学習者の音声録音の時系列を示したものである。
【図２】英語の反復練習において、教材英語音声の再生を開始しその後前記再生を一時停止させたときに学習者の音声録音が自動的に開始するまでのコンピュータ画面の一部を示したものである。(a)は教材英語の再生を開始する直前の図である。(b)は教材英語音声を再生したのちの図である。 (c)は教材英語音声を再生し、前記再生後再生を一時停止させたことにより、学習者音声の録音が自動的に開始したのちの図である。
【図３】図２(c)に引き続き、教材英語音声の一時停止状態を解除して再生状態にしたときから、教材英語音声の再生が終了し、引き続く学習者音声の自動録音も終了した瞬間までのコンピュータ画面の一部を示したものである。(a)は教材英語音声の一時停止操作を解除したことにより、学習者音声の録音が一時停止し、同時に教材英語音声の再生を継続しつつある図である。(b)は教材英語の再生が終了したことにより、一時停止していた学習者音声録音が再開始したのちの図である。 (c)は(b)の学習者音声に設けられた録音可能時間がゼロになった瞬間の図である。
【図４】録音可能時間を学習課題別に設定するための表である。
【図５】通訳練習における初期画面である。
【図６】教材音声ファイルにおける有音時間長と無音時間長の定め方を表したものである。閾値以上の音パワー部分が有音部であり、閾値未満の音パワー部分が無音部である。
【発明を実施するための形態】
【０００７】
以下、図面を用いて本発明を詳細に説明する。
「発明が解決しようとする課題」に記した４つの課題を以下の２つの実施形態に再分類する。いずれの携帯においても、課題４は共通する。
実施形態１：前記課題１、課題２、課題３において、反復練習を行う形態。
実施形態２：前記課題１、課題２、課題３において、通訳練習を行う形態。
実施形態1での課題１に関し、学習者が録音できる時間長（録音可能時間）は、当該教材英語音声の有音時間長ｘと無音時間長ｙに対し、ａｘ＋ｂｙとする（ａ＞０、ｂ＞０）。実施形態２での課題１に関し、学習者が録音できる時間長は、当該の教材英語音声または教材日本語音声の有音時間長ｘと無音時間長ｙに対し、ａｘ＋ｂｙとする（ａ＞０、ｂ＞０）。ａとｂの値は、学習者が事前に設定しておくものとする。
実施形態１に関し、実施手順を図１(a)で説明する。実施形態１は、教材英語音声を再生し、それを学習者が反復し、該音声を録音する形態である。
【０００８】
[s101]は、実施手順を説明するための時間軸である。[s101]の上側は、[s102]に示すとおり教材英語音声の再生に関する説明領域である。[s101]の下側は、[s102]に示すとおり英語音声の録音に関する説明領域である。学習者が教材英語音声の再生ボタンを押すと、前記ボタンが「一時停止」に表示変更されるとともに、[s103]教材英語の再生が開始する。前記開始後、一時停止ボタンを押すと、前記一時停止ボタンが「再生」に表示変更されるとともに、[s104]教材英語音声の再生が一時停止する。前記一時停止と同時に、[s122]学習者音声の録音が自動的に開始する。学習者は再生された英語を反復して録音し、反復が終了したら、教材英語の再生ボタンを押す。前記再生ボタンを押すと、前記再生ボタンが「一時停止」に表示変更され、さらに[s123]学習者音声録音が自動一時停止するとともに、[s105]教材英語の一時停止状態が自動解除となり、英語再生が継続する。
以上の操作を続けて、学習者は教材英語を反復し音声録音を続けていく。教材英語再生が終了したときは、[s124]学習者音声録音が自動的に開始する。[s124]の録音自動開始後、学習者が教材英語の再生の停止ボタンを押すか録音可能時間が超過[s107]したら、[s125]録音を自動停止する。
以上の一連の手順ののちに、学習者音声の再生ボタンを押すと、教材英語を学習者が発した音声を連続して聴取することができる。前記聴取と教材英語音声の再生の比較により、学習者の英語音声と教材の英語音声を比較することができる。
【０００９】
実施形態２に関し、実施手順を図１(b)で説明する。実施形態２は、教材日本語音声を再生し、再生された日本語音声を学習者が英語に即訳し、該音声を録音する形態である。
時間軸と時間軸の上側と下側の意味は、図１(a)と同様である。学習者が教材日本語音声の再生ボタンを押すと、前記ボタンが「一時停止」に表示変更されるとともに、[s131]教材日本語の再生が開始する。前記開始後、一時停止ボタンを押すと、前記一時停止ボタンが「再生」に表示変更されるとともに、[s132]教材日本語音声の再生が一時停止する。前記一時停止と同時に、[s141]学習者音声の録音が自動的に開始する。学習者は、ただちに [s131]から [s132]に至るまでに発せられた日本語を英語に即訳口述し録音する。前記即訳口述が終了したら、教材日本語の再生ボタンを押す。前記ボタン押しによって[s142]録音が自動一時停止するとともに、[s133]教材日本語音声再生の一時停止状態が解除となり、日本語再生が継続する。
【００１０】
以上の一連の操作を続けて、学習者は教材日本語を英語に即訳口述し音声録音を続けていく。教材日本語再生が[s134]終了したときは、[s143]学習者音声録音が自動的に開始する。[s143]の録音自動開始後、学習者が教材日本語の再生の停止ボタンを押すか録音可能時間が超過[s135]したら、[s144]録音が自動停止する。
以上の手順ののちに、学習者音声の再生ボタンを押すと、学習者が発した即訳英語音声を連続して聴取することができる。前記聴取と教材英語音声の再生の比較により、学習者の英語音声と教材の英語音声を比較することができる。
【００１１】
図２は、実施形態１において、教材英語音声の再生開始から一時停止するまでの過程を示したコンピュータ画面の一部である。
図２(a)において、[s201]では、反復（手動）モード、反復（自動）モード、即訳モードの３つの練習モードがあることを示している。反復（手動）モードでは、従来の録音機と同じく、教材音声再生と学習者音声録音はすべて手動で行う。反復（自動）モードでは、図１(a)の方法を採る。即訳モードでは、図１(b)の方法を採る。３つのモードは、手動で変更する。図２(a)では、[s202]の矢印のモードすなわち反復（自動）モードであることを示している。
[s203]の仕切り線の上側が教材音声領域であり、下側が学習者音声領域である。反復（自動）モードの教材再生音は英語であるので、[s204]のように「英語」と表示されている。[s205]は再生ボタンであるが、前記再生ボタンは再生と一時停止のトグル式機能を有している。[s206]は停止ボタンである。[s208]はスライドバーであり、教材音声の再生時には[s207]のスライドボタンが右方向に移動する。[s209]は教材音声のミュートボタンである。[s210]は教材音声の音量調整である。[s221]は学習者音声の録音可能時間が９．２秒であることを示している。[s222]は録音ボタンであり、録音中は赤で点滅を続ける。[s223]は学習者音声の再生ボタンである。[s223]は、音声再生が始まると「一時停止」と表示変更する。前記再生ボタンは、再生と一時停止のトグル式機能を有している。[s224]は学習者音声再生を停止させるボタンである。[s226]は学習者音声用のスライドバーであり、学習者音声の再生時に[s225]のスライドボタンが右方向に移動する。[s227] は録音が機能していることをリアルタイムで確認するための表示装置である。[s228]は学習者音声のミュートボタンである。[s229]は学習者音声の音量調整である。
【００１２】
図２(b)は、図２(a)で教材英語音声を再生し始めたときの様子を示している。まだ学習者音声の録音が始まっていないので、[s232]は[s221]と同じく９．２秒のままとなっている。[s205]の再生ボタンを押したあとなので、[s205]の部分が[s233]のように「一時停止」に表示変更されている。図２(b)は、教材英語音声の再生中なので、当初[s207]に位置したスライドボタン[s234]は[s236]の方向に移動して[s235]に到達しさらに右方向に移動しつつあることを示している。
図２(c)は図２(b)において、[s233]の一時停止ボタンを押したときの図である。前記ボタン押しによって[s235]のスライドボタンは[s247]で一時停止している。前記一時停止と同時に、[s243]の録音ボタンが赤で点滅を始める。さらに、学習者音声のスライドボタンが[s244]の位置から[s245]の方向に移動して[s246]に到達し、さらに右方向に移動しつつあることを示している。また録音経過とともに、録音可能時間が[s241]に示すように[s232]の値より減少している。
【００１３】
図３は、実施形態１において、図２(c)の状態から教材英語音声の終了にいたるまでの過程を示したコンピュータ画面の一部である。
図２(c)で、学習者が[s242]の再生ボタンを押し、前記ボタン押しの後の状態を示したのが、図３(a)である。前記録音が停止した状態なので、[s351]の録音可能時間は[s241]と同じであり、[s353]の録音ボタンは赤点滅を停止している。教材英語音声が再生中であるので、再生ボタンは[s352]のように「一時停止」の表記に変わっている。学習者音声のスライドボタンは[s354]に停止し、教材英語音声のスライドボタンは、当初の[s355]から[s356]の方向に移動して[s357]の位置に到達してさらに右方向に移動しつつある。
【００１４】
図３(b)は、図３(a)のあと、教材英語音声再生が終了してスライドボタンが最右端の[s367]に停止した状態を示す。同時に、前記スライドボタンの停止とともに学習者音声録音が自動開始し、[s364]にあった学習者用スライドボタンが[s365]の方向に移動し、[s366]に到達し、さらに右方向に移動しつつあることを示す。学習者音声の録音中であるので、[s363]が赤点滅し、さらに録音可能時間[s361]が[s351]より減少している。
図３(c)は、図３(b)で学習者音声のスライドボタン[s366]が最右端[s374]に到達し録音が終了した瞬間の様子を示している。教材英語音声再生が終了したので、[s362]は[s372]のように再生ボタンと表記変更しているが、もはや機能しない。[s373]の録音ボタンは赤点滅が停止する。録音可能時間は、[s371]のようにゼロとなっている。
図３(b)は、瞬間的に図３(c)を経て、図２(a)の状態に戻る。その後、図２(a)の学習者音声の再生ボタン[s223]を押すと、録音した学習者音声を連続して聴取することができる。
【００１５】
以上の図２(a)〜(c)および図３(a)〜(c)の経過により、学習者は、教材英語音声の再生を一時停止し、ただちに、発せられた英語部分を反復口述して録音し、その後、残りの教材英語音声を再生するという手順を繰り返し行うことにより、教材英語音声の反復を所定の録音可能時間内に行うという練習をすることができる。
反復（自動）モードにおける録音可能時間は、教材英語の有音時間長ｘと無音時間長ｙの一次結合ａｘ＋ｂｙ（ａ＞０，ｂ＞０）の値として定める。あるいは、図４に示すように、各課題に対して録音可能時間を個別に設定するという方法もある。
【００１６】
即訳練習でのコンピュータ画面は、モードを示す矢印の位置が図２(a)の[s202]から図５の[s501]の即訳モードに変わり、[s204]の「英語」の表記が図５の[s502]の「日本語」の表記に変わることを除いては、反復（自動）練習の場合と同じである。
したがって、即訳モードで、学習者は、再生される教材日本語音声を任意の位置で一時停止し、当該日本語部分を即訳口述し録音するという手順を繰り返し行い、所定の録音可能時間内に当該日本語を即訳する練習を行うことができる。
即訳モードにおける録音可能時間は、教材英語の有音時間長ｘと無音時間長ｙの一次結合ａｘ＋ｂｙ（ａ＞０，ｂ＞０）の値として定める。あるいは、図４に示すように、各課題に対して録音可能時間を個別に設定するという方法もある。
学習者の録音を開始するに先立ち、コンピュータは録音可能時間を定める。
反復（自動）モードであるときは、教材英語ファイルに基づいて定める。図６の例では、閾値e以上の部分が有音部分であり、e未満の部分が無音部分である。したがって、[s606]ｘ１と[s609]ｘ２が有音部分となり、ｘ１＋ｘ２（＝ｘ）が有音時間長となる。[s605]ｙ１、[s608]ｙ２および[s610]ｙ３が無音部分であり、ｙ１＋ｙ２＋ｙ３（＝ｙ）が無音時間長となる。録音可能時間ｔは、ａｘ＋ｂｙと定める。ａとｂは学習者等が定めるが、ｂは通常は１でよい。
即訳モードの場合の録音可能時間の定め方は、前記反復（自動）モードの場合とほぼ同様である。
eをゼロとしたとき、すなわち録音可能時間を当該教材ファイルの時間長に基づいて定めるときは、録音可能時間は単に当該教材ファイル長の定数倍とすればよい。
【符号の説明】
【００１７】
s101：時間軸
s102：英語再生領域
s103：教材英語再生開始
s104：教材英語再生の一時停止
s105：教材英語再生の一時停止解除
s106：巨財英語再生終了
s107：停止、録音時間超過
s121：英語再生領域
s122：学習者音声録音自動開始
s123：学習者音声録音の自動一時停止
s124：学習者音声録音自動開始
s125：学習者音声録音自動停止
s131：教材日本語再生開始
s132：教材日本語再生の一時停止
s133：教材日本語再生の一時停止解除
s134：教材日本語再生終了
s135：停止、録音時間超過
s141：学習者音声録音自動開始
s142：学習者音声録音の自動一時停止
s143：学習者音声録音自動開始
s144：学習者音声録音自動停止
s201：録音再生モード指定領域
s202：現モード（反復（自動））
s203：仕切り線
s204：教材再生のdefault言語表記
s205：教材再生ボタン
s206：教材音声の停止ボタン
s207：スライドボタン
s208：スライドバー
s209：ミュートボタン
s210：音量ボタン
s221：録音可能時間（秒）
s222：学習者音声録音ボタン
s223：学習者音声再生ボタン
s224：学習者音声停止ボタン
s225：スライドボタン
s226：スライドバー
s227：音声パワー表示
s228：ミュートボタン
s229：音量ボタン
s232：録音可能時間（秒）
s233：教材音声の一時停止ボタン
s234：教材音声の再生開始時のスライドボタン
s235：スライドバー
s236：教材音声のスライドボタン（移動中）
s241：録音中の録音可能時間（秒）
s242：教材の再生ボタン
s243：録音ボタン
s244：録音開始時のスライドボタン
s245：録音中のスライドボタンの移動方向
s246：録音中のスライドボタン
s247：教材音声のスライドボタン（一時停止中）
s351：録音可能時間
s352：教材音声の一時停止ボタン
s353：録音ボタン
s354：録音用スライドボタン（一時停止中）
s355：教材音声の一時停止解除時のスライドボタン
s356：教材音声のスライドボタンの移動方向
s357：教材音声のスライドボタン（移動中）
s361：録音可能時間（秒）
s362：教材音声の再生ボタン
s363：学習者音声の録音ボタン
s364：学習者音声の一時停止解除時のスライドボタン
s365：学習者音声のスライドボタンの移動方向
s366：学習者音声のスライドボタン（移動中）
s367：教材音声の再生終了時のスライドボタン
s371：録音可能時間
s372：教材音声の再生ボタン
s373：学習者音声の録音ボタン
s374：録音終了時の録音ボタン
s501：現モード（即訳）
s502：教材音声のdefault言語
s601：教材音声ファイル
s602：横軸（時間）
s603：縦軸（音パワー）
s604：有音と無音を区別する閾値
s605：無音時間
s606：有音時間
s607：音パワーの包絡線
s608：無音時間
s609：有音時間
s610：無音時間
【特許請求の範囲】
【請求項１】
音ファイルの再生と録音を可能にする音情報処理システムにおいて、再生音ファイルにおける有音時間長ｘと無音時間長ｙを検出し、前記ｘと前記ｙを一次結合させた値を録音時間長として定めることを可能にする音情報処理方式。
【請求項２】
請求項１の音情報処理方式において、音ファイルの再生中に前記再生を一時停止すると、自動的に録音を開始し、前記一時停止を解除すると、前記音ファイルを継続再生するとともに前記録音を自動的に一時停止する音情報処理方式。
【請求項３】
請求項１の音情報処理方式において、音ファイルを再生し終えると、自動的に録音を開始する音情報処理方式。
【請求項１】
音ファイルの再生と録音を可能にする音情報処理システムにおいて、再生音ファイルにおける有音時間長ｘと無音時間長ｙを検出し、前記ｘと前記ｙを一次結合させた値を録音時間長として定めることを可能にする音情報処理方式。
【請求項２】
請求項１の音情報処理方式において、音ファイルの再生中に前記再生を一時停止すると、自動的に録音を開始し、前記一時停止を解除すると、前記音ファイルを継続再生するとともに前記録音を自動的に一時停止する音情報処理方式。
【請求項３】
請求項１の音情報処理方式において、音ファイルを再生し終えると、自動的に録音を開始する音情報処理方式。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−６１３６８（Ｐ２０１３−６１３６８Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−１９７８１９（Ｐ２０１１−１９７８１９）
【出願日】平成２３年９月１２日（２０１１．９．１２）
【出願人】（５９１２０７３５６）
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１２日（２０１１．９．１２）
【出願人】（５９１２０７３５６）
【Ｆターム（参考）】
[ Back to top ]