コンテンツ再生装置
【課題】コンテンツ再生中に選択された場面を繰返して再生できるようにするとともに、選択された場面の次の場面へ円滑に移行できるようにする。
【解決手段】コンテンツ再生装置は、キー２３１が押下されると、発音練習モードへ移行し、キーが押下された時に表示されている字幕の再生が終了するまで映像と字幕および音声の再生を行う。ＲＡＭ１０４には、キーが押下された時に再生されていた字幕の再生開始時刻を示す時刻管理情報が記憶される。次にユーザがキー２２３を押下すると、ＲＡＭ１０４に記憶されている、時刻管理情報が示す再生開始時刻の場面から映像と字幕および音声の再生を行う。そして、字幕の再生が終了すると、映像と字幕および音声の再生を一時停止する。コンテンツ再生装置は、キー２３０が押下されると通常再生モードへ移行し、ＲＡＭ１０４に記憶されている時刻管理情報が示す再生開始時刻の場面から映像、音声及び字幕の再生を行う。
【解決手段】コンテンツ再生装置は、キー２３１が押下されると、発音練習モードへ移行し、キーが押下された時に表示されている字幕の再生が終了するまで映像と字幕および音声の再生を行う。ＲＡＭ１０４には、キーが押下された時に再生されていた字幕の再生開始時刻を示す時刻管理情報が記憶される。次にユーザがキー２２３を押下すると、ＲＡＭ１０４に記憶されている、時刻管理情報が示す再生開始時刻の場面から映像と字幕および音声の再生を行う。そして、字幕の再生が終了すると、映像と字幕および音声の再生を一時停止する。コンテンツ再生装置は、キー２３０が押下されると通常再生モードへ移行し、ＲＡＭ１０４に記憶されている時刻管理情報が示す再生開始時刻の場面から映像、音声及び字幕の再生を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録媒体に記録されたコンテンツを利用して語学学習を行う技術に関する。
【背景技術】
【０００２】
外国映画のセリフは外国語の日常会話を多く含んでいるため、外国映画を記録したビデオテープやＤＶＤ（Digital Versatile Disc）は、単に映画を楽しむためだけでなく語学学習の教材としても利用されている。特にＤＶＤは、ビデオテープと比較して巻きもどしや早送り、繰返し再生等を容易に行うことができ、また、これらの動作を繰返し行ってもビデオテープのように記録媒体が劣化しない。このため、繰返し再生が頻繁に行われる語学学習用として注目されており、近年、ＤＶＤを利用して語学学習を行う技術も考案されている（例えば、特許文献１参照）。
【０００３】
特許文献１には、映画のセリフのリストを表示し、選択されたセリフが発音される場面を再生するシステムが開示されている。このシステムにおいては、学習したいセリフが選択されると、そのセリフが再生される場面が頭出しされ、学習したいセリフの音声が再生される。このシステムにおいて、再生される映像に映画を使用すれば、日常会話等が自然な速さで発音されるので、この発音を聞いてシャドウイングやリスニングを行えば、効果的な語学学習を行うことができる。
【特許文献１】特開２００１−２２２６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、映画の字幕を利用して語学の学習を行う場合、映画を再生して楽しみつつ、覚えたいと思ったセリフを見つけた時には、そのセリフを繰返して再生し、シャドウイングやリスニングを繰返すというような学習方法も考えられる。しかしながら、特許文献１に開示されたシステムにおいては、練習したいセリフを見つけた場合、ＤＶＤの再生を停止して字幕のリストを表示させた後、リスト中から所望のセリフを検索し、リスト中のセリフを選択するという繁雑な操作を行わなければならず、すぐに発音の練習をすることができないという問題がある。また、練習を終了して、練習したセリフの場面から再び映画を楽しむ場合には、ＤＶＤを最初の場面から再生し、練習したセリフの場面まで早送りさせるという面倒な操作を行わなければならず、場面のつながりがなくなって映画を楽しむことができなくなってしまう。
【０００５】
本発明は、上述した背景の下になされたものであり、その目的は、コンテンツの再生中に選択された場面を繰返して再生できるようにするとともに、選択された場面の次の場面へ円滑に移行できるようにすることにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明は、映像と音声とを含むコンテンツが記録された記録媒体から該コンテンツを読み出す読み出し手段と、前記読み出し手段により読み出されたコンテンツに含まれている映像および音声とを再生する再生手段と、第１モードから第２モードへの移行を指示する第１移行指示と、前記第２モードから前記第１モードへの移行を指示する第２移行指示とが入力される指示入力手段と、前記コンテンツ中の音声を解析し、前記コンテンツの再生中において人間の声が含まれる音声が再生される時間区間を特定する解析手段と、前記コンテンツの再生時間軸上において前記指示入力手段に前記第１移行指示が入力された時点を特定し、前記解析手段により特定された時間区間であって、特定された時点を含む時間区間の開始時刻と終了時刻とを特定すると共に、前記第１モードから前記第２モードへ移行させる第１移行手段と、前記第１移行手段で特定された開始時刻から終了時刻までの間のコンテンツが再生されるように前記再生手段を制御する再生制御手段と、前記第２モードである時に、前記指示入力手段に前記第２移行指示が入力された場合、前記第２モードから前記第１モードへ移行させると共に、前記第１移行手段で特定された開始時刻から前記コンテンツが再生されるように前記再生手段を制御する第２移行手段とを有するコンテンツ再生装置を提供する。
【０００７】
また、本発明は、映像と音声と複数の字幕とを含むコンテンツが記録された記録媒体から該コンテンツを読み出す読み出し手段と、前記読み出し手段により読み出されたコンテンツに含まれている映像、音声および字幕とを再生する再生手段と、第１モードから第２モードへの移行を指示する第１移行指示と、前記第２モードから前記第１モードへの移行を指示する第２移行指示とが入力される指示入力手段と、前記読み出し手段により読み出されたコンテンツに含まれている複数の字幕画像の各再生開始時刻を解析する解析手段と、前記コンテンツの再生時間軸上において前記指示入力手段に前記第１移行指示が入力された時点を特定し、この特定された時点で再生されている字幕画像の再生開始時刻を特定すると共に、第１モードから第２モードへ移行させる第１移行手段と、前記第１移行手段で特定された再生開始時刻からコンテンツが再生されるように、前記再生手段を制御し、前記再生開始時間から再生される字幕画像の再生が終了すると、コンテンツの再生が停止されるように前記再生手段を制御する再生制御手段と、前記第２モードである時に、前記指示入力手段に前記第２移行指示が入力された場合、前記第２モードから前記第１モードへ移行させると共に、前記第１移行手段で特定された再生開始時刻から前記コンテンツが再生されるように前記再生手段を制御する第２移行手段とを有するコンテンツ再生装置を提供する。
【発明の効果】
【０００８】
本発明によれば、コンテンツの再生中に選択された場面を繰返して再生できるようになり、また、選択された場面の次の場面へ円滑に移行することができる。
【発明を実施するための最良の形態】
【０００９】
［第１実施形態］
［実施形態の構成］
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態に係るコンテンツ再生装置のハードウェア構成を示したブロック図である。図１に示したように、コンテンツ再生装置の各部は、バス１０１に接続されており、このバス１０１を介して各部間で信号やデータの授受を行う。
【００１０】
光学ドライブ部１０９は、ＭＰＥＧ−２フォーマットに従ってＤＶＤに記録されている映画コンテンツを読み出すものである。光学ドライブ部１０９はＣＰＵ１０２の制御の下、デジタルデータである映像データや音響データ、字幕データ等を含むパケットをＤＶＤから読み出し、読み出したパケットを信号処理部１０７へ出力する。
信号処理部１０７は、光学ドライブ部１０９から出力されたパケットをデコードするものである。信号処理部１０７は、パケットに含まれている音響データをデコードし、音響データが表す音のアナログ信号（音響信号）を生成して音響再生部１０８と音声処理部１１０へ出力する。また、信号処理部１０７は、パケットに含まれている映像データと字幕データとをデコードし、これらのデータが示す画像の映像信号を生成して表示部１０６へ出力する。
【００１１】
音響再生部１０８は、アンプおよびスピーカを備えており（いずれも図示略）、信号処理部１０７から出力された音響信号を増幅し、音響信号が表す音をスピーカから出力する。
表示部１０６は、例えば、液晶ディスプレイ等の表示デバイスを備えており、信号処理部１０７から出力された映像信号に従って、映像や字幕を表示する。また、表示部１０６はＣＰＵ１０２の制御の下、各種メッセージやコンテンツ再生装置を操作するためのメニュー画面等を表示する。
【００１２】
入力部１０５は、図２に例示したように、ユーザの音声を電気信号に変換するマイクロホン２０１と、コンテンツ再生装置を操作するための各種キーとを備えている。マイクロホン２０１は、入力される音声に対応した電気信号（以下、音声信号と称する）を音声処理部１１０へ出力する。
キー２１０〜キー２１２は、ＤＶＤに記録されている映像・音声の再生、早送り、巻き戻しを行う際に使用されるキーである。キー２１０（プレイキー）が押下されると、ＣＰＵ１０２により各部が制御され、ＤＶＤに記録されている映像や音声の再生が行われる。また、キー２１１（早送りキー）が押下されると映像や音声の早送り再生が行われ、キー２１２（巻き戻しキー）が押下されると映像や音声の巻き戻し再生が行われる。
キー２３０およびキー２３１は、ＤＶＤの再生のモードを切替える際に使用されるキーである。キー２３１（練習モードキー）は、ＤＶＤの再生モードを発音の練習を行う発音練習モード（第２モード）に移行させる際に使用され、キー２３０（通常再生モードキー）は、ＤＶＤの通常再生を行う通常再生モード（第１モード）に移行させる際に使用される。
キー２２１〜キー２２４は、ユーザが発音の練習を行う際に使用されるキーである。キー２２１（前文キー）およびキー２２２（次文キー）は、映像や字幕および音声の早送りや巻き戻しを行う際に使用される。また、キー２２３（再生キー）は、選択された場面の再生をする際に使用され、キー２２４（採点キー）は、コンテンツの音声と、ユーザの音声とを比較して、ユーザの音声を採点する際に使用される。
【００１３】
音声処理部１１０は、マイクロホン２０１から出力された音声信号が表す音声と、信号処理部１０７から出力された音響信号が表す音声とを比較するものであり、比較結果をＣＰＵ１０２へ出力する。
ＲＯＭ（Read Only Memory）１０３は、コンテンツ再生装置に各種機能を実現させる制御プログラムを記憶している。ＣＰＵ１０２は、ＲＯＭ１０３から制御プログラムを読出し、ＲＡＭ（Random Access Memory）１０４を作業エリアとして制御プログラムを実行する。ＣＰＵ１０２が制御プログラムを実行すると、ＤＶＤを再生する機能や、ユーザの音声とＤＶＤに記録されている音声とを比較して比較結果を表示する機能等の各種機能がコンテンツ再生装置において実現する。
【００１４】
［実施形態の動作］
次にコンテンツ再生装置の動作について説明する。
ユーザが字幕入りの映画コンテンツが記録されたＤＶＤを光学ドライブ部１０９に挿入すると、ＤＶＤの再生モードが通常再生モードとなり、ユーザがキー２１０（プレイキー）を押下すると（図３：ステップＳＡ１；ＹＥＳ）、ＤＶＤに記録されているコンテンツ（映像や字幕および音声）の再生が行われる（ステップＳＡ２）。具体的には、ＣＰＵ１０２によって光学ドライブ部１０９が制御され、映像データや音声データ、字幕データを含むパケットがＤＶＤから読み出されて信号処理部１０７へ出力される。信号処理部１０７は、読み出されたパケットに含まれている音響データをデコードし、音響データが表す音に対応した音響信号を音響再生部１０８へ出力する。また、信号処理部１０７は、読み出されたパケットに含まれている映像データと字幕データとをデコードし、デコードされた画像を示す映像信号を表示部１０６へ出力する。映像信号が表示部１０６へ出力されると共に、音響信号が音響再生部１０８へ出力されると、音響データが表す音がスピーカから出力され、映像データが表す画像と字幕データが表す字幕とが表示部１０６に表示される。また、信号処理部１０７は、再生中の字幕画像と該字幕の再生開始時刻を示す時刻管理情報とをパケットから抽出し、この抽出した字幕と時刻管理情報とをＲＡＭ１０４に記憶する。
【００１５】
再生モードが通常再生モードであるときにユーザがキー２１１（早送りキー）を押下すると（ステップＳＡ３；ＹＥＳ）、ＣＰＵ１０２によって光学ドライブ部１０９と信号処理部とが制御され、映像と字幕および音声の早送り再生が行われる（ステップＳＡ４）。また、ユーザがキー２１２（巻き戻しキー）を押下すると（ステップＳＡ５；ＹＥＳ）、映像と字幕および音声の巻き戻し再生が行われる（ステップＳＡ６）。
【００１６】
ユーザは、再生されている画像を視聴し、学習したいと思うセリフの字幕が表示された場合、キー２３１（練習モードキー）を押下する。ＣＰＵ１０２は、キー２３１が押下されると、再生モードを通常再生モードから発音練習モードへ移行させる（図４：ステップＳＢ１）。再生モードが発音練習モードに移行すると、ＣＰＵ１０２により光学ドライブ部１０９と信号処理部１０７とが制御され、キー２３１が押下された時に表示されていた字幕の再生が終了するまで映像と字幕および音声の再生が行われる。ＣＰＵ１０２は、キー２３１が押下された時に表示されていた字幕の再生が終了すると、映像と字幕および音声の再生を一時停止する（ステップＳＢ２）。ここでＲＡＭ１０４には、キー２３１が押下された時に再生されていた字幕の再生開始時刻を示す時刻管理情報が記憶される。
【００１７】
再生モードが発音練習モードであるときにユーザがキー２２３（再生キー）を押下すると（図５：ステップＳＣ７；ＹＥＳ）、ＣＰＵ１０２は、ＲＡＭ１０４に記憶されている時刻管理情報を読み出し（ステップＳＣ８）、この時刻管理情報が示す再生開始時刻の場面から映像と字幕および音声の再生が行われるように、光学ドライブ部１０９および信号処理部１０７を制御する（ステップＳＣ９）。この後、ＣＰＵ１０２は、キー２３１が押下された時に表示されている字幕の再生が終了すると、光学ドライブ部１０９と信号処理部１０７とを制御して、映像と字幕および音声の再生を一時停止する（ステップＳＣ１０）。
【００１８】
また、再生モードが発音練習モードであるときにユーザがキー２２４（採点キー）を押下すると（ステップＳＣ１１；ＹＥＳ）、ＣＰＵ１０２は、ＲＡＭ１０４に記憶されている時刻管理情報を読み出し（ステップＳＣ１２）、この時刻管理情報が示す再生開始時刻の場面から映像と字幕および音声の再生が行われるように、光学ドライブ部１０９および信号処理部１０７を制御する（ステップＳＣ１３）。ここで、音響信号は音声処理部１１０へも出力される。音声処理部１１０は、音響信号が入力されると、入力された音響信号をデジタル化し、発音の手本となる基準データとして一時記憶する。ＣＰＵ１０２は、キー２３１が押下された時に表示されていた字幕の再生が終了すると、映像と字幕および音声の再生を一時停止する（ステップＳＣ１４）。
【００１９】
ＣＰＵ１０２は、映像と字幕および音声の再生を一時停止させた後、表示部１０６を制御し、ユーザに発音を促すメッセージを表示する（ステップＳＣ１５）。このメッセージに促されてユーザが発音すると、ユーザの発した音声に対応した音声信号がマイクロホン２０１から音声処理部１１０へ出力される。音声処理部１１０は、マイクロホン２０１から出力された音声信号をデジタル化し、ユーザの発音を示すユーザデータとして一時記憶する。次に音声処理部１１０は、一時記憶されている基準データとユーザデータとを比較する。例えば、音声処理部１１０は、基準データが表す音声波形をフーリエ変換して得られた振幅スペクトルの対数を求め、それをフーリエ逆変換して手本となる音声のスペクトル包絡を得る。また、音声処理部１１０は、ユーザデータが表す音声波形をフーリエ変換して得られた振幅スペクトルの対数を求め、それをフーリエ逆変換してユーザの音声のスペクトル包絡を得る。
【００２０】
次に音声処理部１１０は、基準データが表す音声のスペクトル包絡と、ユーザデータが表す音声のスペクトル包絡とを比較する。そして、基準データが表す音声のスペクトル包絡と、ユーザデータが表す音声のスペクトル包絡との差異が、予め決められたしきい値を超えた場合は、ユーザの発音が悪いものと判断し、予め決められたしきい値を超えていない場合には、ユーザの発音が良いものであると判断する。そして、判断結果を示す判断データをＣＰＵ１０２へ出力する。なお、基準データが表す音声とユーザデータが表す音声との差異は、例えば、特徴的なフォルマントの周波数とスペクトル密度とをスペクトル密度−周波数図に表したときの２点間の距離によって求めてもよいし、特定の周波数においてスペクトル密度を比較することによって求めてもよい。
【００２１】
ＣＰＵ１０２は、判断結果を示す判断データが入力されると（ステップＳＣ１６；ＹＥＳ）、入力された判断データに応じて基準データとユーザデータの比較結果を表示する（ステップＳＣ１７）。例えば、入力された判断データがユーザの発音が悪いことを示している場合には、ＣＰＵ１０２は表示部１０６を制御して「ｂａｄ」というメッセージを表示し、ユーザの発音が悪いことを示している場合には、ＣＰＵ１０２は表示部１０６を制御して「ｇｏｏｄ」というメッセージを表示する。ユーザは、学習したいと思うセリフを繰り返し練習する場合、再度キー２２４を押下する。キー２２４が押下されると、上述したステップＳＣ１２〜ステップＳＣ１７の処理が再度実行される。
【００２２】
また、ＣＰＵ１０２は、再生モードが発音練習モードであるときにキー２２１（前文キー）が押下されると（ステップＳＣ１；ＹＥＳ）、ＲＡＭ１０４に記憶されている時刻管理情報を読み出す（ステップＳＣ２）。そして、ＣＰＵ１０２は、ＲＡＭ１０４から読み出した時刻管理情報が示す再生開始時刻より前に再生される字幕の時刻管理情報をＤＶＤから抽出してＲＡＭ１０４に記憶する（ステップＳＣ３）。この後、ＣＰＵ１０２は、ＲＡＭ１０４に記憶されている時刻管理情報を読み出し、この時刻管理情報が示す再生開始時刻の場面から映像と字幕および音声の再生が行われるように、光学ドライブ部１０９および信号処理部１０７を制御する（ステップＳＣ９）。ＣＰＵ１０２は、字幕の再生が終了すると、映像と字幕および音声の再生を一時停止する（ステップＳＣ１０）。
【００２３】
また、ＣＰＵ１０２は、再生モードが発音練習モードであるときにキー２２２（次文キー）が押下されると（ステップＳＣ４；ＹＥＳ）、ＲＡＭ１０４に記憶されている時刻管理情報を読み出す（ステップＳＣ５）。そして、ＣＰＵ１０２は、ＲＡＭ１０４から読み出した時刻管理情報が示す再生開始時刻より後に再生される字幕の時刻管理情報をＤＶＤから抽出してＲＡＭ１０４に記憶する（ステップＳＣ６）。この後、ＣＰＵ１０２は、上述したステップＳＣ９およびステップＳＣ１０の処理を行う。
【００２４】
一方、再生モードが発音練習モードである時に、ユーザが発音の練習を終了するためにキー２３０（通常再生モードキー）を押下すると、ＣＰＵ１０２は、再生モードを発音練習モードから通常再生モードへ移行させる（図６：ステップＳＤ１）。そしてＣＰＵ１０２は、ＲＡＭ１０４に記憶されている時刻管理情報を読み出し（ステップＳＤ２）、この時刻管理情報が示す再生開始時刻の場面から映画の再生が行われるように、光学ドライブ部１０９および信号処理部１０７を制御する（ステップＳＤ３）。
【００２５】
以上説明したように本実施形態によれば、発音練習モードに移行すると、再生中に選択された場面を繰返して再生することが可能となる。また、発音練習モードから通常再生モードに移行すると、発音練習を行っている場面から次の場面へスムーズに移行するので、映画を楽しみつつ、語学の練習を行うことができる。また、本実施形態によれば、映画コンテンツに含まれている音声を手本として、ユーザの発音をチェックすることができる。また、本実施形態では、一般に市販される映画コンテンツをそのまま語学学習の教材として使用することができるため、コンテンツを楽しみつつ、語学の学習を行うことができる。また、本実施形態では、ＤＶＤに記録されている音声を発音の基準とし、記録されている音声とユーザの音声とを比較するので、どのような言語であってもユーザの発音の良否を判断することができる。
【００２６】
［第２実施形態］
次に本発明の第２実施形態について説明する。本発明の第２実施形態に係る再生装置は、信号処理部１０７の構成と、キー２２１，キー２２２，キー２３０，キー２３１が押下された時の動作が第１実施形態に係る再生装置と異なっている。
【００２７】
本実施形態において、入力部１０５のキー２２１（前文キー）とキー２２２（次文キー）は、ＤＶＤに記録されている映像および音声の早送り、巻き戻しをＤＶＤに記録されているコンテンツ中の音声単位で行う際に使用される。
【００２８】
本実施形態に係る信号処理部１０７は、音響データをデコードして得られる音が人間の音声を含む音であるか、または人間の音声を含まない音であるか判別する。また、信号処理部１０７は、映像データや音響データを格納するバッファを備えている。ＤＶＤに記録されているデータは、先読みされて一端このバッファに格納された後、デコードされる。
【００２９】
ＲＯＭ１０３には、第１実施形態とは異なる制御プログラムが記憶されている。ＣＰＵ１０２が制御プログラムを実行すると、ＤＶＤを再生する機能や、早送りや巻き戻しを行う機能、映画コンテンツ中の音声単位で映像および音声の早送りや巻き戻しを行う機能が実現する。
【００３０】
［第２実施形態の動作］
次に、本実施形態の動作について説明する。なお、キー２１０〜キー２１２が押下された時の動作は第１実施形態と同じであるため、その説明を省略する。
【００３１】
ユーザが映画コンテンツが記録されたＤＶＤを光学ドライブ部１０９に挿入すると、ＤＶＤの再生モードが通常再生モードとなり、ユーザがキー２１０（プレイキー）を押下すると（図３：ステップＳＡ１；ＹＥＳ）、ＤＶＤに記録されている映像および音声の再生が行われる（ステップＳＡ２）。
【００３２】
ここで、信号処理部１０７は、先読みされてバッファに記憶されている音響データをデコードし、音響データが表す音に対応した音響信号を生成する。信号処理部１０７は、音響信号をあらかじめ決められた時間（フレーム）毎に分割する。信号処理部１０７は、フレームに分解された音響信号が示す波形をフーリエ変換して得られた振幅スペクトルの対数を求め、それをフーリエ逆変換してフレームごとのスペクトル包絡を得る。信号処理部１０７は、こうして得られたスペクトル包絡から第１フォルマントおよび第２、第３フォルマントのフォルマント周波数を抽出する。そして、このフォルマント周波数を使用して、音響信号が表す音が人間の声であるか、無音または人間の声以外の音（例えば、ＢＧＭ等のみの音の区間）であるか否かを判断し、人間の声を含まない音から人間の声を含む音への切り替わりと、人間の声を含む音から人間の声を含まない音への切り替わりを検知する。そして、映画コンテンツの再生時間軸上において、音響信号が表す音が人間の声を含む再生区間を検知し、音響信号が表す音が人間の声を含む再生区間の時間を、図１０に示したようにＲＡＭ１０４の音声再生区間テーブルＴＢ１に記憶する。
【００３３】
例えば、図１１に示したように、「００：０５：３０−００：０５：５０」の時間区間と、「００：０６：０５−００：０６：４５」の時間区間とで、人間の声が再生されることを検知すると、図１０に示したように、音声再生区間テーブルＴＢ１に「００：０５：３０−００：０５：５０」の時間区間と、「００：０６：０５−００：０６：４５」の時間区間とが格納される。ここで、音声再生区間テーブルＴＢ１に格納されていない「００：０５：５１−００：０６：０４」の時間区間は、人間の声を含まない音の時間区間である。
【００３４】
ユーザは、再生されているコンテンツを視聴し、学習したいと思うセリフが再生されている最中にキー２３１（練習モードキー）を押下する。ＣＰＵ１０２は、キー２３１が押下されると、再生モードを通常再生モードから発音練習モードへ移行させる（図７：ステップＳＥ１）。再生モードが発音練習モードに移行すると、ＣＰＵ１０２は、ＤＶＤに記録されているコンテンツの再生時間軸上において、キー２３１が押下された時刻を特定する。そして、ＣＰＵ１０２は、特定した時刻を含む時間区間を音声再生区間テーブルＴＢ１から読み出してＲＡＭ１０４に設けられる時間区間格納領域に記憶するとともに、読み出した時間区間の終わりの時刻を抽出する。例えば、特定した時刻が「００：０５：４５」である場合、図１０に示した音声再生区間テーブルＴＢ１から「００：０５：３０−００：０５：５０」が読み出され、この時間区間がＲＡＭ１０４の時間区間格納領域に記憶される。また、時間区間の終わりの時刻として「００：０５：５０」が読み出される。
【００３５】
次にＣＰＵ１０２は、光学ドライブ部１０９と信号処理部１０７とを制御し、時間区間格納領域に記憶された時間区間の終わりの時刻になるまで映像および音声の再生を行う。ＣＰＵ１０２は、ＤＶＤの再生時刻が時間区間の終わりの時刻と一致すると、光学ドライブ部１０９と信号処理部１０７とを制御し、映像および音声の再生を一時停止する（ステップＳＥ２）。
【００３６】
再生モードが発音練習モードであるときにユーザがキー２２３（再生キー）を押下すると（図８：ステップＳＦ５；ＹＥＳ）、ＣＰＵ１０２は、時間区間格納領域に記憶された時間区間を参照し、この時間区間の場面が再生されるように、光学ドライブ部１０９および信号処理部１０７を制御する。そして、ＣＰＵ１０２は、時間区間格納領域に記憶された時間区間の再生が終了すると、映像および音声の再生を一時停止する（ステップＳＦ６）。例えば、時間区間格納領域に記憶された時間区間が「００：０５：３０−００：０５：５０」である場合、「００：０５：３０」から「００：０５：５０」の間の場面が再生される。
【００３７】
また、再生モードが発音練習モードであるときにユーザがキー２２４（採点キー）を押下すると、ＣＰＵ１０２は、時間区間格納領域に記憶されている時間区間の場面が再生されるように、光学ドライブ部１０９および信号処理部１０７を制御する（ステップＳＦ８）。そして、ＣＰＵ１０２は、時間区間格納領域に記憶されている時間区間の場面の再生が終了すると、映像および音声の再生を一時停止する（ステップＳＦ９）。この後、ＣＰＵ１０２は、第１実施形態のステップＳＣ１５〜ステップＳＣ１７の処理と同じ処理（ステップＳＦ１０〜ステップＳＦ１２）を行う。
【００３８】
また、再生モードが発音練習モードであるときにユーザがキー２２１（前文キー）を押下すると（ステップＳＦ１；ＹＥＳ）、ＣＰＵ１０２は、時間区間格納領域に記憶されている時間区間より前の時間区間を音声再生区間テーブルＴＢ１から読み出し、読み出した時間区間を時間区間格納領域に記憶する（ステップＳＦ２）。例えば、時間区間格納領域に「００：０６：０５−００：０６：４５」が記憶されている場合、図１０に示した音声再生区間テーブルＴＢ１から「００：０５：３０−００：０５：５０」が読み出される。ＣＰＵ１０２は時間区間の情報を読み出して記憶すると、この記憶した時間区間の場面が再生されるように、光学ドライブ部１０９および信号処理部１０７を制御する。そして、ＣＰＵ１０２は、この時間区間の場面の再生が終了すると、映像および音声の再生を一時停止する（ステップＳＦ６）。
【００３９】
また、再生モードが発音練習モードであるときにユーザがキー２２２（次文キー）を押下すると（ステップＳＦ３；ＹＥＳ）、ＣＰＵ１０２は、時間区間格納領域に記憶されている時間区間より後の時間区間を音声再生区間テーブルＴＢ１から読み出し、読み出した時間区間を時間区間格納領域に記憶する（ステップＳＦ４）。例えば、時間区間格納領域に「００：０５：３０−００：０５：５０」が記憶されている場合、図１０に示した音声再生区間テーブルＴＢ１から「００：０６：０５−００：０６：４５」が読み出される。ＣＰＵ１０２は、時間区間の情報を読み出して記憶すると、この記憶した時間区間の場面が再生されるように、光学ドライブ部１０９および信号処理部１０７を制御する。そして、ＣＰＵ１０２は、読み出した時間区間の場面の再生が終了すると、映像および音声の再生を一時停止する（ステップＳＦ６）。
【００４０】
一方、再生モードが発音練習モードである時に、ユーザが発音の練習を終了するためにキー２３０（通常再生モードキー）を押下すると、ＣＰＵ１０２は、再生モードを発音練習モードから通常再生モードへ移行させる（図９：ステップＳＧ１）。そしてＣＰＵ１０２は、ＲＡＭ１０４の時間区間格納領域に記憶されている時間区間を読み出し、この読み出した時間区間の始めの時刻から映画の再生が行われるように、光学ドライブ部１０９および信号処理部１０７を制御する（ステップＳＧ２）。例えば、時間区間として「００：０６：０５−００：０６：４５」が読み出された場合、「００：０６：０５」の時点から映像および音声が再生される。
【００４１】
以上説明したように、本実施形態においても、発音練習モードに移行すると、再生中に選択された場面を繰返して再生することが可能となる。また、発音練習モードから通常再生モードに移行すると、発音練習を行っている場面から次の場面へスムーズに移行するので、映画を楽しみつつ、語学の練習を行うことができる。
【００４２】
［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、以下に示すように、他の様々な形態で実施可能である。
【００４３】
上述した実施形態においては、ユーザの発音が良い発音であるか否かを判断する際に用いるしきい値を、ユーザの操作によって変更できるようにしてもよい。また、基準データが表す音声のスペクトル包絡と、ユーザデータが表す音声のスペクトル包絡との差異に応じて、画面に表示するメッセージを異ならせるようにしてもよい。
【００４４】
上述した実施形態においては、コンテンツ再生装置に外国語の辞書を記憶させ、画面に表示される字幕を文字認識し、表示部１０６に表示されている単語の意味を表示部１０６に表示させるようにしてもよい。
【００４５】
上述した第２実施形態においては、人間の声が再生されていない時には、キー２３１（練習モードキー）の入力を受け付けないようにしてもよい。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態に係るコンテンツ再生装置のハードウェア構成を示したブロック図である。
【図２】同コンテンツ再生装置の入力部１０５が備えるマイクロホンとキーの配置を例示した図である。
【図３】ＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図４】ＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図５】ＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図６】ＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図７】第２実施形態に係わるＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図８】第２実施形態に係わるＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図９】第２実施形態に係わるＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図１０】音声再生区間テーブルＴＢ１に格納された再生時刻を例示した図である。
【図１１】第２実施形態の動作を説明するための図である。
【符号の説明】
【００４７】
１０２・・・ＣＰＵ、１０３・・・ＲＯＭ、１０４・・・ＲＡＭ、１０５・・・入力部、１０６・・・表示部、１０７・・・信号処理部、１０８・・・音響再生部、１０９・・・光学ドライブ部、１１０・・・音声処理部、２０１・・・マイクロホン。
【技術分野】
【０００１】
本発明は、記録媒体に記録されたコンテンツを利用して語学学習を行う技術に関する。
【背景技術】
【０００２】
外国映画のセリフは外国語の日常会話を多く含んでいるため、外国映画を記録したビデオテープやＤＶＤ（Digital Versatile Disc）は、単に映画を楽しむためだけでなく語学学習の教材としても利用されている。特にＤＶＤは、ビデオテープと比較して巻きもどしや早送り、繰返し再生等を容易に行うことができ、また、これらの動作を繰返し行ってもビデオテープのように記録媒体が劣化しない。このため、繰返し再生が頻繁に行われる語学学習用として注目されており、近年、ＤＶＤを利用して語学学習を行う技術も考案されている（例えば、特許文献１参照）。
【０００３】
特許文献１には、映画のセリフのリストを表示し、選択されたセリフが発音される場面を再生するシステムが開示されている。このシステムにおいては、学習したいセリフが選択されると、そのセリフが再生される場面が頭出しされ、学習したいセリフの音声が再生される。このシステムにおいて、再生される映像に映画を使用すれば、日常会話等が自然な速さで発音されるので、この発音を聞いてシャドウイングやリスニングを行えば、効果的な語学学習を行うことができる。
【特許文献１】特開２００１−２２２６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、映画の字幕を利用して語学の学習を行う場合、映画を再生して楽しみつつ、覚えたいと思ったセリフを見つけた時には、そのセリフを繰返して再生し、シャドウイングやリスニングを繰返すというような学習方法も考えられる。しかしながら、特許文献１に開示されたシステムにおいては、練習したいセリフを見つけた場合、ＤＶＤの再生を停止して字幕のリストを表示させた後、リスト中から所望のセリフを検索し、リスト中のセリフを選択するという繁雑な操作を行わなければならず、すぐに発音の練習をすることができないという問題がある。また、練習を終了して、練習したセリフの場面から再び映画を楽しむ場合には、ＤＶＤを最初の場面から再生し、練習したセリフの場面まで早送りさせるという面倒な操作を行わなければならず、場面のつながりがなくなって映画を楽しむことができなくなってしまう。
【０００５】
本発明は、上述した背景の下になされたものであり、その目的は、コンテンツの再生中に選択された場面を繰返して再生できるようにするとともに、選択された場面の次の場面へ円滑に移行できるようにすることにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明は、映像と音声とを含むコンテンツが記録された記録媒体から該コンテンツを読み出す読み出し手段と、前記読み出し手段により読み出されたコンテンツに含まれている映像および音声とを再生する再生手段と、第１モードから第２モードへの移行を指示する第１移行指示と、前記第２モードから前記第１モードへの移行を指示する第２移行指示とが入力される指示入力手段と、前記コンテンツ中の音声を解析し、前記コンテンツの再生中において人間の声が含まれる音声が再生される時間区間を特定する解析手段と、前記コンテンツの再生時間軸上において前記指示入力手段に前記第１移行指示が入力された時点を特定し、前記解析手段により特定された時間区間であって、特定された時点を含む時間区間の開始時刻と終了時刻とを特定すると共に、前記第１モードから前記第２モードへ移行させる第１移行手段と、前記第１移行手段で特定された開始時刻から終了時刻までの間のコンテンツが再生されるように前記再生手段を制御する再生制御手段と、前記第２モードである時に、前記指示入力手段に前記第２移行指示が入力された場合、前記第２モードから前記第１モードへ移行させると共に、前記第１移行手段で特定された開始時刻から前記コンテンツが再生されるように前記再生手段を制御する第２移行手段とを有するコンテンツ再生装置を提供する。
【０００７】
また、本発明は、映像と音声と複数の字幕とを含むコンテンツが記録された記録媒体から該コンテンツを読み出す読み出し手段と、前記読み出し手段により読み出されたコンテンツに含まれている映像、音声および字幕とを再生する再生手段と、第１モードから第２モードへの移行を指示する第１移行指示と、前記第２モードから前記第１モードへの移行を指示する第２移行指示とが入力される指示入力手段と、前記読み出し手段により読み出されたコンテンツに含まれている複数の字幕画像の各再生開始時刻を解析する解析手段と、前記コンテンツの再生時間軸上において前記指示入力手段に前記第１移行指示が入力された時点を特定し、この特定された時点で再生されている字幕画像の再生開始時刻を特定すると共に、第１モードから第２モードへ移行させる第１移行手段と、前記第１移行手段で特定された再生開始時刻からコンテンツが再生されるように、前記再生手段を制御し、前記再生開始時間から再生される字幕画像の再生が終了すると、コンテンツの再生が停止されるように前記再生手段を制御する再生制御手段と、前記第２モードである時に、前記指示入力手段に前記第２移行指示が入力された場合、前記第２モードから前記第１モードへ移行させると共に、前記第１移行手段で特定された再生開始時刻から前記コンテンツが再生されるように前記再生手段を制御する第２移行手段とを有するコンテンツ再生装置を提供する。
【発明の効果】
【０００８】
本発明によれば、コンテンツの再生中に選択された場面を繰返して再生できるようになり、また、選択された場面の次の場面へ円滑に移行することができる。
【発明を実施するための最良の形態】
【０００９】
［第１実施形態］
［実施形態の構成］
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態に係るコンテンツ再生装置のハードウェア構成を示したブロック図である。図１に示したように、コンテンツ再生装置の各部は、バス１０１に接続されており、このバス１０１を介して各部間で信号やデータの授受を行う。
【００１０】
光学ドライブ部１０９は、ＭＰＥＧ−２フォーマットに従ってＤＶＤに記録されている映画コンテンツを読み出すものである。光学ドライブ部１０９はＣＰＵ１０２の制御の下、デジタルデータである映像データや音響データ、字幕データ等を含むパケットをＤＶＤから読み出し、読み出したパケットを信号処理部１０７へ出力する。
信号処理部１０７は、光学ドライブ部１０９から出力されたパケットをデコードするものである。信号処理部１０７は、パケットに含まれている音響データをデコードし、音響データが表す音のアナログ信号（音響信号）を生成して音響再生部１０８と音声処理部１１０へ出力する。また、信号処理部１０７は、パケットに含まれている映像データと字幕データとをデコードし、これらのデータが示す画像の映像信号を生成して表示部１０６へ出力する。
【００１１】
音響再生部１０８は、アンプおよびスピーカを備えており（いずれも図示略）、信号処理部１０７から出力された音響信号を増幅し、音響信号が表す音をスピーカから出力する。
表示部１０６は、例えば、液晶ディスプレイ等の表示デバイスを備えており、信号処理部１０７から出力された映像信号に従って、映像や字幕を表示する。また、表示部１０６はＣＰＵ１０２の制御の下、各種メッセージやコンテンツ再生装置を操作するためのメニュー画面等を表示する。
【００１２】
入力部１０５は、図２に例示したように、ユーザの音声を電気信号に変換するマイクロホン２０１と、コンテンツ再生装置を操作するための各種キーとを備えている。マイクロホン２０１は、入力される音声に対応した電気信号（以下、音声信号と称する）を音声処理部１１０へ出力する。
キー２１０〜キー２１２は、ＤＶＤに記録されている映像・音声の再生、早送り、巻き戻しを行う際に使用されるキーである。キー２１０（プレイキー）が押下されると、ＣＰＵ１０２により各部が制御され、ＤＶＤに記録されている映像や音声の再生が行われる。また、キー２１１（早送りキー）が押下されると映像や音声の早送り再生が行われ、キー２１２（巻き戻しキー）が押下されると映像や音声の巻き戻し再生が行われる。
キー２３０およびキー２３１は、ＤＶＤの再生のモードを切替える際に使用されるキーである。キー２３１（練習モードキー）は、ＤＶＤの再生モードを発音の練習を行う発音練習モード（第２モード）に移行させる際に使用され、キー２３０（通常再生モードキー）は、ＤＶＤの通常再生を行う通常再生モード（第１モード）に移行させる際に使用される。
キー２２１〜キー２２４は、ユーザが発音の練習を行う際に使用されるキーである。キー２２１（前文キー）およびキー２２２（次文キー）は、映像や字幕および音声の早送りや巻き戻しを行う際に使用される。また、キー２２３（再生キー）は、選択された場面の再生をする際に使用され、キー２２４（採点キー）は、コンテンツの音声と、ユーザの音声とを比較して、ユーザの音声を採点する際に使用される。
【００１３】
音声処理部１１０は、マイクロホン２０１から出力された音声信号が表す音声と、信号処理部１０７から出力された音響信号が表す音声とを比較するものであり、比較結果をＣＰＵ１０２へ出力する。
ＲＯＭ（Read Only Memory）１０３は、コンテンツ再生装置に各種機能を実現させる制御プログラムを記憶している。ＣＰＵ１０２は、ＲＯＭ１０３から制御プログラムを読出し、ＲＡＭ（Random Access Memory）１０４を作業エリアとして制御プログラムを実行する。ＣＰＵ１０２が制御プログラムを実行すると、ＤＶＤを再生する機能や、ユーザの音声とＤＶＤに記録されている音声とを比較して比較結果を表示する機能等の各種機能がコンテンツ再生装置において実現する。
【００１４】
［実施形態の動作］
次にコンテンツ再生装置の動作について説明する。
ユーザが字幕入りの映画コンテンツが記録されたＤＶＤを光学ドライブ部１０９に挿入すると、ＤＶＤの再生モードが通常再生モードとなり、ユーザがキー２１０（プレイキー）を押下すると（図３：ステップＳＡ１；ＹＥＳ）、ＤＶＤに記録されているコンテンツ（映像や字幕および音声）の再生が行われる（ステップＳＡ２）。具体的には、ＣＰＵ１０２によって光学ドライブ部１０９が制御され、映像データや音声データ、字幕データを含むパケットがＤＶＤから読み出されて信号処理部１０７へ出力される。信号処理部１０７は、読み出されたパケットに含まれている音響データをデコードし、音響データが表す音に対応した音響信号を音響再生部１０８へ出力する。また、信号処理部１０７は、読み出されたパケットに含まれている映像データと字幕データとをデコードし、デコードされた画像を示す映像信号を表示部１０６へ出力する。映像信号が表示部１０６へ出力されると共に、音響信号が音響再生部１０８へ出力されると、音響データが表す音がスピーカから出力され、映像データが表す画像と字幕データが表す字幕とが表示部１０６に表示される。また、信号処理部１０７は、再生中の字幕画像と該字幕の再生開始時刻を示す時刻管理情報とをパケットから抽出し、この抽出した字幕と時刻管理情報とをＲＡＭ１０４に記憶する。
【００１５】
再生モードが通常再生モードであるときにユーザがキー２１１（早送りキー）を押下すると（ステップＳＡ３；ＹＥＳ）、ＣＰＵ１０２によって光学ドライブ部１０９と信号処理部とが制御され、映像と字幕および音声の早送り再生が行われる（ステップＳＡ４）。また、ユーザがキー２１２（巻き戻しキー）を押下すると（ステップＳＡ５；ＹＥＳ）、映像と字幕および音声の巻き戻し再生が行われる（ステップＳＡ６）。
【００１６】
ユーザは、再生されている画像を視聴し、学習したいと思うセリフの字幕が表示された場合、キー２３１（練習モードキー）を押下する。ＣＰＵ１０２は、キー２３１が押下されると、再生モードを通常再生モードから発音練習モードへ移行させる（図４：ステップＳＢ１）。再生モードが発音練習モードに移行すると、ＣＰＵ１０２により光学ドライブ部１０９と信号処理部１０７とが制御され、キー２３１が押下された時に表示されていた字幕の再生が終了するまで映像と字幕および音声の再生が行われる。ＣＰＵ１０２は、キー２３１が押下された時に表示されていた字幕の再生が終了すると、映像と字幕および音声の再生を一時停止する（ステップＳＢ２）。ここでＲＡＭ１０４には、キー２３１が押下された時に再生されていた字幕の再生開始時刻を示す時刻管理情報が記憶される。
【００１７】
再生モードが発音練習モードであるときにユーザがキー２２３（再生キー）を押下すると（図５：ステップＳＣ７；ＹＥＳ）、ＣＰＵ１０２は、ＲＡＭ１０４に記憶されている時刻管理情報を読み出し（ステップＳＣ８）、この時刻管理情報が示す再生開始時刻の場面から映像と字幕および音声の再生が行われるように、光学ドライブ部１０９および信号処理部１０７を制御する（ステップＳＣ９）。この後、ＣＰＵ１０２は、キー２３１が押下された時に表示されている字幕の再生が終了すると、光学ドライブ部１０９と信号処理部１０７とを制御して、映像と字幕および音声の再生を一時停止する（ステップＳＣ１０）。
【００１８】
また、再生モードが発音練習モードであるときにユーザがキー２２４（採点キー）を押下すると（ステップＳＣ１１；ＹＥＳ）、ＣＰＵ１０２は、ＲＡＭ１０４に記憶されている時刻管理情報を読み出し（ステップＳＣ１２）、この時刻管理情報が示す再生開始時刻の場面から映像と字幕および音声の再生が行われるように、光学ドライブ部１０９および信号処理部１０７を制御する（ステップＳＣ１３）。ここで、音響信号は音声処理部１１０へも出力される。音声処理部１１０は、音響信号が入力されると、入力された音響信号をデジタル化し、発音の手本となる基準データとして一時記憶する。ＣＰＵ１０２は、キー２３１が押下された時に表示されていた字幕の再生が終了すると、映像と字幕および音声の再生を一時停止する（ステップＳＣ１４）。
【００１９】
ＣＰＵ１０２は、映像と字幕および音声の再生を一時停止させた後、表示部１０６を制御し、ユーザに発音を促すメッセージを表示する（ステップＳＣ１５）。このメッセージに促されてユーザが発音すると、ユーザの発した音声に対応した音声信号がマイクロホン２０１から音声処理部１１０へ出力される。音声処理部１１０は、マイクロホン２０１から出力された音声信号をデジタル化し、ユーザの発音を示すユーザデータとして一時記憶する。次に音声処理部１１０は、一時記憶されている基準データとユーザデータとを比較する。例えば、音声処理部１１０は、基準データが表す音声波形をフーリエ変換して得られた振幅スペクトルの対数を求め、それをフーリエ逆変換して手本となる音声のスペクトル包絡を得る。また、音声処理部１１０は、ユーザデータが表す音声波形をフーリエ変換して得られた振幅スペクトルの対数を求め、それをフーリエ逆変換してユーザの音声のスペクトル包絡を得る。
【００２０】
次に音声処理部１１０は、基準データが表す音声のスペクトル包絡と、ユーザデータが表す音声のスペクトル包絡とを比較する。そして、基準データが表す音声のスペクトル包絡と、ユーザデータが表す音声のスペクトル包絡との差異が、予め決められたしきい値を超えた場合は、ユーザの発音が悪いものと判断し、予め決められたしきい値を超えていない場合には、ユーザの発音が良いものであると判断する。そして、判断結果を示す判断データをＣＰＵ１０２へ出力する。なお、基準データが表す音声とユーザデータが表す音声との差異は、例えば、特徴的なフォルマントの周波数とスペクトル密度とをスペクトル密度−周波数図に表したときの２点間の距離によって求めてもよいし、特定の周波数においてスペクトル密度を比較することによって求めてもよい。
【００２１】
ＣＰＵ１０２は、判断結果を示す判断データが入力されると（ステップＳＣ１６；ＹＥＳ）、入力された判断データに応じて基準データとユーザデータの比較結果を表示する（ステップＳＣ１７）。例えば、入力された判断データがユーザの発音が悪いことを示している場合には、ＣＰＵ１０２は表示部１０６を制御して「ｂａｄ」というメッセージを表示し、ユーザの発音が悪いことを示している場合には、ＣＰＵ１０２は表示部１０６を制御して「ｇｏｏｄ」というメッセージを表示する。ユーザは、学習したいと思うセリフを繰り返し練習する場合、再度キー２２４を押下する。キー２２４が押下されると、上述したステップＳＣ１２〜ステップＳＣ１７の処理が再度実行される。
【００２２】
また、ＣＰＵ１０２は、再生モードが発音練習モードであるときにキー２２１（前文キー）が押下されると（ステップＳＣ１；ＹＥＳ）、ＲＡＭ１０４に記憶されている時刻管理情報を読み出す（ステップＳＣ２）。そして、ＣＰＵ１０２は、ＲＡＭ１０４から読み出した時刻管理情報が示す再生開始時刻より前に再生される字幕の時刻管理情報をＤＶＤから抽出してＲＡＭ１０４に記憶する（ステップＳＣ３）。この後、ＣＰＵ１０２は、ＲＡＭ１０４に記憶されている時刻管理情報を読み出し、この時刻管理情報が示す再生開始時刻の場面から映像と字幕および音声の再生が行われるように、光学ドライブ部１０９および信号処理部１０７を制御する（ステップＳＣ９）。ＣＰＵ１０２は、字幕の再生が終了すると、映像と字幕および音声の再生を一時停止する（ステップＳＣ１０）。
【００２３】
また、ＣＰＵ１０２は、再生モードが発音練習モードであるときにキー２２２（次文キー）が押下されると（ステップＳＣ４；ＹＥＳ）、ＲＡＭ１０４に記憶されている時刻管理情報を読み出す（ステップＳＣ５）。そして、ＣＰＵ１０２は、ＲＡＭ１０４から読み出した時刻管理情報が示す再生開始時刻より後に再生される字幕の時刻管理情報をＤＶＤから抽出してＲＡＭ１０４に記憶する（ステップＳＣ６）。この後、ＣＰＵ１０２は、上述したステップＳＣ９およびステップＳＣ１０の処理を行う。
【００２４】
一方、再生モードが発音練習モードである時に、ユーザが発音の練習を終了するためにキー２３０（通常再生モードキー）を押下すると、ＣＰＵ１０２は、再生モードを発音練習モードから通常再生モードへ移行させる（図６：ステップＳＤ１）。そしてＣＰＵ１０２は、ＲＡＭ１０４に記憶されている時刻管理情報を読み出し（ステップＳＤ２）、この時刻管理情報が示す再生開始時刻の場面から映画の再生が行われるように、光学ドライブ部１０９および信号処理部１０７を制御する（ステップＳＤ３）。
【００２５】
以上説明したように本実施形態によれば、発音練習モードに移行すると、再生中に選択された場面を繰返して再生することが可能となる。また、発音練習モードから通常再生モードに移行すると、発音練習を行っている場面から次の場面へスムーズに移行するので、映画を楽しみつつ、語学の練習を行うことができる。また、本実施形態によれば、映画コンテンツに含まれている音声を手本として、ユーザの発音をチェックすることができる。また、本実施形態では、一般に市販される映画コンテンツをそのまま語学学習の教材として使用することができるため、コンテンツを楽しみつつ、語学の学習を行うことができる。また、本実施形態では、ＤＶＤに記録されている音声を発音の基準とし、記録されている音声とユーザの音声とを比較するので、どのような言語であってもユーザの発音の良否を判断することができる。
【００２６】
［第２実施形態］
次に本発明の第２実施形態について説明する。本発明の第２実施形態に係る再生装置は、信号処理部１０７の構成と、キー２２１，キー２２２，キー２３０，キー２３１が押下された時の動作が第１実施形態に係る再生装置と異なっている。
【００２７】
本実施形態において、入力部１０５のキー２２１（前文キー）とキー２２２（次文キー）は、ＤＶＤに記録されている映像および音声の早送り、巻き戻しをＤＶＤに記録されているコンテンツ中の音声単位で行う際に使用される。
【００２８】
本実施形態に係る信号処理部１０７は、音響データをデコードして得られる音が人間の音声を含む音であるか、または人間の音声を含まない音であるか判別する。また、信号処理部１０７は、映像データや音響データを格納するバッファを備えている。ＤＶＤに記録されているデータは、先読みされて一端このバッファに格納された後、デコードされる。
【００２９】
ＲＯＭ１０３には、第１実施形態とは異なる制御プログラムが記憶されている。ＣＰＵ１０２が制御プログラムを実行すると、ＤＶＤを再生する機能や、早送りや巻き戻しを行う機能、映画コンテンツ中の音声単位で映像および音声の早送りや巻き戻しを行う機能が実現する。
【００３０】
［第２実施形態の動作］
次に、本実施形態の動作について説明する。なお、キー２１０〜キー２１２が押下された時の動作は第１実施形態と同じであるため、その説明を省略する。
【００３１】
ユーザが映画コンテンツが記録されたＤＶＤを光学ドライブ部１０９に挿入すると、ＤＶＤの再生モードが通常再生モードとなり、ユーザがキー２１０（プレイキー）を押下すると（図３：ステップＳＡ１；ＹＥＳ）、ＤＶＤに記録されている映像および音声の再生が行われる（ステップＳＡ２）。
【００３２】
ここで、信号処理部１０７は、先読みされてバッファに記憶されている音響データをデコードし、音響データが表す音に対応した音響信号を生成する。信号処理部１０７は、音響信号をあらかじめ決められた時間（フレーム）毎に分割する。信号処理部１０７は、フレームに分解された音響信号が示す波形をフーリエ変換して得られた振幅スペクトルの対数を求め、それをフーリエ逆変換してフレームごとのスペクトル包絡を得る。信号処理部１０７は、こうして得られたスペクトル包絡から第１フォルマントおよび第２、第３フォルマントのフォルマント周波数を抽出する。そして、このフォルマント周波数を使用して、音響信号が表す音が人間の声であるか、無音または人間の声以外の音（例えば、ＢＧＭ等のみの音の区間）であるか否かを判断し、人間の声を含まない音から人間の声を含む音への切り替わりと、人間の声を含む音から人間の声を含まない音への切り替わりを検知する。そして、映画コンテンツの再生時間軸上において、音響信号が表す音が人間の声を含む再生区間を検知し、音響信号が表す音が人間の声を含む再生区間の時間を、図１０に示したようにＲＡＭ１０４の音声再生区間テーブルＴＢ１に記憶する。
【００３３】
例えば、図１１に示したように、「００：０５：３０−００：０５：５０」の時間区間と、「００：０６：０５−００：０６：４５」の時間区間とで、人間の声が再生されることを検知すると、図１０に示したように、音声再生区間テーブルＴＢ１に「００：０５：３０−００：０５：５０」の時間区間と、「００：０６：０５−００：０６：４５」の時間区間とが格納される。ここで、音声再生区間テーブルＴＢ１に格納されていない「００：０５：５１−００：０６：０４」の時間区間は、人間の声を含まない音の時間区間である。
【００３４】
ユーザは、再生されているコンテンツを視聴し、学習したいと思うセリフが再生されている最中にキー２３１（練習モードキー）を押下する。ＣＰＵ１０２は、キー２３１が押下されると、再生モードを通常再生モードから発音練習モードへ移行させる（図７：ステップＳＥ１）。再生モードが発音練習モードに移行すると、ＣＰＵ１０２は、ＤＶＤに記録されているコンテンツの再生時間軸上において、キー２３１が押下された時刻を特定する。そして、ＣＰＵ１０２は、特定した時刻を含む時間区間を音声再生区間テーブルＴＢ１から読み出してＲＡＭ１０４に設けられる時間区間格納領域に記憶するとともに、読み出した時間区間の終わりの時刻を抽出する。例えば、特定した時刻が「００：０５：４５」である場合、図１０に示した音声再生区間テーブルＴＢ１から「００：０５：３０−００：０５：５０」が読み出され、この時間区間がＲＡＭ１０４の時間区間格納領域に記憶される。また、時間区間の終わりの時刻として「００：０５：５０」が読み出される。
【００３５】
次にＣＰＵ１０２は、光学ドライブ部１０９と信号処理部１０７とを制御し、時間区間格納領域に記憶された時間区間の終わりの時刻になるまで映像および音声の再生を行う。ＣＰＵ１０２は、ＤＶＤの再生時刻が時間区間の終わりの時刻と一致すると、光学ドライブ部１０９と信号処理部１０７とを制御し、映像および音声の再生を一時停止する（ステップＳＥ２）。
【００３６】
再生モードが発音練習モードであるときにユーザがキー２２３（再生キー）を押下すると（図８：ステップＳＦ５；ＹＥＳ）、ＣＰＵ１０２は、時間区間格納領域に記憶された時間区間を参照し、この時間区間の場面が再生されるように、光学ドライブ部１０９および信号処理部１０７を制御する。そして、ＣＰＵ１０２は、時間区間格納領域に記憶された時間区間の再生が終了すると、映像および音声の再生を一時停止する（ステップＳＦ６）。例えば、時間区間格納領域に記憶された時間区間が「００：０５：３０−００：０５：５０」である場合、「００：０５：３０」から「００：０５：５０」の間の場面が再生される。
【００３７】
また、再生モードが発音練習モードであるときにユーザがキー２２４（採点キー）を押下すると、ＣＰＵ１０２は、時間区間格納領域に記憶されている時間区間の場面が再生されるように、光学ドライブ部１０９および信号処理部１０７を制御する（ステップＳＦ８）。そして、ＣＰＵ１０２は、時間区間格納領域に記憶されている時間区間の場面の再生が終了すると、映像および音声の再生を一時停止する（ステップＳＦ９）。この後、ＣＰＵ１０２は、第１実施形態のステップＳＣ１５〜ステップＳＣ１７の処理と同じ処理（ステップＳＦ１０〜ステップＳＦ１２）を行う。
【００３８】
また、再生モードが発音練習モードであるときにユーザがキー２２１（前文キー）を押下すると（ステップＳＦ１；ＹＥＳ）、ＣＰＵ１０２は、時間区間格納領域に記憶されている時間区間より前の時間区間を音声再生区間テーブルＴＢ１から読み出し、読み出した時間区間を時間区間格納領域に記憶する（ステップＳＦ２）。例えば、時間区間格納領域に「００：０６：０５−００：０６：４５」が記憶されている場合、図１０に示した音声再生区間テーブルＴＢ１から「００：０５：３０−００：０５：５０」が読み出される。ＣＰＵ１０２は時間区間の情報を読み出して記憶すると、この記憶した時間区間の場面が再生されるように、光学ドライブ部１０９および信号処理部１０７を制御する。そして、ＣＰＵ１０２は、この時間区間の場面の再生が終了すると、映像および音声の再生を一時停止する（ステップＳＦ６）。
【００３９】
また、再生モードが発音練習モードであるときにユーザがキー２２２（次文キー）を押下すると（ステップＳＦ３；ＹＥＳ）、ＣＰＵ１０２は、時間区間格納領域に記憶されている時間区間より後の時間区間を音声再生区間テーブルＴＢ１から読み出し、読み出した時間区間を時間区間格納領域に記憶する（ステップＳＦ４）。例えば、時間区間格納領域に「００：０５：３０−００：０５：５０」が記憶されている場合、図１０に示した音声再生区間テーブルＴＢ１から「００：０６：０５−００：０６：４５」が読み出される。ＣＰＵ１０２は、時間区間の情報を読み出して記憶すると、この記憶した時間区間の場面が再生されるように、光学ドライブ部１０９および信号処理部１０７を制御する。そして、ＣＰＵ１０２は、読み出した時間区間の場面の再生が終了すると、映像および音声の再生を一時停止する（ステップＳＦ６）。
【００４０】
一方、再生モードが発音練習モードである時に、ユーザが発音の練習を終了するためにキー２３０（通常再生モードキー）を押下すると、ＣＰＵ１０２は、再生モードを発音練習モードから通常再生モードへ移行させる（図９：ステップＳＧ１）。そしてＣＰＵ１０２は、ＲＡＭ１０４の時間区間格納領域に記憶されている時間区間を読み出し、この読み出した時間区間の始めの時刻から映画の再生が行われるように、光学ドライブ部１０９および信号処理部１０７を制御する（ステップＳＧ２）。例えば、時間区間として「００：０６：０５−００：０６：４５」が読み出された場合、「００：０６：０５」の時点から映像および音声が再生される。
【００４１】
以上説明したように、本実施形態においても、発音練習モードに移行すると、再生中に選択された場面を繰返して再生することが可能となる。また、発音練習モードから通常再生モードに移行すると、発音練習を行っている場面から次の場面へスムーズに移行するので、映画を楽しみつつ、語学の練習を行うことができる。
【００４２】
［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、以下に示すように、他の様々な形態で実施可能である。
【００４３】
上述した実施形態においては、ユーザの発音が良い発音であるか否かを判断する際に用いるしきい値を、ユーザの操作によって変更できるようにしてもよい。また、基準データが表す音声のスペクトル包絡と、ユーザデータが表す音声のスペクトル包絡との差異に応じて、画面に表示するメッセージを異ならせるようにしてもよい。
【００４４】
上述した実施形態においては、コンテンツ再生装置に外国語の辞書を記憶させ、画面に表示される字幕を文字認識し、表示部１０６に表示されている単語の意味を表示部１０６に表示させるようにしてもよい。
【００４５】
上述した第２実施形態においては、人間の声が再生されていない時には、キー２３１（練習モードキー）の入力を受け付けないようにしてもよい。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態に係るコンテンツ再生装置のハードウェア構成を示したブロック図である。
【図２】同コンテンツ再生装置の入力部１０５が備えるマイクロホンとキーの配置を例示した図である。
【図３】ＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図４】ＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図５】ＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図６】ＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図７】第２実施形態に係わるＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図８】第２実施形態に係わるＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図９】第２実施形態に係わるＣＰＵ１０２が行う処理の流れを示したフローチャートである。
【図１０】音声再生区間テーブルＴＢ１に格納された再生時刻を例示した図である。
【図１１】第２実施形態の動作を説明するための図である。
【符号の説明】
【００４７】
１０２・・・ＣＰＵ、１０３・・・ＲＯＭ、１０４・・・ＲＡＭ、１０５・・・入力部、１０６・・・表示部、１０７・・・信号処理部、１０８・・・音響再生部、１０９・・・光学ドライブ部、１１０・・・音声処理部、２０１・・・マイクロホン。
【特許請求の範囲】
【請求項１】
映像と音声とを含むコンテンツが記録された記録媒体から該コンテンツを読み出す読み出し手段と、
前記読み出し手段により読み出されたコンテンツに含まれている映像および音声とを再生する再生手段と、
第１モードから第２モードへの移行を指示する第１移行指示と、前記第２モードから前記第１モードへの移行を指示する第２移行指示とが入力される指示入力手段と、
前記コンテンツ中の音声を解析し、前記コンテンツの再生中において人間の声が含まれる音声が再生される時間区間を特定する解析手段と、
前記コンテンツの再生時間軸上において前記指示入力手段に前記第１移行指示が入力された時点を特定し、前記解析手段により特定された時間区間であって、特定された時点を含む時間区間の開始時刻と終了時刻とを特定すると共に、前記第１モードから前記第２モードへ移行させる第１移行手段と、
前記第１移行手段で特定された開始時刻から終了時刻までの間のコンテンツが再生されるように前記再生手段を制御する再生制御手段と、
前記第２モードである時に、前記指示入力手段に前記第２移行指示が入力された場合、前記第２モードから前記第１モードへ移行させると共に、前記第１移行手段で特定された開始時刻から前記コンテンツが再生されるように前記再生手段を制御する第２移行手段と
を有するコンテンツ再生装置。
【請求項２】
映像と音声と複数の字幕とを含むコンテンツが記録された記録媒体から該コンテンツを読み出す読み出し手段と、
前記読み出し手段により読み出されたコンテンツに含まれている映像、音声および字幕とを再生する再生手段と、
第１モードから第２モードへの移行を指示する第１移行指示と、前記第２モードから前記第１モードへの移行を指示する第２移行指示とが入力される指示入力手段と、
前記読み出し手段により読み出されたコンテンツに含まれている複数の字幕画像の各再生開始時刻を解析する解析手段と、
前記コンテンツの再生時間軸上において前記指示入力手段に前記第１移行指示が入力された時点を特定し、この特定された時点で再生されている字幕画像の再生開始時刻を特定すると共に、第１モードから第２モードへ移行させる第１移行手段と、
前記第１移行手段で特定された再生開始時刻からコンテンツが再生されるように、前記再生手段を制御し、前記再生開始時間から再生される字幕画像の再生が終了すると、コンテンツの再生が停止されるように前記再生手段を制御する再生制御手段と、
前記第２モードである時に、前記指示入力手段に前記第２移行指示が入力された場合、前記第２モードから前記第１モードへ移行させると共に、前記第１移行手段で特定された再生開始時刻から前記コンテンツが再生されるように前記再生手段を制御する第２移行手段と
を有するコンテンツ再生装置。
【請求項１】
映像と音声とを含むコンテンツが記録された記録媒体から該コンテンツを読み出す読み出し手段と、
前記読み出し手段により読み出されたコンテンツに含まれている映像および音声とを再生する再生手段と、
第１モードから第２モードへの移行を指示する第１移行指示と、前記第２モードから前記第１モードへの移行を指示する第２移行指示とが入力される指示入力手段と、
前記コンテンツ中の音声を解析し、前記コンテンツの再生中において人間の声が含まれる音声が再生される時間区間を特定する解析手段と、
前記コンテンツの再生時間軸上において前記指示入力手段に前記第１移行指示が入力された時点を特定し、前記解析手段により特定された時間区間であって、特定された時点を含む時間区間の開始時刻と終了時刻とを特定すると共に、前記第１モードから前記第２モードへ移行させる第１移行手段と、
前記第１移行手段で特定された開始時刻から終了時刻までの間のコンテンツが再生されるように前記再生手段を制御する再生制御手段と、
前記第２モードである時に、前記指示入力手段に前記第２移行指示が入力された場合、前記第２モードから前記第１モードへ移行させると共に、前記第１移行手段で特定された開始時刻から前記コンテンツが再生されるように前記再生手段を制御する第２移行手段と
を有するコンテンツ再生装置。
【請求項２】
映像と音声と複数の字幕とを含むコンテンツが記録された記録媒体から該コンテンツを読み出す読み出し手段と、
前記読み出し手段により読み出されたコンテンツに含まれている映像、音声および字幕とを再生する再生手段と、
第１モードから第２モードへの移行を指示する第１移行指示と、前記第２モードから前記第１モードへの移行を指示する第２移行指示とが入力される指示入力手段と、
前記読み出し手段により読み出されたコンテンツに含まれている複数の字幕画像の各再生開始時刻を解析する解析手段と、
前記コンテンツの再生時間軸上において前記指示入力手段に前記第１移行指示が入力された時点を特定し、この特定された時点で再生されている字幕画像の再生開始時刻を特定すると共に、第１モードから第２モードへ移行させる第１移行手段と、
前記第１移行手段で特定された再生開始時刻からコンテンツが再生されるように、前記再生手段を制御し、前記再生開始時間から再生される字幕画像の再生が終了すると、コンテンツの再生が停止されるように前記再生手段を制御する再生制御手段と、
前記第２モードである時に、前記指示入力手段に前記第２移行指示が入力された場合、前記第２モードから前記第１モードへ移行させると共に、前記第１移行手段で特定された再生開始時刻から前記コンテンツが再生されるように前記再生手段を制御する第２移行手段と
を有するコンテンツ再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−１４９１６３（Ｐ２００７−１４９１６３Ａ）
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願番号】特願２００５−３３８６７４（Ｐ２００５−３３８６７４）
【出願日】平成１７年１１月２４日（２００５．１１．２４）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願日】平成１７年１１月２４日（２００５．１１．２４）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]