情報処理装置および方法
【課題】ユーザに理解しやすく再生する。
【解決手段】映像出力部５１は、映像とともに、映像に対応する字幕やコメント等の付随情報を、図示せぬモニタに表示し、付随情報毎分量計測部４６は、付随情報の、１分間あたりに再生されるデータ量である付随情報毎分量を計測し、再生速度算出部４７は、計測された付随情報毎分量に基づいて、映像および付随情報の再生速度を算出し、再生制御部４８は、再生速度算出部４７により算出された再生速度での、映像および付随情報の再生を制御する。本発明は、例えば、AVストリームを再生する再生装置に適用することができる。
【解決手段】映像出力部５１は、映像とともに、映像に対応する字幕やコメント等の付随情報を、図示せぬモニタに表示し、付随情報毎分量計測部４６は、付随情報の、１分間あたりに再生されるデータ量である付随情報毎分量を計測し、再生速度算出部４７は、計測された付随情報毎分量に基づいて、映像および付随情報の再生速度を算出し、再生制御部４８は、再生速度算出部４７により算出された再生速度での、映像および付随情報の再生を制御する。本発明は、例えば、AVストリームを再生する再生装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法に関し、特に、情報を再生する際、再生する情報をユーザに理解しやすく再生できるようにする情報処理装置および方法に関する。
【背景技術】
【０００２】
近年、テレビジョン放送のデジタル化が進み、また、DVD（Digital Versatile Disk）やBD（Blu-ray Disc（商標））の普及に伴い、映像コンテンツを単に視聴して楽しむだけでなく、映像コンテンツと、その映像コンテンツとともに再生される字幕や関連情報、詳細情報とを併せて楽しむことができるようになった。
【０００３】
また、インターネット上で共有された映像コンテンツの所定の部分に対して、他のユーザが書き込んだコメントを、映像コンテンツとともに楽しむこともできるようになった。
【０００４】
上述のような映像コンテンツの楽しみ方においては、主たる映像コンテンツよりもむしろ関連情報やコメント等の、映像コンテンツに付随する付随情報の重要度が高まり、ユーザは、その付随情報を楽しむために映像コンテンツを視聴するようになりつつある。
【０００５】
しかしながら、上述した付随情報のデータ量は一定ではなく、映像コンテンツのデータ量に対して所定の割合以下であることが保証されているわけでもない。ユーザが映像コンテンツとともに付随情報を楽しむ場合、映像コンテンツに比べて付随情報の方が内容が濃く、ユーザは、理解するのに時間を要することがあり、付随情報の内容を完全に理解するのを諦める場合があった。
【０００６】
そこで、字幕等の副映像の内容の更新に応じて、主映像の静止および再生を制御する手法が提案されている（例えば、特許文献１参照）。
【０００７】
【特許文献１】特開２００３−１３４４７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の手法では、映像の一時停止および再生を繰り返すので、映像および音声が細切れに再生されてしまい、映像自体の把握に影響を及ぼす恐れがある。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、情報を再生する際、再生する情報をユーザに理解しやすく再生できるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の情報処理装置は、第１のデータとともに第２のデータを再生する再生手段と、前記第２のデータの、単位時間あたりに再生されるデータ量である単位時間データ量を計測する計測手段と、前記計測手段により計測された前記第２のデータの前記単位時間データ量に基づいて、前記再生手段による前記第１のデータおよび前記第２のデータの再生を制御する再生制御手段とを備える。
【００１１】
前記情報処理装置には、前記第２のデータの前記単位時間データ量に基づいて、前記第１のデータおよび前記第２のデータの再生速度を算出する再生速度算出手段をさらに設け、前記再生制御手段には、前記再生速度算出手段により算出された前記再生速度での、前記再生手段による前記第１のデータおよび前記第２のデータの再生を制御させることができる。
【００１２】
前記第１のデータは、主データとし、前記第２のデータは、前記主データに付随する副データとすることができる。
【００１３】
前記第１のデータは、映像データとし、前記第２のデータは、前記映像データに付随する文字データとすることができる。
【００１４】
前記情報処理装置には、前記第２のデータの前記単位時間データ量と、前記再生速度との関係を対応付ける対応情報を記憶する記憶手段をさらに設け、前記再生速度算出手段には、前記記憶手段により記憶されている前記対応情報と、前記計測手段により計測された前記第２のデータの前記単位時間データ量とに基づいて、前記再生速度を算出させることができる。
【００１５】
前記対応情報は、前記再生速度が、前記第２のデータの前記単位時間データ量に対して反比例する関係を示すようにできる。
【００１６】
前記情報処理装置には、前記対応情報により示される関係を調整する指示を入力する入力手段をさらに設け、前記再生速度算出手段には、調整が指示された前記対応情報と、前記第２のデータの前記単位時間データ量とに基づいて、前記再生速度を算出させることができる。
【００１７】
前記情報処理装置には、前記第２のデータの前記単位時間データ量に基づいて、前記第１のデータの所定の区間の再生を繰り返す繰り返し回数を設定する繰り返し回数設定手段をさらに設け、前記再生制御手段には、前記再生速度算出手段により算出された前記再生速度での、前記繰り返し回数分の、前記第１のデータおよび前記第２のデータの前記所定の区間の再生を制御させることができる。
【００１８】
前記第１のデータは、前記第２のデータとともに、所定の記録媒体に記録されるようにできる。
【００１９】
前記第１のデータおよび前記第２のデータの両方、または、いずれか一方は、ネットワーク上の所定のサーバに記憶されるようにでき、前記情報処理装置には、前記第１のデータおよび前記第２のデータの両方、または、いずれか一方を、前記所定のサーバとの通信によって取得する通信手段をさらに設けることができる。
【００２０】
前記情報処理装置には、複数の前記計測手段により計測された、前記第２のデータそれぞれの前記単位時間データ量に基づいて、複数の前記再生制御手段による、前記第２のデータそれぞれが付随する前記第１のデータそれぞれの再生の制御に基づいて表示される映像それぞれの表示領域の大きさを設定する表示領域設定手段と、前記表示領域設定手段により設定された表示領域の大きさの前記映像それぞれを合成した合成映像を生成する合成手段とをさらに設け、前記再生手段には、前記合成映像を再生させることができる。
【００２１】
前記情報処理装置には、複数の前記計測手段により計測された、前記第２のデータそれぞれの前記単位時間データ量に基づいて、複数の前記再生制御手段による、前記第２のデータそれぞれが付随する前記第１のデータそれぞれの再生の制御に基づいて表示される映像それぞれの重ね順を設定する重ね順設定手段と、前記重ね順設定手段により設定された重ね順で前記映像それぞれを合成した合成映像を生成する合成手段とをさらに設け、前記再生手段は、前記合成映像を再生させることができる。
【００２２】
前記情報処理装置には、複数の前記計測手段により計測された、前記第２のデータそれぞれの前記単位時間データ量に基づいて、複数の前記再生制御手段による、前記第２のデータそれぞれが付随する前記第１のデータそれぞれの再生の制御に基づいて表示される映像それぞれに対応して出力される音声の音声データの音量レベルを設定する音量設定手段と、前記音量設定手段により設定された音量レベルの前記音声データそれぞれを合成した合成音声データを生成する合成手段とをさらに設けることができる。
【００２３】
本発明の一側面の情報処理方法は、第１のデータとともに第２のデータを再生する再生ステップと、前記第２のデータの、単位時間あたりに再生されるデータ量である単位時間データ量を計測する計測ステップと、前記計測手段により計測された前記第２のデータの前記単位時間データ量に基づいて、前記再生ステップの処理における前記第１のデータおよび前記第２のデータの再生を制御する再生制御ステップとを含む。
【００２４】
本発明の一側面においては、第１のデータとともに第２のデータが再生され、第２のデータの、単位時間あたりに再生されるデータ量である単位時間データ量が計測され、計測手段により計測された第２のデータの単位時間データ量に基づいて、第１のデータおよび第２のデータの再生が制御される。
【発明の効果】
【００２５】
本発明の一側面によれば、情報を再生する際、再生する情報をユーザに理解しやすく再生することが可能となる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について図を参照して説明する。
【００２７】
図１は、本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【００２８】
図１の再生装置１１は、例えば、DVD等の図示せぬ記録媒体に記録されている、所定の方式で符号化されたAV（Audio Visual）ストリームを読み出し、復号することで得られる映像や音声を再生する。
【００２９】
また、再生装置１１は、映像や音楽とともに、映像に対応する字幕やコメント等の文字データ、映像および音楽に関連する関連情報、映像および音楽の詳細を示す詳細情報等を再生する。字幕やコメント、関連情報、および詳細情報等は、映像や音楽に付随する情報であり、以下、付随情報と称する。付随情報は、映像とともに再生される。
【００３０】
再生装置１１が読み出すAVストリームは、例えば、MPEG（Moving Picture Experts Group）2-PS（Program Stream）のデータ形式であり、MPEG2方式に従って符号化された映像ストリーム、音声ストリーム、および付随情報が、MPEG2システムの方式に従って多重化されている。
【００３１】
図１の再生装置１１は、分離部４１、音声復号部４２、映像復号部４３、付随情報復号部４４、基準時刻生成部４５、付随情報毎分量計測部４６、再生速度算出部４７、再生制御部４８、音声出力部４９、映像処理部５０、および映像出力部５１から構成される。
【００３２】
分離部４１は、図示せぬ記録媒体から読み出されたAVストリームから、映像ストリーム、音声ストリーム、符号化された付随情報（以下、適宜、符号化付随情報と称する）、および、AVストリームに挿入されている時刻情報を分離する。分離部４１は、AVストリームから分離した音声ストリームを音声復号部４２に、映像ストリームを映像復号部４３に、符号化付随情報を付随情報復号部４４に、それぞれ供給する。また、分離部４１は、分離した時刻情報を、基準時刻生成部４５および再生制御部４８に供給する。
【００３３】
音声復号部４２は、その内部に図示せぬメモリを有し、そのメモリに、分離部４１から供給された音声ストリームを一時記憶（バッファリング）する。音声復号部４２は、音声ストリームから表示時刻情報を取り出し、再生制御部４８に供給する。音声復号部４２は、所定のタイミングで、バッファリングされた音声ストリームを復号し、その結果得られる音声データを、音声出力部４９に供給する。
【００３４】
映像復号部４３は、その内部に図示せぬメモリを有し、そのメモリに、分離部４１から供給された映像ストリームを一時記憶（バッファリング）する。映像復号部４３は、映像ストリームから表示時刻情報を取り出し、再生制御部４８に供給する。映像復号部４３は、所定のタイミングで、バッファリングされた映像ストリームを復号し、その結果得られる映像データを、映像処理部５０に供給する。
【００３５】
付随情報復号部４４は、その内部に図示せぬメモリを有し、そのメモリに、分離部４１から供給された符号化付随情報を一時記憶（バッファリング）する。付随情報復号部４４は、符号化付随情報から表示時刻情報を取り出し、再生制御部４８に供給する。付随情報復号部４４は、所定のタイミングで、バッファリングされた符号化付随情報を復号し、その結果得られる付随情報を、映像処理部５０に供給する。
【００３６】
基準時刻生成部４５は、分離部４１から供給された時刻情報に含まれる、システムクロックを校正するための情報を基に、27MHzのクロックを校正し、システムクロックを生成して、付随情報毎分量計測部４６および再生制御部４８に供給する。
【００３７】
付随情報毎分量計測部４６は、基準時刻生成部４５からのシステムクロックに基づいて、付随情報復号部４４において、例えば、１分間等の単位時間あたりに復号される符号化付随情報のデータ量（以下、適宜、付随情報毎分量と称する）を計測し、再生速度算出部４７に供給する。
【００３８】
付随情報毎分量の単位は、符号化付随情報が単位時間あたりに復号されるビット数や、付随情報が文字データである場合には、例えば、復号された結果、単位時間あたりに再生（表示）される文字数などとされる。
【００３９】
再生制御部４８は、音声復号部４２、映像復号部４３、および付随情報復号部４４によって復号された音声データ、映像データ、および付随情報の再生を制御する。
【００４０】
より具体的には、再生制御部４８は、音声復号部４２、映像復号部４３、および付随情報復号部４４から供給される表示時刻情報と、基準時刻生成部４５から供給されるシステムクロックとが一致したとき、音声復号部４２、映像復号部４３、および付随情報復号部４４それぞれに復号を指示する。
【００４１】
すなわち、音声復号部４２、映像復号部４３、および付随情報復号部４４は、再生制御部４８から復号が指示されたタイミングで、それぞれの内部に有するメモリにバッファリングされている映像ストリーム、音声ストリーム、および符号化付随情報を、それぞれ復号する。
【００４２】
再生速度算出部４７は、付随情報毎分量計測部４６から供給された付随情報毎分量に基づいて、再生制御部４８の制御により再生される映像データ、音声データ、および付随情報の再生速度を算出する。
【００４３】
さらに、再生制御部４８は、再生速度算出部４７により算出された再生速度での、音声データ、映像データ、および付随情報の再生を制御する。
【００４４】
より具体的には、再生制御部４８は、音声データ、映像データ、および付随情報の再生速度が、再生速度算出部４７により算出された再生速度となるように、表示時刻情報とシステムクロックとが一致する時刻の間隔を調整して、音声復号部４２、映像復号部４３、および付随情報復号部４４に復号を指示する。
【００４５】
音声出力部４９は、図示せぬスピーカに接続されており、音声復号部４２からの音声データに対応する音声を、スピーカより出力する。
【００４６】
映像処理部５０は、映像復号部４３からの映像データと、付随情報復号部４４からの付随情報とを合成し、１つの映像データとして、映像出力部５１に供給する。
【００４７】
映像出力部５１は、映像を表示するモニタ（図示せず）に接続されており、映像処理部５０からの映像データに対応する映像を、モニタに表示する。
【００４８】
次に、図２のブロック図を参照して、図１の再生速度算出部４７の構成例について説明する。
【００４９】
図２の再生速度算出部４７は、再生速度調整量算出部７１、再生速度調整量管理部７２、および逆比算出部７３から構成される。
【００５０】
再生速度調整量算出部７１は、付随情報毎分量計測部４６からの付随情報毎分量と、再生速度調整量管理部７２に記憶されている再生速度調整量対応情報とに基づいて、再生速度調整量を算出し、逆比算出部７３に供給する。再生速度調整量対応情報は、付随情報毎分量と、再生速度の遅さの度合いを表す再生速度調整量との関係を対応付ける情報であり、その詳細は、後述する。
【００５１】
逆比算出部７３は、再生速度調整量算出部７１から供給された再生速度調整量の逆比（逆数）を算出し、再生制御部４８に供給する。
【００５２】
すなわち、再生制御部４８は、音声データ、映像データ、および付随情報の再生速度が、標準再生速度（以下、単に、標準速度と称する）と再生速度調整量の逆比との積で表される再生速度となるように、表示時刻情報およびシステムクロックとが一致する時刻の間隔を調整して、音声復号部４２、映像復号部４３、および付随情報復号部４４に復号を指示する。
【００５３】
次に、図３のフローチャートを参照して、図１の再生装置１１のストリームの再生処理について説明する。
【００５４】
ステップＳ１１において、分離部４１は、図示せぬ記録媒体から読み出されたAVストリームから、映像ストリーム、音声ストリーム、符号化付随情報、および時刻情報を分離する。そして、分離部４１は、そのうちの音声ストリームを音声復号部４２に、映像ストリームを映像復号部４３に、符号化付随情報を付随情報復号部４４に、それぞれ供給する。また、分離部４１は、分離した時刻情報を、基準時刻生成部４５および再生制御部４８に供給する。
【００５５】
ステップＳ１２において、音声復号部４２、映像復号部４３、および付随情報復号部４４は、分離部４１から供給され、それぞれの内部に有するメモリにバッファリングされている映像ストリーム、音声ストリーム、および符号化付随情報を、それぞれ復号する。
【００５６】
ステップＳ１３において、付随情報毎分量計測部４６は、付随情報復号部４４において、１分間あたりに復号される付随情報のデータ量である付随情報毎分量を計測し、再生速度算出部４７に供給する。
【００５７】
ステップＳ１４において、再生速度算出部４７は、付随情報毎分量計測部４６から供給された付随情報毎分量が、所定の値Ｓより小さいか否かを判定する。
【００５８】
ここで、所定の値Ｓは、予め設定された値であり、それより大きい値であれば、ユーザは、標準速度で映像とともに再生（表示）される付随情報を完全に理解することが難しく、それより小さい値であれば、付随情報を完全に理解できるとされる付随情報毎分量を表す。
【００５９】
ステップＳ１４において、付随情報毎分量が、所定の値Ｓより小さくないと判定された場合、処理は、ステップＳ１５に進む。そして、ステップＳ１５において、再生速度算出部４７の再生速度調整量算出部７１は、付随情報毎分量と、再生速度調整量管理部７２に記憶されている再生速度調整量対応情報とに基づいて、再生速度調整量を算出する。
【００６０】
ここで、図４を参照して、再生速度調整量対応情報が示す、付随情報毎分量と再生速度調整量との関係について説明する。
【００６１】
図４において、横軸は、付随情報毎分量を示し、縦軸は、再生速度調整量を示している。
【００６２】
図４に示されるように、付随情報毎分量が０乃至Ｓである場合、再生速度調整量は１となり、付随情報毎分量がＳより小さくない場合、再生速度調整量は、付随情報毎分量に対して比例関係を示す。
【００６３】
すなわち、ステップＳ１５において、再生速度調整量算出部７１は、図４に示される、付随情報毎分量と再生速度調整量との関係に基づいて、付随情報毎分量Ｎに応じた再生速度調整量ｎを求め、逆比算出部７３に供給して、ステップＳ１６に進む。
【００６４】
ステップＳ１６において、逆比算出部７３は、再生速度調整量算出部７１から供給された再生速度調整量ｎの逆比（逆数）１／ｎを算出し、再生制御部４８に供給する。
【００６５】
ステップＳ１７において、再生制御部４８は、標準速度の１／ｎ倍速での、映像、音声、および付随情報の再生を制御する。
【００６６】
具体的には、再生制御部４８は、音声データ、映像データ、および付随情報の再生速度が、標準速度の１／ｎ倍速となるように、表示時刻情報およびシステムクロックとが一致する時刻の間隔を調整して、音声復号部４２、映像復号部４３、および付随情報復号部４４に復号を指示する。例えば、再生制御部４８は、システムクロックのｎクロックのうちの１クロックを、システムクロックとして採用し、そのシステムクロックと表示時刻情報とが一致したとき、音声復号部４２、映像復号部４３、および付随情報復号部４４に復号を指示する。そして、音声復号部４２、映像復号部４３、および付随情報復号部４４は、それぞれの内部に有するメモリにバッファリングされている映像ストリーム、音声ストリーム、および符号化付随情報を、再生制御部４８から復号が指示されたタイミングで復号する。
【００６７】
そして、音声復号部４２は、復号の結果得られた音声データを音声出力部４９に供給し、音声出力部４９は、音声復号部４２からの音声データに対応する音声を、図示せぬスピーカより出力する。また、映像復号部４３および付随情報復号部４４はそれぞれ、復号の結果得られた映像データおよび付随情報を、映像処理部５０に供給し、映像処理部５０は、映像データと付随情報とを合成した、１つの映像データを映像出力部５１に供給する。映像出力部５１は、映像処理部５０からの映像データに対応する映像を、モニタに表示する。
【００６８】
一方、ステップＳ１４において、付随情報毎分量が、所定の値Ｓより小さいと判定された場合、処理は、ステップＳ１８に進む。
【００６９】
ステップＳ１８において、再生速度算出部４７の再生速度調整量算出部７１は、図４に示される、付随情報毎分量と再生速度調整量との関係に基づいて、再生速度調整量を１とし、逆比算出部７３に供給する。逆比算出部７３は、再生速度調整量の逆比（逆数）を算出するが、１である再生速度調整量の逆比は１であるので、再生制御部４８は、標準速度での、映像、音声、および付随情報の再生を制御する。
【００７０】
以上の処理により、再生装置１１は、付随情報毎分量Ｎに応じて、標準速度の１／ｎ倍速で、映像、音声、および付随情報を再生することができる。
【００７１】
このように、付随情報毎分量が多いほど、再生速度が遅くなるので、標準速度では、ユーザが完全に理解することが難しい量の付随情報が、映像とともに表示されるAVストリームであっても、付随情報の量に応じて、再生速度を遅くして、ユーザに理解しやすく再生することが可能となる。
【００７２】
なお、付随情報毎分量と再生速度調整量との関係は、図４を参照して説明したような比例関係に限らず、例えば、図５に示されるように、付随情報毎分量が０乃至Ｓである場合、再生速度調整量は１となり、付随情報毎分量がＳより大きい場合、再生速度調整量は、所定の付随情報毎分量毎に、段階的に増加していくようにしてもよい。この場合、再生速度は、所定の付随情報毎分量毎に、段階的に遅くなる。
【００７３】
次に、図６を参照して、再生装置の他の構成例について説明する。
【００７４】
なお、図６においては、図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図６の再生装置１１１は、再生繰り返し数算出部１４１を新たに備え、再生制御部４８に代わって再生制御部１４２を備えている以外は、基本的に、図１の再生装置１１と同様の構成を有するものである。
【００７５】
図６の再生装置１１１において、付随情報毎分量計測部４６は、付随情報復号部４４において、付随情報毎分量を計測し、再生速度算出部４７および再生繰り返し数算出部１４１に供給する。
【００７６】
再生繰り返し数算出部１４１は、付随情報毎分量計測部４６から供給された付随情報毎分量に基づいて、映像処理部５０の制御により表示される映像および付随情報の、所定の区間の再生を繰り返す再生繰り返し数を設定し、再生制御部１４２に供給する。
【００７７】
ここで、所定の区間は、例えば、映像ストリームに含まれる、シーンの開始時刻を指定するstart情報と、そのシーンの再生時間を秒単位で指定するduration情報で表される区間（時間）を示す。すなわち、所定の区間は、所定の１シーンが再生される時間を示す。
【００７８】
再生制御部１４２は、再生制御部４８と同様の機能を備えるとともに、再生速度算出部４７により算出された再生速度での、再生繰り返し数算出部１４１から供給された再生繰り返し数分、所定の区間の再生を繰り返すように、再生を制御する。
【００７９】
次に、図７のフローチャートを参照して、図６の再生装置１１１のストリームの再生処理について説明する。
【００８０】
図７のフローチャートのステップＳ４１およびＳ４２、並びにステップＳ５０乃至Ｓ５３の処理は、図３のフローチャートのステップＳ１１およびＳ１２、並びにステップＳ１５乃至Ｓ１８の処理と同様であるので、その説明は省略する。
【００８１】
ステップＳ４３において、付随情報毎分量計測部４６は、付随情報復号部４４において、１分間あたりに復号される付随情報毎分量を計測し、再生速度算出部４７および再生繰り返し数算出部１４１に供給する。
【００８２】
ステップＳ４４において、再生速度算出部４７は、付随情報毎分量計測部４６から供給された付随情報毎分量が、所定の値Ｓより小さいか否かを判定する。
【００８３】
ステップＳ４４において、付随情報毎分量が、所定の値Ｓより小さくないと判定された場合、処理は、ステップＳ４５に進み、再生速度算出部４７は、付随情報毎分量が、所定の値Ｍより小さくないか否かを判定する。
【００８４】
ここで、所定の値Ｍは、対応する再生速度調整量ｍにより決定される再生速度が、再生装置１１１における再生速度の下限とされる付随情報毎分量を表す。
【００８５】
ステップＳ４５において、付随情報毎分量が、所定の値Ｍより小さくないと判定された場合、処理は、ステップＳ４６に進み、再生速度算出部４７の再生速度調整量算出部７１は、付随情報毎分量と、再生速度調整量管理部７２に記憶されている再生速度調整量対応情報とに基づいて、再生速度調整量を算出する。
【００８６】
ここで、図８を参照して、再生速度調整量対応情報が示す、付随情報毎分量と再生速度調整量との関係、および付随情報毎分量と再生繰り返し数との関係について説明する。
【００８７】
図８において、横軸は、付随情報毎分量を示し、左側の縦軸は、太線で表される再生速度調整量を示し、右側の縦軸は、太点線で表される再生繰り返し数を示している。
【００８８】
図８に示されるように、付随情報毎分量が０乃至Ｓである場合、再生速度調整量は１となり、付随情報毎分量がＳより大きい場合、再生速度調整量は、付随情報毎分量に対して比例関係を示す。そして、付随情報毎分量がＭより大きい場合、再生速度調整量は、付随情報毎分量に対して一定の値ｍとなる。
【００８９】
すなわち、ステップＳ４６において、再生速度調整量算出部７１は、図８に示される、付随情報毎分量と再生速度調整量との関係に基づいて、再生速度調整量をｍとし、逆比算出部７３に供給して、ステップＳ４７に進む。
【００９０】
ステップＳ４７において、逆比算出部７３は、再生速度調整量算出部７１から供給された再生速度調整量の逆比（逆数）１／ｍを算出し、再生制御部１４２に供給する。
【００９１】
ステップＳ４８において、再生繰り返し数算出部１４１は、付随情報毎分量計測部４６から供給された付随情報毎分量に基づいて、映像の所定の１シーンの再生を繰り返す再生繰り返し数を設定し、再生制御部１４２に供給する。
【００９２】
ここで、図８に示されるように、付随情報毎分量が０乃至Ｍである場合、再生繰り返し数は１となり、付随情報毎分量がＭより大きく、かつ、Ｚより小さい場合、再生繰り返し数は２となる。さらに、付随情報毎分量がＺより大きい場合、再生繰り返し数は３となる。
【００９３】
すなわち、ステップＳ４８において、再生繰り返し数算出部１４１は、図８に示される、付随情報毎分量と再生繰り返し数との関係に基づいて、例えば、付随情報毎分量がＭより大きく、かつ、Ｚより小さい場合には、再生繰り返し数を２とし、再生制御部１４２に供給して、ステップＳ４９に進む。
【００９４】
ステップＳ４９において、再生制御部１４２は、標準速度の１／ｍ倍速での、所定の区間の映像、音声、および付随情報の再生を、再生繰り返し数分、繰り返すように再生を制御する。例えば、再生制御部４８は、標準速度の１／ｍ倍速で、所定の１シーンを２回繰り返すように、映像、音声、および付随情報の再生を制御する。
【００９５】
一方、ステップＳ４５において、付随情報毎分量が、所定の値Ｍより小さいと判定された場合、処理は、ステップＳ５０に進み、最終的に、標準速度の１／ｎ倍速で、映像、音声、および付随情報が再生される。
【００９６】
また、ステップＳ４４において、付随情報毎分量が、所定の値Ｓより小さいと判定された場合、処理は、ステップＳ５３に進み、最終的に、標準速度で、映像、音声、および付随情報が再生される。
【００９７】
以上の処理により、再生装置１１１は、付随情報毎分量Ｎに応じて、標準速度の１／ｎ倍速で、映像、音声、および付随情報を再生するとともに、付随情報毎分量Ｍより大きい場合には、再生速度の下限を維持しながら、所定の区間、繰り返し再生することができる。
【００９８】
このように、最も遅い再生速度で、所定の区間、繰り返し再生されるので、最も遅い再生速度でも、ユーザが完全に理解することが難しい量の付随情報が、映像とともに表示されるAVストリームであっても、ユーザに理解しやすく再生することが可能となる。
【００９９】
なお、上述した説明において、再生が繰り返される区間は、start情報およびduration情報で決まる所定のシーンが再生される時間としたが、例えば、５秒間等の、予め設定された所定の時間であってもよい。また、映像の特徴量の変化を用いて検出されるシーンチェンジの間隔であってもよいし、映像とともに再生される付随情報としての文字列（文字データ）の文脈が切り替わる時点の間隔であってもよい。
【０１００】
また、図８においては、Ｍより大きい付随情報毎分量に対する再生速度を、一定にするようにしたが、例えば、図９に示されるように、付随情報毎分量に応じて再生繰り返し数が増える毎に、ｍまで増加した再生速度調整量を所定の値まで下げる、すなわち、標準速度の１／ｍ倍速まで遅くなった再生速度を所定の再生速度まで速くするようにしてもよい。
【０１０１】
上述した説明において、再生装置は、図示せぬ記録媒体から、映像、音声、および付随情報が含まれる（多重化された）AVストリームを読み出すようにしたが、図１０に示される再生装置２１１のように、インターネット２１０等のネットワークを介して、サーバ２１２からAVストリームに含まれる情報の一部または全部を読み出すようにしてもよい。
【０１０２】
図１１は、サーバ２１２から、AVストリームに含まれる情報の一部を読み出すようにした再生装置２１１の構成例を示している。
【０１０３】
なお、図１１においては、図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１１の再生装置２１１は、分離部４１に代わって分離部２４１を備え、新たに、通信部２４２を備えている以外は、基本的に、図１の再生装置１１と同様の構成を有するものである。
【０１０４】
図１１の再生装置２１１において、分離部２４１は、図示せぬ記録媒体から読み出されたAVストリームから、映像ストリーム、音声ストリーム、および、AVストリームに挿入されている時刻情報を分離し、そのうちの音声ストリームを音声復号部４２に、映像ストリームを映像復号部４３に、それぞれ供給する。また、分離部２４１は、分離した時刻情報を、基準時刻生成部４５および再生制御部４８に供給する。
【０１０５】
通信部２４２は、インターネット２１０を介して、サーバ２１２との通信を行うことで、サーバ２１２から、図示せぬ記録媒体に記憶されているAVストリームに対応する付随情報（符号化付随情報）を取得し、付随情報復号部４４に供給する。
【０１０６】
このような構成により、付随情報が含まれていないAVストリームを読み出して再生する場合でも、再生装置２１１は、サーバ２１２からの付随情報の量に応じて、再生速度を遅くして、ユーザに理解しやすく再生することができる。
【０１０７】
また、図１１の構成では、付随情報をサーバ２１２から取得するようにしたが、映像、音声、および付随情報を含むAVストリームをサーバ２１２から取得する構成としてもよい。さらに、映像および音声を含むAVストリームと、付随情報（符号化付随情報）とをそれぞれ異なるサーバから取得するようにしてもよい。
【０１０８】
なお、図１１の再生装置２１１によるストリームの再生処理については、付随情報をサーバ２１２から取得する点を除いて、図３のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０１０９】
以上においては、再生装置が、再生速度を調整する例について説明してきたが、ユーザ自身が、再生速度を調整することはできなかった。
【０１１０】
そこで、図１２を参照して、ユーザにより再生速度を調整できるようにした再生装置の構成例について説明する。
【０１１１】
なお、図１２においては、図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１２の再生装置３１１は、新たに、操作入力部３４１を備え、再生速度算出部４７に代わって再生速度算出部３４２を備えている以外は、基本的に、図１の再生装置１１と同様の構成を有するものである。
【０１１２】
操作入力部３４１は、例えば、各種の操作ボタンやダイヤル等から構成され、再生装置３１１に対する指示が入力されるとき、ユーザに操作され、その操作内容に対応した操作信号を発生し、再生速度算出部３４２に供給する。
【０１１３】
より具体的には、操作入力部３４１は、再生速度に関する調整が指示されるとき、ユーザにより操作され、その操作内容に対応した操作信号を発生し、再生速度算出部３４２に供給する。
【０１１４】
再生速度算出部３４２は、操作入力部３４１からの操作信号に応じて、算出した再生速度に関する調整を行う。
【０１１５】
次に、図１３のブロック図を参照して、図１２の再生速度算出部３４２の構成例について説明する。
【０１１６】
図１３においては、図２と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１３の再生速度算出部３４２は、逆比算出部７３に代わって逆比算出部３７１を備えている以外は、基本的に、図２の再生速度算出部４７と同様の構成を有するものである。
【０１１７】
逆比算出部３７１は、再生速度調整量算出部７１から供給された再生速度調整量の逆比（逆数）を算出するとともに、その逆比と、操作入力部３４１からの操作信号に応じた所定の係数α（以下、速度調整係数αと称する）とを乗算し、乗算の結果得られた積を、再生制御部４８に供給する。
【０１１８】
例えば、逆比算出部３７１は、算出した再生速度調整量の逆比１／ｎと、速度調整係数αとを乗算し、乗算の結果得られた積α／ｎを、再生制御部４８に供給する。
【０１１９】
速度調整係数αが１未満である場合、積α／ｎは、逆比１／ｎより小さい値となり、再生速度は、標準速度の１／ｎ倍速より遅い再生速度となる。また、速度調整係数αが１より大きい場合、積α／ｎは、逆比１／ｎより大きい値となり、再生速度は、標準速度の１／ｎ倍速より速い再生速度となる。
【０１２０】
次に、図１４のフローチャートを参照して、図１３の再生速度算出部３４２の再生速度算出処理について説明する。
【０１２１】
ステップＳ６１において、再生速度算出部３４２の逆比算出部３７１は、操作入力部３４１が、ユーザによって操作され、速度の調整が指示されたか否かを判定する。
【０１２２】
ステップＳ６１において、速度の調整が指示された場合、処理は、ステップＳ６２に進む。
【０１２３】
ステップＳ６２において、逆比算出部３７１は、再生速度調整量算出部７１から供給された再生速度調整量の逆比１／ｎと、操作入力部３４１からの速度の調整を指示する旨の操作信号に応じた速度調整係数αとを乗算し、乗算の結果得られた積α／ｎを、再生制御部４８に供給する。
【０１２４】
また、ステップＳ６１において、速度の調整が指示されなかった場合、速度の調整が指示されるまで、ステップＳ６１の処理が繰り返される。
【０１２５】
以上の処理により、ユーザの操作に応じた速度調整係数αによって、再生速度を調整することができるので、同じ量の付随情報を理解する速さが異なる複数のユーザに対しても、それぞれのユーザに理解しやすく再生することができる。
【０１２６】
以上においては、操作信号に基づいて、逆比を調整する例に説明してきたが、さらに、再生速度調整量を調整するようにしてもよい。
【０１２７】
図１５は、再生速度調整量をも調整するようにした再生速度算出部の構成例を示している。
【０１２８】
なお、図１５の再生速度算出部３４２は、図１３の再生速度算出部３４２において、再生速度調整量管理部７２に代わって再生速度調整量管理部３７２を備えている以外は、図１３の再生速度算出部３４２と同様の構成を有する。
【０１２９】
再生速度調整量管理部３７２は、再生速度調整量対応情報を記憶する他、操作入力部３４１からの操作信号に応じて、再生速度調整量対応情報を変更する。
【０１３０】
例えば、再生速度調整量対応情報によって示される、図４で説明した付随情報毎分量Ｎと再生速度調整量ｎとの関係において、付随情報毎分量がＳより大きいときに、ｎ＝ｐＮ（ｐは傾き）で示される式を定義する。この場合、再生速度調整量管理部３７２は、傾きｐと、操作入力部３４１からの操作信号に応じた所定の係数β（以下、傾き調整係数βと称する）とを乗算する。すなわち、図４において、付随情報毎分量Ｓより大きいときの、付随情報毎分量Ｎと再生速度調整量ｎとの関係は、ｎ＝βｐＮで示される。
【０１３１】
速度調整係数βが１未満である場合、付随情報毎分量Ｎに対する再生速度調整量ｎは、傾きｐのときより小さい値となり、再生速度は、傾きｐのときより速い再生速度となる。また、速度調整係数βが１より大きい場合、付随情報毎分量Ｎに対する再生速度調整量ｎは、傾きｐのときより大きい値となり、再生速度は、傾きｐのときより遅い再生速度となる。
【０１３２】
次に、図１６のフローチャートを参照して、図１５の再生速度算出部３４２の再生速度算出処理について説明する。
【０１３３】
ステップＳ８１において、再生速度算出部３４２の再生速度調整量管理部３７２は、操作入力部３４１が、ユーザによって操作され、速度の調整が指示されたか否かを判定する。
【０１３４】
ステップＳ８１において、速度の調整が指示された場合、処理は、ステップＳ８２に進む。
【０１３５】
ステップＳ８２において、再生速度調整量管理部３７２は、再生速度調整量対応情報における傾きｐと、操作入力部３４１からの操作信号に応じた傾き調整係数βとを乗算する。
【０１３６】
その後、再生速度調整量算出部７１は、傾き調整係数βが乗じられた付随情報毎分量と再生速度調整量との関係に基づいて、再生速度調整量ｎを求め、逆比算出部３７１は、逆比１／ｎを算出する。なお、このとき、逆比算出部３７１は、操作入力部３４１からの操作信号に応じて、算出した逆比１／ｎと速度調整係数αを乗算してもよい。
【０１３７】
また、ステップＳ８１において、速度の調整が指示されなかった場合、速度の調整が指示されるまで、ステップＳ８１の処理が繰り返される。
【０１３８】
以上の処理により、ユーザの操作に応じた傾き調整係数βによって、最終的に得られる再生速度を調整することができるので、同じ量の付随情報を理解する速さが異なる複数のユーザに対しても、それぞれのユーザに理解しやすく再生することができる。
【０１３９】
また、図１５の再生速度調整量管理部３７２は、複数の再生速度調整量対応情報を記憶し、操作入力部３４１からの操作信号に応じて、再生速度調整量算出部７１によって参照される再生速度調整量対応情報を変更するようにしてもよい。例えば、再生速度調整量管理部３７２は、図４で説明した関係を示す再生速度調整量対応情報、および、図５で説明した関係を示す再生速度調整量対応情報を記憶し、操作入力部３４１からの操作信号に応じて、いずれかの再生速度調整量対応情報を選択するようにしてもよい。
【０１４０】
また、図１５の再生速度調整量管理部３７２は、再生速度調整量対応情報を記憶しているが、操作入力部３４１からの操作信号により、新たな再生速度調整量対応情報を記憶するようにしてもよい。例えば、再生速度調整量管理部３７２は、図４で説明した関係を示す再生速度調整量対応情報を記憶しており、操作入力部３４１からの操作信号により、図５で説明した関係を示す再生速度調整量対応情報を新たに記憶し、ユーザに応じて、いずれかの再生速度調整量対応情報に基づいて、再生を制御するようにしてもよい。
【０１４１】
以上のように、付随情報の量に応じて遅くなった再生速度を、ユーザの操作に応じて、さらに調整することができるので、付随情報を理解する速さに合わせて、ユーザに理解しやすく再生することができる。
【０１４２】
以上においては、単独のAVストリームを扱う例について説明してきたが、複数のAVストリームを再生し、合成して表示する例にも適用することができる。
【０１４３】
図１７は、複数のストリームを再生し、合成して表示する再生装置の実施の形態の構成例を示している。
【０１４４】
図１７の再生装置５３１は、例えば、DVD等の図示せぬ記録媒体や、ネットワーク上の図示せぬサーバから、所定の方式で符号化された複数のAVストリームを読み出し、復号することで得られる複数の映像を、対応する付随情報とともに再生する。
【０１４５】
図１７の再生装置５３１は、再生処理部５４１−１乃至５４１−４、表示領域設定部５４２、映像合成部５４３、および映像出力部５４４から構成される。
【０１４６】
再生処理部５４１−１乃至５４１−４は、それぞれ、図示せぬ記録媒体や、図示せぬサーバから読み出したAVストリームを分離、復号して、得られた映像データを映像合成部５４３に供給する。また、再生処理部５４１−１乃至５４１−４は、それぞれ、読み出したAVストリームについての付随情報毎分量を計測し、表示領域設定部５４２に供給する。
【０１４７】
図１７においては、再生処理部５４１−１は、読み出したストリームＡを復号して得られた映像Ａ’の映像データ（以下、単に、映像Ａ’などとも称する）を、映像合成部５４３に供給するとともに、計測した付随情報毎分量ＮAを、表示領域設定部５４２に供給する。再生処理部５４１−２は、読み出したストリームＢを復号して得られた映像Ｂ’を、映像合成部５４３に供給するとともに、計測した付随情報毎分量ＮBを、表示領域設定部５４２に供給する。
【０１４８】
同様に、再生処理部５４１−３は、読み出したストリームＣを復号して得られた映像Ｃ’を、映像合成部５４３に供給するとともに、計測した付随情報毎分量ＮCを、表示領域設定部５４２に供給する。再生処理部５４１−４は、読み出したストリームＤを復号して得られた映像Ｄ’を、映像合成部５４３に供給するとともに、計測した付随情報毎分量ＮDを、表示領域設定部５４２に供給する。
【０１４９】
表示領域設定部５４２は、再生処理部５４１−１乃至５４１−４から供給された付随情報毎分量ＮA乃至ＮDに基づいて、映像出力部５４４に表示される映像Ａ’乃至Ｄ’それぞれの表示領域の大きさを設定し、映像合成部５４３に供給する。
【０１５０】
映像合成部５４３は、表示領域設定部５４２からの、映像Ａ’乃至Ｄ’それぞれの表示領域の大きさに基づいて、再生処理部５４１−１乃至５４１−４から供給された映像Ａ’乃至Ｄ’を、それぞれ設定された表示領域の大きさにして、合成した合成映像データを生成する。映像合成部５４３は、生成した合成映像データを、映像出力部５４４に供給する。
【０１５１】
映像出力部５４４は、映像を表示するモニタ（図示せず）に接続されており、映像合成部５４３からの合成映像データに対応する合成映像を、モニタに表示する。
【０１５２】
次に、図１８のブロック図を参照して、図１７の再生処理部５４１−１乃至５４１−４の構成例について説明する。なお、再生処理部５４１−１乃至５４１−４は、それぞれ同一の構成を有しており、特に、区別が不要な場合は、単に、再生処理部５４１と称する。
【０１５３】
図１８においては、図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１８の再生処理部５４１は、再生速度算出部４７、音声出力部４９、および映像出力部５１が削除された以外は、基本的に、図１の再生装置１１と同様の構成を有するものである。
【０１５４】
音声復号部４２は、AVストリームのうちの音声ストリームを復号し、その結果得られる音声データを、図示せぬ音声合成部に供給する。
【０１５５】
付随情報毎分量計測部４６は、基準時刻生成部４５からのシステムクロックに基づいて、付随情報毎分量を計測し、表示領域設定部５４２に出力する。
【０１５６】
再生制御部４８は、単に、音声復号部４２、映像復号部４３、および付随情報復号部４４によって復号された音声データ、映像データ、および付随情報の再生を制御する。
【０１５７】
映像処理部５０は、映像復号部４３からの映像データと、付随情報復号部４４からの付随情報とを合成し、１つの映像データとして、映像合成部５４３に供給する。
【０１５８】
次に、図１９のブロック図を参照して、図１７の表示領域設定部５４２の構成例について説明する。
【０１５９】
図１９の表示領域設定部５４２は、表示領域倍率算出部５５１および表示領域倍率管理部５５２から構成される。
【０１６０】
表示領域倍率算出部５５１は、再生処理部５４１−１乃至５４１−４それぞれからの付随情報毎分量ＮA乃至ＮDと、表示領域倍率管理部５５２に記憶されている表示領域倍率対応情報とに基づいて、表示領域倍率を算出し、映像合成部５４３に供給する。表示領域倍率対応情報は、付随情報毎分量と、映像が本来表示される表示領域に対する倍率を表す表示領域倍率との関係を対応付ける情報であり、その詳細は、後述する。
【０１６１】
すなわち、映像合成部５４３は、表示領域設定部５４２からの、映像Ａ’乃至Ｄ’それぞれについての表示領域倍率に基づいて、映像Ａ’乃至Ｄ’が表示されるウィンドウを所定数倍し、１つの映像として合成した合成映像を生成する。
【０１６２】
次に、図２０のフローチャートを参照して、図１７の再生装置５３１の複数ストリームの再生処理について説明する。
【０１６３】
複数ストリームの再生処理において、再生装置５３１の再生処理部５４１−１乃至５４１−４は、それぞれ読み出したAVストリームを、順次、分離、復号する。
【０１６４】
ステップＳ１１１において、再生処理部５４１−１乃至５４１−４それぞれの付随情報毎分量計測部４６は、ストリームＡ乃至Ｄについて、１分間あたりに復号される付随情報毎分量を計測し、表示領域設定部５４２に供給する。
【０１６５】
ステップＳ１１２において、表示領域設定部５４２は、再生処理部５４１−１乃至５４１−４それぞれの付随情報毎分量計測部４６から供給された付随情報毎分量ＮA乃至ＮDのうちのいずれかについて、所定の値Ｓより小さいか否かを判定する。
【０１６６】
ここで、所定の値Ｓは、それより大きい値であれば、映像が表示されるウィンドウの大きさは付随情報に応じて大きくなり、それより小さい値であれば、ウィンドウの大きさは標準の大きさのままとされる付随情報毎分量を表す。
【０１６７】
ステップＳ１１２において、付随情報毎分量が、所定の値Ｓより小さくないと判定された場合、処理は、ステップＳ１１３に進み、表示領域設定部５４２の表示領域倍率算出部５５１は、付随情報毎分量と、表示領域倍率管理部５５２に記憶されている表示領域倍率対応情報とに基づいて、表示領域倍率を算出する。
【０１６８】
ここで、図２１を参照して、表示領域倍率対応情報が示す、付随情報毎分量と表示領域倍率との関係について説明する。
【０１６９】
図２１において、横軸は、付随情報毎分量を示し、縦軸は、表示領域倍率を示している。
【０１７０】
図２１に示されるように、付随情報毎分量が０乃至Ｓである場合、表示領域倍率は１となり、付随情報毎分量がＳより大きい場合、表示領域倍率は、付随情報毎分量に対して比例関係を示す。
【０１７１】
すなわち、ステップＳ１１３において、表示領域倍率算出部５５１は、図２１に示される、付随情報毎分量と表示領域倍率との関係に基づいて、付随情報毎分量Ｎに応じた表示領域倍率ｎwを求め、処理は、ステップＳ１１５に進む。
【０１７２】
一方、ステップＳ１１２において、付随情報毎分量が、所定の値Ｓより小さいと判定された場合、処理は、ステップＳ１１４に進む。
【０１７３】
ステップＳ１１４において、表示領域設定部５４２の表示領域倍率算出部５５１は、図２１に示される、付随情報毎分量と表示領域倍率との関係に基づいて、表示領域倍率ｎwを１とし、処理は、ステップＳ１１５に進む。
【０１７４】
ステップＳ１１５において、表示領域設定部５４２は、全てのストリーム（映像）について、表示領域倍率ｎwを求めたか否かを判定する。
【０１７５】
ステップＳ１１５において、全てのストリーム（映像）について、表示領域倍率ｎwを求めていないと判定された場合、処理は、ステップＳ１１２に戻り、全てのストリーム（映像）について、表示領域倍率ｎwを求めるまで、ステップＳ１１２乃至ステップＳ１１５の処理を繰り返す。
【０１７６】
一方、ステップＳ１１５において、全てのストリーム（映像）について、表示領域倍率ｎwを求めたと判定された場合、表示領域設定部５４２は、全てのストリーム（映像）について求めた表示領域倍率ｎwを映像合成部５４３に供給し、処理は、ステップＳ１１６に進む。
【０１７７】
ステップＳ１１６において、映像合成部５４３は、表示領域設定部５４２からの、映像Ａ’乃至Ｄ’それぞれについての表示領域倍率ｎwに基づいて、映像Ａ’乃至Ｄ’が表示されるウィンドウをそれぞれｎw倍し、１つの映像として合成した合成映像データを生成して、映像出力部５４４に供給する。映像出力部５４４は、映像合成部５４３からの合成映像データに対応する合成映像を、図示せぬモニタに表示する。
【０１７８】
以上の処理により、例えば、再生処理部５４１−１乃至５４１−３から供給された付随情報毎分量ＮA乃至ＮCのそれぞれに応じた表示領域倍率ｎwが、いずれも１で、再生処理部５４１−４から供給された付随情報毎分量ＮDに応じた表示領域倍率ｎwが、１より大きい値であった場合、再生装置５３１は、図２２に示されるように、再生処理部５４１−１からの映像Ａ’が表示されるウィンドウＷ1、再生処理部５４１−２からの映像Ｂ’が表示されるウィンドウＷ2、再生処理部５４１−３からの映像Ｃ’が表示されるウィンドウＷ3それぞれの大きさを、標準の大きさのままとし、再生処理部５４１−４からの映像Ｄ’が表示されるウィンドウＷ4の大きさを、標準の大きさのｎw倍の大きさとした合成映像を、映像出力部５４４に接続されたモニタ（図示せず）に表示することができる。
【０１７９】
また、ｎw倍の大きさのウィンドウＷ1乃至Ｗ4が、全て、映像出力部５４４に接続されたモニタ（図示せず）に表示しきれない程の大きさになってしまう場合、それぞれについての表示領域倍率ｎwの比率に応じた大きさのウィンドウＷ1乃至Ｗ4を表示するようにしてもよい。
【０１８０】
このように、所定の映像についての付随情報毎分量が多いほど、合成映像における、その所定の映像が表示されるウィンドウの大きさが大きくなるので、例えば、コメントが集中している映像の１場面において、ユーザの注意を引くことができ、ユーザに理解しやすく再生することが可能となる。
【０１８１】
以上においては、複数のストリームを再生するにあたり、付随情報毎分量に応じて、ウィンドウの大きさを調整する例について説明してきたが、付随情報毎分量に応じて、見やすさを変化させればよいので、例えば、ウィンドウを重ねて表示し、その順序を調整するようにしてもよい。
【０１８２】
図２３は、複数ストリームを再生させる際、それぞれのウィンドウを重ねて表示し、付随情報毎分量に応じて、その順序を調整するようにした再生装置の実施の形態の構成例を示している。
【０１８３】
なお、図２３においては、図１７と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図２３の再生装置５６１は、表示領域設定部５４２に代わって重ね順設定部５７１を備えている以外は、基本的に、図１７の再生装置５３１と同様の構成を有するものである。
【０１８４】
重ね順設定部５７１は、再生処理部５４１−１乃至５４１−４から供給された付随情報毎分量ＮA乃至ＮDに基づいて、映像出力部５４４に接続されたモニタ（図示せず）に表示される映像Ａ’乃至Ｄ’についての重ね順を設定し、映像合成部５４３に供給する。
【０１８５】
映像合成部５４３は、重ね順設定部５７１からの、映像Ａ’乃至Ｄ’についての重ね順に基づいて、再生処理部５４１−１乃至５４１−４から供給された映像Ａ’乃至Ｄ’を、設定された重ね順に合成することで合成映像データを生成する。
【０１８６】
次に、図２４のフローチャートを参照して、図２３の再生装置５６１の複数ストリームの再生処理について説明する。
【０１８７】
複数ストリームの再生処理において、再生装置５６１の再生処理部５４１−１乃至５４１−４は、それぞれ読み出したAVストリームを、順次、分離、復号する。
【０１８８】
ステップＳ１４１において、再生処理部５４１−１乃至５４１−４それぞれの付随情報毎分量計測部４６は、ストリームＡ乃至Ｄについて、１分間あたりに復号される付随情報毎分量を計測し、重ね順設定部５７１に供給する。
【０１８９】
ステップＳ１４２において、重ね順設定部５７１は、再生処理部５４１−１乃至５４１−４それぞれの付随情報毎分量計測部４６から供給された付随情報毎分量ＮA乃至ＮDに応じて、映像出力部５４４に接続されたモニタ（図示せず）に表示される映像Ａ’乃至Ｄ’についての重ね順を設定し、映像合成部５４３に供給する。
【０１９０】
より具体的には、重ね順設定部５７１は、再生処理部５４１−１乃至５４１−４それぞれから供給された付随情報毎分量ＮA乃至ＮDに対して、データ量の多い順に順位付けを行い、その順位を、順位付けされた付随情報毎分量ＮA乃至ＮDに対応する映像Ａ’乃至Ｄ’の重ね順とする。
【０１９１】
ステップＳ１４３において、映像合成部５４３は、重ね順設定部５７１からの、映像Ａ’乃至Ｄ’それぞれの重ね順に基づいて、再生処理部５４１−１乃至５４１−４から供給された映像Ａ’乃至Ｄ’を、設定された重ね順で合成することで合成映像データを生成し、映像出力部５４４に供給する。映像出力部５４４は、映像合成部５４３からの合成映像データに対応する合成映像を、図示せぬモニタに表示する。
【０１９２】
以上の処理により、例えば、再生処理部５４１−１乃至５４１−４それぞれから供給された付随情報毎分量ＮA乃至ＮDについて、ＮD＞ＮB＝ＮC＞ＮAと順位付けがされた場合、再生装置５６１は、図２５に示されるように、ウィンドウＷ4を最前面に、ウィンドウＷ2およびウィンドウＷ3をウィンドウＷ4の背面に、そして、ウィンドウＷ1を最背面にした合成映像を表示することができる。
【０１９３】
このように、所定の映像についての付随情報毎分量が多いほど、合成映像における、その所定の映像の重ね順が前面になるので、図２２の例と同様に、コメントが集中している映像の１場面において、ユーザの注意を引くことができ、ユーザに理解しやすく再生することが可能となる。
【０１９４】
以上においては、複数ストリームを再生させる際、付随情報毎分量に応じて、ストリーム毎のウィンドウの大きさや重ね順を調整する例について説明してきたが、ウィンドウのみならず、例えば、音量を調整するようにしてもよい。
【０１９５】
図２６は、複数ストリームを再生させる際、ストリーム毎の音量を調整するようにした再生装置の実施の形態の構成例を示している。
【０１９６】
図２６の再生装置６３１は、例えば、DVD等の図示せぬ記録媒体や、ネットワーク上の図示せぬサーバから、所定の方式で符号化された複数のAVストリームを読み出し、復号することで得られる複数の映像に対応する音声を出力する。
【０１９７】
図２６の再生装置６３１は、再生処理部５４１−１乃至５４１−４、音量設定部６４１、音声合成部６４２、および音声出力部６４３から構成される。
【０１９８】
再生処理部５４１−１乃至５４１−４は、それぞれ、図示せぬ記録媒体や、図示せぬサーバから読み出したAVストリームを分離、復号して、得られた音声データを音声合成部６４２に供給する。また、再生処理部５４１−１乃至５４１−４は、それぞれ、読み出したAVストリームについての付随情報毎分量を計測し、音量設定部６４１に供給する。
【０１９９】
図２６においては、再生処理部５４１−１は、読み出したストリームＡを復号して得られた音声Ａ’’の音声データ（以下、単に、音声Ａ’’などとも称する）を、音声合成部６４２に供給するとともに、計測した付随情報毎分量ＮAを、音量設定部６４１に供給する。再生処理部５４１−２は、読み出したストリームＢを復号して得られた音声Ｂ’’を、音声合成部６４２に供給するとともに、計測した付随情報毎分量ＮBを、音量設定部６４１に供給する。
【０２００】
同様に、再生処理部５４１−３は、読み出したストリームＣを復号して得られた音声Ｃ’’を、音声合成部６４２に供給するとともに、計測した付随情報毎分量ＮCを、音量設定部６４１に供給する。再生処理部５４１−４は、読み出したストリームＤを復号して得られた音声Ｄ’’を、音声合成部６４２に供給するとともに、計測した付随情報毎分量ＮDを、音量設定部６４１に供給する。
【０２０１】
音量設定部６４１は、再生処理部５４１−１乃至５４１−４から供給された付随情報毎分量ＮA乃至ＮDに基づいて、音声出力部６４３に出力される音声Ａ’’乃至Ｄ’’それぞれ（の音声データ）の音量レベルを設定し、音声合成部６４２に供給する。
【０２０２】
音声合成部６４２は、音量設定部６４１からの、音声Ａ’’乃至Ｄ’’それぞれの音量レベルに基づいて、再生処理部５４１−１乃至５４１−４から供給された音声Ａ’’乃至Ｄ’’を、それぞれ設定された音量レベルにして、合成した合成音声データを生成する。音声合成部６４２は、生成した合成音声データを、音声出力部６４３に供給する。
【０２０３】
音声出力部６４３は、図示せぬスピーカに接続されており、音声合成部６４２からの合成音声データに対応する音声を、スピーカより出力する。
【０２０４】
次に、図２７のブロック図を参照して、図２６の音量設定部６４１の構成例について説明する。
【０２０５】
図２７の音量設定部６４１は、音量レベル倍率算出部６５１および音量レベル倍率管理部６５２から構成される。
【０２０６】
音量レベル倍率算出部６５１は、再生処理部５４１−１乃至５４１−４それぞれからの付随情報毎分量ＮA乃至ＮDと、音量レベル倍率管理部６５２に記憶されている音量レベル倍率対応情報とに基づいて、音量レベル倍率を算出し、音声合成部６４２に供給する。音量レベル倍率対応情報は、付随情報毎分量と、音声が本来出力される標準の音量レベルに対する倍率を表す音量レベル倍率との関係を対応付ける情報であり、その詳細は、後述する。
【０２０７】
すなわち、音声合成部６４２は、音量設定部６４１からの、音声Ａ’’乃至Ｄ’’それぞれについての音量レベル倍率に基づいて、音声Ａ’’乃至Ｄ’’の音量レベルを所定数倍し、１つの音声として合成した合成音声を生成する。
【０２０８】
次に、図２８のフローチャートを参照して、図２６の再生装置６３１の複数ストリームの再生処理について説明する。
【０２０９】
複数ストリームの再生処理において、再生装置６３１の再生処理部５４１−１乃至５４１−４は、それぞれ読み出したAVストリームを、順次、分離、復号する。
【０２１０】
ステップＳ１７１において、再生処理部５４１−１乃至５４１−４それぞれの付随情報毎分量計測部４６は、ストリームＡ乃至Ｄについて、１分間あたりに復号される付随情報毎分量を計測し、音量設定部６４１に供給する。
【０２１１】
ステップＳ１７２において、音量設定部６４１は、再生処理部５４１−１乃至５４１−４それぞれの付随情報毎分量計測部４６から供給された付随情報毎分量ＮA乃至ＮDのうちのいずれかについて、所定の値Ｓより小さいか否かを判定する。
【０２１２】
ここで、所定の値Ｓは、それより大きい値であれば、音声の音量レベルは付随情報に応じて高くなり、それより小さい値であれば、音声の音量レベルは標準の音量レベルのままとされる付随情報毎分量を表す。
【０２１３】
ステップＳ１７２において、付随情報毎分量が、所定の値Ｓより小さくないと判定された場合、処理は、ステップＳ１７３に進み、音量設定部６４１の音量レベル倍率算出部６５１は、付随情報毎分量と、音量レベル倍率管理部６５２に記憶されている音量レベル倍率対応情報とに基づいて、音量レベル倍率を算出する。
【０２１４】
ここで、図２９を参照して、音量レベル倍率対応情報が示す、付随情報毎分量と音量レベル倍率との関係について説明する。
【０２１５】
図２９において、横軸は、付随情報毎分量を示し、縦軸は、音量レベル倍率を示している。
【０２１６】
図２９に示されるように、付随情報毎分量が０乃至Ｓである場合、音量レベル倍率は１となり、付随情報毎分量がＳより大きい場合、音量レベル倍率は、付随情報毎分量に対して比例関係を示す。
【０２１７】
すなわち、ステップＳ１７３において、音量レベル倍率算出部６５１は、図２９に示される、付随情報毎分量と音量レベル倍率との関係に基づいて、付随情報毎分量Ｎに応じた音量レベル倍率ｎvを求め、処理は、ステップＳ１７５に進む。
【０２１８】
一方、ステップＳ１７２において、付随情報毎分量が、所定の値Ｓより小さいと判定された場合、処理は、ステップＳ１７４に進む。
【０２１９】
ステップＳ１７４において、音量設定部６４１の音量レベル倍率算出部６５１は、図２９に示される、付随情報毎分量と音量レベル倍率との関係に基づいて、音量レベル倍率ｎvを１とし、処理は、ステップＳ１７５に進む。
【０２２０】
ステップＳ１７５において、音量設定部６４１は、全てのストリーム（音声）について、音量レベル倍率ｎvを求めたか否かを判定する。
【０２２１】
ステップＳ１７５において、全てのストリーム（音声）について、音量レベル倍率ｎvを求めていないと判定された場合、処理は、ステップＳ１７２に戻り、全てのストリーム（音声）について、音量レベル倍率ｎvを求めるまで、ステップＳ１７２乃至ステップＳ１７５の処理を繰り返す。
【０２２２】
一方、ステップＳ１７５において、全てのストリーム（音声）について、音量レベル倍率ｎvを求めたと判定された場合、音量設定部６４１は、全てのストリーム（音声）について求めた音量レベル倍率ｎvを音声合成部６４２に供給し、処理は、ステップＳ１７６に進む。
【０２２３】
ステップＳ１７６において、音声合成部６４２は、音量設定部６４１からの、音声Ａ’’乃至Ｄ’’それぞれについての音量レベル倍率ｎvに基づいて、音声Ａ’’乃至Ｄ’’の音量レベルをそれぞれｎv倍し、１つの音声として合成した合成音声データを生成して、音声出力部６４３に供給する。音声出力部６４３は、音声合成部６４２からの合成音声データに対応する音声を、図示せぬスピーカより出力する。
【０２２４】
以上の処理により、再生装置６３１は、例えば、図３０に示されるように、再生処理部５４１−１乃至５４１−４から供給された付随情報毎分量ＮA乃至ＮDに応じて、映像Ａ’に対応して出力される音声Ａ’’の音量レベルをｎv倍したボリュームａの音声、映像Ｂ’に対応して出力される音声Ｂ’’の音量レベルをｎv倍したボリュームｂの音声、映像Ｃ’に対応して出力される音声Ｃ’’の音量レベルをｎv倍したボリュームｃの音声、および、映像Ｄ’に対応して出力される音声Ｄ’’の音量レベルをｎv倍したボリュームｄの音声を合成した合成音声を出力するようにすることができる。
【０２２５】
このように、所定の映像についての付随情報毎分量が多いほど、合成音声における、その所定の映像に対応した音声の音量レベルが高くなるので、図２２や図２５の例と同様に、コメントが集中している映像の１場面において、ユーザの注意を引くことができ、ユーザに理解しやすく再生することが可能となる。
【０２２６】
以上のように、再生装置では、映像とともに付随情報を再生し、付随情報の、単位時間あたりに再生されるデータ量である付随情報毎分量を計測し、計測された付随情報毎分量に基づいて、映像および付随情報の再生を制御するので、標準速度では、ユーザが完全に理解することが難しい量の付随情報が、映像とともに表示されるAVストリームであっても、付随情報の量に応じて、再生速度を遅くして、ユーザに理解しやすく再生することが可能となる。
【０２２７】
また、本発明をAVストリームを再生する再生装置に適用した実施の形態について説明したが、本発明は、映像コンテンツを再生する機能を有する、その他の情報処理装置に適用することができる。
【０２２８】
なお、上述した説明においては、再生の対象を、映像とともに付随情報が表示されるAVストリームとしたが、図および文字が表示されたスライドを連続して再生するスライドショー機能を有するプレゼンテーション用アプリケーション等を対象としてもよい。
【０２２９】
上述した再生処理の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２３０】
図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３１】
コンピュータにおいて、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。
【０２３２】
バス８０４には、さらに、入出力インターフェース８０５が接続されている。入出力インターフェース８０５には、キーボード、マウス、マイクロホン等よりなる入力部８０６、ディスプレイ、スピーカ等よりなる出力部８０７、ハードディスクや不揮発性のメモリ等よりなる記憶部８０８、ネットワークインタフェース等よりなる通信部８０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア８１１を駆動するドライブ８１０が接続されている。
【０２３３】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インターフェース８０５およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。
【０２３４】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア８１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２３５】
そして、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インターフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。
【０２３６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２３８】
【図１】本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【図２】再生速度算出部の構成例を示すブロック図である。
【図３】図１の再生装置のストリームの再生処理を説明するフローチャートである。
【図４】顔付随情報毎分量と再生速度調整量との関係について説明する図である。
【図５】顔付随情報毎分量と再生速度調整量との関係について説明する図である。
【図６】再生装置の他の構成例を示すブロック図である。
【図７】図６の再生装置のストリームの再生処理を説明するフローチャートである。
【図８】付随情報毎分量と再生速度調整量との関係、および付随情報毎分量と再生繰り返し数との関係について説明する図である。
【図９】付随情報毎分量と再生速度調整量との関係、および付随情報毎分量と再生繰り返し数との関係について説明する図である。
【図１０】ネットワークに接続される再生装置を説明するブロック図である。
【図１１】再生装置のさらに他の構成例を示すブロック図である。
【図１２】再生装置のさらに他の構成例を示すブロック図である。
【図１３】図１２の再生速度算出部の構成例を示すブロック図である。
【図１４】図１３の再生速度算出部の再生速度算出処理を説明するフローチャートである。
【図１５】図１２の再生速度算出部の他の構成例を示すブロック図である。
【図１６】図１５の再生速度算出部の再生速度算出処理を説明するフローチャートである。
【図１７】再生装置の他の実施の形態の構成例を示すブロック図である。
【図１８】図１７の再生処理部の構成例を示すブロック図である。
【図１９】図１７の表示領域設定部の構成例を示すブロック図である。
【図２０】図１７の再生装置の複数ストリームの再生処理を説明するフローチャートである。
【図２１】付随情報毎分量と表示領域倍率との関係について説明する図である。
【図２２】映像出力部の表示の例について説明する図である。
【図２３】再生装置の他の構成例を示すブロック図である。
【図２４】図２３の再生装置の複数ストリームの再生処理を説明するフローチャートである。
【図２５】映像出力部の表示の他の例について説明する図である。
【図２６】再生装置のさらに他の構成例を示すブロック図である。
【図２７】図２６の音量設定部の構成例を示すブロック図である。
【図２８】図２６の再生装置の複数ストリームの再生処理を説明するフローチャートである。
【図２９】付随情報毎分量と音量レベル倍率との関係について説明する図である。
【図３０】音声出力部の音声出力の例について説明する図である。
【図３１】本発明が適用される再生装置として機能するコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０２３９】
１１ 再生装置， ４２ 音声復号部， ４３ 映像復号部， ４４ 付随情報復号部， ４６ 付随情報毎分量計測部， ４７ 再生速度算出部， ４８ 再生制御部， ７１ 再生速度調整量算出部， ７２ 再生速度調整量管理部， ７３ 逆比算出部， １４１ 再生繰り返し数算出部， ２１１ 再生装置， ２４２ 通信部， ３４１ 操作入力部， ３４２ 再生速度算出部， ３７１ 逆比算出部， ３７２ 再生速度調整量管理部， ５３１ 再生装置， ５４１−１乃至５４１−４ 再生処理部， ５４２ 表示領域設定部， ５４３ 映像合成部， ５５１ 表示領域倍率算出部， ５５２ 表示領域倍率管理部， ５６１ 再生装置， ５７１ 重ね順設定部， ６３１ 再生装置 ６４１ 音量設定部， ６４２ 音声合成部， ６５１ 音量レベル倍率算出部， ６５２ 音量レベル倍率管理部
【技術分野】
【０００１】
本発明は、情報処理装置および方法に関し、特に、情報を再生する際、再生する情報をユーザに理解しやすく再生できるようにする情報処理装置および方法に関する。
【背景技術】
【０００２】
近年、テレビジョン放送のデジタル化が進み、また、DVD（Digital Versatile Disk）やBD（Blu-ray Disc（商標））の普及に伴い、映像コンテンツを単に視聴して楽しむだけでなく、映像コンテンツと、その映像コンテンツとともに再生される字幕や関連情報、詳細情報とを併せて楽しむことができるようになった。
【０００３】
また、インターネット上で共有された映像コンテンツの所定の部分に対して、他のユーザが書き込んだコメントを、映像コンテンツとともに楽しむこともできるようになった。
【０００４】
上述のような映像コンテンツの楽しみ方においては、主たる映像コンテンツよりもむしろ関連情報やコメント等の、映像コンテンツに付随する付随情報の重要度が高まり、ユーザは、その付随情報を楽しむために映像コンテンツを視聴するようになりつつある。
【０００５】
しかしながら、上述した付随情報のデータ量は一定ではなく、映像コンテンツのデータ量に対して所定の割合以下であることが保証されているわけでもない。ユーザが映像コンテンツとともに付随情報を楽しむ場合、映像コンテンツに比べて付随情報の方が内容が濃く、ユーザは、理解するのに時間を要することがあり、付随情報の内容を完全に理解するのを諦める場合があった。
【０００６】
そこで、字幕等の副映像の内容の更新に応じて、主映像の静止および再生を制御する手法が提案されている（例えば、特許文献１参照）。
【０００７】
【特許文献１】特開２００３−１３４４７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の手法では、映像の一時停止および再生を繰り返すので、映像および音声が細切れに再生されてしまい、映像自体の把握に影響を及ぼす恐れがある。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、情報を再生する際、再生する情報をユーザに理解しやすく再生できるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の情報処理装置は、第１のデータとともに第２のデータを再生する再生手段と、前記第２のデータの、単位時間あたりに再生されるデータ量である単位時間データ量を計測する計測手段と、前記計測手段により計測された前記第２のデータの前記単位時間データ量に基づいて、前記再生手段による前記第１のデータおよび前記第２のデータの再生を制御する再生制御手段とを備える。
【００１１】
前記情報処理装置には、前記第２のデータの前記単位時間データ量に基づいて、前記第１のデータおよび前記第２のデータの再生速度を算出する再生速度算出手段をさらに設け、前記再生制御手段には、前記再生速度算出手段により算出された前記再生速度での、前記再生手段による前記第１のデータおよび前記第２のデータの再生を制御させることができる。
【００１２】
前記第１のデータは、主データとし、前記第２のデータは、前記主データに付随する副データとすることができる。
【００１３】
前記第１のデータは、映像データとし、前記第２のデータは、前記映像データに付随する文字データとすることができる。
【００１４】
前記情報処理装置には、前記第２のデータの前記単位時間データ量と、前記再生速度との関係を対応付ける対応情報を記憶する記憶手段をさらに設け、前記再生速度算出手段には、前記記憶手段により記憶されている前記対応情報と、前記計測手段により計測された前記第２のデータの前記単位時間データ量とに基づいて、前記再生速度を算出させることができる。
【００１５】
前記対応情報は、前記再生速度が、前記第２のデータの前記単位時間データ量に対して反比例する関係を示すようにできる。
【００１６】
前記情報処理装置には、前記対応情報により示される関係を調整する指示を入力する入力手段をさらに設け、前記再生速度算出手段には、調整が指示された前記対応情報と、前記第２のデータの前記単位時間データ量とに基づいて、前記再生速度を算出させることができる。
【００１７】
前記情報処理装置には、前記第２のデータの前記単位時間データ量に基づいて、前記第１のデータの所定の区間の再生を繰り返す繰り返し回数を設定する繰り返し回数設定手段をさらに設け、前記再生制御手段には、前記再生速度算出手段により算出された前記再生速度での、前記繰り返し回数分の、前記第１のデータおよび前記第２のデータの前記所定の区間の再生を制御させることができる。
【００１８】
前記第１のデータは、前記第２のデータとともに、所定の記録媒体に記録されるようにできる。
【００１９】
前記第１のデータおよび前記第２のデータの両方、または、いずれか一方は、ネットワーク上の所定のサーバに記憶されるようにでき、前記情報処理装置には、前記第１のデータおよび前記第２のデータの両方、または、いずれか一方を、前記所定のサーバとの通信によって取得する通信手段をさらに設けることができる。
【００２０】
前記情報処理装置には、複数の前記計測手段により計測された、前記第２のデータそれぞれの前記単位時間データ量に基づいて、複数の前記再生制御手段による、前記第２のデータそれぞれが付随する前記第１のデータそれぞれの再生の制御に基づいて表示される映像それぞれの表示領域の大きさを設定する表示領域設定手段と、前記表示領域設定手段により設定された表示領域の大きさの前記映像それぞれを合成した合成映像を生成する合成手段とをさらに設け、前記再生手段には、前記合成映像を再生させることができる。
【００２１】
前記情報処理装置には、複数の前記計測手段により計測された、前記第２のデータそれぞれの前記単位時間データ量に基づいて、複数の前記再生制御手段による、前記第２のデータそれぞれが付随する前記第１のデータそれぞれの再生の制御に基づいて表示される映像それぞれの重ね順を設定する重ね順設定手段と、前記重ね順設定手段により設定された重ね順で前記映像それぞれを合成した合成映像を生成する合成手段とをさらに設け、前記再生手段は、前記合成映像を再生させることができる。
【００２２】
前記情報処理装置には、複数の前記計測手段により計測された、前記第２のデータそれぞれの前記単位時間データ量に基づいて、複数の前記再生制御手段による、前記第２のデータそれぞれが付随する前記第１のデータそれぞれの再生の制御に基づいて表示される映像それぞれに対応して出力される音声の音声データの音量レベルを設定する音量設定手段と、前記音量設定手段により設定された音量レベルの前記音声データそれぞれを合成した合成音声データを生成する合成手段とをさらに設けることができる。
【００２３】
本発明の一側面の情報処理方法は、第１のデータとともに第２のデータを再生する再生ステップと、前記第２のデータの、単位時間あたりに再生されるデータ量である単位時間データ量を計測する計測ステップと、前記計測手段により計測された前記第２のデータの前記単位時間データ量に基づいて、前記再生ステップの処理における前記第１のデータおよび前記第２のデータの再生を制御する再生制御ステップとを含む。
【００２４】
本発明の一側面においては、第１のデータとともに第２のデータが再生され、第２のデータの、単位時間あたりに再生されるデータ量である単位時間データ量が計測され、計測手段により計測された第２のデータの単位時間データ量に基づいて、第１のデータおよび第２のデータの再生が制御される。
【発明の効果】
【００２５】
本発明の一側面によれば、情報を再生する際、再生する情報をユーザに理解しやすく再生することが可能となる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について図を参照して説明する。
【００２７】
図１は、本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【００２８】
図１の再生装置１１は、例えば、DVD等の図示せぬ記録媒体に記録されている、所定の方式で符号化されたAV（Audio Visual）ストリームを読み出し、復号することで得られる映像や音声を再生する。
【００２９】
また、再生装置１１は、映像や音楽とともに、映像に対応する字幕やコメント等の文字データ、映像および音楽に関連する関連情報、映像および音楽の詳細を示す詳細情報等を再生する。字幕やコメント、関連情報、および詳細情報等は、映像や音楽に付随する情報であり、以下、付随情報と称する。付随情報は、映像とともに再生される。
【００３０】
再生装置１１が読み出すAVストリームは、例えば、MPEG（Moving Picture Experts Group）2-PS（Program Stream）のデータ形式であり、MPEG2方式に従って符号化された映像ストリーム、音声ストリーム、および付随情報が、MPEG2システムの方式に従って多重化されている。
【００３１】
図１の再生装置１１は、分離部４１、音声復号部４２、映像復号部４３、付随情報復号部４４、基準時刻生成部４５、付随情報毎分量計測部４６、再生速度算出部４７、再生制御部４８、音声出力部４９、映像処理部５０、および映像出力部５１から構成される。
【００３２】
分離部４１は、図示せぬ記録媒体から読み出されたAVストリームから、映像ストリーム、音声ストリーム、符号化された付随情報（以下、適宜、符号化付随情報と称する）、および、AVストリームに挿入されている時刻情報を分離する。分離部４１は、AVストリームから分離した音声ストリームを音声復号部４２に、映像ストリームを映像復号部４３に、符号化付随情報を付随情報復号部４４に、それぞれ供給する。また、分離部４１は、分離した時刻情報を、基準時刻生成部４５および再生制御部４８に供給する。
【００３３】
音声復号部４２は、その内部に図示せぬメモリを有し、そのメモリに、分離部４１から供給された音声ストリームを一時記憶（バッファリング）する。音声復号部４２は、音声ストリームから表示時刻情報を取り出し、再生制御部４８に供給する。音声復号部４２は、所定のタイミングで、バッファリングされた音声ストリームを復号し、その結果得られる音声データを、音声出力部４９に供給する。
【００３４】
映像復号部４３は、その内部に図示せぬメモリを有し、そのメモリに、分離部４１から供給された映像ストリームを一時記憶（バッファリング）する。映像復号部４３は、映像ストリームから表示時刻情報を取り出し、再生制御部４８に供給する。映像復号部４３は、所定のタイミングで、バッファリングされた映像ストリームを復号し、その結果得られる映像データを、映像処理部５０に供給する。
【００３５】
付随情報復号部４４は、その内部に図示せぬメモリを有し、そのメモリに、分離部４１から供給された符号化付随情報を一時記憶（バッファリング）する。付随情報復号部４４は、符号化付随情報から表示時刻情報を取り出し、再生制御部４８に供給する。付随情報復号部４４は、所定のタイミングで、バッファリングされた符号化付随情報を復号し、その結果得られる付随情報を、映像処理部５０に供給する。
【００３６】
基準時刻生成部４５は、分離部４１から供給された時刻情報に含まれる、システムクロックを校正するための情報を基に、27MHzのクロックを校正し、システムクロックを生成して、付随情報毎分量計測部４６および再生制御部４８に供給する。
【００３７】
付随情報毎分量計測部４６は、基準時刻生成部４５からのシステムクロックに基づいて、付随情報復号部４４において、例えば、１分間等の単位時間あたりに復号される符号化付随情報のデータ量（以下、適宜、付随情報毎分量と称する）を計測し、再生速度算出部４７に供給する。
【００３８】
付随情報毎分量の単位は、符号化付随情報が単位時間あたりに復号されるビット数や、付随情報が文字データである場合には、例えば、復号された結果、単位時間あたりに再生（表示）される文字数などとされる。
【００３９】
再生制御部４８は、音声復号部４２、映像復号部４３、および付随情報復号部４４によって復号された音声データ、映像データ、および付随情報の再生を制御する。
【００４０】
より具体的には、再生制御部４８は、音声復号部４２、映像復号部４３、および付随情報復号部４４から供給される表示時刻情報と、基準時刻生成部４５から供給されるシステムクロックとが一致したとき、音声復号部４２、映像復号部４３、および付随情報復号部４４それぞれに復号を指示する。
【００４１】
すなわち、音声復号部４２、映像復号部４３、および付随情報復号部４４は、再生制御部４８から復号が指示されたタイミングで、それぞれの内部に有するメモリにバッファリングされている映像ストリーム、音声ストリーム、および符号化付随情報を、それぞれ復号する。
【００４２】
再生速度算出部４７は、付随情報毎分量計測部４６から供給された付随情報毎分量に基づいて、再生制御部４８の制御により再生される映像データ、音声データ、および付随情報の再生速度を算出する。
【００４３】
さらに、再生制御部４８は、再生速度算出部４７により算出された再生速度での、音声データ、映像データ、および付随情報の再生を制御する。
【００４４】
より具体的には、再生制御部４８は、音声データ、映像データ、および付随情報の再生速度が、再生速度算出部４７により算出された再生速度となるように、表示時刻情報とシステムクロックとが一致する時刻の間隔を調整して、音声復号部４２、映像復号部４３、および付随情報復号部４４に復号を指示する。
【００４５】
音声出力部４９は、図示せぬスピーカに接続されており、音声復号部４２からの音声データに対応する音声を、スピーカより出力する。
【００４６】
映像処理部５０は、映像復号部４３からの映像データと、付随情報復号部４４からの付随情報とを合成し、１つの映像データとして、映像出力部５１に供給する。
【００４７】
映像出力部５１は、映像を表示するモニタ（図示せず）に接続されており、映像処理部５０からの映像データに対応する映像を、モニタに表示する。
【００４８】
次に、図２のブロック図を参照して、図１の再生速度算出部４７の構成例について説明する。
【００４９】
図２の再生速度算出部４７は、再生速度調整量算出部７１、再生速度調整量管理部７２、および逆比算出部７３から構成される。
【００５０】
再生速度調整量算出部７１は、付随情報毎分量計測部４６からの付随情報毎分量と、再生速度調整量管理部７２に記憶されている再生速度調整量対応情報とに基づいて、再生速度調整量を算出し、逆比算出部７３に供給する。再生速度調整量対応情報は、付随情報毎分量と、再生速度の遅さの度合いを表す再生速度調整量との関係を対応付ける情報であり、その詳細は、後述する。
【００５１】
逆比算出部７３は、再生速度調整量算出部７１から供給された再生速度調整量の逆比（逆数）を算出し、再生制御部４８に供給する。
【００５２】
すなわち、再生制御部４８は、音声データ、映像データ、および付随情報の再生速度が、標準再生速度（以下、単に、標準速度と称する）と再生速度調整量の逆比との積で表される再生速度となるように、表示時刻情報およびシステムクロックとが一致する時刻の間隔を調整して、音声復号部４２、映像復号部４３、および付随情報復号部４４に復号を指示する。
【００５３】
次に、図３のフローチャートを参照して、図１の再生装置１１のストリームの再生処理について説明する。
【００５４】
ステップＳ１１において、分離部４１は、図示せぬ記録媒体から読み出されたAVストリームから、映像ストリーム、音声ストリーム、符号化付随情報、および時刻情報を分離する。そして、分離部４１は、そのうちの音声ストリームを音声復号部４２に、映像ストリームを映像復号部４３に、符号化付随情報を付随情報復号部４４に、それぞれ供給する。また、分離部４１は、分離した時刻情報を、基準時刻生成部４５および再生制御部４８に供給する。
【００５５】
ステップＳ１２において、音声復号部４２、映像復号部４３、および付随情報復号部４４は、分離部４１から供給され、それぞれの内部に有するメモリにバッファリングされている映像ストリーム、音声ストリーム、および符号化付随情報を、それぞれ復号する。
【００５６】
ステップＳ１３において、付随情報毎分量計測部４６は、付随情報復号部４４において、１分間あたりに復号される付随情報のデータ量である付随情報毎分量を計測し、再生速度算出部４７に供給する。
【００５７】
ステップＳ１４において、再生速度算出部４７は、付随情報毎分量計測部４６から供給された付随情報毎分量が、所定の値Ｓより小さいか否かを判定する。
【００５８】
ここで、所定の値Ｓは、予め設定された値であり、それより大きい値であれば、ユーザは、標準速度で映像とともに再生（表示）される付随情報を完全に理解することが難しく、それより小さい値であれば、付随情報を完全に理解できるとされる付随情報毎分量を表す。
【００５９】
ステップＳ１４において、付随情報毎分量が、所定の値Ｓより小さくないと判定された場合、処理は、ステップＳ１５に進む。そして、ステップＳ１５において、再生速度算出部４７の再生速度調整量算出部７１は、付随情報毎分量と、再生速度調整量管理部７２に記憶されている再生速度調整量対応情報とに基づいて、再生速度調整量を算出する。
【００６０】
ここで、図４を参照して、再生速度調整量対応情報が示す、付随情報毎分量と再生速度調整量との関係について説明する。
【００６１】
図４において、横軸は、付随情報毎分量を示し、縦軸は、再生速度調整量を示している。
【００６２】
図４に示されるように、付随情報毎分量が０乃至Ｓである場合、再生速度調整量は１となり、付随情報毎分量がＳより小さくない場合、再生速度調整量は、付随情報毎分量に対して比例関係を示す。
【００６３】
すなわち、ステップＳ１５において、再生速度調整量算出部７１は、図４に示される、付随情報毎分量と再生速度調整量との関係に基づいて、付随情報毎分量Ｎに応じた再生速度調整量ｎを求め、逆比算出部７３に供給して、ステップＳ１６に進む。
【００６４】
ステップＳ１６において、逆比算出部７３は、再生速度調整量算出部７１から供給された再生速度調整量ｎの逆比（逆数）１／ｎを算出し、再生制御部４８に供給する。
【００６５】
ステップＳ１７において、再生制御部４８は、標準速度の１／ｎ倍速での、映像、音声、および付随情報の再生を制御する。
【００６６】
具体的には、再生制御部４８は、音声データ、映像データ、および付随情報の再生速度が、標準速度の１／ｎ倍速となるように、表示時刻情報およびシステムクロックとが一致する時刻の間隔を調整して、音声復号部４２、映像復号部４３、および付随情報復号部４４に復号を指示する。例えば、再生制御部４８は、システムクロックのｎクロックのうちの１クロックを、システムクロックとして採用し、そのシステムクロックと表示時刻情報とが一致したとき、音声復号部４２、映像復号部４３、および付随情報復号部４４に復号を指示する。そして、音声復号部４２、映像復号部４３、および付随情報復号部４４は、それぞれの内部に有するメモリにバッファリングされている映像ストリーム、音声ストリーム、および符号化付随情報を、再生制御部４８から復号が指示されたタイミングで復号する。
【００６７】
そして、音声復号部４２は、復号の結果得られた音声データを音声出力部４９に供給し、音声出力部４９は、音声復号部４２からの音声データに対応する音声を、図示せぬスピーカより出力する。また、映像復号部４３および付随情報復号部４４はそれぞれ、復号の結果得られた映像データおよび付随情報を、映像処理部５０に供給し、映像処理部５０は、映像データと付随情報とを合成した、１つの映像データを映像出力部５１に供給する。映像出力部５１は、映像処理部５０からの映像データに対応する映像を、モニタに表示する。
【００６８】
一方、ステップＳ１４において、付随情報毎分量が、所定の値Ｓより小さいと判定された場合、処理は、ステップＳ１８に進む。
【００６９】
ステップＳ１８において、再生速度算出部４７の再生速度調整量算出部７１は、図４に示される、付随情報毎分量と再生速度調整量との関係に基づいて、再生速度調整量を１とし、逆比算出部７３に供給する。逆比算出部７３は、再生速度調整量の逆比（逆数）を算出するが、１である再生速度調整量の逆比は１であるので、再生制御部４８は、標準速度での、映像、音声、および付随情報の再生を制御する。
【００７０】
以上の処理により、再生装置１１は、付随情報毎分量Ｎに応じて、標準速度の１／ｎ倍速で、映像、音声、および付随情報を再生することができる。
【００７１】
このように、付随情報毎分量が多いほど、再生速度が遅くなるので、標準速度では、ユーザが完全に理解することが難しい量の付随情報が、映像とともに表示されるAVストリームであっても、付随情報の量に応じて、再生速度を遅くして、ユーザに理解しやすく再生することが可能となる。
【００７２】
なお、付随情報毎分量と再生速度調整量との関係は、図４を参照して説明したような比例関係に限らず、例えば、図５に示されるように、付随情報毎分量が０乃至Ｓである場合、再生速度調整量は１となり、付随情報毎分量がＳより大きい場合、再生速度調整量は、所定の付随情報毎分量毎に、段階的に増加していくようにしてもよい。この場合、再生速度は、所定の付随情報毎分量毎に、段階的に遅くなる。
【００７３】
次に、図６を参照して、再生装置の他の構成例について説明する。
【００７４】
なお、図６においては、図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図６の再生装置１１１は、再生繰り返し数算出部１４１を新たに備え、再生制御部４８に代わって再生制御部１４２を備えている以外は、基本的に、図１の再生装置１１と同様の構成を有するものである。
【００７５】
図６の再生装置１１１において、付随情報毎分量計測部４６は、付随情報復号部４４において、付随情報毎分量を計測し、再生速度算出部４７および再生繰り返し数算出部１４１に供給する。
【００７６】
再生繰り返し数算出部１４１は、付随情報毎分量計測部４６から供給された付随情報毎分量に基づいて、映像処理部５０の制御により表示される映像および付随情報の、所定の区間の再生を繰り返す再生繰り返し数を設定し、再生制御部１４２に供給する。
【００７７】
ここで、所定の区間は、例えば、映像ストリームに含まれる、シーンの開始時刻を指定するstart情報と、そのシーンの再生時間を秒単位で指定するduration情報で表される区間（時間）を示す。すなわち、所定の区間は、所定の１シーンが再生される時間を示す。
【００７８】
再生制御部１４２は、再生制御部４８と同様の機能を備えるとともに、再生速度算出部４７により算出された再生速度での、再生繰り返し数算出部１４１から供給された再生繰り返し数分、所定の区間の再生を繰り返すように、再生を制御する。
【００７９】
次に、図７のフローチャートを参照して、図６の再生装置１１１のストリームの再生処理について説明する。
【００８０】
図７のフローチャートのステップＳ４１およびＳ４２、並びにステップＳ５０乃至Ｓ５３の処理は、図３のフローチャートのステップＳ１１およびＳ１２、並びにステップＳ１５乃至Ｓ１８の処理と同様であるので、その説明は省略する。
【００８１】
ステップＳ４３において、付随情報毎分量計測部４６は、付随情報復号部４４において、１分間あたりに復号される付随情報毎分量を計測し、再生速度算出部４７および再生繰り返し数算出部１４１に供給する。
【００８２】
ステップＳ４４において、再生速度算出部４７は、付随情報毎分量計測部４６から供給された付随情報毎分量が、所定の値Ｓより小さいか否かを判定する。
【００８３】
ステップＳ４４において、付随情報毎分量が、所定の値Ｓより小さくないと判定された場合、処理は、ステップＳ４５に進み、再生速度算出部４７は、付随情報毎分量が、所定の値Ｍより小さくないか否かを判定する。
【００８４】
ここで、所定の値Ｍは、対応する再生速度調整量ｍにより決定される再生速度が、再生装置１１１における再生速度の下限とされる付随情報毎分量を表す。
【００８５】
ステップＳ４５において、付随情報毎分量が、所定の値Ｍより小さくないと判定された場合、処理は、ステップＳ４６に進み、再生速度算出部４７の再生速度調整量算出部７１は、付随情報毎分量と、再生速度調整量管理部７２に記憶されている再生速度調整量対応情報とに基づいて、再生速度調整量を算出する。
【００８６】
ここで、図８を参照して、再生速度調整量対応情報が示す、付随情報毎分量と再生速度調整量との関係、および付随情報毎分量と再生繰り返し数との関係について説明する。
【００８７】
図８において、横軸は、付随情報毎分量を示し、左側の縦軸は、太線で表される再生速度調整量を示し、右側の縦軸は、太点線で表される再生繰り返し数を示している。
【００８８】
図８に示されるように、付随情報毎分量が０乃至Ｓである場合、再生速度調整量は１となり、付随情報毎分量がＳより大きい場合、再生速度調整量は、付随情報毎分量に対して比例関係を示す。そして、付随情報毎分量がＭより大きい場合、再生速度調整量は、付随情報毎分量に対して一定の値ｍとなる。
【００８９】
すなわち、ステップＳ４６において、再生速度調整量算出部７１は、図８に示される、付随情報毎分量と再生速度調整量との関係に基づいて、再生速度調整量をｍとし、逆比算出部７３に供給して、ステップＳ４７に進む。
【００９０】
ステップＳ４７において、逆比算出部７３は、再生速度調整量算出部７１から供給された再生速度調整量の逆比（逆数）１／ｍを算出し、再生制御部１４２に供給する。
【００９１】
ステップＳ４８において、再生繰り返し数算出部１４１は、付随情報毎分量計測部４６から供給された付随情報毎分量に基づいて、映像の所定の１シーンの再生を繰り返す再生繰り返し数を設定し、再生制御部１４２に供給する。
【００９２】
ここで、図８に示されるように、付随情報毎分量が０乃至Ｍである場合、再生繰り返し数は１となり、付随情報毎分量がＭより大きく、かつ、Ｚより小さい場合、再生繰り返し数は２となる。さらに、付随情報毎分量がＺより大きい場合、再生繰り返し数は３となる。
【００９３】
すなわち、ステップＳ４８において、再生繰り返し数算出部１４１は、図８に示される、付随情報毎分量と再生繰り返し数との関係に基づいて、例えば、付随情報毎分量がＭより大きく、かつ、Ｚより小さい場合には、再生繰り返し数を２とし、再生制御部１４２に供給して、ステップＳ４９に進む。
【００９４】
ステップＳ４９において、再生制御部１４２は、標準速度の１／ｍ倍速での、所定の区間の映像、音声、および付随情報の再生を、再生繰り返し数分、繰り返すように再生を制御する。例えば、再生制御部４８は、標準速度の１／ｍ倍速で、所定の１シーンを２回繰り返すように、映像、音声、および付随情報の再生を制御する。
【００９５】
一方、ステップＳ４５において、付随情報毎分量が、所定の値Ｍより小さいと判定された場合、処理は、ステップＳ５０に進み、最終的に、標準速度の１／ｎ倍速で、映像、音声、および付随情報が再生される。
【００９６】
また、ステップＳ４４において、付随情報毎分量が、所定の値Ｓより小さいと判定された場合、処理は、ステップＳ５３に進み、最終的に、標準速度で、映像、音声、および付随情報が再生される。
【００９７】
以上の処理により、再生装置１１１は、付随情報毎分量Ｎに応じて、標準速度の１／ｎ倍速で、映像、音声、および付随情報を再生するとともに、付随情報毎分量Ｍより大きい場合には、再生速度の下限を維持しながら、所定の区間、繰り返し再生することができる。
【００９８】
このように、最も遅い再生速度で、所定の区間、繰り返し再生されるので、最も遅い再生速度でも、ユーザが完全に理解することが難しい量の付随情報が、映像とともに表示されるAVストリームであっても、ユーザに理解しやすく再生することが可能となる。
【００９９】
なお、上述した説明において、再生が繰り返される区間は、start情報およびduration情報で決まる所定のシーンが再生される時間としたが、例えば、５秒間等の、予め設定された所定の時間であってもよい。また、映像の特徴量の変化を用いて検出されるシーンチェンジの間隔であってもよいし、映像とともに再生される付随情報としての文字列（文字データ）の文脈が切り替わる時点の間隔であってもよい。
【０１００】
また、図８においては、Ｍより大きい付随情報毎分量に対する再生速度を、一定にするようにしたが、例えば、図９に示されるように、付随情報毎分量に応じて再生繰り返し数が増える毎に、ｍまで増加した再生速度調整量を所定の値まで下げる、すなわち、標準速度の１／ｍ倍速まで遅くなった再生速度を所定の再生速度まで速くするようにしてもよい。
【０１０１】
上述した説明において、再生装置は、図示せぬ記録媒体から、映像、音声、および付随情報が含まれる（多重化された）AVストリームを読み出すようにしたが、図１０に示される再生装置２１１のように、インターネット２１０等のネットワークを介して、サーバ２１２からAVストリームに含まれる情報の一部または全部を読み出すようにしてもよい。
【０１０２】
図１１は、サーバ２１２から、AVストリームに含まれる情報の一部を読み出すようにした再生装置２１１の構成例を示している。
【０１０３】
なお、図１１においては、図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１１の再生装置２１１は、分離部４１に代わって分離部２４１を備え、新たに、通信部２４２を備えている以外は、基本的に、図１の再生装置１１と同様の構成を有するものである。
【０１０４】
図１１の再生装置２１１において、分離部２４１は、図示せぬ記録媒体から読み出されたAVストリームから、映像ストリーム、音声ストリーム、および、AVストリームに挿入されている時刻情報を分離し、そのうちの音声ストリームを音声復号部４２に、映像ストリームを映像復号部４３に、それぞれ供給する。また、分離部２４１は、分離した時刻情報を、基準時刻生成部４５および再生制御部４８に供給する。
【０１０５】
通信部２４２は、インターネット２１０を介して、サーバ２１２との通信を行うことで、サーバ２１２から、図示せぬ記録媒体に記憶されているAVストリームに対応する付随情報（符号化付随情報）を取得し、付随情報復号部４４に供給する。
【０１０６】
このような構成により、付随情報が含まれていないAVストリームを読み出して再生する場合でも、再生装置２１１は、サーバ２１２からの付随情報の量に応じて、再生速度を遅くして、ユーザに理解しやすく再生することができる。
【０１０７】
また、図１１の構成では、付随情報をサーバ２１２から取得するようにしたが、映像、音声、および付随情報を含むAVストリームをサーバ２１２から取得する構成としてもよい。さらに、映像および音声を含むAVストリームと、付随情報（符号化付随情報）とをそれぞれ異なるサーバから取得するようにしてもよい。
【０１０８】
なお、図１１の再生装置２１１によるストリームの再生処理については、付随情報をサーバ２１２から取得する点を除いて、図３のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０１０９】
以上においては、再生装置が、再生速度を調整する例について説明してきたが、ユーザ自身が、再生速度を調整することはできなかった。
【０１１０】
そこで、図１２を参照して、ユーザにより再生速度を調整できるようにした再生装置の構成例について説明する。
【０１１１】
なお、図１２においては、図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１２の再生装置３１１は、新たに、操作入力部３４１を備え、再生速度算出部４７に代わって再生速度算出部３４２を備えている以外は、基本的に、図１の再生装置１１と同様の構成を有するものである。
【０１１２】
操作入力部３４１は、例えば、各種の操作ボタンやダイヤル等から構成され、再生装置３１１に対する指示が入力されるとき、ユーザに操作され、その操作内容に対応した操作信号を発生し、再生速度算出部３４２に供給する。
【０１１３】
より具体的には、操作入力部３４１は、再生速度に関する調整が指示されるとき、ユーザにより操作され、その操作内容に対応した操作信号を発生し、再生速度算出部３４２に供給する。
【０１１４】
再生速度算出部３４２は、操作入力部３４１からの操作信号に応じて、算出した再生速度に関する調整を行う。
【０１１５】
次に、図１３のブロック図を参照して、図１２の再生速度算出部３４２の構成例について説明する。
【０１１６】
図１３においては、図２と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１３の再生速度算出部３４２は、逆比算出部７３に代わって逆比算出部３７１を備えている以外は、基本的に、図２の再生速度算出部４７と同様の構成を有するものである。
【０１１７】
逆比算出部３７１は、再生速度調整量算出部７１から供給された再生速度調整量の逆比（逆数）を算出するとともに、その逆比と、操作入力部３４１からの操作信号に応じた所定の係数α（以下、速度調整係数αと称する）とを乗算し、乗算の結果得られた積を、再生制御部４８に供給する。
【０１１８】
例えば、逆比算出部３７１は、算出した再生速度調整量の逆比１／ｎと、速度調整係数αとを乗算し、乗算の結果得られた積α／ｎを、再生制御部４８に供給する。
【０１１９】
速度調整係数αが１未満である場合、積α／ｎは、逆比１／ｎより小さい値となり、再生速度は、標準速度の１／ｎ倍速より遅い再生速度となる。また、速度調整係数αが１より大きい場合、積α／ｎは、逆比１／ｎより大きい値となり、再生速度は、標準速度の１／ｎ倍速より速い再生速度となる。
【０１２０】
次に、図１４のフローチャートを参照して、図１３の再生速度算出部３４２の再生速度算出処理について説明する。
【０１２１】
ステップＳ６１において、再生速度算出部３４２の逆比算出部３７１は、操作入力部３４１が、ユーザによって操作され、速度の調整が指示されたか否かを判定する。
【０１２２】
ステップＳ６１において、速度の調整が指示された場合、処理は、ステップＳ６２に進む。
【０１２３】
ステップＳ６２において、逆比算出部３７１は、再生速度調整量算出部７１から供給された再生速度調整量の逆比１／ｎと、操作入力部３４１からの速度の調整を指示する旨の操作信号に応じた速度調整係数αとを乗算し、乗算の結果得られた積α／ｎを、再生制御部４８に供給する。
【０１２４】
また、ステップＳ６１において、速度の調整が指示されなかった場合、速度の調整が指示されるまで、ステップＳ６１の処理が繰り返される。
【０１２５】
以上の処理により、ユーザの操作に応じた速度調整係数αによって、再生速度を調整することができるので、同じ量の付随情報を理解する速さが異なる複数のユーザに対しても、それぞれのユーザに理解しやすく再生することができる。
【０１２６】
以上においては、操作信号に基づいて、逆比を調整する例に説明してきたが、さらに、再生速度調整量を調整するようにしてもよい。
【０１２７】
図１５は、再生速度調整量をも調整するようにした再生速度算出部の構成例を示している。
【０１２８】
なお、図１５の再生速度算出部３４２は、図１３の再生速度算出部３４２において、再生速度調整量管理部７２に代わって再生速度調整量管理部３７２を備えている以外は、図１３の再生速度算出部３４２と同様の構成を有する。
【０１２９】
再生速度調整量管理部３７２は、再生速度調整量対応情報を記憶する他、操作入力部３４１からの操作信号に応じて、再生速度調整量対応情報を変更する。
【０１３０】
例えば、再生速度調整量対応情報によって示される、図４で説明した付随情報毎分量Ｎと再生速度調整量ｎとの関係において、付随情報毎分量がＳより大きいときに、ｎ＝ｐＮ（ｐは傾き）で示される式を定義する。この場合、再生速度調整量管理部３７２は、傾きｐと、操作入力部３４１からの操作信号に応じた所定の係数β（以下、傾き調整係数βと称する）とを乗算する。すなわち、図４において、付随情報毎分量Ｓより大きいときの、付随情報毎分量Ｎと再生速度調整量ｎとの関係は、ｎ＝βｐＮで示される。
【０１３１】
速度調整係数βが１未満である場合、付随情報毎分量Ｎに対する再生速度調整量ｎは、傾きｐのときより小さい値となり、再生速度は、傾きｐのときより速い再生速度となる。また、速度調整係数βが１より大きい場合、付随情報毎分量Ｎに対する再生速度調整量ｎは、傾きｐのときより大きい値となり、再生速度は、傾きｐのときより遅い再生速度となる。
【０１３２】
次に、図１６のフローチャートを参照して、図１５の再生速度算出部３４２の再生速度算出処理について説明する。
【０１３３】
ステップＳ８１において、再生速度算出部３４２の再生速度調整量管理部３７２は、操作入力部３４１が、ユーザによって操作され、速度の調整が指示されたか否かを判定する。
【０１３４】
ステップＳ８１において、速度の調整が指示された場合、処理は、ステップＳ８２に進む。
【０１３５】
ステップＳ８２において、再生速度調整量管理部３７２は、再生速度調整量対応情報における傾きｐと、操作入力部３４１からの操作信号に応じた傾き調整係数βとを乗算する。
【０１３６】
その後、再生速度調整量算出部７１は、傾き調整係数βが乗じられた付随情報毎分量と再生速度調整量との関係に基づいて、再生速度調整量ｎを求め、逆比算出部３７１は、逆比１／ｎを算出する。なお、このとき、逆比算出部３７１は、操作入力部３４１からの操作信号に応じて、算出した逆比１／ｎと速度調整係数αを乗算してもよい。
【０１３７】
また、ステップＳ８１において、速度の調整が指示されなかった場合、速度の調整が指示されるまで、ステップＳ８１の処理が繰り返される。
【０１３８】
以上の処理により、ユーザの操作に応じた傾き調整係数βによって、最終的に得られる再生速度を調整することができるので、同じ量の付随情報を理解する速さが異なる複数のユーザに対しても、それぞれのユーザに理解しやすく再生することができる。
【０１３９】
また、図１５の再生速度調整量管理部３７２は、複数の再生速度調整量対応情報を記憶し、操作入力部３４１からの操作信号に応じて、再生速度調整量算出部７１によって参照される再生速度調整量対応情報を変更するようにしてもよい。例えば、再生速度調整量管理部３７２は、図４で説明した関係を示す再生速度調整量対応情報、および、図５で説明した関係を示す再生速度調整量対応情報を記憶し、操作入力部３４１からの操作信号に応じて、いずれかの再生速度調整量対応情報を選択するようにしてもよい。
【０１４０】
また、図１５の再生速度調整量管理部３７２は、再生速度調整量対応情報を記憶しているが、操作入力部３４１からの操作信号により、新たな再生速度調整量対応情報を記憶するようにしてもよい。例えば、再生速度調整量管理部３７２は、図４で説明した関係を示す再生速度調整量対応情報を記憶しており、操作入力部３４１からの操作信号により、図５で説明した関係を示す再生速度調整量対応情報を新たに記憶し、ユーザに応じて、いずれかの再生速度調整量対応情報に基づいて、再生を制御するようにしてもよい。
【０１４１】
以上のように、付随情報の量に応じて遅くなった再生速度を、ユーザの操作に応じて、さらに調整することができるので、付随情報を理解する速さに合わせて、ユーザに理解しやすく再生することができる。
【０１４２】
以上においては、単独のAVストリームを扱う例について説明してきたが、複数のAVストリームを再生し、合成して表示する例にも適用することができる。
【０１４３】
図１７は、複数のストリームを再生し、合成して表示する再生装置の実施の形態の構成例を示している。
【０１４４】
図１７の再生装置５３１は、例えば、DVD等の図示せぬ記録媒体や、ネットワーク上の図示せぬサーバから、所定の方式で符号化された複数のAVストリームを読み出し、復号することで得られる複数の映像を、対応する付随情報とともに再生する。
【０１４５】
図１７の再生装置５３１は、再生処理部５４１−１乃至５４１−４、表示領域設定部５４２、映像合成部５４３、および映像出力部５４４から構成される。
【０１４６】
再生処理部５４１−１乃至５４１−４は、それぞれ、図示せぬ記録媒体や、図示せぬサーバから読み出したAVストリームを分離、復号して、得られた映像データを映像合成部５４３に供給する。また、再生処理部５４１−１乃至５４１−４は、それぞれ、読み出したAVストリームについての付随情報毎分量を計測し、表示領域設定部５４２に供給する。
【０１４７】
図１７においては、再生処理部５４１−１は、読み出したストリームＡを復号して得られた映像Ａ’の映像データ（以下、単に、映像Ａ’などとも称する）を、映像合成部５４３に供給するとともに、計測した付随情報毎分量ＮAを、表示領域設定部５４２に供給する。再生処理部５４１−２は、読み出したストリームＢを復号して得られた映像Ｂ’を、映像合成部５４３に供給するとともに、計測した付随情報毎分量ＮBを、表示領域設定部５４２に供給する。
【０１４８】
同様に、再生処理部５４１−３は、読み出したストリームＣを復号して得られた映像Ｃ’を、映像合成部５４３に供給するとともに、計測した付随情報毎分量ＮCを、表示領域設定部５４２に供給する。再生処理部５４１−４は、読み出したストリームＤを復号して得られた映像Ｄ’を、映像合成部５４３に供給するとともに、計測した付随情報毎分量ＮDを、表示領域設定部５４２に供給する。
【０１４９】
表示領域設定部５４２は、再生処理部５４１−１乃至５４１−４から供給された付随情報毎分量ＮA乃至ＮDに基づいて、映像出力部５４４に表示される映像Ａ’乃至Ｄ’それぞれの表示領域の大きさを設定し、映像合成部５４３に供給する。
【０１５０】
映像合成部５４３は、表示領域設定部５４２からの、映像Ａ’乃至Ｄ’それぞれの表示領域の大きさに基づいて、再生処理部５４１−１乃至５４１−４から供給された映像Ａ’乃至Ｄ’を、それぞれ設定された表示領域の大きさにして、合成した合成映像データを生成する。映像合成部５４３は、生成した合成映像データを、映像出力部５４４に供給する。
【０１５１】
映像出力部５４４は、映像を表示するモニタ（図示せず）に接続されており、映像合成部５４３からの合成映像データに対応する合成映像を、モニタに表示する。
【０１５２】
次に、図１８のブロック図を参照して、図１７の再生処理部５４１−１乃至５４１−４の構成例について説明する。なお、再生処理部５４１−１乃至５４１−４は、それぞれ同一の構成を有しており、特に、区別が不要な場合は、単に、再生処理部５４１と称する。
【０１５３】
図１８においては、図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１８の再生処理部５４１は、再生速度算出部４７、音声出力部４９、および映像出力部５１が削除された以外は、基本的に、図１の再生装置１１と同様の構成を有するものである。
【０１５４】
音声復号部４２は、AVストリームのうちの音声ストリームを復号し、その結果得られる音声データを、図示せぬ音声合成部に供給する。
【０１５５】
付随情報毎分量計測部４６は、基準時刻生成部４５からのシステムクロックに基づいて、付随情報毎分量を計測し、表示領域設定部５４２に出力する。
【０１５６】
再生制御部４８は、単に、音声復号部４２、映像復号部４３、および付随情報復号部４４によって復号された音声データ、映像データ、および付随情報の再生を制御する。
【０１５７】
映像処理部５０は、映像復号部４３からの映像データと、付随情報復号部４４からの付随情報とを合成し、１つの映像データとして、映像合成部５４３に供給する。
【０１５８】
次に、図１９のブロック図を参照して、図１７の表示領域設定部５４２の構成例について説明する。
【０１５９】
図１９の表示領域設定部５４２は、表示領域倍率算出部５５１および表示領域倍率管理部５５２から構成される。
【０１６０】
表示領域倍率算出部５５１は、再生処理部５４１−１乃至５４１−４それぞれからの付随情報毎分量ＮA乃至ＮDと、表示領域倍率管理部５５２に記憶されている表示領域倍率対応情報とに基づいて、表示領域倍率を算出し、映像合成部５４３に供給する。表示領域倍率対応情報は、付随情報毎分量と、映像が本来表示される表示領域に対する倍率を表す表示領域倍率との関係を対応付ける情報であり、その詳細は、後述する。
【０１６１】
すなわち、映像合成部５４３は、表示領域設定部５４２からの、映像Ａ’乃至Ｄ’それぞれについての表示領域倍率に基づいて、映像Ａ’乃至Ｄ’が表示されるウィンドウを所定数倍し、１つの映像として合成した合成映像を生成する。
【０１６２】
次に、図２０のフローチャートを参照して、図１７の再生装置５３１の複数ストリームの再生処理について説明する。
【０１６３】
複数ストリームの再生処理において、再生装置５３１の再生処理部５４１−１乃至５４１−４は、それぞれ読み出したAVストリームを、順次、分離、復号する。
【０１６４】
ステップＳ１１１において、再生処理部５４１−１乃至５４１−４それぞれの付随情報毎分量計測部４６は、ストリームＡ乃至Ｄについて、１分間あたりに復号される付随情報毎分量を計測し、表示領域設定部５４２に供給する。
【０１６５】
ステップＳ１１２において、表示領域設定部５４２は、再生処理部５４１−１乃至５４１−４それぞれの付随情報毎分量計測部４６から供給された付随情報毎分量ＮA乃至ＮDのうちのいずれかについて、所定の値Ｓより小さいか否かを判定する。
【０１６６】
ここで、所定の値Ｓは、それより大きい値であれば、映像が表示されるウィンドウの大きさは付随情報に応じて大きくなり、それより小さい値であれば、ウィンドウの大きさは標準の大きさのままとされる付随情報毎分量を表す。
【０１６７】
ステップＳ１１２において、付随情報毎分量が、所定の値Ｓより小さくないと判定された場合、処理は、ステップＳ１１３に進み、表示領域設定部５４２の表示領域倍率算出部５５１は、付随情報毎分量と、表示領域倍率管理部５５２に記憶されている表示領域倍率対応情報とに基づいて、表示領域倍率を算出する。
【０１６８】
ここで、図２１を参照して、表示領域倍率対応情報が示す、付随情報毎分量と表示領域倍率との関係について説明する。
【０１６９】
図２１において、横軸は、付随情報毎分量を示し、縦軸は、表示領域倍率を示している。
【０１７０】
図２１に示されるように、付随情報毎分量が０乃至Ｓである場合、表示領域倍率は１となり、付随情報毎分量がＳより大きい場合、表示領域倍率は、付随情報毎分量に対して比例関係を示す。
【０１７１】
すなわち、ステップＳ１１３において、表示領域倍率算出部５５１は、図２１に示される、付随情報毎分量と表示領域倍率との関係に基づいて、付随情報毎分量Ｎに応じた表示領域倍率ｎwを求め、処理は、ステップＳ１１５に進む。
【０１７２】
一方、ステップＳ１１２において、付随情報毎分量が、所定の値Ｓより小さいと判定された場合、処理は、ステップＳ１１４に進む。
【０１７３】
ステップＳ１１４において、表示領域設定部５４２の表示領域倍率算出部５５１は、図２１に示される、付随情報毎分量と表示領域倍率との関係に基づいて、表示領域倍率ｎwを１とし、処理は、ステップＳ１１５に進む。
【０１７４】
ステップＳ１１５において、表示領域設定部５４２は、全てのストリーム（映像）について、表示領域倍率ｎwを求めたか否かを判定する。
【０１７５】
ステップＳ１１５において、全てのストリーム（映像）について、表示領域倍率ｎwを求めていないと判定された場合、処理は、ステップＳ１１２に戻り、全てのストリーム（映像）について、表示領域倍率ｎwを求めるまで、ステップＳ１１２乃至ステップＳ１１５の処理を繰り返す。
【０１７６】
一方、ステップＳ１１５において、全てのストリーム（映像）について、表示領域倍率ｎwを求めたと判定された場合、表示領域設定部５４２は、全てのストリーム（映像）について求めた表示領域倍率ｎwを映像合成部５４３に供給し、処理は、ステップＳ１１６に進む。
【０１７７】
ステップＳ１１６において、映像合成部５４３は、表示領域設定部５４２からの、映像Ａ’乃至Ｄ’それぞれについての表示領域倍率ｎwに基づいて、映像Ａ’乃至Ｄ’が表示されるウィンドウをそれぞれｎw倍し、１つの映像として合成した合成映像データを生成して、映像出力部５４４に供給する。映像出力部５４４は、映像合成部５４３からの合成映像データに対応する合成映像を、図示せぬモニタに表示する。
【０１７８】
以上の処理により、例えば、再生処理部５４１−１乃至５４１−３から供給された付随情報毎分量ＮA乃至ＮCのそれぞれに応じた表示領域倍率ｎwが、いずれも１で、再生処理部５４１−４から供給された付随情報毎分量ＮDに応じた表示領域倍率ｎwが、１より大きい値であった場合、再生装置５３１は、図２２に示されるように、再生処理部５４１−１からの映像Ａ’が表示されるウィンドウＷ1、再生処理部５４１−２からの映像Ｂ’が表示されるウィンドウＷ2、再生処理部５４１−３からの映像Ｃ’が表示されるウィンドウＷ3それぞれの大きさを、標準の大きさのままとし、再生処理部５４１−４からの映像Ｄ’が表示されるウィンドウＷ4の大きさを、標準の大きさのｎw倍の大きさとした合成映像を、映像出力部５４４に接続されたモニタ（図示せず）に表示することができる。
【０１７９】
また、ｎw倍の大きさのウィンドウＷ1乃至Ｗ4が、全て、映像出力部５４４に接続されたモニタ（図示せず）に表示しきれない程の大きさになってしまう場合、それぞれについての表示領域倍率ｎwの比率に応じた大きさのウィンドウＷ1乃至Ｗ4を表示するようにしてもよい。
【０１８０】
このように、所定の映像についての付随情報毎分量が多いほど、合成映像における、その所定の映像が表示されるウィンドウの大きさが大きくなるので、例えば、コメントが集中している映像の１場面において、ユーザの注意を引くことができ、ユーザに理解しやすく再生することが可能となる。
【０１８１】
以上においては、複数のストリームを再生するにあたり、付随情報毎分量に応じて、ウィンドウの大きさを調整する例について説明してきたが、付随情報毎分量に応じて、見やすさを変化させればよいので、例えば、ウィンドウを重ねて表示し、その順序を調整するようにしてもよい。
【０１８２】
図２３は、複数ストリームを再生させる際、それぞれのウィンドウを重ねて表示し、付随情報毎分量に応じて、その順序を調整するようにした再生装置の実施の形態の構成例を示している。
【０１８３】
なお、図２３においては、図１７と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図２３の再生装置５６１は、表示領域設定部５４２に代わって重ね順設定部５７１を備えている以外は、基本的に、図１７の再生装置５３１と同様の構成を有するものである。
【０１８４】
重ね順設定部５７１は、再生処理部５４１−１乃至５４１−４から供給された付随情報毎分量ＮA乃至ＮDに基づいて、映像出力部５４４に接続されたモニタ（図示せず）に表示される映像Ａ’乃至Ｄ’についての重ね順を設定し、映像合成部５４３に供給する。
【０１８５】
映像合成部５４３は、重ね順設定部５７１からの、映像Ａ’乃至Ｄ’についての重ね順に基づいて、再生処理部５４１−１乃至５４１−４から供給された映像Ａ’乃至Ｄ’を、設定された重ね順に合成することで合成映像データを生成する。
【０１８６】
次に、図２４のフローチャートを参照して、図２３の再生装置５６１の複数ストリームの再生処理について説明する。
【０１８７】
複数ストリームの再生処理において、再生装置５６１の再生処理部５４１−１乃至５４１−４は、それぞれ読み出したAVストリームを、順次、分離、復号する。
【０１８８】
ステップＳ１４１において、再生処理部５４１−１乃至５４１−４それぞれの付随情報毎分量計測部４６は、ストリームＡ乃至Ｄについて、１分間あたりに復号される付随情報毎分量を計測し、重ね順設定部５７１に供給する。
【０１８９】
ステップＳ１４２において、重ね順設定部５７１は、再生処理部５４１−１乃至５４１−４それぞれの付随情報毎分量計測部４６から供給された付随情報毎分量ＮA乃至ＮDに応じて、映像出力部５４４に接続されたモニタ（図示せず）に表示される映像Ａ’乃至Ｄ’についての重ね順を設定し、映像合成部５４３に供給する。
【０１９０】
より具体的には、重ね順設定部５７１は、再生処理部５４１−１乃至５４１−４それぞれから供給された付随情報毎分量ＮA乃至ＮDに対して、データ量の多い順に順位付けを行い、その順位を、順位付けされた付随情報毎分量ＮA乃至ＮDに対応する映像Ａ’乃至Ｄ’の重ね順とする。
【０１９１】
ステップＳ１４３において、映像合成部５４３は、重ね順設定部５７１からの、映像Ａ’乃至Ｄ’それぞれの重ね順に基づいて、再生処理部５４１−１乃至５４１−４から供給された映像Ａ’乃至Ｄ’を、設定された重ね順で合成することで合成映像データを生成し、映像出力部５４４に供給する。映像出力部５４４は、映像合成部５４３からの合成映像データに対応する合成映像を、図示せぬモニタに表示する。
【０１９２】
以上の処理により、例えば、再生処理部５４１−１乃至５４１−４それぞれから供給された付随情報毎分量ＮA乃至ＮDについて、ＮD＞ＮB＝ＮC＞ＮAと順位付けがされた場合、再生装置５６１は、図２５に示されるように、ウィンドウＷ4を最前面に、ウィンドウＷ2およびウィンドウＷ3をウィンドウＷ4の背面に、そして、ウィンドウＷ1を最背面にした合成映像を表示することができる。
【０１９３】
このように、所定の映像についての付随情報毎分量が多いほど、合成映像における、その所定の映像の重ね順が前面になるので、図２２の例と同様に、コメントが集中している映像の１場面において、ユーザの注意を引くことができ、ユーザに理解しやすく再生することが可能となる。
【０１９４】
以上においては、複数ストリームを再生させる際、付随情報毎分量に応じて、ストリーム毎のウィンドウの大きさや重ね順を調整する例について説明してきたが、ウィンドウのみならず、例えば、音量を調整するようにしてもよい。
【０１９５】
図２６は、複数ストリームを再生させる際、ストリーム毎の音量を調整するようにした再生装置の実施の形態の構成例を示している。
【０１９６】
図２６の再生装置６３１は、例えば、DVD等の図示せぬ記録媒体や、ネットワーク上の図示せぬサーバから、所定の方式で符号化された複数のAVストリームを読み出し、復号することで得られる複数の映像に対応する音声を出力する。
【０１９７】
図２６の再生装置６３１は、再生処理部５４１−１乃至５４１−４、音量設定部６４１、音声合成部６４２、および音声出力部６４３から構成される。
【０１９８】
再生処理部５４１−１乃至５４１−４は、それぞれ、図示せぬ記録媒体や、図示せぬサーバから読み出したAVストリームを分離、復号して、得られた音声データを音声合成部６４２に供給する。また、再生処理部５４１−１乃至５４１−４は、それぞれ、読み出したAVストリームについての付随情報毎分量を計測し、音量設定部６４１に供給する。
【０１９９】
図２６においては、再生処理部５４１−１は、読み出したストリームＡを復号して得られた音声Ａ’’の音声データ（以下、単に、音声Ａ’’などとも称する）を、音声合成部６４２に供給するとともに、計測した付随情報毎分量ＮAを、音量設定部６４１に供給する。再生処理部５４１−２は、読み出したストリームＢを復号して得られた音声Ｂ’’を、音声合成部６４２に供給するとともに、計測した付随情報毎分量ＮBを、音量設定部６４１に供給する。
【０２００】
同様に、再生処理部５４１−３は、読み出したストリームＣを復号して得られた音声Ｃ’’を、音声合成部６４２に供給するとともに、計測した付随情報毎分量ＮCを、音量設定部６４１に供給する。再生処理部５４１−４は、読み出したストリームＤを復号して得られた音声Ｄ’’を、音声合成部６４２に供給するとともに、計測した付随情報毎分量ＮDを、音量設定部６４１に供給する。
【０２０１】
音量設定部６４１は、再生処理部５４１−１乃至５４１−４から供給された付随情報毎分量ＮA乃至ＮDに基づいて、音声出力部６４３に出力される音声Ａ’’乃至Ｄ’’それぞれ（の音声データ）の音量レベルを設定し、音声合成部６４２に供給する。
【０２０２】
音声合成部６４２は、音量設定部６４１からの、音声Ａ’’乃至Ｄ’’それぞれの音量レベルに基づいて、再生処理部５４１−１乃至５４１−４から供給された音声Ａ’’乃至Ｄ’’を、それぞれ設定された音量レベルにして、合成した合成音声データを生成する。音声合成部６４２は、生成した合成音声データを、音声出力部６４３に供給する。
【０２０３】
音声出力部６４３は、図示せぬスピーカに接続されており、音声合成部６４２からの合成音声データに対応する音声を、スピーカより出力する。
【０２０４】
次に、図２７のブロック図を参照して、図２６の音量設定部６４１の構成例について説明する。
【０２０５】
図２７の音量設定部６４１は、音量レベル倍率算出部６５１および音量レベル倍率管理部６５２から構成される。
【０２０６】
音量レベル倍率算出部６５１は、再生処理部５４１−１乃至５４１−４それぞれからの付随情報毎分量ＮA乃至ＮDと、音量レベル倍率管理部６５２に記憶されている音量レベル倍率対応情報とに基づいて、音量レベル倍率を算出し、音声合成部６４２に供給する。音量レベル倍率対応情報は、付随情報毎分量と、音声が本来出力される標準の音量レベルに対する倍率を表す音量レベル倍率との関係を対応付ける情報であり、その詳細は、後述する。
【０２０７】
すなわち、音声合成部６４２は、音量設定部６４１からの、音声Ａ’’乃至Ｄ’’それぞれについての音量レベル倍率に基づいて、音声Ａ’’乃至Ｄ’’の音量レベルを所定数倍し、１つの音声として合成した合成音声を生成する。
【０２０８】
次に、図２８のフローチャートを参照して、図２６の再生装置６３１の複数ストリームの再生処理について説明する。
【０２０９】
複数ストリームの再生処理において、再生装置６３１の再生処理部５４１−１乃至５４１−４は、それぞれ読み出したAVストリームを、順次、分離、復号する。
【０２１０】
ステップＳ１７１において、再生処理部５４１−１乃至５４１−４それぞれの付随情報毎分量計測部４６は、ストリームＡ乃至Ｄについて、１分間あたりに復号される付随情報毎分量を計測し、音量設定部６４１に供給する。
【０２１１】
ステップＳ１７２において、音量設定部６４１は、再生処理部５４１−１乃至５４１−４それぞれの付随情報毎分量計測部４６から供給された付随情報毎分量ＮA乃至ＮDのうちのいずれかについて、所定の値Ｓより小さいか否かを判定する。
【０２１２】
ここで、所定の値Ｓは、それより大きい値であれば、音声の音量レベルは付随情報に応じて高くなり、それより小さい値であれば、音声の音量レベルは標準の音量レベルのままとされる付随情報毎分量を表す。
【０２１３】
ステップＳ１７２において、付随情報毎分量が、所定の値Ｓより小さくないと判定された場合、処理は、ステップＳ１７３に進み、音量設定部６４１の音量レベル倍率算出部６５１は、付随情報毎分量と、音量レベル倍率管理部６５２に記憶されている音量レベル倍率対応情報とに基づいて、音量レベル倍率を算出する。
【０２１４】
ここで、図２９を参照して、音量レベル倍率対応情報が示す、付随情報毎分量と音量レベル倍率との関係について説明する。
【０２１５】
図２９において、横軸は、付随情報毎分量を示し、縦軸は、音量レベル倍率を示している。
【０２１６】
図２９に示されるように、付随情報毎分量が０乃至Ｓである場合、音量レベル倍率は１となり、付随情報毎分量がＳより大きい場合、音量レベル倍率は、付随情報毎分量に対して比例関係を示す。
【０２１７】
すなわち、ステップＳ１７３において、音量レベル倍率算出部６５１は、図２９に示される、付随情報毎分量と音量レベル倍率との関係に基づいて、付随情報毎分量Ｎに応じた音量レベル倍率ｎvを求め、処理は、ステップＳ１７５に進む。
【０２１８】
一方、ステップＳ１７２において、付随情報毎分量が、所定の値Ｓより小さいと判定された場合、処理は、ステップＳ１７４に進む。
【０２１９】
ステップＳ１７４において、音量設定部６４１の音量レベル倍率算出部６５１は、図２９に示される、付随情報毎分量と音量レベル倍率との関係に基づいて、音量レベル倍率ｎvを１とし、処理は、ステップＳ１７５に進む。
【０２２０】
ステップＳ１７５において、音量設定部６４１は、全てのストリーム（音声）について、音量レベル倍率ｎvを求めたか否かを判定する。
【０２２１】
ステップＳ１７５において、全てのストリーム（音声）について、音量レベル倍率ｎvを求めていないと判定された場合、処理は、ステップＳ１７２に戻り、全てのストリーム（音声）について、音量レベル倍率ｎvを求めるまで、ステップＳ１７２乃至ステップＳ１７５の処理を繰り返す。
【０２２２】
一方、ステップＳ１７５において、全てのストリーム（音声）について、音量レベル倍率ｎvを求めたと判定された場合、音量設定部６４１は、全てのストリーム（音声）について求めた音量レベル倍率ｎvを音声合成部６４２に供給し、処理は、ステップＳ１７６に進む。
【０２２３】
ステップＳ１７６において、音声合成部６４２は、音量設定部６４１からの、音声Ａ’’乃至Ｄ’’それぞれについての音量レベル倍率ｎvに基づいて、音声Ａ’’乃至Ｄ’’の音量レベルをそれぞれｎv倍し、１つの音声として合成した合成音声データを生成して、音声出力部６４３に供給する。音声出力部６４３は、音声合成部６４２からの合成音声データに対応する音声を、図示せぬスピーカより出力する。
【０２２４】
以上の処理により、再生装置６３１は、例えば、図３０に示されるように、再生処理部５４１−１乃至５４１−４から供給された付随情報毎分量ＮA乃至ＮDに応じて、映像Ａ’に対応して出力される音声Ａ’’の音量レベルをｎv倍したボリュームａの音声、映像Ｂ’に対応して出力される音声Ｂ’’の音量レベルをｎv倍したボリュームｂの音声、映像Ｃ’に対応して出力される音声Ｃ’’の音量レベルをｎv倍したボリュームｃの音声、および、映像Ｄ’に対応して出力される音声Ｄ’’の音量レベルをｎv倍したボリュームｄの音声を合成した合成音声を出力するようにすることができる。
【０２２５】
このように、所定の映像についての付随情報毎分量が多いほど、合成音声における、その所定の映像に対応した音声の音量レベルが高くなるので、図２２や図２５の例と同様に、コメントが集中している映像の１場面において、ユーザの注意を引くことができ、ユーザに理解しやすく再生することが可能となる。
【０２２６】
以上のように、再生装置では、映像とともに付随情報を再生し、付随情報の、単位時間あたりに再生されるデータ量である付随情報毎分量を計測し、計測された付随情報毎分量に基づいて、映像および付随情報の再生を制御するので、標準速度では、ユーザが完全に理解することが難しい量の付随情報が、映像とともに表示されるAVストリームであっても、付随情報の量に応じて、再生速度を遅くして、ユーザに理解しやすく再生することが可能となる。
【０２２７】
また、本発明をAVストリームを再生する再生装置に適用した実施の形態について説明したが、本発明は、映像コンテンツを再生する機能を有する、その他の情報処理装置に適用することができる。
【０２２８】
なお、上述した説明においては、再生の対象を、映像とともに付随情報が表示されるAVストリームとしたが、図および文字が表示されたスライドを連続して再生するスライドショー機能を有するプレゼンテーション用アプリケーション等を対象としてもよい。
【０２２９】
上述した再生処理の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２３０】
図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３１】
コンピュータにおいて、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。
【０２３２】
バス８０４には、さらに、入出力インターフェース８０５が接続されている。入出力インターフェース８０５には、キーボード、マウス、マイクロホン等よりなる入力部８０６、ディスプレイ、スピーカ等よりなる出力部８０７、ハードディスクや不揮発性のメモリ等よりなる記憶部８０８、ネットワークインタフェース等よりなる通信部８０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア８１１を駆動するドライブ８１０が接続されている。
【０２３３】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インターフェース８０５およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。
【０２３４】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア８１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２３５】
そして、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インターフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。
【０２３６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２３８】
【図１】本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【図２】再生速度算出部の構成例を示すブロック図である。
【図３】図１の再生装置のストリームの再生処理を説明するフローチャートである。
【図４】顔付随情報毎分量と再生速度調整量との関係について説明する図である。
【図５】顔付随情報毎分量と再生速度調整量との関係について説明する図である。
【図６】再生装置の他の構成例を示すブロック図である。
【図７】図６の再生装置のストリームの再生処理を説明するフローチャートである。
【図８】付随情報毎分量と再生速度調整量との関係、および付随情報毎分量と再生繰り返し数との関係について説明する図である。
【図９】付随情報毎分量と再生速度調整量との関係、および付随情報毎分量と再生繰り返し数との関係について説明する図である。
【図１０】ネットワークに接続される再生装置を説明するブロック図である。
【図１１】再生装置のさらに他の構成例を示すブロック図である。
【図１２】再生装置のさらに他の構成例を示すブロック図である。
【図１３】図１２の再生速度算出部の構成例を示すブロック図である。
【図１４】図１３の再生速度算出部の再生速度算出処理を説明するフローチャートである。
【図１５】図１２の再生速度算出部の他の構成例を示すブロック図である。
【図１６】図１５の再生速度算出部の再生速度算出処理を説明するフローチャートである。
【図１７】再生装置の他の実施の形態の構成例を示すブロック図である。
【図１８】図１７の再生処理部の構成例を示すブロック図である。
【図１９】図１７の表示領域設定部の構成例を示すブロック図である。
【図２０】図１７の再生装置の複数ストリームの再生処理を説明するフローチャートである。
【図２１】付随情報毎分量と表示領域倍率との関係について説明する図である。
【図２２】映像出力部の表示の例について説明する図である。
【図２３】再生装置の他の構成例を示すブロック図である。
【図２４】図２３の再生装置の複数ストリームの再生処理を説明するフローチャートである。
【図２５】映像出力部の表示の他の例について説明する図である。
【図２６】再生装置のさらに他の構成例を示すブロック図である。
【図２７】図２６の音量設定部の構成例を示すブロック図である。
【図２８】図２６の再生装置の複数ストリームの再生処理を説明するフローチャートである。
【図２９】付随情報毎分量と音量レベル倍率との関係について説明する図である。
【図３０】音声出力部の音声出力の例について説明する図である。
【図３１】本発明が適用される再生装置として機能するコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０２３９】
１１ 再生装置， ４２ 音声復号部， ４３ 映像復号部， ４４ 付随情報復号部， ４６ 付随情報毎分量計測部， ４７ 再生速度算出部， ４８ 再生制御部， ７１ 再生速度調整量算出部， ７２ 再生速度調整量管理部， ７３ 逆比算出部， １４１ 再生繰り返し数算出部， ２１１ 再生装置， ２４２ 通信部， ３４１ 操作入力部， ３４２ 再生速度算出部， ３７１ 逆比算出部， ３７２ 再生速度調整量管理部， ５３１ 再生装置， ５４１−１乃至５４１−４ 再生処理部， ５４２ 表示領域設定部， ５４３ 映像合成部， ５５１ 表示領域倍率算出部， ５５２ 表示領域倍率管理部， ５６１ 再生装置， ５７１ 重ね順設定部， ６３１ 再生装置 ６４１ 音量設定部， ６４２ 音声合成部， ６５１ 音量レベル倍率算出部， ６５２ 音量レベル倍率管理部
【特許請求の範囲】
【請求項１】
第１のデータとともに第２のデータを再生する再生手段と、
前記第２のデータの、単位時間あたりに再生されるデータ量である単位時間データ量を計測する計測手段と、
前記計測手段により計測された前記第２のデータの前記単位時間データ量に基づいて、前記再生手段による前記第１のデータおよび前記第２のデータの再生を制御する再生制御手段と
を備える情報処理装置。
【請求項２】
前記第２のデータの前記単位時間データ量に基づいて、前記第１のデータおよび前記第２のデータの再生速度を算出する再生速度算出手段をさらに備え、
前記再生制御手段は、前記再生速度算出手段により算出された前記再生速度での、前記再生手段による前記第１のデータおよび前記第２のデータの再生を制御する
請求項１に記載の情報処理装置。
【請求項３】
前記第１のデータは、主データであり、
前記第２のデータは、前記主データに付随する副データである
請求項１に記載の情報処理装置。
【請求項４】
前記第１のデータは、映像データであり、
前記第２のデータは、前記映像データに付随する文字データである
請求項１に記載の情報処理装置。
【請求項５】
前記第２のデータの前記単位時間データ量と、前記再生速度との関係を対応付ける対応情報を記憶する記憶手段をさらに備え、
前記再生速度算出手段は、前記記憶手段により記憶されている前記対応情報と、前記計測手段により計測された前記第２のデータの前記単位時間データ量とに基づいて、前記再生速度を算出する
請求項２に記載の情報処理装置。
【請求項６】
前記対応情報は、前記再生速度が、前記第２のデータの前記単位時間データ量に対して反比例する関係を示す
請求項５に記載の情報処理装置。
【請求項７】
前記対応情報により示される関係を調整する指示を入力する入力手段をさらに備え、
前記再生速度算出手段は、調整が指示された前記対応情報と、前記第２のデータの前記単位時間データ量とに基づいて、前記再生速度を算出する
請求項５に記載の情報処理装置。
【請求項８】
前記第２のデータの前記単位時間データ量に基づいて、前記第１のデータの所定の区間の再生を繰り返す繰り返し回数を設定する繰り返し回数設定手段をさらに備え、
前記再生制御手段は、前記再生速度算出手段により算出された前記再生速度での、前記繰り返し回数分の、前記第１のデータおよび前記第２のデータの前記所定の区間の再生を制御する
請求項２に記載の情報処理装置。
【請求項９】
前記第１のデータは、前記第２のデータとともに、所定の記録媒体に記録されている
請求項２に記載の情報処理装置。
【請求項１０】
前記第１のデータおよび前記第２のデータの両方、または、いずれか一方は、ネットワーク上の所定のサーバに記憶されており、
前記第１のデータおよび前記第２のデータの両方、または、いずれか一方を、前記所定のサーバとの通信によって取得する通信手段をさらに備える
請求項２に記載の情報処理装置。
【請求項１１】
複数の前記計測手段により計測された、前記第２のデータそれぞれの前記単位時間データ量に基づいて、複数の前記再生制御手段による、前記第２のデータそれぞれが付随する前記第１のデータそれぞれの再生の制御に基づいて表示される映像それぞれの表示領域の大きさを設定する表示領域設定手段と、
前記表示領域設定手段により設定された表示領域の大きさの前記映像それぞれを合成した合成映像を生成する合成手段とをさらに備え、
前記再生手段は、前記合成映像を再生する
請求項４に記載の情報処理装置。
【請求項１２】
複数の前記計測手段により計測された、前記第２のデータそれぞれの前記単位時間データ量に基づいて、複数の前記再生制御手段による、前記第２のデータそれぞれが付随する前記第１のデータそれぞれの再生の制御に基づいて表示される映像それぞれの重ね順を設定する重ね順設定手段と、
前記重ね順設定手段により設定された重ね順で前記映像それぞれを合成した合成映像を生成する合成手段とをさらに備え、
前記再生手段は、前記合成映像を再生する
請求項４に記載の情報処理装置。
【請求項１３】
複数の前記計測手段により計測された、前記第２のデータそれぞれの前記単位時間データ量に基づいて、複数の前記再生制御手段による、前記第２のデータそれぞれが付随する前記第１のデータそれぞれの再生の制御に基づいて表示される映像それぞれに対応して出力される音声の音声データの音量レベルを設定する音量設定手段と、
前記音量設定手段により設定された音量レベルの前記音声データそれぞれを合成した合成音声データを生成する合成手段とをさらに備える
請求項４に記載の情報処理装置。
【請求項１４】
第１のデータとともに第２のデータを再生する再生ステップと、
前記第２のデータの、単位時間あたりに再生されるデータ量である単位時間データ量を計測する計測ステップと、
前記計測手段により計測された前記第２のデータの前記単位時間データ量に基づいて、前記再生ステップの処理における前記第１のデータおよび前記第２のデータの再生を制御する再生制御ステップと
を含む情報処理方法。
【請求項１】
第１のデータとともに第２のデータを再生する再生手段と、
前記第２のデータの、単位時間あたりに再生されるデータ量である単位時間データ量を計測する計測手段と、
前記計測手段により計測された前記第２のデータの前記単位時間データ量に基づいて、前記再生手段による前記第１のデータおよび前記第２のデータの再生を制御する再生制御手段と
を備える情報処理装置。
【請求項２】
前記第２のデータの前記単位時間データ量に基づいて、前記第１のデータおよび前記第２のデータの再生速度を算出する再生速度算出手段をさらに備え、
前記再生制御手段は、前記再生速度算出手段により算出された前記再生速度での、前記再生手段による前記第１のデータおよび前記第２のデータの再生を制御する
請求項１に記載の情報処理装置。
【請求項３】
前記第１のデータは、主データであり、
前記第２のデータは、前記主データに付随する副データである
請求項１に記載の情報処理装置。
【請求項４】
前記第１のデータは、映像データであり、
前記第２のデータは、前記映像データに付随する文字データである
請求項１に記載の情報処理装置。
【請求項５】
前記第２のデータの前記単位時間データ量と、前記再生速度との関係を対応付ける対応情報を記憶する記憶手段をさらに備え、
前記再生速度算出手段は、前記記憶手段により記憶されている前記対応情報と、前記計測手段により計測された前記第２のデータの前記単位時間データ量とに基づいて、前記再生速度を算出する
請求項２に記載の情報処理装置。
【請求項６】
前記対応情報は、前記再生速度が、前記第２のデータの前記単位時間データ量に対して反比例する関係を示す
請求項５に記載の情報処理装置。
【請求項７】
前記対応情報により示される関係を調整する指示を入力する入力手段をさらに備え、
前記再生速度算出手段は、調整が指示された前記対応情報と、前記第２のデータの前記単位時間データ量とに基づいて、前記再生速度を算出する
請求項５に記載の情報処理装置。
【請求項８】
前記第２のデータの前記単位時間データ量に基づいて、前記第１のデータの所定の区間の再生を繰り返す繰り返し回数を設定する繰り返し回数設定手段をさらに備え、
前記再生制御手段は、前記再生速度算出手段により算出された前記再生速度での、前記繰り返し回数分の、前記第１のデータおよび前記第２のデータの前記所定の区間の再生を制御する
請求項２に記載の情報処理装置。
【請求項９】
前記第１のデータは、前記第２のデータとともに、所定の記録媒体に記録されている
請求項２に記載の情報処理装置。
【請求項１０】
前記第１のデータおよび前記第２のデータの両方、または、いずれか一方は、ネットワーク上の所定のサーバに記憶されており、
前記第１のデータおよび前記第２のデータの両方、または、いずれか一方を、前記所定のサーバとの通信によって取得する通信手段をさらに備える
請求項２に記載の情報処理装置。
【請求項１１】
複数の前記計測手段により計測された、前記第２のデータそれぞれの前記単位時間データ量に基づいて、複数の前記再生制御手段による、前記第２のデータそれぞれが付随する前記第１のデータそれぞれの再生の制御に基づいて表示される映像それぞれの表示領域の大きさを設定する表示領域設定手段と、
前記表示領域設定手段により設定された表示領域の大きさの前記映像それぞれを合成した合成映像を生成する合成手段とをさらに備え、
前記再生手段は、前記合成映像を再生する
請求項４に記載の情報処理装置。
【請求項１２】
複数の前記計測手段により計測された、前記第２のデータそれぞれの前記単位時間データ量に基づいて、複数の前記再生制御手段による、前記第２のデータそれぞれが付随する前記第１のデータそれぞれの再生の制御に基づいて表示される映像それぞれの重ね順を設定する重ね順設定手段と、
前記重ね順設定手段により設定された重ね順で前記映像それぞれを合成した合成映像を生成する合成手段とをさらに備え、
前記再生手段は、前記合成映像を再生する
請求項４に記載の情報処理装置。
【請求項１３】
複数の前記計測手段により計測された、前記第２のデータそれぞれの前記単位時間データ量に基づいて、複数の前記再生制御手段による、前記第２のデータそれぞれが付随する前記第１のデータそれぞれの再生の制御に基づいて表示される映像それぞれに対応して出力される音声の音声データの音量レベルを設定する音量設定手段と、
前記音量設定手段により設定された音量レベルの前記音声データそれぞれを合成した合成音声データを生成する合成手段とをさらに備える
請求項４に記載の情報処理装置。
【請求項１４】
第１のデータとともに第２のデータを再生する再生ステップと、
前記第２のデータの、単位時間あたりに再生されるデータ量である単位時間データ量を計測する計測ステップと、
前記計測手段により計測された前記第２のデータの前記単位時間データ量に基づいて、前記再生ステップの処理における前記第１のデータおよび前記第２のデータの再生を制御する再生制御ステップと
を含む情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２００９−２５３３４２（Ｐ２００９−２５３３４２Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−９４８４７（Ｐ２００８−９４８４７）
【出願日】平成２０年４月１日（２００８．４．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月１日（２００８．４．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]