ディスク状記録媒体、並びに映像情報再生装置及び方法
【課題】マルチアングル再生の各アングル再生に対応した複数のビデオデータのストリームから成る第1のファイルと、同時に再生されるべきオーディオデータのストリームから第2のファイルとが記録されたディスク状の記録媒体において、ユーザーがアングルの切り替え操作を行ってから、短時間で、映像表示装置で表示される映像のアングルが切り替わることを可能とする。
【解決手段】第1の記録領域に記録された各アングルブロックのディスク状記録媒体上の位置と第2の記録領域との、記録媒体上の半径方向の距離を表す距離情報が各アングルブロック内に記録されている。
【解決手段】第1の記録領域に記録された各アングルブロックのディスク状記録媒体上の位置と第2の記録領域との、記録媒体上の半径方向の距離を表す距離情報が各アングルブロック内に記録されている。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、光ディスク等のディスク状記録媒体並びに該ディスク状記録媒体から映像情報を再生する映像再生装置及び方法に関する。
【背景技術】
【0002】
光ディスクに記録された、2本以上のファイルを交互に読み込みながら再生する方法として、二つのファイルを交互に読み、且つそれぞれの再生を途切れさせないようにするために、比較的大きなバッファメモリを用意し、一方のファイルを十分バッファメモリに蓄えてから、他方のファイルを読み込むという動作を交互に行って、再生する方式が提案されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2002/023896号
【発明の概要】
【発明が解決しようとする課題】
【0004】
ディスク上に記録されたビデオデータファイルと、ビデオデータファイルとはディスク上の物理的に離れた位置に配置されたデータファイル、例えばオーディオデータファイルとを同時に再生させる一般的な方法について説明をする。
二つのファイルに対して同時に再生を行う場合、それぞれのファイル用に十分大きなバッファを用意して、バッファに十分なデータを蓄積してから、別のファイルの読み込みを行なうことにより、当該別のファイル用のバッファが空になる前に読み込みを再開する方法が一般的である。また、どの再生装置においても再生が途切れることが無いよう、即ち再生装置間の互換性を高めるために、二つのファイルの物理的な位置、ファイルの読み込みレート(速度)、読み込まれたファイルを一時的に蓄積するバッファメモリのサイズ等が規定されている。ここで、ビデオファイルの符号化レートが5Mbps、二つのファイルの物理的な位置の最大差が、1/2ストローク以内に規定されていると仮定する。ここで1/2ストロークとはディスクの記録領域の最内周と最外周との距離の1/2を意味する。また、このディスクを再生するドライブの、1/2ストロークの距離のシークに要する時間が1secであると仮定する。
上記の条件で、ビデオとオーディオのデコードを中断させることなく、再生させる方法について説明をする。ビデオデータの読み込み中に、オーディオデータを読み込みに行く場合、オーディオデータが存在する位置までシークを行い、オーディオデータを読み込んで、再びビデオデータの読み込みに復帰するまでの間、ビデオバッファ内のデータを使って再生を行う必要がある。上記のドライブの条件の下で、オーディオのデータを読み込む時間を1secとすると、合計3secの間、ビデオデータの読み込みができないため、ビデオバッファ内のデータを使って再生を行う必要がある。よって、オーディオデータを読みに行く前に、ビデオバッファには最低でも15Mbit以上のビデオデータを確保しておく必要がある。
【0005】
上記のように、ビデオバッファに数秒分のデータを先読みして蓄えておくため、たとえばマルチアングルコンテンツを再生している時に不都合が生じる。マルチアングルとは、複数の視点から同時に記録された映像を、ユーザーが任意に選択して視聴する機能であり、DVDなどでは一般的に使われている。マルチアングルのコンテンツの再生は、指定されているアングルのビデオデータだけを選択して読み出し、ユーザーの切り替え操作が発生すると、変更されたアングルのビデオデータを読み込むことで再生を行う。そのため15Mbitのバッファデータを保持していると、読み込むストリームのデータを切り替えても、バッファ内のデータが消費されてしまうまでは、切り替え前のアングルのデータがデコードされ表示され続ける。すなわち、ユーザーがアングルの切り替え指示をしてから、実際にアングルが切り替わるまでに、3秒以上を要する場合があり、操作性が著しく損なわれてしまう。またこの問題を回避するために、すべてのアングルのデータを読み込んでおく方法もあるが、高速読み出しが可能なドライブと、大容量のバッファメモリが必要となるため、コストアップとなり現実的でない。
【0006】
本発明は、上記のような問題を解決するためになされたもので、二つ以上のファイルを同時に再生する場合においても、ユーザーがアングルの切り替え操作を行ってから、短時間で、映像表示装置で表示される映像のアングルが切り替わることを可能とする、ディスク状記録媒体、並びに映像情報再生装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一つの態様のディスク状記録媒体は、
マルチアングル再生の各アングル再生に対応した複数のビデオデータのストリームからなる第1のファイルと前記マルチアングル再生と同時に再生されるべきオーディオデータのストリームからなる第2のファイルとが記録されたディスク状記録媒体であって、
前記複数のビデオデータのストリームのそれぞれは、前記各アングル再生に対応するアングルブロックで構成され、
前記第1のファイルは、前記ディスク状記録媒体上の内周側の第1の記録領域に記録され、
前記第2のファイルは、前記ディスク状記録媒体上の外周側の第2の記録領域に記録され、
前記第1の記録領域に記録された各アングルブロックの前記ディスク状記録媒体上の位置と前記第2の記録領域との、前記記録媒体上の半径方向の距離を表す距離情報が前記各アングルブロック内に記録されていることを特徴とする。
【発明の効果】
【0008】
本発明によれば、マルチアングルのコンテンツを再生する際に、複数のファイルを同時に読み込みながら同時に再生する場合においても、ユーザーがアングルの切り替え操作をおこなった後、速やかに切り替え後の映像を表示することが可能となる。
【図面の簡単な説明】
【0009】
【図1】一般的なマルチアングル再生における、インデックス情報ファイルのシンタックスを示す図である。
【図2】一般的なマルチアングルコンテンツにおける、マルチアングル再生に使用するストリームの、ディスク上での物理的配置を示す図である。
【図3】本発明の実施の形態における、映像情報再生装置の構成を示す図である。
【図4】実施の形態1における、マルチアングル再生に使用するストリームと、これと交互に読み込まれるオーディオストリームとの、ディスク上での物理的配置を示す図である。
【図5】実施の形態1における、インデックス情報ファイルのシンタックスを示す図である。
【図6】(a)及び(b)は、実施の形態1の動作におけるビデオバッファ3とオーディオバッファ4のデータ量の時間に対する変化を示した図である。
【図7】本発明の実施の形態2における、マルチアングル再生に使用するストリームと、これと交互に読み込まれるオーディオストリームとの、ディスク上での物理的配置を示す図である。
【図8】実施の形態2における、インデックス情報ファイルのシンタックスを示す図である。
【図9】本発明の実施の形態3における、映像情報再生装置の構成を示す図である。
【図10】実施の形態3における、アングルブロック中の右目用ストリームと左目用ストリームとの、ディスク上での物理的配置を示す図である。
【図11】実施の形態3における、マルチアングル再生に使用するストリームと、これと交互に読み込まれるオーディオストリームとの、ディスク上での物理的配置を示す図である。
【図12】実施の形態3における、インデックス情報ファイルのシンタックスを示す図である。
【図13】(a)及び(b)は、実施の形態3の動作におけるビデオバッファ3とオーディオバッファ4のデータ量の時間に対する変化を示した図である。
【図14】実施の形態3における、インデックス情報ファイルのシンタックスを示す図である。
【発明を実施するための最良の形態】
【0010】
以下、実施の形態を、図面を参照しながら説明する。
本実施の形態の映像情報記録方法及び映像情報再生装置は、ディスク状記録媒体、例えば一般的な光ディスクであるDVD、CD、Blu−ray、HD−DVD等の記録媒体に対して記録及び再生を行なうものである。
【0011】
実施の形態1.
まず、マルチアングルを構成する、データの特徴について説明をする。本実施の形態では説明を簡略化するため、アングルが二つある場合を例に説明をする。アングル切り替えを容易に行うためには、アングル切り替えによるシーク時間を短くすることが必要である。そのため二つのデータは物理的に近い位置に配置され、さらにそれぞれのデータを細分化してアングルブロックとし、二つのストリームのアングルブロックを交互に配置することで、シーク時間の短縮化を図っている。
【0012】
アングルブロックとは連続して再生を行うデータの最小単位であり、アングル切り替えはアングルブロックの先頭で行われ、アングルブロック途中での切り替えは行われない。一般に、ビデオデータはMPEG2等で符号化されているため、GOP(Group of Pictures)の先頭であるIピクチャーからでないとデコードできない。よって、途切れの無いアングル切り替えを行うには、アングル切り替えポイントは、GOPの先頭でかつ、このGOPがクローズドGOP(ClosedGOP)であることが必要である。即ち、アングルブロックの先頭データはGOPの先頭であり、且つ、各アングルブロックは少なくとも一つのGOPを含む。また、複数のストリームの各々のn番目のアングルブロック(例えば後述のストリームAのアングルブロックAn)の先頭のビデオデータのPTS(Presentation Time Stamp)は、他のストリームのn番目のアングルブロック(例えば後述のストリームBのアングルブロックBn)の先頭のビデオデータのPTSと同一時刻を示す。一方、オーディオは、アングルが切り替わっても変化しないため、各ストリームのn番目のアングルブロックに含まれるオーディオデータは、それぞれ同一である。また、アングル切り替えに使用するストリームに存在するアングルブロックの数は同数である。
【0013】
図1は、ストリームのGOPの先頭となるIピクチャーの時間情報と、Iピクチャーが存在する物理的な位置との関係を示すインデックス情報ファイルのシンタックスであり、このファイルは一つのストリームファイルに対して一つ存在する。
このインデックス情報ファイルは、ストリームA、Bを含むストリームファイルとは別のファイルとしてディスク状に記録されている。映像情報再生装置は、ストリームA、Bを含むストリームファイルの読み込みに先立ち、インデックス情報ファイルを読み込む。
【0014】
このインデックス情報ファイルにおいて、“Number_of_GOP”は、対象となるストリームファイルに含まれるGOPの総数を示し、次のforループは、GOPの数だけ繰り返される。ファイルの情報は、ランダムアクセスやIピクチャーサーチや、アングル切り替えに必要な情報となる。“GOP_id”は、ストリーム中のGOPのID番号であり、0を起点にインクリメントされる。“I_PTS”は、IピクチャーのPTSの時間を示す。“I_SCN”は、ストリームの先頭から、GOP先頭の最初の1バイトまでの相対バイト数を示す。再生装置は、“I_PTS”と“I_SCN”の二つの情報から、GOPの先頭の再生時間とディスク上の位置との関係を知ることができる。“Angle_flag”は、このGOPがアングル切り替え可能なポイントがどうかを示すフラグであり、“1”の場合アングル切り替え地点を意味する。アングルブロックの先頭を指し示すインデックス情報の“Angle_flag”は必ず“1”となる。
【0015】
図2は、上記のアングルブロックが記録された記録媒体10上の配置を示す図である。ストリームA(第1のストリーム)が第1アングルのストリーム、ストリームB(第2のストリーム)が第2アングルのストリームであり、これらが第1の記録領域11に記録されている。それぞれのストリームには、ビデオデータとオーディオデータが重畳されている。それぞれのストリームのアングルブロックは、A_1、A_2、A_3・・・、B_1、B_2、B_3・・・となり、交互に配置される。
【0016】
図3は、本発明に係る映像情報再生装置全体を示す図である。
図3に示される映像情報再生装置は、ドライブ1と、デマルチプレクサ2と、ビデオバッファ3と、オーディオバッファ4と、ビデオデコーダ5と、オーディオデコーダ6と、映像表示装置7と、制御部8とを有する。
【0017】
ドライブ1は、記録媒体10から、ビデオデータ及びオーディオデータを読み込む(リードする)。デマルチプレクサ2は、ドライブ1により読み込まれたビデオデータ及びオーディオデータを分離する。ビデオバッファ3は、記録媒体10から読み込まれたビデオデータを一時的に蓄積する。オーディオバッファ4は、記録媒体10から読み込まれたオーディオデータを一時的に蓄積する。
【0018】
ビデオデコーダ5は、ビデオバッファ3に蓄積されているビデオデータを読み出して復号化し、映像表示装置7に供給する。オーディオデコーダ6は、オーディオバッファ4に蓄積されているオーディオデータを読み出して復号化し、映像表示装置7に供給する。映像表示装置7は、ビデオデコーダ5からの復号化されたビデオデータにより映像を表示し、オーディオデコーダ6からの復号化されたオーディオデータにより音声を出力する。
【0019】
制御部8は、上記した、ドライブ1から映像表示装置7までの動作を制御するものであり、例えば少なくとも一つのCPUとプログラムメモリを備え、その全体又は一部がソフトウェアで、即ちプログラムメモリに記憶されたプログラムに従うCPUの動作により実現される。
【0020】
記録媒体10上に記録されたストリームAがドライブ1により読み込まれ、デマルチプレクサ2で、ビデオデータ、オーディオデータに分離される。分離されたビデオデータは、ビデオバッファ3に一旦蓄積される。
【0021】
ビデオバッファ3には、ストリームAの各アングルブロック内のビデオデータが順次蓄積される。更にビデオバッファ3から、ビデオデコーダ5へのデータが転送され、ビデオデコーダ5で映像信号に復号された後、TV等の映像表示装置7へ出力される。また、分離されたオーディオデータは、オーディオバッファ4に一旦蓄積された後、オーディオデコーダ6で音声信号に復号され、TV等の映像表示装置7へ出力される。
【0022】
ストリームAを連続して再生しているときは、ストリームBのアングルブロックを飛ばしながら、ストリームAのアングルブロックを読み込んでデマルチプレクサ2に送る。
【0023】
ストリームAの再生が行われている最中に、ストリームBへのアングル切り替え操作をユーザーが行うと、制御部8からドライブ1に対して、ストリームBの読み込み指令が出される。この時、現在読み込み中のストリームAのアングルブロックがアングルブロックA_nであったとすると、ストリームBへの切り替えは、アングルブロックB_n+1から行われる。
【0024】
制御部8では、ストリームA、Bの読み込みに先立って読み込まれ、制御部8内に保持されるインデックス情報ファイルから、ストリームBのアングルブロックB_n+1の先頭位置を割り出し、ドライブ1にアングルブロックB_n+1からの読み込みを指令する。よって、ビデオバッファ3、オーディオバッファ4には、アングルブロックA_nの次にアングルブロックB_n+1のデータが蓄積され、アングルブロックB_n+1のビデオデータがビデオデコーダ5で復号され映像信号となり出力された段階で、ユーザーはアングルが切り替わったことを認識できるようになる。
【0025】
以上、マルチアングル再生に必要なストリーム(この場合ストリームAとストリームB)だけを使った場合の、アングル切り替え動作について説明した。しかし、再生するコンテンツの内容によって、マルチアングル再生に必要なファイル以外のファイルと同時に再生をすることが要求される場合がある。例えばオーディオの再生とビデオの再生を非同期に行うようなコンテンツの場合がある。例えば、スライドショー表示において、バックグランドで音楽を再生する場合、映像はユーザによって、次のスライドに移るが、音声は映像とは関係なく、再生が続けられる。このような場合、映像と音声の再生が非同期で行なわれる。このような場合、一つのストリームにビデオとオーディオを重畳して再生することができないため、オーディオ用に別のストリームを用意する必要がある。この様な場合、マルチアングルに使われるビデオストリームと、オーディオ再生に使われるストリームとを交互に読み込みながら再生することが要求される。
【0026】
次に、マルチアングルを構成するビデオストリームと、非同期に再生されるオーディオストリームを交互に読み込みながら再生する場合における、マルチアングル再生の動作について説明をする。
【0027】
図4は、マルチアングル再生用のストリームA、Bと、同時に読み込まれるストリームCの、記録媒体10上での配置を示す図である。ストリームA、Bの配置は図2を参照して説明したのと同じである。なお、ストリームA、Bを「主ストリーム」と言い、ストリームCを「関連ストリーム」と言うことがある。
【0028】
ストリームA及びBは、ビデオデータのみで構成されている。ストリームCは、ストリームA、ストリームBの記録されたトラックから所定の距離Xmm離れたトラックに存在している。ストリームCは、オーディオデータのみで構成されている。
このように、ストリームA及びストリームBは、記録媒体10の第1の領域11に配置され、ストリームCは記録媒体10の第2の領域12に配置されている。
【0029】
ビデオバッファ3は、第1の領域11から読み込まれたビデオデータ(ストリームA又はBの各部分)を一時的に蓄積し、オーディオバッファ4は、第2の領域12から読み込まれた、ビデオバッファ3に蓄積されているビデオデータ、又はその直前若しくは直後に再生されるビデオデータと同時に再生されるべきオーディオデータ(ストリームCの対応部分)を一時的に蓄積する。ストリームCは、ストリームA,Bと同時に再生されるべき関連ストリームとも呼ばれる。ビデオバッファ3とオーディオバッファ4とでは、書き込み及び読み出しが交互に行なわれるので、ビデオバッファ3に蓄積されているビデオデータのすべてに対して、対応するオーディオデータがオーディオバッファ4に蓄積されているとは限らない。別の見方をすれば、オーディオバッファ4には、ビデオバッファ3に蓄積されているビデオデータのみならず、当該ビデオデータの直前若しくは直後に再生されるビデオデータと同時に再生されるべきオーディオデータ(ストリームCの対応部分)が一時的に蓄積されており、ビデオバッファ3には、オーディオバッファ4に蓄積されているオーディオデータのみならず、当該オーディオバッファの直前若しくは直後に再生されるオーディオデータと同時に再生されるべきビデオデータが一時的に蓄積されている。
【0030】
図5は、マルチアングル再生用のビデオストリームのインデックス情報ファイルのシンタックスを示す図である。図5のインデックス情報ファイルにおいて、“file_distance”情報が付加されている点が、図1のシンタックスとは異なる。“file_distance”は、ストリームA又はストリームBと、同時に(併行して)読み込みを行うストリームCとの物理的な距離を示す情報である。
【0031】
このインデックス情報ファイルは、ビデオストリーム(ストリームA、B)、オーディオストリーム(ストリームC)とは別のファイルとしてディスク状に記録されている。映像情報再生装置は、上記のように、ビデオストリーム、オーディオストリームの読み込みに先立ち、インデックス情報ファイルを読み込む。
【0032】
ここで、ストリームA及びストリームBの符号化ビットレート(従ってビデオバッファ3からの読み出しレート)は5Mbps、ストリームCの符号化ビットレート(従ってオーディオバッファ4からの読み出しレート)は0.5Mbps、ドライブ1のデータ読み込みレート(速度)は10Mbps、ストリームA又はストリームBとストリームCとの物理的距離は、10mmと仮定する。ドライブ1のシークに要する時間(シーク時間)とシーク距離との関係は、表1に示すごとくであり、表1に示すデータは、例えば制御部8に格納されている。なお、表1に示すデータとしては、個々の映像情報再生装置(或いは当該型式の映像情報再生装置)固有の値を記録していてもよく、規格で要求されるシーク速度の範囲の最低値に相当する値を記憶していても良い。
【0033】
【表1】
【0034】
この時、インデックス情報ファイルの“file_distance”は10mmに設定される。また、シーク速度テーブル(表1)から、“file_distance”が10mmの時の、シークに要する時間は300msecであることが判る。ストリームCの読み込み時間(リード時間)を400msecと仮定すると、ストリームCにシークを行い、再びストリームAの読み込みを再開するまでの時間が、合計300+400+300=1000msecとなる。その間に消費される(読み出される)、ビデオバッファ3のデータ量は
1sec×5Mbps=5Mbit
となるため、ストリームCへのシークを開始するまでには、ビデオバッファ3には5Mbitのデータが蓄積されている必要がある。ただし実際には若干のマージンが必要となるため、余分に1Mbit程度多めの6Mbitを蓄積する。
【0035】
ストリームCへのシークは、オーディオバッファ4のデータ量が少なくなって所定値に達したときに開始される。即ち、オーディオバッファ4のデータ量及び符号化レート(オーディオバッファ4から読み出しレート)を考慮し、そのままでは(オーディオバッファへの書き込みをしなければ)、オーディオバッファ4のデータ量がゼロ(又はゼロよりも若干の余裕を持たせた量)になる時刻を予測し、その時刻よりもシークに要する時間だけ前の時刻にシークを開始する。本例では、上記の「余裕を持たせた量」を1.2Mbitとし、符号化レートが0.5Mbps、シーク時間が0.3秒であることから、オーディオバッファ4のデータ量が、
1.2Mbit+0.3×0.5=1.35Mbit
になったら、シークを開始することとしている。
【0036】
図6(a)及び(b)は、ビデオバッファ3とオーディオバッファ4のデータ量の時間に対する変化(遷移)を示した図である。
【0037】
時刻T0で、オーディオバッファ4のデータ量が所定値である1.35Mbitに達した(まで下がった)ことが検出されると、ストリームCへのシークが開始される。その時のビデオバッファ3のデータ量が6Mbitとする。制御部8は時刻T0にドライブ1にストリームCへのシークを指令し、これによりシークが開始されるが、この間ビデオバッファ3に蓄積されたデータを消費しながらビデオ再生を行うため、ビデオバッファ3内のデータは、符号化ビットレートの5Mbpsのレートで減少を続け、オーディオバッファ4のデータは0.5Mbpsのレートで減少を続ける。300msec後の時刻T1にはシークが完了し、ストリームCの読み込みが開始される。
【0038】
時刻T1でのオーディオバッファ4のデータ量は1.2Mbitとなる。上記のように、オーディオの符号化レートが0.5Mbpsであり、ドライブ1のデータ読み込みレートが1レートが0Mbpsであるとすると、400msecの間読み込みにより、時刻T1から400msec後の時刻T2におけるオーディオバッファ4のデータ量は、
(10−0.5)Mbps*0.4sec+1.2Mbit=5.0Mbit
となる。
【0039】
オーディオの符号化レートが0.5Mbpsであるため、時刻T2から最大10秒以内に、ストリームCの読み込みが再開できれば、音声が途切れることなく再生可能となる。
時刻T2にドライブ1は再びシークを開始し、時刻T2から300msec後の時刻T3にストリームAの読み込みを開始する。
【0040】
時刻T0からT3までは1secであるため、ビデオバッファ3のデータ量は時刻T3において、
6Mbit−5.0Mbps*1.0sec=1.0Mbit
となる。
【0041】
次にドライブ1は、ビデオバッファ3のデータが6Mbitに達する時刻T4まで、ストリームAを読み込む。制御部8は、時刻T4以降はビデオバッファ3のデータ量が6Mbitを切らないように読み込み(リード)とポーズを繰り返すことでビデオバッファ3の制御を行う。以降、同様の動作を繰り返すことでストリームAとストリームCを、交互に読み込んで再生を行う。
【0042】
ここで言う「6Mbit」は、上記のように、ストリームAを記録した第1の領域11からストリームCを記録した第2の領域12までのシークの時間(0.3sec)、第2の領域12におけるストリームCを読み込んでオーディオバッファ4に書き込み、オーディオバッファ14内のデータ量を所定量(例えば5Mbit)まで増やすのに要する時間(0.4sec)、及び第2の領域12から第1の領域11へのシークの時間(0.3sec)の合計の時間(1sec)にビデオバッファ3から読み出されるデータ量(5Mbit)に、マージン(1Mbit)を加えた量であり、制御部8は、第1の領域11から第2の領域12までの距離を表す情報に基づいて、表1を参照してシークに要する時間を推定する。
【0043】
このように、制御部8は、第1の領域11から第2の領域12までの距離を表す情報、オーディオバッファ4への書き込みのレート、オーディオバッファ4からの読み出しのレート、第2の領域12から第1の領域11へのシークを開始する前に、オーディオバッファ4に蓄えておくべきデータ量(5Mbit)などに基づいて、ビデオバッファ3に蓄積すべきデータの量(サイズ)を制御し、変化させている。
【0044】
時刻T5は、ユーザーの操作によりアングル切り替えの指令が出され、ストリームBへのシークが開始される時刻である。制御部8は時刻T5に、現在ビデオバッファ3に蓄積されている最新のアングルブロックのデータの次に相当する(次に再生すべき)、ストリームBのアングルブロックの先頭へのシーク命令を出す。例えば、ストリームAのn番目のアングルブロックAnを再生しているとすれば、ストリームBのn+1番目のアングルブロックBn+1が次に再生すべきアングルブロックである。既に説明したようにマルチアングル再生に使うストリームは物理的に非常に近い位置に配置されているため、ストリームAからストリームBへのシークは、非常に短い時間、例えば表1に示されるように、50msecで完了することができる。
【0045】
なお、同じストリーム(例えばストリームA)の一つのアングルブロック(例えばAn)の読み込みを行なった後、次のアングルブロック(An+1)の読み込みを開始する際にも、同様の短いシーク時間が必要である。
【0046】
時刻T5から50msec後の時刻T6にストリームBの読み込みが開始される。ストリームBの読み込みが開始される、時刻T6におけるビデオバッファ3内のストリームAのデータ残量は、約6Mbitであるため、実際に映像表示装置7で再生される映像のアングルが切り替わるまでの時間(ストリームBの再生が開始されるまでの時間)は約1.2秒となる。以降の動作は、ストリームBとストリームCが交互に読み込まれ、再生される(この動作は、ストリームAとストリームCを交互に読み込んで再生するときと全く同様である)。
【0047】
以上の様に、本実施の形態では“file_distance”を使って、マルチアングル再生に使用するストリームと、これに関連するオーディオストリーム(即ち、交互に読み込まれる必要のあるストリーム)相互間の距離に応じて、ビデオバッファ3に蓄積するデータ量を変化させている。
【0048】
この情報を使わない従来の方式の場合、再生装置は二つのファイルの距離を知ることができないので、実際の二つのストリームの距離が小さい場合においても、ストリームAとストリームCとの距離が最大となることを常に想定して、ビデオバッファ3に蓄積するデータ量を設定する必要がある。例えば、二つのファイルの最大距離が40mm以下に規定されている場合、実際に読み込まれているストリームの距離に関わらず最大値である40mmを想定して、少なくとも2.4秒分のデータをビデオバッファに蓄積する必要がある。そのため、アングル切り替えを行うと、二つのファイルの距離に関わらず、実際に映像表示装置7で再生される映像のアングルが切り替わるまでに最低でも2.4秒を要する。
【0049】
これに対し、本実施の形態のように、“file_distance”を利用すると、再生装置は二つのファイルの距離に応じて、ビデオバッファ内のデータ量を常に最小にすることが可能となる。よって、“file_distance”を使わない場合に比較して、ユーザーがアングル切り替えを実行してから、短い時間で実際のアングルが切り替わる再生装置を提供することが可能となる。
【0050】
実施の形態2.
実施の形態1では、“file_distance”を使うことで、短い時間でのアングル切り替えが実現できたが、マルチアングル再生に使用するストリームが非常に長いファイルであった場合、その効果が十分でなくなる場合がある。図7は、図4におけるストリームAとストリームBが非常に長い場合の、記録媒体10上でのデータ配置を示す図である。この場合、ストリームAの終端部分11cの位置とストリームCとの距離は、10mmであるが、ストリームAの先頭部分11bの位置と、ストリームCとの距離は40mmである。このような場合、“file_distance”は、長い距離である40mmが設定されるため、ストリームAの終端11cに近い部分を再生している時のビデオバッファ3に蓄積するデータサイズは、必要以上に大きくなる。この例においては、終端部分11cでは1.0秒分のデータだけあれば十分であるが、先頭部分11bを再生している時と同様の2.4秒分を蓄積する必要がある。よって、終端付近においてアングル切り替えを行うと、実際にアングルが切り替わるまでに必要以上に時間を要することになる。
【0051】
図8は、この様な問題を解決するために、図5のインデックス情報を改良したインデックス情報ファイルである。図5との違いは各アングルブロックについての“file_distance”の情報が当該アングルブロック内に、例えば当該アングルブロックのGOPのループ内に配置されている(forループ内において、各GOPに対して“file_distance”が定義されている)点である。このように、GOP単位で“file_distance”の情報を配置することで、ストリームのすべての各アングルブロックから、ストリームCまでの正確な距離を知ることができるようになる。上記の例でストリームの終端付近のアングルブロックに対応する“file_distance”の値は10mmとなるため、ビデオバッファ3に蓄積するデータサイズを1.0秒分に制御可能となる。
【0052】
以上の様に、インデックス情報ファイルを改良することで、再生しているストリームのすべての位置において、最短の距離が把握できるようになるため、アングル切り替えに要する時間を常に最短の時間で切り替わる、再生装置を提供することが可能となる。
【0053】
なお、ストリームAやストリームBのみならず、ストリームCも非常に長い場合には、ストリームAやストリームBの各部分と、当該各部分と同時に再生されるべきストリームCの部分との距離の情報を、ストリームAやストリームBの当該部分ごとに記録しておくこととしてもよい。
【0054】
上記の各アングルブロックごとの距離情報は、当該アングルブロック内に記録することとしてもよく、また記録媒体10の管理領域内に記録することとしてもよい。
【0055】
実施の形態3.
実施の形態1、実施の形態2では、“file_distance”情報を利用して、マルチアングル用のストリームと、他のストリームを同時に再生する方法について説明をしたが、本実施の形態では、マルチアングル用のストリームが立体視用のストリームで構成されている場合においても、全く同様に“file_distance”が適応できることを説明する。
【0056】
図9は、立体視用のストリームを表示する映像情報再生装置全体を示す図である。図3との違いは、ビデオバッファ13とビデオデコーダ14が追加されている点である。ビデオバッファ13とビデオデコーダ14の機能は、ビデオバッファ3、ビデオデコーダ5と全く等しい。ドライブ1より読み込まれたデータは、デマルチプレクサ2で、右目用のビデオデータ、左目用のビデオデータ及びオーディオデータに分離される。右目用のビデオデータは、ビデオバッファ13で一旦蓄積された後、ビデオデコーダ14でデコードされ映像表示装置7に出力される。左目用のビデオデータは、ビデオバッファ3で一旦蓄積された後、ビデオデコーダ5でデコードされ映像表示装置7に出力される。
【0057】
図10は図2におけるアングルブロックA1およびA2の詳細を示す図である。A1中のL1〜L3は左目用の画像データ、R1〜R3は右目用の画像データであり、ビデオバッファ3、及びビデオバッファ13がアンダーフローしたり、オーバーフローしたりしないサイズに分割され交互に配置されている。デマルチプレクサ2では、左目用の画像データと右目用の画像データとを分離し、ビデオバッファ3、13にデータを送出する。アングルブロックの制約条件は、実施の形態1と同様であるため説明は省略する。
【0058】
立体視用のストリームが重畳されたコンテンツは、出力するTVや、再生装置が立体視に対応していない場合、片方の映像データだけをデコードして、2次元の映像として再生を行う必要がある。よって、コンテンツの内容によっては、同時に読み出しを行うストリームが、2次元の映像を表示する時と、立体視の映像を表示する時とで、異なる場合が想定される。その場合、同時に再生すべきストリーム、例えばオーディオデータから成るストリームも、映像に応じて異なる場合が想定される。ここで2次元の映像として、右目用の映像データまたは左目用の映像データのどちらかをデコードする時に、同時に読み出すストリームをストリームC、立体視用として、両目の映像データをデコードする時に読み出すストリームを、ストリームDとする。図11は、立体視用のアングルブロックと、ストリームCが配置された領域12c、ストリームDが配置された領域12dとの、ディスク上の物理的な位置関係を示す図である。
【0059】
図12は、図5に、ストリームDとの距離を示す“file_distance_3D”が追加されたインデックス情報ファイルのシンタックスである。アングルブロックとストリームCとの距離情報が、“file_distance”に記述され、アングルブロックとストリームDとの距離情報が、“file_distance_3D”に記述されている。再生装置は、右目用と左目用の両方のストリームをデコードする時、“file_distance_3D”の値を参照し、ビデオバッファ3及び13の制御を行う。2次元の映像として右目用または左目用のストリームをデコードする時は、“file_distance”の値を参照し、ビデオバッファ3及び13の制御を行う。
そのような制御を行なった場合の、ビデオバッファ3及び13とオーディオバッファ4のデータ量の時間に対する変化(遷移)の一例を図13(a)及び(b)に示す。図13(a)において、時刻T14は、ビデオバッファ13のデータが6Mbitに達した時刻である。
【0060】
以上の様に、マルチアングル領域11が立体視映像の記録に用いられ、立体視として再生する場合と、2次元の映像として再生する場合とで、同時に読み出しを行うストリームが異なる場合においても、インデックス情報ファイルを改良することで、短い時間でアングルが切り替わる再生装置を提供することが可能となる。
【0061】
また、実施の形態2と同様に、図14に示す様に“file_distance_3D”をforループ内に配置することで、立体視用の、マルチアングル再生に使用するストリームが非常に長いファイルである場合にも、アングル切り替えに要する時間を常に最短の時間で切り替わる再生装置を提供することが可能となる。
【0062】
なお、ストリームAやストリームBのみならず、ストリームC、ストリームDも非常に長い場合には、ストリームAやストリームBの各部分と、当該各部分と同時に再生されるべきストリームC、およびストリームDの部分との距離の情報を、ストリームAやストリームBの当該部分ごとに記録しておくこととしてもよい。
【0063】
上記の各アングルブロックごとの距離情報は、当該アングルブロック内に記録することとしてもよく、また記録媒体10の管理領域内に記録することとしてもよい。
【符号の説明】
【0064】
1 ドライブ、 2 デマルチプレクサ、 3 ビデオバッファ、 4 オーディオバッファ、 5 ビデオデコーダ、 6 オーディオデコーダ、 7 映像表示装置、 8 制御部、 13 ビデオバッファ、 14 ビデオデコーダ。
【技術分野】
【0001】
この発明は、光ディスク等のディスク状記録媒体並びに該ディスク状記録媒体から映像情報を再生する映像再生装置及び方法に関する。
【背景技術】
【0002】
光ディスクに記録された、2本以上のファイルを交互に読み込みながら再生する方法として、二つのファイルを交互に読み、且つそれぞれの再生を途切れさせないようにするために、比較的大きなバッファメモリを用意し、一方のファイルを十分バッファメモリに蓄えてから、他方のファイルを読み込むという動作を交互に行って、再生する方式が提案されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2002/023896号
【発明の概要】
【発明が解決しようとする課題】
【0004】
ディスク上に記録されたビデオデータファイルと、ビデオデータファイルとはディスク上の物理的に離れた位置に配置されたデータファイル、例えばオーディオデータファイルとを同時に再生させる一般的な方法について説明をする。
二つのファイルに対して同時に再生を行う場合、それぞれのファイル用に十分大きなバッファを用意して、バッファに十分なデータを蓄積してから、別のファイルの読み込みを行なうことにより、当該別のファイル用のバッファが空になる前に読み込みを再開する方法が一般的である。また、どの再生装置においても再生が途切れることが無いよう、即ち再生装置間の互換性を高めるために、二つのファイルの物理的な位置、ファイルの読み込みレート(速度)、読み込まれたファイルを一時的に蓄積するバッファメモリのサイズ等が規定されている。ここで、ビデオファイルの符号化レートが5Mbps、二つのファイルの物理的な位置の最大差が、1/2ストローク以内に規定されていると仮定する。ここで1/2ストロークとはディスクの記録領域の最内周と最外周との距離の1/2を意味する。また、このディスクを再生するドライブの、1/2ストロークの距離のシークに要する時間が1secであると仮定する。
上記の条件で、ビデオとオーディオのデコードを中断させることなく、再生させる方法について説明をする。ビデオデータの読み込み中に、オーディオデータを読み込みに行く場合、オーディオデータが存在する位置までシークを行い、オーディオデータを読み込んで、再びビデオデータの読み込みに復帰するまでの間、ビデオバッファ内のデータを使って再生を行う必要がある。上記のドライブの条件の下で、オーディオのデータを読み込む時間を1secとすると、合計3secの間、ビデオデータの読み込みができないため、ビデオバッファ内のデータを使って再生を行う必要がある。よって、オーディオデータを読みに行く前に、ビデオバッファには最低でも15Mbit以上のビデオデータを確保しておく必要がある。
【0005】
上記のように、ビデオバッファに数秒分のデータを先読みして蓄えておくため、たとえばマルチアングルコンテンツを再生している時に不都合が生じる。マルチアングルとは、複数の視点から同時に記録された映像を、ユーザーが任意に選択して視聴する機能であり、DVDなどでは一般的に使われている。マルチアングルのコンテンツの再生は、指定されているアングルのビデオデータだけを選択して読み出し、ユーザーの切り替え操作が発生すると、変更されたアングルのビデオデータを読み込むことで再生を行う。そのため15Mbitのバッファデータを保持していると、読み込むストリームのデータを切り替えても、バッファ内のデータが消費されてしまうまでは、切り替え前のアングルのデータがデコードされ表示され続ける。すなわち、ユーザーがアングルの切り替え指示をしてから、実際にアングルが切り替わるまでに、3秒以上を要する場合があり、操作性が著しく損なわれてしまう。またこの問題を回避するために、すべてのアングルのデータを読み込んでおく方法もあるが、高速読み出しが可能なドライブと、大容量のバッファメモリが必要となるため、コストアップとなり現実的でない。
【0006】
本発明は、上記のような問題を解決するためになされたもので、二つ以上のファイルを同時に再生する場合においても、ユーザーがアングルの切り替え操作を行ってから、短時間で、映像表示装置で表示される映像のアングルが切り替わることを可能とする、ディスク状記録媒体、並びに映像情報再生装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一つの態様のディスク状記録媒体は、
マルチアングル再生の各アングル再生に対応した複数のビデオデータのストリームからなる第1のファイルと前記マルチアングル再生と同時に再生されるべきオーディオデータのストリームからなる第2のファイルとが記録されたディスク状記録媒体であって、
前記複数のビデオデータのストリームのそれぞれは、前記各アングル再生に対応するアングルブロックで構成され、
前記第1のファイルは、前記ディスク状記録媒体上の内周側の第1の記録領域に記録され、
前記第2のファイルは、前記ディスク状記録媒体上の外周側の第2の記録領域に記録され、
前記第1の記録領域に記録された各アングルブロックの前記ディスク状記録媒体上の位置と前記第2の記録領域との、前記記録媒体上の半径方向の距離を表す距離情報が前記各アングルブロック内に記録されていることを特徴とする。
【発明の効果】
【0008】
本発明によれば、マルチアングルのコンテンツを再生する際に、複数のファイルを同時に読み込みながら同時に再生する場合においても、ユーザーがアングルの切り替え操作をおこなった後、速やかに切り替え後の映像を表示することが可能となる。
【図面の簡単な説明】
【0009】
【図1】一般的なマルチアングル再生における、インデックス情報ファイルのシンタックスを示す図である。
【図2】一般的なマルチアングルコンテンツにおける、マルチアングル再生に使用するストリームの、ディスク上での物理的配置を示す図である。
【図3】本発明の実施の形態における、映像情報再生装置の構成を示す図である。
【図4】実施の形態1における、マルチアングル再生に使用するストリームと、これと交互に読み込まれるオーディオストリームとの、ディスク上での物理的配置を示す図である。
【図5】実施の形態1における、インデックス情報ファイルのシンタックスを示す図である。
【図6】(a)及び(b)は、実施の形態1の動作におけるビデオバッファ3とオーディオバッファ4のデータ量の時間に対する変化を示した図である。
【図7】本発明の実施の形態2における、マルチアングル再生に使用するストリームと、これと交互に読み込まれるオーディオストリームとの、ディスク上での物理的配置を示す図である。
【図8】実施の形態2における、インデックス情報ファイルのシンタックスを示す図である。
【図9】本発明の実施の形態3における、映像情報再生装置の構成を示す図である。
【図10】実施の形態3における、アングルブロック中の右目用ストリームと左目用ストリームとの、ディスク上での物理的配置を示す図である。
【図11】実施の形態3における、マルチアングル再生に使用するストリームと、これと交互に読み込まれるオーディオストリームとの、ディスク上での物理的配置を示す図である。
【図12】実施の形態3における、インデックス情報ファイルのシンタックスを示す図である。
【図13】(a)及び(b)は、実施の形態3の動作におけるビデオバッファ3とオーディオバッファ4のデータ量の時間に対する変化を示した図である。
【図14】実施の形態3における、インデックス情報ファイルのシンタックスを示す図である。
【発明を実施するための最良の形態】
【0010】
以下、実施の形態を、図面を参照しながら説明する。
本実施の形態の映像情報記録方法及び映像情報再生装置は、ディスク状記録媒体、例えば一般的な光ディスクであるDVD、CD、Blu−ray、HD−DVD等の記録媒体に対して記録及び再生を行なうものである。
【0011】
実施の形態1.
まず、マルチアングルを構成する、データの特徴について説明をする。本実施の形態では説明を簡略化するため、アングルが二つある場合を例に説明をする。アングル切り替えを容易に行うためには、アングル切り替えによるシーク時間を短くすることが必要である。そのため二つのデータは物理的に近い位置に配置され、さらにそれぞれのデータを細分化してアングルブロックとし、二つのストリームのアングルブロックを交互に配置することで、シーク時間の短縮化を図っている。
【0012】
アングルブロックとは連続して再生を行うデータの最小単位であり、アングル切り替えはアングルブロックの先頭で行われ、アングルブロック途中での切り替えは行われない。一般に、ビデオデータはMPEG2等で符号化されているため、GOP(Group of Pictures)の先頭であるIピクチャーからでないとデコードできない。よって、途切れの無いアングル切り替えを行うには、アングル切り替えポイントは、GOPの先頭でかつ、このGOPがクローズドGOP(ClosedGOP)であることが必要である。即ち、アングルブロックの先頭データはGOPの先頭であり、且つ、各アングルブロックは少なくとも一つのGOPを含む。また、複数のストリームの各々のn番目のアングルブロック(例えば後述のストリームAのアングルブロックAn)の先頭のビデオデータのPTS(Presentation Time Stamp)は、他のストリームのn番目のアングルブロック(例えば後述のストリームBのアングルブロックBn)の先頭のビデオデータのPTSと同一時刻を示す。一方、オーディオは、アングルが切り替わっても変化しないため、各ストリームのn番目のアングルブロックに含まれるオーディオデータは、それぞれ同一である。また、アングル切り替えに使用するストリームに存在するアングルブロックの数は同数である。
【0013】
図1は、ストリームのGOPの先頭となるIピクチャーの時間情報と、Iピクチャーが存在する物理的な位置との関係を示すインデックス情報ファイルのシンタックスであり、このファイルは一つのストリームファイルに対して一つ存在する。
このインデックス情報ファイルは、ストリームA、Bを含むストリームファイルとは別のファイルとしてディスク状に記録されている。映像情報再生装置は、ストリームA、Bを含むストリームファイルの読み込みに先立ち、インデックス情報ファイルを読み込む。
【0014】
このインデックス情報ファイルにおいて、“Number_of_GOP”は、対象となるストリームファイルに含まれるGOPの総数を示し、次のforループは、GOPの数だけ繰り返される。ファイルの情報は、ランダムアクセスやIピクチャーサーチや、アングル切り替えに必要な情報となる。“GOP_id”は、ストリーム中のGOPのID番号であり、0を起点にインクリメントされる。“I_PTS”は、IピクチャーのPTSの時間を示す。“I_SCN”は、ストリームの先頭から、GOP先頭の最初の1バイトまでの相対バイト数を示す。再生装置は、“I_PTS”と“I_SCN”の二つの情報から、GOPの先頭の再生時間とディスク上の位置との関係を知ることができる。“Angle_flag”は、このGOPがアングル切り替え可能なポイントがどうかを示すフラグであり、“1”の場合アングル切り替え地点を意味する。アングルブロックの先頭を指し示すインデックス情報の“Angle_flag”は必ず“1”となる。
【0015】
図2は、上記のアングルブロックが記録された記録媒体10上の配置を示す図である。ストリームA(第1のストリーム)が第1アングルのストリーム、ストリームB(第2のストリーム)が第2アングルのストリームであり、これらが第1の記録領域11に記録されている。それぞれのストリームには、ビデオデータとオーディオデータが重畳されている。それぞれのストリームのアングルブロックは、A_1、A_2、A_3・・・、B_1、B_2、B_3・・・となり、交互に配置される。
【0016】
図3は、本発明に係る映像情報再生装置全体を示す図である。
図3に示される映像情報再生装置は、ドライブ1と、デマルチプレクサ2と、ビデオバッファ3と、オーディオバッファ4と、ビデオデコーダ5と、オーディオデコーダ6と、映像表示装置7と、制御部8とを有する。
【0017】
ドライブ1は、記録媒体10から、ビデオデータ及びオーディオデータを読み込む(リードする)。デマルチプレクサ2は、ドライブ1により読み込まれたビデオデータ及びオーディオデータを分離する。ビデオバッファ3は、記録媒体10から読み込まれたビデオデータを一時的に蓄積する。オーディオバッファ4は、記録媒体10から読み込まれたオーディオデータを一時的に蓄積する。
【0018】
ビデオデコーダ5は、ビデオバッファ3に蓄積されているビデオデータを読み出して復号化し、映像表示装置7に供給する。オーディオデコーダ6は、オーディオバッファ4に蓄積されているオーディオデータを読み出して復号化し、映像表示装置7に供給する。映像表示装置7は、ビデオデコーダ5からの復号化されたビデオデータにより映像を表示し、オーディオデコーダ6からの復号化されたオーディオデータにより音声を出力する。
【0019】
制御部8は、上記した、ドライブ1から映像表示装置7までの動作を制御するものであり、例えば少なくとも一つのCPUとプログラムメモリを備え、その全体又は一部がソフトウェアで、即ちプログラムメモリに記憶されたプログラムに従うCPUの動作により実現される。
【0020】
記録媒体10上に記録されたストリームAがドライブ1により読み込まれ、デマルチプレクサ2で、ビデオデータ、オーディオデータに分離される。分離されたビデオデータは、ビデオバッファ3に一旦蓄積される。
【0021】
ビデオバッファ3には、ストリームAの各アングルブロック内のビデオデータが順次蓄積される。更にビデオバッファ3から、ビデオデコーダ5へのデータが転送され、ビデオデコーダ5で映像信号に復号された後、TV等の映像表示装置7へ出力される。また、分離されたオーディオデータは、オーディオバッファ4に一旦蓄積された後、オーディオデコーダ6で音声信号に復号され、TV等の映像表示装置7へ出力される。
【0022】
ストリームAを連続して再生しているときは、ストリームBのアングルブロックを飛ばしながら、ストリームAのアングルブロックを読み込んでデマルチプレクサ2に送る。
【0023】
ストリームAの再生が行われている最中に、ストリームBへのアングル切り替え操作をユーザーが行うと、制御部8からドライブ1に対して、ストリームBの読み込み指令が出される。この時、現在読み込み中のストリームAのアングルブロックがアングルブロックA_nであったとすると、ストリームBへの切り替えは、アングルブロックB_n+1から行われる。
【0024】
制御部8では、ストリームA、Bの読み込みに先立って読み込まれ、制御部8内に保持されるインデックス情報ファイルから、ストリームBのアングルブロックB_n+1の先頭位置を割り出し、ドライブ1にアングルブロックB_n+1からの読み込みを指令する。よって、ビデオバッファ3、オーディオバッファ4には、アングルブロックA_nの次にアングルブロックB_n+1のデータが蓄積され、アングルブロックB_n+1のビデオデータがビデオデコーダ5で復号され映像信号となり出力された段階で、ユーザーはアングルが切り替わったことを認識できるようになる。
【0025】
以上、マルチアングル再生に必要なストリーム(この場合ストリームAとストリームB)だけを使った場合の、アングル切り替え動作について説明した。しかし、再生するコンテンツの内容によって、マルチアングル再生に必要なファイル以外のファイルと同時に再生をすることが要求される場合がある。例えばオーディオの再生とビデオの再生を非同期に行うようなコンテンツの場合がある。例えば、スライドショー表示において、バックグランドで音楽を再生する場合、映像はユーザによって、次のスライドに移るが、音声は映像とは関係なく、再生が続けられる。このような場合、映像と音声の再生が非同期で行なわれる。このような場合、一つのストリームにビデオとオーディオを重畳して再生することができないため、オーディオ用に別のストリームを用意する必要がある。この様な場合、マルチアングルに使われるビデオストリームと、オーディオ再生に使われるストリームとを交互に読み込みながら再生することが要求される。
【0026】
次に、マルチアングルを構成するビデオストリームと、非同期に再生されるオーディオストリームを交互に読み込みながら再生する場合における、マルチアングル再生の動作について説明をする。
【0027】
図4は、マルチアングル再生用のストリームA、Bと、同時に読み込まれるストリームCの、記録媒体10上での配置を示す図である。ストリームA、Bの配置は図2を参照して説明したのと同じである。なお、ストリームA、Bを「主ストリーム」と言い、ストリームCを「関連ストリーム」と言うことがある。
【0028】
ストリームA及びBは、ビデオデータのみで構成されている。ストリームCは、ストリームA、ストリームBの記録されたトラックから所定の距離Xmm離れたトラックに存在している。ストリームCは、オーディオデータのみで構成されている。
このように、ストリームA及びストリームBは、記録媒体10の第1の領域11に配置され、ストリームCは記録媒体10の第2の領域12に配置されている。
【0029】
ビデオバッファ3は、第1の領域11から読み込まれたビデオデータ(ストリームA又はBの各部分)を一時的に蓄積し、オーディオバッファ4は、第2の領域12から読み込まれた、ビデオバッファ3に蓄積されているビデオデータ、又はその直前若しくは直後に再生されるビデオデータと同時に再生されるべきオーディオデータ(ストリームCの対応部分)を一時的に蓄積する。ストリームCは、ストリームA,Bと同時に再生されるべき関連ストリームとも呼ばれる。ビデオバッファ3とオーディオバッファ4とでは、書き込み及び読み出しが交互に行なわれるので、ビデオバッファ3に蓄積されているビデオデータのすべてに対して、対応するオーディオデータがオーディオバッファ4に蓄積されているとは限らない。別の見方をすれば、オーディオバッファ4には、ビデオバッファ3に蓄積されているビデオデータのみならず、当該ビデオデータの直前若しくは直後に再生されるビデオデータと同時に再生されるべきオーディオデータ(ストリームCの対応部分)が一時的に蓄積されており、ビデオバッファ3には、オーディオバッファ4に蓄積されているオーディオデータのみならず、当該オーディオバッファの直前若しくは直後に再生されるオーディオデータと同時に再生されるべきビデオデータが一時的に蓄積されている。
【0030】
図5は、マルチアングル再生用のビデオストリームのインデックス情報ファイルのシンタックスを示す図である。図5のインデックス情報ファイルにおいて、“file_distance”情報が付加されている点が、図1のシンタックスとは異なる。“file_distance”は、ストリームA又はストリームBと、同時に(併行して)読み込みを行うストリームCとの物理的な距離を示す情報である。
【0031】
このインデックス情報ファイルは、ビデオストリーム(ストリームA、B)、オーディオストリーム(ストリームC)とは別のファイルとしてディスク状に記録されている。映像情報再生装置は、上記のように、ビデオストリーム、オーディオストリームの読み込みに先立ち、インデックス情報ファイルを読み込む。
【0032】
ここで、ストリームA及びストリームBの符号化ビットレート(従ってビデオバッファ3からの読み出しレート)は5Mbps、ストリームCの符号化ビットレート(従ってオーディオバッファ4からの読み出しレート)は0.5Mbps、ドライブ1のデータ読み込みレート(速度)は10Mbps、ストリームA又はストリームBとストリームCとの物理的距離は、10mmと仮定する。ドライブ1のシークに要する時間(シーク時間)とシーク距離との関係は、表1に示すごとくであり、表1に示すデータは、例えば制御部8に格納されている。なお、表1に示すデータとしては、個々の映像情報再生装置(或いは当該型式の映像情報再生装置)固有の値を記録していてもよく、規格で要求されるシーク速度の範囲の最低値に相当する値を記憶していても良い。
【0033】
【表1】
【0034】
この時、インデックス情報ファイルの“file_distance”は10mmに設定される。また、シーク速度テーブル(表1)から、“file_distance”が10mmの時の、シークに要する時間は300msecであることが判る。ストリームCの読み込み時間(リード時間)を400msecと仮定すると、ストリームCにシークを行い、再びストリームAの読み込みを再開するまでの時間が、合計300+400+300=1000msecとなる。その間に消費される(読み出される)、ビデオバッファ3のデータ量は
1sec×5Mbps=5Mbit
となるため、ストリームCへのシークを開始するまでには、ビデオバッファ3には5Mbitのデータが蓄積されている必要がある。ただし実際には若干のマージンが必要となるため、余分に1Mbit程度多めの6Mbitを蓄積する。
【0035】
ストリームCへのシークは、オーディオバッファ4のデータ量が少なくなって所定値に達したときに開始される。即ち、オーディオバッファ4のデータ量及び符号化レート(オーディオバッファ4から読み出しレート)を考慮し、そのままでは(オーディオバッファへの書き込みをしなければ)、オーディオバッファ4のデータ量がゼロ(又はゼロよりも若干の余裕を持たせた量)になる時刻を予測し、その時刻よりもシークに要する時間だけ前の時刻にシークを開始する。本例では、上記の「余裕を持たせた量」を1.2Mbitとし、符号化レートが0.5Mbps、シーク時間が0.3秒であることから、オーディオバッファ4のデータ量が、
1.2Mbit+0.3×0.5=1.35Mbit
になったら、シークを開始することとしている。
【0036】
図6(a)及び(b)は、ビデオバッファ3とオーディオバッファ4のデータ量の時間に対する変化(遷移)を示した図である。
【0037】
時刻T0で、オーディオバッファ4のデータ量が所定値である1.35Mbitに達した(まで下がった)ことが検出されると、ストリームCへのシークが開始される。その時のビデオバッファ3のデータ量が6Mbitとする。制御部8は時刻T0にドライブ1にストリームCへのシークを指令し、これによりシークが開始されるが、この間ビデオバッファ3に蓄積されたデータを消費しながらビデオ再生を行うため、ビデオバッファ3内のデータは、符号化ビットレートの5Mbpsのレートで減少を続け、オーディオバッファ4のデータは0.5Mbpsのレートで減少を続ける。300msec後の時刻T1にはシークが完了し、ストリームCの読み込みが開始される。
【0038】
時刻T1でのオーディオバッファ4のデータ量は1.2Mbitとなる。上記のように、オーディオの符号化レートが0.5Mbpsであり、ドライブ1のデータ読み込みレートが1レートが0Mbpsであるとすると、400msecの間読み込みにより、時刻T1から400msec後の時刻T2におけるオーディオバッファ4のデータ量は、
(10−0.5)Mbps*0.4sec+1.2Mbit=5.0Mbit
となる。
【0039】
オーディオの符号化レートが0.5Mbpsであるため、時刻T2から最大10秒以内に、ストリームCの読み込みが再開できれば、音声が途切れることなく再生可能となる。
時刻T2にドライブ1は再びシークを開始し、時刻T2から300msec後の時刻T3にストリームAの読み込みを開始する。
【0040】
時刻T0からT3までは1secであるため、ビデオバッファ3のデータ量は時刻T3において、
6Mbit−5.0Mbps*1.0sec=1.0Mbit
となる。
【0041】
次にドライブ1は、ビデオバッファ3のデータが6Mbitに達する時刻T4まで、ストリームAを読み込む。制御部8は、時刻T4以降はビデオバッファ3のデータ量が6Mbitを切らないように読み込み(リード)とポーズを繰り返すことでビデオバッファ3の制御を行う。以降、同様の動作を繰り返すことでストリームAとストリームCを、交互に読み込んで再生を行う。
【0042】
ここで言う「6Mbit」は、上記のように、ストリームAを記録した第1の領域11からストリームCを記録した第2の領域12までのシークの時間(0.3sec)、第2の領域12におけるストリームCを読み込んでオーディオバッファ4に書き込み、オーディオバッファ14内のデータ量を所定量(例えば5Mbit)まで増やすのに要する時間(0.4sec)、及び第2の領域12から第1の領域11へのシークの時間(0.3sec)の合計の時間(1sec)にビデオバッファ3から読み出されるデータ量(5Mbit)に、マージン(1Mbit)を加えた量であり、制御部8は、第1の領域11から第2の領域12までの距離を表す情報に基づいて、表1を参照してシークに要する時間を推定する。
【0043】
このように、制御部8は、第1の領域11から第2の領域12までの距離を表す情報、オーディオバッファ4への書き込みのレート、オーディオバッファ4からの読み出しのレート、第2の領域12から第1の領域11へのシークを開始する前に、オーディオバッファ4に蓄えておくべきデータ量(5Mbit)などに基づいて、ビデオバッファ3に蓄積すべきデータの量(サイズ)を制御し、変化させている。
【0044】
時刻T5は、ユーザーの操作によりアングル切り替えの指令が出され、ストリームBへのシークが開始される時刻である。制御部8は時刻T5に、現在ビデオバッファ3に蓄積されている最新のアングルブロックのデータの次に相当する(次に再生すべき)、ストリームBのアングルブロックの先頭へのシーク命令を出す。例えば、ストリームAのn番目のアングルブロックAnを再生しているとすれば、ストリームBのn+1番目のアングルブロックBn+1が次に再生すべきアングルブロックである。既に説明したようにマルチアングル再生に使うストリームは物理的に非常に近い位置に配置されているため、ストリームAからストリームBへのシークは、非常に短い時間、例えば表1に示されるように、50msecで完了することができる。
【0045】
なお、同じストリーム(例えばストリームA)の一つのアングルブロック(例えばAn)の読み込みを行なった後、次のアングルブロック(An+1)の読み込みを開始する際にも、同様の短いシーク時間が必要である。
【0046】
時刻T5から50msec後の時刻T6にストリームBの読み込みが開始される。ストリームBの読み込みが開始される、時刻T6におけるビデオバッファ3内のストリームAのデータ残量は、約6Mbitであるため、実際に映像表示装置7で再生される映像のアングルが切り替わるまでの時間(ストリームBの再生が開始されるまでの時間)は約1.2秒となる。以降の動作は、ストリームBとストリームCが交互に読み込まれ、再生される(この動作は、ストリームAとストリームCを交互に読み込んで再生するときと全く同様である)。
【0047】
以上の様に、本実施の形態では“file_distance”を使って、マルチアングル再生に使用するストリームと、これに関連するオーディオストリーム(即ち、交互に読み込まれる必要のあるストリーム)相互間の距離に応じて、ビデオバッファ3に蓄積するデータ量を変化させている。
【0048】
この情報を使わない従来の方式の場合、再生装置は二つのファイルの距離を知ることができないので、実際の二つのストリームの距離が小さい場合においても、ストリームAとストリームCとの距離が最大となることを常に想定して、ビデオバッファ3に蓄積するデータ量を設定する必要がある。例えば、二つのファイルの最大距離が40mm以下に規定されている場合、実際に読み込まれているストリームの距離に関わらず最大値である40mmを想定して、少なくとも2.4秒分のデータをビデオバッファに蓄積する必要がある。そのため、アングル切り替えを行うと、二つのファイルの距離に関わらず、実際に映像表示装置7で再生される映像のアングルが切り替わるまでに最低でも2.4秒を要する。
【0049】
これに対し、本実施の形態のように、“file_distance”を利用すると、再生装置は二つのファイルの距離に応じて、ビデオバッファ内のデータ量を常に最小にすることが可能となる。よって、“file_distance”を使わない場合に比較して、ユーザーがアングル切り替えを実行してから、短い時間で実際のアングルが切り替わる再生装置を提供することが可能となる。
【0050】
実施の形態2.
実施の形態1では、“file_distance”を使うことで、短い時間でのアングル切り替えが実現できたが、マルチアングル再生に使用するストリームが非常に長いファイルであった場合、その効果が十分でなくなる場合がある。図7は、図4におけるストリームAとストリームBが非常に長い場合の、記録媒体10上でのデータ配置を示す図である。この場合、ストリームAの終端部分11cの位置とストリームCとの距離は、10mmであるが、ストリームAの先頭部分11bの位置と、ストリームCとの距離は40mmである。このような場合、“file_distance”は、長い距離である40mmが設定されるため、ストリームAの終端11cに近い部分を再生している時のビデオバッファ3に蓄積するデータサイズは、必要以上に大きくなる。この例においては、終端部分11cでは1.0秒分のデータだけあれば十分であるが、先頭部分11bを再生している時と同様の2.4秒分を蓄積する必要がある。よって、終端付近においてアングル切り替えを行うと、実際にアングルが切り替わるまでに必要以上に時間を要することになる。
【0051】
図8は、この様な問題を解決するために、図5のインデックス情報を改良したインデックス情報ファイルである。図5との違いは各アングルブロックについての“file_distance”の情報が当該アングルブロック内に、例えば当該アングルブロックのGOPのループ内に配置されている(forループ内において、各GOPに対して“file_distance”が定義されている)点である。このように、GOP単位で“file_distance”の情報を配置することで、ストリームのすべての各アングルブロックから、ストリームCまでの正確な距離を知ることができるようになる。上記の例でストリームの終端付近のアングルブロックに対応する“file_distance”の値は10mmとなるため、ビデオバッファ3に蓄積するデータサイズを1.0秒分に制御可能となる。
【0052】
以上の様に、インデックス情報ファイルを改良することで、再生しているストリームのすべての位置において、最短の距離が把握できるようになるため、アングル切り替えに要する時間を常に最短の時間で切り替わる、再生装置を提供することが可能となる。
【0053】
なお、ストリームAやストリームBのみならず、ストリームCも非常に長い場合には、ストリームAやストリームBの各部分と、当該各部分と同時に再生されるべきストリームCの部分との距離の情報を、ストリームAやストリームBの当該部分ごとに記録しておくこととしてもよい。
【0054】
上記の各アングルブロックごとの距離情報は、当該アングルブロック内に記録することとしてもよく、また記録媒体10の管理領域内に記録することとしてもよい。
【0055】
実施の形態3.
実施の形態1、実施の形態2では、“file_distance”情報を利用して、マルチアングル用のストリームと、他のストリームを同時に再生する方法について説明をしたが、本実施の形態では、マルチアングル用のストリームが立体視用のストリームで構成されている場合においても、全く同様に“file_distance”が適応できることを説明する。
【0056】
図9は、立体視用のストリームを表示する映像情報再生装置全体を示す図である。図3との違いは、ビデオバッファ13とビデオデコーダ14が追加されている点である。ビデオバッファ13とビデオデコーダ14の機能は、ビデオバッファ3、ビデオデコーダ5と全く等しい。ドライブ1より読み込まれたデータは、デマルチプレクサ2で、右目用のビデオデータ、左目用のビデオデータ及びオーディオデータに分離される。右目用のビデオデータは、ビデオバッファ13で一旦蓄積された後、ビデオデコーダ14でデコードされ映像表示装置7に出力される。左目用のビデオデータは、ビデオバッファ3で一旦蓄積された後、ビデオデコーダ5でデコードされ映像表示装置7に出力される。
【0057】
図10は図2におけるアングルブロックA1およびA2の詳細を示す図である。A1中のL1〜L3は左目用の画像データ、R1〜R3は右目用の画像データであり、ビデオバッファ3、及びビデオバッファ13がアンダーフローしたり、オーバーフローしたりしないサイズに分割され交互に配置されている。デマルチプレクサ2では、左目用の画像データと右目用の画像データとを分離し、ビデオバッファ3、13にデータを送出する。アングルブロックの制約条件は、実施の形態1と同様であるため説明は省略する。
【0058】
立体視用のストリームが重畳されたコンテンツは、出力するTVや、再生装置が立体視に対応していない場合、片方の映像データだけをデコードして、2次元の映像として再生を行う必要がある。よって、コンテンツの内容によっては、同時に読み出しを行うストリームが、2次元の映像を表示する時と、立体視の映像を表示する時とで、異なる場合が想定される。その場合、同時に再生すべきストリーム、例えばオーディオデータから成るストリームも、映像に応じて異なる場合が想定される。ここで2次元の映像として、右目用の映像データまたは左目用の映像データのどちらかをデコードする時に、同時に読み出すストリームをストリームC、立体視用として、両目の映像データをデコードする時に読み出すストリームを、ストリームDとする。図11は、立体視用のアングルブロックと、ストリームCが配置された領域12c、ストリームDが配置された領域12dとの、ディスク上の物理的な位置関係を示す図である。
【0059】
図12は、図5に、ストリームDとの距離を示す“file_distance_3D”が追加されたインデックス情報ファイルのシンタックスである。アングルブロックとストリームCとの距離情報が、“file_distance”に記述され、アングルブロックとストリームDとの距離情報が、“file_distance_3D”に記述されている。再生装置は、右目用と左目用の両方のストリームをデコードする時、“file_distance_3D”の値を参照し、ビデオバッファ3及び13の制御を行う。2次元の映像として右目用または左目用のストリームをデコードする時は、“file_distance”の値を参照し、ビデオバッファ3及び13の制御を行う。
そのような制御を行なった場合の、ビデオバッファ3及び13とオーディオバッファ4のデータ量の時間に対する変化(遷移)の一例を図13(a)及び(b)に示す。図13(a)において、時刻T14は、ビデオバッファ13のデータが6Mbitに達した時刻である。
【0060】
以上の様に、マルチアングル領域11が立体視映像の記録に用いられ、立体視として再生する場合と、2次元の映像として再生する場合とで、同時に読み出しを行うストリームが異なる場合においても、インデックス情報ファイルを改良することで、短い時間でアングルが切り替わる再生装置を提供することが可能となる。
【0061】
また、実施の形態2と同様に、図14に示す様に“file_distance_3D”をforループ内に配置することで、立体視用の、マルチアングル再生に使用するストリームが非常に長いファイルである場合にも、アングル切り替えに要する時間を常に最短の時間で切り替わる再生装置を提供することが可能となる。
【0062】
なお、ストリームAやストリームBのみならず、ストリームC、ストリームDも非常に長い場合には、ストリームAやストリームBの各部分と、当該各部分と同時に再生されるべきストリームC、およびストリームDの部分との距離の情報を、ストリームAやストリームBの当該部分ごとに記録しておくこととしてもよい。
【0063】
上記の各アングルブロックごとの距離情報は、当該アングルブロック内に記録することとしてもよく、また記録媒体10の管理領域内に記録することとしてもよい。
【符号の説明】
【0064】
1 ドライブ、 2 デマルチプレクサ、 3 ビデオバッファ、 4 オーディオバッファ、 5 ビデオデコーダ、 6 オーディオデコーダ、 7 映像表示装置、 8 制御部、 13 ビデオバッファ、 14 ビデオデコーダ。
【特許請求の範囲】
【請求項1】
マルチアングル再生の各アングル再生に対応した複数のビデオデータのストリームからなる第1のファイルと前記マルチアングル再生と同時に再生されるべきオーディオデータのストリームからなる第2のファイルとが記録されたディスク状記録媒体であって、
前記複数のビデオデータのストリームのそれぞれは、前記各アングル再生に対応するアングルブロックで構成され、
前記第1のファイルは、前記ディスク状記録媒体上の内周側の第1の記録領域に記録され、
前記第2のファイルは、前記ディスク状記録媒体上の外周側の第2の記録領域に記録され、
前記第1の記録領域に記録された各アングルブロックの前記ディスク状記録媒体上の位置と前記第2の記録領域との、前記記録媒体上の半径方向の距離を表す距離情報が前記各アングルブロック内に記録されている
ことを特徴とするディスク状記録媒体。
【請求項2】
請求項1に記載されたディスク状記録媒体を再生する映像情報再生装置であって、
前記第1の記録領域から前記第1のファイルに含まれる1つのビデオデータのストリームの一部を読み込み一時的に蓄積する第1のバッファメモリと、
前記第1のバッファメモリに一時的に蓄積された前記1つのビデオデータのストリームの一部と同時に再生されるべき前記第2のファイルに含まれるオーディオデータのストリームの対応部分を前記第2の記録領域から読み込み一時的に蓄積する第2のバッファメモリと、
前記第1の記録領域と前記第2の記録領域とからそれぞれ前記1つのビデオデータのストリームの一部と前記オーディオデータのストリームの対応部分を交互に読み込んで、それぞれ前記第1及び第2のバッファメモリに蓄積した後に、該第1及び第2のバッファメモリから読み出してマルチアングル再生を行う際、前記1つのビデオデータのストリームの一部の各アングルブロック内に記録されている距離情報に従って、前記第1のバッファメモリに蓄積するデータのサイズを変化させる制御部と
を有することを特徴とする映像情報再生装置。
【請求項3】
請求項1に記載されたディスク状記録媒体を再生する映像情報再生方法であって、
前記第1の記録領域から前記第1のファイルに含まれる1つのビデオデータのストリームの一部を読み込み第1のバッファメモリに一時的に蓄積させ、
前記第1のバッファメモリに一時的に蓄積された前記1つのビデオデータのストリームの一部と同時に再生されるべき前記第2のファイルに含まれるオーディオデータのストリームの対応部分を前記第2の記録領域から読み込み第2のバッファメモリに一時的に蓄積させ、
前記第1の記録領域と前記第2の記録領域とからそれぞれ前記1つのビデオデータのストリームの一部と前記オーディオデータのストリームの対応部分を交互に読み込んで、それぞれ前記第1及び第2のバッファメモリに蓄積した後に、該第1及び第2のバッファメモリから読み出してマルチアングル再生を行う際、前記1つのビデオデータのストリームの一部の各アングルブロック内に記録されている距離情報に従って、前記第1のバッファメモリに蓄積するデータのサイズを変化させる
ことを特徴とする映像情報再生方法。
【請求項1】
マルチアングル再生の各アングル再生に対応した複数のビデオデータのストリームからなる第1のファイルと前記マルチアングル再生と同時に再生されるべきオーディオデータのストリームからなる第2のファイルとが記録されたディスク状記録媒体であって、
前記複数のビデオデータのストリームのそれぞれは、前記各アングル再生に対応するアングルブロックで構成され、
前記第1のファイルは、前記ディスク状記録媒体上の内周側の第1の記録領域に記録され、
前記第2のファイルは、前記ディスク状記録媒体上の外周側の第2の記録領域に記録され、
前記第1の記録領域に記録された各アングルブロックの前記ディスク状記録媒体上の位置と前記第2の記録領域との、前記記録媒体上の半径方向の距離を表す距離情報が前記各アングルブロック内に記録されている
ことを特徴とするディスク状記録媒体。
【請求項2】
請求項1に記載されたディスク状記録媒体を再生する映像情報再生装置であって、
前記第1の記録領域から前記第1のファイルに含まれる1つのビデオデータのストリームの一部を読み込み一時的に蓄積する第1のバッファメモリと、
前記第1のバッファメモリに一時的に蓄積された前記1つのビデオデータのストリームの一部と同時に再生されるべき前記第2のファイルに含まれるオーディオデータのストリームの対応部分を前記第2の記録領域から読み込み一時的に蓄積する第2のバッファメモリと、
前記第1の記録領域と前記第2の記録領域とからそれぞれ前記1つのビデオデータのストリームの一部と前記オーディオデータのストリームの対応部分を交互に読み込んで、それぞれ前記第1及び第2のバッファメモリに蓄積した後に、該第1及び第2のバッファメモリから読み出してマルチアングル再生を行う際、前記1つのビデオデータのストリームの一部の各アングルブロック内に記録されている距離情報に従って、前記第1のバッファメモリに蓄積するデータのサイズを変化させる制御部と
を有することを特徴とする映像情報再生装置。
【請求項3】
請求項1に記載されたディスク状記録媒体を再生する映像情報再生方法であって、
前記第1の記録領域から前記第1のファイルに含まれる1つのビデオデータのストリームの一部を読み込み第1のバッファメモリに一時的に蓄積させ、
前記第1のバッファメモリに一時的に蓄積された前記1つのビデオデータのストリームの一部と同時に再生されるべき前記第2のファイルに含まれるオーディオデータのストリームの対応部分を前記第2の記録領域から読み込み第2のバッファメモリに一時的に蓄積させ、
前記第1の記録領域と前記第2の記録領域とからそれぞれ前記1つのビデオデータのストリームの一部と前記オーディオデータのストリームの対応部分を交互に読み込んで、それぞれ前記第1及び第2のバッファメモリに蓄積した後に、該第1及び第2のバッファメモリから読み出してマルチアングル再生を行う際、前記1つのビデオデータのストリームの一部の各アングルブロック内に記録されている距離情報に従って、前記第1のバッファメモリに蓄積するデータのサイズを変化させる
ことを特徴とする映像情報再生方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−128944(P2012−128944A)
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【出願番号】特願2012−67202(P2012−67202)
【出願日】平成24年3月23日(2012.3.23)
【分割の表示】特願2009−539992(P2009−539992)の分割
【原出願日】平成20年10月8日(2008.10.8)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【出願日】平成24年3月23日(2012.3.23)
【分割の表示】特願2009−539992(P2009−539992)の分割
【原出願日】平成20年10月8日(2008.10.8)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]