説明

記録媒体

【課題】主画像のストリームに副画像のオフセット情報が配置される場合に、そのオフセット情報に基づく副画像の3D表示を容易に実現する。
【解決手段】右目用ビデオストリームは、オフセット情報を生成するためのオフセットメタデータを含む。右目用ビデオストリームのTSパケットのデータ部には、符号化された右目用の主画像のビデオデータまたはオフセットメタデータのいずれか一方のみが配置される。右目用ビデオストリームのTSパケットのヘッダには、そのTSパケットのデータ部に配置されるデータが符号化された右目用の主画像のビデオデータであるか、または、オフセットメタデータであるかを表すトランスポートプライオリティが記述されている。本発明は、例えば、副画像を3D表示する再生装置に適用することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、記録媒体に関し、特に、主画像のストリームに副画像のオフセット情報が配置される場合に、そのオフセット情報に基づく副画像の3D表示を容易に実現することができるようにした記録媒体に関する。
【背景技術】
【0002】
映画等のコンテンツとしては2D画像が主流であるが、最近では、3D画像が注目を集めている。
【0003】
ユーザに3Dの画像を見せるための手法としては、所定の方向に所定の距離だけ離れた2枚の画像のうちの一方の画像をユーザの左目に見せるとともに、他方の画像を右目に見せる手法がある。
【0004】
この手法では、3D画像を表示させるために、左目用の画像と右目用の画像の両方を用意するか、または、所定の画像と、その画像に対する、左目用および右目用の画像のずれ方向の組み合わせを表す方向情報およびずれ量を表すオフセット値を用意する必要がある。なお、以下では、この方向情報とオフセット値をまとめてオフセット情報という。
【0005】
また、左目用の画像と右目用の画像の両方を用意する場合に用いられる画像の符号化方式としては、MVC(Multi-view Video coding)方式(例えば、特許文献1参照)等が考えられる。
【0006】
そこで、映画等の主画像とともに表示される副画像(例えば、字幕、メニューボタンなど)を3D表示するために、MVC方式等で符号化された主画像のストリームに副画像のオフセット情報を配置させることが考えられる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2009−100070号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、この場合、何の工夫もせずに、主画像のストリームがTS(Transport Stream)パケット化されると、主画像のストリームを汎用的なデコーダで復号することができなくなる。即ち、主画像のTSパケットから主画像のビデオデータとオフセット情報をそれぞれ抽出し、復号する必要があるため、専用のデコーダを用意する必要がある。従って、開発コストがかかり、副画像の3D表示を容易に実現することができない。
【0009】
本発明は、このような状況に鑑みてなされたものであり、主画像のストリームに副画像のオフセット情報が配置される場合に、そのオフセット情報に基づく副画像の3D表示を容易に実現することができるようにするものである。
【課題を解決するための手段】
【0010】
本発明の一側面の記録媒体は、所定の字幕またはメニューボタンである字幕メニューのストリームである字幕メニューストリームのパケットを読み出すように再生装置を機能させる前記字幕メニューストリームのパケットと、前記字幕メニューストリームのパケットから、3D表示に用いられる左目用の字幕メニューのビデオデータと右目用の字幕メニューのビデオデータを生成するように前記再生装置を機能させる、前記所定の字幕メニューに対する、前記左目用の字幕メニューと前記右目用の字幕メニューのずれ方向およびずれ量からなるオフセット情報、または、符号化された主画像のビデオデータを復号するように前記再生装置を機能させる前記符号化された主画像のビデオデータのいずれか一方のみをデータ部に含むビデオストリームのパケットであって、そのパケットの前記データ部に配置されるデータのうちの前記オフセット情報を抽出するように前記再生装置を機能させる、前記データ部に配置されるデータが、前記符号化された主画像のビデオデータであるか、または、前記オフセット情報であるかを表す情報であるフラグ情報がヘッダに記述されている前記ビデオストリームのパケットとが記録されている記録媒体である。
【0011】
本発明の第1の側面においては、所定の字幕またはメニューボタンである字幕メニューのストリームである字幕メニューストリームのパケットを読み出すように再生装置を機能させる前記字幕メニューストリームのパケットと、前記字幕メニューストリームのパケットから、3D表示に用いられる左目用の字幕メニューのビデオデータと右目用の字幕メニューのビデオデータを生成するように前記再生装置を機能させる、前記所定の字幕メニューに対する、前記左目用の字幕メニューと前記右目用の字幕メニューのずれ方向およびずれ量からなるオフセット情報、または、符号化された主画像のビデオデータを復号するように前記再生装置を機能させる前記符号化された主画像のビデオデータのいずれか一方のみをデータ部に含むビデオストリームのパケットであって、そのパケットの前記データ部に配置されるデータのうちの前記オフセット情報を抽出するように前記再生装置を機能させる、前記データ部に配置されるデータが、前記符号化された主画像のビデオデータであるか、または、前記オフセット情報であるかを表す情報であるフラグ情報がヘッダに記述されている前記ビデオストリームのパケットとが記録されている。
【発明の効果】
【0012】
以上のように、本発明によれば、主画像のストリームに副画像のオフセット情報が配置される場合に、そのオフセット情報に基づく副画像の3D表示を容易に実現することができる。
【図面の簡単な説明】
【0013】
【図1】本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【図2】右目用ビデオストリームの各GOP内の表示順で最初のディペンデントユニットの構成例を示す図である。
【図3】右目用ビデオストリームのTSパケットの生成方法を説明する図である。
【図4】TSパケットの詳細構成例を示す図である。
【図5】右目用ビデオ生成部とオフセット生成部の詳細構成例を示すブロック図である。
【図6】再生装置のオフセット生成処理を説明するフローチャートである。
【図7】ムービーオブジェクト実行時の再生装置の3D表示処理のフローチャートである。
【図8】記録装置の構成例を示すブロック図である。
【図9】記録装置の記録処理を説明するフローチャートである。
【図10】コンピュータのハードウェアの構成例を示すブロック図である。
【図11】オフセットメタデータの記述例を示す図である。
【図12】オフセットメタデータの記述例を示す図である。
【図13】図1の3D表示データ生成部の詳細構成例を示すブロック図である。
【図14】3D表示データにおける重畳順を説明する図である。
【発明を実施するための形態】
【0014】
<第1実施の形態>
[再生装置の構成例]
図1は、本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【0015】
図1の再生装置20は、入力部21、制御部22、および再生部23により構成される。
【0016】
入力部21は、キーボード、マウス、マイクロフォンなどよりなる。入力部21は、ユーザからの指令を受け付け、制御部22に供給する。制御部22は、入力部21からの指令に応じて再生部23を制御する。
【0017】
再生部23は、ドライブ31、読み出しバッファ32、PIDフィルタ33、トランスポートプライオリティフィルタ34、オフセット生成部35、右目用ビデオ生成部36、左目用ビデオ生成部37、字幕/メニュー生成部38、3D表示データ生成部39、BD-Jグラフィックス生成部40、およびオーディオ生成部41により構成される。
【0018】
ドライブ31は、制御部22の制御にしたがって、装着されたBD(Blu-Ray(登録商標) Disc)などよりなるディスク11を駆動する。これにより、ドライブ31は、ディスク11に記録されているインデックスファイル、ムービーオブジェクトファイル、BD-Jオブジェクトファイル、プレイリストファイル、クリップインフォメーションファイル、ストリームファイルなどを読み出す。
【0019】
なお、インデックスファイルとは、ディスク11に記録されているタイトル番号の一覧と、そのタイトル番号に対応して実行されるオブジェクトの種類および番号とが記述されるファイルである。オブジェクトの種類としては、ムービーオブジェクトとBD-Jオブジェクトの2種類がある。
【0020】
また、ムービーオブジェクトファイルとは、複数個のムービーオブジェクトが記述されるファイルである。ムービーオブジェクトには、ナビゲーションコマンドというプログラムが記述される。なお、以下では、ナビゲーションコマンドを特に区別する必要がない場合、単にコマンドという。
【0021】
さらに、BD-Jオブジェクトファイルとは、複数個のBD-Jアプリケーションが記述されるファイルである。プレイリストファイルは、ムービーオブジェクトまたはBD-Jオブジェクトによってのみ再生されるファイルであり、これらのオブジェクトに記述される1つのコマンドで再生されるAVストリーム(詳細は後述する)に関する情報が記述される。
【0022】
具体的には、プレイリストファイルは、単数または複数のプレイアイテムにより構成される。各プレイアイテムには、再生対象のAVストリームに対応するクリップインフォメーションファイルを指定する情報と、AVストリームの再生区間を表す時間情報が記述される。
【0023】
AVストリームは、ストリームファイルとしてディスク11に記録されている。AVストリームは、左目用ビデオストリームおよび右目用ビデオストリーム、それらに対応するオーディオストリーム、字幕ストリーム、並びにメニューストリームがISO13818-2に準拠して多重化されたTS(Transport Stream)パケットにより構成される。
【0024】
なお、左目用ビデオストリームは、MVC方式で符号化された左目用の主画像のストリームである。右目用ビデオストリームは、MVC方式で符号化された右目用の主画像のストリームであって、オフセットメタデータ(詳細は後述する)を含むストリームである。また、字幕ストリームは、字幕を2D表示するためのビットマップ形式やテキスト形式のデータを含むストリームであり、メニューストリームは、メニューボタンを2D表示するためのデータを含むストリームである。
【0025】
オフセットメタデータとは、ピクチャ単位のオフセット情報を生成するためのデータである。具体的には、オフセットメタデータは、オフセット情報、このオフセット情報が設定される先頭のピクチャのPTS(Presentation Time Stamp)、および、このオフセット情報が設定されるピクチャの間隔を表すフレームレートにより構成される。なお、オフセット情報は、1GOP分の再生区間に対応する字幕、メニューボタン、BD-Jグラフィックスの画面(プレーン)ごとに記述される。また、BD-ROM(Blu-Ray Disc-Read Only Memory)規格では、メニューボタンとBD-Jグラフィックスは排他の関係にあるため、オフセット情報は、字幕の画面およびメニューボタンの画面に適用されるか、または、字幕の画面およびBD-Jグラフィックスの画面に適用される。オフセットメタデータの記述例の詳細は、後述する図11および図12を参照して説明する。
【0026】
クリップインフォメーションファイルとは、プレイリストファイルに記述される時間情報と、AVストリームのパケット番号とを対応付けるマップが記述されるファイルである。従って、制御部22は、クリップインフォメーションファイルを参照することにより、各プレイアイテムに対応する再生対象のAVストリームのパケット番号を認識することができる。ストリームファイルは、AVストリームのファイルである。
【0027】
ドライブ31は、読み出されたインデックスファイル、ムービーオブジェクトファイル、BD-Jオブジェクトファイル、プレイリストファイル、クリップインフォメーションファイルなどを制御部22に供給する。ドライブ31は、読み出されたストリームファイルのAVストリームを読み出しバッファ32に供給する。
【0028】
読み出しバッファ32は、制御部22の制御にしたがって、ドライブ31から供給されるAVストリームを保持したり、保持しているAVストリームを読み出してPIDフィルタ33に供給したりする。
【0029】
PIDフィルタ33は、読み出しバッファ32からのAVストリームの各TSパケットのパケットID(PID)に基づいて、AVストリームから、左目用ビデオストリーム、右目用ビデオストリーム、字幕ストリーム、メニューストリーム、およびオーディオストリームのTSパケットをそれぞれ抽出する。なお、PIDとは、TSパケットを構成するデータの種類ごとに固有のIDであり、パケットのヘッダに記述されている。
【0030】
PIDフィルタ33は、抽出された右目用ビデオストリームのTSパケットをトランスポートプライオリティフィルタ34に供給し、左目用ビデオストリームのTSパケットを左目用ビデオ生成部37に供給する。また、PIDフィルタ33は、字幕ストリームおよびメニューストリームのTSパケットを字幕/メニュー生成部38に供給し、オーディオストリームのTSパケットをオーディオ生成部41に供給する。
【0031】
トランスポートプライオリティフィルタ34は、PIDフィルタ33から供給される右目用ビデオストリームのTSパケットのヘッダに記述されているトランスポートプライオリティに基づいて、そのTSパケットのうちの所定のTSパケットをオフセット生成部35に供給する。また、トランスポートプライオリティフィルタ34は、PIDフィルタ33から供給される右目用ビデオストリームのTSパケットを右目用ビデオ生成部36に供給する。
【0032】
オフセット生成部35は、トランスポートプライオリティフィルタ34から供給されるTSパケットのデータ部に配置されるオフセットメタデータに基づいてオフセット情報を生成し、3D表示データ生成部39に供給する。
【0033】
右目用ビデオ生成部36は、トランスポートプライオリティフィルタ34から供給される右目用ビデオストリームのTSパケットのヘッダに記述されているトランスポートプライオリティに基づいて、そのTSパケットのデータ部に配置される右目用の主画像のビデオデータを復号する。右目用ビデオ生成部36は、復号の結果得られるビデオデータを右目用ビデオデータとして、3D表示データ生成部39に供給する。
【0034】
また、左目用ビデオ生成部37は、PIDフィルタ33から供給される左目用ビデオストリームのTSパケットに含まれる左目用の主画像のビデオデータを復号する。左目用ビデオ生成部37は、復号の結果得られるビデオデータを左目用ビデオデータとして、3D表示データ生成部39に供給する。
【0035】
字幕/メニュー生成部38は、字幕生成部51とメニュー生成部52により構成される。字幕生成部51は、ムービーオブジェクトの実行時に、PIDフィルタ33から供給される字幕ストリームのTSパケットに含まれる字幕データを3D表示データ生成部39に供給する。
【0036】
メニュー生成部52は、ムービーオブジェクトの実行時に、PIDフィルタ33から供給されるメニューストリームのTSパケットに含まれるメニューデータを3D表示データ生成部39に供給する。
【0037】
3D表示データ生成部39は、右目用ビデオ生成部36から供給される右目用ビデオデータと、左目用ビデオ生成部37から供給される左目用ビデオデータを、3Dビデオデータとする。また、3D表示データ生成部39は、オフセット生成部35から供給されるオフセット情報に基づいて、字幕生成部51から供給される字幕データに対応する字幕を、所定のオフセット値だけ所定のオフセット方向にそれぞれずらした字幕の字幕データを、右目用の字幕データおよび左目用の字幕データとして生成する。そして、3D表示データ生成部39は、右目用の字幕データと左目用の字幕データを、字幕を3D表示するための3D字幕データとする。
【0038】
また、3D表示データ生成部39は、オフセット生成部35から供給されるオフセット情報に基づいて、3D字幕データと同様に、メニュー生成部52から供給されるメニューデータから、メニューボタンを3D表示するための3Dメニューデータを生成する。
【0039】
さらに、3D表示データ生成部39は、3Dビデオデータ、3D字幕データ、および3Dメニューデータを、左右の各目用のデータごとに合成する。具体的には、3D表示データ生成部39は、左目用のビデオデータ、左目用の字幕データ、および左目用のメニューデータを合成して左目用の表示データを生成する。また、3D表示データ生成部39は、右目用のビデオデータ、右目用の字幕データ、および右目用のメニューデータを合成して右目用の表示データを生成する。
【0040】
また、3D表示データ生成部39は、オフセット生成部35からのオフセット情報に基づいて、3D字幕データと同様に、BD-Jグラフィックス生成部40から供給される、メニューボタンなどからなるBD-Jグラフィックスを2D表示するためのグラフィックスデータから、BD-Jグラフィックスを3D表示するための3Dグラフィックスデータを生成する。
【0041】
3D表示データ生成部39は、3Dビデオデータと3Dグラフィックスデータを、左右の各目用のデータごとに合成し、左目用の合成結果を左目用の表示データとし、右目用の合成結果を右目用の表示データとする。そして、3D表示データ生成部39は、左目用の表示データと右目用の表示データを3D表示データとして表示部61に供給し、左目用の画像と右目用の画像を表示部61に表示させる。
【0042】
BD-Jグラフィックス生成部40は、BD-Jオブジェクトの実行時に、制御部22からの制御にしたがってグラフィックスデータを生成し、3D表示データ生成部39に供給する。
【0043】
オーディオ生成部41は、PIDフィルタ33から供給されるオーディオストリームのTSパケットに含まれるオーディオデータを復号し、その結果得られるオーディオデータをスピーカ62に供給する。
【0044】
表示部61は、3Dディスプレイなどにより構成される。表示部61は、3D表示データ生成部39から供給される3D表示データに基づいて左目用の画像と右目用の画像を表示する。その結果として、ユーザは、3D画像を見ることができる。
【0045】
スピーカ62は、オーディオ生成部41から供給されるオーディオデータに対応する音声を出力する。
【0046】
[右目用ビデオストリームの構成例]
図2は、右目用ビデオストリームの各GOP(Group of Picture)内の表示順で最初のディペンデントユニット(ピクチャ)の構成例を示す図である。
【0047】
図2に示すように、右目用ビデオストリームの各GOP内の表示順で最初のディペンデントユニットには、先頭から順に、ディペンデントデリミタ(Dependent delimiter)、SPS(Sequence Parameter Set)、Subset PPS(Picture Parameter Set)、SEI(Supplemental Enhancement Information)、1以上のスライス(Slice)が配置される。
【0048】
ディペンデントデリミタは、ディペンデントユニットの先頭を示す開始符号である。ディペンデントデリミタには、例えば、ディペンデントユニットに含まれるスライスの種類を示す情報が含まれている。
【0049】
SPSは、シーケンス全体に関わる情報が含まれるヘッダである。SPSには、例えば、右目用ビデオストリームのプロファイルを示す情報や、右目用ビデオストリームのレベルを示す情報が含まれている。また例えば、SPSには、POC(Picture Order Count)を計算するために必要な情報が含まれている。POCとは、ピクチャの表示順序を示す情報である。
【0050】
PPSは、ピクチャに関わる情報が含まれるヘッダである。例えば、PPSには、POCを計算するために必要な情報が含まれている。
【0051】
SEIは、VCL(Video Coding Layer)のデコードに必須ではない付加情報を示す情報である。SEIは、ディスク11の作成者であるユーザが独自に定義する情報であるユーザSEI情報(BD User data SEI messages in MVC scalable nesting SEI)と、それ以外の情報(Other SEI messages in MVC scalable nesting SEI)に分類することができる。ディスク11では、少なくともユーザSEI情報としてオフセットメタデータ(offset metadata)が記述される。スライスは、MVC方式で符号化された右目用の主画像のビデオデータであり、ピクチャの実データである。
【0052】
なお、1以上のスライスの後には、必要に応じて、フィラーデータ(Filler Data)、エンドオブシーケンス(End of Sequence)、エンドオブストリーム(End of Stream)が配置される。
【0053】
フィラーデータは、データサイズの調整のために付加されるデータである。エンドオブシーケンスは、シーケンスの終端を表す情報である。エンドオブストリームは、右目用ビデオストリームの終端を表す情報である。
【0054】
図3は、右目用ビデオストリームのTSパケットの生成方法を説明する図である。
【0055】
図3に示すように、右目用ビデオストリームは、オフセットメタデータが他のデータとともにTSパケットに配置されないように、TSパケット化される。
【0056】
具体的には、図3に示すように、PPSの最後のTSパケットTS用のデータのデータサイズがTSパケットのデータ部のデータサイズより小さい場合、TSパケットTSのデータサイズがTSパケットのデータサイズと同一になるように、TSパケットTSのヘッダのアダプテーションフィールドを用いてヘッダ中に任意のスタッフィングバイトが挿入される。これにより、オフセットメタデータの先頭は、直前のPPSが配置されるTSパケットTSとは別のTSパケットTSn+1にパケット化される。なお、TSとは、i番目のTSパケットを表している。
【0057】
また、図3に示すように、オフセットメタデータの最後のTSパケットTS用のデータのデータサイズがTSパケットのデータ部のデータサイズより小さい場合、TSパケットTSのデータサイズがTSパケットのデータサイズと同一になるように、TSパケットTSのヘッダのアダプテーションフィールドを用いてヘッダ中に任意のスタッフィングバイトが挿入される。これにより、スライスの先頭は、直前のオフセットメタデータが配置されるTSパケットTSとは別のTSパケットTSm+1にパケット化される。
【0058】
さらに、図3に示すように、オフセットメタデータ以外のデータのTSパケットのヘッダには、トランスポートプライオリティとして0が記述される。また、オフセットメタデータのTSパケットのヘッダには、トランスポートプライオリティとして1が記述される。
【0059】
詳細には、図4に示すように、TSパケットは、先頭のヘッダと、それ以降のデータ部により構成される。
【0060】
図4に示すように、ヘッダには、8ビットの同期バイト(sync_byte)、1ビットのトランスポートエラーインジケータ(transport_error_indicator)、および1ビットのペイロードユニット開始インジケータ(payload_unit_start_indicator)が記述される。また、ヘッダには、1ビットのトランスポートプライオリティ(transport_priority)、13ビットのPID、および2ビットのトランスポートスクランブル制御(transport_scrambling_control)が記述される。さらに、ヘッダには、2ビットのアダプテーションフィールド制御(adaptation_field_control)、および2ビットの巡回カウンタ(continuity_counter)が記述される。なお、巡回カウンタは、フレーム毎に1だけインクリメントされるデータである。
【0061】
アダプテーションフィールド制御が所定の値(図4の例では、「10」、「11」)である場合、ヘッダには、さらに、拡張ヘッダとしてのアダプテーションフィールドが配置される。
【0062】
また、アダプテーションフィールド制御が所定の値(図4の例では、「01」、「11」)である場合、データ部にはペイロードが格納される。ペイロードとしては、例えば、右目用ビデオストリームが格納される。
【0063】
右目用ビデオストリームのTSパケットでは、ペイロードとしてオフセットメタデータが記述される場合、そのTSパケットのヘッダのトランスポートプライオリティとして1が記述される。一方、ペイロードとしてオフセットメタデータ以外のデータが記述される場合、そのペイロードを含むTSパケットのヘッダのトランスポートプライオリティとして0が記述される。
【0064】
即ち、トランスポートプライオリティは、データ部に配置されるデータがオフセットメタデータであるか、または、オフセットメタデータ以外のデータであるかを表すフラグ情報として用いられる。
【0065】
従って、再生装置20は、トランスポートプライオリティによって、右目用ビデオストリームのTSパケットのうち、オフセットメタデータを含むTSパケットを抽出することができる。
【0066】
[右目用ビデオ生成部とオフセット生成部の詳細構成例]
図5は、図1の右目用ビデオ生成部36とオフセット生成部35の詳細構成例を示すブロック図である。
【0067】
図5に示すように、PIDフィルタ33には、トランスポートプライオリティとして0または1が記述されたヘッダを含むTSパケットが入力される。図5の例では、先頭からn番目乃至n+3番目のTSパケットがPIDフィルタ33に入力されている。n番目とn+3番目のTSパケットのトランスポートプライオリティは0であり、n+1番目とn+2番目のTSパケットのトランスポートプライオリティは1である。
【0068】
PIDフィルタ33は、入力されたTSパケットのヘッダに記述されたPIDに基づいて、そのTSパケットのうち右目用ビデオストリームのTSパケットを抽出し、トランスポートプライオリティフィルタ34に供給する。
【0069】
トランスポートプライオリティフィルタ34は、PIDフィルタ33から供給されるTSパケットを全て右目用ビデオ生成部36に供給するか、またはトランスポートプライオリティが0であるTSパケットのみを右目用ビデオ生成部36に供給する。
【0070】
また、トランスポートプライオリティフィルタ34は、PIDフィルタ33から供給されるTSパケットのヘッダに記述されているトランスポートプライオリティが1である場合、そのTSパケットをオフセット生成部35に供給する。これにより、オフセット生成部35には、トランスポートプライオリティが1である右目用ビデオストリームのTSパケット、即ちオフセットメタデータがデータ部に配置されたTSパケットのみが供給される。
【0071】
右目用ビデオ生成部36は、トランスポートバッファ71、エレメンタリバッファ72、およびビデオデコーダ73により構成される。
【0072】
トランスポートバッファ71は、トランスポートプライオリティフィルタ34から供給されるTSパケットを蓄積する。トランスポートバッファ71は、蓄積されているTSパケットを所定のビットレートで読み出し、エレメンタリバッファ72に供給する。エレメンタリバッファ72は、トランスポートバッファ71から供給されるTSパケットを蓄積する。
【0073】
ビデオデコーダ73は、汎用的なMVCデコーダにより構成される。ビデオデコーダ73は、エレメンタリバッファ72に蓄積されているTSパケットのトランスポートプライオリティに基づいて、そのTSパケットのうち、トランスポートプライオリティが0であるTSパケットのデータ部に配置されている右目用の主画像のビデオデータを所定のタイミングで引き抜く。そして、ビデオデコーダ73は、その右目用の主画像のビデオデータをMVC方式に対応する方式で復号し、その結果得られるビデオデータを右目用ビデオデータとして3D表示データ生成部39(図1)に供給する。
【0074】
オフセット生成部35は、エクストラバッファ81およびオフセットデコーダ82により構成される。
【0075】
エクストラバッファ81は、トランスポートプライオリティフィルタ34から供給される、トランスポートプライオリティが1であるTSパケットを蓄積する。
【0076】
オフセットデコーダ82は、エクストラバッファ81に蓄積されているTSパケットのデータ部に配置されるオフセットメタデータを所定のタイミングで引き抜く。オフセットデコーダ82は、そのオフセットメタデータに基づいてオフセット情報を生成し、3D表示データ生成部39(図1)に供給する。
【0077】
[再生装置の処理]
図6は、再生装置20のオフセット生成処理を説明するフローチャートである。このオフセット生成処理は、例えば、PIDフィルタに新たなTSパケットが入力されたとき、開始される。
【0078】
ステップS11において、PIDフィルタ33は、入力されたTSパケットのPIDに基づいて、そのTSパケットが右目用ビデオストリームのTSパケットであるかどうかを判定する。ステップS11で入力されたTSパケットが右目用ビデオストリームのTSパケットではないと判定された場合、処理は終了する。
【0079】
一方、ステップS11で入力されたTSパケットが右目用ビデオストリームのTSパケットであると判定された場合、PIDフィルタ33は、そのTSパケットをトランスポートプライオリティフィルタ34に供給する。
【0080】
そして、ステップS12において、トランスポートプライオリティフィルタ34は、PIDフィルタ33から供給されるTSパケットのヘッダに記述されたトランスポートプライオリティが1であるかどうかを判定する。ステップS12でトランスポートプライオリティが1ではないと判定された場合、即ちトランスポートプライオリティが0である場合、処理は終了する。
【0081】
一方、ステップS12でトランスポートプライオリティが1であると判定された場合、トランスポートプライオリティフィルタ34は、PIDフィルタ33から供給されるTSパケットをトランスポートバッファ71(図5)とエクストラバッファ81に供給する。
【0082】
そして、ステップS13において、エクストラバッファ81は、トランスポートプライオリティフィルタ34から供給されるTSパケットを蓄積する。
【0083】
ステップS14において、オフセットデコーダ82は、エクストラバッファ81に蓄積されているTSパケットのデータ部に配置されているオフセットメタデータを引き抜く。
【0084】
ステップS15において、オフセットデコーダ82は、ステップS14で引き抜かれたオフセットメタデータに基づいてオフセット情報を生成し、3D表示データ生成部39に供給する。そして処理は終了する。
【0085】
図7は、ムービーオブジェクト実行時の再生装置20の3D表示処理のフローチャートである。この3D表示処理は、例えば、オフセットメタデータ、左目用ビデオデータ、右目用ビデオデータ、字幕データ、およびメニューデータが3D表示データ生成部39に入力されたとき、開始される。
【0086】
ステップS31において、3D表示データ生成部39は、オフセット生成部35から入力されるオフセット情報、右目用ビデオ生成部36から入力される右目用ビデオデータ、左目用ビデオ生成部37から入力される左目用ビデオデータ、字幕生成部51から入力される字幕データ、およびメニュー生成部52から入力されるメニューデータを取得する。
【0087】
ステップS32において、3D表示データ生成部39は、オフセット情報に基づいて、右目用ビデオデータ、左目用ビデオデータ、字幕データ、およびメニューデータから3D表示データを生成する。
【0088】
ステップS33において、3D表示データ生成部39は、ステップS32で生成された3D表示データに基づいて、3D画像を表示部61に表示させる。そして処理は終了する。
【0089】
なお、BD-Jオブジェクト実行時の3D表示処理は、字幕データとメニューデータがグラフィックスデータに代わる以外、図7の3D表示処理と同様であるので、説明は省略する。
【0090】
[記録装置の構成例]
図8は、ディスク11に右目用ビデオストリームを記録する記録装置100の構成例を示すブロック図である。
【0091】
図8の記録装置100は、ビデオ取得部101、ビデオエンコーダ102、オフセット取得部103、バッファ104、PESパケット化部105、TSパケット化部106、ドライブ107、および制御部108により構成される。
【0092】
ビデオ取得部101は、外部から入力される右目用の主画像のビデオデータを取得し、ビデオエンコーダ102に供給する。ビデオエンコーダ102は、ビデオ取得部101から供給されるビデオデータをMVC方式で符号化し、その結果得られるES(Elementary Stream)をバッファ104に供給する。なお、このESのSEIにはオフセットメタデータを配置するための空き領域が設けられている。
【0093】
オフセット取得部103は、外部から入力されるオフセットメタデータを取得し、オフセットメタデータをバッファ104に供給する。
【0094】
バッファ104は、ビデオバッファ111とオフセットバッファ112により構成される。ビデオバッファ111は、ビデオエンコーダ102から供給されるビデオデータのESを格納する。ビデオバッファ111は、制御部108からの制御に基づいて、自分自身に格納されているESを読み出し、そのESのSEIに設けられた空き領域にオフセットバッファ112から供給されるオフセットメタデータを配置して、PESパケット化部105に供給する。
【0095】
オフセットバッファ112は、オフセット取得部103から供給されるオフセットメタデータを格納する。オフセットバッファ112は、制御部108からの制御に基づいて、自分自身に格納されているオフセットメタデータを読み出し、ビデオバッファ111に供給する。
【0096】
PESパケット化部105は、制御部108からの制御に基づいて、ビデオバッファ111から供給されるESをPESパケットにパケット化する。
【0097】
TSパケット化部106は、制御部108から供給されるトランスポートプライオリティに基づいて、PESパケット化部105から供給されるPESパケットを、TSパケットにパケット化する。具体的には、TSパケット化部106は、制御部108から供給されるトランスポートプライオリティが記述されたヘッダを含み、PESパケットがデータ部に配置されたTSパケットを生成する。なお、このTSパケットのヘッダには、右目用ビデオストリームに対応するPIDも記述される。TSパケット化部106は、生成されたTSパケットをドライブ107に供給する。
【0098】
ドライブ107は、制御部108からの制御に基づいて、TSパケット化部106から供給されるTSパケットをディスク11に記録する。
【0099】
制御部108は、バッファ104に格納されたビデオデータのESおよびオフセットメタデータを監視する。また、制御部108は、PTSを管理する。さらに、制御部108は、PESパケット化部105、TSパケット化部106、およびドライブ107の各部を制御する。
【0100】
具体的には、例えば、制御部108は、TSパケット化部106にPESパケット化されたビデオデータが入力される場合、トランスポートプライオリティとして0をTSパケット化部106に供給する。一方、TSパケット化部106にPESパケット化されたオフセットメタデータが入力される場合、トランスポートプライオリティとして1をTSパケット化部106に供給する。
【0101】
[記録装置の処理の説明]
図9は、図8の記録装置100の記録処理を説明するフローチャートである。この記録処理は、例えば、PESパケット化部105からTSパケット化部106にPESパケットが入力されたとき開始される。
【0102】
ステップS51において、TSパケット化部106は、TSパケットのデータ部のデータサイズ分のPESパケットが供給されたかどうかを判定する。ステップS51でTSパケットのデータ部のデータサイズ分のPESパケットがまだ供給されていない場合、処理はステップS52に進む。
【0103】
ステップS52において、TSパケット化部106は、制御部108から供給されるトランスポートプライオリティが変更されたかどうかを判定する。ステップS52でトランスポートプライオリティが変更されていないと判定された場合、処理はステップS51に戻る。そして、TSパケットのデータ部のデータサイズ分のPESパケットが供給されたか、または、トランスポートプライオリティが変更されるまで、ステップS51およびS52の処理が繰り返される。
【0104】
一方、ステップS52でトランスポートプライオリティが変更されたと判定された場合、処理はステップS53に進む。ステップS53において、TSパケット化部106は、PESパケット化部105からのPESパケットがデータ部に配置される生成対象のTSパケットのデータサイズがTSパケットのデータサイズと同一になるように、アダプテーションフィールドを用いて生成対象のTSパケットのヘッダにスタッフィングデータを挿入する。具体的には、TSパケット化部106は、TSパケットのデータ部のデータサイズからPESパケットのデータサイズを減算した値分のスタッフィングデータを、TSパケットのヘッダのアダプテーションフィールドに挿入する。そして処理はステップS54に進む。
【0105】
また、ステップS51でTSパケットのデータ部のデータサイズ分のPESパケットが供給されたと判定された場合、処理はステップS54に進む。
【0106】
ステップS54において、TSパケット化部106は、PESパケット化部105から供給されるPESパケットを、TSパケットのデータ部に配置する。
【0107】
ステップS55において、TSパケット化部106は、制御部108から供給されたデータ部に配置されたPESパケットに対するトランスポートプライオリティが0であるかどうかを判定する。ステップS55でトランスポートプライオリティが0であると判定された場合、処理はステップS56に進む。
【0108】
ステップS56において、TSパケット化部106は、トランスポートプライオリティとして0が記述されたヘッダをデータ部に付加して、TSパケットを生成する。これにより、PESパケット化された右目用の主画像のビデオデータがデータ部に配置され、ヘッダのトランスポートプライオリティとして0が記述されたTSパケットが生成される。そして、TSパケット化部106は、生成されたTSパケットをドライブ107に供給し、処理をステップS58に進める。
【0109】
一方、ステップS55でトランスポートプライオリティが0であると判定された場合、処理はステップS57に進む。ステップS57において、TSパケット化部106は、トランスポートプライオリティとして1が記述されたヘッダをデータ部に付加して、TSパケットを生成する。これにより、PESパケット化されたオフセットメタデータがデータ部に配置され、ヘッダのトランスポートプライオリティとして1が記述されたTSパケットが生成される。そして、TSパケット化部106は、生成されたTSパケットをドライブ107に供給し、処理をステップS58に進める。
【0110】
ステップS58において、ドライブ107は、TSパケット化部106から供給されるTSパケットをディスク11に記録する。そして処理は終了する。
【0111】
なお、上述した説明では、右目用ビデオストリームにオフセットメタデータが含まれるようにしたが、左目用ビデオストリームに含まれるようにしてもよい。また、右目用ビデオストリームと左目用ビデオストリームの両方に含まれるようにしてもよい。
【0112】
また、上述した説明では、右目用ビデオストリームが、MVC方式のディペンデントストリームとなり、左目用ビデオストリームが、MVC方式のベースストリームとなるように符号化が行われたが、左目用ビデオストリームがディペンデントストリームとなり、右目用ビデオストリームがベースストリームとなるように符号化が行われるようにしてもよい。
【0113】
本発明は、主画像の2D表示に用いられるビデオストリームと主画像のオフセット情報がディスクに記録される場合にも適用することができる。この場合、例えば、主画像の2D表示に用いられるビデオストリームに副画像のオフセットメタデータが含まれるとともに、主画像のオフセット情報が含まれる。
【0114】
上述した一連の処理の少なくとも一部は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理の少なくとも一部をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【0115】
図10は、上述した一連の処理の少なくとも一部をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0116】
CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203は、バス204により相互に接続されている。
【0117】
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウスなどよりなる入力部206、ディスプレイ、スピーカなどよりなる出力部207が接続される。また、バス204には、ハードディスクや不揮発性のメモリなどよりなる記憶部208、ネットワークインタフェースなどよりなる通信部209、リムーバブルメディア211を駆動するドライブ210が接続される。
【0118】
以上のように構成されるコンピュータでは、CPU201が、例えば、記憶部208に記憶されているプログラムを入出力インタフェース205及びバス204を介してRAM203にロードして実行することにより、上述した一連の処理が行われる。
【0119】
CPU201が実行するプログラムは、例えばリムーバブルメディア211に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部208にインストールされる。
【0120】
<オフセットメタデータの記述例>
図11および図12は、オフセットメタデータの記述例を示す図である。
【0121】
図11に示すように、オフセットメタデータには、そのオフセットメタデータが含まれる右目用ビデオストリームのフレームレート(frame_rate)が4ビットで記述され、その右目用ビデオストリームの表示順で先頭のピクチャのPTS(offset_start_PTS)が33(=3+15+15)ビットで記述される。このフレームレートとPTSによりオフセット情報を適用する画面の再生時刻を特定することができる。また、オフセットメタデータには、そのオフセットメタデータがSEIに含まれるGOPのフレーム数(number of frames)が8ビットで記述される。さらに、オフセットメタデータには、そのGOPに対応して設定された字幕のオフセット情報の種類の数(number_of_PG_offset_sequences)、および、そのGOPに対応して設定されたメニューボタンのオフセット情報の種類の数(number_of_IG_offset_sequences)がそれぞれ6ビットで記述される。なお、再生対象に適用するオフセット情報の種類は、プレイリストなどによって指定される。
【0122】
また、図11に示すように、オフセットメタデータには、字幕のオフセット情報の種類ごとに、字幕のオフセット情報(PG_offset_sequence)が記述され、メニューボタンのオフセット情報の種類ごとに、メニューボタンのオフセット情報(IG_offset_sequence)が記述される。
【0123】
オフセット情報(PG_offset_sequence,IG_offset_sequence)としては、図12Aや図12Bに示すように、オフセット方向を表す情報(offset_direction_flag)が1ビットで記述されるとともに、オフセット値を表す情報(offset_value)が7ビットで記述される。
【0124】
オフセット方向を表す情報としては、例えば、オフセット方向が、表示面に対して手前側(ユーザ側)に3D画像を飛び出させる方向である場合「0」が用いられ、奥側に3D画像を引っ込ませる方向である場合「1」が用いられる。また、オフセット値は、例えば画素数で表現される。
【0125】
オフセットメタデータには、さらに、図11に示すように、「0」が8回連続することを防止するために1ビットのマーカービット(marker_bit)が随所に配置される。具体的には、例えば、MVC方式の復号では、復号対象のデータにおいて「0」が8回連続すると、そのデータはスタートコードであると判定される。そのため、オフセットメタデータには、そのオフセットメタデータの一部がスタートコードを表さないように、マーカービットとして「1」が含まれる。また、オフセットメタデータには、空き領域(reserved_for_future_use)も配置される。
【0126】
なお、図11の例では、「0」が8回連続しないようにマーカービットが配置されるが、マーカービットは、復号時にオフセットメタデータの一部または全部が所定のコードと認識されないように配置されればよく、マーカービットの配置方法は図11の方法に限定されない。
【0127】
<3D表示データ生成部の詳細構成例>
図13は、図1の3D表示データ生成部39の詳細構成例を示すブロック図である。
【0128】
図13の3D表示データ生成部39は、字幕プレーン531、メニュープレーン532、左目用表示データ生成部533、および右目用表示データ生成部534により構成される。
【0129】
字幕プレーン531は、字幕生成部51(図1)から供給される字幕データを保持する。
【0130】
メニュープレーン532は、メニュー生成部52(図1)から供給されるメニューデータを保持する。
【0131】
左目用表示データ生成部533は、左目用ビデオプレーン541、透過部542、オフセット付加部543、透過部544、合成部545、透過部546、オフセット付加部547、透過部548、および合成部549により構成される。
【0132】
左目用ビデオプレーン541は、左目用ビデオ生成部37(図1)から供給される左目用ビデオデータを保持する。
【0133】
透過部542は、左目用ビデオプレーン541に保持されている左目用ビデオデータを読み出す。透過部542は、左目用の主画像が予め設定されている透過率(1−α1L)で透過するように、読み出された左目用ビデオデータを変換する。透過部542は、変換後の左目用ビデオデータを合成部545に供給する。
【0134】
オフセット付加部543は、字幕プレーン531から字幕データを読み出す。オフセット付加部543は、図1のオフセット生成部35から供給される字幕データのオフセット情報に基づいて、読み出された字幕データから左目用の字幕データを生成する。オフセット付加部543は、その左目用の字幕データを透過部544に供給する。
【0135】
透過部544は、オフセット付加部547から供給される左目用の字幕データを、左目用の字幕が予め設定されている透過率α1Lで透過するように変換する。透過部544は、変換後の左目用の字幕データを合成部545に供給する。
【0136】
合成部545は、透過部542から供給される左目用のビデオデータと透過部544から供給される左目用の字幕データを合成し、その結果得られるデータを透過部546に供給する。
【0137】
透過部546は、合成部545から供給されるデータに対応する画像が透過率(1−α2L)で透過するように、そのデータを変換し、合成部549に供給する。
【0138】
オフセット付加部547は、メニュープレーン532からメニューデータを読み出す。オフセット付加部547は、図1のオフセット生成部35から供給されるメニューボタンのオフセット情報に基づいて、読み出されたメニューデータから左目用のメニューデータを生成する。オフセット付加部547は、その左目用のメニューデータを透過部548に供給する。
【0139】
透過部548は、オフセット付加部547から供給される左目用のメニューデータを、左目用のメニューボタンが予め設定されている透過率α2Lで透過するように変換する。透過部548は、変換後の左目用のメニューデータを合成部549に供給する。
【0140】
合成部549は、透過部546から供給されるデータと透過部548から供給されるメニューデータとを合成し、その結果得られるデータを左目用の表示データとして出力する。
【0141】
右目用表示データ生成部534は、右目用ビデオプレーン551、透過部552、オフセット付加部553、透過部554、合成部555、透過部556、オフセット付加部557、透過部558、および合成部559により構成される。右目用表示データ生成部534の各部の処理は、処理の対象が右目用のデータであることを除いて左目用表示データ生成部533の各部の処理と同様であるので、説明は省略する。
【0142】
<3D表示データにおける重畳順の説明>
図14は、3D表示データ生成部39により生成される3D表示データにおける重畳順を説明する図である。
【0143】
図14Aに示すように、3D表示データのうちの左目用の表示データの重畳順序は、下から順に、左目用ビデオデータ、左目用の字幕データ、および左目用のメニューデータの順である。また、図14Bに示すように、右目用の表示データの重畳順序は、下から順に、右目用ビデオデータ、右目用の字幕データ、および右目用のメニューデータの順である。
【0144】
本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0145】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0146】
11 ディスク, 20 再生装置, 31 ドライブ, 34 トランスポートプライオリティフィルタ, 36 右目用ビデオ生成部, 39 3D表示データ生成部, 100 記録装置, 102 ビデオエンコーダ, 106 TSパケット化部, 107 ドライブ

【特許請求の範囲】
【請求項1】
所定の字幕またはメニューボタンである字幕メニューのストリームである字幕メニューストリームのパケットを読み出すように再生装置を機能させる前記字幕メニューストリームのパケットと、
前記字幕メニューストリームのパケットから、3D表示に用いられる左目用の字幕メニューのビデオデータと右目用の字幕メニューのビデオデータを生成するように前記再生装置を機能させる、前記所定の字幕メニューに対する、前記左目用の字幕メニューと前記右目用の字幕メニューのずれ方向およびずれ量からなるオフセット情報、または、符号化された主画像のビデオデータを復号するように前記再生装置を機能させる前記符号化された主画像のビデオデータのいずれか一方のみをデータ部に含むビデオストリームのパケットであって、そのパケットの前記データ部に配置されるデータのうちの前記オフセット情報を抽出するように前記再生装置を機能させる、前記データ部に配置されるデータが、前記符号化された主画像のビデオデータであるか、または、前記オフセット情報であるかを表す情報であるフラグ情報がヘッダに記述されている前記ビデオストリームのパケットと
が記録されている記録媒体。
【請求項2】
前記ビデオストリームは、MVC(Multiview Video Coding)方式で符号化された右目用または左目用のいずれか一方の前記主画像のストリームである
請求項1に記載の記録媒体。
【請求項3】
前記オフセット情報には、そのオフセット情報の一部または全部が所定のコードを表すように、一部に所定の情報が含まれる
請求項1に記載の記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2012−130037(P2012−130037A)
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【出願番号】特願2012−13701(P2012−13701)
【出願日】平成24年1月26日(2012.1.26)
【分割の表示】特願2010−114578(P2010−114578)の分割
【原出願日】平成22年5月18日(2010.5.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】