再生装置、記録媒体、および情報処理方法
【課題】字幕の表示領域として十分な領域を確保することができるようにする。
【解決手段】本技術の再生装置においては、上側の帯状領域である第１の領域の少なくとも一部を下側の帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、フレームの上端を基準とした、左目用の画像と右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる有効画枠の配置位置を示す情報を含むプレイリストファイルと、が記録媒体から読み出され、処理される。本技術は、BDプレーヤに適用することができる。
【解決手段】本技術の再生装置においては、上側の帯状領域である第１の領域の少なくとも一部を下側の帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、フレームの上端を基準とした、左目用の画像と右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる有効画枠の配置位置を示す情報を含むプレイリストファイルと、が記録媒体から読み出され、処理される。本技術は、BDプレーヤに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、再生装置、記録媒体、および情報処理方法に関し、特に、字幕の表示領域として十分な領域を確保することができるようにした再生装置、記録媒体、および情報処理方法に関する。
【背景技術】
【０００２】
近年、液晶ディスプレイ(LCD:liquid crystal display)等のディスプレイの画素数やフレームレートの向上に伴い実現される画像表示方式として３次元(3D:3-dimensional)表示方式がある。3D表示方式によれば、視聴者は被写体を３次元的に認識することができる。
【０００３】
将来的には、このような３次元的に認識可能なビデオデータを含む映画等の3Dコンテンツを記録したBD-ROM等のBlu-Ray（商標）Disc(BD)が流通するようになることも考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４７９８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
BD等に記録された3Dコンテンツを再生して3D画像を表示するとき、字幕をどこにどのように表示するかという問題がある。
【０００６】
図１は、アスペクト比が16:9の表示装置に、垂直方向よりも水平方向が長く、16:9よりも大きなアスペクト比を有する、シネマスコープサイズ等の画像を表示したときの画面構成を示す図である。
【０００７】
図１に示すように、映画等のコンテンツの画像はいわゆるレターボックス形式で表示され、画面の上側および下側に黒枠領域が形成される。2Dの字幕は、通常、点線で示すように、ビデオ表示領域の中央下側に形成された字幕領域に表示される。
【０００８】
3Dコンテンツに含まれる画像が、垂直方向よりも水平方向が長く、16:9よりも大きなアスペクト比で符号化されているとき、BDプレーヤ等で再生した3Dコンテンツの画像は、16:9のアスペクト比を有するテレビジョン受像機の画面上には図１に示すように表示される。
【０００９】
この場合において、例えば、通常の2Dコンテンツと同じように3Dコンテンツを表示したビデオ表示領域に２次元の字幕を表示したとき、字幕は３次元表示された被写体と重なってしまい、読みにくくなる可能性がある。また、字幕をも３次元表示したとき、視差により、画像を見ているうちに疲れてしまう可能性がある。
【００１０】
さらに、黒枠領域に字幕を表示するとき、一度に字幕を複数行に示すと同時に、当該字幕の各文字を読解可能な大きさで表示しようとしたときには表示領域が不足してしまう可能性がある。
【００１１】
本発明はこのような問題を考慮しており、字幕の表示領域として十分な領域を確保することが望ましい。
【課題を解決するための手段】
【００１２】
本技術の再生装置は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルと、を記録媒体から読み出す読み出し部と、前記基本ストリームおよび前記拡張ストリームを復号する第１の復号部と、前記字幕ストリームを復号する第２の復号部と、前記第１のオフセット値を用いて前記有効画枠の上端の位置を求めるとともに、前記第２のオフセット値を用いて前記有効画枠の下端の位置を求め、前記基本ストリームおよび前記拡張ストリームを復号して得られた前記フレームから、前記左目用の画像と前記右目用の画像の前記有効画枠を切り出す切り出し部と、前記第３の領域が前記有効画枠の下に形成されるように、前記第３のオフセット値を用いて求められた位置に、前記左目用の画像と前記右目用の画像の前記有効画枠を配置する配置処理部と、前記フレーム内の領域のうち、前記配置処理部により配置された前記有効画枠外の領域に所定の色を設定する設定部と、前記第２の復号部により復号された前記字幕にオフセットを設定し、左目用の字幕と右目用の字幕を生成する生成部と、前記有効画枠外の領域に前記所定の色が設定された前記左目用の画像と、前記左目用の字幕を合成する第１の合成部と、前記有効画枠外の領域に前記所定の色が設定された前記右目用の画像と、前記右目用の字幕を合成する第２の合成部とを備える。
【００１３】
前記生成部には、前記オフセットの値を、H.264 AVC/MVCのビデオストリームから取得させることができる。
【００１４】
本技術の記録媒体は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルとを含む情報を記録した記録媒体である。
【００１５】
本技術の情報処理方法は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化し、上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化し、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルを生成し、前記左目用の画像と前記右目用の画像を符号化して得られる基本ストリームおよび拡張ストリームと、前記字幕ストリームと、前記プレイリストファイルとを記録媒体に記録させるステップを含む。
【発明の効果】
【００１６】
本技術によれば、字幕の表示領域として十分な領域を確保することができる。
【図面の簡単な説明】
【００１７】
【図１】関連技術におけるフレーム構成の例を示すブロック図である。
【図２】本発明の一実施形態に係る再生装置を含む再生システムの構成例を示す図である。
【図３】MVCエンコーダの構成例を示すブロック図である。
【図４】画像が参照される例を示す図である。
【図５】TSの構成例を示す図である。
【図６】ビデオストリームをデコードして得られるフレームの構成を示す図である。
【図７Ａ】領域の切り出しの例を示す図である。
【図７Ｂ】領域の切り出しの例を示す図である。
【図８Ａ】aligned字幕方式で字幕を表示するときのフレーム構成を示す図である。
【図８Ｂ】aligned字幕方式で字幕を表示するときのフレーム構成を示す図である。
【図９】AVストリームの管理構造の例を示す図である。
【図１０】Main PathとSub Pathの構造を示す図である。
【図１１】光ディスクに記録されるファイルの管理構造の例を示す図である。
【図１２】PlayListファイルのシンタクスを示す図である。
【図１３】PlayList（）のシンタクスを示す図である。
【図１４】SubPath（）のシンタクスを示す図である。
【図１５】SubPlayItem（i）のシンタクスを示す図である。
【図１６】PlayItem（）のシンタクスを示す図である。
【図１７】STN_table（）のシンタクスを示す図である。
【図１８】STN_table_SS（）のシンタクスの例を示す図である。
【図１９】active_video_window（）のシンタクスの例を示す図である。
【図２０】TopOffsetとBottomOffsetの例を示す図である。
【図２１Ａ】AlignOffsetの例を示す図である。
【図２１Ｂ】AlignOffsetの例を示す図である。
【図２２】再生装置の構成例を示すブロック図である。
【図２３】デコード部の構成例を示す図である。
【図２４】ビデオ後処理部の構成例を示すブロック図である。
【図２５Ａ】ビデオ後処理部による処理結果の例を示す図である。
【図２５Ｂ】ビデオ後処理部による処理結果の例を示す図である。
【図２５Ｃ】ビデオ後処理部による処理結果の例を示す図である。
【図２５Ｄ】ビデオ後処理部による処理結果の例を示す図である。
【図２６】PG後処理部の構成例を示すブロック図である。
【図２７】再生装置の字幕表示方式設定処理について説明するフローチャートである。
【図２８】画面表示の例を示す図である。
【図２９】再生装置の再生処理について説明するフローチャートである。
【図３０】図２９のステップＳ１７において行われるaligned字幕再生処理について説明するフローチャートである。
【図３１】図３０のステップＳ３１において行われるビデオデータ生成処理について説明するフローチャートである。
【図３２】図３０のステップＳ３２において行われる字幕データ生成処理について説明するフローチャートである。
【図３３】フリップ機能により実現されるフレーム構成の変更例を示す図である。
【図３４】フレーム構成の他の変更例を示す図である。
【図３５】aligned字幕領域を選択するメニュー画面の例を示す図である。
【図３６】fixed_subtitle_window_0およびfixed_subtitle_window_1について説明する図である。
【図３７】STN_table_SS（）のシンタクスの他の例を示す図である。
【図３８】active_video_window（）のシンタクスの他の例を示す図である。
【図３９Ａ】AlignOffsetの例を示す図である。
【図３９Ｂ】AlignOffsetの例を示す図である。
【図４０】情報処理装置の構成例を示すブロック図である。
【図４１】情報処理装置の記録処理について説明するフローチャートである。
【図４２】active_video_window（）の記述位置の例を示す図である。
【図４３】他の情報処理装置の構成例を示すブロック図である。
【図４４】active_video_window（）の他の記述位置の例を示す図である。
【図４５】Access Unitの構成を示す図である。
【図４６】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
［再生システムの構成例］
図２は、本発明の一実施形態に係る再生装置１を含む再生システムの構成例を示す図である。
【００１９】
図２の再生システムは、再生装置１と表示装置３がHigh Definition Multimedia Interface(HDMI)ケーブル等で相互に接続されるように構成される。再生装置１は、BD規格の光ディスクである、BD-ROM等の光ディスク２を備える。
【００２０】
光ディスク２には、視点の数が２つの3D画像を表示するために必要なストリームが記録されている。ストリーム等を光ディスク２に記録するための符号化方式として、例えば、H.264 Advanced Video Coding(AVC)/Multi-view Video coding(MVC)が採用される。
【００２１】
再生装置１は、光ディスク２に記録されたストリームの3D再生のためのプレーヤである。再生装置１は、光ディスク２に記録されたストリームを再生し、再生により得られた3D画像をテレビジョン受像機等を含む表示装置３に表示する。音声についても同様に再生装置１により再生され、表示装置３に設けられたスピーカから出力される。
【００２２】
［H.264 AVC/MVC Profile］
H.264 AVC/MVCでは、Base view videoストリームと呼ばれるビデオストリームと、Dependent view videoストリームと呼ばれるビデオストリームが定義されている。以下、適宜、H.264 AVC/MVCを単にMVCと呼ぶ。
【００２３】
図３は、MVCエンコーダの構成例を示すブロック図である。
【００２４】
図３に示すように、MVCエンコーダは、H.264/AVCエンコーダ１１、H.264/AVCデコーダ１２、およびDependent view videoエンコーダ１３から構成される。同じ被写体に対して、L画像（左視点）用のカメラとR画像（右視点）用のカメラが撮像を行う。
【００２５】
L画像用カメラにより撮影されたL画像のストリームはH.264/AVCエンコーダ１１に入力される。また、Ｒ画像用カメラにより撮影されたR画像のストリームはDependent view videoエンコーダ１３に入力される。
【００２６】
H.264/AVCエンコーダ１１は、L画像のストリームをH.264 AVC/High Profileビデオストリームとして符号化する。H.264/AVCエンコーダ１１は、符号化により得られたAVCビデオストリームをBase view videoストリームとして出力する。H.264/AVCエンコーダ１１から出力されたBase view videoストリームは、外部に出力される一方で、H.264/AVCデコーダ１２にも供給される。
【００２７】
H.264/AVCデコーダ１２は、H.264/AVCエンコーダ１１から供給されたAVCビデオストリームをデコードし、デコードにより得られたL画像のストリームをDependent view videoエンコーダ１３に出力する。
【００２８】
Dependent view videoエンコーダ１３は、H.264/AVCデコーダ１２から供給されたL画像のストリームと、外部から入力されたR画像のストリームに基づいて符号化を行う。Dependent view videoエンコーダ１３は、符号化により得られたストリームをDependent view videoストリームとして出力する。
【００２９】
他のストリームを参照画像とする予測符号化にはBase view videoが認められないが、図４に示すように、Base view videoを参照画像とする予測符号化にはDependent view videoが認められている。例えば、L画像をBase view videoとし、R画像をDependent view videoとして符号化を行ったとき、その結果得られるDependent view videoストリームのデータ量は、Base view videoストリームのデータ量よりも少なくなる。
【００３０】
なお、H.264/AVCでの符号化であるため、時間方向におけるBase view videoの予測が行われる。また、Dependent view videoについて、各view間の予測とともに、時間方向の予測が実施される。Dependent view videoをデコードするとき、エンコード時の参照先である対応Base view videoのデコードを先に終える必要がある。
【００３１】
H.264/AVCエンコーダ１１から出力されたBase view videoストリームと、Dependent view videoエンコーダ１３から出力されたDependent view videoストリームは、例えば、オーディオまたは字幕のデータとともにMPEG2 TSとして多重化される。多重化によって得られたTS(MPEG2 TS)は、MVCエンコーダの後部に設けられた記録部において光ディスク２に記録され、再生装置１に提供される。
【００３２】
この例においては、L画像をBase view videoとして符号化し、R画像をDependent view videoとして符号化するが、反対に、R画像をBase view videoとして符号化し、L画像をDependent view videoとして符号化してもよい。以下、L画像をBase view videoとして符号化し、R画像をDependent view videoとして符号化する場合について説明する。
【００３３】
図５は、光ディスク２に記録されたTSの構成例を示す図である。
【００３４】
図５のＴＳでは、Base view video、Dependent view video、Primary audio、Presentation Graphics(PG)、およびInteractive Graphics(IG)のストリームが多重化されている。Base view videoとDependent view videoを異なるTSにおいて多重化することも可能であり得る。PGストリームは字幕のストリームであり、IGストリームはメニュー画面等のグラフィックスのストリームである。
【００３５】
再生装置１による字幕の表示方式においては、ビデオ(Base view video、およびDependent view video)と重なることにより字幕を表示する方式と、字幕用に確保された領域にビデオと重ならない字幕を表示する方式とがある。左目用の字幕と右目用の字幕がPGストリームに含まれる字幕データに基づいて生成され、それぞれが、Base view videoおよびDependent view videoとともに表示されるように、ユーザは字幕だけでなくビデオも３次元的に見ることができる。
【００３６】
ビデオと重なることにより字幕を表示する前者の方式だけでなく、字幕用に確保された領域に字幕を表示する方式においても字幕を３次元表示することが可能であるが、以下、前者の字幕表示方式を3D字幕方式と呼び、後者の字幕表示方式をaligned字幕方式と呼ぶ。aligned字幕方式においては、フレーム内の上側および下側から形成される２つの黒色領域の一方の領域の少なくとも一部が他方の領域に近づき、そこに、字幕が２次元または３次元表示される。
【００３７】
光ディスク２には、適宜、3D字幕方式用のPGストリームと、aligned字幕方式用のPGストリームが記録される。
【００３８】
［Aligned字幕方式について］
図６は、光ディスク２に記録されたビデオストリームをデコードして得られるフレームの構成を示す図である。
【００３９】
図６に示すフレームのサイズは１９２０×１０８０画素である。ビデオの画枠は、垂直方向よりも水平方向が長く、１６：９の比率よりも大きなアスペクト比を有し、フレームの上側および下側には、垂直方向に所定の幅を有する帯状の黒色領域が水平方向全体に渡って形成されている。
【００４０】
上側の黒色領域における垂直方向の画素数はａであり、下側の黒色領域における垂直方向の画素数はｂである。上側と下側の黒色領域の間に挟まれた垂直方向の画素数がｃの領域がビデオの有効画枠であり、そこに、Base viewとDependent viewのビデオが表示される。
【００４１】
光ディスク２に記録されているBase view videoおよびDependent view videoは、図６に示すように、上側と下側の黒色領域がフレーム毎に付加された形でエンコードされている。Base view videoおよびDependent view videoのストリームをデコードしたとき、図６の構成を有するフレームのデータが得られる。
【００４２】
aligned字幕方式で字幕を表示するとき、再生装置１においては、Base view videoおよびDependent view videoのストリームをデコードして得られるフレームから、図７Ａに示すようなビデオの有効画枠だけが切り取られる。切り取り範囲は、光ディスク２に記録された制御情報に含まれる情報によって指定される。
【００４３】
また、ビデオの有効画枠を切り取ったときに残る上側と下側の黒色領域が１つになり、図７Ｂに示すように、垂直方向の画素数がａ＋ｂとなる領域が、aligned字幕方式における字幕の表示領域として確保される。
【００４４】
以下、適宜、上側と下側の黒色領域の一方の領域の少なくとも一部を足して形成される字幕の表示領域をaligned字幕領域という。
【００４５】
図８Ａおよび図８Ｂは、aligned字幕方式で字幕を表示するときのフレームの構成例を示す図である。
【００４６】
図８Ａは、ビデオの有効画枠が上側に配置されるとともに、垂直方向の画素数がａ＋ｂのaligned字幕領域が下側に配置された例を示す図である。図８Ｂは、ビデオの有効画枠が下側に配置されるとともに、垂直方向の画素数がａ＋ｂのaligned字幕領域が上側に配置された例を示す図である。これらの例においては、上側と下側の黒色領域の一方の領域全体を他方の領域に足し合わせてaligned字幕領域が形成されている。
【００４７】
図８Ａおよび図８Ｂにおいて点線で示すように、aligned字幕領域内に字幕ウインドウが配置される。字幕ウインドウ#0は、例えば、人物の会話内容を示す字幕を表示する領域であり、字幕ウインドウ#1は、看板等がビデオの有効画枠に現れたときにその内容を示す、いわゆる強制字幕用の領域である。なお、強制字幕を表示する字幕ウインドウ#1は、ビデオの有効画枠内に位置させることができる。字幕ウインドウ#0についても、ビデオの有効画枠内に位置させることができる。
【００４８】
このように、再生装置１においては、ビデオストリームをデコードしたときに得られるフレームに含まれる上側と下側の黒色領域の一方の領域の少なくとも一部を他方の領域に足し合わせて形成される領域に字幕が表示される。
【００４９】
これにより、3D画像とともにビデオの有効画枠内に字幕を表示するとき、字幕が被写体の影（被写体よりも内側に深く）によって字幕が見づらくなることがあるが、そのようなことを防ぐことができる。
【００５０】
また、3D画像とともに字幕をビデオの有効画枠内に表示するとき、コンテンツの制作者（オーサー）は、被写体の影を構成しないように字幕の表示領域を設定する必要があるが、そのような負担の増加を防ぐことができる。
【００５１】
さらに、一方の側において足し合わせることなく、上側または下側の黒色領域に字幕を表示する場合と較べて、広い領域を字幕の表示領域として確保することができる。例えば、日本語の字幕を表示するとき、字幕の漢字にはかな文字を付けることになるために、垂直方向により広い領域が必要になるが、そのような要望に対応することができる。
【００５２】
［AVストリームの管理構造］
図９は、再生装置１によるAVストリームの管理構造の一例を示す図である。
【００５３】
AVストリームの管理は、図９に示すように、２つのレイヤのPlayListとClipを用いて行われる。Clipは、ビデオデータおよびオーディオデータを多重化して得られるTSであるAVストリームと、対応Clip Information（当該AVストリームに関する属性情報を含むClip Information）とから構成される。
【００５４】
AVストリームは時間軸上に展開され、各アクセスポイントは、主に、タイムスタンプでPlayListにおいて指定される。Clip Informationは、AVストリームにおけるデコードが開始されるべきアドレスを見つけるために使用される。
【００５５】
PlayListはAVストリームの再生区間の集まりである。AVストリーム中の１つの再生区間はPlayItemと呼ばれる。PlayItemは、時間軸上の再生区間のIN点とOUT点で表される。PlayListは１つまたは複数のPlayItemを含む。
【００５６】
図９の左から１番目のPlayListは２つのPlayItemを含み、その２つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分および後半部分のそれぞれが参照される。
【００５７】
左から２番目のPlayListは１つのPlayItemを含み、そのPlayItemにより、右側のClipに含まれるAVストリーム全体が参照される。
【００５８】
左から３番目のPlayListは２つのPlayItemを含み、その２つのPlayItemにより、左側のClipに含まれるAVストリームの一部分および右側のClipに含まれるAVストリームの一部分のそれぞれが参照される。
【００５９】
例えば、左から１番目のPlayListに含まれる左側のPlayItemが再生対象としてディスクナビゲーションプログラムにより指定されたとき、左側のClipに含まれるとともにそのPlayItemにより参照されるAVストリームの前半部分が再生される。このように、PlayListは、AVストリームの再生を制御するための再生制御情報として用いられる。
【００６０】
PlayListの中で、１つ以上のPlayItemの並びによって作られる再生パスをmain pathと呼ぶ。
【００６１】
また、PlayListの中で、main pathに並行して１つ以上のSubPlayItemの並びによって構成される再生パスをsub pathと呼ぶ。
【００６２】
図１０は、main pathとsub pathとの構造を示す図である。
【００６３】
PlayListは、１つのmain pathと１つ以上のsub pathを持つことができる。上述したL view videoのストリームは、main pathを構成するPlayItemにより参照される。また、R view videoのストリームは、sub pathを構成するSubPlayItemにより参照される。
【００６４】
図１０のPlayListは、３つのPlayItemの並びにより構成される１つのmain pathと、３つのsub pathを有している。main pathを構成するPlayItemには、先頭から規則的なIDが設定される。sub pathにもIDが設定される。
【００６５】
図１０の例においては、Subpath_id=0のsub pathには１つのSubPlayItemが含まれ、Subpath_id=1のsub pathには２つのSubPlayItemが含まれる。また、Subpath_id=2のsub pathには１つのSubPlayItemが含まれる。
【００６６】
あるPlayItemが参照するAVストリームと、そのPlayItemとタイムゾーンが重複する再生区間を指定するSubPlayItemが参照するAVストリームは同期させられ、再生される。PlayList、PlayItem、およびSubPlayItemを用いたAVストリームの管理については、例えば、特開2008-252740号公報および特開2005-348314号公報に記載されている。
【００６７】
［ディレクトリの構造］
図１１は、光ディスク２に記録されるファイルの管理構造の例を示す図である。
【００６８】
図１１に示すように、ファイルはディレクトリ構造により階層的に管理される。光ディスク２上には１つのrootディレクトリが作成される。rootディレクトリの下部は、１つの記録再生システムで管理される範囲である。
【００６９】
rootディレクトリの下にはBDMVディレクトリが設定される。BDMVディレクトリの直下に、「Index.bdmv」と名前が付けられたファイルであるIndexファイルと、「MovieObject.bdmv」と名前が付けられたファイルであるMovieObjectファイルが収容される。
【００７０】
BDMVディレクトリの下には、PLAYLISTディレクトリ、CLIPINFディレクトリ、およびSTREAMディレクトリが設けられる。
【００７１】
PLAYLISTディレクトリには、PlayListを記述したファイルであるPlayListファイルが収容される。各PlayListファイルには、５桁の数字と拡張子「.mpls」を組み合わせて作った名前が設定される。図１１に示すPlayListファイルには、「00000.mpls」というファイル名が設定される。
【００７２】
CLIPINFディレクトリにはClip Informationを記述したファイルであるClip Informationファイルが収容される。各Clip Informationファイルには、５桁の数字と拡張子「.clpi」を組み合わせて作った名前が設定される。
【００７３】
図１１の２つのClip Informationファイルには、「00001.clpi」および「00002.clpi」というファイル名が設定されている。以下、適宜、Clip Informationファイルをclpiファイルと呼ぶ。
【００７４】
「00001.clpi」というクリップファイルは、対応するL view videoのストリームに関する情報を記述するファイルであり、「00002.clpi」というclpiファイルは、対応するR view videoのストリームに関する情報を記述するファイルである。
【００７５】
STREAMディレクトリには、ストリームファイルが収容される。各ストリームファイルには、５桁の数字と「.m2ts」という拡張子を組み合わせて作った名前が設定される。以下、適宜、「.m2ts」という拡張子が設定されたファイルをm2tsファイルと呼ぶ。
【００７６】
「00001.m2ts」というm2tsファイルは、L view videoストリームのファイルであり、「00002.m2ts」というm2tsファイルはR view videoのファイルである。
【００７７】
図１１に示すものの他に、BDMVディレクトリの下には、PGおよびIGのグラフィックスのストリームまたはオーディオストリームのファイルを収容するディレクトリが設定される。
【００７８】
［各データのシンタクス］
図１２は、PlayListファイルのシンタクスを示す図である。
【００７９】
PlayListファイルは、図１１のPLAYLISTディレクトリに収容される、「.mpls」という拡張子が設定されたファイルである。
【００８０】
図１２のtype_indicatorは、「xxxxx.mpls」という名前のファイルの種類を示す。
【００８１】
version_numberは、「xxxx.mpls」のバージョンナンバーを示す。version_numberは４桁の数字を含む。例えば、ビデオを３次元表示する3D再生用のPlayListファイルには、「3D Spec version」を示す”０２４０”が設定される。
【００８２】
PlayList_start_addressは、PlayListファイルの先頭バイトからの相対バイト数を単位として、PlayList()のベースアドレスを示す。
【００８３】
PlayListMark_start_addressは、PlayListファイルの先頭バイトからの相対バイト数を単位として、PlayListMark()のベースアドレスを示す。
【００８４】
ExtensionData_start_addressは、PlayListファイルの先頭バイトからの相対バイト数を単位として、ExtensionData()のベースアドレスを示す。
【００８５】
AppInfoPlayList()には、再生制限等、PlayListの再生コントロールに関するパラメータが収容される。
【００８６】
PlayList()には、main pathまたはsub path等に関するパラメータが収容される。
【００８７】
PlayListMark()には、PlayListのマーク情報、すなわち、チャプタジャンプ等を指示するユーザオペレーションまたはコマンドにおけるジャンプポイントであるマークに関する情報である情報が収容される。
【００８８】
ExtensionData()には、プライベートデータが挿入できるように構成される。
【００８９】
図１３は、図１２のPlayList()のシンタクスを示す図である。
【００９０】
lengthは、このlengthフィールドの直後からPlayList()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、lengthは、reserved_for_future_useからPlayListの最後までのバイト数を示す。
【００９１】
number_of_PlayItemsは、PlayList中のPlayItemの数を示す１６ビットのフィールドである。図１０の例の場合、PlayItemの数は３である。PlayItem_idの値は、PlayList中にPlayItem()が現れる順に０から割り当てられる。例えば、割り当てられる値は、図１０では、PlayItem_id=0、1、および2である。
【００９２】
number_of_SubPathsは、PlayList中のsub pathの数を示す１６ビットのフィールドである。図１０の例の場合、sub pathの数は３である。SubPath_idの値は、PlayList中にSubPath()が現れる順に０から割り当てられる。例えば、割り当てられる値は、図１０では、Subpath_id=0、1、および2である。その後のfor文では、PlayItemの数と同じだけPlayItem()が参照され、sub pathの数と同じだけSubPath()が参照される。
【００９３】
図１４は、図１３のSubPath()のシンタクスを示す図である。
【００９４】
lengthは、このlengthフィールドの直後からSub Path()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、lengthは、reserved_for_future_useからPlayListの最後までのバイト数を示す。
【００９５】
SubPath_typeは、sub pathのアプリケーションの種類を示す８ビットのフィールドである。SubPath_typeは、例えば、sub pathの種類、sub pathがオーディオ、ビットマップ字幕、またはテキスト字幕であるかどうかを示すために用いられる。
【００９６】
is_repeat_SubPathは、sub Pathの再生方法を指定する１ビットのフィールドであり、sub Pathの再生をmain Pathの再生間に繰り返すべきであるか、またはsub Pathの再生を１回行うかを示す。
【００９７】
number_of_SubPlayItemsは、１つのsub Path中のSubPlayItemの数（エントリー数）を示す８ビットのフィールドである。例えば、図１０のSubPath_id=0というSubPlayItemのnumber_of_SubPlayItemsは１であり、SubPath_id=1というSubPlayItemのnumber_of_SubPlayItemsは２である。その後のfor文では、SubPlayItemの数と同じだけSubPlayItem()が参照される。
【００９８】
図１５は、図１４のSubPlayItem(i)のシンタクスを示す図である。
【００９９】
lengthは、このlengthフィールドの直後からSub playItem()の最後までのバイト数を示す１６ビットの符号なし整数である。
【０１００】
Clip_Information_file_name[0]は、SubPlayItemが参照されるClipのClip Informationファイルの名前を示す。
【０１０１】
Clip_codec_identifier[0]は、Clipのコーデック方式を示す。
【０１０２】
is_multi_Clip_entriesは、マルチClipの登録の存在を示すフラグである。is_multi_Clip_entriesというフラグが立っているとき、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。
【０１０３】
ref_to_STC_id[0]は、STC不連続点（システムタイムベースの不連続点）に関する情報である。
【０１０４】
SubPlayItem_IN_timeはsub Pathの再生区間の開始位置を示し、SubPlayItem_OUT_timeは終了位置を示す。
【０１０５】
sync_PlayItem_idとsync_start_PTS_of_PlayItemは、main Pathの時間軸上でsub Pathの再生が開始される時を示す。
【０１０６】
SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは、SubPlayItemが参照するClipにおいて共に用いられる。
【０１０７】
「if(is_multi_Clip_entries==1b」であるとともに、SubPlayItemが複数のClipを参照する場合について説明する。
【０１０８】
num_of_Clip_entriesは参照するClipの数を示す。Clip_Information_file_name[SubClip_entry_id]の数は、Clip_Information_file_name[0]を除くClipの数を指定する。
【０１０９】
Clip_codec_identifier[SubClip_entry_id]は、Clipのコーデック方式を示す。
【０１１０】
ref_to_STC_id[SubClip_entry_id]は、STC不連続点（システムタイムベースの不連続点）に関する情報である。
【０１１１】
図１６は、図１３のPlayItem()のシンタクスを示す図である。
【０１１２】
lengthは、このlengthフィールドの直後からPlayItem()の最後までのバイト数を示す１６ビットの符号なし整数である。
【０１１３】
Clip_Information_file_name[0]は、PlayItemが参照するClipのClip Informationファイルの名前を示す。なお、Clipを含むm2tsファイルのファイル名と、それに対応するClip Informationファイルのファイル名は同じ５桁の数字を含む。
【０１１４】
Clip_codec_identifier[0]はClipのコーデック方式を示す。Clip_codec_identifier[0]の後にはreserved_for_future_useが含まれる。reserved_for_future_useの後にはis_multi_angleおよびconnection_conditionが含まれる。
【０１１５】
ref_to_STC_id[0]は、STC不連続点（システムタイムベースの不連続点）に関する情報である。
【０１１６】
IN_timeは、PlayItemの再生区間の開始位置を示し、OUT_timeは終了位置を示す。
【０１１７】
OUT_timeの後には、U0_mask_table()、PlayItem_random_access_mode、およびstill_modeが含まれる。
【０１１８】
STN_table()には、PlayItemが参照するストリームが含まれる。また、PlayItemと関連付けて再生されるsub Pathがあるとき、そのsub Pathを構成するSubPlayItemが参照するストリームの情報も含まれる。
【０１１９】
図１７は、図１６のSTN_table()のシンタクスを示す図である。
【０１２０】
lengthは、このlengthフィールドの直後からSTN_table()の最後までのバイト数を示す１６ビットの符号なし整数である。
【０１２１】
number_of_video_stream_entriesは、video_stream_idとともに与えられ、STN_table()にエントリー（登録）するストリームの数を示す。
【０１２２】
video_stream_idは、ビデオストリームを識別するための情報である。例えば、Base view videoのストリームがこのvideo_stream_idにより特定される。Dependent view videoのストリームのＩＤについては、STN_table()内、および後述するPlayListのExtensionData()（図１２）に含まれるSTN_table_SS()内で定義されるようにしてもよい。
【０１２３】
number_of_audio_stream_entriesは、STN_table()にエントリーし、audio_stream_idに与えられる１番目のオーディオストリームのストリーム数を示す。audio_stream_idは、オーディオストリームを識別するための情報である。
【０１２４】
number_of_audio_stream2_entriesは、STN_table()にエントリーし、audio_stream_id2に与えられる２番目のオーディオストリームのストリーム数を示す。audio_stream_id2は、オーディオストリームを識別するための情報である。この例においては、再生する音声を切り替えることができる。
【０１２５】
number_of_PG_txtST_stream_entriesは、STN_table()にエントリーし、PG_txtST_stream_idに与えられるストリーム数を示す。この中では、ビットマップ字幕をランレングス符号化して得られるPGストリームと、テキスト字幕ファイル（txtST）がエントリーする。PG_txtST_stream_idは、字幕ストリームを識別するための情報である。
【０１２６】
number_of_IG_stream_entriesは、STN_table()にエントリーするとともに、IG_stream_idに与えられるストリーム数を示す。この中ではIGストリームがエントリーする。IG_stream_idは、IGのストリームを識別するための情報である。
【０１２７】
各ストリームについて用意されるstream_entry()には、各ストリームのデータを収容するパケットのPID情報。また、stream_attribute()には、各ストリームの属性情報が含まれる。
【０１２８】
図１８は、STN_table_SS()のシンタクスの例を示す図である。
【０１２９】
STN_table_SS()は、例えば、PlayListファイルのExtensionData()（図１２）に記述される。STN_table_SS()には、3D字幕方式またはaligned字幕方式で字幕を表示するとき、その表示に用いるストリームに関する情報が含まれる。
【０１３０】
図１８に示すように、PG_textST_stream_idで識別されるPGストリーム毎に各情報が設定される。例えば、英語、日本語、またはフランス語等の各言語のPGストリームが光ディスク２に記録されているとき、各言語のPGストリームに対して以下の情報が設定される。
【０１３１】
is_SS_PGは、3D字幕方式用のPGストリームが記録されているか否かを示す。例えば、is_SS_PGの値が１であることは、3D字幕方式用のPGストリームが記録されていることを示し、is_SS_PGの値が０であることは、3D字幕方式用のPGストリームが記録されていないことを示す。
【０１３２】
is_AS_PGは、aligned字幕方式用のPGストリームが記録されているか否かを示す。例えば、is_AS_PGの値が１であることは、aligned字幕方式用のPGストリームが記録されていることを示し、is_AS_PGの値が０であることは、aligned字幕方式用のPGストリームが記録されていないことを示す。
【０１３３】
PG_textST_offset_id_refは、3D字幕方式で字幕を表示するときに用いるオフセット値の参照先を示す。
【０１３４】
3D字幕方式およびaligned字幕方式のいずれの表示方式において、字幕を3Dで表示することは、PGストリームに含まれる字幕データに所定のオフセットを設定して生成されたBase viewとDependent viewの字幕を表示して行われる。オフセットの値は、視差に相当するずれを示す。例えば、同じ文字または記号を含む字幕が配置されたBase viewのフレーム、およびDependent viewのフレームが相互に重なるとき、字幕の位置にはずれが存在する。
【０１３５】
字幕の位置にずれがあるとき、Base viewの字幕がBase viewのビデオとともに表示され、Dependent viewの字幕がDependent viewのビデオとともに表示され、そして、それによって、ユーザはビデオだけでなく字幕も３次元視することができる。なお、字幕データに適用されるオフセットの値が０であるとき、視差は生じることがなく、それによって、字幕は２次元表示される。
【０１３６】
PG_textST_offset_id_refが参照させるオフセットの値は、例えば、PlayListファイルのExtensionData()内に記述されたoffset_metadata()に含まれる。offset_metadata()の詳細については、例えば、本出願人による特願2009-168806号公報に開示されている。
【０１３７】
is_AS_PGの値が１であるときに記述されるstream_entry()には、aligned字幕方式用のPGストリームのデータを収容するパケットのPID情報が含まれる。また、stream_attribute()には、aligned字幕方式用のPGストリームの属性情報が含まれる。
【０１３８】
AS_PG_textST_offset_id_refは、aligned字幕方式で3D字幕を表示するときに用いるオフセットの値の参照先を示す。例えば、aligned字幕方式で字幕を表示するときに用いるオフセットの値も、PlayListファイルのExtensionData()内に記述されたoffset_metadata()に含まれる。オフセットの値が、MVCによって符号化されたビデオストリームの中に含まれるようにすることも可能である。この場合、AS_PG_textST_offset_id_refは、ビデオストリームに含まれるオフセットの値が参照されることを示す。
【０１３９】
なお、is_SS_PGの値が１であるとき、3D字幕方式用のPGストリームのデータを収容するパケットのPID情報を含むstream_entry()と、属性情報に含まれるstream_attribute()がSTN_table_SS()に記述されるようにしてもよい。
【０１４０】
図１９は、active_video_window()のシンタクスの例を示す図である。
【０１４１】
active_video_window()は、例えば、PlayListファイルのExtensionData()（図１２）に記述される。active_video_window()は、図１８のSTN_table_SS()に含まれるis_AS_PGの値が１であり、aligned字幕方式用のPGストリームが記録されているときに記述され。
【０１４２】
active_video_window()には、ビデオの有効画枠に関する情報が含まれる。aligned字幕方式で字幕を表示するときに行われるビデオの有効画枠を切り出して移動する処理が、active_video_window()の記述に基づいて実施される。
【０１４３】
ここでは、active_video_window()に含まれる情報中、top_offset、bottom_offset、top_align_flag、およびalign_offsetについて説明する。
【０１４４】
fixed_subtitle_window_0、fixed_subtitle_window_1、およびflipped_AS_PG_textST_offset_id_refは、後述するフリップ機能に用いられる。フリップ機能は、top_offset等の値に基づいて形成されたaligned字幕領域を、ユーザによる選択に応じて、フレームの上側から下側または下側から上側に移動する。
【０１４５】
top_offsetは、ビデオの有効画枠の垂直方向における画素の最上部の位置を求めるために用いられる値を示す。
【０１４６】
以下、フレーム内の位置については、フレームの左上端における１画素の位置を(x,y)=(0,0)、すなわち、フレームの上から１行目の垂直方向における画素の位置を0、フレームの左から１列目の水平方向における画素の位置を0として、画素数を用いて示す。
【０１４７】
ビデオの有効画枠の垂直方向における最上部の画素の位置であるTopOffsetは、top_offsetの値を用いて下式（１）により求められる。
TopOffset = 2 ＊ top_offset ・・・ （１）
【０１４８】
top_offsetは、下式（２）で示される範囲の値をとる。
・・・ （２）
【０１４９】
式（２）のFrameHeightはフレーム全体の垂直方向における画素数を示し、MVCで符号化されたビデオストリームに含まれるパラメータであるpic_height_in_map_units_minus1を用いて下式（３）により求められる。
FrameHeight = (16 * (pic_height_in_map_units_minus1 + 1)) - 8 ・・・ （３）
【０１５０】
bottom_offsetは、有効画枠の最下下部の垂直方向における画素の位置を求めるために用いられる値を示す。有効画枠の最下下部の垂直方向における画素の位置であるBottomOffsetは、bottom_offsetの値を用いて下式（４）により求められる。
BottomOffset = FrameHeight - (2 * bottom_offset) - 1 ・・・ （４）
【０１５１】
図２０は、TopOffsetとBottomOffsetの例を示す図である。
【０１５２】
top_offset=69、かつbottom_offset=69であるとき、1920×1080画素のフレームにおいては、TopOffsetは138として求められ、BottomOffsetは941として求められる。ビデオの有効画枠の左上端における１画素の位置は(x,y)=(0,138)で表され、左下端における１画素の位置は(x,y)=(0,941)で表される。
【０１５３】
有効画枠の垂直方向における画素数は８０４である。１０８０はFrameHeightの値であり、式（３）により求められる。
【０１５４】
図１９の説明に戻り、top_align_flagは、デコード直後のフレームにおける位置に基づいて、ビデオの有効画枠を上方向に移動するのか、下方向に移動するのかを示す。top_align_flagの値が１であるとき、有効画枠を上方に移動することが示され、top_align_flagの値が０であるとき、有効画枠を下方に移動することが示される。align_offsetを用いた移動量の計算方法は、top_align_flagの値により異なる。
【０１５５】
top_align_flagの値が1であり、ビデオの有効画枠を上方向に移動する場合、aligned字幕領域はフレームの下側に形成される。また、top_align_flagの値が０であり、ビデオの有効画枠を下方向に移動する場合、aligned字幕領域はフレームの上側に形成される。
【０１５６】
align_offsetは、ビデオの有効画枠の移動量を求めるために用いられる値を示す。
【０１５７】
top_align_flagの値が１であるとき、ビデオの有効画枠の移動量であるAlignOffsetは下式（５）により求められる。
AlignOffset = 2 * align_offset ・・・ （５）
【０１５８】
top_align_flagの値が０であるとき、ビデオの有効画枠の移動量であるAlignOffsetは下式（６）により求められる。
AlignOffset = 2 * (top_offset + bottom_offset - align_offset) ・・・ （６）
【０１５９】
式（５）および式（６）により求められるAlignOffsetは、フレームの上から、１行目の画素の位置を０に設定し、下方向への移動量を画素数で示す。
【０１６０】
align_offsetは、下式（７）で示される範囲の値をとる。
・・・ （７）
【０１６１】
top_align_flagとalign_offsetにより、フレームにおけるビデオの有効画枠の移動先としての配置位置が決定される。決定された位置に配置された有効画枠外の全ての画素では、(Y,Cb,Cr)=(16,128,128)等の画素の所定値が設定され、これにより、フレームにおける有効画枠外の画素が同じ色の画素になる。
【０１６２】
図２１Ａおよび図２１Ｂは、AlignOffsetの例を示す図である。
【０１６３】
top_align_flagの値が１であり、かつalign_offset=34であるとき、図２１Ａに示すように、1920×1080画素のフレームにおいては、AlignOffsetは６８として求められる。ビデオの有効画枠の左上端における１画素の位置は(x,y)=(0,68)で表される。
【０１６４】
AlignOffsetが６８、ビデオの有効画枠の垂直方向における画素数が８０４、フレーム全体の垂直方向における画素数が１０８０であるから、aligned字幕領域の垂直方向における画素数は２０８になる。ビデオの有効画枠の左下端における１画素の位置は(x,y)=(0,871)で表される。
【０１６５】
top_align_flagの値が０であり、かつalign_offset=34であるとき、図２１Ｂに示すように、1920×1080画素のフレームにおいては、AlignOffsetは２０８として得られる。有効画枠の左下端における１画素の位置は(x,y)=(0,208)で表される。
【０１６６】
AlignOffsetが２０８、ビデオの有効画枠の垂直方向における画素数が８０４、フレーム全体の垂直方向における画素数が１０８０であるから、フレームの下側に形成された黒色領域の垂直方向における画素数は６８になる。ビデオの有効画枠の左下端における１画素の位置は(x,y)=(0,1011)で表される。
【０１６７】
［再生装置１の構成例］
図２２は、再生装置１の構成例を示すブロック図である。
【０１６８】
コントローラ３１は、制御プログラム（図９のディスクナビゲーションプログラム）を実行し、再生装置１全体の動作を制御する。コントローラ３１は、ユーザの操作に応じて再生装置１のステータスを切り替え、現在のステータスを示す情報をレジスタ３１Ａに記憶させる。
【０１６９】
ディスクドライブ３２は、コントローラ３１による制御に従って光ディスク２からデータを読み出し、読み出したデータを、コントローラ３１、メモリ３３、またはデコード部３４に出力する。
【０１７０】
メモリ３３は、コントローラ３１による各種処理の実行に加えて、必要なデータ等を適宜記憶する。
【０１７１】
デコード部３４は、ディスクドライブ３２から供給されたストリームをデコードし、得られたビデオ信号を表示装置３に出力する。オーディオ信号も所定の経路を介して表示装置３に出力される。
【０１７２】
操作入力部３５は、ボタン、キー、タッチパネル、またはマウス等の入力デバイス、および所定のリモートコマンダから送信される赤外線等の信号を受信する受信部により構成される。操作入力部３５はユーザによる操作を検出し、検出した操作の内容を示す信号をコントローラ３１に供給する。
【０１７３】
図２３は、デコード部３４の構成例を示す図である。
【０１７４】
分離部５１は、ディスクドライブ３２から供給されたTSとして多重化されているデータを、コントローラ３１による制御に従って分離する。分離部５１は、ビデオストリームをビデオデコーダ５２に出力し、PGストリームをPGデコーダ５５に出力する。なお、図２３にはビデオのデータを処理する構成と字幕データを処理する構成のみを示しているが、ビデオのデータを処理する構成等もデコード部３４に適宜設けられる。
【０１７５】
ビデオストリームのデータを収容するパケットは、例えば、STN_table()のstream_entry()に含まれるPIDに基づいて特定される。また、3D字幕方式用のPGストリームのデータを収容するパケットとaligned字幕方式用のPGストリームのデータを収容するパケットは、例えば、STN_table_SS()のstream_entry()に含まれるPIDに基づいて特定される。
【０１７６】
ビデオデコーダ５２は、MVC方式で符号化されているビデオストリームをデコードし、デコードして得られた画像データ（Base view videoのデータとDependent view videoのデータ）をビデオ後処理部５３に出力する。
【０１７７】
ビデオ後処理部５３は、aligned字幕方式で字幕を表示するとき、コントローラ３１から供給されたactive_video_window()の記述に基づいて後処理を行う。ビデオ後処理部５３は、後処理を行って得られたBase view videoのプレーン（フレームと同じサイズの画像データ）とDependent view videoのプレーンを選択部５４に出力する。
【０１７８】
選択部５４は、ビデオ後処理部５３から供給された画像データ中、Base view videoのプレーンを合成部５８に出力し、Dependent view videoのプレーンを合成部５９に出力する。
【０１７９】
PGデコーダ５５は、PGストリームをデコードし、デコードによって得られた字幕データと、字幕ウインドウの位置を示す情報をPG後処理部５６に出力する。
【０１８０】
PGストリームに含まれる字幕データがビットマップデータであるとき、PGストリームは、字幕ウインドウの位置を示す情報であるwindow_vertical_positionとwindow_horizontal_positionを含む。この２つの情報により、フレームにおいて、例えば、字幕ウインドウの左上端における画素の位置が指定される。また、PGストリームに含まれる字幕データがテキストデータであるとき、PGストリームは、字幕ウインドウの位置を示す情報であるregion_vertical_positionとregion_heightを含む。
【０１８１】
PG後処理部５６は、コントローラ３１から供給されたactive_video_window()またはSTN_table_SS()の記述に基づいて後処理を行う。PG後処理部５６は、後処理を行って得られたBase viewの字幕のプレーンとDependent viewの字幕のプレーンを選択部５７に出力する。
【０１８２】
選択部５７は、PG後処理部５６から供給されたBase viewの字幕のプレーンとDependent viewの字幕のプレーンを、それぞれ、合成部５８と合成部５９に出力する。
【０１８３】
合成部５８は、選択部５４から供給されたBase view videoのプレーンと、選択部５７から供給されたBase viewの字幕のプレーンとを合成してBase viewのフレームを生成するとともに、出力。ビデオのプレーンと字幕のプレーンを合成して、ビデオが有効画枠内に配置されるとともに、１フレームのデータが生成され、字幕がaligned字幕領域等の所定の位置に配置される。
【０１８４】
合成部５９は、選択部５４から供給されたDependent view videoのプレーンと、選択部５７から供給されたDependent viewの字幕のプレーンとを合成してDependent viewのフレームを生成するとともに、出力。合成部５８から出力されたBase viewのフレームおよび合成部５９から出力されたDependent viewのフレームのビデオ信号が表示装置３に出力される。
【０１８５】
図２４は、ビデオ後処理部５３の構成例を示すブロック図である。
【０１８６】
図２４に示すように、ビデオ後処理部５３は、切り出し部７１、配置処理部７２、および色設定部７３を含む。切り出し部７１に対しては、ビデオデコーダ５２から出力された、ビデオの有効画枠の上側と下側に黒色領域が付加された構成を有する図２５Ａに示すようなフレームのデータが入力される。
【０１８７】
図２５Ａに示すフレームは1920×1080画素のサイズのフレームと仮定する。ビデオの有効画枠の垂直方向における画素数は８０４であり、垂直方向における画素数が１３８の黒色領域が上側と下側に設定されている。
【０１８８】
切り出し部７１は、active_video_window()に含まれるtop_offsetとbottom_offsetに基づいて、TopOffsetとBottomOffsetを求め、ビデオの有効画枠を切り出す。例えば、図２５Ｂに示すようなビデオの有効画枠が図２５Ａのフレーム全体から切り出される。
【０１８９】
配置処理部７２は、active_video_window()に含まれるtop_align_flagとalign_offsetに基づいて、ビデオの有効画枠の配置位置（デコード後のフレームにおける位置に基づく移動先の位置）を求め、求めた位置に有効画枠を配置する。
【０１９０】
例えば、図２５Ｃに示すように、ビデオの有効画枠の左上端における画素の位置と、フレームの左上端における画素の位置が相互に一致するように有効画枠が配置される。ビデオの有効画枠の位置が移動すると、デコード後のフレームにおいてビデオの有効画枠の上側と下側のそれぞれに設定される黒色領域を足し合わせて得られる、垂直方向における画素数が２７６のaligned字幕領域用のスペースが確保される。
【０１９１】
色設定部７３は、ビデオの有効画枠外の画素の画素値として、黒色等の所定の色を示す値を設定する。これにより、図２５Ｄに示すように、ビデオの有効画枠の下側にaligned字幕領域が形成される。図２５Ｄに示すようなフレームの構成を有するBase view videoとDependent view videoのプレーンが選択部５４に出力される。
【０１９２】
図２６は、PG後処理部５６の構成例を示すブロック図である。
【０１９３】
図２６に示すように、PG後処理部５６は、配置位置決定部８１とオフセット適用部８２を含む。PGデコーダ５５から出力された字幕データはオフセット適用部８２に入力され、字幕ウインドウの位置を示すwindow_vertical_positionとwindow_horizontal_position等の情報は配置位置決定部８１に入力される。
【０１９４】
配置位置決定部８１は、入力された情報に基づいて、フレームにおける字幕ウインドウの位置を決定し、字幕ウインドウの位置を示す情報をオフセット適用部８２に出力する。
【０１９５】
オフセット適用部８２は、3D字幕方式で字幕を表示するとき、入力された字幕データに対して、STN_table_SS()のPG_textST_offset_id_refで参照させるオフセット値に応じて視差を設定し、Base viewとDependent viewの字幕データを生成する。
【０１９６】
また、オフセット適用部８２は、aligned字幕方式で3D字幕を表示するとき、入力された字幕データに対して、STN_table_SS()のAS_PG_textST_offset_id_refで参照させるオフセット値に応じて視差を設定し、Base viewとDependent viewの字幕のデータを生成する。
【０１９７】
オフセット適用部８２は、配置位置決定部８１により決定された位置に字幕ウインドウを設定し、Base viewのプレーンの字幕ウインドウ内にBase viewの字幕を配置してBase viewの字幕のプレーンを生成する。
【０１９８】
また、オフセット適用部８２は、Dependent viewのプレーンの字幕ウインドウ内にDependent viewの字幕を配置してDependent viewの字幕のプレーンを生成する。オフセット適用部８２は、生成したプレーンを選択部５７に出力する。
【０１９９】
［再生装置の動作］
図２７のフローチャートを参照して、再生装置１の字幕表示方式設定処理について説明する。
【０２００】
図２７の処理は、例えば、ユーザがリモートコントローラを操作して字幕表示方式に関するメニュー画面の表示に指示したときに開始される。
【０２０１】
ステップＳ１において、コントローラ３１は、表示装置３に、字幕表示方式に関するメニュー画面を表示する。メニュー画面の表示は、例えば、光ディスク２に記録されているIGストリームのデータに基づいて行われる。
【０２０２】
図２８は、画面表示の例を示す図である。
【０２０３】
図２８の左上に示す画面は、字幕表示方式に関するメニュー画面である。図２８の例においては、フレームの上側と下側に黒色領域が付加されたビデオと重ねられることによりメニュー画面が表示される。
【０２０４】
ユーザは、リモートコントローラ等を操作して、字幕のオン／オフ、表示する字幕の言語、字幕を表示するときの3D字幕のオン／オフを選択することができる。例えば、図２８におけるメニュー画面の左下の「off」（字幕off）が選択されたとき、矢印Ａ１の先で示すように、字幕の表示なしの状態で、ビデオが３次元表示される。
【０２０５】
図２７のステップＳ２において、コントローラ３１は、操作入力部３５から供給される信号に基づいて、表示する字幕の種類（言語）を選択する。
【０２０６】
ステップＳ３において、コントローラ３１は、再生対象として選択した字幕番号を示す情報をレジスタ３１Ａに収容する。例えば、図２８のメニュー画面において「日本語」が選択されたとき、「日本語」字幕の番号を示す情報がレジスタ３１Ａに収容される。レジスタ３１Ａに収容された情報により、再生対象の言語のPGストリームが特定される。
【０２０７】
ステップＳ４において、コントローラ３１は、操作入力部３５から供給される信号に基づいて、3D字幕のオン／オフを選択する。3D字幕のオン状態は、字幕の表示方式が3D字幕方式であることを示し、オフは、aligned字幕方式を示す。
【０２０８】
ステップＳ５において、コントローラ３１は、ステップＳ４での選択に応じて、字幕表示方式を示す情報をレジスタ３１Ａに収容する。字幕表示方式を示す情報がレジスタ３１Ａに収容された後、処理は終了する。
【０２０９】
例えば、図２８のメニュー画面において3D字幕のオン状態が選択されたとき、字幕表示方式が3D字幕方式であることを示す情報がレジスタ３１Ａに収容され、その後、矢印Ａ２の先で示すように、3D字幕方式で字幕が表示される。矢印Ａ２の先で示す画面においては、ビデオとともに、ビデオの有効画枠内に、「Subtitle」という文字の字幕が３次元表示されている。
【０２１０】
一方、図２８のメニュー画面において3D字幕のオフ状態が選択されたとき、字幕表示方式がaligned字幕方式であることを示す情報がレジスタ３１Ａに収容され、その後、矢印Ａ３の先で示すように、aligned字幕方式で字幕が表示される。矢印Ａ３の先で示す画面においては、ビデオの有効画枠の上側に形成されたaligned字幕領域に「Subtitle」という文字の字幕が３次元表示されている。
【０２１１】
次に、図２９のフローチャートを参照して、再生装置１の再生処理について説明する。
【０２１２】
図２９の処理は、例えば、図２８に示すようにメニュー画面から字幕表示方式の設定が行われた後に開始される。
【０２１３】
ステップＳ１１において、コントローラ３１は、コンテンツの再生に用いるPlayListファイルを選択する。
【０２１４】
ステップＳ１２において、コントローラ３１は、レジスタ３１Ａに収容しておいた再生対象として字幕番号を示す情報を読み出す。
【０２１５】
ステップＳ１３において、コントローラ３１は、レジスタ３１Ａに収容しておいた字幕表示方式を示す情報を読み出す。
【０２１６】
ステップＳ１４において、コントローラ３１は、ステップＳ１３の処理で読み出した情報に基づいて、字幕表示方式としてaligned字幕方式が設定されているか否かを判定する。
【０２１７】
aligned字幕方式が設定されているとステップＳ１４において判定したとき、ステップＳ１５において、コントローラ３１は、PlayListファイルから、字幕に関する情報を読み出す。字幕に関する情報として、例えば、STN_table_SS()に記述されている、現在選択されている言語の字幕に関するis_AS_PGの値が読み出される。
【０２１８】
ステップＳ１６において、コントローラ３１は、再生対象として現在選択されている字幕に、aligned字幕方式用のPGストリームが登録されているかどうかを判定した。上述したように、STN_table_SS()においてはPGストリーム毎にis_AS_PG等の情報が設定される。選択されている言語に関して、aligned字幕方式用のPGストリームが記録され、記録されない場合がある。
【０２１９】
次いで、is_AS_PGの値が１であり、aligned字幕方式用のPGストリームが登録されているとステップＳ１６において判定し、ステップＳ１７において、コントローラ３１はaligned字幕の再生処理を行う。aligned字幕の再生処理においては、ビデオが３次元表示される時に、字幕がaligned字幕方式で表示される。
【０２２０】
一方、is_AS_PGの値が０であり、aligned字幕方式用のPGストリームが登録されていないとステップＳ１６において判定したとき、ステップＳ１８において、コントローラ３１は字幕表示方式として通常方式を設定する。図２８の例においては、aligned字幕方式と3D字幕方式から選択することができるため、ここでは、字幕表示方式として3D字幕方式が設定される。
【０２２１】
ステップＳ１８において3D字幕方式が設定されたとき、または、ステップＳ１４においてaligned字幕方式が設定されていない、すなわち、3D字幕方式が設定されているとき、ステップＳ１９において通常字幕の再生処理が行われる。通常字幕の再生処理においては、3D字幕方式用のPGストリームが光ディスク２から読み出され、PGデコーダ５５によりデコードが行われる。また、PG後処理部５６により、Base viewの字幕データとDependent viewの字幕が生成され、ビデオとともに、ビデオの有効画枠内に字幕が３次元表示される。
【０２２２】
なお、ビデオの有効画枠内の下部に設定された領域（図１において点線で現す領域）に字幕を２次元表示する方式が用意されているとき、通常字幕の再生処理として、その方式で字幕の再生処理が行われるようにしてもよい。
【０２２３】
次に、図３０のフローチャートを参照して、図２９のステップＳ１７において行われるaligned字幕の再生処理について説明する。
【０２２４】
ステップＳ３１において、ビデオデータ生成処理が行われる。ビデオデータ生成処理により、所定の位置にaligned字幕領域が形成された構成を有するBase view videoのプレーンとDependent view videoのプレーン。
【０２２５】
ステップＳ３２において、字幕データ生成処理が行われる。字幕データ生成処理により、ビデオデータ生成処理により生成されたaligned字幕領域に対応する位置に字幕が配置されたBase viewの字幕のプレーンとDependent viewの字幕のプレーンが生成される。
【０２２６】
ステップＳ３３において、合成部５８は、Base view videoのプレーンとBase viewの字幕のプレーンを合成してBase viewのフレームを生成する。また、合成部５９は、Dependent view videoのプレーンとDependent viewの字幕のプレーンを合成してDependent viewのフレームを生成する。
【０２２７】
ステップＳ３４において、コントローラ３１は、Base viewのフレームとDependent viewのフレームを表示装置３に出力し、aligned字幕領域に字幕が表示される画面を表示する。
【０２２８】
次に、図３１のフローチャートを参照して、図３０のステップＳ３１において行われるビデオデータ生成処理について説明する。
【０２２９】
この処理は、図２９のステップＳ１１において選択されたPlayListファイルの記述に基づいてデコード対象のビデオストリームとaligned字幕方式用のPGストリームが光ディスク２から読み出され、それらのストリームが分離部５１により分離された後に開始される。分離部５１により分離されたビデオストリームはビデオデコーダ５２に供給され、aligned字幕方式用のPGストリームはPGデコーダ５５に供給される。
【０２３０】
ステップＳ４１において、ビデオデコーダ５２は、ビデオストリームをデコードし、デコードによって得られた画像データをビデオ後処理部５３に出力する。
【０２３１】
ステップＳ４２において、コントローラ３１は、ビデオの有効画枠の情報として、active_video_window()に記述されている情報をPlayListファイルから読み出す。コントローラ３１により読み出されたactive_video_window()に記述されている情報はビデオ後処理部５３に供給される。
【０２３２】
ステップＳ４３において、ビデオ後処理部５３の切り出し部７１（図２４）は、active_video_window()に含まれるtop_offsetとbottom_offsetに基づいてTopOffsetとBottomOffsetを求め、ビデオの有効画枠を切り出す。
【０２３３】
ステップＳ４４において、配置処理部７２は、active_video_window()に含まれるtop_align_flagとalign_offsetに基づいてビデオの有効画枠の配置位置を求め、求めた位置に有効画枠を配置する。
【０２３４】
ステップＳ４５において、色設定部７３は、配置した有効画枠外の画素の画素値として黒色等の所定の色を示す値を設定し、aligned字幕領域を生成する。
【０２３５】
aligned字幕領域が形成されたBase view videoとDependent view videoのプレーンは選択部５４に出力される。選択部５４においては、Base view videoのプレーンが合成部５８に出力され、Dependent view videoのプレーンが合成部５９に出力される。その後、上記処理は図３０のステップＳ３１に戻り、それ以降の処理が行われる。
【０２３６】
次に、図３２のフローチャートを参照して、図３０のステップＳ３２において行われる字幕データ生成処理について説明する。
【０２３７】
ステップＳ５１において、PGデコーダ５５は、aligned字幕方式用のPGストリームをデコードし、字幕データをPG後処理部５６のオフセット適用部８２に出力するとともに、字幕ウインドウの位置を示す情報を配置位置決定部８１に出力する。
【０２３８】
ステップＳ５２において、配置位置決定部８１は、PGデコーダ５５から供給された情報に基づいて、フレームにおける字幕ウインドウの位置を決定した。
【０２３９】
ステップＳ５３において、オフセット適用部８２は、字幕データに対して、STN_table_SS()のAS_PG_textST_offset_id_refで参照させるオフセット値に応じて視差を設定し、Base viewとDependent viewの字幕データを生成する。オフセット適用部８２は、配置位置決定部８１により決定された位置に字幕ウインドウを配置し、字幕ウインドウ内に字幕を配置して、Base viewとDependent viewの字幕のプレーンを生成する。
【０２４０】
オフセット適用部８２により生成されたBase viewとDependent viewの字幕のプレーンは選択部５７に出力される。選択部５７においては、Base viewの字幕のプレーンが合成部５８に出力され、Dependent viewの字幕のプレーンが合成部５９に出力される。その後、上記処理は図３０のステップＳ３２に戻り、それ以降の処理が行われる。
【０２４１】
以上の処理により、字幕の表示領域として十分な領域を確保することができ、ユーザにとって見やすい字幕表示を実現することができる。
【０２４２】
［フリップ機能について］
図３３は、フリップ機能によって実現されるフレーム構成の変更例を示す図である。
【０２４３】
上述したように、フリップ機能は、active_video_window()に含まれる情報に基づいて形成されたaligned字幕領域の位置を、ユーザの選択に応じて移動する。
【０２４４】
図３３の左側は、top_align_flagの値が１であり、かつalign_offset=34であるときのフレームを示す。図３３の左側に示すフレームの構成は、図２１Ａを参照して説明した構成と同じ構成であり、フレームの下側にaligned字幕領域が形成されている。
【０２４５】
図２１Ａを参照して説明したように、図３３の左側に示す1920×1080画素を有するフレームのAlignOffsetは68であり、ビデオの有効画枠の垂直方向における画素数は804であり、aligned字幕領域の垂直方向における画素数は208である。また、ビデオの有効画枠の左下端における１画素の位置は(x,y)=(0,871)で表される。
【０２４６】
図３３の左側に示すフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,891)で表され、字幕ウインドウの垂直方向における画素数は168である。ビデオの有効画枠の下端と字幕ウインドウの上端の垂直方向における差は20画素（891-871画素）になる。なお、字幕ウインドウの位置は、PGストリームに含まれるwindow_vertical_positionとwindow_horizontal_position等の情報により決定される。PGストリームには、字幕ウインドウの垂直方向における画素数を示す情報も含まれている。
【０２４７】
この場合において、aligned字幕領域をフレームの上側で移動することが指示された場合、白反転矢印の先で示すように、aligned字幕領域がフレームの上側に形成されるようにフレーム構成が変更される。すなわち、各領域の大きさを維持しながら、ビデオの有効画枠の上側にaligned字幕領域が配置され、有効画枠の下側に黒色領域が配置される。
【０２４８】
図３３の右側に示すように、aligned字幕領域の移動後のフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,20)で表される。
【０２４９】
図３４は、フレーム構成の他の変更例を示す図である。
【０２５０】
図３４の左側は、top_align_flagの値が０であり、かつalign_offset=34であるときのフレームを示す。図３４の左側に示すフレームの構成は、図２１Ｂを参照して説明した構成と同じ構成であり、フレームの上側にaligned字幕領域が形成されている。
【０２５１】
図２１Ｂを参照して説明したように、図３４の左側に示すフレームのAlignOffsetは208、ビデオの有効画枠の垂直方向における画素数は804、aligned字幕領域の垂直方向における画素数は68である。
【０２５２】
図３４の左側に示すフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,20)で表され、字幕ウインドウの垂直方向における画素数は168である。
【０２５３】
この場合において、aligned字幕領域をフレームの下側で移動することが指示された場合、白反転矢印の先で示すように、aligned字幕領域がフレームの下側に形成されるようにフレーム構成が変更される。すなわち、各領域の大きさを維持しながら、ビデオの有効画枠の下側にaligned字幕領域が配置され、有効画枠の上側に黒色領域が配置される。
【０２５４】
図３４の右側に示すように、aligned字幕領域の移動後のフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,891)で表される。
【０２５５】
ビデオの有効画枠の位置がビデオ後処理部５３の配置処理部７２により再配置され、色設定部７３が再配置された有効画枠外の画素における所定の画素値を設定し、それによって、このような各領域の位置変更が行われる。
【０２５６】
フリップ機能を利用して、ユーザはaligned字幕領域の位置を好みに応じて変更することができる。再生装置１は、aligned字幕領域の位置を変更させたときでも、aligned字幕領域内における字幕ウインドウと有効画枠の間の距離を維持し、字幕が有効画枠から離れない場合がある。
【０２５７】
図３５は、aligned字幕領域の位置の選択に用いられるメニュー画面の例を示す図である。
【０２５８】
図３５の左側に示すメニュー画面においては、aligned字幕領域の位置をフレームの上側(top)にするか、フレームの下側(bottom)にするかを選択することができる。例えば、active_video_window()に含まれる情報に基づいて配置されるaligned字幕領域の位置およびその反対の位置が選択されたとき、フリップ機能によってaligned字幕領域が移動される。
【０２５９】
図３６は、図１８のactive_video_window()に含まれるfixed_subtitle_window_0およびfixed_subtitle_window_1について説明する図である。
【０２６０】
上述したように、人物の会話内容の字幕を表示する字幕ウインドウと、強制字幕を表示する字幕ウインドウを設定することが可能である。また、強制字幕を表示する字幕ウインドウについては、ビデオの有効画枠内に配置することが可能である。各字幕ウインドウの配置位置が、PGストリームに含まれる情報により指定される。
【０２６１】
フリップ機能によってフレーム構成が変更したときでも、強制字幕を表示する字幕ウインドウをオーサーが意図する位置に配置するために、fixed_subtitle_window_0およびfixed_subtitle_window_1が用いられる。
【０２６２】
fixed_subtitle_window_0は、フリップ機能によってビデオの有効画枠の位置が移動したときでも、ビデオの有効画枠の位置とID=0で識別される字幕ウインドウ#0の位置の関係を維持すべきかどうかを示す。例えば、fixed_subtitle_window_0の値が１であることは、ビデオの有効画枠の位置と字幕ウインドウ#0の位置の関係を維持すべきであることを示し、fixed_subtitle_window_0の値が０であることは、ビデオの有効画枠の位置と字幕ウインドウ#0の位置の関係を維持すべきでないことを示す。
【０２６３】
同様に、fixed_subtitle_window_1は、フリップ機能によってビデオの有効画枠の位置が移動したときでも、有効画枠の位置とID=1で識別される字幕ウインドウ#1の位置の関係を維持させるべきかどうかを示す。例えば、fixed_subtitle_window_1の値が１であることは、ビデオの有効画枠の位置と字幕ウインドウ#1の位置の関係を維持すべきであることを示し、fixed_subtitle_window_1の値が０であることは、ビデオの有効画枠の位置と字幕ウインドウ#1の位置の関係を維持すべきでないことを示す。
【０２６４】
図３６の左側に示すフレームにおいては、フレームの上側にaligned字幕領域が配置されている。また、ID=0で識別される字幕ウインドウ#0がaligned字幕領域に配置され、字幕ウインドウ#0に「ABCD」というアルファベットを含む字幕が表示されている。字幕ウインドウ#0のfixed_subtitle_window_0の値は０である。
【０２６５】
また、図３６の左側に示すフレームにおいては、ID=1で識別される字幕ウインドウ#1がビデオの有効画枠内に配置され、字幕ウインドウ#1に「****」という字幕が表示されている。字幕ウインドウ#1のfixed_subtitle_window_1の値は１である。字幕ウインドウ#1の左上端の画素は、ビデオの有効画枠の左上端における画素を基準として水平方向にｘ画素、垂直方向にｙ画素だけ離れた位置にある。
【０２６６】
この場合において、aligned字幕領域をフレームの下側で移動することが指示されたとき、図３６の右側に示すようにフレーム構成が変更される。フレーム構成の変更に従って、字幕ウインドウ#0は移動後のaligned字幕領域に配置される。
【０２６７】
字幕ウインドウ#0のfixed_subtitle_window_0の値は０であるから、フリップ機能によってaligned字幕領域の位置が移動する前後で、ビデオの有効画枠の位置と字幕ウインドウ#0の位置の関係は維持されない。
【０２６８】
一方、fixed_subtitle_window_1の値は１であるから、字幕ウインドウ#1は、ビデオの有効画枠の位置との位置関係を維持するようにして配置される。
【０２６９】
図３６の右側に示すフレームにおいて、字幕ウインドウ#1の左上端の画素は、ビデオの有効画枠の左上端における画素を基準として水平方向にｘ画素、垂直方向にｙ画素だけ離れた位置にある。aligned字幕領域の位置が移動する前後で、ビデオの有効画枠の位置と字幕ウインドウ#1の位置の関係は変化しない。
【０２７０】
従って、フリップ機能によってビデオの有効画枠の位置が移動したときでも、強制字幕を表示する字幕ウインドウは、オーサーが意図する位置に配置され得る。
【０２７１】
なお、図１９のflipped_AS_PG_textST_offset_id_refは、フリップ機能によってaligned字幕領域の位置を移動した場合において、移動後のaligned字幕領域に3D字幕を表示するときに用いるオフセット値の参照先を示す。図１９の例においては、active_video_window()について、１つのflipped_AS_PG_textST_offset_id_refを参照することが可能であるが、PGストリーム毎に、異なるflipped_AS_PG_textST_offset_id_refを参照するシンタクスが採用可能であり得る。
【０２７２】
移動前のaligned字幕領域に3D字幕を表示するときに用いるオフセット値はSTN_table_SS()のAS_PG_textST_offset_id_ref（図１８）によって参照されるが、移動後のaligned字幕領域に3D字幕を表示するときに用いるオフセット値は、異なるflipped_AS_PG_textST_offset_id_refによって参照される。
【０２７３】
従って、移動前のaligned字幕領域の字幕と、フリップ機能による移動後のaligned字幕領域の字幕を、異なるオフセット値を用いることにより３次元表示することができる。オフセット値を変えることができるため、オーサーは、移動前のaligned字幕領域の字幕と移動後のaligned字幕領域の字幕とで視聴者が感じる空間効果に変化をつけることができる。
【０２７４】
［シンタクスの変更例］
aligned字幕方式用のPGストリームとして、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームと、下側に配置したaligned字幕領域に表示する字幕のPGストリームを、それぞれ光ディスク２に記録することができる。
【０２７５】
図３７は、STN_table_SS()のシンタクスの他の例を示す図である。
【０２７６】
図３７のSTN_table_SS()には、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームと、下側に配置したaligned字幕領域に表示する字幕のPGストリームに関する記述が含まれる。
【０２７７】
is_top_AS_PG_TextSTは、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されているかどうかを示す。例えば、is_top_AS_PG_TextSTの値が１であることは、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていることを示し、is_top_AS_PG_TextSTの値が０であることは、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていないことを示す。
【０２７８】
is_bottom_AS_PG_TextSTは、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されているかどうかを示す。例えば、is_bottom_AS_PG_TextSTの値が１であることは、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていることを示し、is_bottom_AS_PG_TextSTの値が０であることは、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていないことを示す。
【０２７９】
is_top_AS_PG_TextSTの値が１であるときに記述されるstream_entry()には、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームのデータを収容するパケットのPIDが含まれる。また、stream_attribute()には、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームの属性情報が含まれる。top_AS_PG_textST_offset_sequence_id_refは、フレームの上側に配置したaligned字幕領域に字幕を３次元表示するときに用いるオフセット値の参照先を示す。
【０２８０】
is_bottom_AS_PG_TextSTの値が１であるときに記述されるstream_entry()には、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームのデータを収容するパケットのPIDが含まれる。また、stream_attribute()には、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームの属性情報が含まれる。bottom_AS_PG_textST_offset_sequence_id_refは、フレームの下側に配置したaligned字幕領域に字幕を３次元表示するときに用いるオフセット値の参照先を示す。
【０２８１】
図３７のSTN_table_SS()を用いた処理を説明する。上記と重複する説明は適宜省略する。
【０２８２】
以下、フレームの上側に配置されたaligned字幕領域に表示される字幕のPGストリームを、適宜、上側aligned字幕用PGストリームと呼び、フレームの下側に配置されたaligned字幕領域に表示される字幕のPGストリームを、適宜、下側aligned字幕用PGストリームと呼ぶ。
【０２８３】
図３７のSTN_table_SS()を用いて図２９の再生処理を行うとき、STN_table_SS()に記述された、現在選択されている言語の字幕のis_top_AS_PG_TextSTおよびis_bottom_AS_PG_TextSTの値がステップＳ１５で読み出される。
【０２８４】
さらに、ステップＳ１６において、aligned字幕方式用のPGストリームが再生対象として現在選択されている字幕に登録されているか否かを判定する。
【０２８５】
次いで、is_top_AS_PG_TextSTまたはis_bottom_AS_PG_TextStの値が１であり、aligned字幕方式用のPGストリームが登録されているとステップＳ１６において判定し、ステップＳ１７において、aligned字幕の再生処理が行われる。aligned字幕の再生処理では、ビデオが３次元表示される時に、字幕がaligned字幕方式で表示される。
【０２８６】
例えば、上側aligned字幕用PGストリームおよび下側aligned字幕用PGストリームの両方が光ディスク２に記録されているとき(is_top_AS_PG_TextSTおよびis_bottom_AS_PG_TextSTの値が１であるとき)、ユーザが選択したPGストリームが再生される。
【０２８７】
上側aligned字幕用PGストリームを対象とする図３２の字幕データ生成処理のステップＳ５３では、PGストリームをデコードして得られる字幕データについてtop_AS_PG_textST_offset_sequence_id_refで参照されるオフセット値に応じて視差が設定される。
【０２８８】
また、下側aligned字幕用PGストリームを対象とする図３２の字幕データ生成処理のステップＳ５３では、PGストリームをデコードして得られる字幕データについてbottom_AS_PG_textST_offset_sequence_id_refで参照されるオフセット値に応じて視差が設定される。
【０２８９】
従って、コンテンツのオーサーは、ビデオコンテンツに応じて、上側aligned字幕用PGストリームおよび下側aligned字幕用PGストリームを用意することができる。また、異なる値をオフセット値として設定できるため、コンテンツのオーサーは、フレームの上側に配置されたaligned字幕領域に表示する字幕と、フレームの下側に配置されたaligned字幕領域に表示する字幕の３次元効果を変更することができる。
【０２９０】
図３８は、active_video_window()の他のシンタックスの例を示す図である。
【０２９１】
図３８のactive_video_window()は、図３７のSTN_table_SS()に含まれるis_top_AS_PG_TestSTまたはis_bottom_AS_PG_TestSTのいずれかの値が１のときに記述され、aligned字幕方式用PGストリームが記録される。
【０２９２】
図３８の例には、図１９を参照して説明したtop_align_flagは含まれていない。また、align_offsetの代わりに、top_align_offsetおよびbottom_align_offsetが含まれる。
【０２９３】
top_offsetは、フレームの上側に形成された黒枠領域の幅（垂直方向における画素数）を２画素単位で表すことにより得られる値である。top_offsetの値が、例えば、69であることは、フレームの上側に形成された黒枠領域の幅が138画素であることを示す。top_offsetは、ビデオの有効画枠の垂直方向において最上部の画素の位置を求めるために用いられる。
【０２９４】
以下、フレーム内の位置については、フレームの左上端における１画素の位置を(x,y)=(0,0)、すなわち、フレームの上から１行目の垂直方向における画素の位置を０、フレームの左から１列目の水平方向における画素の位置を０として、画素数を用いて示す。
【０２９５】
ビデオの有効画枠の垂直方向における最上部の画素の位置であるTopOffsetは、top_offsetの値を用いて、下式（８）により求められる。
TopOffset = 2 * top_offset ．．． （８）
【０２９６】
top_offsetは、下式（９）により示される範囲の値をとる。
．．． （９）
【０２９７】
式（９）のFrameHeightは、フレーム全体の垂直方向における画素数を示し、下式（１０）により得られる。式（１０）のPic_height_in_map_units_minus1、frame_mbs_only_flag、frame_crop_top_offset、およびframe_crop_bottom_offsetは全て、MVCで符号化したビデオストリームに含まれるパラメータである。
FrameHeight = 16 * (pic_height_in_map_units_minus1 + 1) * (2 - frame_mbs_only_flag) - 2 * (2 - frame_mbs_only_flag) * (frame_crop_top_offset+frame_crop_bottom_offset) ．．． （１０）
【０２９８】
bottom_offsetは、フレームの下側に形成された黒枠領域の幅（垂直方向における画素数）を２画素単位で表すことにより得られる値である。bottom_offsetの値が、例えば、69であることは、フレームの下側に形成された黒枠領域の幅が138画素であることを示す。bottom_offsetは、ビデオの有効画枠の垂直方向における最下部の画素の位置を求めるために用いられる。
【０２９９】
ビデオの有効画枠の垂直方向において最下部の画素の位置であるBottomOffsetは、bottom_offsetの値を用いて、下式（１１）により求められる。
BottomOffset ＝ FrameHeight − ．．． （１１）
【０３００】
top_align_offsetは、フレームの上側左端を原点(0,0)として、再配置されるビデオの有効画枠の垂直方向における上側左端の画素の位置を２画素単位で表すことにより得られる値である。top_align_offsetは、is_top_AS_PG_TextSTの値が１であり、かつ上側aligned字幕用PGストリームを再生して字幕を表示するときのビデオの有効画枠の再配置位置を得るために用いられる。
【０３０１】
top_align_offsetは、下式（１２）により示される範囲の値をとる。
．．． （１２）
【０３０２】
再配置されたビデオの達成画枠の垂直方向における最上部の画素の位置であるAlignOffsetは、top_align_offsetの値を用いて、下式（１３）により得られる。
AlignOffset ＝ 2＊ top_align_offset ．．． （１３）
【０３０３】
図３９Ａは、top_align_offsetの値を用いて得られるAlignOffsetの例を示す図である。
【０３０４】
図３９Ａに示すようにtop_align_offset=104のとき、1920×1080画素のフレームについては、AlginOffsetは208となる。ビデオの有効画枠の上側左端における１画素の位置は、(x,y)=(0,208)で表される。
【０３０５】
図３９Ａおよび図３９Ｂの例では、デコーディング直後のフレームの上側と下側の黒枠領域の幅は、図２０を参照して説明したように、138である。top_offsetおよびbottom_offsetの値は69である。
【０３０６】
図３８の説明に戻って、bottom_align_offsetは、フレームの上側左端を原点(0,0)として、再配置されるビデオの有効画枠の垂直方向における上側左端の画素の位置を２画素単位で表すことにより得られる値である。bottom_align_offsetは、is_bottom_AS_PG_TextSTの値が１であり、かつ下側aligned字幕用PGストリームを再生して字幕を表示するときに、ビデオの有効画枠の再配置の位置を得るために用いられる。
【０３０７】
bottom_align_offsetは、下式（１４）により示される範囲の値をとる。
．．． （１４）
【０３０８】
再配置されたビデオの達成画枠の垂直方向における最下部の画素の位置であるAlignOffsetは、bottom_align_offsetの値を用いて、下式（１５）により得られる。
AlignOffset = 2 * bottom_align_offset ．．． （１５）
【０３０９】
図３９Ｂは、bottom_align_offsetを用いて得られるAlignOffsetの例を示す図である。
【０３１０】
図３９Ｂに示すようにbottom_align_offset=34のとき、1920×1080画素のフレームについては、AlginOffsetは68となる。ビデオの有効画枠の上側左端における１画素の位置は、(x,y)=(0,68)で表される。
【０３１１】
図３８のactive_video_window()を用いた処理を説明する。上記と重複する説明は適宜省略する。
【０３１２】
図３１のビデオデータ生成処理が図３８のactive_video_window()を用いて行われるとき、ステップＳ４２において、active_video_window()に記述された情報がPlayListファイルから読み出される。
【０３１３】
ステップＳ４３において、top_offsetおよびbottom_offsetに基づいて、TopOffsetおよびBottomOffsetを得るとともに、ビデオの有効画枠を切り取る。
【０３１４】
ステップＳ４４において、ビデオの有効画枠の配置位置を得るとともに、得られた位置に有効画枠を配置する。
【０３１５】
例えば、is_top_AS_PG_TextSTの値が１であり、かつ上側aligned字幕用PGストリームを再生して字幕を表示するとき、上記配置位置は、図３９Ａを参照して説明したように、top_align_offsetを用いて得られる。
【０３１６】
一方、is_bottom_AS_PG_TextSTの値が１であり、かつ下上側aligned字幕用PGストリームを再生して字幕を表示するとき、上記配置位置は、図３９Ｂを参照して説明したように、bottom_align_offsetを用いて得られる。
【０３１７】
その後、上側aligned字幕用PGストリームおよび下側aligned字幕用PGストリームをデコードし、aligned字幕領域に字幕を表示する。
【０３１８】
［情報処理装置の構成と動作］
図４０は、情報処理装置１０１の構成例を示すブロック図である。
【０３１９】
情報処理装置１０１において、再生装置１により再生されるコンテンツが生成され、BD等の記録媒体に記録される。情報処理装置１０１によりコンテンツが記録される記録媒体は、光ディスク２として再生装置１に提供される。
【０３２０】
図４０に示すように、情報処理装置１０１は、ビデオエンコーダ１１１、PGエンコーダ１１２、PlayList生成部１１３、多重化部１１４、および記録部１１５から構成される。
【０３２１】
ビデオエンコーダ１１１は、図３のMVCエンコーダと同様の構成を有する。ビデオエンコーダ１１１は、入力されたビデオデータをMVC方式で符号化し、Base view videoのストリームとDependent view videoのストリームを多重化部１１４に出力する。
【０３２２】
PGエンコーダ１１２は、入力された字幕のデータを符号化し、3D字幕方式用のPGストリームとaligned字幕方式用のPGストリームを多重化部１１４に出力する。
【０３２３】
PlayList生成部１１３は、上述した情報を含むPlayListファイルを生成し、多重化部１１４に出力する。
【０３２４】
多重化部１１４は、ビデオエンコーダ１１１から供給されたBase view videoのストリーム、Dependent view videoのストリーム、およびPGエンコーダ１１２から供給されたPGストリームを多重化し、TSを記録部１１５に出力する。
【０３２５】
記録部１１５は、多重化部１１４から供給されたTSとPlayList生成部１１３により生成されたPlayListファイルを含むコンテンツを生成し、コンテンツのデータをBD等の記録媒体に記録する。
【０３２６】
図４１のフローチャートを参照して、情報処理装置１０１の記録処理について説明する。
【０３２７】
ステップＳ１０１において、ビデオエンコーダ１１１は、入力されたビデオデータをMVC方式で符号化し、Base view videoのストリームとDependent view videoのストリームを生成する。
【０３２８】
ステップＳ１０２において、PGエンコーダ１１２は、入力された字幕のデータを符号化し、3D字幕方式用のPGストリームとaligned字幕方式用のPGストリームを生成する。
【０３２９】
ステップＳ１０３において、PlayList生成部１１３はPlayListファイルを生成する。
【０３３０】
ステップＳ１０４において、多重化部１１４は、ビデオエンコーダ１１１により生成されたBase view videoのストリーム、Dependent view videoのストリーム、およびPGエンコーダ112により生成されたPGストリームを多重化し、TSを生成する。
【０３３１】
ステップＳ１０５において、記録部１１５は、多重化部１１４により生成されたTSおよびPlayList生成部１１３により生成されたPlayListファイルをBD等の記録媒体に記録し、処理を終了する。
【０３３２】
［変形例］
以上においては、有効画枠内に表示されるビデオがBase viewとDependent viewのビデオである場合について説明したが、表示順で配置された２つのフレームの画像間に視差が生じない2D画像を表示することが可能であってもよい。BD等の記録媒体に記録されるコンテンツが、2D画像データを含む2Dコンテンツであるときでも、上述した3Dコンテンツの場合と同様に、再生装置において、PlayListの記述に基づいて有効画枠を切り出し、位置をずらして形成したaligned字幕領域に字幕を表示することが可能であってもよい。
【０３３３】
［active_video_window()の位置］
上記では、図１９および図３７を参照して説明したactive_video_window()はPlayListに記述されるが、他の位置に記述してもよい。
【０３３４】
例えば、Base view videoストリームおよびDependent view videoストリームを同じTSとして、またはそれぞれ異なるTSとして多重化した後、放送波および放送網を介して送信することが考えられる。
【０３３５】
この場合、active_video_window()は、例えば、送信制御情報であるProgram Specific Information(PSI)、Base view videoストリーム、またはDependent view videoストリーム（エレメンタリーストリーム）に記述される。
【０３３６】
図４２は、active_video_window()がPSIに含まれるProgram Map Table(PMT)に記述される例を示す図である。
【０３３７】
図４２に示すように、active_video_window()を記述する記述子を新たに定義し、定義した記述子にactive_video_window()を記述してもよい。図４２の例では、図３７のactive_video_window()が記述される。また、例えば、65がdescriptor_tagの値として与えられる。
【０３３８】
この場合、図４３の情報処理装置１０１の情報生成部１２１は、active_video_window()が記述されたPMTを生成し、出力する。図４３に示す構成では、図４０と同じ構成は、同じ参照番号とともに与えられる。図４３の例では、図４０のPlayList生成部１１３の代わりに、情報生成部１２１が設けられる。
【０３３９】
情報生成部１２１から出力されたPMTは、多重化部１１４によりBase view videoストリームおよびDependent view videoストリームと多重化される。多重化により得られたTSは、放送波および放送網を介して送信される。
【０３４０】
TSを受信した再生装置では、PMTに記述されたactive_video_window()に基づいて、上記のように字幕を表示する。
【０３４１】
active_video_window()は、Selection Information Table(SIT)等、PMT以外の他の箇所に記述してもよい。
【０３４２】
図４４は、active_video_window()がエレメンタリーストリームに記述された例を示す図である。
【０３４３】
図４４に示すように、active_video_window()は、SEIに記述することができる。SEIは、Base view videoストリームおよびDependent view videoストリームを構成する各ピクチャのデータに付加される付加情報である。active_video_window()を含むSEIは、Base view videoストリームおよびDependent view videoストリームの少なくともいずれか一方のストリームの各ピクチャに付加される。
【０３４４】
図４５は、Access Unitの構成を示す図である。
【０３４５】
図４５に示すように、Base view videoストリームの１つのピクチャのデータを含むBase view videoのAccess Unitは、Dependent view videoストリームの１つのピクチャのデータを含むDependent view videoのAccess Unitと同じ構成を有する。１つのAccess Unitは、Access Unitの先頭を示すAUデリミタ、SPS、PPS、SEI、およびピクチャデータで構成される。
【０３４６】
この場合、図４３の情報処理装置１０１の情報生成部１２１は、active_video_window()が記述されたSEIを生成し、バス（図示せず）を介してSEIをビデオエンコーダ１１１に出力する。ビデオエンコーダ１１１では、H.264 AVC/MVCの規格に従ってL画像データおよびR画像データを符号化して得られるBase view videoおよびDependent view videoの各ピクチャのデータにＳＥＩが付加される。
【０３４７】
active_video_window()が記述されたＳＥＩとともに付加したピクチャのデータを含む、Base view videoストリームおよびDependent view videoストリームは、多重化された後、放送波または放送網を介して送信されるか、または記録媒体に記録される。
【０３４８】
SEIが読み出される再生装置では、SEIに記述されたactive_video_window()の値に基づいて、上記のように字幕が表示される。
【０３４９】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアおよびソフトウェアにより実行することができる。一連の処理をソフトウェアにより実行するとき、そのソフトウェアを構成するプログラムが、専用のハードウェアを組み込んだコンピュータおよび汎用のパーソナルコンピュータに、プログラム記録媒体からインストールされる。
【０３５０】
図４６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３５１】
中央処理装置(CPU)１５１、読取り専用記憶装置(ROM)１５２、ランダムアクセス記憶装置(RAM)１５３は、バス１５４により相互に接続される。
【０３５２】
バス１５４には、さらに、入出力インタフェース１５５が接続されている。入出力インタフェース１５５は、キーボードまたはマウス等を含む入力部１５６、ならびにディスプレイまたはスピーカ等を含む出力部１５７に接続される。また、入出力インタフェース１５５は、ハードディスクまたは不揮発性メモリ等を含む記憶部１５８、ネットワークインタフェース等を含む通信部１５９、ならびにリムーバブルメディア１６１を駆動するドライブ１６０に接続される。
【０３５３】
以上のように構成されるコンピュータでは、CPU１５１が、例えば、記憶部１５８に記憶されているプログラムを、入出力インタフェース１５５およびバス１５４を介してRAM１５３にロードして実行するように、上述した一連の処理が行われる。
【０３５４】
CPU１５１が実行するプログラムは、例えば、リムーバブルメディア１６１に記録されるか、またはローカルエリアネットワーク、インターネット、もしくはデジタル放送等の有線もしくは無線の伝送媒体を介して提供され、記憶部１５８にインストールされる。
【０３５５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理を行うプログラムおよび／または呼び出しが行われた必要なタイミングで処理が行われるプログラムであってもよい。
【０３５６】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０３５７】
設計要件および他の要因に応じて、各種変更、組み合わせ、副次的組み合わせ、および改変が添付の請求項またはその等価物の範囲内で行われ得ることを当業者は理解する。
【符号の説明】
【０３５８】
１ 再生装置， ２ 記録媒体， ３ 表示装置， ３１ コントローラ， ３２ ディスクドライブ， ３３ メモリ， ３４ デコード部， ３５ 操作入力部， ５１ 分離部， ５２ ビデオデコーダ， ５３ ビデオ後処理部， ５４ 選択部， ５５ PGデコーダ， ５６ PG後処理部， ５７ 選択部， ５８，５９ 合成部， ７１ 切り出し部， ７２ 配置処理部， ７３ 色設定部， ８１ 配置位置決定部， ８２ オフセット適用部
【技術分野】
【０００１】
本技術は、再生装置、記録媒体、および情報処理方法に関し、特に、字幕の表示領域として十分な領域を確保することができるようにした再生装置、記録媒体、および情報処理方法に関する。
【背景技術】
【０００２】
近年、液晶ディスプレイ(LCD:liquid crystal display)等のディスプレイの画素数やフレームレートの向上に伴い実現される画像表示方式として３次元(3D:3-dimensional)表示方式がある。3D表示方式によれば、視聴者は被写体を３次元的に認識することができる。
【０００３】
将来的には、このような３次元的に認識可能なビデオデータを含む映画等の3Dコンテンツを記録したBD-ROM等のBlu-Ray（商標）Disc(BD)が流通するようになることも考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４７９８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
BD等に記録された3Dコンテンツを再生して3D画像を表示するとき、字幕をどこにどのように表示するかという問題がある。
【０００６】
図１は、アスペクト比が16:9の表示装置に、垂直方向よりも水平方向が長く、16:9よりも大きなアスペクト比を有する、シネマスコープサイズ等の画像を表示したときの画面構成を示す図である。
【０００７】
図１に示すように、映画等のコンテンツの画像はいわゆるレターボックス形式で表示され、画面の上側および下側に黒枠領域が形成される。2Dの字幕は、通常、点線で示すように、ビデオ表示領域の中央下側に形成された字幕領域に表示される。
【０００８】
3Dコンテンツに含まれる画像が、垂直方向よりも水平方向が長く、16:9よりも大きなアスペクト比で符号化されているとき、BDプレーヤ等で再生した3Dコンテンツの画像は、16:9のアスペクト比を有するテレビジョン受像機の画面上には図１に示すように表示される。
【０００９】
この場合において、例えば、通常の2Dコンテンツと同じように3Dコンテンツを表示したビデオ表示領域に２次元の字幕を表示したとき、字幕は３次元表示された被写体と重なってしまい、読みにくくなる可能性がある。また、字幕をも３次元表示したとき、視差により、画像を見ているうちに疲れてしまう可能性がある。
【００１０】
さらに、黒枠領域に字幕を表示するとき、一度に字幕を複数行に示すと同時に、当該字幕の各文字を読解可能な大きさで表示しようとしたときには表示領域が不足してしまう可能性がある。
【００１１】
本発明はこのような問題を考慮しており、字幕の表示領域として十分な領域を確保することが望ましい。
【課題を解決するための手段】
【００１２】
本技術の再生装置は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルと、を記録媒体から読み出す読み出し部と、前記基本ストリームおよび前記拡張ストリームを復号する第１の復号部と、前記字幕ストリームを復号する第２の復号部と、前記第１のオフセット値を用いて前記有効画枠の上端の位置を求めるとともに、前記第２のオフセット値を用いて前記有効画枠の下端の位置を求め、前記基本ストリームおよび前記拡張ストリームを復号して得られた前記フレームから、前記左目用の画像と前記右目用の画像の前記有効画枠を切り出す切り出し部と、前記第３の領域が前記有効画枠の下に形成されるように、前記第３のオフセット値を用いて求められた位置に、前記左目用の画像と前記右目用の画像の前記有効画枠を配置する配置処理部と、前記フレーム内の領域のうち、前記配置処理部により配置された前記有効画枠外の領域に所定の色を設定する設定部と、前記第２の復号部により復号された前記字幕にオフセットを設定し、左目用の字幕と右目用の字幕を生成する生成部と、前記有効画枠外の領域に前記所定の色が設定された前記左目用の画像と、前記左目用の字幕を合成する第１の合成部と、前記有効画枠外の領域に前記所定の色が設定された前記右目用の画像と、前記右目用の字幕を合成する第２の合成部とを備える。
【００１３】
前記生成部には、前記オフセットの値を、H.264 AVC/MVCのビデオストリームから取得させることができる。
【００１４】
本技術の記録媒体は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルとを含む情報を記録した記録媒体である。
【００１５】
本技術の情報処理方法は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化し、上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化し、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルを生成し、前記左目用の画像と前記右目用の画像を符号化して得られる基本ストリームおよび拡張ストリームと、前記字幕ストリームと、前記プレイリストファイルとを記録媒体に記録させるステップを含む。
【発明の効果】
【００１６】
本技術によれば、字幕の表示領域として十分な領域を確保することができる。
【図面の簡単な説明】
【００１７】
【図１】関連技術におけるフレーム構成の例を示すブロック図である。
【図２】本発明の一実施形態に係る再生装置を含む再生システムの構成例を示す図である。
【図３】MVCエンコーダの構成例を示すブロック図である。
【図４】画像が参照される例を示す図である。
【図５】TSの構成例を示す図である。
【図６】ビデオストリームをデコードして得られるフレームの構成を示す図である。
【図７Ａ】領域の切り出しの例を示す図である。
【図７Ｂ】領域の切り出しの例を示す図である。
【図８Ａ】aligned字幕方式で字幕を表示するときのフレーム構成を示す図である。
【図８Ｂ】aligned字幕方式で字幕を表示するときのフレーム構成を示す図である。
【図９】AVストリームの管理構造の例を示す図である。
【図１０】Main PathとSub Pathの構造を示す図である。
【図１１】光ディスクに記録されるファイルの管理構造の例を示す図である。
【図１２】PlayListファイルのシンタクスを示す図である。
【図１３】PlayList（）のシンタクスを示す図である。
【図１４】SubPath（）のシンタクスを示す図である。
【図１５】SubPlayItem（i）のシンタクスを示す図である。
【図１６】PlayItem（）のシンタクスを示す図である。
【図１７】STN_table（）のシンタクスを示す図である。
【図１８】STN_table_SS（）のシンタクスの例を示す図である。
【図１９】active_video_window（）のシンタクスの例を示す図である。
【図２０】TopOffsetとBottomOffsetの例を示す図である。
【図２１Ａ】AlignOffsetの例を示す図である。
【図２１Ｂ】AlignOffsetの例を示す図である。
【図２２】再生装置の構成例を示すブロック図である。
【図２３】デコード部の構成例を示す図である。
【図２４】ビデオ後処理部の構成例を示すブロック図である。
【図２５Ａ】ビデオ後処理部による処理結果の例を示す図である。
【図２５Ｂ】ビデオ後処理部による処理結果の例を示す図である。
【図２５Ｃ】ビデオ後処理部による処理結果の例を示す図である。
【図２５Ｄ】ビデオ後処理部による処理結果の例を示す図である。
【図２６】PG後処理部の構成例を示すブロック図である。
【図２７】再生装置の字幕表示方式設定処理について説明するフローチャートである。
【図２８】画面表示の例を示す図である。
【図２９】再生装置の再生処理について説明するフローチャートである。
【図３０】図２９のステップＳ１７において行われるaligned字幕再生処理について説明するフローチャートである。
【図３１】図３０のステップＳ３１において行われるビデオデータ生成処理について説明するフローチャートである。
【図３２】図３０のステップＳ３２において行われる字幕データ生成処理について説明するフローチャートである。
【図３３】フリップ機能により実現されるフレーム構成の変更例を示す図である。
【図３４】フレーム構成の他の変更例を示す図である。
【図３５】aligned字幕領域を選択するメニュー画面の例を示す図である。
【図３６】fixed_subtitle_window_0およびfixed_subtitle_window_1について説明する図である。
【図３７】STN_table_SS（）のシンタクスの他の例を示す図である。
【図３８】active_video_window（）のシンタクスの他の例を示す図である。
【図３９Ａ】AlignOffsetの例を示す図である。
【図３９Ｂ】AlignOffsetの例を示す図である。
【図４０】情報処理装置の構成例を示すブロック図である。
【図４１】情報処理装置の記録処理について説明するフローチャートである。
【図４２】active_video_window（）の記述位置の例を示す図である。
【図４３】他の情報処理装置の構成例を示すブロック図である。
【図４４】active_video_window（）の他の記述位置の例を示す図である。
【図４５】Access Unitの構成を示す図である。
【図４６】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
［再生システムの構成例］
図２は、本発明の一実施形態に係る再生装置１を含む再生システムの構成例を示す図である。
【００１９】
図２の再生システムは、再生装置１と表示装置３がHigh Definition Multimedia Interface(HDMI)ケーブル等で相互に接続されるように構成される。再生装置１は、BD規格の光ディスクである、BD-ROM等の光ディスク２を備える。
【００２０】
光ディスク２には、視点の数が２つの3D画像を表示するために必要なストリームが記録されている。ストリーム等を光ディスク２に記録するための符号化方式として、例えば、H.264 Advanced Video Coding(AVC)/Multi-view Video coding(MVC)が採用される。
【００２１】
再生装置１は、光ディスク２に記録されたストリームの3D再生のためのプレーヤである。再生装置１は、光ディスク２に記録されたストリームを再生し、再生により得られた3D画像をテレビジョン受像機等を含む表示装置３に表示する。音声についても同様に再生装置１により再生され、表示装置３に設けられたスピーカから出力される。
【００２２】
［H.264 AVC/MVC Profile］
H.264 AVC/MVCでは、Base view videoストリームと呼ばれるビデオストリームと、Dependent view videoストリームと呼ばれるビデオストリームが定義されている。以下、適宜、H.264 AVC/MVCを単にMVCと呼ぶ。
【００２３】
図３は、MVCエンコーダの構成例を示すブロック図である。
【００２４】
図３に示すように、MVCエンコーダは、H.264/AVCエンコーダ１１、H.264/AVCデコーダ１２、およびDependent view videoエンコーダ１３から構成される。同じ被写体に対して、L画像（左視点）用のカメラとR画像（右視点）用のカメラが撮像を行う。
【００２５】
L画像用カメラにより撮影されたL画像のストリームはH.264/AVCエンコーダ１１に入力される。また、Ｒ画像用カメラにより撮影されたR画像のストリームはDependent view videoエンコーダ１３に入力される。
【００２６】
H.264/AVCエンコーダ１１は、L画像のストリームをH.264 AVC/High Profileビデオストリームとして符号化する。H.264/AVCエンコーダ１１は、符号化により得られたAVCビデオストリームをBase view videoストリームとして出力する。H.264/AVCエンコーダ１１から出力されたBase view videoストリームは、外部に出力される一方で、H.264/AVCデコーダ１２にも供給される。
【００２７】
H.264/AVCデコーダ１２は、H.264/AVCエンコーダ１１から供給されたAVCビデオストリームをデコードし、デコードにより得られたL画像のストリームをDependent view videoエンコーダ１３に出力する。
【００２８】
Dependent view videoエンコーダ１３は、H.264/AVCデコーダ１２から供給されたL画像のストリームと、外部から入力されたR画像のストリームに基づいて符号化を行う。Dependent view videoエンコーダ１３は、符号化により得られたストリームをDependent view videoストリームとして出力する。
【００２９】
他のストリームを参照画像とする予測符号化にはBase view videoが認められないが、図４に示すように、Base view videoを参照画像とする予測符号化にはDependent view videoが認められている。例えば、L画像をBase view videoとし、R画像をDependent view videoとして符号化を行ったとき、その結果得られるDependent view videoストリームのデータ量は、Base view videoストリームのデータ量よりも少なくなる。
【００３０】
なお、H.264/AVCでの符号化であるため、時間方向におけるBase view videoの予測が行われる。また、Dependent view videoについて、各view間の予測とともに、時間方向の予測が実施される。Dependent view videoをデコードするとき、エンコード時の参照先である対応Base view videoのデコードを先に終える必要がある。
【００３１】
H.264/AVCエンコーダ１１から出力されたBase view videoストリームと、Dependent view videoエンコーダ１３から出力されたDependent view videoストリームは、例えば、オーディオまたは字幕のデータとともにMPEG2 TSとして多重化される。多重化によって得られたTS(MPEG2 TS)は、MVCエンコーダの後部に設けられた記録部において光ディスク２に記録され、再生装置１に提供される。
【００３２】
この例においては、L画像をBase view videoとして符号化し、R画像をDependent view videoとして符号化するが、反対に、R画像をBase view videoとして符号化し、L画像をDependent view videoとして符号化してもよい。以下、L画像をBase view videoとして符号化し、R画像をDependent view videoとして符号化する場合について説明する。
【００３３】
図５は、光ディスク２に記録されたTSの構成例を示す図である。
【００３４】
図５のＴＳでは、Base view video、Dependent view video、Primary audio、Presentation Graphics(PG)、およびInteractive Graphics(IG)のストリームが多重化されている。Base view videoとDependent view videoを異なるTSにおいて多重化することも可能であり得る。PGストリームは字幕のストリームであり、IGストリームはメニュー画面等のグラフィックスのストリームである。
【００３５】
再生装置１による字幕の表示方式においては、ビデオ(Base view video、およびDependent view video)と重なることにより字幕を表示する方式と、字幕用に確保された領域にビデオと重ならない字幕を表示する方式とがある。左目用の字幕と右目用の字幕がPGストリームに含まれる字幕データに基づいて生成され、それぞれが、Base view videoおよびDependent view videoとともに表示されるように、ユーザは字幕だけでなくビデオも３次元的に見ることができる。
【００３６】
ビデオと重なることにより字幕を表示する前者の方式だけでなく、字幕用に確保された領域に字幕を表示する方式においても字幕を３次元表示することが可能であるが、以下、前者の字幕表示方式を3D字幕方式と呼び、後者の字幕表示方式をaligned字幕方式と呼ぶ。aligned字幕方式においては、フレーム内の上側および下側から形成される２つの黒色領域の一方の領域の少なくとも一部が他方の領域に近づき、そこに、字幕が２次元または３次元表示される。
【００３７】
光ディスク２には、適宜、3D字幕方式用のPGストリームと、aligned字幕方式用のPGストリームが記録される。
【００３８】
［Aligned字幕方式について］
図６は、光ディスク２に記録されたビデオストリームをデコードして得られるフレームの構成を示す図である。
【００３９】
図６に示すフレームのサイズは１９２０×１０８０画素である。ビデオの画枠は、垂直方向よりも水平方向が長く、１６：９の比率よりも大きなアスペクト比を有し、フレームの上側および下側には、垂直方向に所定の幅を有する帯状の黒色領域が水平方向全体に渡って形成されている。
【００４０】
上側の黒色領域における垂直方向の画素数はａであり、下側の黒色領域における垂直方向の画素数はｂである。上側と下側の黒色領域の間に挟まれた垂直方向の画素数がｃの領域がビデオの有効画枠であり、そこに、Base viewとDependent viewのビデオが表示される。
【００４１】
光ディスク２に記録されているBase view videoおよびDependent view videoは、図６に示すように、上側と下側の黒色領域がフレーム毎に付加された形でエンコードされている。Base view videoおよびDependent view videoのストリームをデコードしたとき、図６の構成を有するフレームのデータが得られる。
【００４２】
aligned字幕方式で字幕を表示するとき、再生装置１においては、Base view videoおよびDependent view videoのストリームをデコードして得られるフレームから、図７Ａに示すようなビデオの有効画枠だけが切り取られる。切り取り範囲は、光ディスク２に記録された制御情報に含まれる情報によって指定される。
【００４３】
また、ビデオの有効画枠を切り取ったときに残る上側と下側の黒色領域が１つになり、図７Ｂに示すように、垂直方向の画素数がａ＋ｂとなる領域が、aligned字幕方式における字幕の表示領域として確保される。
【００４４】
以下、適宜、上側と下側の黒色領域の一方の領域の少なくとも一部を足して形成される字幕の表示領域をaligned字幕領域という。
【００４５】
図８Ａおよび図８Ｂは、aligned字幕方式で字幕を表示するときのフレームの構成例を示す図である。
【００４６】
図８Ａは、ビデオの有効画枠が上側に配置されるとともに、垂直方向の画素数がａ＋ｂのaligned字幕領域が下側に配置された例を示す図である。図８Ｂは、ビデオの有効画枠が下側に配置されるとともに、垂直方向の画素数がａ＋ｂのaligned字幕領域が上側に配置された例を示す図である。これらの例においては、上側と下側の黒色領域の一方の領域全体を他方の領域に足し合わせてaligned字幕領域が形成されている。
【００４７】
図８Ａおよび図８Ｂにおいて点線で示すように、aligned字幕領域内に字幕ウインドウが配置される。字幕ウインドウ#0は、例えば、人物の会話内容を示す字幕を表示する領域であり、字幕ウインドウ#1は、看板等がビデオの有効画枠に現れたときにその内容を示す、いわゆる強制字幕用の領域である。なお、強制字幕を表示する字幕ウインドウ#1は、ビデオの有効画枠内に位置させることができる。字幕ウインドウ#0についても、ビデオの有効画枠内に位置させることができる。
【００４８】
このように、再生装置１においては、ビデオストリームをデコードしたときに得られるフレームに含まれる上側と下側の黒色領域の一方の領域の少なくとも一部を他方の領域に足し合わせて形成される領域に字幕が表示される。
【００４９】
これにより、3D画像とともにビデオの有効画枠内に字幕を表示するとき、字幕が被写体の影（被写体よりも内側に深く）によって字幕が見づらくなることがあるが、そのようなことを防ぐことができる。
【００５０】
また、3D画像とともに字幕をビデオの有効画枠内に表示するとき、コンテンツの制作者（オーサー）は、被写体の影を構成しないように字幕の表示領域を設定する必要があるが、そのような負担の増加を防ぐことができる。
【００５１】
さらに、一方の側において足し合わせることなく、上側または下側の黒色領域に字幕を表示する場合と較べて、広い領域を字幕の表示領域として確保することができる。例えば、日本語の字幕を表示するとき、字幕の漢字にはかな文字を付けることになるために、垂直方向により広い領域が必要になるが、そのような要望に対応することができる。
【００５２】
［AVストリームの管理構造］
図９は、再生装置１によるAVストリームの管理構造の一例を示す図である。
【００５３】
AVストリームの管理は、図９に示すように、２つのレイヤのPlayListとClipを用いて行われる。Clipは、ビデオデータおよびオーディオデータを多重化して得られるTSであるAVストリームと、対応Clip Information（当該AVストリームに関する属性情報を含むClip Information）とから構成される。
【００５４】
AVストリームは時間軸上に展開され、各アクセスポイントは、主に、タイムスタンプでPlayListにおいて指定される。Clip Informationは、AVストリームにおけるデコードが開始されるべきアドレスを見つけるために使用される。
【００５５】
PlayListはAVストリームの再生区間の集まりである。AVストリーム中の１つの再生区間はPlayItemと呼ばれる。PlayItemは、時間軸上の再生区間のIN点とOUT点で表される。PlayListは１つまたは複数のPlayItemを含む。
【００５６】
図９の左から１番目のPlayListは２つのPlayItemを含み、その２つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分および後半部分のそれぞれが参照される。
【００５７】
左から２番目のPlayListは１つのPlayItemを含み、そのPlayItemにより、右側のClipに含まれるAVストリーム全体が参照される。
【００５８】
左から３番目のPlayListは２つのPlayItemを含み、その２つのPlayItemにより、左側のClipに含まれるAVストリームの一部分および右側のClipに含まれるAVストリームの一部分のそれぞれが参照される。
【００５９】
例えば、左から１番目のPlayListに含まれる左側のPlayItemが再生対象としてディスクナビゲーションプログラムにより指定されたとき、左側のClipに含まれるとともにそのPlayItemにより参照されるAVストリームの前半部分が再生される。このように、PlayListは、AVストリームの再生を制御するための再生制御情報として用いられる。
【００６０】
PlayListの中で、１つ以上のPlayItemの並びによって作られる再生パスをmain pathと呼ぶ。
【００６１】
また、PlayListの中で、main pathに並行して１つ以上のSubPlayItemの並びによって構成される再生パスをsub pathと呼ぶ。
【００６２】
図１０は、main pathとsub pathとの構造を示す図である。
【００６３】
PlayListは、１つのmain pathと１つ以上のsub pathを持つことができる。上述したL view videoのストリームは、main pathを構成するPlayItemにより参照される。また、R view videoのストリームは、sub pathを構成するSubPlayItemにより参照される。
【００６４】
図１０のPlayListは、３つのPlayItemの並びにより構成される１つのmain pathと、３つのsub pathを有している。main pathを構成するPlayItemには、先頭から規則的なIDが設定される。sub pathにもIDが設定される。
【００６５】
図１０の例においては、Subpath_id=0のsub pathには１つのSubPlayItemが含まれ、Subpath_id=1のsub pathには２つのSubPlayItemが含まれる。また、Subpath_id=2のsub pathには１つのSubPlayItemが含まれる。
【００６６】
あるPlayItemが参照するAVストリームと、そのPlayItemとタイムゾーンが重複する再生区間を指定するSubPlayItemが参照するAVストリームは同期させられ、再生される。PlayList、PlayItem、およびSubPlayItemを用いたAVストリームの管理については、例えば、特開2008-252740号公報および特開2005-348314号公報に記載されている。
【００６７】
［ディレクトリの構造］
図１１は、光ディスク２に記録されるファイルの管理構造の例を示す図である。
【００６８】
図１１に示すように、ファイルはディレクトリ構造により階層的に管理される。光ディスク２上には１つのrootディレクトリが作成される。rootディレクトリの下部は、１つの記録再生システムで管理される範囲である。
【００６９】
rootディレクトリの下にはBDMVディレクトリが設定される。BDMVディレクトリの直下に、「Index.bdmv」と名前が付けられたファイルであるIndexファイルと、「MovieObject.bdmv」と名前が付けられたファイルであるMovieObjectファイルが収容される。
【００７０】
BDMVディレクトリの下には、PLAYLISTディレクトリ、CLIPINFディレクトリ、およびSTREAMディレクトリが設けられる。
【００７１】
PLAYLISTディレクトリには、PlayListを記述したファイルであるPlayListファイルが収容される。各PlayListファイルには、５桁の数字と拡張子「.mpls」を組み合わせて作った名前が設定される。図１１に示すPlayListファイルには、「00000.mpls」というファイル名が設定される。
【００７２】
CLIPINFディレクトリにはClip Informationを記述したファイルであるClip Informationファイルが収容される。各Clip Informationファイルには、５桁の数字と拡張子「.clpi」を組み合わせて作った名前が設定される。
【００７３】
図１１の２つのClip Informationファイルには、「00001.clpi」および「00002.clpi」というファイル名が設定されている。以下、適宜、Clip Informationファイルをclpiファイルと呼ぶ。
【００７４】
「00001.clpi」というクリップファイルは、対応するL view videoのストリームに関する情報を記述するファイルであり、「00002.clpi」というclpiファイルは、対応するR view videoのストリームに関する情報を記述するファイルである。
【００７５】
STREAMディレクトリには、ストリームファイルが収容される。各ストリームファイルには、５桁の数字と「.m2ts」という拡張子を組み合わせて作った名前が設定される。以下、適宜、「.m2ts」という拡張子が設定されたファイルをm2tsファイルと呼ぶ。
【００７６】
「00001.m2ts」というm2tsファイルは、L view videoストリームのファイルであり、「00002.m2ts」というm2tsファイルはR view videoのファイルである。
【００７７】
図１１に示すものの他に、BDMVディレクトリの下には、PGおよびIGのグラフィックスのストリームまたはオーディオストリームのファイルを収容するディレクトリが設定される。
【００７８】
［各データのシンタクス］
図１２は、PlayListファイルのシンタクスを示す図である。
【００７９】
PlayListファイルは、図１１のPLAYLISTディレクトリに収容される、「.mpls」という拡張子が設定されたファイルである。
【００８０】
図１２のtype_indicatorは、「xxxxx.mpls」という名前のファイルの種類を示す。
【００８１】
version_numberは、「xxxx.mpls」のバージョンナンバーを示す。version_numberは４桁の数字を含む。例えば、ビデオを３次元表示する3D再生用のPlayListファイルには、「3D Spec version」を示す”０２４０”が設定される。
【００８２】
PlayList_start_addressは、PlayListファイルの先頭バイトからの相対バイト数を単位として、PlayList()のベースアドレスを示す。
【００８３】
PlayListMark_start_addressは、PlayListファイルの先頭バイトからの相対バイト数を単位として、PlayListMark()のベースアドレスを示す。
【００８４】
ExtensionData_start_addressは、PlayListファイルの先頭バイトからの相対バイト数を単位として、ExtensionData()のベースアドレスを示す。
【００８５】
AppInfoPlayList()には、再生制限等、PlayListの再生コントロールに関するパラメータが収容される。
【００８６】
PlayList()には、main pathまたはsub path等に関するパラメータが収容される。
【００８７】
PlayListMark()には、PlayListのマーク情報、すなわち、チャプタジャンプ等を指示するユーザオペレーションまたはコマンドにおけるジャンプポイントであるマークに関する情報である情報が収容される。
【００８８】
ExtensionData()には、プライベートデータが挿入できるように構成される。
【００８９】
図１３は、図１２のPlayList()のシンタクスを示す図である。
【００９０】
lengthは、このlengthフィールドの直後からPlayList()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、lengthは、reserved_for_future_useからPlayListの最後までのバイト数を示す。
【００９１】
number_of_PlayItemsは、PlayList中のPlayItemの数を示す１６ビットのフィールドである。図１０の例の場合、PlayItemの数は３である。PlayItem_idの値は、PlayList中にPlayItem()が現れる順に０から割り当てられる。例えば、割り当てられる値は、図１０では、PlayItem_id=0、1、および2である。
【００９２】
number_of_SubPathsは、PlayList中のsub pathの数を示す１６ビットのフィールドである。図１０の例の場合、sub pathの数は３である。SubPath_idの値は、PlayList中にSubPath()が現れる順に０から割り当てられる。例えば、割り当てられる値は、図１０では、Subpath_id=0、1、および2である。その後のfor文では、PlayItemの数と同じだけPlayItem()が参照され、sub pathの数と同じだけSubPath()が参照される。
【００９３】
図１４は、図１３のSubPath()のシンタクスを示す図である。
【００９４】
lengthは、このlengthフィールドの直後からSub Path()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、lengthは、reserved_for_future_useからPlayListの最後までのバイト数を示す。
【００９５】
SubPath_typeは、sub pathのアプリケーションの種類を示す８ビットのフィールドである。SubPath_typeは、例えば、sub pathの種類、sub pathがオーディオ、ビットマップ字幕、またはテキスト字幕であるかどうかを示すために用いられる。
【００９６】
is_repeat_SubPathは、sub Pathの再生方法を指定する１ビットのフィールドであり、sub Pathの再生をmain Pathの再生間に繰り返すべきであるか、またはsub Pathの再生を１回行うかを示す。
【００９７】
number_of_SubPlayItemsは、１つのsub Path中のSubPlayItemの数（エントリー数）を示す８ビットのフィールドである。例えば、図１０のSubPath_id=0というSubPlayItemのnumber_of_SubPlayItemsは１であり、SubPath_id=1というSubPlayItemのnumber_of_SubPlayItemsは２である。その後のfor文では、SubPlayItemの数と同じだけSubPlayItem()が参照される。
【００９８】
図１５は、図１４のSubPlayItem(i)のシンタクスを示す図である。
【００９９】
lengthは、このlengthフィールドの直後からSub playItem()の最後までのバイト数を示す１６ビットの符号なし整数である。
【０１００】
Clip_Information_file_name[0]は、SubPlayItemが参照されるClipのClip Informationファイルの名前を示す。
【０１０１】
Clip_codec_identifier[0]は、Clipのコーデック方式を示す。
【０１０２】
is_multi_Clip_entriesは、マルチClipの登録の存在を示すフラグである。is_multi_Clip_entriesというフラグが立っているとき、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。
【０１０３】
ref_to_STC_id[0]は、STC不連続点（システムタイムベースの不連続点）に関する情報である。
【０１０４】
SubPlayItem_IN_timeはsub Pathの再生区間の開始位置を示し、SubPlayItem_OUT_timeは終了位置を示す。
【０１０５】
sync_PlayItem_idとsync_start_PTS_of_PlayItemは、main Pathの時間軸上でsub Pathの再生が開始される時を示す。
【０１０６】
SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは、SubPlayItemが参照するClipにおいて共に用いられる。
【０１０７】
「if(is_multi_Clip_entries==1b」であるとともに、SubPlayItemが複数のClipを参照する場合について説明する。
【０１０８】
num_of_Clip_entriesは参照するClipの数を示す。Clip_Information_file_name[SubClip_entry_id]の数は、Clip_Information_file_name[0]を除くClipの数を指定する。
【０１０９】
Clip_codec_identifier[SubClip_entry_id]は、Clipのコーデック方式を示す。
【０１１０】
ref_to_STC_id[SubClip_entry_id]は、STC不連続点（システムタイムベースの不連続点）に関する情報である。
【０１１１】
図１６は、図１３のPlayItem()のシンタクスを示す図である。
【０１１２】
lengthは、このlengthフィールドの直後からPlayItem()の最後までのバイト数を示す１６ビットの符号なし整数である。
【０１１３】
Clip_Information_file_name[0]は、PlayItemが参照するClipのClip Informationファイルの名前を示す。なお、Clipを含むm2tsファイルのファイル名と、それに対応するClip Informationファイルのファイル名は同じ５桁の数字を含む。
【０１１４】
Clip_codec_identifier[0]はClipのコーデック方式を示す。Clip_codec_identifier[0]の後にはreserved_for_future_useが含まれる。reserved_for_future_useの後にはis_multi_angleおよびconnection_conditionが含まれる。
【０１１５】
ref_to_STC_id[0]は、STC不連続点（システムタイムベースの不連続点）に関する情報である。
【０１１６】
IN_timeは、PlayItemの再生区間の開始位置を示し、OUT_timeは終了位置を示す。
【０１１７】
OUT_timeの後には、U0_mask_table()、PlayItem_random_access_mode、およびstill_modeが含まれる。
【０１１８】
STN_table()には、PlayItemが参照するストリームが含まれる。また、PlayItemと関連付けて再生されるsub Pathがあるとき、そのsub Pathを構成するSubPlayItemが参照するストリームの情報も含まれる。
【０１１９】
図１７は、図１６のSTN_table()のシンタクスを示す図である。
【０１２０】
lengthは、このlengthフィールドの直後からSTN_table()の最後までのバイト数を示す１６ビットの符号なし整数である。
【０１２１】
number_of_video_stream_entriesは、video_stream_idとともに与えられ、STN_table()にエントリー（登録）するストリームの数を示す。
【０１２２】
video_stream_idは、ビデオストリームを識別するための情報である。例えば、Base view videoのストリームがこのvideo_stream_idにより特定される。Dependent view videoのストリームのＩＤについては、STN_table()内、および後述するPlayListのExtensionData()（図１２）に含まれるSTN_table_SS()内で定義されるようにしてもよい。
【０１２３】
number_of_audio_stream_entriesは、STN_table()にエントリーし、audio_stream_idに与えられる１番目のオーディオストリームのストリーム数を示す。audio_stream_idは、オーディオストリームを識別するための情報である。
【０１２４】
number_of_audio_stream2_entriesは、STN_table()にエントリーし、audio_stream_id2に与えられる２番目のオーディオストリームのストリーム数を示す。audio_stream_id2は、オーディオストリームを識別するための情報である。この例においては、再生する音声を切り替えることができる。
【０１２５】
number_of_PG_txtST_stream_entriesは、STN_table()にエントリーし、PG_txtST_stream_idに与えられるストリーム数を示す。この中では、ビットマップ字幕をランレングス符号化して得られるPGストリームと、テキスト字幕ファイル（txtST）がエントリーする。PG_txtST_stream_idは、字幕ストリームを識別するための情報である。
【０１２６】
number_of_IG_stream_entriesは、STN_table()にエントリーするとともに、IG_stream_idに与えられるストリーム数を示す。この中ではIGストリームがエントリーする。IG_stream_idは、IGのストリームを識別するための情報である。
【０１２７】
各ストリームについて用意されるstream_entry()には、各ストリームのデータを収容するパケットのPID情報。また、stream_attribute()には、各ストリームの属性情報が含まれる。
【０１２８】
図１８は、STN_table_SS()のシンタクスの例を示す図である。
【０１２９】
STN_table_SS()は、例えば、PlayListファイルのExtensionData()（図１２）に記述される。STN_table_SS()には、3D字幕方式またはaligned字幕方式で字幕を表示するとき、その表示に用いるストリームに関する情報が含まれる。
【０１３０】
図１８に示すように、PG_textST_stream_idで識別されるPGストリーム毎に各情報が設定される。例えば、英語、日本語、またはフランス語等の各言語のPGストリームが光ディスク２に記録されているとき、各言語のPGストリームに対して以下の情報が設定される。
【０１３１】
is_SS_PGは、3D字幕方式用のPGストリームが記録されているか否かを示す。例えば、is_SS_PGの値が１であることは、3D字幕方式用のPGストリームが記録されていることを示し、is_SS_PGの値が０であることは、3D字幕方式用のPGストリームが記録されていないことを示す。
【０１３２】
is_AS_PGは、aligned字幕方式用のPGストリームが記録されているか否かを示す。例えば、is_AS_PGの値が１であることは、aligned字幕方式用のPGストリームが記録されていることを示し、is_AS_PGの値が０であることは、aligned字幕方式用のPGストリームが記録されていないことを示す。
【０１３３】
PG_textST_offset_id_refは、3D字幕方式で字幕を表示するときに用いるオフセット値の参照先を示す。
【０１３４】
3D字幕方式およびaligned字幕方式のいずれの表示方式において、字幕を3Dで表示することは、PGストリームに含まれる字幕データに所定のオフセットを設定して生成されたBase viewとDependent viewの字幕を表示して行われる。オフセットの値は、視差に相当するずれを示す。例えば、同じ文字または記号を含む字幕が配置されたBase viewのフレーム、およびDependent viewのフレームが相互に重なるとき、字幕の位置にはずれが存在する。
【０１３５】
字幕の位置にずれがあるとき、Base viewの字幕がBase viewのビデオとともに表示され、Dependent viewの字幕がDependent viewのビデオとともに表示され、そして、それによって、ユーザはビデオだけでなく字幕も３次元視することができる。なお、字幕データに適用されるオフセットの値が０であるとき、視差は生じることがなく、それによって、字幕は２次元表示される。
【０１３６】
PG_textST_offset_id_refが参照させるオフセットの値は、例えば、PlayListファイルのExtensionData()内に記述されたoffset_metadata()に含まれる。offset_metadata()の詳細については、例えば、本出願人による特願2009-168806号公報に開示されている。
【０１３７】
is_AS_PGの値が１であるときに記述されるstream_entry()には、aligned字幕方式用のPGストリームのデータを収容するパケットのPID情報が含まれる。また、stream_attribute()には、aligned字幕方式用のPGストリームの属性情報が含まれる。
【０１３８】
AS_PG_textST_offset_id_refは、aligned字幕方式で3D字幕を表示するときに用いるオフセットの値の参照先を示す。例えば、aligned字幕方式で字幕を表示するときに用いるオフセットの値も、PlayListファイルのExtensionData()内に記述されたoffset_metadata()に含まれる。オフセットの値が、MVCによって符号化されたビデオストリームの中に含まれるようにすることも可能である。この場合、AS_PG_textST_offset_id_refは、ビデオストリームに含まれるオフセットの値が参照されることを示す。
【０１３９】
なお、is_SS_PGの値が１であるとき、3D字幕方式用のPGストリームのデータを収容するパケットのPID情報を含むstream_entry()と、属性情報に含まれるstream_attribute()がSTN_table_SS()に記述されるようにしてもよい。
【０１４０】
図１９は、active_video_window()のシンタクスの例を示す図である。
【０１４１】
active_video_window()は、例えば、PlayListファイルのExtensionData()（図１２）に記述される。active_video_window()は、図１８のSTN_table_SS()に含まれるis_AS_PGの値が１であり、aligned字幕方式用のPGストリームが記録されているときに記述され。
【０１４２】
active_video_window()には、ビデオの有効画枠に関する情報が含まれる。aligned字幕方式で字幕を表示するときに行われるビデオの有効画枠を切り出して移動する処理が、active_video_window()の記述に基づいて実施される。
【０１４３】
ここでは、active_video_window()に含まれる情報中、top_offset、bottom_offset、top_align_flag、およびalign_offsetについて説明する。
【０１４４】
fixed_subtitle_window_0、fixed_subtitle_window_1、およびflipped_AS_PG_textST_offset_id_refは、後述するフリップ機能に用いられる。フリップ機能は、top_offset等の値に基づいて形成されたaligned字幕領域を、ユーザによる選択に応じて、フレームの上側から下側または下側から上側に移動する。
【０１４５】
top_offsetは、ビデオの有効画枠の垂直方向における画素の最上部の位置を求めるために用いられる値を示す。
【０１４６】
以下、フレーム内の位置については、フレームの左上端における１画素の位置を(x,y)=(0,0)、すなわち、フレームの上から１行目の垂直方向における画素の位置を0、フレームの左から１列目の水平方向における画素の位置を0として、画素数を用いて示す。
【０１４７】
ビデオの有効画枠の垂直方向における最上部の画素の位置であるTopOffsetは、top_offsetの値を用いて下式（１）により求められる。
TopOffset = 2 ＊ top_offset ・・・ （１）
【０１４８】
top_offsetは、下式（２）で示される範囲の値をとる。
・・・ （２）
【０１４９】
式（２）のFrameHeightはフレーム全体の垂直方向における画素数を示し、MVCで符号化されたビデオストリームに含まれるパラメータであるpic_height_in_map_units_minus1を用いて下式（３）により求められる。
FrameHeight = (16 * (pic_height_in_map_units_minus1 + 1)) - 8 ・・・ （３）
【０１５０】
bottom_offsetは、有効画枠の最下下部の垂直方向における画素の位置を求めるために用いられる値を示す。有効画枠の最下下部の垂直方向における画素の位置であるBottomOffsetは、bottom_offsetの値を用いて下式（４）により求められる。
BottomOffset = FrameHeight - (2 * bottom_offset) - 1 ・・・ （４）
【０１５１】
図２０は、TopOffsetとBottomOffsetの例を示す図である。
【０１５２】
top_offset=69、かつbottom_offset=69であるとき、1920×1080画素のフレームにおいては、TopOffsetは138として求められ、BottomOffsetは941として求められる。ビデオの有効画枠の左上端における１画素の位置は(x,y)=(0,138)で表され、左下端における１画素の位置は(x,y)=(0,941)で表される。
【０１５３】
有効画枠の垂直方向における画素数は８０４である。１０８０はFrameHeightの値であり、式（３）により求められる。
【０１５４】
図１９の説明に戻り、top_align_flagは、デコード直後のフレームにおける位置に基づいて、ビデオの有効画枠を上方向に移動するのか、下方向に移動するのかを示す。top_align_flagの値が１であるとき、有効画枠を上方に移動することが示され、top_align_flagの値が０であるとき、有効画枠を下方に移動することが示される。align_offsetを用いた移動量の計算方法は、top_align_flagの値により異なる。
【０１５５】
top_align_flagの値が1であり、ビデオの有効画枠を上方向に移動する場合、aligned字幕領域はフレームの下側に形成される。また、top_align_flagの値が０であり、ビデオの有効画枠を下方向に移動する場合、aligned字幕領域はフレームの上側に形成される。
【０１５６】
align_offsetは、ビデオの有効画枠の移動量を求めるために用いられる値を示す。
【０１５７】
top_align_flagの値が１であるとき、ビデオの有効画枠の移動量であるAlignOffsetは下式（５）により求められる。
AlignOffset = 2 * align_offset ・・・ （５）
【０１５８】
top_align_flagの値が０であるとき、ビデオの有効画枠の移動量であるAlignOffsetは下式（６）により求められる。
AlignOffset = 2 * (top_offset + bottom_offset - align_offset) ・・・ （６）
【０１５９】
式（５）および式（６）により求められるAlignOffsetは、フレームの上から、１行目の画素の位置を０に設定し、下方向への移動量を画素数で示す。
【０１６０】
align_offsetは、下式（７）で示される範囲の値をとる。
・・・ （７）
【０１６１】
top_align_flagとalign_offsetにより、フレームにおけるビデオの有効画枠の移動先としての配置位置が決定される。決定された位置に配置された有効画枠外の全ての画素では、(Y,Cb,Cr)=(16,128,128)等の画素の所定値が設定され、これにより、フレームにおける有効画枠外の画素が同じ色の画素になる。
【０１６２】
図２１Ａおよび図２１Ｂは、AlignOffsetの例を示す図である。
【０１６３】
top_align_flagの値が１であり、かつalign_offset=34であるとき、図２１Ａに示すように、1920×1080画素のフレームにおいては、AlignOffsetは６８として求められる。ビデオの有効画枠の左上端における１画素の位置は(x,y)=(0,68)で表される。
【０１６４】
AlignOffsetが６８、ビデオの有効画枠の垂直方向における画素数が８０４、フレーム全体の垂直方向における画素数が１０８０であるから、aligned字幕領域の垂直方向における画素数は２０８になる。ビデオの有効画枠の左下端における１画素の位置は(x,y)=(0,871)で表される。
【０１６５】
top_align_flagの値が０であり、かつalign_offset=34であるとき、図２１Ｂに示すように、1920×1080画素のフレームにおいては、AlignOffsetは２０８として得られる。有効画枠の左下端における１画素の位置は(x,y)=(0,208)で表される。
【０１６６】
AlignOffsetが２０８、ビデオの有効画枠の垂直方向における画素数が８０４、フレーム全体の垂直方向における画素数が１０８０であるから、フレームの下側に形成された黒色領域の垂直方向における画素数は６８になる。ビデオの有効画枠の左下端における１画素の位置は(x,y)=(0,1011)で表される。
【０１６７】
［再生装置１の構成例］
図２２は、再生装置１の構成例を示すブロック図である。
【０１６８】
コントローラ３１は、制御プログラム（図９のディスクナビゲーションプログラム）を実行し、再生装置１全体の動作を制御する。コントローラ３１は、ユーザの操作に応じて再生装置１のステータスを切り替え、現在のステータスを示す情報をレジスタ３１Ａに記憶させる。
【０１６９】
ディスクドライブ３２は、コントローラ３１による制御に従って光ディスク２からデータを読み出し、読み出したデータを、コントローラ３１、メモリ３３、またはデコード部３４に出力する。
【０１７０】
メモリ３３は、コントローラ３１による各種処理の実行に加えて、必要なデータ等を適宜記憶する。
【０１７１】
デコード部３４は、ディスクドライブ３２から供給されたストリームをデコードし、得られたビデオ信号を表示装置３に出力する。オーディオ信号も所定の経路を介して表示装置３に出力される。
【０１７２】
操作入力部３５は、ボタン、キー、タッチパネル、またはマウス等の入力デバイス、および所定のリモートコマンダから送信される赤外線等の信号を受信する受信部により構成される。操作入力部３５はユーザによる操作を検出し、検出した操作の内容を示す信号をコントローラ３１に供給する。
【０１７３】
図２３は、デコード部３４の構成例を示す図である。
【０１７４】
分離部５１は、ディスクドライブ３２から供給されたTSとして多重化されているデータを、コントローラ３１による制御に従って分離する。分離部５１は、ビデオストリームをビデオデコーダ５２に出力し、PGストリームをPGデコーダ５５に出力する。なお、図２３にはビデオのデータを処理する構成と字幕データを処理する構成のみを示しているが、ビデオのデータを処理する構成等もデコード部３４に適宜設けられる。
【０１７５】
ビデオストリームのデータを収容するパケットは、例えば、STN_table()のstream_entry()に含まれるPIDに基づいて特定される。また、3D字幕方式用のPGストリームのデータを収容するパケットとaligned字幕方式用のPGストリームのデータを収容するパケットは、例えば、STN_table_SS()のstream_entry()に含まれるPIDに基づいて特定される。
【０１７６】
ビデオデコーダ５２は、MVC方式で符号化されているビデオストリームをデコードし、デコードして得られた画像データ（Base view videoのデータとDependent view videoのデータ）をビデオ後処理部５３に出力する。
【０１７７】
ビデオ後処理部５３は、aligned字幕方式で字幕を表示するとき、コントローラ３１から供給されたactive_video_window()の記述に基づいて後処理を行う。ビデオ後処理部５３は、後処理を行って得られたBase view videoのプレーン（フレームと同じサイズの画像データ）とDependent view videoのプレーンを選択部５４に出力する。
【０１７８】
選択部５４は、ビデオ後処理部５３から供給された画像データ中、Base view videoのプレーンを合成部５８に出力し、Dependent view videoのプレーンを合成部５９に出力する。
【０１７９】
PGデコーダ５５は、PGストリームをデコードし、デコードによって得られた字幕データと、字幕ウインドウの位置を示す情報をPG後処理部５６に出力する。
【０１８０】
PGストリームに含まれる字幕データがビットマップデータであるとき、PGストリームは、字幕ウインドウの位置を示す情報であるwindow_vertical_positionとwindow_horizontal_positionを含む。この２つの情報により、フレームにおいて、例えば、字幕ウインドウの左上端における画素の位置が指定される。また、PGストリームに含まれる字幕データがテキストデータであるとき、PGストリームは、字幕ウインドウの位置を示す情報であるregion_vertical_positionとregion_heightを含む。
【０１８１】
PG後処理部５６は、コントローラ３１から供給されたactive_video_window()またはSTN_table_SS()の記述に基づいて後処理を行う。PG後処理部５６は、後処理を行って得られたBase viewの字幕のプレーンとDependent viewの字幕のプレーンを選択部５７に出力する。
【０１８２】
選択部５７は、PG後処理部５６から供給されたBase viewの字幕のプレーンとDependent viewの字幕のプレーンを、それぞれ、合成部５８と合成部５９に出力する。
【０１８３】
合成部５８は、選択部５４から供給されたBase view videoのプレーンと、選択部５７から供給されたBase viewの字幕のプレーンとを合成してBase viewのフレームを生成するとともに、出力。ビデオのプレーンと字幕のプレーンを合成して、ビデオが有効画枠内に配置されるとともに、１フレームのデータが生成され、字幕がaligned字幕領域等の所定の位置に配置される。
【０１８４】
合成部５９は、選択部５４から供給されたDependent view videoのプレーンと、選択部５７から供給されたDependent viewの字幕のプレーンとを合成してDependent viewのフレームを生成するとともに、出力。合成部５８から出力されたBase viewのフレームおよび合成部５９から出力されたDependent viewのフレームのビデオ信号が表示装置３に出力される。
【０１８５】
図２４は、ビデオ後処理部５３の構成例を示すブロック図である。
【０１８６】
図２４に示すように、ビデオ後処理部５３は、切り出し部７１、配置処理部７２、および色設定部７３を含む。切り出し部７１に対しては、ビデオデコーダ５２から出力された、ビデオの有効画枠の上側と下側に黒色領域が付加された構成を有する図２５Ａに示すようなフレームのデータが入力される。
【０１８７】
図２５Ａに示すフレームは1920×1080画素のサイズのフレームと仮定する。ビデオの有効画枠の垂直方向における画素数は８０４であり、垂直方向における画素数が１３８の黒色領域が上側と下側に設定されている。
【０１８８】
切り出し部７１は、active_video_window()に含まれるtop_offsetとbottom_offsetに基づいて、TopOffsetとBottomOffsetを求め、ビデオの有効画枠を切り出す。例えば、図２５Ｂに示すようなビデオの有効画枠が図２５Ａのフレーム全体から切り出される。
【０１８９】
配置処理部７２は、active_video_window()に含まれるtop_align_flagとalign_offsetに基づいて、ビデオの有効画枠の配置位置（デコード後のフレームにおける位置に基づく移動先の位置）を求め、求めた位置に有効画枠を配置する。
【０１９０】
例えば、図２５Ｃに示すように、ビデオの有効画枠の左上端における画素の位置と、フレームの左上端における画素の位置が相互に一致するように有効画枠が配置される。ビデオの有効画枠の位置が移動すると、デコード後のフレームにおいてビデオの有効画枠の上側と下側のそれぞれに設定される黒色領域を足し合わせて得られる、垂直方向における画素数が２７６のaligned字幕領域用のスペースが確保される。
【０１９１】
色設定部７３は、ビデオの有効画枠外の画素の画素値として、黒色等の所定の色を示す値を設定する。これにより、図２５Ｄに示すように、ビデオの有効画枠の下側にaligned字幕領域が形成される。図２５Ｄに示すようなフレームの構成を有するBase view videoとDependent view videoのプレーンが選択部５４に出力される。
【０１９２】
図２６は、PG後処理部５６の構成例を示すブロック図である。
【０１９３】
図２６に示すように、PG後処理部５６は、配置位置決定部８１とオフセット適用部８２を含む。PGデコーダ５５から出力された字幕データはオフセット適用部８２に入力され、字幕ウインドウの位置を示すwindow_vertical_positionとwindow_horizontal_position等の情報は配置位置決定部８１に入力される。
【０１９４】
配置位置決定部８１は、入力された情報に基づいて、フレームにおける字幕ウインドウの位置を決定し、字幕ウインドウの位置を示す情報をオフセット適用部８２に出力する。
【０１９５】
オフセット適用部８２は、3D字幕方式で字幕を表示するとき、入力された字幕データに対して、STN_table_SS()のPG_textST_offset_id_refで参照させるオフセット値に応じて視差を設定し、Base viewとDependent viewの字幕データを生成する。
【０１９６】
また、オフセット適用部８２は、aligned字幕方式で3D字幕を表示するとき、入力された字幕データに対して、STN_table_SS()のAS_PG_textST_offset_id_refで参照させるオフセット値に応じて視差を設定し、Base viewとDependent viewの字幕のデータを生成する。
【０１９７】
オフセット適用部８２は、配置位置決定部８１により決定された位置に字幕ウインドウを設定し、Base viewのプレーンの字幕ウインドウ内にBase viewの字幕を配置してBase viewの字幕のプレーンを生成する。
【０１９８】
また、オフセット適用部８２は、Dependent viewのプレーンの字幕ウインドウ内にDependent viewの字幕を配置してDependent viewの字幕のプレーンを生成する。オフセット適用部８２は、生成したプレーンを選択部５７に出力する。
【０１９９】
［再生装置の動作］
図２７のフローチャートを参照して、再生装置１の字幕表示方式設定処理について説明する。
【０２００】
図２７の処理は、例えば、ユーザがリモートコントローラを操作して字幕表示方式に関するメニュー画面の表示に指示したときに開始される。
【０２０１】
ステップＳ１において、コントローラ３１は、表示装置３に、字幕表示方式に関するメニュー画面を表示する。メニュー画面の表示は、例えば、光ディスク２に記録されているIGストリームのデータに基づいて行われる。
【０２０２】
図２８は、画面表示の例を示す図である。
【０２０３】
図２８の左上に示す画面は、字幕表示方式に関するメニュー画面である。図２８の例においては、フレームの上側と下側に黒色領域が付加されたビデオと重ねられることによりメニュー画面が表示される。
【０２０４】
ユーザは、リモートコントローラ等を操作して、字幕のオン／オフ、表示する字幕の言語、字幕を表示するときの3D字幕のオン／オフを選択することができる。例えば、図２８におけるメニュー画面の左下の「off」（字幕off）が選択されたとき、矢印Ａ１の先で示すように、字幕の表示なしの状態で、ビデオが３次元表示される。
【０２０５】
図２７のステップＳ２において、コントローラ３１は、操作入力部３５から供給される信号に基づいて、表示する字幕の種類（言語）を選択する。
【０２０６】
ステップＳ３において、コントローラ３１は、再生対象として選択した字幕番号を示す情報をレジスタ３１Ａに収容する。例えば、図２８のメニュー画面において「日本語」が選択されたとき、「日本語」字幕の番号を示す情報がレジスタ３１Ａに収容される。レジスタ３１Ａに収容された情報により、再生対象の言語のPGストリームが特定される。
【０２０７】
ステップＳ４において、コントローラ３１は、操作入力部３５から供給される信号に基づいて、3D字幕のオン／オフを選択する。3D字幕のオン状態は、字幕の表示方式が3D字幕方式であることを示し、オフは、aligned字幕方式を示す。
【０２０８】
ステップＳ５において、コントローラ３１は、ステップＳ４での選択に応じて、字幕表示方式を示す情報をレジスタ３１Ａに収容する。字幕表示方式を示す情報がレジスタ３１Ａに収容された後、処理は終了する。
【０２０９】
例えば、図２８のメニュー画面において3D字幕のオン状態が選択されたとき、字幕表示方式が3D字幕方式であることを示す情報がレジスタ３１Ａに収容され、その後、矢印Ａ２の先で示すように、3D字幕方式で字幕が表示される。矢印Ａ２の先で示す画面においては、ビデオとともに、ビデオの有効画枠内に、「Subtitle」という文字の字幕が３次元表示されている。
【０２１０】
一方、図２８のメニュー画面において3D字幕のオフ状態が選択されたとき、字幕表示方式がaligned字幕方式であることを示す情報がレジスタ３１Ａに収容され、その後、矢印Ａ３の先で示すように、aligned字幕方式で字幕が表示される。矢印Ａ３の先で示す画面においては、ビデオの有効画枠の上側に形成されたaligned字幕領域に「Subtitle」という文字の字幕が３次元表示されている。
【０２１１】
次に、図２９のフローチャートを参照して、再生装置１の再生処理について説明する。
【０２１２】
図２９の処理は、例えば、図２８に示すようにメニュー画面から字幕表示方式の設定が行われた後に開始される。
【０２１３】
ステップＳ１１において、コントローラ３１は、コンテンツの再生に用いるPlayListファイルを選択する。
【０２１４】
ステップＳ１２において、コントローラ３１は、レジスタ３１Ａに収容しておいた再生対象として字幕番号を示す情報を読み出す。
【０２１５】
ステップＳ１３において、コントローラ３１は、レジスタ３１Ａに収容しておいた字幕表示方式を示す情報を読み出す。
【０２１６】
ステップＳ１４において、コントローラ３１は、ステップＳ１３の処理で読み出した情報に基づいて、字幕表示方式としてaligned字幕方式が設定されているか否かを判定する。
【０２１７】
aligned字幕方式が設定されているとステップＳ１４において判定したとき、ステップＳ１５において、コントローラ３１は、PlayListファイルから、字幕に関する情報を読み出す。字幕に関する情報として、例えば、STN_table_SS()に記述されている、現在選択されている言語の字幕に関するis_AS_PGの値が読み出される。
【０２１８】
ステップＳ１６において、コントローラ３１は、再生対象として現在選択されている字幕に、aligned字幕方式用のPGストリームが登録されているかどうかを判定した。上述したように、STN_table_SS()においてはPGストリーム毎にis_AS_PG等の情報が設定される。選択されている言語に関して、aligned字幕方式用のPGストリームが記録され、記録されない場合がある。
【０２１９】
次いで、is_AS_PGの値が１であり、aligned字幕方式用のPGストリームが登録されているとステップＳ１６において判定し、ステップＳ１７において、コントローラ３１はaligned字幕の再生処理を行う。aligned字幕の再生処理においては、ビデオが３次元表示される時に、字幕がaligned字幕方式で表示される。
【０２２０】
一方、is_AS_PGの値が０であり、aligned字幕方式用のPGストリームが登録されていないとステップＳ１６において判定したとき、ステップＳ１８において、コントローラ３１は字幕表示方式として通常方式を設定する。図２８の例においては、aligned字幕方式と3D字幕方式から選択することができるため、ここでは、字幕表示方式として3D字幕方式が設定される。
【０２２１】
ステップＳ１８において3D字幕方式が設定されたとき、または、ステップＳ１４においてaligned字幕方式が設定されていない、すなわち、3D字幕方式が設定されているとき、ステップＳ１９において通常字幕の再生処理が行われる。通常字幕の再生処理においては、3D字幕方式用のPGストリームが光ディスク２から読み出され、PGデコーダ５５によりデコードが行われる。また、PG後処理部５６により、Base viewの字幕データとDependent viewの字幕が生成され、ビデオとともに、ビデオの有効画枠内に字幕が３次元表示される。
【０２２２】
なお、ビデオの有効画枠内の下部に設定された領域（図１において点線で現す領域）に字幕を２次元表示する方式が用意されているとき、通常字幕の再生処理として、その方式で字幕の再生処理が行われるようにしてもよい。
【０２２３】
次に、図３０のフローチャートを参照して、図２９のステップＳ１７において行われるaligned字幕の再生処理について説明する。
【０２２４】
ステップＳ３１において、ビデオデータ生成処理が行われる。ビデオデータ生成処理により、所定の位置にaligned字幕領域が形成された構成を有するBase view videoのプレーンとDependent view videoのプレーン。
【０２２５】
ステップＳ３２において、字幕データ生成処理が行われる。字幕データ生成処理により、ビデオデータ生成処理により生成されたaligned字幕領域に対応する位置に字幕が配置されたBase viewの字幕のプレーンとDependent viewの字幕のプレーンが生成される。
【０２２６】
ステップＳ３３において、合成部５８は、Base view videoのプレーンとBase viewの字幕のプレーンを合成してBase viewのフレームを生成する。また、合成部５９は、Dependent view videoのプレーンとDependent viewの字幕のプレーンを合成してDependent viewのフレームを生成する。
【０２２７】
ステップＳ３４において、コントローラ３１は、Base viewのフレームとDependent viewのフレームを表示装置３に出力し、aligned字幕領域に字幕が表示される画面を表示する。
【０２２８】
次に、図３１のフローチャートを参照して、図３０のステップＳ３１において行われるビデオデータ生成処理について説明する。
【０２２９】
この処理は、図２９のステップＳ１１において選択されたPlayListファイルの記述に基づいてデコード対象のビデオストリームとaligned字幕方式用のPGストリームが光ディスク２から読み出され、それらのストリームが分離部５１により分離された後に開始される。分離部５１により分離されたビデオストリームはビデオデコーダ５２に供給され、aligned字幕方式用のPGストリームはPGデコーダ５５に供給される。
【０２３０】
ステップＳ４１において、ビデオデコーダ５２は、ビデオストリームをデコードし、デコードによって得られた画像データをビデオ後処理部５３に出力する。
【０２３１】
ステップＳ４２において、コントローラ３１は、ビデオの有効画枠の情報として、active_video_window()に記述されている情報をPlayListファイルから読み出す。コントローラ３１により読み出されたactive_video_window()に記述されている情報はビデオ後処理部５３に供給される。
【０２３２】
ステップＳ４３において、ビデオ後処理部５３の切り出し部７１（図２４）は、active_video_window()に含まれるtop_offsetとbottom_offsetに基づいてTopOffsetとBottomOffsetを求め、ビデオの有効画枠を切り出す。
【０２３３】
ステップＳ４４において、配置処理部７２は、active_video_window()に含まれるtop_align_flagとalign_offsetに基づいてビデオの有効画枠の配置位置を求め、求めた位置に有効画枠を配置する。
【０２３４】
ステップＳ４５において、色設定部７３は、配置した有効画枠外の画素の画素値として黒色等の所定の色を示す値を設定し、aligned字幕領域を生成する。
【０２３５】
aligned字幕領域が形成されたBase view videoとDependent view videoのプレーンは選択部５４に出力される。選択部５４においては、Base view videoのプレーンが合成部５８に出力され、Dependent view videoのプレーンが合成部５９に出力される。その後、上記処理は図３０のステップＳ３１に戻り、それ以降の処理が行われる。
【０２３６】
次に、図３２のフローチャートを参照して、図３０のステップＳ３２において行われる字幕データ生成処理について説明する。
【０２３７】
ステップＳ５１において、PGデコーダ５５は、aligned字幕方式用のPGストリームをデコードし、字幕データをPG後処理部５６のオフセット適用部８２に出力するとともに、字幕ウインドウの位置を示す情報を配置位置決定部８１に出力する。
【０２３８】
ステップＳ５２において、配置位置決定部８１は、PGデコーダ５５から供給された情報に基づいて、フレームにおける字幕ウインドウの位置を決定した。
【０２３９】
ステップＳ５３において、オフセット適用部８２は、字幕データに対して、STN_table_SS()のAS_PG_textST_offset_id_refで参照させるオフセット値に応じて視差を設定し、Base viewとDependent viewの字幕データを生成する。オフセット適用部８２は、配置位置決定部８１により決定された位置に字幕ウインドウを配置し、字幕ウインドウ内に字幕を配置して、Base viewとDependent viewの字幕のプレーンを生成する。
【０２４０】
オフセット適用部８２により生成されたBase viewとDependent viewの字幕のプレーンは選択部５７に出力される。選択部５７においては、Base viewの字幕のプレーンが合成部５８に出力され、Dependent viewの字幕のプレーンが合成部５９に出力される。その後、上記処理は図３０のステップＳ３２に戻り、それ以降の処理が行われる。
【０２４１】
以上の処理により、字幕の表示領域として十分な領域を確保することができ、ユーザにとって見やすい字幕表示を実現することができる。
【０２４２】
［フリップ機能について］
図３３は、フリップ機能によって実現されるフレーム構成の変更例を示す図である。
【０２４３】
上述したように、フリップ機能は、active_video_window()に含まれる情報に基づいて形成されたaligned字幕領域の位置を、ユーザの選択に応じて移動する。
【０２４４】
図３３の左側は、top_align_flagの値が１であり、かつalign_offset=34であるときのフレームを示す。図３３の左側に示すフレームの構成は、図２１Ａを参照して説明した構成と同じ構成であり、フレームの下側にaligned字幕領域が形成されている。
【０２４５】
図２１Ａを参照して説明したように、図３３の左側に示す1920×1080画素を有するフレームのAlignOffsetは68であり、ビデオの有効画枠の垂直方向における画素数は804であり、aligned字幕領域の垂直方向における画素数は208である。また、ビデオの有効画枠の左下端における１画素の位置は(x,y)=(0,871)で表される。
【０２４６】
図３３の左側に示すフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,891)で表され、字幕ウインドウの垂直方向における画素数は168である。ビデオの有効画枠の下端と字幕ウインドウの上端の垂直方向における差は20画素（891-871画素）になる。なお、字幕ウインドウの位置は、PGストリームに含まれるwindow_vertical_positionとwindow_horizontal_position等の情報により決定される。PGストリームには、字幕ウインドウの垂直方向における画素数を示す情報も含まれている。
【０２４７】
この場合において、aligned字幕領域をフレームの上側で移動することが指示された場合、白反転矢印の先で示すように、aligned字幕領域がフレームの上側に形成されるようにフレーム構成が変更される。すなわち、各領域の大きさを維持しながら、ビデオの有効画枠の上側にaligned字幕領域が配置され、有効画枠の下側に黒色領域が配置される。
【０２４８】
図３３の右側に示すように、aligned字幕領域の移動後のフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,20)で表される。
【０２４９】
図３４は、フレーム構成の他の変更例を示す図である。
【０２５０】
図３４の左側は、top_align_flagの値が０であり、かつalign_offset=34であるときのフレームを示す。図３４の左側に示すフレームの構成は、図２１Ｂを参照して説明した構成と同じ構成であり、フレームの上側にaligned字幕領域が形成されている。
【０２５１】
図２１Ｂを参照して説明したように、図３４の左側に示すフレームのAlignOffsetは208、ビデオの有効画枠の垂直方向における画素数は804、aligned字幕領域の垂直方向における画素数は68である。
【０２５２】
図３４の左側に示すフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,20)で表され、字幕ウインドウの垂直方向における画素数は168である。
【０２５３】
この場合において、aligned字幕領域をフレームの下側で移動することが指示された場合、白反転矢印の先で示すように、aligned字幕領域がフレームの下側に形成されるようにフレーム構成が変更される。すなわち、各領域の大きさを維持しながら、ビデオの有効画枠の下側にaligned字幕領域が配置され、有効画枠の上側に黒色領域が配置される。
【０２５４】
図３４の右側に示すように、aligned字幕領域の移動後のフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,891)で表される。
【０２５５】
ビデオの有効画枠の位置がビデオ後処理部５３の配置処理部７２により再配置され、色設定部７３が再配置された有効画枠外の画素における所定の画素値を設定し、それによって、このような各領域の位置変更が行われる。
【０２５６】
フリップ機能を利用して、ユーザはaligned字幕領域の位置を好みに応じて変更することができる。再生装置１は、aligned字幕領域の位置を変更させたときでも、aligned字幕領域内における字幕ウインドウと有効画枠の間の距離を維持し、字幕が有効画枠から離れない場合がある。
【０２５７】
図３５は、aligned字幕領域の位置の選択に用いられるメニュー画面の例を示す図である。
【０２５８】
図３５の左側に示すメニュー画面においては、aligned字幕領域の位置をフレームの上側(top)にするか、フレームの下側(bottom)にするかを選択することができる。例えば、active_video_window()に含まれる情報に基づいて配置されるaligned字幕領域の位置およびその反対の位置が選択されたとき、フリップ機能によってaligned字幕領域が移動される。
【０２５９】
図３６は、図１８のactive_video_window()に含まれるfixed_subtitle_window_0およびfixed_subtitle_window_1について説明する図である。
【０２６０】
上述したように、人物の会話内容の字幕を表示する字幕ウインドウと、強制字幕を表示する字幕ウインドウを設定することが可能である。また、強制字幕を表示する字幕ウインドウについては、ビデオの有効画枠内に配置することが可能である。各字幕ウインドウの配置位置が、PGストリームに含まれる情報により指定される。
【０２６１】
フリップ機能によってフレーム構成が変更したときでも、強制字幕を表示する字幕ウインドウをオーサーが意図する位置に配置するために、fixed_subtitle_window_0およびfixed_subtitle_window_1が用いられる。
【０２６２】
fixed_subtitle_window_0は、フリップ機能によってビデオの有効画枠の位置が移動したときでも、ビデオの有効画枠の位置とID=0で識別される字幕ウインドウ#0の位置の関係を維持すべきかどうかを示す。例えば、fixed_subtitle_window_0の値が１であることは、ビデオの有効画枠の位置と字幕ウインドウ#0の位置の関係を維持すべきであることを示し、fixed_subtitle_window_0の値が０であることは、ビデオの有効画枠の位置と字幕ウインドウ#0の位置の関係を維持すべきでないことを示す。
【０２６３】
同様に、fixed_subtitle_window_1は、フリップ機能によってビデオの有効画枠の位置が移動したときでも、有効画枠の位置とID=1で識別される字幕ウインドウ#1の位置の関係を維持させるべきかどうかを示す。例えば、fixed_subtitle_window_1の値が１であることは、ビデオの有効画枠の位置と字幕ウインドウ#1の位置の関係を維持すべきであることを示し、fixed_subtitle_window_1の値が０であることは、ビデオの有効画枠の位置と字幕ウインドウ#1の位置の関係を維持すべきでないことを示す。
【０２６４】
図３６の左側に示すフレームにおいては、フレームの上側にaligned字幕領域が配置されている。また、ID=0で識別される字幕ウインドウ#0がaligned字幕領域に配置され、字幕ウインドウ#0に「ABCD」というアルファベットを含む字幕が表示されている。字幕ウインドウ#0のfixed_subtitle_window_0の値は０である。
【０２６５】
また、図３６の左側に示すフレームにおいては、ID=1で識別される字幕ウインドウ#1がビデオの有効画枠内に配置され、字幕ウインドウ#1に「****」という字幕が表示されている。字幕ウインドウ#1のfixed_subtitle_window_1の値は１である。字幕ウインドウ#1の左上端の画素は、ビデオの有効画枠の左上端における画素を基準として水平方向にｘ画素、垂直方向にｙ画素だけ離れた位置にある。
【０２６６】
この場合において、aligned字幕領域をフレームの下側で移動することが指示されたとき、図３６の右側に示すようにフレーム構成が変更される。フレーム構成の変更に従って、字幕ウインドウ#0は移動後のaligned字幕領域に配置される。
【０２６７】
字幕ウインドウ#0のfixed_subtitle_window_0の値は０であるから、フリップ機能によってaligned字幕領域の位置が移動する前後で、ビデオの有効画枠の位置と字幕ウインドウ#0の位置の関係は維持されない。
【０２６８】
一方、fixed_subtitle_window_1の値は１であるから、字幕ウインドウ#1は、ビデオの有効画枠の位置との位置関係を維持するようにして配置される。
【０２６９】
図３６の右側に示すフレームにおいて、字幕ウインドウ#1の左上端の画素は、ビデオの有効画枠の左上端における画素を基準として水平方向にｘ画素、垂直方向にｙ画素だけ離れた位置にある。aligned字幕領域の位置が移動する前後で、ビデオの有効画枠の位置と字幕ウインドウ#1の位置の関係は変化しない。
【０２７０】
従って、フリップ機能によってビデオの有効画枠の位置が移動したときでも、強制字幕を表示する字幕ウインドウは、オーサーが意図する位置に配置され得る。
【０２７１】
なお、図１９のflipped_AS_PG_textST_offset_id_refは、フリップ機能によってaligned字幕領域の位置を移動した場合において、移動後のaligned字幕領域に3D字幕を表示するときに用いるオフセット値の参照先を示す。図１９の例においては、active_video_window()について、１つのflipped_AS_PG_textST_offset_id_refを参照することが可能であるが、PGストリーム毎に、異なるflipped_AS_PG_textST_offset_id_refを参照するシンタクスが採用可能であり得る。
【０２７２】
移動前のaligned字幕領域に3D字幕を表示するときに用いるオフセット値はSTN_table_SS()のAS_PG_textST_offset_id_ref（図１８）によって参照されるが、移動後のaligned字幕領域に3D字幕を表示するときに用いるオフセット値は、異なるflipped_AS_PG_textST_offset_id_refによって参照される。
【０２７３】
従って、移動前のaligned字幕領域の字幕と、フリップ機能による移動後のaligned字幕領域の字幕を、異なるオフセット値を用いることにより３次元表示することができる。オフセット値を変えることができるため、オーサーは、移動前のaligned字幕領域の字幕と移動後のaligned字幕領域の字幕とで視聴者が感じる空間効果に変化をつけることができる。
【０２７４】
［シンタクスの変更例］
aligned字幕方式用のPGストリームとして、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームと、下側に配置したaligned字幕領域に表示する字幕のPGストリームを、それぞれ光ディスク２に記録することができる。
【０２７５】
図３７は、STN_table_SS()のシンタクスの他の例を示す図である。
【０２７６】
図３７のSTN_table_SS()には、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームと、下側に配置したaligned字幕領域に表示する字幕のPGストリームに関する記述が含まれる。
【０２７７】
is_top_AS_PG_TextSTは、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されているかどうかを示す。例えば、is_top_AS_PG_TextSTの値が１であることは、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていることを示し、is_top_AS_PG_TextSTの値が０であることは、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていないことを示す。
【０２７８】
is_bottom_AS_PG_TextSTは、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されているかどうかを示す。例えば、is_bottom_AS_PG_TextSTの値が１であることは、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていることを示し、is_bottom_AS_PG_TextSTの値が０であることは、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていないことを示す。
【０２７９】
is_top_AS_PG_TextSTの値が１であるときに記述されるstream_entry()には、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームのデータを収容するパケットのPIDが含まれる。また、stream_attribute()には、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームの属性情報が含まれる。top_AS_PG_textST_offset_sequence_id_refは、フレームの上側に配置したaligned字幕領域に字幕を３次元表示するときに用いるオフセット値の参照先を示す。
【０２８０】
is_bottom_AS_PG_TextSTの値が１であるときに記述されるstream_entry()には、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームのデータを収容するパケットのPIDが含まれる。また、stream_attribute()には、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームの属性情報が含まれる。bottom_AS_PG_textST_offset_sequence_id_refは、フレームの下側に配置したaligned字幕領域に字幕を３次元表示するときに用いるオフセット値の参照先を示す。
【０２８１】
図３７のSTN_table_SS()を用いた処理を説明する。上記と重複する説明は適宜省略する。
【０２８２】
以下、フレームの上側に配置されたaligned字幕領域に表示される字幕のPGストリームを、適宜、上側aligned字幕用PGストリームと呼び、フレームの下側に配置されたaligned字幕領域に表示される字幕のPGストリームを、適宜、下側aligned字幕用PGストリームと呼ぶ。
【０２８３】
図３７のSTN_table_SS()を用いて図２９の再生処理を行うとき、STN_table_SS()に記述された、現在選択されている言語の字幕のis_top_AS_PG_TextSTおよびis_bottom_AS_PG_TextSTの値がステップＳ１５で読み出される。
【０２８４】
さらに、ステップＳ１６において、aligned字幕方式用のPGストリームが再生対象として現在選択されている字幕に登録されているか否かを判定する。
【０２８５】
次いで、is_top_AS_PG_TextSTまたはis_bottom_AS_PG_TextStの値が１であり、aligned字幕方式用のPGストリームが登録されているとステップＳ１６において判定し、ステップＳ１７において、aligned字幕の再生処理が行われる。aligned字幕の再生処理では、ビデオが３次元表示される時に、字幕がaligned字幕方式で表示される。
【０２８６】
例えば、上側aligned字幕用PGストリームおよび下側aligned字幕用PGストリームの両方が光ディスク２に記録されているとき(is_top_AS_PG_TextSTおよびis_bottom_AS_PG_TextSTの値が１であるとき)、ユーザが選択したPGストリームが再生される。
【０２８７】
上側aligned字幕用PGストリームを対象とする図３２の字幕データ生成処理のステップＳ５３では、PGストリームをデコードして得られる字幕データについてtop_AS_PG_textST_offset_sequence_id_refで参照されるオフセット値に応じて視差が設定される。
【０２８８】
また、下側aligned字幕用PGストリームを対象とする図３２の字幕データ生成処理のステップＳ５３では、PGストリームをデコードして得られる字幕データについてbottom_AS_PG_textST_offset_sequence_id_refで参照されるオフセット値に応じて視差が設定される。
【０２８９】
従って、コンテンツのオーサーは、ビデオコンテンツに応じて、上側aligned字幕用PGストリームおよび下側aligned字幕用PGストリームを用意することができる。また、異なる値をオフセット値として設定できるため、コンテンツのオーサーは、フレームの上側に配置されたaligned字幕領域に表示する字幕と、フレームの下側に配置されたaligned字幕領域に表示する字幕の３次元効果を変更することができる。
【０２９０】
図３８は、active_video_window()の他のシンタックスの例を示す図である。
【０２９１】
図３８のactive_video_window()は、図３７のSTN_table_SS()に含まれるis_top_AS_PG_TestSTまたはis_bottom_AS_PG_TestSTのいずれかの値が１のときに記述され、aligned字幕方式用PGストリームが記録される。
【０２９２】
図３８の例には、図１９を参照して説明したtop_align_flagは含まれていない。また、align_offsetの代わりに、top_align_offsetおよびbottom_align_offsetが含まれる。
【０２９３】
top_offsetは、フレームの上側に形成された黒枠領域の幅（垂直方向における画素数）を２画素単位で表すことにより得られる値である。top_offsetの値が、例えば、69であることは、フレームの上側に形成された黒枠領域の幅が138画素であることを示す。top_offsetは、ビデオの有効画枠の垂直方向において最上部の画素の位置を求めるために用いられる。
【０２９４】
以下、フレーム内の位置については、フレームの左上端における１画素の位置を(x,y)=(0,0)、すなわち、フレームの上から１行目の垂直方向における画素の位置を０、フレームの左から１列目の水平方向における画素の位置を０として、画素数を用いて示す。
【０２９５】
ビデオの有効画枠の垂直方向における最上部の画素の位置であるTopOffsetは、top_offsetの値を用いて、下式（８）により求められる。
TopOffset = 2 * top_offset ．．． （８）
【０２９６】
top_offsetは、下式（９）により示される範囲の値をとる。
．．． （９）
【０２９７】
式（９）のFrameHeightは、フレーム全体の垂直方向における画素数を示し、下式（１０）により得られる。式（１０）のPic_height_in_map_units_minus1、frame_mbs_only_flag、frame_crop_top_offset、およびframe_crop_bottom_offsetは全て、MVCで符号化したビデオストリームに含まれるパラメータである。
FrameHeight = 16 * (pic_height_in_map_units_minus1 + 1) * (2 - frame_mbs_only_flag) - 2 * (2 - frame_mbs_only_flag) * (frame_crop_top_offset+frame_crop_bottom_offset) ．．． （１０）
【０２９８】
bottom_offsetは、フレームの下側に形成された黒枠領域の幅（垂直方向における画素数）を２画素単位で表すことにより得られる値である。bottom_offsetの値が、例えば、69であることは、フレームの下側に形成された黒枠領域の幅が138画素であることを示す。bottom_offsetは、ビデオの有効画枠の垂直方向における最下部の画素の位置を求めるために用いられる。
【０２９９】
ビデオの有効画枠の垂直方向において最下部の画素の位置であるBottomOffsetは、bottom_offsetの値を用いて、下式（１１）により求められる。
BottomOffset ＝ FrameHeight − ．．． （１１）
【０３００】
top_align_offsetは、フレームの上側左端を原点(0,0)として、再配置されるビデオの有効画枠の垂直方向における上側左端の画素の位置を２画素単位で表すことにより得られる値である。top_align_offsetは、is_top_AS_PG_TextSTの値が１であり、かつ上側aligned字幕用PGストリームを再生して字幕を表示するときのビデオの有効画枠の再配置位置を得るために用いられる。
【０３０１】
top_align_offsetは、下式（１２）により示される範囲の値をとる。
．．． （１２）
【０３０２】
再配置されたビデオの達成画枠の垂直方向における最上部の画素の位置であるAlignOffsetは、top_align_offsetの値を用いて、下式（１３）により得られる。
AlignOffset ＝ 2＊ top_align_offset ．．． （１３）
【０３０３】
図３９Ａは、top_align_offsetの値を用いて得られるAlignOffsetの例を示す図である。
【０３０４】
図３９Ａに示すようにtop_align_offset=104のとき、1920×1080画素のフレームについては、AlginOffsetは208となる。ビデオの有効画枠の上側左端における１画素の位置は、(x,y)=(0,208)で表される。
【０３０５】
図３９Ａおよび図３９Ｂの例では、デコーディング直後のフレームの上側と下側の黒枠領域の幅は、図２０を参照して説明したように、138である。top_offsetおよびbottom_offsetの値は69である。
【０３０６】
図３８の説明に戻って、bottom_align_offsetは、フレームの上側左端を原点(0,0)として、再配置されるビデオの有効画枠の垂直方向における上側左端の画素の位置を２画素単位で表すことにより得られる値である。bottom_align_offsetは、is_bottom_AS_PG_TextSTの値が１であり、かつ下側aligned字幕用PGストリームを再生して字幕を表示するときに、ビデオの有効画枠の再配置の位置を得るために用いられる。
【０３０７】
bottom_align_offsetは、下式（１４）により示される範囲の値をとる。
．．． （１４）
【０３０８】
再配置されたビデオの達成画枠の垂直方向における最下部の画素の位置であるAlignOffsetは、bottom_align_offsetの値を用いて、下式（１５）により得られる。
AlignOffset = 2 * bottom_align_offset ．．． （１５）
【０３０９】
図３９Ｂは、bottom_align_offsetを用いて得られるAlignOffsetの例を示す図である。
【０３１０】
図３９Ｂに示すようにbottom_align_offset=34のとき、1920×1080画素のフレームについては、AlginOffsetは68となる。ビデオの有効画枠の上側左端における１画素の位置は、(x,y)=(0,68)で表される。
【０３１１】
図３８のactive_video_window()を用いた処理を説明する。上記と重複する説明は適宜省略する。
【０３１２】
図３１のビデオデータ生成処理が図３８のactive_video_window()を用いて行われるとき、ステップＳ４２において、active_video_window()に記述された情報がPlayListファイルから読み出される。
【０３１３】
ステップＳ４３において、top_offsetおよびbottom_offsetに基づいて、TopOffsetおよびBottomOffsetを得るとともに、ビデオの有効画枠を切り取る。
【０３１４】
ステップＳ４４において、ビデオの有効画枠の配置位置を得るとともに、得られた位置に有効画枠を配置する。
【０３１５】
例えば、is_top_AS_PG_TextSTの値が１であり、かつ上側aligned字幕用PGストリームを再生して字幕を表示するとき、上記配置位置は、図３９Ａを参照して説明したように、top_align_offsetを用いて得られる。
【０３１６】
一方、is_bottom_AS_PG_TextSTの値が１であり、かつ下上側aligned字幕用PGストリームを再生して字幕を表示するとき、上記配置位置は、図３９Ｂを参照して説明したように、bottom_align_offsetを用いて得られる。
【０３１７】
その後、上側aligned字幕用PGストリームおよび下側aligned字幕用PGストリームをデコードし、aligned字幕領域に字幕を表示する。
【０３１８】
［情報処理装置の構成と動作］
図４０は、情報処理装置１０１の構成例を示すブロック図である。
【０３１９】
情報処理装置１０１において、再生装置１により再生されるコンテンツが生成され、BD等の記録媒体に記録される。情報処理装置１０１によりコンテンツが記録される記録媒体は、光ディスク２として再生装置１に提供される。
【０３２０】
図４０に示すように、情報処理装置１０１は、ビデオエンコーダ１１１、PGエンコーダ１１２、PlayList生成部１１３、多重化部１１４、および記録部１１５から構成される。
【０３２１】
ビデオエンコーダ１１１は、図３のMVCエンコーダと同様の構成を有する。ビデオエンコーダ１１１は、入力されたビデオデータをMVC方式で符号化し、Base view videoのストリームとDependent view videoのストリームを多重化部１１４に出力する。
【０３２２】
PGエンコーダ１１２は、入力された字幕のデータを符号化し、3D字幕方式用のPGストリームとaligned字幕方式用のPGストリームを多重化部１１４に出力する。
【０３２３】
PlayList生成部１１３は、上述した情報を含むPlayListファイルを生成し、多重化部１１４に出力する。
【０３２４】
多重化部１１４は、ビデオエンコーダ１１１から供給されたBase view videoのストリーム、Dependent view videoのストリーム、およびPGエンコーダ１１２から供給されたPGストリームを多重化し、TSを記録部１１５に出力する。
【０３２５】
記録部１１５は、多重化部１１４から供給されたTSとPlayList生成部１１３により生成されたPlayListファイルを含むコンテンツを生成し、コンテンツのデータをBD等の記録媒体に記録する。
【０３２６】
図４１のフローチャートを参照して、情報処理装置１０１の記録処理について説明する。
【０３２７】
ステップＳ１０１において、ビデオエンコーダ１１１は、入力されたビデオデータをMVC方式で符号化し、Base view videoのストリームとDependent view videoのストリームを生成する。
【０３２８】
ステップＳ１０２において、PGエンコーダ１１２は、入力された字幕のデータを符号化し、3D字幕方式用のPGストリームとaligned字幕方式用のPGストリームを生成する。
【０３２９】
ステップＳ１０３において、PlayList生成部１１３はPlayListファイルを生成する。
【０３３０】
ステップＳ１０４において、多重化部１１４は、ビデオエンコーダ１１１により生成されたBase view videoのストリーム、Dependent view videoのストリーム、およびPGエンコーダ112により生成されたPGストリームを多重化し、TSを生成する。
【０３３１】
ステップＳ１０５において、記録部１１５は、多重化部１１４により生成されたTSおよびPlayList生成部１１３により生成されたPlayListファイルをBD等の記録媒体に記録し、処理を終了する。
【０３３２】
［変形例］
以上においては、有効画枠内に表示されるビデオがBase viewとDependent viewのビデオである場合について説明したが、表示順で配置された２つのフレームの画像間に視差が生じない2D画像を表示することが可能であってもよい。BD等の記録媒体に記録されるコンテンツが、2D画像データを含む2Dコンテンツであるときでも、上述した3Dコンテンツの場合と同様に、再生装置において、PlayListの記述に基づいて有効画枠を切り出し、位置をずらして形成したaligned字幕領域に字幕を表示することが可能であってもよい。
【０３３３】
［active_video_window()の位置］
上記では、図１９および図３７を参照して説明したactive_video_window()はPlayListに記述されるが、他の位置に記述してもよい。
【０３３４】
例えば、Base view videoストリームおよびDependent view videoストリームを同じTSとして、またはそれぞれ異なるTSとして多重化した後、放送波および放送網を介して送信することが考えられる。
【０３３５】
この場合、active_video_window()は、例えば、送信制御情報であるProgram Specific Information(PSI)、Base view videoストリーム、またはDependent view videoストリーム（エレメンタリーストリーム）に記述される。
【０３３６】
図４２は、active_video_window()がPSIに含まれるProgram Map Table(PMT)に記述される例を示す図である。
【０３３７】
図４２に示すように、active_video_window()を記述する記述子を新たに定義し、定義した記述子にactive_video_window()を記述してもよい。図４２の例では、図３７のactive_video_window()が記述される。また、例えば、65がdescriptor_tagの値として与えられる。
【０３３８】
この場合、図４３の情報処理装置１０１の情報生成部１２１は、active_video_window()が記述されたPMTを生成し、出力する。図４３に示す構成では、図４０と同じ構成は、同じ参照番号とともに与えられる。図４３の例では、図４０のPlayList生成部１１３の代わりに、情報生成部１２１が設けられる。
【０３３９】
情報生成部１２１から出力されたPMTは、多重化部１１４によりBase view videoストリームおよびDependent view videoストリームと多重化される。多重化により得られたTSは、放送波および放送網を介して送信される。
【０３４０】
TSを受信した再生装置では、PMTに記述されたactive_video_window()に基づいて、上記のように字幕を表示する。
【０３４１】
active_video_window()は、Selection Information Table(SIT)等、PMT以外の他の箇所に記述してもよい。
【０３４２】
図４４は、active_video_window()がエレメンタリーストリームに記述された例を示す図である。
【０３４３】
図４４に示すように、active_video_window()は、SEIに記述することができる。SEIは、Base view videoストリームおよびDependent view videoストリームを構成する各ピクチャのデータに付加される付加情報である。active_video_window()を含むSEIは、Base view videoストリームおよびDependent view videoストリームの少なくともいずれか一方のストリームの各ピクチャに付加される。
【０３４４】
図４５は、Access Unitの構成を示す図である。
【０３４５】
図４５に示すように、Base view videoストリームの１つのピクチャのデータを含むBase view videoのAccess Unitは、Dependent view videoストリームの１つのピクチャのデータを含むDependent view videoのAccess Unitと同じ構成を有する。１つのAccess Unitは、Access Unitの先頭を示すAUデリミタ、SPS、PPS、SEI、およびピクチャデータで構成される。
【０３４６】
この場合、図４３の情報処理装置１０１の情報生成部１２１は、active_video_window()が記述されたSEIを生成し、バス（図示せず）を介してSEIをビデオエンコーダ１１１に出力する。ビデオエンコーダ１１１では、H.264 AVC/MVCの規格に従ってL画像データおよびR画像データを符号化して得られるBase view videoおよびDependent view videoの各ピクチャのデータにＳＥＩが付加される。
【０３４７】
active_video_window()が記述されたＳＥＩとともに付加したピクチャのデータを含む、Base view videoストリームおよびDependent view videoストリームは、多重化された後、放送波または放送網を介して送信されるか、または記録媒体に記録される。
【０３４８】
SEIが読み出される再生装置では、SEIに記述されたactive_video_window()の値に基づいて、上記のように字幕が表示される。
【０３４９】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアおよびソフトウェアにより実行することができる。一連の処理をソフトウェアにより実行するとき、そのソフトウェアを構成するプログラムが、専用のハードウェアを組み込んだコンピュータおよび汎用のパーソナルコンピュータに、プログラム記録媒体からインストールされる。
【０３５０】
図４６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３５１】
中央処理装置(CPU)１５１、読取り専用記憶装置(ROM)１５２、ランダムアクセス記憶装置(RAM)１５３は、バス１５４により相互に接続される。
【０３５２】
バス１５４には、さらに、入出力インタフェース１５５が接続されている。入出力インタフェース１５５は、キーボードまたはマウス等を含む入力部１５６、ならびにディスプレイまたはスピーカ等を含む出力部１５７に接続される。また、入出力インタフェース１５５は、ハードディスクまたは不揮発性メモリ等を含む記憶部１５８、ネットワークインタフェース等を含む通信部１５９、ならびにリムーバブルメディア１６１を駆動するドライブ１６０に接続される。
【０３５３】
以上のように構成されるコンピュータでは、CPU１５１が、例えば、記憶部１５８に記憶されているプログラムを、入出力インタフェース１５５およびバス１５４を介してRAM１５３にロードして実行するように、上述した一連の処理が行われる。
【０３５４】
CPU１５１が実行するプログラムは、例えば、リムーバブルメディア１６１に記録されるか、またはローカルエリアネットワーク、インターネット、もしくはデジタル放送等の有線もしくは無線の伝送媒体を介して提供され、記憶部１５８にインストールされる。
【０３５５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理を行うプログラムおよび／または呼び出しが行われた必要なタイミングで処理が行われるプログラムであってもよい。
【０３５６】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０３５７】
設計要件および他の要因に応じて、各種変更、組み合わせ、副次的組み合わせ、および改変が添付の請求項またはその等価物の範囲内で行われ得ることを当業者は理解する。
【符号の説明】
【０３５８】
１ 再生装置， ２ 記録媒体， ３ 表示装置， ３１ コントローラ， ３２ ディスクドライブ， ３３ メモリ， ３４ デコード部， ３５ 操作入力部， ５１ 分離部， ５２ ビデオデコーダ， ５３ ビデオ後処理部， ５４ 選択部， ５５ PGデコーダ， ５６ PG後処理部， ５７ 選択部， ５８，５９ 合成部， ７１ 切り出し部， ７２ 配置処理部， ７３ 色設定部， ８１ 配置位置決定部， ８２ オフセット適用部
【特許請求の範囲】
【請求項１】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルと、を記録媒体から読み出す読み出し部と、
前記基本ストリームおよび前記拡張ストリームを復号する第１の復号部と、
前記字幕ストリームを復号する第２の復号部と、
前記第１のオフセット値を用いて前記有効画枠の上端の位置を求めるとともに、前記第２のオフセット値を用いて前記有効画枠の下端の位置を求め、前記基本ストリームおよび前記拡張ストリームを復号して得られた前記フレームから、前記左目用の画像と前記右目用の画像の前記有効画枠を切り出す切り出し部と、
前記第３の領域が前記有効画枠の下に形成されるように、前記第３のオフセット値を用いて求められた位置に、前記左目用の画像と前記右目用の画像の前記有効画枠を配置する配置処理部と、
前記フレーム内の領域のうち、前記配置処理部により配置された前記有効画枠外の領域に所定の色を設定する設定部と、
前記第２の復号部により復号された前記字幕にオフセットを設定し、左目用の字幕と右目用の字幕を生成する生成部と、
前記有効画枠外の領域に前記所定の色が設定された前記左目用の画像と、前記左目用の字幕を合成する第１の合成部と、
前記有効画枠外の領域に前記所定の色が設定された前記右目用の画像と、前記右目用の字幕を合成する第２の合成部と
を備える再生装置。
【請求項２】
前記生成部は、前記オフセットの値を、H.264 AVC/MVCのビデオストリームから取得する
請求項１に記載の再生装置
【請求項３】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、
上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、
前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルと
を含む情報を記録した記録媒体。
【請求項４】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化し、
上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化し、
前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルを生成し、
前記左目用の画像と前記右目用の画像を符号化して得られる基本ストリームおよび拡張ストリームと、前記字幕ストリームと、前記プレイリストファイルとを記録媒体に記録させる
ステップを含む情報処理方法。
【請求項１】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルと、を記録媒体から読み出す読み出し部と、
前記基本ストリームおよび前記拡張ストリームを復号する第１の復号部と、
前記字幕ストリームを復号する第２の復号部と、
前記第１のオフセット値を用いて前記有効画枠の上端の位置を求めるとともに、前記第２のオフセット値を用いて前記有効画枠の下端の位置を求め、前記基本ストリームおよび前記拡張ストリームを復号して得られた前記フレームから、前記左目用の画像と前記右目用の画像の前記有効画枠を切り出す切り出し部と、
前記第３の領域が前記有効画枠の下に形成されるように、前記第３のオフセット値を用いて求められた位置に、前記左目用の画像と前記右目用の画像の前記有効画枠を配置する配置処理部と、
前記フレーム内の領域のうち、前記配置処理部により配置された前記有効画枠外の領域に所定の色を設定する設定部と、
前記第２の復号部により復号された前記字幕にオフセットを設定し、左目用の字幕と右目用の字幕を生成する生成部と、
前記有効画枠外の領域に前記所定の色が設定された前記左目用の画像と、前記左目用の字幕を合成する第１の合成部と、
前記有効画枠外の領域に前記所定の色が設定された前記右目用の画像と、前記右目用の字幕を合成する第２の合成部と
を備える再生装置。
【請求項２】
前記生成部は、前記オフセットの値を、H.264 AVC/MVCのビデオストリームから取得する
請求項１に記載の再生装置
【請求項３】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、
上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、
前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルと
を含む情報を記録した記録媒体。
【請求項４】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化し、
上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化し、
前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルを生成し、
前記左目用の画像と前記右目用の画像を符号化して得られる基本ストリームおよび拡張ストリームと、前記字幕ストリームと、前記プレイリストファイルとを記録媒体に記録させる
ステップを含む情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１Ａ】
【図２１Ｂ】
【図２２】
【図２３】
【図２４】
【図２５Ａ】
【図２５Ｂ】
【図２５Ｃ】
【図２５Ｄ】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９Ａ】
【図３９Ｂ】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１Ａ】
【図２１Ｂ】
【図２２】
【図２３】
【図２４】
【図２５Ａ】
【図２５Ｂ】
【図２５Ｃ】
【図２５Ｄ】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９Ａ】
【図３９Ｂ】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【公開番号】特開２０１３−７０３８５（Ｐ２０１３−７０３８５Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１２−２３８４３６（Ｐ２０１２−２３８４３６）
【出願日】平成２４年１０月２９日（２０１２．１０．２９）
【分割の表示】特願２０１２−５３４４５０（Ｐ２０１２−５３４４５０）の分割
【原出願日】平成２３年２月１１日（２０１１．２．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５９６１０２１２６）ソニー ピクチャーズ エンターテインメント インコーポレイテッド (46)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２４年１０月２９日（２０１２．１０．２９）
【分割の表示】特願２０１２−５３４４５０（Ｐ２０１２−５３４４５０）の分割
【原出願日】平成２３年２月１１日（２０１１．２．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５９６１０２１２６）ソニー ピクチャーズ エンターテインメント インコーポレイテッド (46)
【Ｆターム（参考）】
[ Back to top ]