記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
【課題】撮影に用いられた複数のカメラの情報を再生側の装置に提供することができるようにする。
【解決手段】本技術の一側面の記録装置は、第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部とを備える。
【解決手段】本技術の一側面の記録装置は、第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、特に、撮影に用いられた複数のカメラの情報を再生側の装置に提供することができるようにした記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置に関する。
【背景技術】
【０００２】
近年、立体視が可能な画像を収録した3Dコンテンツが注目されている。3Dコンテンツのビデオデータには、左目用の画像（Ｌ画像）と右目用の画像（Ｒ画像）のデータが含まれる。Ｌ画像に写る被写体とＲ画像に写る被写体には、視差に相当するずれがある。
【０００３】
例えば視差が設定されたＬ画像とＲ画像を交互に表示し、アクティブシャッタメガネをかけたユーザの左目と右目にそれぞれ届けることによって、被写体を立体的に認識させることが可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２８０５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザが知覚する視差が視聴環境によって異なるため、常に最適な視差で視聴させることは難しい。例えば、表示デバイス上における表示画像の大きさによっても最適な視差は異なるし、視聴距離によっても最適な視差は異なる。
【０００６】
Ｌ画像とＲ画像から撮影時におけるカメラの位置等を推定し、それに合わせて視差を調整することも試みられているが、撮影時の状況を再生側で完全に復元することは困難である。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、撮影に用いられた複数のカメラの情報を再生側の装置に提供することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の第１の側面の記録装置は、第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部とを備える。
【０００９】
第１のカメラと第２のカメラは、それぞれ、レンズを少なくとも有する。レンズに取り込まれた光の光電変換を行う撮像素子として、第１のカメラ用の撮像素子と第２のカメラ用の撮像素子がそれぞれ設けられるようにしてもよいし、１つの撮像素子が第１のカメラと第２のカメラにより共有して用いられるようにしてもよい。
【００１０】
第１のカメラと第２のカメラは、記録装置の内部に設けられるものであってもよいし、記録装置の外部に設けられるものであってもよい。記録装置の外部に設けられる場合、第１のカメラと第２のカメラにより撮影された画像は、有線、または無線の通信によって記録装置に供給される。
【００１１】
左目用の画像を撮影する前記第１のカメラと、右目用の画像を撮影する前記第２のカメラとをさらに設けることができる。この場合、前記符号化部には、前記第１のカメラで撮影された左目用の画像を前記Base viewビデオストリームとして符号化させ、前記第２のカメラで撮影された右目用の画像を前記Non-base viewビデオストリームとして符号化させることができる。
【００１２】
前記符号化部には、前記光軸間隔の情報として、２つの値を含む情報を記録させることができる。この場合、前記第１のカメラと前記第２のカメラの光軸間隔は、前記２つの値のうちの一方の値を他方の値で除算することによって表される。
【００１３】
前記符号化部には、前記輻輳角の情報として、２つの値を含む情報を記録させることができる。この場合、前記第１のカメラと前記第２のカメラの輻輳角は、前記２つの値のうちの一方の値を他方の値で除算することによって表される。
【００１４】
本技術の第２の側面の再生装置は、第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する復号部を備える。
【００１５】
前記SEIに基づいて、前記Base viewビデオストリームを復号して得られた画像と、前記Non-base viewビデオストリームを復号して得られた画像との視差を調整し、表示させる表示制御部をさらに設けることができる。
【００１６】
前記表示制御部には、前記Base viewビデオストリームを復号して得られた画像を左目用の画像として表示させ、前記Non-base viewビデオストリームを復号して得られた画像を右目用の画像として表示させることができる。
【００１７】
本技術の第３の側面の記録再生装置は、第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と、前記記録媒体に記録された前記Base viewビデオストリームと前記Non-base viewビデオストリームとを復号する復号部とを備える。
【発明の効果】
【００１８】
本技術によれば、撮影に用いられた複数のカメラの情報を再生側の装置に提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本技術の一実施形態に係る記録再生システムの構成例を示す図である。
【図２】H.264/MPEG-4 MVCについて説明する図である。
【図３】基線長と輻輳角について説明する図である。
【図４】記録装置の構成例を示すブロック図である。
【図５】Non-base viewビデオストリームのデータ構造を示す図である。
【図６】user_data_unregistered SEIのシンタクスを示す図である。
【図７】mdp_idを示す図である。
【図８】BASELINE LENGTH pack()を示す図である。
【図９】CONVERGENCE ANGLE pack()を示す図である。
【図１０】記録装置の記録処理について説明するフローチャートである。
【図１１】再生装置の構成例を示すブロック図である。
【図１２】再生装置の再生処理について説明するフローチャートである。
【図１３】図１２のステップＳ２３において行われる視差調整処理について説明するフローチャートである。
【図１４】輻輳角、基線長、視差の関係について説明する図である。
【図１５】視差の調整について説明する図である。
【図１６】記録再生システムの構成例を示すブロック図である。
【図１７】記録再生システムの他の構成例を示すブロック図である。
【図１８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．記録再生システムについて
２．記録装置について
３．再生装置について
４．変形例
【００２１】
＜記録再生システムについて＞
図１は、本技術の一実施形態に係る記録再生システムの構成例を示す図である。
【００２２】
図１の記録再生システムは、記録装置１、再生装置２、および表示装置３から構成される。再生装置２と表示装置３は、HDMI(High Definition Multimedia Interface)ケーブルなどのケーブル４を介して接続される。
【００２３】
記録装置１は3D画像の撮影と記録が可能なビデオカメラである。記録装置１の前面には、記録装置１から被写体に向かって右側の位置にレンズ１１Ｒが設けられ、左側の位置にレンズ１１Ｌが設けられる。記録装置１の内部には、レンズ１１Ｒにより取り込まれた光に基づいてＲ画像を生成するための光学系を有する右目用のカメラと、レンズ１１Ｌから取り込まれた光に基づいてＬ画像を生成するための光学系を有する左目用のカメラが設けられる。
【００２４】
記録装置１は、Ｒ画像とＬ画像をH.264/MPEG-4 MVC(Multi-view Video coding)によって符号化し、AVCHD(Advanced Video Codec High Definition)などの記録フォーマットに従って内部の記録媒体に記録する。
【００２５】
ここで、H.264/MPEG-4 MVCについて図２を参照して説明する。H.264/MPEG-4 MVCでは、Base viewビデオストリームと呼ばれるビデオストリームと、Non-base viewビデオストリームと呼ばれるビデオストリームが定義されている。
【００２６】
Base viewビデオストリームは、Ｌ画像とＲ画像のうちの例えばＬ画像をH.264/AVCによって符号化することによって得られたストリームである。図２の縦方向の矢印で示すように、Base viewのピクチャには、他のviewのピクチャを参照画像とする予測符号化が許されていない。
【００２７】
一方、Non-base viewのピクチャには、Base viewのピクチャを参照画像とする予測符号化が許されている。例えばＬ画像をBase viewにするとともにＲ画像をNon-base viewとして符号化を行った場合、その結果得られるＲ画像のビデオストリームであるNon-base viewビデオストリームのデータ量は、Ｌ画像のビデオストリームであるBase viewビデオストリームのデータ量に比較して少なくなる。
【００２８】
なお、H.264/AVCでの符号化であるから、図２の横方向の矢印で示すように、Base viewのピクチャについて、時間方向の予測符号化が行われている。また、Non-base viewのピクチャについても、view間の予測とともに、時間方向の予測符号化が行われている。Non-base viewのピクチャを復号するには、符号化時に参照先とした、対応するBase viewのピクチャの復号が先に終了している必要がある。
【００２９】
記録装置１により撮影されたＬ画像とＲ画像の符号化は、このようなH.264/MPEG-4 MVCによって行われる。記録装置１においては、Ｌ画像とＲ画像の符号化時、Ｌ画像の撮影に用いられた左目用のカメラとＲ画像の撮影に用いられた右目用のカメラとのカメラの状況に関する情報であるカメラ情報が、Non-base viewビデオストリームに記録される。
【００３０】
カメラ情報には例えば以下の内容を表す情報が含まれる。
１. カメラ光軸間隔（基線長）[mm]
２. 輻輳角[度]
３. 35mm換算焦点距離[mm]
【００３１】
図３に示すように、基線長は、レンズ１１Ｒの光軸位置である位置PRと、レンズ１１Ｌの光軸位置である位置PLの距離（mm）である。輻輳角は、被写体の位置を位置Ｐとして、位置Ｐと位置PRを結ぶ直線と、位置Ｐと位置PLを結ぶ直線との角度である。
【００３２】
35mm換算焦点距離は、撮影時における左目用のカメラと右目用のカメラの35mm換算の焦点距離（mm）である。
【００３３】
後述するように、記録装置１は、Non-base viewビデオストリームのuser_data_unregistered SEIの中にMDP(Modified DV pack Meta)と呼ぶデータ構造を定義し、そのデータ構造を用いてカメラ情報を記録する。user_data_unregistered SEIは任意のユーザデータであり、各ピクチャに付加される。MDPは、撮影時にリアルタイムで記録される付加情報である。
【００３４】
図１の再生装置２は、AVCHDによって記録されたビデオデータの再生が可能なプレーヤである。再生装置２は、記録装置１により撮影され、記録装置１の内部の記録媒体に記録された3DビデオのデータをUSB(Universal Serial Bus)ケーブルやHDMIケーブルなどを介して取り込み、再生する。
【００３５】
再生装置２は、Base viewビデオストリームを再生して得られたＬ画像と、Non-base viewビデオストリームを再生して得られたＲ画像の視差を、撮影時にNon-base viewビデオストリームに記録されたカメラ情報を用いて調整する。表示装置３の表示デバイスに表示したときに最適な視差になるように、視差の調整には、適宜、表示装置３の表示デバイスのサイズなどの情報も用いられる。
【００３６】
再生装置２は、視差を調整したＬ画像とＲ画像をケーブル４を介して表示装置３に出力し、交互に表示させる。表示装置３はステレオ画像の表示に対応したTVである。表示装置３には、LCD(Liquid Crystal Display)などよりなる表示デバイスが設けられる。
【００３７】
このように、Ｌ画像とＲ画像の撮影に用いられたカメラの情報をNon-base viewビデオストリームに記録しておくことによって、記録装置１は、撮影時におけるカメラの設置位置等の状況を再生装置２に提供することができる。
【００３８】
再生装置２は、Non-base viewビデオストリームに記録されたカメラ情報を参照することによって、撮影時におけるカメラの状況を知ることができる。また、再生装置２は、Ｌ画像とＲ画像の視差を撮影時におけるカメラの状況に応じて調整することによって、記録装置１と被写体の位置関係を再現することが可能となり、見やすい画像をユーザに提供することができる。
【００３９】
＜記録装置について＞
［記録装置の構成］
図４は、記録装置１の構成例を示すブロック図である。記録装置１は、カメラ部２１、記録部２２、および記録媒体２３から構成される。
【００４０】
カメラ部２１は、右目用カメラ３１Ｒと左目用カメラ３１Ｌから構成される。
【００４１】
右目用カメラ３１Ｒは、レンズ１１Ｒと撮像素子１２Ｒから構成され、レンズ１１Ｒによって取り込まれた光の光電変換を撮像素子１２Ｒにおいて行う。右目用カメラ３１Ｒは、光電変換を行うことによって得られたビデオ信号に対してA/D変換などの処理を施し、Ｒ画像のデータを出力する。
【００４２】
左目用カメラ３１Ｌは、レンズ１１Ｌと撮像素子１２Ｌから構成され、レンズ１１Ｌによって取り込まれた光の光電変換を撮像素子１２Ｌにおいて行う。左目用カメラ３１Ｌは、光電変換を行うことによって得られたビデオ信号に対してA/D変換などの処理を施し、Ｌ画像のデータを出力する。
【００４３】
記録部２２は、MVCエンコーダ４１、カメラ情報取得部４２、および記録制御部４３から構成される。
【００４４】
MVCエンコーダ４１は、右目用カメラ３１Ｒにより撮影されたＲ画像と左目用カメラ３１Ｌにより撮影されたＬ画像をH.264/MPEG-4 MVCによって符号化する。MVCエンコーダ４１は、Base viewビデオエンコーダ５１、Non-base viewビデオエンコーダ５２、および統合部５３から構成される。右目用カメラ３１Ｒから出力されたＲ画像のデータはNon-base viewビデオエンコーダ５２に入力され、左目用カメラ３１Ｌから出力されたＬ画像のデータはBase viewビデオエンコーダ５１とNon-base viewビデオエンコーダ５２に入力される。
【００４５】
Base viewビデオエンコーダ５１は、左目用カメラ３１Ｌにより撮影されたＬ画像をH.264/AVCによって符号化し、Base viewビデオストリームを統合部５３に出力する。
【００４６】
Non-base viewビデオエンコーダ５２は、右目用カメラ３１Ｒにより撮影されたＲ画像を、適宜、左目用カメラ３１Ｌにより撮影されたＬ画像を参照画像として用いて符号化し、Non-base viewビデオストリームを生成する。
【００４７】
また、Non-base viewビデオエンコーダ５２は、Non-base viewビデオストリームの各ピクチャのSEIとして、カメラ情報取得部４２から供給された基線長、輻輳角、35mm換算焦点距離を表すuser_data_unregistered SEIを付加する。カメラ情報取得部４２からは、カメラ部２１から取得されたカメラ情報である右目用カメラ３１Ｒと左目用カメラ３１Ｌの基線長、輻輳角、35mm換算焦点距離の情報が供給されてくる。
【００４８】
図５は、Non-base viewビデオストリームのデータ構造を示す図である。
【００４９】
図５Ａは、１つのGOP(Group Of Picture)に含まれるピクチャのうちの先頭のピクチャのデータを格納するAccess Unitのデータ構造を示す図である。H.264/AVCにおいて、１つのAccess Unitには１ピクチャ分のデータが格納される。
【００５０】
図５Ａに示すように、Non-base viewの先頭のピクチャのデータを格納するAccess Unitは、View and dependency representationデリミタ、Subset SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、SEI(Supplemental Enhancement Information)、およびSliceから構成される。
【００５１】
View and dependency representationデリミタはAccess Unitの先頭を表す。Subset SPSには、シーケンス全体の符号化に関する情報が含まれ、PPSには、Access Unitにデータが格納されるピクチャの符号化に関する情報が含まれる。SEIは付加情報であり、MVC_scalable_nesting SEI、user_data_unregistered SEIなどの各種のSEIメッセージが含まれる。
【００５２】
図５Ａの例においては、例えば再生時に表示する字幕の視差の情報（Offset metadata）のuser_data_unregistered SEIが含まれている。カメラ情報取得部４２により取得された基線長、輻輳角、35mm換算焦点距離の情報は、字幕の視差の情報のuser_data_unregistered SEIとは異なるuser_data_unregistered SEIとして記録される。
【００５３】
SEIに続くSliceが、１GOPの先頭のピクチャ（Ｒ画像）のデータである。Sliceに続けて、Filler Data、End of Sequence、End of streamが含まれることもある。
【００５４】
図５Ｂは、１つのGOPに含まれるピクチャのうちの２番目以降のピクチャのデータを格納するAccess Unitのデータ構造を示す図である。図５Ｂに示すように、１GOPの２番目以降のピクチャのデータを格納するAccess Unitは、View and dependency representationデリミタとSliceから構成される。PPS、SEI等の情報が含まれることもある。
【００５５】
なお、Base viewビデオエンコーダ５１により生成されるBase viewビデオストリームのAccess Unitのデータ構造は、基線長、輻輳角、35mm換算焦点距離を表すuser_data_unregistered SEIが記録されない点を除いて、図５に示すデータ構造と基本的に同じデータ構造を有する。
【００５６】
図６は、基線長、輻輳角、35mm換算焦点距離に関するMDPを格納するuser_data_unregistered SEIのシンタクスを示す図である。
【００５７】
２行目のuuid_iso_iec_11578は128ビットのフィールドであり、“17ee8c60-f84d-11d9-8cd6-0800200c9a66”が設定される。
【００５８】
３行目のTypeIndicatorは32ビットのフィールドであり、SEIメッセージが伝送するユーザデータの種類を表す。“0x4D 44 50 4D”はMDPを表す。TypeIndicatorが“0x4D 44 50 4D”である場合に５行目以降のModifiedDVPackMeta()が設定される。ModifiedDVPackMeta()にはnumber_of_modified_dv_pack_entriesとone_modified_dv_pack()が含まれる。
【００５９】
６行目のnumber_of_modified_dv_pack_entriesは8ビットのフィールドであり、user_data_unregistered SEIに含まれるone_modified_dv_pack()の数を表す。one_modified_dv_pack()にはmdp_idとmdp_dataが含まれる。
【００６０】
９行目のmdp_idは8ビットのフィールドであり、このフィールドが含まれるone_modified_dv_pack()の種類を表す。
【００６１】
図７は、mdp_idを示す図である。図７に示すように、mdp_idが0x20であることは、one_modified_dv_pack()がBASELINE LENGTH pack()であることを表す。BASELINE LENGTH pack()は、基線長の情報をmdp_dataとして含むone_modified_dv_pack()である。
【００６２】
mdp_idが0x21であることは、one_modified_dv_pack()がCONVERGENCE ANGLE pack()であることを表す。CONVERGENCE ANGLE pack()は、輻輳角の情報をmdp_dataとして含むone_modified_dv_pack()である。
【００６３】
なお、35mm換算焦点距離については、既存のConsumer Camera2 Pack()内のFOCAL_LENGTHにより表される。Consumer Camera2 Pack()は、mdp_idが0x71のone_modified_dv_pack()である。
【００６４】
図６の１０行目のmdp_dataは32ビットのフィールドであり、基線長、輻輳角、35mm換算焦点距離のうちのいずれかを表す。mdp_dataとして固定値が常に設定されるようにしてもよい。
【００６５】
なお、ModifiedDVPackMeta()には下記のルールが適用される。
・emulation prevention bytesを含めて、１つのModifiedDVPackMeta()のサイズは255 bytes以下である。
・１ピクチャには、ModifiedDVPackMeta()を含む複数のuser_data_unregistered SEIメッセージを付加してはいけない。
・complementary fieldペアの最初のフィールドにModifiedDVPackMeta()を含むuser_data_unregistered SEIメッセージがない場合、２番目のフィールドにもModifiedDVPackMeta()を含むuser_data_unregistered SEIメッセージを含めてはいけない。
【００６６】
また、Base viewとNon-base viewのそれぞれにおいて、mdp_dataの合計が255バイト以下であり、user_data_unregistered_SEIの合計が511バイト以下とする。
【００６７】
図８は、BASELINE LENGTH pack()を示す図である。
【００６８】
BASELINE LENGTH pack()にはmdp_id、mdp_data1、およびmdp_data2が含まれる。BASELINE LENGTH pack()のmdp_idは、上述したように0x20である。
【００６９】
mdp_data1とmdp_data2は、それぞれ16ビットのフィールドであり、mdp_data1とmdp_data2の２つの値により、mm単位の基線長が表される。基線長（baseline length [mm]）は下式（１）により表される。
baseline length [mm] = mdp_data1/mdp_data2 ・・・ （１）
【００７０】
２つの値を用いて基線長を表すようにすることにより、1mm以下の距離を表すことが可能になる。なお、mdp_data1 = mdp_data2 = 0xFFFFである場合、そのことは、基線長が不明、あるいはno informationを表す。
【００７１】
図９は、CONVERGENCE ANGLE pack()を示す図である。
【００７２】
CONVERGENCE ANGLE pack()にはmdp_id、mdp_data1、およびmdp_data2が含まれる。CONVERGENCE ANGLE pack()のmdp_idは、上述したように0x21である。
【００７３】
mdp_data1とmdp_data2は、それぞれ16ビットのフィールドであり、mdp_data1とmdp_data2の２つの値により、度単位の輻輳角が表される。輻輳角（convergence angle [degree]）は下式（２）により表される。輻輳角は0度以上、180度未満である。
convergence angle [degree] = mdp_data1/mdp_data2 ・・・ （２）
【００７４】
２つの値を用いて輻輳角を表すようにすることにより、1度以下の角度を表すことが可能になる。なお、mdp_data1 = mdp_data2 = 0xFFFFである場合、そのことは、輻輳角が不明、あるいはno informationを表す。
【００７５】
図４のNon-base viewビデオエンコーダ５２は、このようにして基線長、輻輳角、35mm換算焦点距離の情報を記録したNon-base viewビデオストリームを統合部５３に出力する。
【００７６】
統合部５３は、Base viewビデオエンコーダ５１から供給されたBase viewビデオストリームと、Non-base viewビデオエンコーダ５２から供給されたNon-base viewビデオストリームを統合し、H.264/MPEG-4 MVCの符号化データとして記録制御部４３に出力する。
【００７７】
カメラ情報取得部４２は、基線長、輻輳角、35mm換算焦点距離の情報を例えばカメラ部２１から取得し、Non-base viewビデオエンコーダ５２に出力する。
【００７８】
記録制御部４３は、MVCエンコーダ４１から供給された符号化データを例えばAVCHDに従って記録媒体２３に記録させる。
【００７９】
記録媒体２３は、フラッシュメモリやハードディスクなどよりなり、記録制御部４３による制御に従って符号化データを記録する。記録装置１の筐体に設けられたスロットに挿入されたメモリカードが記録媒体２３として用いられるようにしてもよい。記録媒体２３に記録された符号化データは、USBケーブルなどによって記録装置１が再生装置２に接続されたとき、再生装置２に転送される。
【００８０】
［記録装置の動作］
ここで、図１０のフローチャートを参照して、記録装置１の記録処理について説明する。図１０の処理は、右目用カメラ３１Ｒにより撮影されたＲ画像と左目用カメラ３１Ｌにより撮影されたＬ画像が記録部２２に入力されたときに開始される。
【００８１】
ステップＳ１において、MVCエンコーダ４１は、カメラ部２１から入力された画像をH.264/MPEG-4 MVCを用いて符号化する。すなわち、Base viewビデオエンコーダ５１は、左目用カメラ３１Ｌにより撮影されたＬ画像をH.264/AVCによって符号化し、Base viewビデオストリームを生成する。また、Non-base viewビデオエンコーダ５２は、右目用カメラ３１Ｒにより撮影されたＲ画像を、Ｌ画像を参照画像として適宜用いて符号化し、Non-base viewビデオストリームを生成する。
【００８２】
ステップＳ２において、カメラ情報取得部４２は、現在の基線長、輻輳角、35mm換算焦点距離の情報をカメラ部２１から取得する。
【００８３】
ステップＳ３において、Non-base viewビデオエンコーダ５２は、Non-base viewの各ピクチャのuser_data_unregistered SEIに、基線長を表すBASELINE LENGTH pack()、輻輳角を表すCONVERGENCE ANGLE pack()、35mm換算焦点距離を表すConsumer Camera2 Pack()を記録する。Base viewビデオエンコーダ５１により生成されたBase viewビデオストリームと、Non-base viewビデオエンコーダ５２により生成され、BASELINE LENGTH pack()、CONVERGENCE ANGLE pack()、Consumer Camera2 Pack()が記録されたNon-base viewビデオストリームは統合部５３により統合され、記録制御部４３に供給される。
【００８４】
ステップＳ４において、記録制御部４３は、統合部５３から供給されたH.264/MPEG-4 MVCの符号化データを記録媒体２３に記録する。
【００８５】
ステップＳ５において、MVCエンコーダ４１は、カメラ部２１からの入力画像が存在するか否かを判定し、存在すると判定した場合、ステップＳ１以降の処理を繰り返す。ステップＳ１乃至Ｓ４の処理が、各ピクチャの画像データを対象として行われる。一方、カメラ部２１において撮影が終了され、入力画像が存在しないとステップＳ５において判定した場合、処理を終了させる。
【００８６】
以上の処理により、記録装置１は、ステレオ画像の撮影に用いられたカメラの基線長、輻輳角、35mm換算焦点距離の情報をNon-base viewの各ピクチャの符号化データに記録することができ、カメラ情報を再生装置２に提供することができる。
【００８７】
また、記録装置１は、カメラ情報をBase viewビデオストリームには記録しないで、Non-base viewビデオストリームに記録することによって、Base viewビデオストリームを再生してＬ画像（2D画像）のみの表示を再生装置２に行わせることができる。Base viewビデオストリームはH.264/AVCによって符号化されたストリームであるため、H.264/AVCに対応した機器であれば、既存の再生装置であっても、記録装置１から取り込んだビデオデータを再生することが可能になる。
【００８８】
以上においては、基線長、輻輳角、35mm換算焦点距離の情報をNon-base viewビデオストリームに記録するものとしたが、輻輳角を固定値として基線長の情報のみを記録するようにしてもよいし、基線長を固定値として輻輳角の情報のみを記録するようにしてもよい。また、35mm換算焦点距離の情報のみを記録するようにしてもよい。
【００８９】
右目用カメラ３１Ｒと左目用カメラ３１Ｌの設置状況に関する、基線長、輻輳角以外の情報を記録するようにしてもよい。
【００９０】
＜再生装置について＞
［再生装置の構成］
以上のようにして記録装置１により撮影され、記録媒体２３に記録されたH.264/MPEG-4 MVCの符号化データを再生する再生装置２について説明する。
【００９１】
図１１は、再生装置２の構成例を示すブロック図である。再生装置２は、取得部１０１、再生部１０２、および表示制御部１０３から構成される。
【００９２】
取得部１０１は、H.264/MPEG-4 MVCの符号化データである3DビデオのデータをUSBケーブルなどを介して記録装置１から取得し、出力する。取得部１０１から出力された3Dビデオのデータは、MVCデコーダ１１１のBase viewビデオデコーダ１２１とNon-base viewビデオデコーダ１２２に入力される。記録装置１から取り込まれた3Dビデオのデータが再生装置２内の記録媒体に一度記録され、その記録媒体から、3Dビデオのデータが取得部１０１により取得されるようにしてもよい。
【００９３】
再生部１０２は、MVCデコーダ１１１とカメラ情報抽出部１１２から構成される。MVCデコーダ１１１は、3DビデオのデータをH.264/MPEG-4 MVCによって復号する。MVCデコーダ１１１は、Base viewビデオデコーダ１２１とNon-base viewビデオデコーダ１２２から構成される。
【００９４】
Base viewビデオデコーダ１２１は、取得部１０１から供給された3Dビデオに含まれるBase viewビデオストリームをH.264/AVCによって復号し、Ｌ画像を出力する。Base viewビデオデコーダ１２１から出力されたＬ画像はNon-base viewビデオデコーダ１２２と表示制御部１０３に供給される。
【００９５】
Non-base viewビデオデコーダ１２２は、取得部１０１から供給された3Dビデオに含まれるNon-base viewビデオストリームを、適宜、Base viewビデオデコーダ１２１により復号されたＬ画像を参照画像として復号し、Ｒ画像を出力する。Non-base viewビデオデコーダ１２２から出力されたＲ画像は表示制御部１０３に供給される。
【００９６】
カメラ情報抽出部１１２は、Non-base viewビデオデコーダ１２２により復号の対象になっているNon-base viewの各ピクチャのuser_data_unregistered SEIから、基線長を表すBASELINE LENGTH pack()、輻輳角を表すCONVERGENCE ANGLE pack()、35mm換算焦点距離を表すConsumer Camera2 Pack()を取得する。
【００９７】
カメラ情報抽出部１１２は、BASELINE LENGTH pack()に含まれる２つの値に基づいて上式（１）の計算を行うことによって基線長を求め、CONVERGENCE ANGLE pack()に含まれる２つの値に基づいて上式（２）の計算を行うことによって輻輳角を求める。また、カメラ情報抽出部１１２は、Consumer Camera2 Pack()から35mm換算焦点距離を特定する。カメラ情報抽出部１１２は、基線長、輻輳角、35mm換算焦点距離の情報を表示制御部１０３に出力する。
【００９８】
表示制御部１０３は、Base viewビデオデコーダ１２１から供給されたＬ画像と、Non-base viewビデオデコーダ１２２から供給されたＲ画像の視差を、カメラ情報抽出部１１２により取得された基線長、輻輳角、35mm換算焦点距離の情報を用いて調整する。表示制御部１０３は、表示装置３と通信を行うことによって、表示装置３の表示デバイスのサイズなどの情報を表示装置３から取得し、視差の調整に用いる。
【００９９】
表示制御部１０３は、表示装置３の表示デバイスに表示したときに最適な視差になるように視差を調整したＬ画像とＲ画像を表示装置３に出力し、表示させる。
【０１００】
［再生装置の動作］
ここで、図１２のフローチャートを参照して、再生装置２の再生処理について説明する。図１２の処理は、例えば、3Dビデオのデータが取得部１０１から再生部１０２に入力されたときに開始される。
【０１０１】
ステップＳ２１において、MVCデコーダ１１１は、取得部１０１から入力された3DビデオのデータをH.264/MPEG-4 MVCを用いて復号する。すなわち、Base viewビデオデコーダ１２１は、Base viewビデオストリームをH.264/AVCによって復号する。また、Non-base viewビデオデコーダ１２２は、Non-base viewビデオストリームを、Base viewビデオデコーダ１２１により復号されたＬ画像を参照画像として適宜用いて復号する。
【０１０２】
Base viewビデオデコーダ１２１によりBase viewビデオストリームの復号が行われることによって得られたＬ画像と、Non-base viewビデオデコーダ１２２によりNon-base viewビデオストリームの復号が行われることによって得られたＲ画像は表示制御部１０３に供給される。
【０１０３】
ステップＳ２２において、カメラ情報抽出部１１２は、Non-base viewの各ピクチャのuser_data_unregistered SEIから、BASELINE LENGTH pack()、CONVERGENCE ANGLE pack()、Consumer Camera2 Pack()を抽出する。カメラ情報抽出部１１２は、BASELINE LENGTH pack()に基づいて求めた基線長、CONVERGENCE ANGLE pack()に基づいて求めた輻輳角、Consumer Camera2 Pack()から取得した35mm換算焦点距離の情報を表示制御部１０３に出力する。
【０１０４】
ステップＳ２３において、表示制御部１０３は視差調整処理を行う。視差調整処理については図１３のフローチャートを参照して後述する。
【０１０５】
ステップＳ２４において、表示制御部１０３は、視差を調整したＬ画像とＲ画像を表示装置３に出力し、表示させる。
【０１０６】
ステップＳ２５において、MVCデコーダ１１１は、復号する符号化データが存在するか否かを判定し、存在すると判定した場合、ステップＳ２１以降の処理を繰り返す。ステップＳ２１乃至Ｓ２４の処理が、各ピクチャの符号化データを対象として行われる。一方、全ての符号化データの復号が終了したことから、符号化データが存在しないとステップＳ２５において判定した場合、処理を終了させる。
【０１０７】
次に、図１３のフローチャートを参照して、図１２のステップＳ２３において行われる視差調整処理について説明する。
【０１０８】
ステップＳ３１において、表示制御部１０３は、表示装置３と通信を行い、表示装置３の表示デバイスのサイズを取得する。表示装置３の表示デバイスのサイズが、再生装置２に対してユーザにより直接設定されるようにしてもよい。
【０１０９】
ステップＳ３２において、表示制御部１０３は、表示装置３の表示デバイス面からユーザまでの距離である視聴距離を表示装置３から取得する。視聴距離が、再生装置２に対してユーザにより直接設定されるようにしてもよい。
【０１１０】
ユーザが知覚する視差の量は視聴距離によっても変化する。従って、視聴距離を取得できる場合、その情報をも用いることによってより精密に視差を調整することが可能になる。以下においては、視聴距離を考慮しないで視差を調整する場合について説明する。
【０１１１】
ステップＳ３３において、表示制御部１０３は、視差を調整しない場合の、表示装置３の表示デバイス上でのＬ画像とＲ画像の視差を求める。
【０１１２】
ステップＳ３４において、表示制御部１０３は、表示デバイス上でのＬ画像とＲ画像の視差が閾値を超えているか否かを判定する。
【０１１３】
表示デバイス上でのＬ画像とＲ画像の視差が閾値を超えていないとステップＳ３４において判定した場合、ステップＳ３５において、表示制御部１０３は、Ｌ画像とＲ画像をそのまま、視差を調整することなく表示装置３に出力し、表示させる。
【０１１４】
一方、表示デバイス上でのＬ画像とＲ画像の視差が閾値を超えているとステップＳ３４において判定した場合、ステップＳ３６において、表示制御部１０３は、Ｌ画像とＲ画像の視差が小さくなるように、Ｌ画像とＲ画像を表示デバイス上において水平方向にシフトし、表示させる。その後、図１２のステップＳ２３に戻り、それ以降の処理が行われる。
【０１１５】
図１４は、輻輳角、基線長、視差の関係について説明する図である。
【０１１６】
図１４に示す被写体面上のうち、破線矢印＃１で示す範囲が左目用カメラ３１Ｌにより撮影される範囲であり、破線矢印＃２で示す範囲が右目用カメラ３１Ｒにより撮影される範囲である。αは輻輳角を表し、Ｂは基線長を表す。Ｆは被写体距離を表す。
【０１１７】
表示デバイス上での視差を算出する場合、表示制御部１０３は、まず、フォーカス位置の画像（被写体の画像）が、左目用カメラ３１Ｌと右目用カメラ３１Ｒによってどの程度水平方向にずれて撮影が行われているかを求める。水平方向のずれ量が、実線矢印＃３で示す差が視差Ｘになる。
【０１１８】
左目用カメラ３１Ｌと右目用カメラ３１Ｒの撮像素子の横幅が35mmであると想定したときの視差量[mm]を求めることができれば、表示デバイスの横幅の情報から、表示デバイス上での視差量を計算することが可能になる（ステップＳ３３）。表示デバイス上での視差量が閾値を超えている場合、表示制御部１０３は、視差が小さくなるようにＬ画像とＲ画像を水平方向にシフトする（ステップＳ３６）。
【０１１９】
ここで、図１５に示すように、左目用カメラ３１Ｌと右目用カメラ３１Ｒの２台のカメラが平行に配置されている場合（輻輳角α＝0）を考える。このとき、基線長と視差は等しくなる。
【０１２０】
また、フレームサイズをｘ、35mm換算焦点距離をｆとすると、水平画角ｑが下式（３）により求められる。
tan(ｑ／２) = ｘ／２ｆ ・・・ （３）
【０１２１】
水平画角ｑと被写体距離Ｆ[m]から、水平方向の撮影範囲Ｄ[m]が求められる。撮影範囲Ｄ[m]を1920ピクセルの解像度で撮影するものとすると、ピクセル換算した視差の大きさは1920×（Ｂ／Ｄ）[ピクセル]となる。視差Ｂは、左目用カメラ３１Ｌの撮影範囲Ｄ[m]と右目用カメラ３１Ｒの撮影範囲Ｄ[m]の差である。
【０１２２】
ここで、35mm換算焦点距離と被写体距離については、AVCHDのModified DV pack metaで既に定義されているため、これを用いることが可能である。35mm換算焦点距離は上述したようにFOCAL_LENGTHにより表され、被写体距離（フォーカス位置）はFOCUSにより表される。
【０１２３】
表示装置３の表示デバイスの水平方向のサイズをＳ[m]とすると、表示デバイス上での視差に相当する長さは、Ｓ×（Ｂ／Ｄ）[m]となる。この値が閾値を超える場合は、画像を水平方向にシフトして視差を緩和することにより、Ｌ画像とＲ画像を適切な視差で表示させることが可能になる。
【０１２４】
以上の処理により、再生装置２は、Ｌ画像とＲ画像を最適な視差で表示させることが可能になる。
【０１２５】
＜変形例＞
変形例１．
図１６は、記録再生システムの構成例を示すブロック図である。図１６の記録装置１には、カメラ部２１、記録部２２、記録媒体２３の他に、再生部１０２と表示制御部１０３が設けられる。すなわち、図１６の記録装置１は、記録装置としての機能だけでなく、再生装置としての機能をも有している。
【０１２６】
図１６の構成を有する記録装置１においては、3Dビデオの撮影が行われるとともに、撮影によって得られた3Dビデオの再生が図１２を参照して説明したようにして行われる。記録装置１により再生されたＬ画像とＲ画像は表示装置３に出力され、表示される。記録装置１と表示装置３は例えばHDMIケーブルによって接続される。
【０１２７】
変形例２．
図１７は、記録再生システムの他の構成例を示すブロック図である。図１７の記録装置１には、カメラ部２１、記録部２２、記録媒体２３が設けられ、再生装置２には取得部１０１と再生部１０２が設けられる。表示装置３には表示制御部１０３が設けられる。
【０１２８】
すなわち、図１７の再生装置２は、記録装置１から取り込んだ3DビデオをH.264/MPEG-4 MVCによって復号する機能は有しているが、図１１の再生装置２とは異なり、復号によって得られたＬ画像とＲ画像の視差を調整する機能は有していない。Ｌ画像とＲ画像の視差の調整は、表示装置３において行われることになる。
【０１２９】
図１７の構成を有する記録装置１においては、3Dビデオの撮影が行われ、撮影によって得られた3Dビデオが再生装置２に転送される。
【０１３０】
再生装置２の取得部１０１は3Dビデオのデータを記録装置１から取得し、再生部１０２は、取得部１０１により取得された3DビデオのデータをH.264/MPEG-4 MVCによって復号する。再生部１０２は、復号して得られたＬ画像とＲ画像を、Non-base viewビデオストリームのuser_data_unregistered SEIから取得した基線長、輻輳角、35mm換算焦点距離の情報とともに表示装置３に出力する。
【０１３１】
表示装置３の表示制御部１０３は、再生装置２から供給されたＬ画像とＲ画像の視差を、再生装置２から供給された基線長、輻輳角、35mm換算焦点距離の情報に基づいて、図１３を参照して説明したようにして調整し、視差を調整したＬ画像とＲ画像を表示する。この場合、視差の調整に用いる表示デバイスのサイズなどの情報は、視差の調整を行う表示装置３にとって既知の情報となる。
【０１３２】
変形例３．
以上においては、Ｌ画像の撮影に用いられたカメラとＲ画像の撮影に用いられたカメラのカメラ情報をH.264/MPEG-4 MVCのNon-base viewビデオストリームに記録するものとしたが、カメラ情報を、Side by side方式でＬ画像とＲ画像を記録した１つのストリームに記録することも可能である。
【０１３３】
Side by side方式のＬ画像とＲ画像の符号化方式には例えばH.264 AVCが用いられる。カメラ情報は、例えば、AVCストリームのuser_data_unregistered_SEI()に記録される。
【０１３４】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３５】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１３６】
CPU(Central Processing Unit)１５１、ROM(Read Only Memory)１５２、RAM(Random Access Memory)１５３は、バス１５４により相互に接続されている。
【０１３７】
バス１５４には、さらに、入出力インタフェース１５５が接続されている。入出力インタフェース１５５には、キーボード、マウスなどよりなる入力部１５６、ディスプレイ、スピーカなどよりなる出力部１５７が接続される。また、入出力インタフェース１５５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１５８、ネットワークインタフェースなどよりなる通信部１５９、リムーバブルメディア１６１を駆動するドライブ１６０が接続される。
【０１３８】
以上のように構成されるコンピュータでは、CPU１５１が、例えば、記憶部１５８に記憶されているプログラムを入出力インタフェース１５５及びバス１５４を介してRAM１５３にロードして実行することにより、上述した一連の処理が行われる。
【０１３９】
CPU１５１が実行するプログラムは、例えばリムーバブルメディア１６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１５８にインストールされる。
【０１４０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４１】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４２】
［構成の組み合わせ例］
本技術は、以下のような構成をとることもできる。
【０１４３】
（１）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と
を備える記録装置。
【０１４４】
（２）
左目用の画像を撮影する前記第１のカメラと、
右目用の画像を撮影する前記第２のカメラと
をさらに備え、
前記符号化部は、
前記第１のカメラで撮影された左目用の画像を前記Base viewビデオストリームとして符号化し、
前記第２のカメラで撮影された右目用の画像を前記Non-base viewビデオストリームとして符号化する
前記（１）に記載の記録装置。
【０１４５】
（３）
前記符号化部は、前記光軸間隔の情報として、２つの値を含む情報を記録し、
前記第１のカメラと前記第２のカメラの光軸間隔は、前記２つの値のうちの一方の値を他方の値で除算することによって表される
前記（１）または（２）に記載の記録装置。
【０１４６】
（４）
前記符号化部は、前記輻輳角の情報として、２つの値を含む情報を記録し、
前記第１のカメラと前記第２のカメラの輻輳角は、前記２つの値のうちの一方の値を他方の値で除算することによって表される
前記（１）乃至（３）のいずれかに記載の記録装置。
【０１４７】
（５）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、
Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録し、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる
ステップを含む記録方法。
【０１４８】
（６）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、
Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録し、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる
ステップを含む処理をコンピュータに実行させるプログラム。
【０１４９】
（７）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する復号部を備える
再生装置。
【０１５０】
（８）
前記SEIに基づいて、前記Base viewビデオストリームを復号して得られた画像と、前記Non-base viewビデオストリームを復号して得られた画像との視差を調整し、表示させる表示制御部をさらに備える
前記（７）に記載の再生装置。
【０１５１】
（９）
前記表示制御部は、
前記Base viewビデオストリームを復号して得られた画像を左目用の画像として表示させ、
前記Non-base viewビデオストリームを復号して得られた画像を右目用の画像として表示させる
前記（７）または（８）に記載の再生装置。
【０１５２】
（１０）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する
ステップを含む再生方法。
【０１５３】
（１１）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する
ステップを含む処理をコンピュータに実行させるプログラム。
【０１５４】
（１２）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と
前記記録媒体に記録された前記Base viewビデオストリームと前記Non-base viewビデオストリームとを復号する復号部と
を備える記録再生装置。
【符号の説明】
【０１５５】
１ 記録装置， ２ 再生装置， ３ 表示装置， ２１ カメラ部， ２２ 記録部， ２３ 記録媒体， １０１ 取得部， １０２ 再生部， １０３ 表示制御部
【技術分野】
【０００１】
本技術は、特に、撮影に用いられた複数のカメラの情報を再生側の装置に提供することができるようにした記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置に関する。
【背景技術】
【０００２】
近年、立体視が可能な画像を収録した3Dコンテンツが注目されている。3Dコンテンツのビデオデータには、左目用の画像（Ｌ画像）と右目用の画像（Ｒ画像）のデータが含まれる。Ｌ画像に写る被写体とＲ画像に写る被写体には、視差に相当するずれがある。
【０００３】
例えば視差が設定されたＬ画像とＲ画像を交互に表示し、アクティブシャッタメガネをかけたユーザの左目と右目にそれぞれ届けることによって、被写体を立体的に認識させることが可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２８０５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザが知覚する視差が視聴環境によって異なるため、常に最適な視差で視聴させることは難しい。例えば、表示デバイス上における表示画像の大きさによっても最適な視差は異なるし、視聴距離によっても最適な視差は異なる。
【０００６】
Ｌ画像とＲ画像から撮影時におけるカメラの位置等を推定し、それに合わせて視差を調整することも試みられているが、撮影時の状況を再生側で完全に復元することは困難である。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、撮影に用いられた複数のカメラの情報を再生側の装置に提供することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の第１の側面の記録装置は、第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部とを備える。
【０００９】
第１のカメラと第２のカメラは、それぞれ、レンズを少なくとも有する。レンズに取り込まれた光の光電変換を行う撮像素子として、第１のカメラ用の撮像素子と第２のカメラ用の撮像素子がそれぞれ設けられるようにしてもよいし、１つの撮像素子が第１のカメラと第２のカメラにより共有して用いられるようにしてもよい。
【００１０】
第１のカメラと第２のカメラは、記録装置の内部に設けられるものであってもよいし、記録装置の外部に設けられるものであってもよい。記録装置の外部に設けられる場合、第１のカメラと第２のカメラにより撮影された画像は、有線、または無線の通信によって記録装置に供給される。
【００１１】
左目用の画像を撮影する前記第１のカメラと、右目用の画像を撮影する前記第２のカメラとをさらに設けることができる。この場合、前記符号化部には、前記第１のカメラで撮影された左目用の画像を前記Base viewビデオストリームとして符号化させ、前記第２のカメラで撮影された右目用の画像を前記Non-base viewビデオストリームとして符号化させることができる。
【００１２】
前記符号化部には、前記光軸間隔の情報として、２つの値を含む情報を記録させることができる。この場合、前記第１のカメラと前記第２のカメラの光軸間隔は、前記２つの値のうちの一方の値を他方の値で除算することによって表される。
【００１３】
前記符号化部には、前記輻輳角の情報として、２つの値を含む情報を記録させることができる。この場合、前記第１のカメラと前記第２のカメラの輻輳角は、前記２つの値のうちの一方の値を他方の値で除算することによって表される。
【００１４】
本技術の第２の側面の再生装置は、第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する復号部を備える。
【００１５】
前記SEIに基づいて、前記Base viewビデオストリームを復号して得られた画像と、前記Non-base viewビデオストリームを復号して得られた画像との視差を調整し、表示させる表示制御部をさらに設けることができる。
【００１６】
前記表示制御部には、前記Base viewビデオストリームを復号して得られた画像を左目用の画像として表示させ、前記Non-base viewビデオストリームを復号して得られた画像を右目用の画像として表示させることができる。
【００１７】
本技術の第３の側面の記録再生装置は、第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と、前記記録媒体に記録された前記Base viewビデオストリームと前記Non-base viewビデオストリームとを復号する復号部とを備える。
【発明の効果】
【００１８】
本技術によれば、撮影に用いられた複数のカメラの情報を再生側の装置に提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本技術の一実施形態に係る記録再生システムの構成例を示す図である。
【図２】H.264/MPEG-4 MVCについて説明する図である。
【図３】基線長と輻輳角について説明する図である。
【図４】記録装置の構成例を示すブロック図である。
【図５】Non-base viewビデオストリームのデータ構造を示す図である。
【図６】user_data_unregistered SEIのシンタクスを示す図である。
【図７】mdp_idを示す図である。
【図８】BASELINE LENGTH pack()を示す図である。
【図９】CONVERGENCE ANGLE pack()を示す図である。
【図１０】記録装置の記録処理について説明するフローチャートである。
【図１１】再生装置の構成例を示すブロック図である。
【図１２】再生装置の再生処理について説明するフローチャートである。
【図１３】図１２のステップＳ２３において行われる視差調整処理について説明するフローチャートである。
【図１４】輻輳角、基線長、視差の関係について説明する図である。
【図１５】視差の調整について説明する図である。
【図１６】記録再生システムの構成例を示すブロック図である。
【図１７】記録再生システムの他の構成例を示すブロック図である。
【図１８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．記録再生システムについて
２．記録装置について
３．再生装置について
４．変形例
【００２１】
＜記録再生システムについて＞
図１は、本技術の一実施形態に係る記録再生システムの構成例を示す図である。
【００２２】
図１の記録再生システムは、記録装置１、再生装置２、および表示装置３から構成される。再生装置２と表示装置３は、HDMI(High Definition Multimedia Interface)ケーブルなどのケーブル４を介して接続される。
【００２３】
記録装置１は3D画像の撮影と記録が可能なビデオカメラである。記録装置１の前面には、記録装置１から被写体に向かって右側の位置にレンズ１１Ｒが設けられ、左側の位置にレンズ１１Ｌが設けられる。記録装置１の内部には、レンズ１１Ｒにより取り込まれた光に基づいてＲ画像を生成するための光学系を有する右目用のカメラと、レンズ１１Ｌから取り込まれた光に基づいてＬ画像を生成するための光学系を有する左目用のカメラが設けられる。
【００２４】
記録装置１は、Ｒ画像とＬ画像をH.264/MPEG-4 MVC(Multi-view Video coding)によって符号化し、AVCHD(Advanced Video Codec High Definition)などの記録フォーマットに従って内部の記録媒体に記録する。
【００２５】
ここで、H.264/MPEG-4 MVCについて図２を参照して説明する。H.264/MPEG-4 MVCでは、Base viewビデオストリームと呼ばれるビデオストリームと、Non-base viewビデオストリームと呼ばれるビデオストリームが定義されている。
【００２６】
Base viewビデオストリームは、Ｌ画像とＲ画像のうちの例えばＬ画像をH.264/AVCによって符号化することによって得られたストリームである。図２の縦方向の矢印で示すように、Base viewのピクチャには、他のviewのピクチャを参照画像とする予測符号化が許されていない。
【００２７】
一方、Non-base viewのピクチャには、Base viewのピクチャを参照画像とする予測符号化が許されている。例えばＬ画像をBase viewにするとともにＲ画像をNon-base viewとして符号化を行った場合、その結果得られるＲ画像のビデオストリームであるNon-base viewビデオストリームのデータ量は、Ｌ画像のビデオストリームであるBase viewビデオストリームのデータ量に比較して少なくなる。
【００２８】
なお、H.264/AVCでの符号化であるから、図２の横方向の矢印で示すように、Base viewのピクチャについて、時間方向の予測符号化が行われている。また、Non-base viewのピクチャについても、view間の予測とともに、時間方向の予測符号化が行われている。Non-base viewのピクチャを復号するには、符号化時に参照先とした、対応するBase viewのピクチャの復号が先に終了している必要がある。
【００２９】
記録装置１により撮影されたＬ画像とＲ画像の符号化は、このようなH.264/MPEG-4 MVCによって行われる。記録装置１においては、Ｌ画像とＲ画像の符号化時、Ｌ画像の撮影に用いられた左目用のカメラとＲ画像の撮影に用いられた右目用のカメラとのカメラの状況に関する情報であるカメラ情報が、Non-base viewビデオストリームに記録される。
【００３０】
カメラ情報には例えば以下の内容を表す情報が含まれる。
１. カメラ光軸間隔（基線長）[mm]
２. 輻輳角[度]
３. 35mm換算焦点距離[mm]
【００３１】
図３に示すように、基線長は、レンズ１１Ｒの光軸位置である位置PRと、レンズ１１Ｌの光軸位置である位置PLの距離（mm）である。輻輳角は、被写体の位置を位置Ｐとして、位置Ｐと位置PRを結ぶ直線と、位置Ｐと位置PLを結ぶ直線との角度である。
【００３２】
35mm換算焦点距離は、撮影時における左目用のカメラと右目用のカメラの35mm換算の焦点距離（mm）である。
【００３３】
後述するように、記録装置１は、Non-base viewビデオストリームのuser_data_unregistered SEIの中にMDP(Modified DV pack Meta)と呼ぶデータ構造を定義し、そのデータ構造を用いてカメラ情報を記録する。user_data_unregistered SEIは任意のユーザデータであり、各ピクチャに付加される。MDPは、撮影時にリアルタイムで記録される付加情報である。
【００３４】
図１の再生装置２は、AVCHDによって記録されたビデオデータの再生が可能なプレーヤである。再生装置２は、記録装置１により撮影され、記録装置１の内部の記録媒体に記録された3DビデオのデータをUSB(Universal Serial Bus)ケーブルやHDMIケーブルなどを介して取り込み、再生する。
【００３５】
再生装置２は、Base viewビデオストリームを再生して得られたＬ画像と、Non-base viewビデオストリームを再生して得られたＲ画像の視差を、撮影時にNon-base viewビデオストリームに記録されたカメラ情報を用いて調整する。表示装置３の表示デバイスに表示したときに最適な視差になるように、視差の調整には、適宜、表示装置３の表示デバイスのサイズなどの情報も用いられる。
【００３６】
再生装置２は、視差を調整したＬ画像とＲ画像をケーブル４を介して表示装置３に出力し、交互に表示させる。表示装置３はステレオ画像の表示に対応したTVである。表示装置３には、LCD(Liquid Crystal Display)などよりなる表示デバイスが設けられる。
【００３７】
このように、Ｌ画像とＲ画像の撮影に用いられたカメラの情報をNon-base viewビデオストリームに記録しておくことによって、記録装置１は、撮影時におけるカメラの設置位置等の状況を再生装置２に提供することができる。
【００３８】
再生装置２は、Non-base viewビデオストリームに記録されたカメラ情報を参照することによって、撮影時におけるカメラの状況を知ることができる。また、再生装置２は、Ｌ画像とＲ画像の視差を撮影時におけるカメラの状況に応じて調整することによって、記録装置１と被写体の位置関係を再現することが可能となり、見やすい画像をユーザに提供することができる。
【００３９】
＜記録装置について＞
［記録装置の構成］
図４は、記録装置１の構成例を示すブロック図である。記録装置１は、カメラ部２１、記録部２２、および記録媒体２３から構成される。
【００４０】
カメラ部２１は、右目用カメラ３１Ｒと左目用カメラ３１Ｌから構成される。
【００４１】
右目用カメラ３１Ｒは、レンズ１１Ｒと撮像素子１２Ｒから構成され、レンズ１１Ｒによって取り込まれた光の光電変換を撮像素子１２Ｒにおいて行う。右目用カメラ３１Ｒは、光電変換を行うことによって得られたビデオ信号に対してA/D変換などの処理を施し、Ｒ画像のデータを出力する。
【００４２】
左目用カメラ３１Ｌは、レンズ１１Ｌと撮像素子１２Ｌから構成され、レンズ１１Ｌによって取り込まれた光の光電変換を撮像素子１２Ｌにおいて行う。左目用カメラ３１Ｌは、光電変換を行うことによって得られたビデオ信号に対してA/D変換などの処理を施し、Ｌ画像のデータを出力する。
【００４３】
記録部２２は、MVCエンコーダ４１、カメラ情報取得部４２、および記録制御部４３から構成される。
【００４４】
MVCエンコーダ４１は、右目用カメラ３１Ｒにより撮影されたＲ画像と左目用カメラ３１Ｌにより撮影されたＬ画像をH.264/MPEG-4 MVCによって符号化する。MVCエンコーダ４１は、Base viewビデオエンコーダ５１、Non-base viewビデオエンコーダ５２、および統合部５３から構成される。右目用カメラ３１Ｒから出力されたＲ画像のデータはNon-base viewビデオエンコーダ５２に入力され、左目用カメラ３１Ｌから出力されたＬ画像のデータはBase viewビデオエンコーダ５１とNon-base viewビデオエンコーダ５２に入力される。
【００４５】
Base viewビデオエンコーダ５１は、左目用カメラ３１Ｌにより撮影されたＬ画像をH.264/AVCによって符号化し、Base viewビデオストリームを統合部５３に出力する。
【００４６】
Non-base viewビデオエンコーダ５２は、右目用カメラ３１Ｒにより撮影されたＲ画像を、適宜、左目用カメラ３１Ｌにより撮影されたＬ画像を参照画像として用いて符号化し、Non-base viewビデオストリームを生成する。
【００４７】
また、Non-base viewビデオエンコーダ５２は、Non-base viewビデオストリームの各ピクチャのSEIとして、カメラ情報取得部４２から供給された基線長、輻輳角、35mm換算焦点距離を表すuser_data_unregistered SEIを付加する。カメラ情報取得部４２からは、カメラ部２１から取得されたカメラ情報である右目用カメラ３１Ｒと左目用カメラ３１Ｌの基線長、輻輳角、35mm換算焦点距離の情報が供給されてくる。
【００４８】
図５は、Non-base viewビデオストリームのデータ構造を示す図である。
【００４９】
図５Ａは、１つのGOP(Group Of Picture)に含まれるピクチャのうちの先頭のピクチャのデータを格納するAccess Unitのデータ構造を示す図である。H.264/AVCにおいて、１つのAccess Unitには１ピクチャ分のデータが格納される。
【００５０】
図５Ａに示すように、Non-base viewの先頭のピクチャのデータを格納するAccess Unitは、View and dependency representationデリミタ、Subset SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、SEI(Supplemental Enhancement Information)、およびSliceから構成される。
【００５１】
View and dependency representationデリミタはAccess Unitの先頭を表す。Subset SPSには、シーケンス全体の符号化に関する情報が含まれ、PPSには、Access Unitにデータが格納されるピクチャの符号化に関する情報が含まれる。SEIは付加情報であり、MVC_scalable_nesting SEI、user_data_unregistered SEIなどの各種のSEIメッセージが含まれる。
【００５２】
図５Ａの例においては、例えば再生時に表示する字幕の視差の情報（Offset metadata）のuser_data_unregistered SEIが含まれている。カメラ情報取得部４２により取得された基線長、輻輳角、35mm換算焦点距離の情報は、字幕の視差の情報のuser_data_unregistered SEIとは異なるuser_data_unregistered SEIとして記録される。
【００５３】
SEIに続くSliceが、１GOPの先頭のピクチャ（Ｒ画像）のデータである。Sliceに続けて、Filler Data、End of Sequence、End of streamが含まれることもある。
【００５４】
図５Ｂは、１つのGOPに含まれるピクチャのうちの２番目以降のピクチャのデータを格納するAccess Unitのデータ構造を示す図である。図５Ｂに示すように、１GOPの２番目以降のピクチャのデータを格納するAccess Unitは、View and dependency representationデリミタとSliceから構成される。PPS、SEI等の情報が含まれることもある。
【００５５】
なお、Base viewビデオエンコーダ５１により生成されるBase viewビデオストリームのAccess Unitのデータ構造は、基線長、輻輳角、35mm換算焦点距離を表すuser_data_unregistered SEIが記録されない点を除いて、図５に示すデータ構造と基本的に同じデータ構造を有する。
【００５６】
図６は、基線長、輻輳角、35mm換算焦点距離に関するMDPを格納するuser_data_unregistered SEIのシンタクスを示す図である。
【００５７】
２行目のuuid_iso_iec_11578は128ビットのフィールドであり、“17ee8c60-f84d-11d9-8cd6-0800200c9a66”が設定される。
【００５８】
３行目のTypeIndicatorは32ビットのフィールドであり、SEIメッセージが伝送するユーザデータの種類を表す。“0x4D 44 50 4D”はMDPを表す。TypeIndicatorが“0x4D 44 50 4D”である場合に５行目以降のModifiedDVPackMeta()が設定される。ModifiedDVPackMeta()にはnumber_of_modified_dv_pack_entriesとone_modified_dv_pack()が含まれる。
【００５９】
６行目のnumber_of_modified_dv_pack_entriesは8ビットのフィールドであり、user_data_unregistered SEIに含まれるone_modified_dv_pack()の数を表す。one_modified_dv_pack()にはmdp_idとmdp_dataが含まれる。
【００６０】
９行目のmdp_idは8ビットのフィールドであり、このフィールドが含まれるone_modified_dv_pack()の種類を表す。
【００６１】
図７は、mdp_idを示す図である。図７に示すように、mdp_idが0x20であることは、one_modified_dv_pack()がBASELINE LENGTH pack()であることを表す。BASELINE LENGTH pack()は、基線長の情報をmdp_dataとして含むone_modified_dv_pack()である。
【００６２】
mdp_idが0x21であることは、one_modified_dv_pack()がCONVERGENCE ANGLE pack()であることを表す。CONVERGENCE ANGLE pack()は、輻輳角の情報をmdp_dataとして含むone_modified_dv_pack()である。
【００６３】
なお、35mm換算焦点距離については、既存のConsumer Camera2 Pack()内のFOCAL_LENGTHにより表される。Consumer Camera2 Pack()は、mdp_idが0x71のone_modified_dv_pack()である。
【００６４】
図６の１０行目のmdp_dataは32ビットのフィールドであり、基線長、輻輳角、35mm換算焦点距離のうちのいずれかを表す。mdp_dataとして固定値が常に設定されるようにしてもよい。
【００６５】
なお、ModifiedDVPackMeta()には下記のルールが適用される。
・emulation prevention bytesを含めて、１つのModifiedDVPackMeta()のサイズは255 bytes以下である。
・１ピクチャには、ModifiedDVPackMeta()を含む複数のuser_data_unregistered SEIメッセージを付加してはいけない。
・complementary fieldペアの最初のフィールドにModifiedDVPackMeta()を含むuser_data_unregistered SEIメッセージがない場合、２番目のフィールドにもModifiedDVPackMeta()を含むuser_data_unregistered SEIメッセージを含めてはいけない。
【００６６】
また、Base viewとNon-base viewのそれぞれにおいて、mdp_dataの合計が255バイト以下であり、user_data_unregistered_SEIの合計が511バイト以下とする。
【００６７】
図８は、BASELINE LENGTH pack()を示す図である。
【００６８】
BASELINE LENGTH pack()にはmdp_id、mdp_data1、およびmdp_data2が含まれる。BASELINE LENGTH pack()のmdp_idは、上述したように0x20である。
【００６９】
mdp_data1とmdp_data2は、それぞれ16ビットのフィールドであり、mdp_data1とmdp_data2の２つの値により、mm単位の基線長が表される。基線長（baseline length [mm]）は下式（１）により表される。
baseline length [mm] = mdp_data1/mdp_data2 ・・・ （１）
【００７０】
２つの値を用いて基線長を表すようにすることにより、1mm以下の距離を表すことが可能になる。なお、mdp_data1 = mdp_data2 = 0xFFFFである場合、そのことは、基線長が不明、あるいはno informationを表す。
【００７１】
図９は、CONVERGENCE ANGLE pack()を示す図である。
【００７２】
CONVERGENCE ANGLE pack()にはmdp_id、mdp_data1、およびmdp_data2が含まれる。CONVERGENCE ANGLE pack()のmdp_idは、上述したように0x21である。
【００７３】
mdp_data1とmdp_data2は、それぞれ16ビットのフィールドであり、mdp_data1とmdp_data2の２つの値により、度単位の輻輳角が表される。輻輳角（convergence angle [degree]）は下式（２）により表される。輻輳角は0度以上、180度未満である。
convergence angle [degree] = mdp_data1/mdp_data2 ・・・ （２）
【００７４】
２つの値を用いて輻輳角を表すようにすることにより、1度以下の角度を表すことが可能になる。なお、mdp_data1 = mdp_data2 = 0xFFFFである場合、そのことは、輻輳角が不明、あるいはno informationを表す。
【００７５】
図４のNon-base viewビデオエンコーダ５２は、このようにして基線長、輻輳角、35mm換算焦点距離の情報を記録したNon-base viewビデオストリームを統合部５３に出力する。
【００７６】
統合部５３は、Base viewビデオエンコーダ５１から供給されたBase viewビデオストリームと、Non-base viewビデオエンコーダ５２から供給されたNon-base viewビデオストリームを統合し、H.264/MPEG-4 MVCの符号化データとして記録制御部４３に出力する。
【００７７】
カメラ情報取得部４２は、基線長、輻輳角、35mm換算焦点距離の情報を例えばカメラ部２１から取得し、Non-base viewビデオエンコーダ５２に出力する。
【００７８】
記録制御部４３は、MVCエンコーダ４１から供給された符号化データを例えばAVCHDに従って記録媒体２３に記録させる。
【００７９】
記録媒体２３は、フラッシュメモリやハードディスクなどよりなり、記録制御部４３による制御に従って符号化データを記録する。記録装置１の筐体に設けられたスロットに挿入されたメモリカードが記録媒体２３として用いられるようにしてもよい。記録媒体２３に記録された符号化データは、USBケーブルなどによって記録装置１が再生装置２に接続されたとき、再生装置２に転送される。
【００８０】
［記録装置の動作］
ここで、図１０のフローチャートを参照して、記録装置１の記録処理について説明する。図１０の処理は、右目用カメラ３１Ｒにより撮影されたＲ画像と左目用カメラ３１Ｌにより撮影されたＬ画像が記録部２２に入力されたときに開始される。
【００８１】
ステップＳ１において、MVCエンコーダ４１は、カメラ部２１から入力された画像をH.264/MPEG-4 MVCを用いて符号化する。すなわち、Base viewビデオエンコーダ５１は、左目用カメラ３１Ｌにより撮影されたＬ画像をH.264/AVCによって符号化し、Base viewビデオストリームを生成する。また、Non-base viewビデオエンコーダ５２は、右目用カメラ３１Ｒにより撮影されたＲ画像を、Ｌ画像を参照画像として適宜用いて符号化し、Non-base viewビデオストリームを生成する。
【００８２】
ステップＳ２において、カメラ情報取得部４２は、現在の基線長、輻輳角、35mm換算焦点距離の情報をカメラ部２１から取得する。
【００８３】
ステップＳ３において、Non-base viewビデオエンコーダ５２は、Non-base viewの各ピクチャのuser_data_unregistered SEIに、基線長を表すBASELINE LENGTH pack()、輻輳角を表すCONVERGENCE ANGLE pack()、35mm換算焦点距離を表すConsumer Camera2 Pack()を記録する。Base viewビデオエンコーダ５１により生成されたBase viewビデオストリームと、Non-base viewビデオエンコーダ５２により生成され、BASELINE LENGTH pack()、CONVERGENCE ANGLE pack()、Consumer Camera2 Pack()が記録されたNon-base viewビデオストリームは統合部５３により統合され、記録制御部４３に供給される。
【００８４】
ステップＳ４において、記録制御部４３は、統合部５３から供給されたH.264/MPEG-4 MVCの符号化データを記録媒体２３に記録する。
【００８５】
ステップＳ５において、MVCエンコーダ４１は、カメラ部２１からの入力画像が存在するか否かを判定し、存在すると判定した場合、ステップＳ１以降の処理を繰り返す。ステップＳ１乃至Ｓ４の処理が、各ピクチャの画像データを対象として行われる。一方、カメラ部２１において撮影が終了され、入力画像が存在しないとステップＳ５において判定した場合、処理を終了させる。
【００８６】
以上の処理により、記録装置１は、ステレオ画像の撮影に用いられたカメラの基線長、輻輳角、35mm換算焦点距離の情報をNon-base viewの各ピクチャの符号化データに記録することができ、カメラ情報を再生装置２に提供することができる。
【００８７】
また、記録装置１は、カメラ情報をBase viewビデオストリームには記録しないで、Non-base viewビデオストリームに記録することによって、Base viewビデオストリームを再生してＬ画像（2D画像）のみの表示を再生装置２に行わせることができる。Base viewビデオストリームはH.264/AVCによって符号化されたストリームであるため、H.264/AVCに対応した機器であれば、既存の再生装置であっても、記録装置１から取り込んだビデオデータを再生することが可能になる。
【００８８】
以上においては、基線長、輻輳角、35mm換算焦点距離の情報をNon-base viewビデオストリームに記録するものとしたが、輻輳角を固定値として基線長の情報のみを記録するようにしてもよいし、基線長を固定値として輻輳角の情報のみを記録するようにしてもよい。また、35mm換算焦点距離の情報のみを記録するようにしてもよい。
【００８９】
右目用カメラ３１Ｒと左目用カメラ３１Ｌの設置状況に関する、基線長、輻輳角以外の情報を記録するようにしてもよい。
【００９０】
＜再生装置について＞
［再生装置の構成］
以上のようにして記録装置１により撮影され、記録媒体２３に記録されたH.264/MPEG-4 MVCの符号化データを再生する再生装置２について説明する。
【００９１】
図１１は、再生装置２の構成例を示すブロック図である。再生装置２は、取得部１０１、再生部１０２、および表示制御部１０３から構成される。
【００９２】
取得部１０１は、H.264/MPEG-4 MVCの符号化データである3DビデオのデータをUSBケーブルなどを介して記録装置１から取得し、出力する。取得部１０１から出力された3Dビデオのデータは、MVCデコーダ１１１のBase viewビデオデコーダ１２１とNon-base viewビデオデコーダ１２２に入力される。記録装置１から取り込まれた3Dビデオのデータが再生装置２内の記録媒体に一度記録され、その記録媒体から、3Dビデオのデータが取得部１０１により取得されるようにしてもよい。
【００９３】
再生部１０２は、MVCデコーダ１１１とカメラ情報抽出部１１２から構成される。MVCデコーダ１１１は、3DビデオのデータをH.264/MPEG-4 MVCによって復号する。MVCデコーダ１１１は、Base viewビデオデコーダ１２１とNon-base viewビデオデコーダ１２２から構成される。
【００９４】
Base viewビデオデコーダ１２１は、取得部１０１から供給された3Dビデオに含まれるBase viewビデオストリームをH.264/AVCによって復号し、Ｌ画像を出力する。Base viewビデオデコーダ１２１から出力されたＬ画像はNon-base viewビデオデコーダ１２２と表示制御部１０３に供給される。
【００９５】
Non-base viewビデオデコーダ１２２は、取得部１０１から供給された3Dビデオに含まれるNon-base viewビデオストリームを、適宜、Base viewビデオデコーダ１２１により復号されたＬ画像を参照画像として復号し、Ｒ画像を出力する。Non-base viewビデオデコーダ１２２から出力されたＲ画像は表示制御部１０３に供給される。
【００９６】
カメラ情報抽出部１１２は、Non-base viewビデオデコーダ１２２により復号の対象になっているNon-base viewの各ピクチャのuser_data_unregistered SEIから、基線長を表すBASELINE LENGTH pack()、輻輳角を表すCONVERGENCE ANGLE pack()、35mm換算焦点距離を表すConsumer Camera2 Pack()を取得する。
【００９７】
カメラ情報抽出部１１２は、BASELINE LENGTH pack()に含まれる２つの値に基づいて上式（１）の計算を行うことによって基線長を求め、CONVERGENCE ANGLE pack()に含まれる２つの値に基づいて上式（２）の計算を行うことによって輻輳角を求める。また、カメラ情報抽出部１１２は、Consumer Camera2 Pack()から35mm換算焦点距離を特定する。カメラ情報抽出部１１２は、基線長、輻輳角、35mm換算焦点距離の情報を表示制御部１０３に出力する。
【００９８】
表示制御部１０３は、Base viewビデオデコーダ１２１から供給されたＬ画像と、Non-base viewビデオデコーダ１２２から供給されたＲ画像の視差を、カメラ情報抽出部１１２により取得された基線長、輻輳角、35mm換算焦点距離の情報を用いて調整する。表示制御部１０３は、表示装置３と通信を行うことによって、表示装置３の表示デバイスのサイズなどの情報を表示装置３から取得し、視差の調整に用いる。
【００９９】
表示制御部１０３は、表示装置３の表示デバイスに表示したときに最適な視差になるように視差を調整したＬ画像とＲ画像を表示装置３に出力し、表示させる。
【０１００】
［再生装置の動作］
ここで、図１２のフローチャートを参照して、再生装置２の再生処理について説明する。図１２の処理は、例えば、3Dビデオのデータが取得部１０１から再生部１０２に入力されたときに開始される。
【０１０１】
ステップＳ２１において、MVCデコーダ１１１は、取得部１０１から入力された3DビデオのデータをH.264/MPEG-4 MVCを用いて復号する。すなわち、Base viewビデオデコーダ１２１は、Base viewビデオストリームをH.264/AVCによって復号する。また、Non-base viewビデオデコーダ１２２は、Non-base viewビデオストリームを、Base viewビデオデコーダ１２１により復号されたＬ画像を参照画像として適宜用いて復号する。
【０１０２】
Base viewビデオデコーダ１２１によりBase viewビデオストリームの復号が行われることによって得られたＬ画像と、Non-base viewビデオデコーダ１２２によりNon-base viewビデオストリームの復号が行われることによって得られたＲ画像は表示制御部１０３に供給される。
【０１０３】
ステップＳ２２において、カメラ情報抽出部１１２は、Non-base viewの各ピクチャのuser_data_unregistered SEIから、BASELINE LENGTH pack()、CONVERGENCE ANGLE pack()、Consumer Camera2 Pack()を抽出する。カメラ情報抽出部１１２は、BASELINE LENGTH pack()に基づいて求めた基線長、CONVERGENCE ANGLE pack()に基づいて求めた輻輳角、Consumer Camera2 Pack()から取得した35mm換算焦点距離の情報を表示制御部１０３に出力する。
【０１０４】
ステップＳ２３において、表示制御部１０３は視差調整処理を行う。視差調整処理については図１３のフローチャートを参照して後述する。
【０１０５】
ステップＳ２４において、表示制御部１０３は、視差を調整したＬ画像とＲ画像を表示装置３に出力し、表示させる。
【０１０６】
ステップＳ２５において、MVCデコーダ１１１は、復号する符号化データが存在するか否かを判定し、存在すると判定した場合、ステップＳ２１以降の処理を繰り返す。ステップＳ２１乃至Ｓ２４の処理が、各ピクチャの符号化データを対象として行われる。一方、全ての符号化データの復号が終了したことから、符号化データが存在しないとステップＳ２５において判定した場合、処理を終了させる。
【０１０７】
次に、図１３のフローチャートを参照して、図１２のステップＳ２３において行われる視差調整処理について説明する。
【０１０８】
ステップＳ３１において、表示制御部１０３は、表示装置３と通信を行い、表示装置３の表示デバイスのサイズを取得する。表示装置３の表示デバイスのサイズが、再生装置２に対してユーザにより直接設定されるようにしてもよい。
【０１０９】
ステップＳ３２において、表示制御部１０３は、表示装置３の表示デバイス面からユーザまでの距離である視聴距離を表示装置３から取得する。視聴距離が、再生装置２に対してユーザにより直接設定されるようにしてもよい。
【０１１０】
ユーザが知覚する視差の量は視聴距離によっても変化する。従って、視聴距離を取得できる場合、その情報をも用いることによってより精密に視差を調整することが可能になる。以下においては、視聴距離を考慮しないで視差を調整する場合について説明する。
【０１１１】
ステップＳ３３において、表示制御部１０３は、視差を調整しない場合の、表示装置３の表示デバイス上でのＬ画像とＲ画像の視差を求める。
【０１１２】
ステップＳ３４において、表示制御部１０３は、表示デバイス上でのＬ画像とＲ画像の視差が閾値を超えているか否かを判定する。
【０１１３】
表示デバイス上でのＬ画像とＲ画像の視差が閾値を超えていないとステップＳ３４において判定した場合、ステップＳ３５において、表示制御部１０３は、Ｌ画像とＲ画像をそのまま、視差を調整することなく表示装置３に出力し、表示させる。
【０１１４】
一方、表示デバイス上でのＬ画像とＲ画像の視差が閾値を超えているとステップＳ３４において判定した場合、ステップＳ３６において、表示制御部１０３は、Ｌ画像とＲ画像の視差が小さくなるように、Ｌ画像とＲ画像を表示デバイス上において水平方向にシフトし、表示させる。その後、図１２のステップＳ２３に戻り、それ以降の処理が行われる。
【０１１５】
図１４は、輻輳角、基線長、視差の関係について説明する図である。
【０１１６】
図１４に示す被写体面上のうち、破線矢印＃１で示す範囲が左目用カメラ３１Ｌにより撮影される範囲であり、破線矢印＃２で示す範囲が右目用カメラ３１Ｒにより撮影される範囲である。αは輻輳角を表し、Ｂは基線長を表す。Ｆは被写体距離を表す。
【０１１７】
表示デバイス上での視差を算出する場合、表示制御部１０３は、まず、フォーカス位置の画像（被写体の画像）が、左目用カメラ３１Ｌと右目用カメラ３１Ｒによってどの程度水平方向にずれて撮影が行われているかを求める。水平方向のずれ量が、実線矢印＃３で示す差が視差Ｘになる。
【０１１８】
左目用カメラ３１Ｌと右目用カメラ３１Ｒの撮像素子の横幅が35mmであると想定したときの視差量[mm]を求めることができれば、表示デバイスの横幅の情報から、表示デバイス上での視差量を計算することが可能になる（ステップＳ３３）。表示デバイス上での視差量が閾値を超えている場合、表示制御部１０３は、視差が小さくなるようにＬ画像とＲ画像を水平方向にシフトする（ステップＳ３６）。
【０１１９】
ここで、図１５に示すように、左目用カメラ３１Ｌと右目用カメラ３１Ｒの２台のカメラが平行に配置されている場合（輻輳角α＝0）を考える。このとき、基線長と視差は等しくなる。
【０１２０】
また、フレームサイズをｘ、35mm換算焦点距離をｆとすると、水平画角ｑが下式（３）により求められる。
tan(ｑ／２) = ｘ／２ｆ ・・・ （３）
【０１２１】
水平画角ｑと被写体距離Ｆ[m]から、水平方向の撮影範囲Ｄ[m]が求められる。撮影範囲Ｄ[m]を1920ピクセルの解像度で撮影するものとすると、ピクセル換算した視差の大きさは1920×（Ｂ／Ｄ）[ピクセル]となる。視差Ｂは、左目用カメラ３１Ｌの撮影範囲Ｄ[m]と右目用カメラ３１Ｒの撮影範囲Ｄ[m]の差である。
【０１２２】
ここで、35mm換算焦点距離と被写体距離については、AVCHDのModified DV pack metaで既に定義されているため、これを用いることが可能である。35mm換算焦点距離は上述したようにFOCAL_LENGTHにより表され、被写体距離（フォーカス位置）はFOCUSにより表される。
【０１２３】
表示装置３の表示デバイスの水平方向のサイズをＳ[m]とすると、表示デバイス上での視差に相当する長さは、Ｓ×（Ｂ／Ｄ）[m]となる。この値が閾値を超える場合は、画像を水平方向にシフトして視差を緩和することにより、Ｌ画像とＲ画像を適切な視差で表示させることが可能になる。
【０１２４】
以上の処理により、再生装置２は、Ｌ画像とＲ画像を最適な視差で表示させることが可能になる。
【０１２５】
＜変形例＞
変形例１．
図１６は、記録再生システムの構成例を示すブロック図である。図１６の記録装置１には、カメラ部２１、記録部２２、記録媒体２３の他に、再生部１０２と表示制御部１０３が設けられる。すなわち、図１６の記録装置１は、記録装置としての機能だけでなく、再生装置としての機能をも有している。
【０１２６】
図１６の構成を有する記録装置１においては、3Dビデオの撮影が行われるとともに、撮影によって得られた3Dビデオの再生が図１２を参照して説明したようにして行われる。記録装置１により再生されたＬ画像とＲ画像は表示装置３に出力され、表示される。記録装置１と表示装置３は例えばHDMIケーブルによって接続される。
【０１２７】
変形例２．
図１７は、記録再生システムの他の構成例を示すブロック図である。図１７の記録装置１には、カメラ部２１、記録部２２、記録媒体２３が設けられ、再生装置２には取得部１０１と再生部１０２が設けられる。表示装置３には表示制御部１０３が設けられる。
【０１２８】
すなわち、図１７の再生装置２は、記録装置１から取り込んだ3DビデオをH.264/MPEG-4 MVCによって復号する機能は有しているが、図１１の再生装置２とは異なり、復号によって得られたＬ画像とＲ画像の視差を調整する機能は有していない。Ｌ画像とＲ画像の視差の調整は、表示装置３において行われることになる。
【０１２９】
図１７の構成を有する記録装置１においては、3Dビデオの撮影が行われ、撮影によって得られた3Dビデオが再生装置２に転送される。
【０１３０】
再生装置２の取得部１０１は3Dビデオのデータを記録装置１から取得し、再生部１０２は、取得部１０１により取得された3DビデオのデータをH.264/MPEG-4 MVCによって復号する。再生部１０２は、復号して得られたＬ画像とＲ画像を、Non-base viewビデオストリームのuser_data_unregistered SEIから取得した基線長、輻輳角、35mm換算焦点距離の情報とともに表示装置３に出力する。
【０１３１】
表示装置３の表示制御部１０３は、再生装置２から供給されたＬ画像とＲ画像の視差を、再生装置２から供給された基線長、輻輳角、35mm換算焦点距離の情報に基づいて、図１３を参照して説明したようにして調整し、視差を調整したＬ画像とＲ画像を表示する。この場合、視差の調整に用いる表示デバイスのサイズなどの情報は、視差の調整を行う表示装置３にとって既知の情報となる。
【０１３２】
変形例３．
以上においては、Ｌ画像の撮影に用いられたカメラとＲ画像の撮影に用いられたカメラのカメラ情報をH.264/MPEG-4 MVCのNon-base viewビデオストリームに記録するものとしたが、カメラ情報を、Side by side方式でＬ画像とＲ画像を記録した１つのストリームに記録することも可能である。
【０１３３】
Side by side方式のＬ画像とＲ画像の符号化方式には例えばH.264 AVCが用いられる。カメラ情報は、例えば、AVCストリームのuser_data_unregistered_SEI()に記録される。
【０１３４】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３５】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１３６】
CPU(Central Processing Unit)１５１、ROM(Read Only Memory)１５２、RAM(Random Access Memory)１５３は、バス１５４により相互に接続されている。
【０１３７】
バス１５４には、さらに、入出力インタフェース１５５が接続されている。入出力インタフェース１５５には、キーボード、マウスなどよりなる入力部１５６、ディスプレイ、スピーカなどよりなる出力部１５７が接続される。また、入出力インタフェース１５５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１５８、ネットワークインタフェースなどよりなる通信部１５９、リムーバブルメディア１６１を駆動するドライブ１６０が接続される。
【０１３８】
以上のように構成されるコンピュータでは、CPU１５１が、例えば、記憶部１５８に記憶されているプログラムを入出力インタフェース１５５及びバス１５４を介してRAM１５３にロードして実行することにより、上述した一連の処理が行われる。
【０１３９】
CPU１５１が実行するプログラムは、例えばリムーバブルメディア１６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１５８にインストールされる。
【０１４０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４１】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４２】
［構成の組み合わせ例］
本技術は、以下のような構成をとることもできる。
【０１４３】
（１）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と
を備える記録装置。
【０１４４】
（２）
左目用の画像を撮影する前記第１のカメラと、
右目用の画像を撮影する前記第２のカメラと
をさらに備え、
前記符号化部は、
前記第１のカメラで撮影された左目用の画像を前記Base viewビデオストリームとして符号化し、
前記第２のカメラで撮影された右目用の画像を前記Non-base viewビデオストリームとして符号化する
前記（１）に記載の記録装置。
【０１４５】
（３）
前記符号化部は、前記光軸間隔の情報として、２つの値を含む情報を記録し、
前記第１のカメラと前記第２のカメラの光軸間隔は、前記２つの値のうちの一方の値を他方の値で除算することによって表される
前記（１）または（２）に記載の記録装置。
【０１４６】
（４）
前記符号化部は、前記輻輳角の情報として、２つの値を含む情報を記録し、
前記第１のカメラと前記第２のカメラの輻輳角は、前記２つの値のうちの一方の値を他方の値で除算することによって表される
前記（１）乃至（３）のいずれかに記載の記録装置。
【０１４７】
（５）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、
Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録し、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる
ステップを含む記録方法。
【０１４８】
（６）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、
Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録し、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる
ステップを含む処理をコンピュータに実行させるプログラム。
【０１４９】
（７）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する復号部を備える
再生装置。
【０１５０】
（８）
前記SEIに基づいて、前記Base viewビデオストリームを復号して得られた画像と、前記Non-base viewビデオストリームを復号して得られた画像との視差を調整し、表示させる表示制御部をさらに備える
前記（７）に記載の再生装置。
【０１５１】
（９）
前記表示制御部は、
前記Base viewビデオストリームを復号して得られた画像を左目用の画像として表示させ、
前記Non-base viewビデオストリームを復号して得られた画像を右目用の画像として表示させる
前記（７）または（８）に記載の再生装置。
【０１５２】
（１０）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する
ステップを含む再生方法。
【０１５３】
（１１）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する
ステップを含む処理をコンピュータに実行させるプログラム。
【０１５４】
（１２）
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と
前記記録媒体に記録された前記Base viewビデオストリームと前記Non-base viewビデオストリームとを復号する復号部と
を備える記録再生装置。
【符号の説明】
【０１５５】
１ 記録装置， ２ 再生装置， ３ 表示装置， ２１ カメラ部， ２２ 記録部， ２３ 記録媒体， １０１ 取得部， １０２ 再生部， １０３ 表示制御部
【特許請求の範囲】
【請求項１】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と
を備える記録装置。
【請求項２】
左目用の画像を撮影する前記第１のカメラと、
右目用の画像を撮影する前記第２のカメラと
をさらに備え、
前記符号化部は、
前記第１のカメラで撮影された左目用の画像を前記Base viewビデオストリームとして符号化し、
前記第２のカメラで撮影された右目用の画像を前記Non-base viewビデオストリームとして符号化する
請求項１に記載の記録装置。
【請求項３】
前記符号化部は、前記光軸間隔の情報として、２つの値を含む情報を記録し、
前記第１のカメラと前記第２のカメラの光軸間隔は、前記２つの値のうちの一方の値を他方の値で除算することによって表される
請求項１に記載の記録装置。
【請求項４】
前記符号化部は、前記輻輳角の情報として、２つの値を含む情報を記録し、
前記第１のカメラと前記第２のカメラの輻輳角は、前記２つの値のうちの一方の値を他方の値で除算することによって表される
請求項１に記載の記録装置。
【請求項５】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、
Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録し、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる
ステップを含む記録方法。
【請求項６】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、
Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録し、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項７】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する復号部を備える
再生装置。
【請求項８】
前記SEIに基づいて、前記Base viewビデオストリームを復号して得られた画像と、前記Non-base viewビデオストリームを復号して得られた画像との視差を調整し、表示させる表示制御部をさらに備える
請求項７に記載の再生装置。
【請求項９】
前記表示制御部は、
前記Base viewビデオストリームを復号して得られた画像を左目用の画像として表示させ、
前記Non-base viewビデオストリームを復号して得られた画像を右目用の画像として表示させる
請求項８に記載の再生装置。
【請求項１０】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する
ステップを含む再生方法。
【請求項１１】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１２】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と、
前記記録媒体に記録された前記Base viewビデオストリームと前記Non-base viewビデオストリームとを復号する復号部と
を備える記録再生装置。
【請求項１】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と
を備える記録装置。
【請求項２】
左目用の画像を撮影する前記第１のカメラと、
右目用の画像を撮影する前記第２のカメラと
をさらに備え、
前記符号化部は、
前記第１のカメラで撮影された左目用の画像を前記Base viewビデオストリームとして符号化し、
前記第２のカメラで撮影された右目用の画像を前記Non-base viewビデオストリームとして符号化する
請求項１に記載の記録装置。
【請求項３】
前記符号化部は、前記光軸間隔の情報として、２つの値を含む情報を記録し、
前記第１のカメラと前記第２のカメラの光軸間隔は、前記２つの値のうちの一方の値を他方の値で除算することによって表される
請求項１に記載の記録装置。
【請求項４】
前記符号化部は、前記輻輳角の情報として、２つの値を含む情報を記録し、
前記第１のカメラと前記第２のカメラの輻輳角は、前記２つの値のうちの一方の値を他方の値で除算することによって表される
請求項１に記載の記録装置。
【請求項５】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、
Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録し、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる
ステップを含む記録方法。
【請求項６】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、
Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録し、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項７】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する復号部を備える
再生装置。
【請求項８】
前記SEIに基づいて、前記Base viewビデオストリームを復号して得られた画像と、前記Non-base viewビデオストリームを復号して得られた画像との視差を調整し、表示させる表示制御部をさらに備える
請求項７に記載の再生装置。
【請求項９】
前記表示制御部は、
前記Base viewビデオストリームを復号して得られた画像を左目用の画像として表示させ、
前記Non-base viewビデオストリームを復号して得られた画像を右目用の画像として表示させる
請求項８に記載の再生装置。
【請求項１０】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する
ステップを含む再生方法。
【請求項１１】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１２】
第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、
Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と、
前記記録媒体に記録された前記Base viewビデオストリームと前記Non-base viewビデオストリームとを復号する復号部と
を備える記録再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−２４９１３７（Ｐ２０１２−２４９１３７Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１２０１８７（Ｐ２０１１−１２０１８７）
【出願日】平成２３年５月３０日（２０１１．５．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月３０日（２０１１．５．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]