再生装置および再生プログラム
【課題】 ２次元画像およびその画素毎の奥行き情報が所定のフォーマットで規格された記録媒体に記録されている際に、その２次元画像および奥行き情報に基づいて２次元画像および３次元画像を切替再生する。
【解決手段】 ＤＶＤビデオ規格に準拠する記録媒体９に記録された多重化ストリームから第１のビットストリームを分離して２次元画像を再生する情報分離化器１０２およびビデオ復号器１０３と、多重化ストリームから第２のビットストリームを分離して２次元画像の奥行きに関する情報を再生する情報分離化器１０２、ビデオ復号器１０３、および奥行き情報取り出し器１０４と、再生した２次元画像およびその２次元画像の奥行きに関する情報に基づいて３次元画像を生成する視野変換器１０６および立体画像表示器１０５と、を備えた再生装置１００。
【解決手段】 ＤＶＤビデオ規格に準拠する記録媒体９に記録された多重化ストリームから第１のビットストリームを分離して２次元画像を再生する情報分離化器１０２およびビデオ復号器１０３と、多重化ストリームから第２のビットストリームを分離して２次元画像の奥行きに関する情報を再生する情報分離化器１０２、ビデオ復号器１０３、および奥行き情報取り出し器１０４と、再生した２次元画像およびその２次元画像の奥行きに関する情報に基づいて３次元画像を生成する視野変換器１０６および立体画像表示器１０５と、を備えた再生装置１００。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の規格にフォーマット化された記録媒体に記録された、２次元画像の所定単位毎に求められた当該２次元画像の奥行きに関する情報を再生するための再生装置および再生プログラムに関する。
【背景技術】
【０００２】
従来、例えば、特許文献１には、左右一対の撮像カメラにより撮像された対象物体に関するステレオ画像（一対の並んだ２次元画像；左眼画像、右眼画像）において相関関数等により互いに対応付けられた一対の画素点間の視差ベクトルを求め、この視差ベクトルに基づいて、ステレオ画像から対象物体までの距離を求める装置が開示されている。
【０００３】
すなわち、この特許文献１によれば、例えば左眼画像の注目点の右眼画像上の投影線であるエピポーラ線の方向およびこのエピポーラ線に直交する方向を求める。
【０００４】
そして、求めたエピポーラ線の方向およびその直交方向それぞれに基づくエピポーラ線方向探索範囲および直交方向探索範囲から構成された左眼画像上の２次元探索範囲を決定し、左眼画像上の２次元探索範囲内のある点の座標およびこの点に対応する右眼画像上の対応点の座標の差分を、その点の視差ベクトルとして求める。この視差ベクトルを、左眼画像上の２次元探索範囲内における全ての点において求め、求めた視差ベクトルを用いてステレオ画像から対象物体までの距離、言い換えれば、ステレオ画像上に表示された対象物体の奥行き情報を算出している。
【０００５】
算出したステレオ画像から対象物体までの距離（奥行き情報）により、対象物体を立体画像、すなわち、３次元画像として表示することが可能になる。
【０００６】
上述した３次元映像を作成する際に必要な２種類の２次元映像に対応する２種類のビデオデータを記録する際の技術として、特許文献２には、映像信号のメインビデオストリームとして、２種類のビデオデータの内の一方のビデオデータを格納し、この一方のビデオデータから例えばＭＰＥＧ（Motion Picture Experts Group）予測符号化等により作成された他方のビデオデータを、映像信号におけるプライベートストリーム、ユーザーエリア等の任意の使用可能領域に補助データとして記録することにより、立体映像表示に必要な２種類のビデオデータを記録する方式が開示されている。
【特許文献１】特開２０００−２８３５６号公報
【特許文献２】特開平９−３２７０４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１および２に開示された技術等の従来の技術においては、２次元ビデオデータから３次元映像を生成するために必要なその２次元映像（２次元ビデオデータ）を構成する２次元画像の奥行き情報が、所定のフォーマットで規格化された記録媒体に対し、その規格化されたフォーマットに対し互換性を保持した状態で、且つ切替再生（２次元映像または３次元映像として効率的に切替る再生）できるように記録するための具体的な記録方式は開発されてはおらず、したがって、その具体的な記録方式により記録された奥行き情報を利用して３次元画像を生成する再生方式を開発したいという要望が生じていた。
【０００８】
本発明は上述した事情に鑑みてなされたものであり、２次元画像およびその画素毎の奥行き情報が所定のフォーマットで規格された記録媒体に記録されている際に、その２次元画像および奥行き情報に基づいて２次元画像および３次元画像を切替再生できる再生装置および再生プログラムを提供することをその目的とする。
【課題を解決するための手段】
【０００９】
請求項１記載の発明は、上記課題を解決するため、所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成る第１のビットストリームと、前記２次元画像の所定単位毎に求められた当該２次元画像の奥行きに関する情報をフォーマット化して成る第２のビットストリームとが多重化された多重化ストリームを再生する再生装置であって、前記多重化ストリームから前記第１のビットストリームを分離して前記２次元画像を再生する手段と、前記多重化ストリームから前記第２のビットストリームを分離して前記２次元画像の奥行きに関する情報を再生する手段と、前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する手段とを備えたことを要旨とする。
【００１０】
請求項２記載の発明は、上記課題を解決するため、所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成るビデオストリームと、このビデオストリームにおける前記圧縮符号化フォーマットにおいて設定される任意使用領域に格納された前記２次元画像の奥行きに関する情報とが多重化されて構成された多重化ストリームを再生する再生装置であって、前記多重化ストリームから前記ビットストリームを分離して前記２次元画像を再生する手段と、前記分離したビットストリームにおける前記任意使用領域に格納された前記２次元画像の奥行きに関する情報を再生する手段と、前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する手段とを備えたことを要旨とする。
【００１１】
請求項３記載の発明は、上記課題を解決するため、前記２次元画像は、２次元映像を構成する複数のフレーム画像であり、前記奥行き情報は、前記２次元映像を構成する各フレーム画像における前記所定単位としての画素毎の画素値であり、前記２次元映像を構成する各フレーム画像における前記画素毎の奥行き情報を表す画素値は、前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより各フレーム画像内において差分符号化する第１の圧縮符号化処理、ランレングス符号化する第２の圧縮符号化処理、前記各フレーム画像と該各フレーム画像の時間軸上における未来および過去の内の少なくとも一方のフレーム画像とから予測符号化する第３の圧縮符号化処理、および前記各フレーム画像内の直交変換を用いて符号化する第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化されて前記記録媒体に記録されており、前記奥行きに関する情報を再生する手段は、前記第１〜第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化処理された前記各フレーム画像の前記画素毎の奥行き情報を表す画素値を、その少なくとも何れか１つの圧縮符号化処理に対応する復号化処理により復号化して前記２次元画像の奥行きに関する情報を再生する手段を備えたことを要旨とする。
【００１２】
請求項４記載の発明は、上記課題を解決するため、所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成る第１のビットストリームと、前記２次元画像の所定単位毎に求められた当該２次元画像の奥行きに関する情報をフォーマット化して成る第２のビットストリームとが多重化された多重化ストリームを再生するためのコンピュータが実行可能な再生プログラムであって、前記コンピュータに、前記多重化ストリームから前記第１のビットストリームを分離して前記２次元画像を再生する処理と、前記多重化ストリームから前記第２のビットストリームを分離して前記２次元画像の奥行きに関する情報を再生する処理と、前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する処理とをそれぞれ実行させることを要旨とする。
【００１３】
請求項５記載の発明は、上記課題を解決するため、所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成るビデオストリームと、このビデオストリームにおける前記圧縮符号化フォーマットにおいて設定される任意使用領域に格納された前記２次元画像の奥行きに関する情報とが多重化されて構成された多重化ストリームを再生するためのコンピュータが実行可能な再生プログラムであって、前記コンピュータに、前記多重化ストリームから前記ビットストリームを分離して前記２次元画像を再生する処理と、前記分離したビットストリームにおける前記任意使用領域に格納された前記２次元画像の奥行きに関する情報を再生する処理と、前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する処理とをそれぞれ実行させることを要旨とする。
【００１４】
請求項６記載の発明は、上記課題を解決するため、前記２次元画像は、２次元映像を構成する複数のフレーム画像であり、前記奥行き情報は、前記２次元映像を構成する各フレーム画像における前記所定単位としての画素毎の画素値であり、前記２次元映像を構成する各フレーム画像における前記画素毎の奥行き情報を表す画素値は、前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより各フレーム画像内において差分符号化する第１の圧縮符号化処理、ランレングス符号化する第２の圧縮符号化処理、前記各フレーム画像と該各フレーム画像の時間軸上における未来および過去の内の少なくとも一方のフレーム画像とから予測符号化する第３の圧縮符号化処理、および前記各フレーム画像内の直交変換を用いて符号化する第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化されて前記記録媒体に記録されており、前記奥行きに関する情報を再生する処理は、前記第１〜第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化処理された前記各フレーム画像の前記画素毎の奥行き情報を表す画素値を、その少なくとも何れか１つの圧縮符号化処理に対応する復号化処理により復号化して前記２次元画像の奥行きに関する情報を再生する処理を含むことを要旨とする。
【発明の効果】
【００１５】
請求項１および４記載の発明によれば、記録媒体に記録された多重化ストリームを、一体に多重化記録された奥行き情報を用いることなく再生することにより、第１のビットストリームに基づく２次元画像を再生することができる。そして、第１のビデオストリームを、一体に多重化記録された奥行き情報を用いて再生することにより、２次元画像および奥行き情報から生成された３次元画像に切り替えて再生することができる。
【００１６】
請求項２および５記載の発明によれば、２次元画像を記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化してビットストリームを生成し、２次元画像の奥行きに関する情報を、生成したビットストリームにおける圧縮符号化フォーマットにおいて設定される任意使用領域に格納して奥行き情報付きのビットストリームを生成し、多重化により記録媒体に記録している。
【００１７】
したがって、図示しない再生装置においては、記録媒体に記録された多重化ストリームを、一体に多重化記録された奥行き情報を用いることなく再生することにより、多重化ストリームに基づく２次元画像を再生することができる。そして、多重化ストリームを、一体に多重化された奥行き情報を用いて再生することにより、２次元画像および奥行きに関する情報から生成された３次元画像に切り替えて再生することができる。
【００１８】
特に、請求項３および６に記載した発明によれば、２次元映像を構成する各フレーム画像における画素毎の奥行き情報を表す画素値が第１〜第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化されている際に、その少なくとも何れか１つの圧縮符号化処理に対応する復号化処理により２次元映像を構成する各フレーム画像における画素毎の奥行き情報を再生することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態である複数の実施形態を図面を参照して説明する。
【００２０】
なお、本発明に係る各実施形態においては、２次元映像およびこの２次元映像から得られた３次元映像再生に必要な奥行き情報を、規格化されたフォーマットとしてＤＶＤ（Digital Versatile Disk）ビデオ規格に準拠したフォーマットに互換性を有する状態で記録媒体(メディア)に記録するための記録装置および記録プログラムと、このようにして記録された２次元映像および奥行き情報を再生する再生装置および再生プログラムについて説明する。そして、本発明に係る記録装置およびプログラムに対応する記録フォーマットは、上記ＤＶＤビデオ規格準拠フォーマットに限定されるものではなく、２次元映像を再生できる仕組み（ハードウェア構成およびソフトウェア構成の何れも含む）を有するアプリケーションプログラムのフォーマットや他の記録媒体のフォーマットに対してＤＶＤビデオ規格用フォーマットと同様に応用できるものである。
【００２１】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る記録装置２００の概略構成を示すブロック図であり、図２は、本実施形態の記録装置２００の映像記録対象である物体（対象物体）ＯＢに対する記録装置２００の配置関係を示す図である。
【００２２】
図１および図２に示すように、記録装置２００は、撮像レンズＬ１およびＬ２をそれぞれ有し、対象物体ＯＢの左右の２次元映像｛ビデオデータ（映像用ビットストリーム）｝である左眼動画像および右眼動画像をそれぞれ撮像するための左右一対の撮像カメラ１Ａおよび１Ｂを備えている。この撮像カメラ１Ａおよび１Ｂの撮像レンズＬ１ＡおよびＬ１Ｂは、人間の両眼の間隔に相当する固定あるいは可変の間隔を空けて所定方向に沿って左右に同一の高さで並置されており、各撮像レンズＬ１ＡおよびＬ１Ｂは、互いに共通に設定された固定あるいは可変の焦点距離を有している。すなわち、撮像カメラ１Ａおよび１Ｂは、その撮像レンズＬ１ＡおよびＬ１Ｂの光軸が同一平面上に含まれ、且つそれぞれの撮像領域が同一平面上に位置するように２次元的に配置されている。
【００２３】
また、記録装置２００は、撮像カメラ１Ａおよび１Ｂによりそれぞれ撮像された２次元映像の内の少なくともどちらか一方（本実施形態では、撮像カメラ１Ｂにより撮像された２次元映像）を圧縮するビデオ圧縮器２と、撮像カメラ１Ａおよび１Ｂによりそれぞれ撮像された各フレーム画像(左眼画像、右眼画像)間の見え方の違い(視差)を表す物理量（視差ベクトル：視差方向および視差量）を抽出する視差ベクトル抽出器３とを備えている。
【００２４】
さらに、記録装置２００は、視差ベクトル抽出器３により抽出された視差ベクトルの大きさを算出し、算出した視差ベクトルの大きさを用いて、３次元映像生成に必要な左眼画像および右眼画像の奥行きに関する情報（奥行き情報）を算出する奥行き情報算出器４と、この奥行き情報算出器４により算出された奥行き情報をフォーマット化する奥行き情報フォーマット器５とを備えている。この奥行き情報フォーマット器５によりフォーマット化された奥行き情報は、設定に応じてビデオ圧縮器２に送られて圧縮されるか、直接、後述する情報多重化器８に送られて多重化されるようになっている。
【００２５】
記録装置２００は、対象物体ＯＢの周囲の音（音声等）を取得するマイクロフォン（以下、マイクとする）６と、このマイク９により取得された周囲音に対応するオーディオ信号を、ＤＶＤビデオ規格に準拠する圧縮フォーマットであるＭＰＥＧフォーマット(ＭＰＥＧオーディオ)により圧縮するオーディオ圧縮器７とを備えている。
【００２６】
さらに、記録装置２００は、ビデオ圧縮器２により圧縮化されたビデオデータ、オーディオ圧縮器７により圧縮化されたオーディオデータ、および奥行き情報を多重化することにより、ＤＶＤビデオ規格に準拠するフォーマットのデータを生成する情報多重化器８と、ＤＶＤビデオ規格に準拠する記録媒体９と、情報多重化器８により多重化されたＤＶＤビデオ規格に準拠するフォーマットのデータを記録媒体９に記録する記録器１０とを備えている。
【００２７】
そして、記録装置２００は、撮像カメラ１Ａおよび１Ｂ、ビデオ圧縮器２、視差ベクトル抽出器３、奥行き情報算出器４、奥行き情報フォーマット器５、マイク６、オーディオ圧縮器７、情報多重化器８、および記録器１０にそれぞれ接続されており、装置全体を制御する制御部１１を備えている。すなわち、この制御部１１は、撮像カメラ１Ａおよび１Ｂの撮像動作、ビデオ圧縮器２の圧縮処理、視差ベクトル抽出器３の視差ベクトル抽出処理、奥行き情報算出器４の奥行き情報算出処理、奥行き情報フォーマット器５のフォーマット化処理、マイク６の周囲音取得処理、オーディオ圧縮器７の圧縮処理、情報多重化器８の多重化処理、および記録器１０の記録処理をそれぞれ制御するようになっている。
【００２８】
視差ベクトル抽出器３は、左右一対の撮像カメラ１Ａおよび１Ｂによりそれぞれ同一タイミングで撮像された対象物体ＯＢの左眼画像Ｐｌおよび右眼画像Ｐｒを受け取り、受け取った左眼画像Ｐｌの各画素（ピクセル）および右眼画像Ｐｒの対応する各画素の間の対応付けを所定の評価関数（例えば、特開平９−３３２４９号公報に開示された評価関数）を用いて行うようになっている。
【００２９】
ここで、上述したように、左右一対の撮像カメラ１Ａおよび１Ｂは、その撮像レンズＬ１ＡおよびＬ１Ｂの光軸ＯｌおよびＯｒが所定の間隔（図３（ａ）ではＢとして表す）を空けて同一平面（例えば、本実施形態では、図３（ａ）に示すように、同一のＸ−Ｚ平面）に含まれるように配置されており、対象物体ＯＢの左眼画像Ｐｌおよび右眼画像Ｐｒは、図３（ａ）に示すように、対象物体ＯＢの手前側（撮像カメラ側）において同一のＸ−Ｙ平面に含まれるように得られる。
【００３０】
撮像カメラ１Ａおよび１Ｂのそれぞれの光軸が同一のＸ−Ｚ平面上に正しく配置される限り、左眼画像Ｐｌの各点（画素）に対応する右眼画像Ｐｒ間の点（画素）の探索は、例えば左眼画像Ｐｌの各画素の右眼画像Ｐｒ上への投影線であるエピポーラ線である走査線上のみ行えばよい。しかしながら、実際には、右眼画像Ｐｒ上の走査線上に対応画素が１画素分も誤差なく配置されていることはむしろ少ない。
【００３１】
そこで、本実施形態では、視差ベクトル抽出器３は、左眼画像Ｐｌ上の各画素に対応する右眼画像Ｐｒ上の各画素、すなわち、左眼画像Ｐｌおよび右眼画像Ｐｒ間の対応画素を、左眼画像Ｐｌ上の各画素の右眼画像Ｐｒ上の投影線であるエピポーラ線方向｛本実施形態の場合、撮像レンズＬ１ＡおよびＬ１Ｂの光軸ＯｌおよびＯｒが同一のＸ−Ｚ平面に含まれているため、エピポーラ線方向に加えて、そのエピポーラ線方向に直交する垂直方向｝に沿って対応画素探索および探索された対応画素間の視差ベクトル抽出処理を行う。
【００３２】
ここで、視差ベクトル抽出器３の対応画素探索処理および探索された対応画素間の視差ベクトル算出処理について、図２、図３（ａ）および（ｂ）を参照して説明する。
【００３３】
例えば、図３（ａ）に示すように、対象物体ＯＢにおける予め判別されている点、あるいは非常に判別しやすい特徴点（座標（ｘ，ｙ，ｚ））が、左眼画像Ｐｌには点Ｒ（Ｘｌ，Ｙｌ）に、右眼画像Ｐｒには点Ｓ（Ｘｒ，Ｙｒ）に存在していたとする。左眼画像Ｐｌ上の点Ｒの右眼画像Ｐｒ上におけるエピポーラ線はＥＰｒ、右眼画像Ｐｒ上の点Ｓの左眼画像Ｐｌ上におけるエピポーラ線はＥＰｌとしてそれぞれ表される。
【００３４】
このとき、撮像カメラ１Ａおよび１Ｂのそれぞれの光軸が同一のＸ−Ｚ平面上に配置されているため、点ＲのＹ座標Ｙｌおよび点ＳのＹ座標Ｙｒはそれぞれ等しくなり、エピポーラ線ＥＰｒおよびエピポーラ線ＥＰｌの方向は、点Ｒおよび点Ｓを結ぶ直線の方向Ｄ１（以下、エピポーラ線ＥＰの方向Ｄ１とする）として求めることができる。
【００３５】
本実施形態において、撮像カメラ１Ａおよび１Ｂの高さ方向（Ｙ軸方向）への設置誤差が無視でき、撮像カメラ１Ａおよび１Ｂそれぞれの光軸ＯｌおよびＯｒが同一のＸ−Ｚ平面上に略正確に配置されているとした場合、エピポーラ線ＥＰの方向Ｄ１は、図３（ａ）に示すように、略Ｘ軸に平行である。したがって、例えば、左眼画像Ｐｌの点Ｒ（Ｘｌ，Ｙｌ）に対応する右眼画像Ｐｒ上の対応点Ｓ（Ｘｒ，Ｙｒ）の探索は、左眼画像Ｐｌおよび右眼画像Ｐｒ上に設定される、エピポーラ線ＥＰの方向Ｄ１に沿った幅ΔＥおよびエピポーラ線ＥＰの方向に直交する方向に沿った幅ΔＴにより構成される探索範囲Ｗにおいて実行される。
【００３６】
具体的には、探索範囲Ｗ上における左眼画像Ｐｌの点Ｒ（Ｘｌ，Ｙｌ）を含むその近傍に小ブロック（例えば、水平４画素、垂直２画素の画素ブロック）を設定し、この小ブロックの各画素の画素値｛例えば、輝度信号（Ｙ信号）用の８ビット、色差信号（Ｃｂ信号、Ｃｒ信号）用の４ビットずつの合計１６ビットで表される｝と探索範囲Ｗ上における右眼画像Ｐｒの各点に対応する各小ブロックの各画素の画素値（上記１６ビット）との差や和、あるいは差の２乗和等を評価パラメータとし、この評価パラメータが最小値になる右眼画像Ｐｒ上の点を、左眼画像Ｐｌの点Ｒ（Ｘｌ，Ｙｌ）の対応点として求める。なお、本実施形態の場合、この対応点が点Ｓ（Ｘｒ，Ｙｒ）となる。
【００３７】
撮像カメラ１Ａおよび１Ｂの高さ方向（Ｙ軸方向）への設置誤差を考慮した結果、例えばエピポーラ線ＥＰの方向Ｄ１がＸ軸から角度θだけ例えば下方に傾斜していた場合（図３(ｃ)においてエピポーラ線ＥＰの方向Ｄ１’として表す）には、水平探索範囲とｔａｎθの積で計算される範囲分垂直方向の探索範囲を拡大することにより、たとえ撮像カメラ１Ａおよび１Ｂの高さ方向へ設置誤差が生じていた場合でも、左眼画像Ｐｌの点Ｒ（Ｘｌ，Ｙｌ）に対応する右眼画像Ｐｒ上の点Ｓ（Ｘｒ，Ｙｒ）を正確に抽出することができる。
【００３８】
このようにして左眼画像Ｐｌの点Ｒ（Ｘｌ，Ｙｌ）に対応する右眼画像Ｐｒ上の点Ｓ（Ｘｒ，Ｙｒ）を抽出した後、視差ベクトル抽出器３は、左眼画像Ｐｌの点Ｒ（Ｘｌ，Ｙｌ）と対応点Ｓ（Ｘｒ，Ｙｒ）との差分をとり、得られた結果を、点Ｐ（Ｘｌ，Ｙｌ）における視差ベクトルＶ（Ｘｌ−Ｘｒ，Ｙｌ−Ｙｒ）として表す。この視差ベクトルを、左眼画像Ｐｌにおける探索範囲Ｗ内の全てのマクロブロック（ＭＢ：本実施形態では、水平方向１６画素×垂直方向１６画素の画素ブロックとする）内の全ての点について、上述した点Ｒ（Ｘｌ，Ｙｌ）における抽出方法と同一の方法により求める。視差ベクトル抽出器３は、上述した処理を左眼画像Ｐｌ全体に亘って行い、この結果、左眼画像Ｐｌおよび右眼画像Ｐｒ上の全ての対応点に関する全ての視差ベクトルＶを抽出し、抽出した全ての視差ベクトルＶを奥行き情報算出器４に送出する。
【００３９】
奥行き情報算出器４は、送出されてきた各視差ベクトルＶを受け取り、受け取った各視差ベクトルの大きさ（奥行き方向の距離、以下、奥行き情報とする）を計算する。そして、奥行き情報算出器４は、例えば、水平４画素、垂直２画素（４×２）の小ブロックを設定して探索を行い、この小ブロック単位の各視差ベクトルの位置情報｛水平位置（Ｘ）、垂直位置（Ｙ）、奥行き情報（Ｚ）｝として奥行き情報フォーマット器５へ送る。
【００４０】
奥行き情報フォーマット器５は、送られた各小ブロックの奥行き情報の値を、各小ブロックを構成する各画素に対してたとえば８ビットのデータ(以下、奥行きデータとする)として展開する。例えば、奥行き情報フォーマット器５は、各小ブロックを構成する画素それぞれに対し、対応する小ブロックに設定された同一の奥行きデータ値や奥行きデータ値の画素単位の平均値を設定することも可能である。また、奥行き情報フォーマット器５は、隣接する小ブロックの画素それぞれに設定されるデータ値を、例えばローパスフィルタを介して平滑化処理（小ブロック間で奥行きデータ値が滑らかに繋がる処理）を施すこともできる。
【００４１】
このようにして得られた左眼画像Ｐｌの各画素の奥行きデータに基づいて、奥行き情報フォーマット器５は、その奥行きデータを例えばラスタ順（左上画素から右下画素へ走査される順番）に並べてフォーマット化する。このフォーマット化された奥行きデータは、ビデオ圧縮器２に送信される。
【００４２】
ここで、ＤＶＤビデオフォーマットの概略を図４に示す。
【００４３】
図４に示すように、ＤＶＤビデオフォーマットでは、ＤＶＤビデオ規格に準拠する記録媒体の記録層がVolume spaceとして設定されており、このVolume spaceがVolume and File structure１９、DVD-video zone２０、およびDVD-others zone２１に分かれている。DVD-video zone（ＤＶＤビデオゾーン）２０には、ＤＶＤビデオの再生に必要な全てのファイルとして、１つのＶＭＧ（Video Manager）２２および複数（ｎ個）のＶＴＳ（Video Title Set）２３ａ１〜２３ａｎが格納されている。ＶＭＧ２２は、ＶＭＧＩ（Video Manager Information:ビデオマネージャーインフォメーション）等、後続するＶＴＳ２３ａ１〜２３ａｎの識別情報や様々な情報自体のスタートアドレスやエンドアドレス、どこのビデオストリームから再生を開始するか等の情報が含まれている。
【００４４】
DVD-others zone２１は、ＤＶＤビデオ規格に準拠するＤＶＤビデオフォーマットにおいて自由使用領域として設定された領域である。
【００４５】
各ＶＴＳ２３ａ１〜２３ａｎは、再生されるべきオーディオデータ（オーディオビットストリーム、以下、単にオーディオストリームとも記載する）およびビデオデータ（ビデオビットストリーム、以下、単にビデオストリームとも記載する）のアドレス情報や識別情報等の制御データ（Control Data）が格納されたフィールド２４と、このControl Dataフィールド２４の後に格納されたＶＯＢＳ（Video Object Set:ビデオオブジェクトセット）２５というビデオストリームおよびオーディオストリームが多重化されたＭＰＥＧ（Motion Picture Experts Group）ストリームのセット（コンテンツ）とから構成されており、このＶＯＢＳ２５は、複数のＶＯＢ２６（Video Object）という小単位のＭＰＥＧストリームから構成されている。
【００４６】
各ＶＯＢ２６は、さらに細分化された複数のセル（ＣＥＬＬ）２７という単位から構成されている。このＣＥＬＬ２７は、再生単位を表し、固有のＩＤ番号が付与されている。各ＣＥＬＬ２７は、さらに複数のＶＯＢＵ（Video Object Unit:ビデオオブジェクトユニット）２８から構成されている。この各ＶＯＢＵ２８がＭＰＥＧストリームのＧＯＰ（Group of Pictures：グループオブピクチャズ）に相当する構造となっており、再生時間長として０．４〜１．０秒程度を有している。このＧＯＰは、後述するＭＰＥＧ２における予測符号化のための構造であり、I-picture （Ｉピクチャ：フレーム内予測符号化画像）から次のＩピクチャまでのグループ｛P-pictures（Ｐピクチャズ：複数の順方向予測符号化画像）およびB-Pictures（Ｂピクチャズ：複数の双方向予測符号化画像）｝を意味し、例えば蓄積用記録媒体では、一般に１５ピクチャズ（１５画像）のグループとして構成される。
【００４７】
各ＶＯＢＵ２８には、ＭＰＥＧ多重化された別個のストリームデータであるＮＶ＿ＰＡＣＫ２９、Ａ＿ＰＡＣＫ３０、Ｖ＿ＰＡＣＫ３１、およびＤ＿ＰＡＣＫ３２がそれぞれ時分割多重化により格納されており、先頭のＮＶ＿ＰＡＣＫ２９にはストリームサーチ情報等がパック化（例えば、トランスポートパケット単位でパック化）されている。また、Ａ＿ＰＡＣＫ３０には、圧縮符号化されたオーディオデータがパック化されており、Ｖ＿ＰＡＣＫ３１には、圧縮符号化されたビデオデータがパック化されている。
【００４８】
上述したように、Ｄ＿ＰＡＣＫ３２は時分割されており、複数のＤ＿ＰＡＣＫ３２により各フレームレイヤ３３を構成する。各フレームレイヤ３３は、先頭に２ビットのスタートコード（Start Code）３４を有しており、例えば１６進で０００００１ＦＦから始まるように設定されている。これは、後述するデータ符号化処理として、ランレングス符号化処理、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）処理、および／または可変長符号化処理（ＶＬＣ：Variable length Coding）を行った場合においても、その符号化されたデータから区別するために、スタートコード３４は、１６進で０００００１ＦＦから始まる特殊なデータとして設定されている。
【００４９】
本実施形態においては、撮像カメラ１Ｂにより撮像された右眼画像Ｐｒは、ビデオ圧縮器２に伝送され、このビデオデータは、撮像された２次元画像（右眼画像Ｐｒ）は、図４に示すＤＶＤビデオフォーマットに準拠する圧縮フォーマットであるＭＰＥＧ圧縮フォーマットによりビデオ圧縮器２において圧縮符号化され、ビットストリーム（ＭＰＥＧビデオストリーム）として情報多重化器８に送信される。また、マイク６により収集された周囲音に対応するオーディオ信号は、図４に示すＤＶＤビデオフォーマットに準拠するＭＰＥＧオーディオフォーマットによりオーディオ圧縮器７において圧縮符号化されオーディオデータ（ＭＰＥＧオーディオストリーム）として情報多重化器８に送信される。
【００５０】
情報多重化器８では、送信されてきたビデオデータ（ＭＰＥＧビットストリーム）およびオーディオデータ(ＭＰＥＧオーディオストリーム)が前掲図４に示すＤＶＤビデオフォーマットに従ってパック化および多重化される。この結果、上記ＤＶＤビデオフォーマットに対応するＭＰＥＧ多重化トランスポートデータが生成される。生成されたＭＰＥＧ多重化トランスポートデータは、記録器１０に送られ、この記録器１０の処理により、ＤＶＤビデオ規格に準拠した記録媒体９に記録される。
【００５１】
ここで、ビデオ圧縮器２における圧縮符号化処理の規格の一例であるＭＰＥＧについて簡単に説明する。
【００５２】
ＭＰＥＧは、1988年、ISO/IEC JTC1/SC2（国際標準化機構/国際電気標準化会合同技術委員会1/専門部会2、現在のSC29）に設立された動画像符号化標準を検討する組織の名称（Moving Pictures Expert Group）の略称である。ＭＰＥＧ１（MPEGフェーズ1）は1.5Mbps程度の蓄積メディアを対象とした圧縮方式の標準で、静止画圧縮符号化を目的としたJPEGと、ISDNのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたH.261（CCITT SGXV、現在のITU-T SG15で標準化）との基本的な技術を受け継ぎ、蓄積メディア用に新しい圧縮符号化技術を導入したものである。これらは1993年8月、ISO/IEC 11172 として成立している。
【００５３】
ＭＰＥＧ２（MPEGフェーズ２）は、通信や放送等の多様なアプリケーションに対応できる汎用圧縮符号化技術の標準として、１９９４年１１月ISO/IEC １３８１８、H.２６２として成立している。
【００５４】
ＭＰＥＧは幾つかの技術を組み合わせて設計されており、特に時間領域における冗長性除去用の予測符号化技術｛フレーム内予測符号化（フレーム間差分符号化）技術、動き補償技術｝と、周波数領域における冗長性除去用の離散コサイン変換技術とが組み合わされている。
【００５５】
すなわち、予測符号化技術におけるフレーム間差分符号化技術は、ビデオデータにおける連続する２つのフレーム画像が互いに類似していることを利用して、その２つのフレーム画像の差分をとり、この差分情報を符号化することにより、時間冗長部分を削除する技術である。
【００５６】
予測符号化技術の動き補償技術における予測方向は、過去、未来、過去および未来の双方の３モードが存在する。またこの３モードは、１６画素×１６画素のマクロブロック（ＭＢ）単位で切り替えて使用することができる。予測方向は、例えば入力画像として与えられたフレーム画像（ピクチャ）のタイプによって決定される。
【００５７】
上述したように、ＭＰＥＧの予測符号化されたフレームには、データ量の異なる３種類の画像（ピクチャ）が存在する。
【００５８】
すなわち、過去のフレーム画像からの順方向のフレーム間予測符号化を行うモードと、予測をせずにマクロブロック内の画素を独立で符号化するモードとをマクロブロック毎に切り替えて符号化されているのがＰピクチャである。
【００５９】
また、過去のフレーム画像からの順方向のフレーム間予測符号化を行うモードと、未来のフレーム画像から逆方向のフレーム間予測符号化を行うモードと、過去および未来の２つのフレーム画像から双方向のフレーム間予測符号化を行うモードと、予測をせずにマクロブロック内の画素を独立で符号化するモードとをマクロブロック毎に切り替えて符号化されているのがＢピクチャである。
【００６０】
そしてフレーム画像内の全てのマクロブロックの画素がマクロブロック毎にそれぞれ独立してフレーム内符号化されているのがＩピクチャである。
【００６１】
すなわち、動き補償技術は、フレーム画像間の動き領域（動きベクトル）を、マクロブロック毎のパターンマッチングにより半画素（ハーフピクセル）精度で検出し、検出した動きベクトル分だけシフトしてから、上記フレーム間予測符号化を行う技術である。動きベクトルは、水平方向と垂直方向が存在し、この動きベクトルの符号化データは、予測開始位置を示すＭＣ(Motion Compensation)モード情報と共にマクロブロックの付加情報として伝送することができる。
【００６２】
離散コサイン変換技術（ＤＣＴ技術）は、余弦関数を積分核とした積分変換を有限空間へＤＣＴ（離散変換）する直交変換する技術であり、このＤＣＴを用いてフレーム画像の画素値を周波数領域のデータに変換してフレーム画像内の高周波成分をカットすることができる。
【００６３】
図５は、上述したＭＰＥＧによる圧縮符号化処理を実行するための符号化装置の一例を示すブロック図である。
【００６４】
図５に示すように、符号化装置５０は、圧縮符号化対象となるビデオデータ（フレーム単位の動画像）がそれぞれ入力される減算処理用の演算器５１および動き補償予測器５２と、上述した離散変換処理用のＤＣＴ器５３と、量子化処理を行う量子化器５４と、可変長符号化処理を行うＶＬＣ器５５と、バッファ５６と、符号量に基づくフィードバック制御を行うための符号量制御器５７とを備えている。
【００６５】
また、符号化装置５０は、逆量子化処理を行うための逆量子化器５８と、逆ＤＣＴを行う逆ＤＣＴ器５９と、加算処理用の演算器６０と、画像蓄積用の画像メモリ６１とを備えている。
【００６６】
図５に示す符号化装置５０によれば、演算器５１に入力されたビットストリーム（ＭＰＥＧビデオストリーム）ＶＳにおけるＮ番目のフレーム画像は、この演算器５１により、後述する動き補償予測器５２により動き補償されたリファレンス（参照）用復号化画像（Ｎ−１番目のフレーム画像）との差分が演算され（フレーム間差分符号化処理）、得られた差分画像は、ＤＣＴ器５３に送信される。ＤＣＴ器５３では、送信されてきた差分画像が周波数領域の画像データに変換される。すなわち、ＤＣＴ器５３では、送信されてきた差分画像は、マクロブロック４分割した８×８のＤＣＴブロックに分割され、それぞれのＤＣＴブロック毎に２次元ＤＣＴ処理が実行される。ここで、一般に、ビデオデータは、低周波数帯域の成分が多く高周波数帯域の成分が少ないため、ＤＣＴ処理後の画像データ（各ＤＣＴ係数ブロック）は、低周波数帯域に集中する。
【００６７】
ＤＣＴ処理により得られた画像データ（各ＤＣＴ係数ブロック）は、量子化器５４に送られて量子化される。
【００６８】
すなわち、量子化器５４において、各ＤＣＴ係数ブロックは、８×８のマトリクスとして表された２次元周波数値の各セルの値を視覚特性（人間の視覚的認識特性）に基づいて重み付けし、且つ例えばフレーム単位、あるいはマクロブロック単位で指定された全体をスカラー倍するための量子化スケール値により乗算されて得られた量子化値により構成された８×８の量子化マトリクスに基づいて対応するセル同士で除算される。この結果、８×８のＤＣＴ係数データにおける右下のデータ（高周波数帯域係数）は０となり、高周波数帯域のデータを除去することができる。
【００６９】
このようにして、高周波数帯域のデータが除去された量子化データ（各８×８の量子化データブロック）は、ＶＬＣ器５５および逆量子化器５８にそれぞれ送られる。
【００７０】
ＶＬＣ器５５では、ブロック毎に可変長符号化処理が行われる。
【００７１】
ここで、各８×８量子化データブロックの一番左上のセルは、ＤＣＴ後の定数項に相当し、波形全体の平均値、言い換えれば直流成分（ＤＣ成分）を表しており、残りのセルは、交流成分（高次成分）に相当する。
【００７２】
このとき、ＶＬＣ器５５において、各量子化データブロックにおける左上のセルの直流成分は、予測符号化の１つである差分ＰＣＭ{Differential Pulse Code Modulation）}により予測符号化される。また、交流成分を構成する残りのセル（交流成分）は、低周波数域（左上側）から高周波数域（右下）に向かって、その左上側および右下側を結ぶ対角線に直交する方向に沿ってジグザグスキャン（Zigzag Scan）により順番に読み出され、一列に整列される。このジグザグスキャンにより読み出され一列に整列されたデータにおける後ろの部分のデータは、高周波成分に相当しており、０が連続して発生している。
【００７３】
そこで、ＶＬＣ器５５では、例えば連続している０のラン長および０以外の有効なデータ値を１つの事象とし、出現確率の高いデータ値から符号長の短い符号が割り当てられることにより、ハフマン符号化される。また、動き補償予測器５２により得られた動きベクトルもＶＬＣ器５５に送られてハフマン符号化される。
【００７４】
このようにしてハフマン符号化された符号化データ（動きベクトルの符号化データが付加されている）、すなわち、符号化装置５０によりＭＰＥＧ圧縮符号化された差分画像のＭＰＥＧビデオストリームＶＳは、一時的にバッファ５６に蓄積され、所定の転送レートにより出力される。このとき、出力されたＭＰＥＧビデオストリームＶＳにおけるマクロブロック毎の発生符号量を表すデータは、符号量制御器５７に送信され、この符号量制御器５７において、送信されてきた発生符号量データと目標となる符号量との間の誤差符号量が求められる。この誤差符号量は、量子化器５４にフィードバックされ、フィードバックされた誤差符号量に基づいて、量子化器５４において量子化スケール値が調整される。この結果、ＭＰＥＧ圧縮符号化後のＭＰＥＧビデオストリームＶＳの符号化量に応じて最適な量子化スケール値を設定することができる。
【００７５】
一方、量子化器５４から逆量子化器５８に送られた各８×８量子化データブロックは、量子化器５４の量子化処理と逆の処理を行うことにより逆量子化され、得られたＤＣＴ係数ブロックは、逆ＤＣＴ器５９において逆ＤＣＴ処理が施され、この結果、差分画像が得られる。得られた差分画像は、演算器６０に送られ、この演算器６０において動き補償予測器５２から送られた動き補償されたリファレンス用復号化画像（前フレーム画像）に加算され、加算されたフレーム画像、すなわち、入力されたＮ番目のフレーム画像に相当する再生用フレーム画像は、次に入力されるＮ＋１番目のフレーム画像に対するリファレンス用復号化画像として画像メモリ６１に蓄積される。
【００７６】
動き補償予測器５２においては、今回の入力フレーム画像（例えばＮ番目のフレーム画像）と画像メモリ６１に蓄積された前回のフレーム画像（例えばＮ−１番目のフレーム画像）との間でマクロブロック毎のパターンマッチング処理が実行され、この結果得られた動きベクトルだけシフトされた前回のフレーム画像がリファレンス用復号化画像として演算器５１および６０にそれぞれ送信される。
【００７７】
以上述べたように、符号化装置５０に入力されたビデオデータは、ＭＰＥＧ技術、すなわち、時間領域の予測符号化処理（フレーム差分符号化、動き補償）、周波数領域の圧縮符号化処理（離散コサイン変換）、および可変長符号化処理（ハフマン符号化）により圧縮符号化される。
【００７８】
一方、図６は、図５に示す符号化装置５０により圧縮符号化されたビデオデータを復号して再生する復号化装置７０を示すブロック図である。
【００７９】
図６に示すように、復号化装置７０は、符号化装置５０により圧縮符号化されたＭＰＥＧビデオストリームＶＳが入力されるバッファ７１と、可変長復号化処理を行うＶＬＤ（Variable length Decoding）器７２と、逆量子化処理を行うための逆量子化器７３と、逆ＤＣＴを行う逆ＤＣＴ器７４と、加算処理用の演算器７５と、動き補償予測器７６と、画像メモリ７７とを備えている。
【００８０】
図６に示す復号化装置７０によれば、入力されたＭＰＥＧビデオストリーム（例えば、Ｎ番目のフレーム画像に対応するものとする）ＶＳは、バッファ７１に蓄積（バッファリング）され、ＶＬＤ器７２に入力される。
【００８１】
ＶＬＤ器７２において、ＭＰＥＧビデオストリームＶＳは、可変長復号化処理され、直流成分のデータおよび交流成分のデータがそれぞれ得られる。直流成分のデータは、８×８量子化データブロックの一番左上のセルに配置され、交流成分のデータは、その８×８の量子化ブロックの残りのセルに対して、上述した低周波数域（左上側）から高周波数域（右下）へのジグザグスキャンにより順番に配置される。なお、このＶＬＤ器７２においては、符号化された動きベクトルも復号化され、この動きベクトルは、動き補償予測器７６に送信される。
【００８２】
このようにして得られた各８×８量子化データブロックは、逆量子化器７３により量子化器５４の量子化処理と逆の処理を行うことにより逆量子化される。逆量子化により得られたＤＣＴ係数ブロックは、逆ＤＣＴ器７４において逆ＤＣＴ処理が施され、この結果、入力されたＭＰＥＧビデオストリームＶＳに相当する差分画像が得られる。
【００８３】
得られた差分画像は、演算器７５に送られ、この演算器７５において動き補償予測器７６から送られた動き補償されたリファレンス用復号化画像（前回再生されたフレーム画像）に加算され、加算されたフレーム画像、すなわち、入力されたＮ番目のフレーム画像に相当する再生用フレーム画像（復号化データ）は、図示しない再生装置を用いて再生される。また、この再生用フレーム画像は、次に入力されるＮ＋１番目のフレーム画像に対するリファレンス用復号化画像として画像メモリ７７に蓄積される。
【００８４】
動き補償予測器７６においては、今回の入力フレーム画像（例えばＮ番目のフレーム画像）と画像メモリ７７に蓄積された前回再生されたフレーム画像（例えばＮ−１番目のフレーム画像）との間でマクロブロック毎のパターンマッチング処理が実行され、この結果得られた動きベクトルだけシフトされた前回再生されたフレーム画像がリファレンス用復号化画像として演算器７５に送信される。
【００８５】
以上述べたように、符号化装置５０により符号化され、復号化装置７０に入力されたＭＰＥＧビデオストリームＶＳは、復号化装置７０により再生用フレーム画像として復号化される。
【００８６】
本実施形態の記録装置２００における例えばビデオ圧縮器２に対して圧縮符号化装置５０の構成および／または機能を持たせることにより、奥行き情報フォーマット器５から送られた奥行きデータを圧縮符号化することができる。そして、図示しない再生装置に対して復号化装置７０の構成および／または機能を持たせることにより、記録装置２００により圧縮符号化されたＭＰＥＧビデオストリームＶＳから対応するフレーム画像を再生することができる。
【００８７】
ここで、符号化装置５０により生成されるＭＰＥＧビデオストリームＶＳの階層構造（シンタックス）の概略構成を図７に示す。
【００８８】
図７に示すように、ＭＰＥＧビデオストリームＶＳは、６つの階層(レイヤ)から構成されており、その最上位のレイヤであるシーケンスレイヤは、図８（ａ）にテーブルＴ１として示すシンタックスを有している。なお、このテーブルＴ１を含む後述するＭＰＥＧビデオストリームＶＳのシンタックスは、ＭＰＥＧビットストリームＶＳからデータエレメントを抽出するために使用される復号化装置７０側でのシンタックスである。符号化装置５０側でのシンタックスは、復号化装置７０側でのシンタックスからｉｆ文やｗｈｉｌｅ文等の条件文を省略したシンタックスとなる。
【００８９】
図８（ａ）に示すように、シーケンスレイヤにおけるｖｉｄｅｏ＿ｓｅｑｕｅｎｃｅ（）におけるＮｅｘｔ＿Ｓｔａｒｔ＿ｃｏｄｅは、ＭＰＥＧビットストリーム中に記述されているスタートコードを探すための関数であり、ｄｏ{ }ｗｈｉｌｅ構文は、ｗｈｉｌｅ文によって定義されている条件が真である間、ｄｏ文の{ }内の関数に基づいて記述されたデータエレメントをＭＰＥＧビットストリーム中から抽出するための構文である。したがって、このシーケンスレイヤにおいては、ｗｈｉｌｅ文で記述されたシーケンスヘッダコード（Ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ＿ｃｏｄｅ）の条件が真である間、シーケンスヘッダ（Ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ）関数に基づいて記述されたデータエレメントをＭＰＥＧビットストリーム中から抽出し、ｗｈｉｌｅ文で記述されたＧＯＰレイヤ（ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅｓレイヤ）のグループスタートコード（Ｇｒｏｕｐ＿ｓｔａｒｔ＿ｃｏｄｅ）の条件が真である間、ＧＯＰレイヤの関数に基づいて記述されたデータエレメントを、抽出したデータエレメントからさらに抽出するデコード方法を表している。
【００９０】
シーケンスヘッダは、画面のフォーマット等を指定するためのレイヤであり、図８（ｂ）にテーブルＴ２として示すシンタックスを有している。
【００９１】
ＧＯＰレイヤは、図９にテーブルＴ３として示すシンタックス構造を有しており、図９における“ｕｓｅｒ＿ｄａｔａ”として示すように、ユーザによりビデオデータやオーディオデータとは関係のない任意のデータを格納することができるユーザデータ領域ＵＤ１（図７参照）が設定されている。
【００９２】
ＧＯＰレイヤの下位階層であり抽出対象のデータエレメントを規定するＰｉｃｔｕｒｅレイヤは、図１０にテーブルＴ４として示すシンタックス構造を有しており、図１０における“ｕｓｅｒ＿ｄａｔａ”として示すように、ユーザによりビデオデータやオーディオデータとは関係のない任意のデータを格納することができるユーザデータ領域ＵＤ２（図７参照）が設定されている。
【００９３】
Ｐｉｃｔｕｒｅレイヤの下位階層であり抽出対象のデータエレメントを規定するＳｌｉｃｅレイヤは、マクロブロックの帯を表しており、図１１にテーブルＴ５として示すシンタックス構造を有している。
【００９４】
また、Ｓｌｉｃｅレイヤの下位階層であり抽出対象のデータエレメントを規定するＭａｃｒｏｂｌｏｃｋ（マクロブロック）レイヤは、図１２にテーブルＴ６として示すシンタックス構造を有している。通常のＭＰＥＧのフレーム内予測符号化におけるマクロブロック（ＭＢ）としては、Ｙ信号用の４つの８×８のＤＣＴブロックおよび色差信号（ＣｂおよびＣｒ）用の２つの８×８のＤＣＴブロックを使用するため、そのシンタックスにおけるｉｆ文（macroblock_pattern）におけるｆｏｒ文の繰り返し範囲が“ｆｏｒ（ｉ＝０；ｉ＜６；ｉ＋＋）”と設定されている。
【００９５】
さらに、マクロブロックレイヤの下位階層であり抽出対象のデータエレメント（８×８の小ブロック）を規定するブロックレイヤは、図１３にテーブルＴ７として示すシンタックス構造を有している。
【００９６】
すなわち、ビデオ圧縮器２に入力されたビデオデータ（右眼画像Ｐｒ）は、ビデオ圧縮器２の図５に示すＭＰＥＧ圧縮符号化処理により圧縮符号化され、図７〜図１３に示す構造を有するＭＰＥＧビデオストリームＶＳが生成される。
【００９７】
次に、本実施形態における奥行きデータをＤＶＤビデオフォーマットに準拠するＭＰＥＧ圧縮符号化フォーマットに互換性を有するように記録する処理について説明する。
【００９８】
本実施形態では、ビデオ圧縮器２は、奥行き情報フォーマット器５から送られてきた各画素の８ビットの奥行きデータを、次の（１）〜（４）の内の何れかのデータフォーマットに基づいて、例えば右眼画像Ｐｒに基づくＭＰＥＧ圧縮符号化されたビデオデータ（ＭＰＥＧビデオストリーム）ＶＳにおけるユーザデータ領域ＵＤ１および／またはユーザデータ領域ＵＤ２に格納し、奥行きデータを含むＭＰＥＧビデオストリームＶＳを情報多重化器６へ送信するように構成されている。
【００９９】
（１）左上画素の奥行きデータから右下画素の奥行きデータへ向かう順番（ラスタ順番）に並ぶように格納するフォーマット
（２）各画素の奥行きデータの値が同じ値を示す場合に、その同じ値を示す画素数（ラン長）を７ビットで表すデータおよびその同一となるデータ値が並ぶように圧縮符号化して格納するフォーマット
（３）各画素の奥行きデータを８ビットのグレースケール画像（Ｙ信号）に見立てて、上述したＭＰＥＧ圧縮符号化におけるＩピクチャ画像と同じようにフレーム内予測符号化して格納するフォーマット
（４）（３）のフレーム内符号化に加えて、上述したＭＰＥＧ圧縮符号化におけるＰピクチャ画像用およびＢピクチャ画像用の順方向フレーム間予測符号化および双方向フレーム間挿入予測符号化して格納するフォーマット
例えば、（２）のフォーマットにおいては、図４に示すように、各フレームレイヤ３３は、スタートコード３４に続いて、１ビットの奥行きデータ有効フラグ（ＤＥ）３５を有しており、この奥行きデータ有効フラグ３５に“１”が設定されている場合には、後に続く奥行きデータは有効となる。
【０１００】
一方、奥行きデータ有効フラグ３５に“０”が設定されている場合には、後に続く奥行きデータは無効となり、対応するフレームレイヤ３３の奥行きは全ての画素において全く変化がないものとなり、各画素の奥行きデータは、後述するＯＦＦＳＥＴ値に均一にセットされることになる。
【０１０１】
フレームレイヤ３３は、奥行きデータ有効フラグ３５に続いて、７ビットの予約（Reserved）フィールド３６と、各画素の奥行きデータに対して付加するための８ビットのオフセット（ＯＦＦＳＥＴ）値を格納するためのフィールドＯＦＦＳＥＴ３７とを有している。
【０１０２】
このＯＦＦＳＥＴ３７には、−１２７〜＋１２７までの値（８ビット）がオフセット値として格納されるようになっており、後述するピクセルレイヤに格納され、オフセットが付加された奥行きデータの値が２５５（８ビットで表現できる最大値）を超えるような場合（オーバーフロー）には、その都度リミッタ機能により奥行きデータのデータ幅を８ビットに抑えることが可能になっている。
【０１０３】
例えば、奥行きデータ有効フラグ３５に“０”が設定され、且つＯＦＦＳＥＴ３７にも“０”が設定されている場合、たとえ後述する各データフィールド（ピクセルレイヤ）に何らかの奥行きデータ値が格納されていたとしても、全ての画素の奥行きデータ値が“０”と判断されることになる。
【０１０４】
そして、フレームレイヤ３３は、フィールドＯＦＦＳＥＴ３７に続いて、各画素（ピクセル）の奥行きデータを格納するためのフィールド（ピクセルレイヤ３８）を有している。
【０１０５】
ピクセルレイヤ３８は、同一の奥行きデータが連続する画素数をランレングスとして８ビットで表すためのNumOfSkipPixelフィールド３８ａと、その同一の奥行きデータを−１２８から＋１２７の値として８ビットで表すフィールド（ＺＰ）３８ｂとから構成されている。
【０１０６】
例えば、“１００”という奥行きデータを有する画素が例えば行方向に４画素連続している場合、この４画素それぞれにピクセルレイヤを割り当てて奥行きデータをＺＰフィールド３８ｂに格納するのではなく、１つのピクセルレイヤ３８のNumOfSkipPixelフィールド３８ａに連続画素数（ランレングス）である“４”を格納し、対応するＺＰフィールド３８ｂに対して奥行きデータ値である“１００”を格納することにより、奥行きデータ“１００”を４画素分連続して格納した場合と同様のデータを圧縮して格納することができる。なお（２）のフォーマットの応用として、隣接する画素の奥行きデータは非常に似ていることが多いので、隣接画素の差分をとり、隣接画素数および差分結果である差分データを、それぞれピクセルレイヤ３８のNumOfSkipPixelフィールド３８ａおよびＺＰフィールド３８ｂに格納することも可能であり、奥行きデータをさらに圧縮して符号化効率を向上させることが可能になる。
【０１０７】
なお、（３）のデータフォーマットにおいては、各画素の奥行きデータを８ビットのグレースケール画像（Ｙ信号）とみなしているため、色差信号がない。したがって、通常のＭＰＥＧのフレーム内予測符号化におけるマクロブロック（ＭＢ）として、Ｙ信号用の４つの８×８のＤＣＴブロックおよび色差信号（ＣｂおよびＣｒ）用の２つの８×８のＤＣＴブロックを合計６個のＤＣＴブロックを使用する（図１２のテーブルＴ６のｆｏｒ文の繰り返し範囲“ｆｏｒ（ｉ＝０；ｉ＜６；ｉ＋＋）”参照）のに対し、本実施形態では、各画素の奥行きデータである８ビットのグレースケール画像は、Ｙ信号用の４つの８×８のＤＣＴブロックを用いてフレーム内予測符号化されるため、上記ｆｏｒ文の繰り返し範囲は、“ｆｏｒ（ｉ＝０；ｉ＜４；ｉ＋＋）”と設定される。
【０１０８】
具体的に述べれば、図１０にテーブルＴ４として示すように、ＭＰＥＧビットストリームのピクチャレイヤにおいて、スライスレイヤ（Ｓｌｉｃｅ関数）により定義されるデータエレメント抽出処理に移行する前の最後のｉｆ文に、「ユーザデータスタートコード（user_data_start_code）を送った後に、ユーザデータ（user_data）を８ビット単位で記録することが出来る仕組み」が定義されている。
【０１０９】
詳細に説明すれば、一般に、ＭＰＥＧビットストリームにおいては、ユーザデータスタートコード（user_data_start_code）は、スライスレイヤにより定義されるデータエレメント抽出処理に移行する前では、“0x000001B2”と定義されている。すなわち、本実施形態に係るビデオ圧縮器２は、ＭＰＥＧビデオストリームＶＳとして、ユーザコードを情報多重化器８に送信し、続いてユーザデータ領域ＵＤ１あるいはＵＤ２内で、本実施形態における認証に用いる関数値の存在を示す、予め一意に識別可能なコード(識別コード)である例えば0x0f0f0f0f2428fdaaのコードを送信する。この識別コードは、他の装置やアプリケーションでユーザデータ（user_data）を使用する場合に、そのユーザデータを識別する目的で記録するもので、その識別コードの値は特別に意味を有していない。そして、ビデオ圧縮器２は、識別コードに続いて、図４に示すフレームレイヤ構造として構成された各画素の奥行きデータを、ＭＰＥＧビデオストリームＶＳにおける例えばピクチャレイヤのユーザデータ領域ＵＤ２にラスタ順で格納するようになっている。
【０１１０】
このようにして、各画素の奥行きデータがユーザデータ領域ＵＤ１またはＵＤ２に格納されたＭＰＥＧビデオストリームＶＳは、情報多重化器８に送信され、図４に示すＤＶＤビデオフォーマットに従って、オーディオ圧縮器７から送信されたオーディオデータ（ＭＰＥＧオーディオストリームＡＳ）と図４に示すＤＶＤビデオフォーマットに従って多重化され、この多重化されたデータストリーム（ＭＰＥＧ多重化トランスポートストリームＴＳ）は、記録器１０により、ＤＶＤビデオフォーマットに準拠した記録媒体９に記録される。
【０１１１】
以上述べたように、本実施形態に係る記録装置２００によれば、２次元映像から得られた３次元映像生成用の各画素の奥行き情報を、ＤＶＤビデオフォーマットに準拠するＭＰＥＧ圧縮符号化処理により圧縮符号化されたＭＰＥＧビデオストリームＶＳにおけるユーザ任意使用領域であるユーザデータ領域ＵＤ１あるいはＵＤ２に格納することができる。そして、このように奥行き情報が一体化されたＭＰＥＧビデオストリームをＭＰＥＧオーディオストリームと多重化し、ＭＰＥＧ多重化トランスポートストリームＴＳとしてＤＶＤビデオフォーマットに準拠した記録媒体９に記録することができる。
【０１１２】
このため、図示しない再生装置においては、記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳを、一体に多重化記録された奥行き情報を用いることなく再生することにより、ＭＰＥＧビデオストリームＶＳおよびＭＰＥＧオーディオストリームＡＳに基づく２次元映像およびオーディオ信号をそれぞれ再生することができる。そして、記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳを、一体に多重化記録された奥行き情報を用いて再生することにより、奥行き情報およびＭＰＥＧビデオストリームＶＳに基づく３次元映像およびＭＰＥＧオーディオストリームＡＳに基づくオーディオ信号をそれぞれ再生することができる。
【０１１３】
したがって、本実施形態に係る記録装置２００によれば、再生装置側において、記録媒体９に記録された奥行き情報の使用／不使用の切り替えにより２次元映像および３次元映像の切り替え再生を可能にする記録システムを構築することができ、この記録装置２００により記録媒体９に記録された２次元映像および３次元映像の再生効率を向上させることができる。
【０１１４】
（第２の実施の形態）
図１４は、本発明の第２の実施の形態に係る記録装置２００Ａの概略構成を示すブロック図である。本実施形態における記録装置２００Ａにおいては、ビデオ圧縮器および情報多重化器の処理が図１に示す記録装置２００と異なるため、その異なる処理について説明する。
【０１１５】
本実施形態に係る記録装置２００Ａにおいては、奥行き情報フォーマット器５から送られてきた各画素の８ビットの奥行きデータは、直接、あるいはビデオ圧縮器２Ａにより上記（２）のランレングス符号化による圧縮符号化されたフレームレイヤ毎のデータ、（３）によりフレーム内予測符号化されたデータ、あるいは（４）のフレーム間挿入予測符号化により圧縮符号化されたデータ、ビデオ圧縮器２ＡによりＭＰＥＧ圧縮符号化されたＭＰＥＧビデオストリームＶＳとは異なるビットストリームとして情報多重化器８Ａに送信される。また、上記ＭＰＥＧビデオストリームＶＳおよびオーディオ圧縮器７によりＭＰＥＧ圧縮符号化されたＭＰＥＧオーディオストリームＡＳも、それぞれ情報多重化器８Ａに送信される。
【０１１６】
情報多重化器８Ａは、送信されてきた左眼画像Ｐｌの各画素の奥行きデータに対応するデータを、ＤＶＤビデオフォーマット（図４参照）におけるＤ＿ＰＡＣＫ３２のデータ内容（例えば、２ｋＢ）として、ＭＰＥＧビデオストリームＶＳに対応するＶ＿ＰＡＣＫ３１およびＭＰＥＧオーディオストリームＡＳに対応するＡ＿ＰＡＣＫ３０等と多重化することにより、奥行きデータをＤＶＤビデオフォーマット化する。
【０１１７】
このようにして、各画素の奥行きデータが多重化されたＭＰＥＧ多重化トランスポートストリームＴＳは、記録器１０により、ＤＶＤビデオフォーマットに準拠した記録媒体９に記録される。
【０１１８】
以上述べたように、本実施形態に係る記録装置２００Ａによれば、２次元映像から得られた３次元映像生成用の各画素の奥行き情報を、ＤＶＤビデオフォーマットに従った多重化処理により、そのＤＶＤビデオフォーマットに対応する各フレームレイヤ３３における各ピクセルレイヤに格納して奥行き情報が一体化されたＭＰＥＧ多重化トランスポートストリームＴＳを生成し、生成されたＭＰＥＧ多重化トランスポートストリームＴＳをＤＶＤビデオフォーマットに準拠した記録媒体９に記録することができる。
【０１１９】
このため、第１実施形態と同様に、図示しない再生装置においては、記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳを、一体に多重化記録された奥行き情報を用いることなく再生することにより、ＭＰＥＧビデオストリームＶＳおよびＭＰＥＧオーディオストリームＡＳに基づく２次元映像およびオーディオ信号をそれぞれ再生することができる。そして、ＭＰＥＧ多重化トランスポートストリームＴＳを、一体に多重化記録された奥行き情報を用いて再生することにより、奥行き情報およびＭＰＥＧビデオストリームＶＳに基づく３次元映像およびＭＰＥＧオーディオストリームＡＳに基づくオーディオ信号をそれぞれ再生することができる。
【０１２０】
したがって、本実施形態に係る記録装置２００Ａにおいても、第１実施形態と同様の効果である、記録媒体９に記録された２次元映像および３次元映像の再生効率の向上という効果を得ることができる。
【０１２１】
なお、第１および第２の実施形態の変形例として、情報多重化器は、生成した例ＭＰＥＧ多重化トランスポートストリームＴＳのシステムレイヤ（図１５のテーブルＴ８参照）における“トランスポートデータフラグ（transport_private_data_flag）”に“１”を立てて、プライベートデータ（private_data）が存在することを明示し、続いて、データ長がトランスポートパケットをはみ出さないという制限の下で、ＭＰＥＧ多重化トランスポートストリームＴＳのtransport_private_data_lengthに設定したデータ長のプライベートデータフィールドにprivate_dataとして各画素の奥行きデータを格納し、記録媒体９に記録することもできる。
【０１２２】
また、第１および第２の実施形態の変形例に係る記録装置は、ストリーム識別情報（stream_id）にプライベートストリーム（private_stream）を設定して専用のパケットを宣言し、この専用のパケットとして確保されたフィールド（プライベートストリームフィールド）に奥行きデータをパック化し、記録器１０を介して記録媒体９にフレーム画像毎に記録することも可能である。
【０１２３】
（第３の実施の形態）
図１６は、本発明の第３の実施の形態に係る記録装置２００Ｂの概略構成を示すブロック図である。本実施形態における記録装置２００Ｂにおいては、ビデオ圧縮器および情報多重化器の処理が図１４に示す記録装置２００Ａと異なるため、その異なる処理について説明する。
【０１２４】
本実施形態に係る記録装置２００Ｂにおいては、奥行き情報フォーマット器５から送られてきた各画素の８ビットの奥行きデータは、直接、あるいはビデオ圧縮器２Ａにより上記（２）のランレングス符号化による圧縮符号化されたフレームレイヤ毎のデータ、（３）によりフレーム内予測符号化されたデータ、あるいは（４）のフレーム間挿入予測符号化により圧縮符号化されたデータ、ビデオ圧縮器２ＡによりＭＰＥＧ圧縮符号化されたＭＰＥＧビデオストリームＶＳとは異なるデータストリームとして情報多重化器８Ｂに送信される。また、上記ＭＰＥＧビデオストリームＶＳおよびオーディオ圧縮器７によりＭＰＥＧ圧縮符号化されたＭＰＥＧオーディオストリームＡＳも、それぞれ情報多重化器８Ｂに送信される。
【０１２５】
本実施形態に係る情報多重化器８Ｂは、送信されてきた左眼画像Ｐｌの各画素の奥行きデータに対応するデータを、図４に示すＤＶＤビデオフォーマットにおけるＤ＿ＰＡＣＫ３２ではなく、図１７に示すように、ＤＶＤビデオ規格に準拠するＤＶＤビデオフォーマットにおいて自由使用領域として設定された領域であるＤＶＤ-others zone２１のデータ内容としてＤＶＤ−video zone２０とリンクして多重化している。
【０１２６】
DVD-others zone２１は、１つのＤＶＭＧ（D-Video Manager）８２および複数（ｎ個）のＤＶＴＳ（D-Video Title Set）８３ａ１〜８３ａｎから構成されている。ＤＶＭＧ８２は、ビデオマネージャーインフォメーション等、後続するＤＶＴＳ８３ａ１〜８３ａｎの識別情報や様々な情報自体のスタートアドレスやエンドアドレス、どこのビデオストリームから再生を開始するか等の情報が記述されている。
【０１２７】
各ＤＶＴＳ８３ａ１〜８３ａｎは、再生されるべきオーディオデータやビデオデータ（ビデオストリーム）のアドレス情報や識別情報等の制御データ（Control Data）が格納されたフィールドＤＶＴＳＩ８４と、このＤＶＴＳＩ８４の後に格納されたＤＶＯＢＳ（D-Video Object Set:ビデオオブジェクトセット）８５というビデオストリームおよびオーディオストリームが多重化されたＭＰＥＧ（Motion Picture Experts Group）ストリームのセット（コンテンツ）とから構成されており、このＤＶＯＢＳ８５は、複数のＤＶＯＢ８６（D-Video Object）という小単位のＭＰＥＧストリームから構成されている。
【０１２８】
各ＤＶＯＢ８６は、さらに細分化された複数のセル（ＤＣＥＬＬ）８７という単位から構成されている。このＤＣＥＬＬ８７は、再生単位を表し、固有のＩＤ番号が付与されている。各ＤＣＥＬＬ８７は、さらに複数のＤＶＯＢＵ（D-Video Object Unit:ビデオオブジェクトユニット）８８から構成されている。
【０１２９】
本実施形態においては、この各ＤＶＯＢ８８が第２の実施の形態における、各画素の奥行きデータが各ピクセルレイヤ３８のデータとして格納されたフレームレイヤ３３を数フレーム分グループ化して構成されている。
【０１３０】
すなわち、本実施形態に係る情報多重化器８Ｂは、奥行き情報フォーマット器５から送信されてきたフレーム画像毎の各画素の奥行きデータからフレームレイヤ３３を生成し、生成した複数のフレーム画像に対応する複数のフレームレイヤ３３をグループ化してＤＶＤビデオフォーマットにおけるＤＶＯＢＵ８８を生成することにより、奥行きデータをＤＶＤビデオフォーマット化する。
【０１３１】
このようにして、各画素の奥行きデータが多重化されたＭＰＥＧ多重化トランスポートストリームＴＳは、記録器１０により、ＤＶＤビデオフォーマットに準拠した記録媒体９に記録される。
【０１３２】
本実施形態においても、第１および第２実施形態と同様に、図示しない再生装置においては、記録媒体９に記録された多重化データを、記録媒体９におけるDVD-others zone２１に対応するエリアに記録された奥行き情報を用いることなく再生することにより、ＭＰＥＧビデオストリームＶＳおよびＭＰＥＧオーディオストリームＡＳに基づく２次元映像およびオーディオ信号をそれぞれ再生することができる。そして、記録媒体９におけるDVD-others zone２１に対応するエリアに記録された奥行き情報を用いてＭＰＥＧ多重化トランスポートストリームＴＳの再生処理を行うことにより、奥行き情報およびＭＰＥＧビデオストリームＶＳに基づく３次元映像およびＭＰＥＧオーディオストリームＡＳに基づくオーディオ信号をそれぞれ再生することができる。
【０１３３】
したがって、本実施形態に係る記録装置２００Ｂにおいても、第１および第２実施形態と同様の効果である、記録媒体９に記録された２次元映像および３次元映像の再生効率の向上という効果を得ることができる。
【０１３４】
特に、本実施形態では、DVD-others zone２１に格納された奥行きデータをDVD-video zone２０に格納されたビデオデータと同一のデータ構造とし、DVD-others zone２１のＤＶＯＢ８６、ＤＣＥＬＬ８７、およびＤＶＯＢ８８に対応するフレーム枚数(再生長時間)を、DVD-video zone２０のＶＯＢ２６、ＣＥＬＬ２７、およびＶＯＢ２８に対応するフレーム枚数(再生長時間)と等しく設定することにより、サーチ等の記録媒体９に記録されたデータに対するアクセス性を高めることができる。
【０１３５】
このようにＤＶＤビデオ規格に準拠したフォーマットで、DVD-video zone２０およびDVD-others zone２１の内の何れか一方に、２次元映像に対応する各フレーム画像の各画素の奥行き情報を格納しておくことにより、２次元映像および３次元映像をＤＶＤビデオ規格互換で記録媒体９に記録することができる。
【０１３６】
（第４の実施の形態）
図１８は、本発明の第４の実施の形態に係る記録装置２００Ｃの概略構成を示すブロック図である。
【０１３７】
本実施形態における記録装置２００Ｃは、コンピュータグラフィックス（ＣＧ）技術をベースにして、既存の２次元画像に対応する画像データから新たな２次元画像データ、あるいは全く新たな２次元画像データを例えばフレーム単位で生成する２次元画像生成機能（モジュール）９１ａおよび信号処理によりオーディオ信号を生成するオーディオ信号生成機能（モジュール）９１ｂを有するコンピュータ９１を備えており、このコンピュータ９１は、視差ベクトル抽出器３、ビデオ圧縮器２、およびオーディオ圧縮器７にそれぞれ接続されている。
【０１３８】
コンピュータ９１は、図示しないメモリを内蔵しており、このメモリに内蔵されたプログラム(ソフトウェア)により２次元画像生成機能９１ａおよびオーディオ信号生成機能９１ｂがそれぞれ起動される。
【０１３９】
２次元画像生成機能９１ａによりＣＧ技術に基づいて生成された２次元画像データ（ＣＧ画像データ）は、小サイズの単位（例えば、ポリゴン）毎にその位置情報および奥行き情報をそれぞれ有している。
【０１４０】
すなわち、本実施形態によれば、コンピュータ９１の２次元画像生成機能９１ａは、ＣＧ技術によりフレーム単位の２次元画像データを順次生成し、ビデオデータ（ビデオストリーム）としてビデオ圧縮器２にそれぞれ送信するとともに、各２次元画像データのポリゴン単位毎の位置情報｛水平位置（Ｘ）、垂直位置（Ｙ）、奥行き情報（Ｚ）｝を奥行き情報フォーマット器５に送信するようになっている。
【０１４１】
そして、オーディオ信号生成機能９１ｂは、元の素材となるオーディオ信号を加工して、あるいは全く新たなオーディオ信号を生成してオーディオ圧縮器７に送信するようになっている。
【０１４２】
なお、ビデオ圧縮器２、奥行き情報フォーマット器５、オーディオ圧縮器７、情報多重化器８、および記録器１０の処理については、第１の実施形態の記録装置２００の対応する構成要素と略同一であるため、その説明は省略する。
【０１４３】
すなわち、本実施形態によれば、コンピュータ９１の２次元画像生成機能９１ａにより生成された各２次元画像データのポリゴン単位毎の位置情報｛水平位置（Ｘ）、垂直位置（Ｙ）、奥行き情報（Ｚ）｝は、順次奥行き情報フォーマット器５Ａに送信される。
【０１４４】
このとき、奥行き情報フォーマット器５Ａでは、送られた各ポリゴンの位置情報および各小ブロック｛（４×２）の画素範囲｝の位置情報の比較結果に応じて、各ポリゴンの奥行き情報の値が、各小ブロックの奥行き情報の値に変換され、第１の実施形態と同様に、変換された各小ブロックを構成する各画素に対してたとえば８ビットの奥行きデータとして展開される。
【０１４５】
この他の処理は、第１実施形態と同様である。
【０１４６】
すなわち、本実施形態によれば、撮像カメラを用いることなく２次元映像およびその奥行き情報を生成することができ、生成した奥行き情報を、ＭＰＥＧビデオストリームと一体化してＭＰＥＧオーディオストリームと多重化し、ＭＰＥＧ多重化トランスポートストリームＴＳとしてＤＶＤビデオフォーマットに準拠した記録媒体９に記録することができる。
【０１４７】
このため、第１実施形態と同様の効果である、記録媒体９に記録された２次元映像および３次元映像の再生効率の向上という効果を得ることができる。
【０１４８】
（第５の実施の形態）
図１９は、本発明の第５の実施の形態に係る記録装置２００Ｄの概略構成を示すブロック図である。
【０１４９】
本実施形態における記録装置２００Ｄは、第４実施形態と同等の機能構成および接続関係を有するコンピュータ９１および奥行き情報フォーマット器５Ａを備えている。なお、ビデオ圧縮器２Ａ、オーディオ圧縮器７、情報多重化器８Ａ、および記録器１０の処理については、第２の実施形態の記録装置２００Ａの対応する構成要素と略同一であるため、その説明は省略する。
【０１５０】
すなわち、本実施形態においても、第４の実施形態と同様に、コンピュータ９１の２次元画像生成機能９１ａにより生成された各２次元画像データのポリゴン単位毎の位置情報は、順次奥行き情報フォーマット器５Ａに送信される。
【０１５１】
このとき、奥行き情報フォーマット器５Ａでは、送られた各ポリゴンの位置情報および各小ブロック｛（４×２）の画素範囲｝の位置情報の比較結果に応じて、各ポリゴンの奥行き情報の値が、各小ブロックの奥行き情報の値に変換され、変換された各小ブロックを構成する各画素に対してたとえば８ビットの奥行きデータとして展開される。
【０１５２】
この他の処理は、第２実施形態と同様である。
【０１５３】
すなわち、本実施形態によれば、撮像カメラを用いることなく２次元映像およびその奥行き情報を生成することができる。そして、生成した奥行き情報を、ＤＶＤビデオフォーマットに従った多重化処理により、そのＤＶＤビデオフォーマットに対応する各フレームレイヤ３３における各ピクセルレイヤに格納して奥行き情報が一体化されたＭＰＥＧ多重化トランスポートストリームＴＳを生成し、生成したＭＰＥＧ多重化トランスポートストリームＴＳをＤＶＤビデオフォーマットに準拠した記録媒体９に記録することができる。
【０１５４】
このため、第２実施形態と同様の効果である、記録媒体９に記録された２次元映像および３次元映像の再生効率の向上という効果を得ることができる。
【０１５５】
（第６の実施の形態）
図２０は、本発明の第６の実施の形態に係る記録装置２００Ｅの概略構成を示すブロック図である。
【０１５６】
本実施形態における記録装置２００Ｅは、第４実施形態と同等の機能構成および接続関係を有するコンピュータ９１および奥行き情報フォーマット器５Ａを備えている。なお、ビデオ圧縮器２Ａ、オーディオ圧縮器７、情報多重化器８Ｂ、および記録器１０の処理については、第３の実施形態の記録装置２００Ｂの対応する構成要素と略同一であるため、その説明は省略する。
【０１５７】
すなわち、本実施形態においても、第４の実施形態と同様に、コンピュータ９１の２次元画像生成機能９１ａにより生成された各２次元画像データのポリゴン単位毎の位置情報は、順次奥行き情報フォーマット器５Ａに送信される。
【０１５８】
このとき、奥行き情報フォーマット器５Ａでは、送られた各ポリゴンの位置情報および各小ブロック｛（４×２）の画素範囲｝の位置情報の比較結果に応じて、各ポリゴンの奥行き情報の値が、各小ブロックの奥行き情報の値に変換され、変換された各小ブロックを構成する各画素に対してたとえば８ビットの奥行きデータとして展開される。
【０１５９】
この他の処理は、第３実施形態と同様である。
【０１６０】
すなわち、本実施形態によれば、撮像カメラを用いることなく２次元映像およびその奥行き情報を生成することができる。次いで、生成した奥行き情報からフレームレイヤ３３を生成し、生成した複数のフレーム画像に対応する複数のフレームレイヤ３３をグループ化してＤＶＤビデオフォーマットにおけるＤＶＯＢＵ８８を生成して奥行き情報をＤＶＤビデオフォーマット化する。そして、各画素の奥行き情報が多重化されたＭＰＥＧ多重化トランスポートストリームＴＳをＤＶＤビデオフォーマットに準拠した記録媒体９に記録することができる。
【０１６１】
したがって、本実施形態に係る記録装置２００Ｅにおいても、第３実施形態と同様の効果である、記録媒体９に記録された２次元映像および３次元映像の再生効率の向上という効果を得ることができる。
【０１６２】
（第７の実施の形態）
図２１は、本発明の第７の実施の形態に係る再生装置１００の概略構成を示すブロック図である。この再生装置１００は、本発明に係る第１乃至第６実施形態に係る記録装置２００、２００Ａ〜２００Ｅおよびその変形例の内の何れか１つの記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳに基づいて２次元映像および３次元映像を切り替え再生できる装置である。
【０１６３】
すなわち、再生装置１００は、記録媒体９にアクセスしてその記録媒体９に記録されたデータを読み取り再生することができる再生器１０１と、この再生器１０１に接続されたパケット分離用の情報分離化器１０２と、この情報分離化器１０２に接続されており、例えば図６に示す復号化装置の構成を有するビデオ復号器１０３と、このビデオ復号器１０３に接続された奥行きデータ取り出し用の奥行き情報取り出し器１０４とを備えている。
【０１６４】
さらに、再生装置１００は、所定の立体表示方式により立体映像（３次元動画像）を表示可能な立体画像表示器１０５と、この立体画像表示器１０５の立体表示方式に対応する立体画像（視差画像）を生成するための視野変換器１０６とを備えている。
【０１６５】
そして、再生装置１００は、情報分離化器１０２に接続されたオーディオデータ復号用のオーディオ復号器１０７と、このオーディオ復号器１０７により復号化されたオーディオ信号を再生するためのスピーカ１０８とを備えている。
【０１６６】
再生装置１００は、再生器１０１、情報分離化器１０２、ビデオ復号器１０３、奥行き情報取り出し器１０４、立体画像表示器１０５、視野変換器１０６、およびオーディオ復号器１０７にそれぞれ接続されており、装置全体を制御するコントローラ１０９を備えている。
【０１６７】
次に、本実施形態に係る再生装置１００の全体動作について説明する。
【０１６８】
この再生装置１００によれば、第１実施形態で説明した記録方法により記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳは、再生器１０１により記録媒体９から読み取られ、再生器１０１により読み取られたＭＰＥＧ多重化トランスポートストリームＴＳは、情報分離化器１０２に送られ、この情報分離化器１０２において、ＭＰＥＧ多重化ストリームＴＳからＭＰＥＧビデオストリームＶＳのパケットおよびＭＰＥＧオーディオストリームＡＳのパケットがそれぞれ分離される。
【０１６９】
情報分離化器１０２により分離されたＭＰＥＧビデオストリームＶＳのパケットは、ビデオ復号器１０３に受信され、このビデオ復号器１０３において、前掲図５に示した方法により、受信されたＭＰＥＧビデオストリームＶＳのパケットが復号化されて復号化データ（再生用フレーム画像）が生成される。
【０１７０】
さらに、ビデオ復号器１０３において、ＭＰＥＧビデオストリームＶＳのユーザデータ領域ＵＤ１あるいはＵＤ２に格納されたユーザデータが読み出され、この読み出されたユーザデータから、奥行き情報取り出し器１０４により、例えば図４や図１７のフレームレイヤのフォーマットで記録された奥行きデータが取り出される。なお、ユーザデータがＭＰＥＧ多重化トランスポートストリームＴＳにおけるＤ＿ＰＡＣＫ３２、プライベートデータフィールド、もしくはプライベートストリームフィールドに格納されている場合には、情報分離化器１０２によってユーザデータが読み出されて奥行き情報取り出し器１０４により奥行きデータが取り出される。
【０１７１】
ビデオ復号器１０３により生成された再生用フレーム画像および奥行き情報取り出し器１０４により取り出された奥行きデータは、それぞれ視野変換器１０６にそれぞれ受信される。
【０１７２】
視野変換器１０６においては、受信された再生用フレーム画像および奥行き情報取り出し器１０４により取り出された奥行きデータに基づいて、立体画像表示器１０５の立体表示方式に対応する視差画像が生成され、生成された視差画像は、立体画像表示器１０５により立体表示される。
【０１７３】
一方、情報分離化器１０２により分離されたＭＰＥＧオーディオストリームＡＳのパケットは、オーディオ復号器１０７により復号化されて復号化データ（オーディオ信号）が再生され、生成されたオーディオ信号は、スピーカ１０８により再生される。
【０１７４】
次に、本実施形態における視野変換器１０６の視差画像生成処理について説明する。
【０１７５】
視差画像を生成するには、ＣＧにおける座標系の変換方法として視野変換方式を用いる。この視野変換方式は、視点座標系への変換式により、視点を変えた画像を得ることができるものであり、２次元画像およびその奥行き情報を入手することができれば、その奥行き情報を用いて自由な視点から見た画像（立体画像）を生成することができる。
【０１７６】
例えば、図１に示す撮像カメラ１Ｂの１Ａあるいは１ＢのレンズＬ１ＡあるいはＬ１Ｂの光軸上の主点に対応する視点の座標を（ｘｉ，ｙｉ，ｚｉ）、対象物体ＯＢの特徴点に対応する注視点の座標を（ｘａ，ｙａ，ｚａ）とする。また、視点および注視点間の距離を（ｘｆ，ｙｆ，ｚｆ）とすると、この視点および注視点間距離（ｘｆ，ｙｆ，ｚｆ）は、下式
ｘｆ＝ｘｉ−ｘａ
ｙｆ＝ｙｉ−ｙａ
ｚｆ＝ｚｉ−ｚａ
として表される。
【０１７７】
このとき、本実施形態に係る視野変換方式では、最初に平行移動により原点の位置を動かして注視点Ｏａを直交座標系（ｘ，ｙ，ｚ）の原点に設定する。この変換をＴ１とする。この変換Ｔ１は、単に（−ｘａ，−ｙａ，−ｚａ）だけの平行移動を表す変換である。次に、回転により座標値の向きを変える。図２２に示すように、直交座標系（ｘ，ｙ，ｚ）の原点（注視点）Ｏａから点Ｏｆ方向へのベクトルは、原点Ｏａからｚ軸のベクトルをまずα角だけｙ軸を中心に回転させ、次にβ角だけｘ軸を中心に回転させる。実際には、点Ｏｆの座標値を動かすので回転方向が逆になる。
【０１７８】
ここで、
変換Ｔ２：ｙ軸に-α回転
変換Ｔ３：ｘ軸に-β回転
として表される。ここで、αは、点Ｏｆをｘｙ平面に投影した投影点Ｏｆ’と原点Ｏａとを結ぶ線とＺ軸との間の角度であるので、ｓｉｎαおよびｃｏｓαは、それぞれ下式
【数１】
として表される。
【０１７９】
また、βは、原点Ｏａおよび点Ｏｆの間の長さ（ｘｆ２＋ｙｆ２）１/２と点Ｏｆおよび投影点Ｏｆ’間の長さｙｆにより、下式
【数２】
として表される。
【０１８０】
最後の変換として、ｘｙ平面に対するｚ軸の正方向が原点Ｏａから視点側になるような（ｘ，ｙ，ｚ）座標系（図２２参照）から、ｘｙ平面に対するｚ軸の正方向が原点Ｏａから視点とは反対の方向側、すなわち、視点から見て原点Ｏａを介してｘｙ平面の向こう側(視点からの目の方向)のｚ軸方向が正になるようにする変換Ｔ４を行う。これは単にｚ→−ｚにするだけである。これら変換Ｔ１〜Ｔ４の４つの変換マトリクスを掛け合わせると、視点座標の変換マトリクスは
【数３】
として表される。
【０１８１】
例えば、立体画像表示器１０５の立体表示方式が後述するパララックスバリアを用いた２眼式立体表示方式であれば、視野変換器１０６は、奥行き情報取り出し器１０４により取り出された奥行きデータに基づいて設定できるαを上記変換マトリクスＴを表す式に代入し、βおよびγは０に設定することにより、視差を有する右眼画像および左眼画像を生成することができる。
【０１８２】
また、立体画像表示器１０５の立体表示方式が後述するＩＰ（Integral Photography：インテグラルフォトグラフィー、あるいはインテグラルイメージングともいう）を用いた方式であれば、視野変換器１０６は、複数のレンズアレイを構成するそれぞれのレンズ位置に対応した撮像カメラで対象物体を撮像して得られた複数の要素画像に基づいて、それぞれの要素画像の大きさと共に上記視点座標の変換マトリクスＴを用いて計算することにより、立体画像データを生成することができる。このようにして生成した立体画像データを、立体画像表示器１０５に伝送し、立体画像再生を行うように公正されている。
【０１８３】
ここで立体画像表示方式のうち、代表的なパララックスバリア方式とＩＰ方式の説明をする。パララックスバリア方式は、例えば液晶によって実現することができる。すなわち、パララックスバリア方式は、２枚の液晶パネルを積層して構成されており、図２３に示すように、細いスリット状の一定周期の開口部１１０ａが形成された一方の液晶パネル（液晶遮光バリア）１１０と、所定の視点（左眼、右眼）から見てその裏側に適当な間隔をおいて対向配置され、その液晶遮光バリア側のスクリーンに、左眼画像および右眼画像（ＬおよびＲ）が上記開口部と同一周期の交互に配置され、かつその反対側の面にバックライト１１１がその長手方向に沿って設置された他方の液晶パネル１１２とを備える方式である。
【０１８４】
このパララックスバリア方式によれば、ユーザの所定の視点から、液晶遮光バリア１１０の開口部を通して左眼画像および右眼画像を見た場合、右眼には右眼画像が、左眼には左眼画像がそれぞれ分離された状態で知覚できるように構成されている。この構成により、ユーザは、その右眼および左眼にそれぞれ認識された異なる左眼画像および右眼画像に基づいて、合成画像の結像位置が右眼・左眼画像位置（スクリーン位置）から変化し、立体画像として知覚することができる。
【０１８５】
しかしながら、眼のピントは常に液晶パネル１１２のスクリーン上に合わされているにも係わらず、結像位置がスクリーンとは異なる位置に知覚されるため、生理学的な不自然さを伴う恐れがあり、ユーザの疲労や映像酔い等が発生する可能性も生じていた。そこで、近年は、５つの立体視の生理的要因、すなわち、輻輳調節矛盾（輻輳点とピントのあう位置の矛盾）、両眼視差（ある物体を見る際に、人間の左右の眼はそれぞれ違った方向から見る２つの異なる像を捕らえている性質）、ピント調節（見る対象からの距離の変化に伴って水晶体の厚さをコントロールしてレンズの厚みを変えるような性質）、輻輳(遠近の変化により眼球が内側に回転したり外側へ回転したりする動きを伴うという性質）、および運動視差（ユーザが自分で動いたり見る角度を変えたりすることで像の違いを見る性質）をそれぞれ満たすような立体画像表示方式も提案されている。
【０１８６】
提案された中でも有望な方式として、Lippmannが１９０８年に発表した方式が上記ＩＰ方式である。ＩＰ方式は、２次元的に配列したレンズアレイ（フライアイレンズ、蝿の目レンズ、複眼レンズなどともいう）を利用して表示対象物体の奥行き情報を取得するものである。１９９０年代に入ると、従来の写真乾板による記録を電子技術で置き換えることにより、ＩＰ方式により動画を生成する技術が開発され、さらに、文献（ＮＨＫ放送技術研究所「３次元映像の基礎」）の研究者の手により、屈折率分布レンズアレイ｛ＧＲＩＮ（Gradient Index）レンズアレイともいう｝とハイビジョンカメラとを用いて表示対象（被写体）を撮像してレンズアレイに対応する要素画像群を取得しながら、各要素画像を液晶ディスプレイにリアルタイムに伝送して表示し、フライアイレンズにより空間上に立体画像（３次元映像）として結像することに成功し、ＩＰ方式による３次元テレビジョン放送の実現可能性が示された。
【０１８７】
図２４は、ＩＰ方式の立体画像結像原理を説明するものであり、図２４（ａ）に示すように、撮影時に微小な要素レンズ１２１を多数並べてＩＰレンズアレイ１２２としてのＧＲＩＮレンズアレイを構成しており、要素レンズ１２１毎に結像された撮像対象物体ＯＢ１の像は、集光レンズ１２３を介してハイビジョンカメラ１２４に要素画像として結像され、このカメラ１２４により一括して撮影される。そして、再生時においては、図２４（ｂ）に示すように、カメラからの映像は、表示器である例えば液晶ディスプレイ（LCD:Light Crystal Display）１２５により再現され、全ての要素レンズ１２１の光が１点に集合して、全体として１方向から見た再生像を作成する。
【０１８８】
微小な要素レンズを２次元に配置することにより水平および垂直方向の運動視差を作り出すことも可能であり、水平方向に並べれば水平方向のみの視差を持たせることも可能である。
【０１８９】
本実施形態においてＩＰ方式に対応する視差画像を生成表示するために、視野変換器１０６は、複数の要素レンズを経由して見えた複数の要素画像を、奥行き情報取り出し器１０４により取り出された奥行きデータに基づいて上述した視点変換によりそれぞれ作成し、作成した要素画像を配列することにより、あたかも図２４の（ａ）の構成で撮像したかのように立体画像表示器１０５における液晶ディスプレイに対してその要素画像配列を表示することにより、立体視再生を実現することができる。実際にＩＰ方式に対応する立体画像表示器１０５は、図２５に示すように、液晶ディスプレイ１２５と、複数の要素レンズ１２１から構成されたＩＰレンズアレイ（例えばＧＲＩＮレンズアレイ）１２２とを備え、その液晶ディスプレイ１２５およびレンズアレイ１２１を近接して対向配置して構成されている。すなわち、立体画像表示器１０５は、２次元映像を表示する構成と略同一の構成を有する薄型ディスプレイとして設計されている。
【０１９０】
一方、コントローラ１０９の制御に応じて、再生装置１０５の視野変換器１０６は奥行きデータを用いて視野変換処理を行わないことも可能であり、この場合、立体画像表示器１０５は、コントローラ１０９の制御に応じて、ビデオ復号器１０３から送られた再生用フレーム画像（２次元画像）をフレーム毎に順次表示するようになっている。
【０１９１】
以上述べたように、本実施形態に係る再生装置１００によれば、記録媒体９に記録された奥行き情報の使用／不使用の切り替えにより２次元映像および３次元映像を切り替え再生することができ、記録媒体９に記録された２次元映像および３次元映像の再生効率を向上させることができる。
【０１９２】
また、本実施形態では、奥行き情報から立体視するデータを作成しているため、従来のように片眼画像のみが劣化することを防止して、立体視を行うユーザの満足度を向上させることができる。
【０１９３】
なお、第１乃至第６の実施の形態およびその変形例では、記録器１０は、奥行き情報が多重化されたＭＰＥＧ多重化トランスポートストリームＴＳを記録媒体９に記録したが、本発明はこの構成に限定されるものではない。例えば、図２６に示すように、本変形例に係る記録装置２００Ｆにおける記録器１０Ａは、情報多重化器８から送信されてきたＭＰＥＧトランスポートストリームＴＳを、通信（放送）用パケット化器１３０を介して通信または放送用のフォーマットにしたがってパケット化し、通信／放送用フォーマットでパケット化されたストリームを、フォーマットに対応する通信網（あるいは放送網）１３１を介して伝送してもよい。
【０１９４】
また、第７実施形態では、再生装置１００は、その再生器１０１により記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳを記録媒体９から読み取って再生処理を行ったが、本発明はこの構成に限定されるものではない。例えば、図２７に示すように、本変形例に係る再生装置１００Ａは、通信網（あるいは放送網）１３１を介して伝送されてきた、通信／放送用フォーマットでパケット化されたストリームを受信してパケットを解除する。そして、再生装置１００Ａは、解除したデータを情報分離化器１０２に送り、この情報分離化器１０２において、ＭＰＥＧ多重化トランスポートストリームＴＳからＭＰＥＧビデオストリームＶＳのパケットおよびＭＰＥＧオーディオストリームＡＳのパケットをそれぞれ分離し、以下、上述した再生処理（図２１乃至図２５参照）を実行することも可能である。
【０１９５】
本変形例によれば、記録媒体９からＭＰＥＧ多重化トランスポートストリームＴＳを読み取るのではなく、通信網（放送網）１３１を介して伝送されるストリームについても、このストリームを読み取り、読み取ったストリームに対応する２次元あるいは３次元映像等を再生することもできる。
【０１９６】
（第８の実施の形態）
図２８（ａ）は、本発明の第８の実施の形態に係る記録用プログラムがインストールされた少なくとも１台のメモリ内蔵型コンピュータ（汎用コンピュータ、マイクロコンピュータ等も含む）１５０を示す図である。
【０１９７】
図２８（ａ）に示すように、コンピュータ１５０は、図１に示した一対の撮像カメラ１Ａおよび１Ｂ、マイク６、ならびに記録媒体９に対してそれぞれ接続されている。なお、図２８（ｂ）に示すコンピュータの処理手順は、図１に示すハードウェアブロック構成要素（ビデオ圧縮器２、視差ベクトル抽出器３、奥行き情報算出器４、奥行き情報フォーマット器５、オーディオ圧縮器７、情報多重化器８、および記録器１０）それぞれの処理機能に対応しているため、処理の流れを簡単に説明する。
【０１９８】
すなわち、図２８（ｂ）に示すように、コンピュータ１５０は、メモリ１５０ａに記録された記録用プログラムに従って、左右一対の撮像カメラ１Ａおよび１Ｂによりそれぞれ同一タイミングで撮像された所定時間分の対象物体ＯＢの左眼画像Ｐｌおよび右眼画像Ｐｒを入力し、メモリ１５０ａに記憶する（ステップＳ１１０）。
【０１９９】
次いで、コンピュータ１５０は、図１に示す視差ベクトル抽出器３に対応する処理を実行することにより、第１実施形態で説明したように、エピポーラ線方向およびそのエピポーラ線方向に直交する方向に基づいて設定した探索範囲内の全てのマクロブロック内の全ての対応点に関する視差ベクトルＶを抽出する（ステップＳ１２０）。
【０２００】
続いて、コンピュータ１５０は、図１に示す奥行き情報算出器４に対応する処理を実行することにより、第１実施形態で説明したように、ステップＳ１２０の処理により抽出した各視差ベクトルの大きさを計算し小ブロック単位の各視差ベクトルの位置情報｛水平位置（Ｘ）、垂直位置（Ｙ）、奥行き情報（Ｚ）｝を生成する（ステップＳ１３０）。
【０２０１】
そして、コンピュータ１５０は、図１に示す奥行き情報フォーマット器５に対応する処理を実行することにより、各小ブロックの奥行き情報の値を各画素の奥行きデータとしてフォーマット化する（ステップＳ１４０）。
【０２０２】
次いで、コンピュータ１５０は、図１に示すビデオ圧縮器２に対応する処理を実行することにより、例えば右眼画像ＰｒをＭＰＥＧ圧縮符号化してＭＰＥＧビデオストリームＶＳを生成するとともに、ステップＳ１４０の処理により得られた各画素の８ビットの奥行きデータを、第１実施形態で説明した（１）〜（４）の内の何れかのデータフォーマットに基づいて、ＭＰＥＧビデオストリームＶＳにおけるユーザデータ領域ＵＤ１／ＵＤ２、ＭＰＥＧ多重化トランスポートストリームＴＳにおけるＤ＿ＰＡＣＫ３２、プライベートデータフィールド、あるいはプライベートストリームフィールドの内の何れかに格納する（ステップＳ１５０）。
【０２０３】
ステップＳ１１０〜Ｓ１５０の処理と並行して、コンピュータ１５０は、図１に示すオーディオ圧縮器７に対応する処理を実行することにより、マイク６により収集されたオーディオ信号をＭＰＥＧ圧縮符号化してＭＰＥＧオーディオストリームＡＳを生成する（ステップＳ１６０）。
【０２０４】
続いて、コンピュータ１５０は、図１に示す情報多重化器８に対応する処理を実行することにより、ＭＰＥＧビデオストリームＶＳおよびＭＰＥＧオーディオストリームＡＳを図４に示すＤＶＤビデオフォーマットに従って多重化する（ステップＳ１７０）。
【０２０５】
そして、コンピュータ１５０は、多重化により生成されたデータストリーム（ＭＰＥＧ多重化トランスポートストリームＴＳ）を、所定の単位（例えば、ＤＶＤビデオ規格に対応する２ｋＢ単位）で記録媒体９に記録するか、あるいは、仮にコンピュータ１５０が所定の通信フォーマットを有する通信網や放送網に接続されている場合、多重化により生成されたＭＰＥＧ多重化トランスポートストリームＴＳを所定の通信フォーマットに対応するパケットに変換して通信網や放送網を介して伝送する（ステップＳ１８０）。
【０２０６】
続いて、コンピュータ１５０は、撮像カメラ１Ａおよび／または１Ｂから画像データ（フレーム画像データ）が入力されてくるか否か判断しており（ステップＳ１９０）、この判断の結果ＹＥＳの場合には、ステップＳ１１０の処理に戻ってステップＳ１１０以降の処理を継続して行う。
【０２０７】
一方、ステップＳ１９０の判断の結果ＮＯの場合には、コンピュータ１５０は、処理を終了する。
【０２０８】
すなわち、本実施形態に係る記録プログラムによれば、コンピュータ１５０に対して、各画素の奥行きデータをＭＰＥＧビデオストリームＶＳのユーザデータ領域ＵＤ１またはＵＤ２に格納させ、そのＭＰＥＧビデオストリームＶＳをＭＰＥＧオーディオストリームＡＳと多重化させて記録媒体９に記録させることができる。このため、第１実施形態と同様に、記録媒体９に記録された奥行き情報の使用／不使用の切り替えにより２次元映像および３次元映像の切り替え再生が可能になり、２次元映像および３次元映像の再生効率を向上させることができる。
【０２０９】
（第９の実施の形態）
図２９（ａ）は、本発明の第９の実施の形態に係る再生用プログラムがインストールされた少なくとも１台のメモリ内蔵型コンピュータ（汎用コンピュータ、マイクロコンピュータ等も含む）１６０を示す図である。
【０２１０】
図２９（ａ）に示すように、コンピュータ１６０は、図２１に示した記録媒体９、立体画像表示器１０５、およびスピーカ１０８に対してそれぞれ接続されている。なお、図２９（ｂ）に示すコンピュータの処理手順は、図２１に示すハードウェアブロック構成要素（再生器１０１、情報分離化器１０２、ビデオ復号器１０３、奥行き情報取り出し器１０４、視野変換器１０６、およびオーディオ復号器１０７）それぞれの処理機能に対応しているため、処理の流れを簡単に説明する。
【０２１１】
すなわち、図２９（ｂ）に示すように、コンピュータ１６０は、メモリ１６０ａに記録された再生用プログラムに従って、記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳを再生するか、あるいはコンピュータ１６０が所定の通信フォーマットを有する通信網や放送網に接続されている場合、その通信網や放送網から伝送されてきたＭＰＥＧ多重化トランスポートストリームＴＳ（所定の通信フォーマットでフォーマット化されている）を受信する（ステップＳ２１０）。
【０２１２】
次いで、コンピュータ１６０は、図２１に示す情報分離化器１０２に対応する処理を実行することにより、第７実施形態で説明したように、ＭＰＥＧ多重化ストリームＴＳからＭＰＥＧビデオストリームＶＳのパケットおよびＭＰＥＧオーディオストリームＡＳのパケットをそれぞれ分離する（ステップＳ２２０）。なお、ストリームＴＳが所定の通信フォーマットでパケット化されている場合には、この通信フォーマットのパケットを解除してから、ステップＳ２２０の処理を実行する。
【０２１３】
続いて、コンピュータ１６０は、図２１に示すビデオ復号器１０３に対応する処理を実行することにより、第７実施形態で説明したように、分離されたＭＰＥＧビデオストリームＶＳのパケットを復号化して復号化データ（再生用フレーム画像）を生成するとともに、ＭＰＥＧビデオストリームＶＳのユーザデータ領域ＵＤ１あるいはＵＤ２に格納されたユーザデータを読み出す（ステップＳ２３０）。
【０２１４】
なお、ユーザデータがＭＰＥＧ多重化トランスポートストリームＴＳにおけるＤ＿ＰＡＣＫ３２、プライベートデータフィールド、もしくはプライベートストリームフィールドに格納されている場合には、コンピュータ１６０は、ステップＳ２２０の処理において、そのＭＰＥＧ多重化トランスポートストリームＴＳにおける対応する格納領域からユーザデータを読み出す。
【０２１５】
そして、コンピュータ１６０は、図２１に示す奥行き情報取り出し器１０４に対応する処理を実行することにより、第７実施形態で説明したように、ステップＳ２３０の処理により読み出したユーザデータから、例えば図４や図１７のフレームレイヤのフォーマットで記録されたマクロブロック毎の奥行きデータを取り出す（ステップＳ２４０）。次いで、コンピュータ１６０は、再生用フレーム画像および奥行きデータに基づいて、立体画像表示器１０５の立体表示方式に対応する視差画像を生成し（ステップＳ２５０）、生成した視差画像を立体画像表示器１０５により立体表示する(ステップＳ２６０)。
【０２１６】
一方、コンピュータ１６０は、ステップＳ２２０の処理により分離したＭＰＥＧオーディオストリームＡＳのパケットを復号化し（ステップＳ２７０）、復号化データ（オーディオ信号）としてスピーカ１０８により再生する（ステップＳ２８０）。
【０２１７】
コンピュータ１６０は、記録媒体９に再生対象となる画像データ（フレーム画像データ）が依然として記録されているか否か、あるいは通信網（放送網）から画像データがコンピュータ１６０に入力されてくるか否かを判断しており（ステップＳ２９０）、この判断の結果ＹＥＳの場合には、ステップＳ２１０の処理に戻ってステップＳ２１０以降の処理を継続して行う。
【０２１８】
一方、ステップＳ２９０の判断の結果ＮＯの場合には、コンピュータ１６０は、処理を終了する。
【０２１９】
すなわち、本実施形態に係る再生プログラムによれば、第６実施形態と同様に、記録媒体９に記録された奥行き情報の使用／不使用の切り替えにより２次元映像および３次元映像の切り替え再生が可能になり、２次元映像および３次元映像の再生効率を向上させることができる。
【０２２０】
なお、第６および第８実施形態において、立体画像表示器１０５の立体映像表示方式として、ＩＰ方式およびパララックスバリア方式について説明したが、本発明はこの方式に限定されるものではなく、レンチキュラーレンズ方式、超多眼方式、偏向眼鏡を用いた２眼方式、アナグリフ方式等、立体知覚できる方式であれば、何れの方式も適用できる。また、本発明では、奥行きデータを含むＭＰＥＧ多重化トランスポートストリームを必ずしも記録媒体に記録する必要はなく、図２６に示したように、通信網や放送網等の様々な伝送媒体を経由してＭＰＥＧ多重化トランスポートストリームを伝送することが可能である。したがって、この場合には、記録装置は伝送装置として使用される。また、図２７に示したように、本発明に係る再生装置を、通信網や放送網等の様々な伝送媒体を経由してＭＰＥＧ多重化トランスポートストリームを受信する受信装置として用いることも可能である。
【０２２１】
また、第１〜第８実施形態に係る記録媒体は、３次元映像表示用の奥行き情報を記録しているという媒体特有の効果を有しているため、複数の立体映像（３次元映像）再生方法に対応して３次元映像の再生を可能にするシステムを好適に実現することができる。
【０２２２】
さらに、本発明に係る記録媒体における“媒体”という定義は、データを記録できる媒体という狭義な媒体を表すだけでなく、データ伝送用の媒体である電磁波、光等の物理的媒体等も含む概念である。また、記録媒体に記録されている情報は、記録されていない状態での、電子ファイルなどのデータ自身も含むものとする。
【０２２３】
そして、映像データの奥行き情報は、フレーム画像毎に記録するように説明したが、本発明においては、約０．５秒毎、あるいは約１秒毎に記録する構成でもよい。その場合には、ＭＰＥＧのＧＯＰレイヤに用意されたユーザデータ領域に記録されたユーザデータを用いることで実現できる。
【０２２４】
また、上記各実施形態では、ビデオデータおよびオーディオデータをそれぞれ圧縮符号化して多重化したが、オーディオデータを用いずに、ビデオデータを中心に多重化してもよい。また、オーディオデータやビデオデータに限らず、他のサブピクチャや制御情報等のデータを多重化してよいことも当然である。
【０２２５】
さらに、上記各実施形態では、奥行きデータを例えば左目画像の画素毎に求めたが、本発明はこの構成に限定されるものではなく、画素以外の単位毎に奥行きデータを求めてもよい。
【０２２６】
なお、第７の実施形態および第８の実施形態においてコンピュータにインストールされたプログラムは、このコンピュータがアクセス可能なＣＤ―ＲＯＭ、ＤＶＤ−ＲＯＭ等の各種の記録媒体からコンピュータ内にインストールしてもよく、あるいは、上記通信網を介して伝送されてきたプログラムをコンピュータ内にインストールしてもよい。
【図面の簡単な説明】
【０２２７】
【図１】本発明の第１の実施の形態に係る記録装置の概略構成を示すブロック図である。
【図２】本発明における第１の実施形態の記録装置の映像記録対象である物体に対する記録装置の配置関係を示す図である。
【図３】（ａ）は、本発明の第１の実施の形態に係る右眼画像、左眼画像、対象物体、およびエピポーラ線をそれぞれ示す斜視図であり、（ｂ）は、図３（ａ）に示される右眼画像および左眼画像上に設定される探索範囲を示す図である。
【図４】ＤＶＤビデオフォーマットの概略を示す図。
【図５】ＭＰＥＧによる圧縮符号化処理を実行するための符号化装置の一例を示すブロック図である。
【図６】図５に示す符号化装置により圧縮符号化されたビデオデータを復号して再生する復号化装置を示すブロック図である。
【図７】図５に示す符号化装置により生成されるＭＰＥＧビデオストリームＶＳの階層構造の概略構成を示す図である。
【図８】（ａ）は、図７に示すシーケンスレイヤのシンタックスを示す図であり、（ｂ）は、シーケンスヘッダのシンタックスを示す図である。
【図９】ＧＯＰレイヤのシンタックスを示す図である。
【図１０】ｐｉｃｔｕｒｅレイヤのシンタックスを示す図である。
【図１１】ｓｌｉｃｅレイヤのシンタックスを示す図である。
【図１２】Ｍａｃｒｏｂｌｏｃｋレイヤのシンタックスを示す図である。
【図１３】ブロックレイヤのシンタックスを示す図である。
【図１４】本発明の第２の実施の形態に係る記録装置の概略構成を示すブロック図である。
【図１５】ＭＰＥＧ多重化トランスポートストリームのシステムレイヤのシンタックスを示す図である。
【図１６】本発明の第３の実施の形態に係る記録装置の概略構成を示すブロック図である。
【図１７】本発明の第３の実施の形態に係るＤＶＤビデオフォーマットの概略を示す図である。
【図１８】本発明の第４の実施の形態に係る記録装置の概略構成を示すブロック図である。
【図１９】本発明の第５の実施の形態に係る記録装置の概略構成を示すブロック図である。
【図２０】本発明の第６の実施の形態に係る記録装置の概略構成を示すブロック図である。
【図２１】本発明の第７の実施の形態に係る再生装置の概略構成を示すブロック図である。
【図２２】本発明の第７の実施形態における視野変換方式を説明するための座標系を示す図である。
【図２３】本発明の第７の実施形態に係る立体表示方式の一例であるパララックスバリア方式を概略的に説明するための図である。
【図２４】（ａ）は、本発明の第７の実施形態に係る立体表示方式の一例である撮影時におけるＩＰ方式を概略的に説明するための図であり、（ｂ）は、表示時におけるＩＰ方式を概略的に説明するための図である。
【図２５】本発明の第７の実施形態に係る立体表示方式としてＩＰ方式を適用した図２１に示す立体画像表示器の概略構成を示す図である。
【図２６】本発明の第１〜第６実施形態の変形例に係る記録装置の概略構成を示すブロック図である。
【図２７】本発明の第７の実施の形態の変形例に係る再生装置の概略構成を示すブロック図である。
【図２８】（ａ）は、本発明の第８の実施の形態に係る記録用プログラムがインストールされたメモリ内蔵型コンピュータを含むシステムの概略構成を示す図であり、（ｂ）は、図２８（ａ）に示すコンピュータの処理手順を概略的に示すフローチャートである。
【図２９】（ａ）は、本発明の第９の実施の形態に係る再生用プログラムがインストールされたメモリ内蔵型コンピュータを含むシステムの概略構成を示す図であり、（ｂ）は、図２９（ａ）に示すコンピュータの処理手順を概略的に示すフローチャートである。
【符号の説明】
【０２２８】
１Ａ，１Ｂ 撮像カメラ
２，２Ａ ビデオ圧縮器
３ 視差ベクトル抽出器
４ 奥行き情報算出器
５，５Ａ 奥行き情報フォーマット器
６ マイク
７ オーディオ圧縮器
８，８Ａ，８Ｂ 情報多重化器
９ 記録媒体
１０ 記録器
１１ 制御部
９１ コンピュータ
１００，１００Ａ 再生装置
１０１ 再生器
１０２ 情報分離化器
１０３ ビデオ復号器
１０４ 奥行き情報取り出し器
１０５ 立体画像表示器
１０６ 視野変換器
１０７ オーディオ復号器
１０８ スピーカ
１０９ コントローラ
１３０ 通信（放送）用パケット化器
１３１ 通信（放送）網
１４０ 通信（放送）用パケット解除器
１５０，１６０ コンピュータ
１５０ａ，１６０ａ メモリ
２００，２００Ａ〜２００Ｆ記録装置
【技術分野】
【０００１】
本発明は、所定の規格にフォーマット化された記録媒体に記録された、２次元画像の所定単位毎に求められた当該２次元画像の奥行きに関する情報を再生するための再生装置および再生プログラムに関する。
【背景技術】
【０００２】
従来、例えば、特許文献１には、左右一対の撮像カメラにより撮像された対象物体に関するステレオ画像（一対の並んだ２次元画像；左眼画像、右眼画像）において相関関数等により互いに対応付けられた一対の画素点間の視差ベクトルを求め、この視差ベクトルに基づいて、ステレオ画像から対象物体までの距離を求める装置が開示されている。
【０００３】
すなわち、この特許文献１によれば、例えば左眼画像の注目点の右眼画像上の投影線であるエピポーラ線の方向およびこのエピポーラ線に直交する方向を求める。
【０００４】
そして、求めたエピポーラ線の方向およびその直交方向それぞれに基づくエピポーラ線方向探索範囲および直交方向探索範囲から構成された左眼画像上の２次元探索範囲を決定し、左眼画像上の２次元探索範囲内のある点の座標およびこの点に対応する右眼画像上の対応点の座標の差分を、その点の視差ベクトルとして求める。この視差ベクトルを、左眼画像上の２次元探索範囲内における全ての点において求め、求めた視差ベクトルを用いてステレオ画像から対象物体までの距離、言い換えれば、ステレオ画像上に表示された対象物体の奥行き情報を算出している。
【０００５】
算出したステレオ画像から対象物体までの距離（奥行き情報）により、対象物体を立体画像、すなわち、３次元画像として表示することが可能になる。
【０００６】
上述した３次元映像を作成する際に必要な２種類の２次元映像に対応する２種類のビデオデータを記録する際の技術として、特許文献２には、映像信号のメインビデオストリームとして、２種類のビデオデータの内の一方のビデオデータを格納し、この一方のビデオデータから例えばＭＰＥＧ（Motion Picture Experts Group）予測符号化等により作成された他方のビデオデータを、映像信号におけるプライベートストリーム、ユーザーエリア等の任意の使用可能領域に補助データとして記録することにより、立体映像表示に必要な２種類のビデオデータを記録する方式が開示されている。
【特許文献１】特開２０００−２８３５６号公報
【特許文献２】特開平９−３２７０４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１および２に開示された技術等の従来の技術においては、２次元ビデオデータから３次元映像を生成するために必要なその２次元映像（２次元ビデオデータ）を構成する２次元画像の奥行き情報が、所定のフォーマットで規格化された記録媒体に対し、その規格化されたフォーマットに対し互換性を保持した状態で、且つ切替再生（２次元映像または３次元映像として効率的に切替る再生）できるように記録するための具体的な記録方式は開発されてはおらず、したがって、その具体的な記録方式により記録された奥行き情報を利用して３次元画像を生成する再生方式を開発したいという要望が生じていた。
【０００８】
本発明は上述した事情に鑑みてなされたものであり、２次元画像およびその画素毎の奥行き情報が所定のフォーマットで規格された記録媒体に記録されている際に、その２次元画像および奥行き情報に基づいて２次元画像および３次元画像を切替再生できる再生装置および再生プログラムを提供することをその目的とする。
【課題を解決するための手段】
【０００９】
請求項１記載の発明は、上記課題を解決するため、所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成る第１のビットストリームと、前記２次元画像の所定単位毎に求められた当該２次元画像の奥行きに関する情報をフォーマット化して成る第２のビットストリームとが多重化された多重化ストリームを再生する再生装置であって、前記多重化ストリームから前記第１のビットストリームを分離して前記２次元画像を再生する手段と、前記多重化ストリームから前記第２のビットストリームを分離して前記２次元画像の奥行きに関する情報を再生する手段と、前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する手段とを備えたことを要旨とする。
【００１０】
請求項２記載の発明は、上記課題を解決するため、所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成るビデオストリームと、このビデオストリームにおける前記圧縮符号化フォーマットにおいて設定される任意使用領域に格納された前記２次元画像の奥行きに関する情報とが多重化されて構成された多重化ストリームを再生する再生装置であって、前記多重化ストリームから前記ビットストリームを分離して前記２次元画像を再生する手段と、前記分離したビットストリームにおける前記任意使用領域に格納された前記２次元画像の奥行きに関する情報を再生する手段と、前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する手段とを備えたことを要旨とする。
【００１１】
請求項３記載の発明は、上記課題を解決するため、前記２次元画像は、２次元映像を構成する複数のフレーム画像であり、前記奥行き情報は、前記２次元映像を構成する各フレーム画像における前記所定単位としての画素毎の画素値であり、前記２次元映像を構成する各フレーム画像における前記画素毎の奥行き情報を表す画素値は、前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより各フレーム画像内において差分符号化する第１の圧縮符号化処理、ランレングス符号化する第２の圧縮符号化処理、前記各フレーム画像と該各フレーム画像の時間軸上における未来および過去の内の少なくとも一方のフレーム画像とから予測符号化する第３の圧縮符号化処理、および前記各フレーム画像内の直交変換を用いて符号化する第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化されて前記記録媒体に記録されており、前記奥行きに関する情報を再生する手段は、前記第１〜第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化処理された前記各フレーム画像の前記画素毎の奥行き情報を表す画素値を、その少なくとも何れか１つの圧縮符号化処理に対応する復号化処理により復号化して前記２次元画像の奥行きに関する情報を再生する手段を備えたことを要旨とする。
【００１２】
請求項４記載の発明は、上記課題を解決するため、所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成る第１のビットストリームと、前記２次元画像の所定単位毎に求められた当該２次元画像の奥行きに関する情報をフォーマット化して成る第２のビットストリームとが多重化された多重化ストリームを再生するためのコンピュータが実行可能な再生プログラムであって、前記コンピュータに、前記多重化ストリームから前記第１のビットストリームを分離して前記２次元画像を再生する処理と、前記多重化ストリームから前記第２のビットストリームを分離して前記２次元画像の奥行きに関する情報を再生する処理と、前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する処理とをそれぞれ実行させることを要旨とする。
【００１３】
請求項５記載の発明は、上記課題を解決するため、所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成るビデオストリームと、このビデオストリームにおける前記圧縮符号化フォーマットにおいて設定される任意使用領域に格納された前記２次元画像の奥行きに関する情報とが多重化されて構成された多重化ストリームを再生するためのコンピュータが実行可能な再生プログラムであって、前記コンピュータに、前記多重化ストリームから前記ビットストリームを分離して前記２次元画像を再生する処理と、前記分離したビットストリームにおける前記任意使用領域に格納された前記２次元画像の奥行きに関する情報を再生する処理と、前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する処理とをそれぞれ実行させることを要旨とする。
【００１４】
請求項６記載の発明は、上記課題を解決するため、前記２次元画像は、２次元映像を構成する複数のフレーム画像であり、前記奥行き情報は、前記２次元映像を構成する各フレーム画像における前記所定単位としての画素毎の画素値であり、前記２次元映像を構成する各フレーム画像における前記画素毎の奥行き情報を表す画素値は、前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより各フレーム画像内において差分符号化する第１の圧縮符号化処理、ランレングス符号化する第２の圧縮符号化処理、前記各フレーム画像と該各フレーム画像の時間軸上における未来および過去の内の少なくとも一方のフレーム画像とから予測符号化する第３の圧縮符号化処理、および前記各フレーム画像内の直交変換を用いて符号化する第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化されて前記記録媒体に記録されており、前記奥行きに関する情報を再生する処理は、前記第１〜第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化処理された前記各フレーム画像の前記画素毎の奥行き情報を表す画素値を、その少なくとも何れか１つの圧縮符号化処理に対応する復号化処理により復号化して前記２次元画像の奥行きに関する情報を再生する処理を含むことを要旨とする。
【発明の効果】
【００１５】
請求項１および４記載の発明によれば、記録媒体に記録された多重化ストリームを、一体に多重化記録された奥行き情報を用いることなく再生することにより、第１のビットストリームに基づく２次元画像を再生することができる。そして、第１のビデオストリームを、一体に多重化記録された奥行き情報を用いて再生することにより、２次元画像および奥行き情報から生成された３次元画像に切り替えて再生することができる。
【００１６】
請求項２および５記載の発明によれば、２次元画像を記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化してビットストリームを生成し、２次元画像の奥行きに関する情報を、生成したビットストリームにおける圧縮符号化フォーマットにおいて設定される任意使用領域に格納して奥行き情報付きのビットストリームを生成し、多重化により記録媒体に記録している。
【００１７】
したがって、図示しない再生装置においては、記録媒体に記録された多重化ストリームを、一体に多重化記録された奥行き情報を用いることなく再生することにより、多重化ストリームに基づく２次元画像を再生することができる。そして、多重化ストリームを、一体に多重化された奥行き情報を用いて再生することにより、２次元画像および奥行きに関する情報から生成された３次元画像に切り替えて再生することができる。
【００１８】
特に、請求項３および６に記載した発明によれば、２次元映像を構成する各フレーム画像における画素毎の奥行き情報を表す画素値が第１〜第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化されている際に、その少なくとも何れか１つの圧縮符号化処理に対応する復号化処理により２次元映像を構成する各フレーム画像における画素毎の奥行き情報を再生することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態である複数の実施形態を図面を参照して説明する。
【００２０】
なお、本発明に係る各実施形態においては、２次元映像およびこの２次元映像から得られた３次元映像再生に必要な奥行き情報を、規格化されたフォーマットとしてＤＶＤ（Digital Versatile Disk）ビデオ規格に準拠したフォーマットに互換性を有する状態で記録媒体(メディア)に記録するための記録装置および記録プログラムと、このようにして記録された２次元映像および奥行き情報を再生する再生装置および再生プログラムについて説明する。そして、本発明に係る記録装置およびプログラムに対応する記録フォーマットは、上記ＤＶＤビデオ規格準拠フォーマットに限定されるものではなく、２次元映像を再生できる仕組み（ハードウェア構成およびソフトウェア構成の何れも含む）を有するアプリケーションプログラムのフォーマットや他の記録媒体のフォーマットに対してＤＶＤビデオ規格用フォーマットと同様に応用できるものである。
【００２１】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る記録装置２００の概略構成を示すブロック図であり、図２は、本実施形態の記録装置２００の映像記録対象である物体（対象物体）ＯＢに対する記録装置２００の配置関係を示す図である。
【００２２】
図１および図２に示すように、記録装置２００は、撮像レンズＬ１およびＬ２をそれぞれ有し、対象物体ＯＢの左右の２次元映像｛ビデオデータ（映像用ビットストリーム）｝である左眼動画像および右眼動画像をそれぞれ撮像するための左右一対の撮像カメラ１Ａおよび１Ｂを備えている。この撮像カメラ１Ａおよび１Ｂの撮像レンズＬ１ＡおよびＬ１Ｂは、人間の両眼の間隔に相当する固定あるいは可変の間隔を空けて所定方向に沿って左右に同一の高さで並置されており、各撮像レンズＬ１ＡおよびＬ１Ｂは、互いに共通に設定された固定あるいは可変の焦点距離を有している。すなわち、撮像カメラ１Ａおよび１Ｂは、その撮像レンズＬ１ＡおよびＬ１Ｂの光軸が同一平面上に含まれ、且つそれぞれの撮像領域が同一平面上に位置するように２次元的に配置されている。
【００２３】
また、記録装置２００は、撮像カメラ１Ａおよび１Ｂによりそれぞれ撮像された２次元映像の内の少なくともどちらか一方（本実施形態では、撮像カメラ１Ｂにより撮像された２次元映像）を圧縮するビデオ圧縮器２と、撮像カメラ１Ａおよび１Ｂによりそれぞれ撮像された各フレーム画像(左眼画像、右眼画像)間の見え方の違い(視差)を表す物理量（視差ベクトル：視差方向および視差量）を抽出する視差ベクトル抽出器３とを備えている。
【００２４】
さらに、記録装置２００は、視差ベクトル抽出器３により抽出された視差ベクトルの大きさを算出し、算出した視差ベクトルの大きさを用いて、３次元映像生成に必要な左眼画像および右眼画像の奥行きに関する情報（奥行き情報）を算出する奥行き情報算出器４と、この奥行き情報算出器４により算出された奥行き情報をフォーマット化する奥行き情報フォーマット器５とを備えている。この奥行き情報フォーマット器５によりフォーマット化された奥行き情報は、設定に応じてビデオ圧縮器２に送られて圧縮されるか、直接、後述する情報多重化器８に送られて多重化されるようになっている。
【００２５】
記録装置２００は、対象物体ＯＢの周囲の音（音声等）を取得するマイクロフォン（以下、マイクとする）６と、このマイク９により取得された周囲音に対応するオーディオ信号を、ＤＶＤビデオ規格に準拠する圧縮フォーマットであるＭＰＥＧフォーマット(ＭＰＥＧオーディオ)により圧縮するオーディオ圧縮器７とを備えている。
【００２６】
さらに、記録装置２００は、ビデオ圧縮器２により圧縮化されたビデオデータ、オーディオ圧縮器７により圧縮化されたオーディオデータ、および奥行き情報を多重化することにより、ＤＶＤビデオ規格に準拠するフォーマットのデータを生成する情報多重化器８と、ＤＶＤビデオ規格に準拠する記録媒体９と、情報多重化器８により多重化されたＤＶＤビデオ規格に準拠するフォーマットのデータを記録媒体９に記録する記録器１０とを備えている。
【００２７】
そして、記録装置２００は、撮像カメラ１Ａおよび１Ｂ、ビデオ圧縮器２、視差ベクトル抽出器３、奥行き情報算出器４、奥行き情報フォーマット器５、マイク６、オーディオ圧縮器７、情報多重化器８、および記録器１０にそれぞれ接続されており、装置全体を制御する制御部１１を備えている。すなわち、この制御部１１は、撮像カメラ１Ａおよび１Ｂの撮像動作、ビデオ圧縮器２の圧縮処理、視差ベクトル抽出器３の視差ベクトル抽出処理、奥行き情報算出器４の奥行き情報算出処理、奥行き情報フォーマット器５のフォーマット化処理、マイク６の周囲音取得処理、オーディオ圧縮器７の圧縮処理、情報多重化器８の多重化処理、および記録器１０の記録処理をそれぞれ制御するようになっている。
【００２８】
視差ベクトル抽出器３は、左右一対の撮像カメラ１Ａおよび１Ｂによりそれぞれ同一タイミングで撮像された対象物体ＯＢの左眼画像Ｐｌおよび右眼画像Ｐｒを受け取り、受け取った左眼画像Ｐｌの各画素（ピクセル）および右眼画像Ｐｒの対応する各画素の間の対応付けを所定の評価関数（例えば、特開平９−３３２４９号公報に開示された評価関数）を用いて行うようになっている。
【００２９】
ここで、上述したように、左右一対の撮像カメラ１Ａおよび１Ｂは、その撮像レンズＬ１ＡおよびＬ１Ｂの光軸ＯｌおよびＯｒが所定の間隔（図３（ａ）ではＢとして表す）を空けて同一平面（例えば、本実施形態では、図３（ａ）に示すように、同一のＸ−Ｚ平面）に含まれるように配置されており、対象物体ＯＢの左眼画像Ｐｌおよび右眼画像Ｐｒは、図３（ａ）に示すように、対象物体ＯＢの手前側（撮像カメラ側）において同一のＸ−Ｙ平面に含まれるように得られる。
【００３０】
撮像カメラ１Ａおよび１Ｂのそれぞれの光軸が同一のＸ−Ｚ平面上に正しく配置される限り、左眼画像Ｐｌの各点（画素）に対応する右眼画像Ｐｒ間の点（画素）の探索は、例えば左眼画像Ｐｌの各画素の右眼画像Ｐｒ上への投影線であるエピポーラ線である走査線上のみ行えばよい。しかしながら、実際には、右眼画像Ｐｒ上の走査線上に対応画素が１画素分も誤差なく配置されていることはむしろ少ない。
【００３１】
そこで、本実施形態では、視差ベクトル抽出器３は、左眼画像Ｐｌ上の各画素に対応する右眼画像Ｐｒ上の各画素、すなわち、左眼画像Ｐｌおよび右眼画像Ｐｒ間の対応画素を、左眼画像Ｐｌ上の各画素の右眼画像Ｐｒ上の投影線であるエピポーラ線方向｛本実施形態の場合、撮像レンズＬ１ＡおよびＬ１Ｂの光軸ＯｌおよびＯｒが同一のＸ−Ｚ平面に含まれているため、エピポーラ線方向に加えて、そのエピポーラ線方向に直交する垂直方向｝に沿って対応画素探索および探索された対応画素間の視差ベクトル抽出処理を行う。
【００３２】
ここで、視差ベクトル抽出器３の対応画素探索処理および探索された対応画素間の視差ベクトル算出処理について、図２、図３（ａ）および（ｂ）を参照して説明する。
【００３３】
例えば、図３（ａ）に示すように、対象物体ＯＢにおける予め判別されている点、あるいは非常に判別しやすい特徴点（座標（ｘ，ｙ，ｚ））が、左眼画像Ｐｌには点Ｒ（Ｘｌ，Ｙｌ）に、右眼画像Ｐｒには点Ｓ（Ｘｒ，Ｙｒ）に存在していたとする。左眼画像Ｐｌ上の点Ｒの右眼画像Ｐｒ上におけるエピポーラ線はＥＰｒ、右眼画像Ｐｒ上の点Ｓの左眼画像Ｐｌ上におけるエピポーラ線はＥＰｌとしてそれぞれ表される。
【００３４】
このとき、撮像カメラ１Ａおよび１Ｂのそれぞれの光軸が同一のＸ−Ｚ平面上に配置されているため、点ＲのＹ座標Ｙｌおよび点ＳのＹ座標Ｙｒはそれぞれ等しくなり、エピポーラ線ＥＰｒおよびエピポーラ線ＥＰｌの方向は、点Ｒおよび点Ｓを結ぶ直線の方向Ｄ１（以下、エピポーラ線ＥＰの方向Ｄ１とする）として求めることができる。
【００３５】
本実施形態において、撮像カメラ１Ａおよび１Ｂの高さ方向（Ｙ軸方向）への設置誤差が無視でき、撮像カメラ１Ａおよび１Ｂそれぞれの光軸ＯｌおよびＯｒが同一のＸ−Ｚ平面上に略正確に配置されているとした場合、エピポーラ線ＥＰの方向Ｄ１は、図３（ａ）に示すように、略Ｘ軸に平行である。したがって、例えば、左眼画像Ｐｌの点Ｒ（Ｘｌ，Ｙｌ）に対応する右眼画像Ｐｒ上の対応点Ｓ（Ｘｒ，Ｙｒ）の探索は、左眼画像Ｐｌおよび右眼画像Ｐｒ上に設定される、エピポーラ線ＥＰの方向Ｄ１に沿った幅ΔＥおよびエピポーラ線ＥＰの方向に直交する方向に沿った幅ΔＴにより構成される探索範囲Ｗにおいて実行される。
【００３６】
具体的には、探索範囲Ｗ上における左眼画像Ｐｌの点Ｒ（Ｘｌ，Ｙｌ）を含むその近傍に小ブロック（例えば、水平４画素、垂直２画素の画素ブロック）を設定し、この小ブロックの各画素の画素値｛例えば、輝度信号（Ｙ信号）用の８ビット、色差信号（Ｃｂ信号、Ｃｒ信号）用の４ビットずつの合計１６ビットで表される｝と探索範囲Ｗ上における右眼画像Ｐｒの各点に対応する各小ブロックの各画素の画素値（上記１６ビット）との差や和、あるいは差の２乗和等を評価パラメータとし、この評価パラメータが最小値になる右眼画像Ｐｒ上の点を、左眼画像Ｐｌの点Ｒ（Ｘｌ，Ｙｌ）の対応点として求める。なお、本実施形態の場合、この対応点が点Ｓ（Ｘｒ，Ｙｒ）となる。
【００３７】
撮像カメラ１Ａおよび１Ｂの高さ方向（Ｙ軸方向）への設置誤差を考慮した結果、例えばエピポーラ線ＥＰの方向Ｄ１がＸ軸から角度θだけ例えば下方に傾斜していた場合（図３(ｃ)においてエピポーラ線ＥＰの方向Ｄ１’として表す）には、水平探索範囲とｔａｎθの積で計算される範囲分垂直方向の探索範囲を拡大することにより、たとえ撮像カメラ１Ａおよび１Ｂの高さ方向へ設置誤差が生じていた場合でも、左眼画像Ｐｌの点Ｒ（Ｘｌ，Ｙｌ）に対応する右眼画像Ｐｒ上の点Ｓ（Ｘｒ，Ｙｒ）を正確に抽出することができる。
【００３８】
このようにして左眼画像Ｐｌの点Ｒ（Ｘｌ，Ｙｌ）に対応する右眼画像Ｐｒ上の点Ｓ（Ｘｒ，Ｙｒ）を抽出した後、視差ベクトル抽出器３は、左眼画像Ｐｌの点Ｒ（Ｘｌ，Ｙｌ）と対応点Ｓ（Ｘｒ，Ｙｒ）との差分をとり、得られた結果を、点Ｐ（Ｘｌ，Ｙｌ）における視差ベクトルＶ（Ｘｌ−Ｘｒ，Ｙｌ−Ｙｒ）として表す。この視差ベクトルを、左眼画像Ｐｌにおける探索範囲Ｗ内の全てのマクロブロック（ＭＢ：本実施形態では、水平方向１６画素×垂直方向１６画素の画素ブロックとする）内の全ての点について、上述した点Ｒ（Ｘｌ，Ｙｌ）における抽出方法と同一の方法により求める。視差ベクトル抽出器３は、上述した処理を左眼画像Ｐｌ全体に亘って行い、この結果、左眼画像Ｐｌおよび右眼画像Ｐｒ上の全ての対応点に関する全ての視差ベクトルＶを抽出し、抽出した全ての視差ベクトルＶを奥行き情報算出器４に送出する。
【００３９】
奥行き情報算出器４は、送出されてきた各視差ベクトルＶを受け取り、受け取った各視差ベクトルの大きさ（奥行き方向の距離、以下、奥行き情報とする）を計算する。そして、奥行き情報算出器４は、例えば、水平４画素、垂直２画素（４×２）の小ブロックを設定して探索を行い、この小ブロック単位の各視差ベクトルの位置情報｛水平位置（Ｘ）、垂直位置（Ｙ）、奥行き情報（Ｚ）｝として奥行き情報フォーマット器５へ送る。
【００４０】
奥行き情報フォーマット器５は、送られた各小ブロックの奥行き情報の値を、各小ブロックを構成する各画素に対してたとえば８ビットのデータ(以下、奥行きデータとする)として展開する。例えば、奥行き情報フォーマット器５は、各小ブロックを構成する画素それぞれに対し、対応する小ブロックに設定された同一の奥行きデータ値や奥行きデータ値の画素単位の平均値を設定することも可能である。また、奥行き情報フォーマット器５は、隣接する小ブロックの画素それぞれに設定されるデータ値を、例えばローパスフィルタを介して平滑化処理（小ブロック間で奥行きデータ値が滑らかに繋がる処理）を施すこともできる。
【００４１】
このようにして得られた左眼画像Ｐｌの各画素の奥行きデータに基づいて、奥行き情報フォーマット器５は、その奥行きデータを例えばラスタ順（左上画素から右下画素へ走査される順番）に並べてフォーマット化する。このフォーマット化された奥行きデータは、ビデオ圧縮器２に送信される。
【００４２】
ここで、ＤＶＤビデオフォーマットの概略を図４に示す。
【００４３】
図４に示すように、ＤＶＤビデオフォーマットでは、ＤＶＤビデオ規格に準拠する記録媒体の記録層がVolume spaceとして設定されており、このVolume spaceがVolume and File structure１９、DVD-video zone２０、およびDVD-others zone２１に分かれている。DVD-video zone（ＤＶＤビデオゾーン）２０には、ＤＶＤビデオの再生に必要な全てのファイルとして、１つのＶＭＧ（Video Manager）２２および複数（ｎ個）のＶＴＳ（Video Title Set）２３ａ１〜２３ａｎが格納されている。ＶＭＧ２２は、ＶＭＧＩ（Video Manager Information:ビデオマネージャーインフォメーション）等、後続するＶＴＳ２３ａ１〜２３ａｎの識別情報や様々な情報自体のスタートアドレスやエンドアドレス、どこのビデオストリームから再生を開始するか等の情報が含まれている。
【００４４】
DVD-others zone２１は、ＤＶＤビデオ規格に準拠するＤＶＤビデオフォーマットにおいて自由使用領域として設定された領域である。
【００４５】
各ＶＴＳ２３ａ１〜２３ａｎは、再生されるべきオーディオデータ（オーディオビットストリーム、以下、単にオーディオストリームとも記載する）およびビデオデータ（ビデオビットストリーム、以下、単にビデオストリームとも記載する）のアドレス情報や識別情報等の制御データ（Control Data）が格納されたフィールド２４と、このControl Dataフィールド２４の後に格納されたＶＯＢＳ（Video Object Set:ビデオオブジェクトセット）２５というビデオストリームおよびオーディオストリームが多重化されたＭＰＥＧ（Motion Picture Experts Group）ストリームのセット（コンテンツ）とから構成されており、このＶＯＢＳ２５は、複数のＶＯＢ２６（Video Object）という小単位のＭＰＥＧストリームから構成されている。
【００４６】
各ＶＯＢ２６は、さらに細分化された複数のセル（ＣＥＬＬ）２７という単位から構成されている。このＣＥＬＬ２７は、再生単位を表し、固有のＩＤ番号が付与されている。各ＣＥＬＬ２７は、さらに複数のＶＯＢＵ（Video Object Unit:ビデオオブジェクトユニット）２８から構成されている。この各ＶＯＢＵ２８がＭＰＥＧストリームのＧＯＰ（Group of Pictures：グループオブピクチャズ）に相当する構造となっており、再生時間長として０．４〜１．０秒程度を有している。このＧＯＰは、後述するＭＰＥＧ２における予測符号化のための構造であり、I-picture （Ｉピクチャ：フレーム内予測符号化画像）から次のＩピクチャまでのグループ｛P-pictures（Ｐピクチャズ：複数の順方向予測符号化画像）およびB-Pictures（Ｂピクチャズ：複数の双方向予測符号化画像）｝を意味し、例えば蓄積用記録媒体では、一般に１５ピクチャズ（１５画像）のグループとして構成される。
【００４７】
各ＶＯＢＵ２８には、ＭＰＥＧ多重化された別個のストリームデータであるＮＶ＿ＰＡＣＫ２９、Ａ＿ＰＡＣＫ３０、Ｖ＿ＰＡＣＫ３１、およびＤ＿ＰＡＣＫ３２がそれぞれ時分割多重化により格納されており、先頭のＮＶ＿ＰＡＣＫ２９にはストリームサーチ情報等がパック化（例えば、トランスポートパケット単位でパック化）されている。また、Ａ＿ＰＡＣＫ３０には、圧縮符号化されたオーディオデータがパック化されており、Ｖ＿ＰＡＣＫ３１には、圧縮符号化されたビデオデータがパック化されている。
【００４８】
上述したように、Ｄ＿ＰＡＣＫ３２は時分割されており、複数のＤ＿ＰＡＣＫ３２により各フレームレイヤ３３を構成する。各フレームレイヤ３３は、先頭に２ビットのスタートコード（Start Code）３４を有しており、例えば１６進で０００００１ＦＦから始まるように設定されている。これは、後述するデータ符号化処理として、ランレングス符号化処理、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）処理、および／または可変長符号化処理（ＶＬＣ：Variable length Coding）を行った場合においても、その符号化されたデータから区別するために、スタートコード３４は、１６進で０００００１ＦＦから始まる特殊なデータとして設定されている。
【００４９】
本実施形態においては、撮像カメラ１Ｂにより撮像された右眼画像Ｐｒは、ビデオ圧縮器２に伝送され、このビデオデータは、撮像された２次元画像（右眼画像Ｐｒ）は、図４に示すＤＶＤビデオフォーマットに準拠する圧縮フォーマットであるＭＰＥＧ圧縮フォーマットによりビデオ圧縮器２において圧縮符号化され、ビットストリーム（ＭＰＥＧビデオストリーム）として情報多重化器８に送信される。また、マイク６により収集された周囲音に対応するオーディオ信号は、図４に示すＤＶＤビデオフォーマットに準拠するＭＰＥＧオーディオフォーマットによりオーディオ圧縮器７において圧縮符号化されオーディオデータ（ＭＰＥＧオーディオストリーム）として情報多重化器８に送信される。
【００５０】
情報多重化器８では、送信されてきたビデオデータ（ＭＰＥＧビットストリーム）およびオーディオデータ(ＭＰＥＧオーディオストリーム)が前掲図４に示すＤＶＤビデオフォーマットに従ってパック化および多重化される。この結果、上記ＤＶＤビデオフォーマットに対応するＭＰＥＧ多重化トランスポートデータが生成される。生成されたＭＰＥＧ多重化トランスポートデータは、記録器１０に送られ、この記録器１０の処理により、ＤＶＤビデオ規格に準拠した記録媒体９に記録される。
【００５１】
ここで、ビデオ圧縮器２における圧縮符号化処理の規格の一例であるＭＰＥＧについて簡単に説明する。
【００５２】
ＭＰＥＧは、1988年、ISO/IEC JTC1/SC2（国際標準化機構/国際電気標準化会合同技術委員会1/専門部会2、現在のSC29）に設立された動画像符号化標準を検討する組織の名称（Moving Pictures Expert Group）の略称である。ＭＰＥＧ１（MPEGフェーズ1）は1.5Mbps程度の蓄積メディアを対象とした圧縮方式の標準で、静止画圧縮符号化を目的としたJPEGと、ISDNのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたH.261（CCITT SGXV、現在のITU-T SG15で標準化）との基本的な技術を受け継ぎ、蓄積メディア用に新しい圧縮符号化技術を導入したものである。これらは1993年8月、ISO/IEC 11172 として成立している。
【００５３】
ＭＰＥＧ２（MPEGフェーズ２）は、通信や放送等の多様なアプリケーションに対応できる汎用圧縮符号化技術の標準として、１９９４年１１月ISO/IEC １３８１８、H.２６２として成立している。
【００５４】
ＭＰＥＧは幾つかの技術を組み合わせて設計されており、特に時間領域における冗長性除去用の予測符号化技術｛フレーム内予測符号化（フレーム間差分符号化）技術、動き補償技術｝と、周波数領域における冗長性除去用の離散コサイン変換技術とが組み合わされている。
【００５５】
すなわち、予測符号化技術におけるフレーム間差分符号化技術は、ビデオデータにおける連続する２つのフレーム画像が互いに類似していることを利用して、その２つのフレーム画像の差分をとり、この差分情報を符号化することにより、時間冗長部分を削除する技術である。
【００５６】
予測符号化技術の動き補償技術における予測方向は、過去、未来、過去および未来の双方の３モードが存在する。またこの３モードは、１６画素×１６画素のマクロブロック（ＭＢ）単位で切り替えて使用することができる。予測方向は、例えば入力画像として与えられたフレーム画像（ピクチャ）のタイプによって決定される。
【００５７】
上述したように、ＭＰＥＧの予測符号化されたフレームには、データ量の異なる３種類の画像（ピクチャ）が存在する。
【００５８】
すなわち、過去のフレーム画像からの順方向のフレーム間予測符号化を行うモードと、予測をせずにマクロブロック内の画素を独立で符号化するモードとをマクロブロック毎に切り替えて符号化されているのがＰピクチャである。
【００５９】
また、過去のフレーム画像からの順方向のフレーム間予測符号化を行うモードと、未来のフレーム画像から逆方向のフレーム間予測符号化を行うモードと、過去および未来の２つのフレーム画像から双方向のフレーム間予測符号化を行うモードと、予測をせずにマクロブロック内の画素を独立で符号化するモードとをマクロブロック毎に切り替えて符号化されているのがＢピクチャである。
【００６０】
そしてフレーム画像内の全てのマクロブロックの画素がマクロブロック毎にそれぞれ独立してフレーム内符号化されているのがＩピクチャである。
【００６１】
すなわち、動き補償技術は、フレーム画像間の動き領域（動きベクトル）を、マクロブロック毎のパターンマッチングにより半画素（ハーフピクセル）精度で検出し、検出した動きベクトル分だけシフトしてから、上記フレーム間予測符号化を行う技術である。動きベクトルは、水平方向と垂直方向が存在し、この動きベクトルの符号化データは、予測開始位置を示すＭＣ(Motion Compensation)モード情報と共にマクロブロックの付加情報として伝送することができる。
【００６２】
離散コサイン変換技術（ＤＣＴ技術）は、余弦関数を積分核とした積分変換を有限空間へＤＣＴ（離散変換）する直交変換する技術であり、このＤＣＴを用いてフレーム画像の画素値を周波数領域のデータに変換してフレーム画像内の高周波成分をカットすることができる。
【００６３】
図５は、上述したＭＰＥＧによる圧縮符号化処理を実行するための符号化装置の一例を示すブロック図である。
【００６４】
図５に示すように、符号化装置５０は、圧縮符号化対象となるビデオデータ（フレーム単位の動画像）がそれぞれ入力される減算処理用の演算器５１および動き補償予測器５２と、上述した離散変換処理用のＤＣＴ器５３と、量子化処理を行う量子化器５４と、可変長符号化処理を行うＶＬＣ器５５と、バッファ５６と、符号量に基づくフィードバック制御を行うための符号量制御器５７とを備えている。
【００６５】
また、符号化装置５０は、逆量子化処理を行うための逆量子化器５８と、逆ＤＣＴを行う逆ＤＣＴ器５９と、加算処理用の演算器６０と、画像蓄積用の画像メモリ６１とを備えている。
【００６６】
図５に示す符号化装置５０によれば、演算器５１に入力されたビットストリーム（ＭＰＥＧビデオストリーム）ＶＳにおけるＮ番目のフレーム画像は、この演算器５１により、後述する動き補償予測器５２により動き補償されたリファレンス（参照）用復号化画像（Ｎ−１番目のフレーム画像）との差分が演算され（フレーム間差分符号化処理）、得られた差分画像は、ＤＣＴ器５３に送信される。ＤＣＴ器５３では、送信されてきた差分画像が周波数領域の画像データに変換される。すなわち、ＤＣＴ器５３では、送信されてきた差分画像は、マクロブロック４分割した８×８のＤＣＴブロックに分割され、それぞれのＤＣＴブロック毎に２次元ＤＣＴ処理が実行される。ここで、一般に、ビデオデータは、低周波数帯域の成分が多く高周波数帯域の成分が少ないため、ＤＣＴ処理後の画像データ（各ＤＣＴ係数ブロック）は、低周波数帯域に集中する。
【００６７】
ＤＣＴ処理により得られた画像データ（各ＤＣＴ係数ブロック）は、量子化器５４に送られて量子化される。
【００６８】
すなわち、量子化器５４において、各ＤＣＴ係数ブロックは、８×８のマトリクスとして表された２次元周波数値の各セルの値を視覚特性（人間の視覚的認識特性）に基づいて重み付けし、且つ例えばフレーム単位、あるいはマクロブロック単位で指定された全体をスカラー倍するための量子化スケール値により乗算されて得られた量子化値により構成された８×８の量子化マトリクスに基づいて対応するセル同士で除算される。この結果、８×８のＤＣＴ係数データにおける右下のデータ（高周波数帯域係数）は０となり、高周波数帯域のデータを除去することができる。
【００６９】
このようにして、高周波数帯域のデータが除去された量子化データ（各８×８の量子化データブロック）は、ＶＬＣ器５５および逆量子化器５８にそれぞれ送られる。
【００７０】
ＶＬＣ器５５では、ブロック毎に可変長符号化処理が行われる。
【００７１】
ここで、各８×８量子化データブロックの一番左上のセルは、ＤＣＴ後の定数項に相当し、波形全体の平均値、言い換えれば直流成分（ＤＣ成分）を表しており、残りのセルは、交流成分（高次成分）に相当する。
【００７２】
このとき、ＶＬＣ器５５において、各量子化データブロックにおける左上のセルの直流成分は、予測符号化の１つである差分ＰＣＭ{Differential Pulse Code Modulation）}により予測符号化される。また、交流成分を構成する残りのセル（交流成分）は、低周波数域（左上側）から高周波数域（右下）に向かって、その左上側および右下側を結ぶ対角線に直交する方向に沿ってジグザグスキャン（Zigzag Scan）により順番に読み出され、一列に整列される。このジグザグスキャンにより読み出され一列に整列されたデータにおける後ろの部分のデータは、高周波成分に相当しており、０が連続して発生している。
【００７３】
そこで、ＶＬＣ器５５では、例えば連続している０のラン長および０以外の有効なデータ値を１つの事象とし、出現確率の高いデータ値から符号長の短い符号が割り当てられることにより、ハフマン符号化される。また、動き補償予測器５２により得られた動きベクトルもＶＬＣ器５５に送られてハフマン符号化される。
【００７４】
このようにしてハフマン符号化された符号化データ（動きベクトルの符号化データが付加されている）、すなわち、符号化装置５０によりＭＰＥＧ圧縮符号化された差分画像のＭＰＥＧビデオストリームＶＳは、一時的にバッファ５６に蓄積され、所定の転送レートにより出力される。このとき、出力されたＭＰＥＧビデオストリームＶＳにおけるマクロブロック毎の発生符号量を表すデータは、符号量制御器５７に送信され、この符号量制御器５７において、送信されてきた発生符号量データと目標となる符号量との間の誤差符号量が求められる。この誤差符号量は、量子化器５４にフィードバックされ、フィードバックされた誤差符号量に基づいて、量子化器５４において量子化スケール値が調整される。この結果、ＭＰＥＧ圧縮符号化後のＭＰＥＧビデオストリームＶＳの符号化量に応じて最適な量子化スケール値を設定することができる。
【００７５】
一方、量子化器５４から逆量子化器５８に送られた各８×８量子化データブロックは、量子化器５４の量子化処理と逆の処理を行うことにより逆量子化され、得られたＤＣＴ係数ブロックは、逆ＤＣＴ器５９において逆ＤＣＴ処理が施され、この結果、差分画像が得られる。得られた差分画像は、演算器６０に送られ、この演算器６０において動き補償予測器５２から送られた動き補償されたリファレンス用復号化画像（前フレーム画像）に加算され、加算されたフレーム画像、すなわち、入力されたＮ番目のフレーム画像に相当する再生用フレーム画像は、次に入力されるＮ＋１番目のフレーム画像に対するリファレンス用復号化画像として画像メモリ６１に蓄積される。
【００７６】
動き補償予測器５２においては、今回の入力フレーム画像（例えばＮ番目のフレーム画像）と画像メモリ６１に蓄積された前回のフレーム画像（例えばＮ−１番目のフレーム画像）との間でマクロブロック毎のパターンマッチング処理が実行され、この結果得られた動きベクトルだけシフトされた前回のフレーム画像がリファレンス用復号化画像として演算器５１および６０にそれぞれ送信される。
【００７７】
以上述べたように、符号化装置５０に入力されたビデオデータは、ＭＰＥＧ技術、すなわち、時間領域の予測符号化処理（フレーム差分符号化、動き補償）、周波数領域の圧縮符号化処理（離散コサイン変換）、および可変長符号化処理（ハフマン符号化）により圧縮符号化される。
【００７８】
一方、図６は、図５に示す符号化装置５０により圧縮符号化されたビデオデータを復号して再生する復号化装置７０を示すブロック図である。
【００７９】
図６に示すように、復号化装置７０は、符号化装置５０により圧縮符号化されたＭＰＥＧビデオストリームＶＳが入力されるバッファ７１と、可変長復号化処理を行うＶＬＤ（Variable length Decoding）器７２と、逆量子化処理を行うための逆量子化器７３と、逆ＤＣＴを行う逆ＤＣＴ器７４と、加算処理用の演算器７５と、動き補償予測器７６と、画像メモリ７７とを備えている。
【００８０】
図６に示す復号化装置７０によれば、入力されたＭＰＥＧビデオストリーム（例えば、Ｎ番目のフレーム画像に対応するものとする）ＶＳは、バッファ７１に蓄積（バッファリング）され、ＶＬＤ器７２に入力される。
【００８１】
ＶＬＤ器７２において、ＭＰＥＧビデオストリームＶＳは、可変長復号化処理され、直流成分のデータおよび交流成分のデータがそれぞれ得られる。直流成分のデータは、８×８量子化データブロックの一番左上のセルに配置され、交流成分のデータは、その８×８の量子化ブロックの残りのセルに対して、上述した低周波数域（左上側）から高周波数域（右下）へのジグザグスキャンにより順番に配置される。なお、このＶＬＤ器７２においては、符号化された動きベクトルも復号化され、この動きベクトルは、動き補償予測器７６に送信される。
【００８２】
このようにして得られた各８×８量子化データブロックは、逆量子化器７３により量子化器５４の量子化処理と逆の処理を行うことにより逆量子化される。逆量子化により得られたＤＣＴ係数ブロックは、逆ＤＣＴ器７４において逆ＤＣＴ処理が施され、この結果、入力されたＭＰＥＧビデオストリームＶＳに相当する差分画像が得られる。
【００８３】
得られた差分画像は、演算器７５に送られ、この演算器７５において動き補償予測器７６から送られた動き補償されたリファレンス用復号化画像（前回再生されたフレーム画像）に加算され、加算されたフレーム画像、すなわち、入力されたＮ番目のフレーム画像に相当する再生用フレーム画像（復号化データ）は、図示しない再生装置を用いて再生される。また、この再生用フレーム画像は、次に入力されるＮ＋１番目のフレーム画像に対するリファレンス用復号化画像として画像メモリ７７に蓄積される。
【００８４】
動き補償予測器７６においては、今回の入力フレーム画像（例えばＮ番目のフレーム画像）と画像メモリ７７に蓄積された前回再生されたフレーム画像（例えばＮ−１番目のフレーム画像）との間でマクロブロック毎のパターンマッチング処理が実行され、この結果得られた動きベクトルだけシフトされた前回再生されたフレーム画像がリファレンス用復号化画像として演算器７５に送信される。
【００８５】
以上述べたように、符号化装置５０により符号化され、復号化装置７０に入力されたＭＰＥＧビデオストリームＶＳは、復号化装置７０により再生用フレーム画像として復号化される。
【００８６】
本実施形態の記録装置２００における例えばビデオ圧縮器２に対して圧縮符号化装置５０の構成および／または機能を持たせることにより、奥行き情報フォーマット器５から送られた奥行きデータを圧縮符号化することができる。そして、図示しない再生装置に対して復号化装置７０の構成および／または機能を持たせることにより、記録装置２００により圧縮符号化されたＭＰＥＧビデオストリームＶＳから対応するフレーム画像を再生することができる。
【００８７】
ここで、符号化装置５０により生成されるＭＰＥＧビデオストリームＶＳの階層構造（シンタックス）の概略構成を図７に示す。
【００８８】
図７に示すように、ＭＰＥＧビデオストリームＶＳは、６つの階層(レイヤ)から構成されており、その最上位のレイヤであるシーケンスレイヤは、図８（ａ）にテーブルＴ１として示すシンタックスを有している。なお、このテーブルＴ１を含む後述するＭＰＥＧビデオストリームＶＳのシンタックスは、ＭＰＥＧビットストリームＶＳからデータエレメントを抽出するために使用される復号化装置７０側でのシンタックスである。符号化装置５０側でのシンタックスは、復号化装置７０側でのシンタックスからｉｆ文やｗｈｉｌｅ文等の条件文を省略したシンタックスとなる。
【００８９】
図８（ａ）に示すように、シーケンスレイヤにおけるｖｉｄｅｏ＿ｓｅｑｕｅｎｃｅ（）におけるＮｅｘｔ＿Ｓｔａｒｔ＿ｃｏｄｅは、ＭＰＥＧビットストリーム中に記述されているスタートコードを探すための関数であり、ｄｏ{ }ｗｈｉｌｅ構文は、ｗｈｉｌｅ文によって定義されている条件が真である間、ｄｏ文の{ }内の関数に基づいて記述されたデータエレメントをＭＰＥＧビットストリーム中から抽出するための構文である。したがって、このシーケンスレイヤにおいては、ｗｈｉｌｅ文で記述されたシーケンスヘッダコード（Ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ＿ｃｏｄｅ）の条件が真である間、シーケンスヘッダ（Ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ）関数に基づいて記述されたデータエレメントをＭＰＥＧビットストリーム中から抽出し、ｗｈｉｌｅ文で記述されたＧＯＰレイヤ（ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅｓレイヤ）のグループスタートコード（Ｇｒｏｕｐ＿ｓｔａｒｔ＿ｃｏｄｅ）の条件が真である間、ＧＯＰレイヤの関数に基づいて記述されたデータエレメントを、抽出したデータエレメントからさらに抽出するデコード方法を表している。
【００９０】
シーケンスヘッダは、画面のフォーマット等を指定するためのレイヤであり、図８（ｂ）にテーブルＴ２として示すシンタックスを有している。
【００９１】
ＧＯＰレイヤは、図９にテーブルＴ３として示すシンタックス構造を有しており、図９における“ｕｓｅｒ＿ｄａｔａ”として示すように、ユーザによりビデオデータやオーディオデータとは関係のない任意のデータを格納することができるユーザデータ領域ＵＤ１（図７参照）が設定されている。
【００９２】
ＧＯＰレイヤの下位階層であり抽出対象のデータエレメントを規定するＰｉｃｔｕｒｅレイヤは、図１０にテーブルＴ４として示すシンタックス構造を有しており、図１０における“ｕｓｅｒ＿ｄａｔａ”として示すように、ユーザによりビデオデータやオーディオデータとは関係のない任意のデータを格納することができるユーザデータ領域ＵＤ２（図７参照）が設定されている。
【００９３】
Ｐｉｃｔｕｒｅレイヤの下位階層であり抽出対象のデータエレメントを規定するＳｌｉｃｅレイヤは、マクロブロックの帯を表しており、図１１にテーブルＴ５として示すシンタックス構造を有している。
【００９４】
また、Ｓｌｉｃｅレイヤの下位階層であり抽出対象のデータエレメントを規定するＭａｃｒｏｂｌｏｃｋ（マクロブロック）レイヤは、図１２にテーブルＴ６として示すシンタックス構造を有している。通常のＭＰＥＧのフレーム内予測符号化におけるマクロブロック（ＭＢ）としては、Ｙ信号用の４つの８×８のＤＣＴブロックおよび色差信号（ＣｂおよびＣｒ）用の２つの８×８のＤＣＴブロックを使用するため、そのシンタックスにおけるｉｆ文（macroblock_pattern）におけるｆｏｒ文の繰り返し範囲が“ｆｏｒ（ｉ＝０；ｉ＜６；ｉ＋＋）”と設定されている。
【００９５】
さらに、マクロブロックレイヤの下位階層であり抽出対象のデータエレメント（８×８の小ブロック）を規定するブロックレイヤは、図１３にテーブルＴ７として示すシンタックス構造を有している。
【００９６】
すなわち、ビデオ圧縮器２に入力されたビデオデータ（右眼画像Ｐｒ）は、ビデオ圧縮器２の図５に示すＭＰＥＧ圧縮符号化処理により圧縮符号化され、図７〜図１３に示す構造を有するＭＰＥＧビデオストリームＶＳが生成される。
【００９７】
次に、本実施形態における奥行きデータをＤＶＤビデオフォーマットに準拠するＭＰＥＧ圧縮符号化フォーマットに互換性を有するように記録する処理について説明する。
【００９８】
本実施形態では、ビデオ圧縮器２は、奥行き情報フォーマット器５から送られてきた各画素の８ビットの奥行きデータを、次の（１）〜（４）の内の何れかのデータフォーマットに基づいて、例えば右眼画像Ｐｒに基づくＭＰＥＧ圧縮符号化されたビデオデータ（ＭＰＥＧビデオストリーム）ＶＳにおけるユーザデータ領域ＵＤ１および／またはユーザデータ領域ＵＤ２に格納し、奥行きデータを含むＭＰＥＧビデオストリームＶＳを情報多重化器６へ送信するように構成されている。
【００９９】
（１）左上画素の奥行きデータから右下画素の奥行きデータへ向かう順番（ラスタ順番）に並ぶように格納するフォーマット
（２）各画素の奥行きデータの値が同じ値を示す場合に、その同じ値を示す画素数（ラン長）を７ビットで表すデータおよびその同一となるデータ値が並ぶように圧縮符号化して格納するフォーマット
（３）各画素の奥行きデータを８ビットのグレースケール画像（Ｙ信号）に見立てて、上述したＭＰＥＧ圧縮符号化におけるＩピクチャ画像と同じようにフレーム内予測符号化して格納するフォーマット
（４）（３）のフレーム内符号化に加えて、上述したＭＰＥＧ圧縮符号化におけるＰピクチャ画像用およびＢピクチャ画像用の順方向フレーム間予測符号化および双方向フレーム間挿入予測符号化して格納するフォーマット
例えば、（２）のフォーマットにおいては、図４に示すように、各フレームレイヤ３３は、スタートコード３４に続いて、１ビットの奥行きデータ有効フラグ（ＤＥ）３５を有しており、この奥行きデータ有効フラグ３５に“１”が設定されている場合には、後に続く奥行きデータは有効となる。
【０１００】
一方、奥行きデータ有効フラグ３５に“０”が設定されている場合には、後に続く奥行きデータは無効となり、対応するフレームレイヤ３３の奥行きは全ての画素において全く変化がないものとなり、各画素の奥行きデータは、後述するＯＦＦＳＥＴ値に均一にセットされることになる。
【０１０１】
フレームレイヤ３３は、奥行きデータ有効フラグ３５に続いて、７ビットの予約（Reserved）フィールド３６と、各画素の奥行きデータに対して付加するための８ビットのオフセット（ＯＦＦＳＥＴ）値を格納するためのフィールドＯＦＦＳＥＴ３７とを有している。
【０１０２】
このＯＦＦＳＥＴ３７には、−１２７〜＋１２７までの値（８ビット）がオフセット値として格納されるようになっており、後述するピクセルレイヤに格納され、オフセットが付加された奥行きデータの値が２５５（８ビットで表現できる最大値）を超えるような場合（オーバーフロー）には、その都度リミッタ機能により奥行きデータのデータ幅を８ビットに抑えることが可能になっている。
【０１０３】
例えば、奥行きデータ有効フラグ３５に“０”が設定され、且つＯＦＦＳＥＴ３７にも“０”が設定されている場合、たとえ後述する各データフィールド（ピクセルレイヤ）に何らかの奥行きデータ値が格納されていたとしても、全ての画素の奥行きデータ値が“０”と判断されることになる。
【０１０４】
そして、フレームレイヤ３３は、フィールドＯＦＦＳＥＴ３７に続いて、各画素（ピクセル）の奥行きデータを格納するためのフィールド（ピクセルレイヤ３８）を有している。
【０１０５】
ピクセルレイヤ３８は、同一の奥行きデータが連続する画素数をランレングスとして８ビットで表すためのNumOfSkipPixelフィールド３８ａと、その同一の奥行きデータを−１２８から＋１２７の値として８ビットで表すフィールド（ＺＰ）３８ｂとから構成されている。
【０１０６】
例えば、“１００”という奥行きデータを有する画素が例えば行方向に４画素連続している場合、この４画素それぞれにピクセルレイヤを割り当てて奥行きデータをＺＰフィールド３８ｂに格納するのではなく、１つのピクセルレイヤ３８のNumOfSkipPixelフィールド３８ａに連続画素数（ランレングス）である“４”を格納し、対応するＺＰフィールド３８ｂに対して奥行きデータ値である“１００”を格納することにより、奥行きデータ“１００”を４画素分連続して格納した場合と同様のデータを圧縮して格納することができる。なお（２）のフォーマットの応用として、隣接する画素の奥行きデータは非常に似ていることが多いので、隣接画素の差分をとり、隣接画素数および差分結果である差分データを、それぞれピクセルレイヤ３８のNumOfSkipPixelフィールド３８ａおよびＺＰフィールド３８ｂに格納することも可能であり、奥行きデータをさらに圧縮して符号化効率を向上させることが可能になる。
【０１０７】
なお、（３）のデータフォーマットにおいては、各画素の奥行きデータを８ビットのグレースケール画像（Ｙ信号）とみなしているため、色差信号がない。したがって、通常のＭＰＥＧのフレーム内予測符号化におけるマクロブロック（ＭＢ）として、Ｙ信号用の４つの８×８のＤＣＴブロックおよび色差信号（ＣｂおよびＣｒ）用の２つの８×８のＤＣＴブロックを合計６個のＤＣＴブロックを使用する（図１２のテーブルＴ６のｆｏｒ文の繰り返し範囲“ｆｏｒ（ｉ＝０；ｉ＜６；ｉ＋＋）”参照）のに対し、本実施形態では、各画素の奥行きデータである８ビットのグレースケール画像は、Ｙ信号用の４つの８×８のＤＣＴブロックを用いてフレーム内予測符号化されるため、上記ｆｏｒ文の繰り返し範囲は、“ｆｏｒ（ｉ＝０；ｉ＜４；ｉ＋＋）”と設定される。
【０１０８】
具体的に述べれば、図１０にテーブルＴ４として示すように、ＭＰＥＧビットストリームのピクチャレイヤにおいて、スライスレイヤ（Ｓｌｉｃｅ関数）により定義されるデータエレメント抽出処理に移行する前の最後のｉｆ文に、「ユーザデータスタートコード（user_data_start_code）を送った後に、ユーザデータ（user_data）を８ビット単位で記録することが出来る仕組み」が定義されている。
【０１０９】
詳細に説明すれば、一般に、ＭＰＥＧビットストリームにおいては、ユーザデータスタートコード（user_data_start_code）は、スライスレイヤにより定義されるデータエレメント抽出処理に移行する前では、“0x000001B2”と定義されている。すなわち、本実施形態に係るビデオ圧縮器２は、ＭＰＥＧビデオストリームＶＳとして、ユーザコードを情報多重化器８に送信し、続いてユーザデータ領域ＵＤ１あるいはＵＤ２内で、本実施形態における認証に用いる関数値の存在を示す、予め一意に識別可能なコード(識別コード)である例えば0x0f0f0f0f2428fdaaのコードを送信する。この識別コードは、他の装置やアプリケーションでユーザデータ（user_data）を使用する場合に、そのユーザデータを識別する目的で記録するもので、その識別コードの値は特別に意味を有していない。そして、ビデオ圧縮器２は、識別コードに続いて、図４に示すフレームレイヤ構造として構成された各画素の奥行きデータを、ＭＰＥＧビデオストリームＶＳにおける例えばピクチャレイヤのユーザデータ領域ＵＤ２にラスタ順で格納するようになっている。
【０１１０】
このようにして、各画素の奥行きデータがユーザデータ領域ＵＤ１またはＵＤ２に格納されたＭＰＥＧビデオストリームＶＳは、情報多重化器８に送信され、図４に示すＤＶＤビデオフォーマットに従って、オーディオ圧縮器７から送信されたオーディオデータ（ＭＰＥＧオーディオストリームＡＳ）と図４に示すＤＶＤビデオフォーマットに従って多重化され、この多重化されたデータストリーム（ＭＰＥＧ多重化トランスポートストリームＴＳ）は、記録器１０により、ＤＶＤビデオフォーマットに準拠した記録媒体９に記録される。
【０１１１】
以上述べたように、本実施形態に係る記録装置２００によれば、２次元映像から得られた３次元映像生成用の各画素の奥行き情報を、ＤＶＤビデオフォーマットに準拠するＭＰＥＧ圧縮符号化処理により圧縮符号化されたＭＰＥＧビデオストリームＶＳにおけるユーザ任意使用領域であるユーザデータ領域ＵＤ１あるいはＵＤ２に格納することができる。そして、このように奥行き情報が一体化されたＭＰＥＧビデオストリームをＭＰＥＧオーディオストリームと多重化し、ＭＰＥＧ多重化トランスポートストリームＴＳとしてＤＶＤビデオフォーマットに準拠した記録媒体９に記録することができる。
【０１１２】
このため、図示しない再生装置においては、記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳを、一体に多重化記録された奥行き情報を用いることなく再生することにより、ＭＰＥＧビデオストリームＶＳおよびＭＰＥＧオーディオストリームＡＳに基づく２次元映像およびオーディオ信号をそれぞれ再生することができる。そして、記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳを、一体に多重化記録された奥行き情報を用いて再生することにより、奥行き情報およびＭＰＥＧビデオストリームＶＳに基づく３次元映像およびＭＰＥＧオーディオストリームＡＳに基づくオーディオ信号をそれぞれ再生することができる。
【０１１３】
したがって、本実施形態に係る記録装置２００によれば、再生装置側において、記録媒体９に記録された奥行き情報の使用／不使用の切り替えにより２次元映像および３次元映像の切り替え再生を可能にする記録システムを構築することができ、この記録装置２００により記録媒体９に記録された２次元映像および３次元映像の再生効率を向上させることができる。
【０１１４】
（第２の実施の形態）
図１４は、本発明の第２の実施の形態に係る記録装置２００Ａの概略構成を示すブロック図である。本実施形態における記録装置２００Ａにおいては、ビデオ圧縮器および情報多重化器の処理が図１に示す記録装置２００と異なるため、その異なる処理について説明する。
【０１１５】
本実施形態に係る記録装置２００Ａにおいては、奥行き情報フォーマット器５から送られてきた各画素の８ビットの奥行きデータは、直接、あるいはビデオ圧縮器２Ａにより上記（２）のランレングス符号化による圧縮符号化されたフレームレイヤ毎のデータ、（３）によりフレーム内予測符号化されたデータ、あるいは（４）のフレーム間挿入予測符号化により圧縮符号化されたデータ、ビデオ圧縮器２ＡによりＭＰＥＧ圧縮符号化されたＭＰＥＧビデオストリームＶＳとは異なるビットストリームとして情報多重化器８Ａに送信される。また、上記ＭＰＥＧビデオストリームＶＳおよびオーディオ圧縮器７によりＭＰＥＧ圧縮符号化されたＭＰＥＧオーディオストリームＡＳも、それぞれ情報多重化器８Ａに送信される。
【０１１６】
情報多重化器８Ａは、送信されてきた左眼画像Ｐｌの各画素の奥行きデータに対応するデータを、ＤＶＤビデオフォーマット（図４参照）におけるＤ＿ＰＡＣＫ３２のデータ内容（例えば、２ｋＢ）として、ＭＰＥＧビデオストリームＶＳに対応するＶ＿ＰＡＣＫ３１およびＭＰＥＧオーディオストリームＡＳに対応するＡ＿ＰＡＣＫ３０等と多重化することにより、奥行きデータをＤＶＤビデオフォーマット化する。
【０１１７】
このようにして、各画素の奥行きデータが多重化されたＭＰＥＧ多重化トランスポートストリームＴＳは、記録器１０により、ＤＶＤビデオフォーマットに準拠した記録媒体９に記録される。
【０１１８】
以上述べたように、本実施形態に係る記録装置２００Ａによれば、２次元映像から得られた３次元映像生成用の各画素の奥行き情報を、ＤＶＤビデオフォーマットに従った多重化処理により、そのＤＶＤビデオフォーマットに対応する各フレームレイヤ３３における各ピクセルレイヤに格納して奥行き情報が一体化されたＭＰＥＧ多重化トランスポートストリームＴＳを生成し、生成されたＭＰＥＧ多重化トランスポートストリームＴＳをＤＶＤビデオフォーマットに準拠した記録媒体９に記録することができる。
【０１１９】
このため、第１実施形態と同様に、図示しない再生装置においては、記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳを、一体に多重化記録された奥行き情報を用いることなく再生することにより、ＭＰＥＧビデオストリームＶＳおよびＭＰＥＧオーディオストリームＡＳに基づく２次元映像およびオーディオ信号をそれぞれ再生することができる。そして、ＭＰＥＧ多重化トランスポートストリームＴＳを、一体に多重化記録された奥行き情報を用いて再生することにより、奥行き情報およびＭＰＥＧビデオストリームＶＳに基づく３次元映像およびＭＰＥＧオーディオストリームＡＳに基づくオーディオ信号をそれぞれ再生することができる。
【０１２０】
したがって、本実施形態に係る記録装置２００Ａにおいても、第１実施形態と同様の効果である、記録媒体９に記録された２次元映像および３次元映像の再生効率の向上という効果を得ることができる。
【０１２１】
なお、第１および第２の実施形態の変形例として、情報多重化器は、生成した例ＭＰＥＧ多重化トランスポートストリームＴＳのシステムレイヤ（図１５のテーブルＴ８参照）における“トランスポートデータフラグ（transport_private_data_flag）”に“１”を立てて、プライベートデータ（private_data）が存在することを明示し、続いて、データ長がトランスポートパケットをはみ出さないという制限の下で、ＭＰＥＧ多重化トランスポートストリームＴＳのtransport_private_data_lengthに設定したデータ長のプライベートデータフィールドにprivate_dataとして各画素の奥行きデータを格納し、記録媒体９に記録することもできる。
【０１２２】
また、第１および第２の実施形態の変形例に係る記録装置は、ストリーム識別情報（stream_id）にプライベートストリーム（private_stream）を設定して専用のパケットを宣言し、この専用のパケットとして確保されたフィールド（プライベートストリームフィールド）に奥行きデータをパック化し、記録器１０を介して記録媒体９にフレーム画像毎に記録することも可能である。
【０１２３】
（第３の実施の形態）
図１６は、本発明の第３の実施の形態に係る記録装置２００Ｂの概略構成を示すブロック図である。本実施形態における記録装置２００Ｂにおいては、ビデオ圧縮器および情報多重化器の処理が図１４に示す記録装置２００Ａと異なるため、その異なる処理について説明する。
【０１２４】
本実施形態に係る記録装置２００Ｂにおいては、奥行き情報フォーマット器５から送られてきた各画素の８ビットの奥行きデータは、直接、あるいはビデオ圧縮器２Ａにより上記（２）のランレングス符号化による圧縮符号化されたフレームレイヤ毎のデータ、（３）によりフレーム内予測符号化されたデータ、あるいは（４）のフレーム間挿入予測符号化により圧縮符号化されたデータ、ビデオ圧縮器２ＡによりＭＰＥＧ圧縮符号化されたＭＰＥＧビデオストリームＶＳとは異なるデータストリームとして情報多重化器８Ｂに送信される。また、上記ＭＰＥＧビデオストリームＶＳおよびオーディオ圧縮器７によりＭＰＥＧ圧縮符号化されたＭＰＥＧオーディオストリームＡＳも、それぞれ情報多重化器８Ｂに送信される。
【０１２５】
本実施形態に係る情報多重化器８Ｂは、送信されてきた左眼画像Ｐｌの各画素の奥行きデータに対応するデータを、図４に示すＤＶＤビデオフォーマットにおけるＤ＿ＰＡＣＫ３２ではなく、図１７に示すように、ＤＶＤビデオ規格に準拠するＤＶＤビデオフォーマットにおいて自由使用領域として設定された領域であるＤＶＤ-others zone２１のデータ内容としてＤＶＤ−video zone２０とリンクして多重化している。
【０１２６】
DVD-others zone２１は、１つのＤＶＭＧ（D-Video Manager）８２および複数（ｎ個）のＤＶＴＳ（D-Video Title Set）８３ａ１〜８３ａｎから構成されている。ＤＶＭＧ８２は、ビデオマネージャーインフォメーション等、後続するＤＶＴＳ８３ａ１〜８３ａｎの識別情報や様々な情報自体のスタートアドレスやエンドアドレス、どこのビデオストリームから再生を開始するか等の情報が記述されている。
【０１２７】
各ＤＶＴＳ８３ａ１〜８３ａｎは、再生されるべきオーディオデータやビデオデータ（ビデオストリーム）のアドレス情報や識別情報等の制御データ（Control Data）が格納されたフィールドＤＶＴＳＩ８４と、このＤＶＴＳＩ８４の後に格納されたＤＶＯＢＳ（D-Video Object Set:ビデオオブジェクトセット）８５というビデオストリームおよびオーディオストリームが多重化されたＭＰＥＧ（Motion Picture Experts Group）ストリームのセット（コンテンツ）とから構成されており、このＤＶＯＢＳ８５は、複数のＤＶＯＢ８６（D-Video Object）という小単位のＭＰＥＧストリームから構成されている。
【０１２８】
各ＤＶＯＢ８６は、さらに細分化された複数のセル（ＤＣＥＬＬ）８７という単位から構成されている。このＤＣＥＬＬ８７は、再生単位を表し、固有のＩＤ番号が付与されている。各ＤＣＥＬＬ８７は、さらに複数のＤＶＯＢＵ（D-Video Object Unit:ビデオオブジェクトユニット）８８から構成されている。
【０１２９】
本実施形態においては、この各ＤＶＯＢ８８が第２の実施の形態における、各画素の奥行きデータが各ピクセルレイヤ３８のデータとして格納されたフレームレイヤ３３を数フレーム分グループ化して構成されている。
【０１３０】
すなわち、本実施形態に係る情報多重化器８Ｂは、奥行き情報フォーマット器５から送信されてきたフレーム画像毎の各画素の奥行きデータからフレームレイヤ３３を生成し、生成した複数のフレーム画像に対応する複数のフレームレイヤ３３をグループ化してＤＶＤビデオフォーマットにおけるＤＶＯＢＵ８８を生成することにより、奥行きデータをＤＶＤビデオフォーマット化する。
【０１３１】
このようにして、各画素の奥行きデータが多重化されたＭＰＥＧ多重化トランスポートストリームＴＳは、記録器１０により、ＤＶＤビデオフォーマットに準拠した記録媒体９に記録される。
【０１３２】
本実施形態においても、第１および第２実施形態と同様に、図示しない再生装置においては、記録媒体９に記録された多重化データを、記録媒体９におけるDVD-others zone２１に対応するエリアに記録された奥行き情報を用いることなく再生することにより、ＭＰＥＧビデオストリームＶＳおよびＭＰＥＧオーディオストリームＡＳに基づく２次元映像およびオーディオ信号をそれぞれ再生することができる。そして、記録媒体９におけるDVD-others zone２１に対応するエリアに記録された奥行き情報を用いてＭＰＥＧ多重化トランスポートストリームＴＳの再生処理を行うことにより、奥行き情報およびＭＰＥＧビデオストリームＶＳに基づく３次元映像およびＭＰＥＧオーディオストリームＡＳに基づくオーディオ信号をそれぞれ再生することができる。
【０１３３】
したがって、本実施形態に係る記録装置２００Ｂにおいても、第１および第２実施形態と同様の効果である、記録媒体９に記録された２次元映像および３次元映像の再生効率の向上という効果を得ることができる。
【０１３４】
特に、本実施形態では、DVD-others zone２１に格納された奥行きデータをDVD-video zone２０に格納されたビデオデータと同一のデータ構造とし、DVD-others zone２１のＤＶＯＢ８６、ＤＣＥＬＬ８７、およびＤＶＯＢ８８に対応するフレーム枚数(再生長時間)を、DVD-video zone２０のＶＯＢ２６、ＣＥＬＬ２７、およびＶＯＢ２８に対応するフレーム枚数(再生長時間)と等しく設定することにより、サーチ等の記録媒体９に記録されたデータに対するアクセス性を高めることができる。
【０１３５】
このようにＤＶＤビデオ規格に準拠したフォーマットで、DVD-video zone２０およびDVD-others zone２１の内の何れか一方に、２次元映像に対応する各フレーム画像の各画素の奥行き情報を格納しておくことにより、２次元映像および３次元映像をＤＶＤビデオ規格互換で記録媒体９に記録することができる。
【０１３６】
（第４の実施の形態）
図１８は、本発明の第４の実施の形態に係る記録装置２００Ｃの概略構成を示すブロック図である。
【０１３７】
本実施形態における記録装置２００Ｃは、コンピュータグラフィックス（ＣＧ）技術をベースにして、既存の２次元画像に対応する画像データから新たな２次元画像データ、あるいは全く新たな２次元画像データを例えばフレーム単位で生成する２次元画像生成機能（モジュール）９１ａおよび信号処理によりオーディオ信号を生成するオーディオ信号生成機能（モジュール）９１ｂを有するコンピュータ９１を備えており、このコンピュータ９１は、視差ベクトル抽出器３、ビデオ圧縮器２、およびオーディオ圧縮器７にそれぞれ接続されている。
【０１３８】
コンピュータ９１は、図示しないメモリを内蔵しており、このメモリに内蔵されたプログラム(ソフトウェア)により２次元画像生成機能９１ａおよびオーディオ信号生成機能９１ｂがそれぞれ起動される。
【０１３９】
２次元画像生成機能９１ａによりＣＧ技術に基づいて生成された２次元画像データ（ＣＧ画像データ）は、小サイズの単位（例えば、ポリゴン）毎にその位置情報および奥行き情報をそれぞれ有している。
【０１４０】
すなわち、本実施形態によれば、コンピュータ９１の２次元画像生成機能９１ａは、ＣＧ技術によりフレーム単位の２次元画像データを順次生成し、ビデオデータ（ビデオストリーム）としてビデオ圧縮器２にそれぞれ送信するとともに、各２次元画像データのポリゴン単位毎の位置情報｛水平位置（Ｘ）、垂直位置（Ｙ）、奥行き情報（Ｚ）｝を奥行き情報フォーマット器５に送信するようになっている。
【０１４１】
そして、オーディオ信号生成機能９１ｂは、元の素材となるオーディオ信号を加工して、あるいは全く新たなオーディオ信号を生成してオーディオ圧縮器７に送信するようになっている。
【０１４２】
なお、ビデオ圧縮器２、奥行き情報フォーマット器５、オーディオ圧縮器７、情報多重化器８、および記録器１０の処理については、第１の実施形態の記録装置２００の対応する構成要素と略同一であるため、その説明は省略する。
【０１４３】
すなわち、本実施形態によれば、コンピュータ９１の２次元画像生成機能９１ａにより生成された各２次元画像データのポリゴン単位毎の位置情報｛水平位置（Ｘ）、垂直位置（Ｙ）、奥行き情報（Ｚ）｝は、順次奥行き情報フォーマット器５Ａに送信される。
【０１４４】
このとき、奥行き情報フォーマット器５Ａでは、送られた各ポリゴンの位置情報および各小ブロック｛（４×２）の画素範囲｝の位置情報の比較結果に応じて、各ポリゴンの奥行き情報の値が、各小ブロックの奥行き情報の値に変換され、第１の実施形態と同様に、変換された各小ブロックを構成する各画素に対してたとえば８ビットの奥行きデータとして展開される。
【０１４５】
この他の処理は、第１実施形態と同様である。
【０１４６】
すなわち、本実施形態によれば、撮像カメラを用いることなく２次元映像およびその奥行き情報を生成することができ、生成した奥行き情報を、ＭＰＥＧビデオストリームと一体化してＭＰＥＧオーディオストリームと多重化し、ＭＰＥＧ多重化トランスポートストリームＴＳとしてＤＶＤビデオフォーマットに準拠した記録媒体９に記録することができる。
【０１４７】
このため、第１実施形態と同様の効果である、記録媒体９に記録された２次元映像および３次元映像の再生効率の向上という効果を得ることができる。
【０１４８】
（第５の実施の形態）
図１９は、本発明の第５の実施の形態に係る記録装置２００Ｄの概略構成を示すブロック図である。
【０１４９】
本実施形態における記録装置２００Ｄは、第４実施形態と同等の機能構成および接続関係を有するコンピュータ９１および奥行き情報フォーマット器５Ａを備えている。なお、ビデオ圧縮器２Ａ、オーディオ圧縮器７、情報多重化器８Ａ、および記録器１０の処理については、第２の実施形態の記録装置２００Ａの対応する構成要素と略同一であるため、その説明は省略する。
【０１５０】
すなわち、本実施形態においても、第４の実施形態と同様に、コンピュータ９１の２次元画像生成機能９１ａにより生成された各２次元画像データのポリゴン単位毎の位置情報は、順次奥行き情報フォーマット器５Ａに送信される。
【０１５１】
このとき、奥行き情報フォーマット器５Ａでは、送られた各ポリゴンの位置情報および各小ブロック｛（４×２）の画素範囲｝の位置情報の比較結果に応じて、各ポリゴンの奥行き情報の値が、各小ブロックの奥行き情報の値に変換され、変換された各小ブロックを構成する各画素に対してたとえば８ビットの奥行きデータとして展開される。
【０１５２】
この他の処理は、第２実施形態と同様である。
【０１５３】
すなわち、本実施形態によれば、撮像カメラを用いることなく２次元映像およびその奥行き情報を生成することができる。そして、生成した奥行き情報を、ＤＶＤビデオフォーマットに従った多重化処理により、そのＤＶＤビデオフォーマットに対応する各フレームレイヤ３３における各ピクセルレイヤに格納して奥行き情報が一体化されたＭＰＥＧ多重化トランスポートストリームＴＳを生成し、生成したＭＰＥＧ多重化トランスポートストリームＴＳをＤＶＤビデオフォーマットに準拠した記録媒体９に記録することができる。
【０１５４】
このため、第２実施形態と同様の効果である、記録媒体９に記録された２次元映像および３次元映像の再生効率の向上という効果を得ることができる。
【０１５５】
（第６の実施の形態）
図２０は、本発明の第６の実施の形態に係る記録装置２００Ｅの概略構成を示すブロック図である。
【０１５６】
本実施形態における記録装置２００Ｅは、第４実施形態と同等の機能構成および接続関係を有するコンピュータ９１および奥行き情報フォーマット器５Ａを備えている。なお、ビデオ圧縮器２Ａ、オーディオ圧縮器７、情報多重化器８Ｂ、および記録器１０の処理については、第３の実施形態の記録装置２００Ｂの対応する構成要素と略同一であるため、その説明は省略する。
【０１５７】
すなわち、本実施形態においても、第４の実施形態と同様に、コンピュータ９１の２次元画像生成機能９１ａにより生成された各２次元画像データのポリゴン単位毎の位置情報は、順次奥行き情報フォーマット器５Ａに送信される。
【０１５８】
このとき、奥行き情報フォーマット器５Ａでは、送られた各ポリゴンの位置情報および各小ブロック｛（４×２）の画素範囲｝の位置情報の比較結果に応じて、各ポリゴンの奥行き情報の値が、各小ブロックの奥行き情報の値に変換され、変換された各小ブロックを構成する各画素に対してたとえば８ビットの奥行きデータとして展開される。
【０１５９】
この他の処理は、第３実施形態と同様である。
【０１６０】
すなわち、本実施形態によれば、撮像カメラを用いることなく２次元映像およびその奥行き情報を生成することができる。次いで、生成した奥行き情報からフレームレイヤ３３を生成し、生成した複数のフレーム画像に対応する複数のフレームレイヤ３３をグループ化してＤＶＤビデオフォーマットにおけるＤＶＯＢＵ８８を生成して奥行き情報をＤＶＤビデオフォーマット化する。そして、各画素の奥行き情報が多重化されたＭＰＥＧ多重化トランスポートストリームＴＳをＤＶＤビデオフォーマットに準拠した記録媒体９に記録することができる。
【０１６１】
したがって、本実施形態に係る記録装置２００Ｅにおいても、第３実施形態と同様の効果である、記録媒体９に記録された２次元映像および３次元映像の再生効率の向上という効果を得ることができる。
【０１６２】
（第７の実施の形態）
図２１は、本発明の第７の実施の形態に係る再生装置１００の概略構成を示すブロック図である。この再生装置１００は、本発明に係る第１乃至第６実施形態に係る記録装置２００、２００Ａ〜２００Ｅおよびその変形例の内の何れか１つの記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳに基づいて２次元映像および３次元映像を切り替え再生できる装置である。
【０１６３】
すなわち、再生装置１００は、記録媒体９にアクセスしてその記録媒体９に記録されたデータを読み取り再生することができる再生器１０１と、この再生器１０１に接続されたパケット分離用の情報分離化器１０２と、この情報分離化器１０２に接続されており、例えば図６に示す復号化装置の構成を有するビデオ復号器１０３と、このビデオ復号器１０３に接続された奥行きデータ取り出し用の奥行き情報取り出し器１０４とを備えている。
【０１６４】
さらに、再生装置１００は、所定の立体表示方式により立体映像（３次元動画像）を表示可能な立体画像表示器１０５と、この立体画像表示器１０５の立体表示方式に対応する立体画像（視差画像）を生成するための視野変換器１０６とを備えている。
【０１６５】
そして、再生装置１００は、情報分離化器１０２に接続されたオーディオデータ復号用のオーディオ復号器１０７と、このオーディオ復号器１０７により復号化されたオーディオ信号を再生するためのスピーカ１０８とを備えている。
【０１６６】
再生装置１００は、再生器１０１、情報分離化器１０２、ビデオ復号器１０３、奥行き情報取り出し器１０４、立体画像表示器１０５、視野変換器１０６、およびオーディオ復号器１０７にそれぞれ接続されており、装置全体を制御するコントローラ１０９を備えている。
【０１６７】
次に、本実施形態に係る再生装置１００の全体動作について説明する。
【０１６８】
この再生装置１００によれば、第１実施形態で説明した記録方法により記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳは、再生器１０１により記録媒体９から読み取られ、再生器１０１により読み取られたＭＰＥＧ多重化トランスポートストリームＴＳは、情報分離化器１０２に送られ、この情報分離化器１０２において、ＭＰＥＧ多重化ストリームＴＳからＭＰＥＧビデオストリームＶＳのパケットおよびＭＰＥＧオーディオストリームＡＳのパケットがそれぞれ分離される。
【０１６９】
情報分離化器１０２により分離されたＭＰＥＧビデオストリームＶＳのパケットは、ビデオ復号器１０３に受信され、このビデオ復号器１０３において、前掲図５に示した方法により、受信されたＭＰＥＧビデオストリームＶＳのパケットが復号化されて復号化データ（再生用フレーム画像）が生成される。
【０１７０】
さらに、ビデオ復号器１０３において、ＭＰＥＧビデオストリームＶＳのユーザデータ領域ＵＤ１あるいはＵＤ２に格納されたユーザデータが読み出され、この読み出されたユーザデータから、奥行き情報取り出し器１０４により、例えば図４や図１７のフレームレイヤのフォーマットで記録された奥行きデータが取り出される。なお、ユーザデータがＭＰＥＧ多重化トランスポートストリームＴＳにおけるＤ＿ＰＡＣＫ３２、プライベートデータフィールド、もしくはプライベートストリームフィールドに格納されている場合には、情報分離化器１０２によってユーザデータが読み出されて奥行き情報取り出し器１０４により奥行きデータが取り出される。
【０１７１】
ビデオ復号器１０３により生成された再生用フレーム画像および奥行き情報取り出し器１０４により取り出された奥行きデータは、それぞれ視野変換器１０６にそれぞれ受信される。
【０１７２】
視野変換器１０６においては、受信された再生用フレーム画像および奥行き情報取り出し器１０４により取り出された奥行きデータに基づいて、立体画像表示器１０５の立体表示方式に対応する視差画像が生成され、生成された視差画像は、立体画像表示器１０５により立体表示される。
【０１７３】
一方、情報分離化器１０２により分離されたＭＰＥＧオーディオストリームＡＳのパケットは、オーディオ復号器１０７により復号化されて復号化データ（オーディオ信号）が再生され、生成されたオーディオ信号は、スピーカ１０８により再生される。
【０１７４】
次に、本実施形態における視野変換器１０６の視差画像生成処理について説明する。
【０１７５】
視差画像を生成するには、ＣＧにおける座標系の変換方法として視野変換方式を用いる。この視野変換方式は、視点座標系への変換式により、視点を変えた画像を得ることができるものであり、２次元画像およびその奥行き情報を入手することができれば、その奥行き情報を用いて自由な視点から見た画像（立体画像）を生成することができる。
【０１７６】
例えば、図１に示す撮像カメラ１Ｂの１Ａあるいは１ＢのレンズＬ１ＡあるいはＬ１Ｂの光軸上の主点に対応する視点の座標を（ｘｉ，ｙｉ，ｚｉ）、対象物体ＯＢの特徴点に対応する注視点の座標を（ｘａ，ｙａ，ｚａ）とする。また、視点および注視点間の距離を（ｘｆ，ｙｆ，ｚｆ）とすると、この視点および注視点間距離（ｘｆ，ｙｆ，ｚｆ）は、下式
ｘｆ＝ｘｉ−ｘａ
ｙｆ＝ｙｉ−ｙａ
ｚｆ＝ｚｉ−ｚａ
として表される。
【０１７７】
このとき、本実施形態に係る視野変換方式では、最初に平行移動により原点の位置を動かして注視点Ｏａを直交座標系（ｘ，ｙ，ｚ）の原点に設定する。この変換をＴ１とする。この変換Ｔ１は、単に（−ｘａ，−ｙａ，−ｚａ）だけの平行移動を表す変換である。次に、回転により座標値の向きを変える。図２２に示すように、直交座標系（ｘ，ｙ，ｚ）の原点（注視点）Ｏａから点Ｏｆ方向へのベクトルは、原点Ｏａからｚ軸のベクトルをまずα角だけｙ軸を中心に回転させ、次にβ角だけｘ軸を中心に回転させる。実際には、点Ｏｆの座標値を動かすので回転方向が逆になる。
【０１７８】
ここで、
変換Ｔ２：ｙ軸に-α回転
変換Ｔ３：ｘ軸に-β回転
として表される。ここで、αは、点Ｏｆをｘｙ平面に投影した投影点Ｏｆ’と原点Ｏａとを結ぶ線とＺ軸との間の角度であるので、ｓｉｎαおよびｃｏｓαは、それぞれ下式
【数１】
として表される。
【０１７９】
また、βは、原点Ｏａおよび点Ｏｆの間の長さ（ｘｆ２＋ｙｆ２）１/２と点Ｏｆおよび投影点Ｏｆ’間の長さｙｆにより、下式
【数２】
として表される。
【０１８０】
最後の変換として、ｘｙ平面に対するｚ軸の正方向が原点Ｏａから視点側になるような（ｘ，ｙ，ｚ）座標系（図２２参照）から、ｘｙ平面に対するｚ軸の正方向が原点Ｏａから視点とは反対の方向側、すなわち、視点から見て原点Ｏａを介してｘｙ平面の向こう側(視点からの目の方向)のｚ軸方向が正になるようにする変換Ｔ４を行う。これは単にｚ→−ｚにするだけである。これら変換Ｔ１〜Ｔ４の４つの変換マトリクスを掛け合わせると、視点座標の変換マトリクスは
【数３】
として表される。
【０１８１】
例えば、立体画像表示器１０５の立体表示方式が後述するパララックスバリアを用いた２眼式立体表示方式であれば、視野変換器１０６は、奥行き情報取り出し器１０４により取り出された奥行きデータに基づいて設定できるαを上記変換マトリクスＴを表す式に代入し、βおよびγは０に設定することにより、視差を有する右眼画像および左眼画像を生成することができる。
【０１８２】
また、立体画像表示器１０５の立体表示方式が後述するＩＰ（Integral Photography：インテグラルフォトグラフィー、あるいはインテグラルイメージングともいう）を用いた方式であれば、視野変換器１０６は、複数のレンズアレイを構成するそれぞれのレンズ位置に対応した撮像カメラで対象物体を撮像して得られた複数の要素画像に基づいて、それぞれの要素画像の大きさと共に上記視点座標の変換マトリクスＴを用いて計算することにより、立体画像データを生成することができる。このようにして生成した立体画像データを、立体画像表示器１０５に伝送し、立体画像再生を行うように公正されている。
【０１８３】
ここで立体画像表示方式のうち、代表的なパララックスバリア方式とＩＰ方式の説明をする。パララックスバリア方式は、例えば液晶によって実現することができる。すなわち、パララックスバリア方式は、２枚の液晶パネルを積層して構成されており、図２３に示すように、細いスリット状の一定周期の開口部１１０ａが形成された一方の液晶パネル（液晶遮光バリア）１１０と、所定の視点（左眼、右眼）から見てその裏側に適当な間隔をおいて対向配置され、その液晶遮光バリア側のスクリーンに、左眼画像および右眼画像（ＬおよびＲ）が上記開口部と同一周期の交互に配置され、かつその反対側の面にバックライト１１１がその長手方向に沿って設置された他方の液晶パネル１１２とを備える方式である。
【０１８４】
このパララックスバリア方式によれば、ユーザの所定の視点から、液晶遮光バリア１１０の開口部を通して左眼画像および右眼画像を見た場合、右眼には右眼画像が、左眼には左眼画像がそれぞれ分離された状態で知覚できるように構成されている。この構成により、ユーザは、その右眼および左眼にそれぞれ認識された異なる左眼画像および右眼画像に基づいて、合成画像の結像位置が右眼・左眼画像位置（スクリーン位置）から変化し、立体画像として知覚することができる。
【０１８５】
しかしながら、眼のピントは常に液晶パネル１１２のスクリーン上に合わされているにも係わらず、結像位置がスクリーンとは異なる位置に知覚されるため、生理学的な不自然さを伴う恐れがあり、ユーザの疲労や映像酔い等が発生する可能性も生じていた。そこで、近年は、５つの立体視の生理的要因、すなわち、輻輳調節矛盾（輻輳点とピントのあう位置の矛盾）、両眼視差（ある物体を見る際に、人間の左右の眼はそれぞれ違った方向から見る２つの異なる像を捕らえている性質）、ピント調節（見る対象からの距離の変化に伴って水晶体の厚さをコントロールしてレンズの厚みを変えるような性質）、輻輳(遠近の変化により眼球が内側に回転したり外側へ回転したりする動きを伴うという性質）、および運動視差（ユーザが自分で動いたり見る角度を変えたりすることで像の違いを見る性質）をそれぞれ満たすような立体画像表示方式も提案されている。
【０１８６】
提案された中でも有望な方式として、Lippmannが１９０８年に発表した方式が上記ＩＰ方式である。ＩＰ方式は、２次元的に配列したレンズアレイ（フライアイレンズ、蝿の目レンズ、複眼レンズなどともいう）を利用して表示対象物体の奥行き情報を取得するものである。１９９０年代に入ると、従来の写真乾板による記録を電子技術で置き換えることにより、ＩＰ方式により動画を生成する技術が開発され、さらに、文献（ＮＨＫ放送技術研究所「３次元映像の基礎」）の研究者の手により、屈折率分布レンズアレイ｛ＧＲＩＮ（Gradient Index）レンズアレイともいう｝とハイビジョンカメラとを用いて表示対象（被写体）を撮像してレンズアレイに対応する要素画像群を取得しながら、各要素画像を液晶ディスプレイにリアルタイムに伝送して表示し、フライアイレンズにより空間上に立体画像（３次元映像）として結像することに成功し、ＩＰ方式による３次元テレビジョン放送の実現可能性が示された。
【０１８７】
図２４は、ＩＰ方式の立体画像結像原理を説明するものであり、図２４（ａ）に示すように、撮影時に微小な要素レンズ１２１を多数並べてＩＰレンズアレイ１２２としてのＧＲＩＮレンズアレイを構成しており、要素レンズ１２１毎に結像された撮像対象物体ＯＢ１の像は、集光レンズ１２３を介してハイビジョンカメラ１２４に要素画像として結像され、このカメラ１２４により一括して撮影される。そして、再生時においては、図２４（ｂ）に示すように、カメラからの映像は、表示器である例えば液晶ディスプレイ（LCD:Light Crystal Display）１２５により再現され、全ての要素レンズ１２１の光が１点に集合して、全体として１方向から見た再生像を作成する。
【０１８８】
微小な要素レンズを２次元に配置することにより水平および垂直方向の運動視差を作り出すことも可能であり、水平方向に並べれば水平方向のみの視差を持たせることも可能である。
【０１８９】
本実施形態においてＩＰ方式に対応する視差画像を生成表示するために、視野変換器１０６は、複数の要素レンズを経由して見えた複数の要素画像を、奥行き情報取り出し器１０４により取り出された奥行きデータに基づいて上述した視点変換によりそれぞれ作成し、作成した要素画像を配列することにより、あたかも図２４の（ａ）の構成で撮像したかのように立体画像表示器１０５における液晶ディスプレイに対してその要素画像配列を表示することにより、立体視再生を実現することができる。実際にＩＰ方式に対応する立体画像表示器１０５は、図２５に示すように、液晶ディスプレイ１２５と、複数の要素レンズ１２１から構成されたＩＰレンズアレイ（例えばＧＲＩＮレンズアレイ）１２２とを備え、その液晶ディスプレイ１２５およびレンズアレイ１２１を近接して対向配置して構成されている。すなわち、立体画像表示器１０５は、２次元映像を表示する構成と略同一の構成を有する薄型ディスプレイとして設計されている。
【０１９０】
一方、コントローラ１０９の制御に応じて、再生装置１０５の視野変換器１０６は奥行きデータを用いて視野変換処理を行わないことも可能であり、この場合、立体画像表示器１０５は、コントローラ１０９の制御に応じて、ビデオ復号器１０３から送られた再生用フレーム画像（２次元画像）をフレーム毎に順次表示するようになっている。
【０１９１】
以上述べたように、本実施形態に係る再生装置１００によれば、記録媒体９に記録された奥行き情報の使用／不使用の切り替えにより２次元映像および３次元映像を切り替え再生することができ、記録媒体９に記録された２次元映像および３次元映像の再生効率を向上させることができる。
【０１９２】
また、本実施形態では、奥行き情報から立体視するデータを作成しているため、従来のように片眼画像のみが劣化することを防止して、立体視を行うユーザの満足度を向上させることができる。
【０１９３】
なお、第１乃至第６の実施の形態およびその変形例では、記録器１０は、奥行き情報が多重化されたＭＰＥＧ多重化トランスポートストリームＴＳを記録媒体９に記録したが、本発明はこの構成に限定されるものではない。例えば、図２６に示すように、本変形例に係る記録装置２００Ｆにおける記録器１０Ａは、情報多重化器８から送信されてきたＭＰＥＧトランスポートストリームＴＳを、通信（放送）用パケット化器１３０を介して通信または放送用のフォーマットにしたがってパケット化し、通信／放送用フォーマットでパケット化されたストリームを、フォーマットに対応する通信網（あるいは放送網）１３１を介して伝送してもよい。
【０１９４】
また、第７実施形態では、再生装置１００は、その再生器１０１により記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳを記録媒体９から読み取って再生処理を行ったが、本発明はこの構成に限定されるものではない。例えば、図２７に示すように、本変形例に係る再生装置１００Ａは、通信網（あるいは放送網）１３１を介して伝送されてきた、通信／放送用フォーマットでパケット化されたストリームを受信してパケットを解除する。そして、再生装置１００Ａは、解除したデータを情報分離化器１０２に送り、この情報分離化器１０２において、ＭＰＥＧ多重化トランスポートストリームＴＳからＭＰＥＧビデオストリームＶＳのパケットおよびＭＰＥＧオーディオストリームＡＳのパケットをそれぞれ分離し、以下、上述した再生処理（図２１乃至図２５参照）を実行することも可能である。
【０１９５】
本変形例によれば、記録媒体９からＭＰＥＧ多重化トランスポートストリームＴＳを読み取るのではなく、通信網（放送網）１３１を介して伝送されるストリームについても、このストリームを読み取り、読み取ったストリームに対応する２次元あるいは３次元映像等を再生することもできる。
【０１９６】
（第８の実施の形態）
図２８（ａ）は、本発明の第８の実施の形態に係る記録用プログラムがインストールされた少なくとも１台のメモリ内蔵型コンピュータ（汎用コンピュータ、マイクロコンピュータ等も含む）１５０を示す図である。
【０１９７】
図２８（ａ）に示すように、コンピュータ１５０は、図１に示した一対の撮像カメラ１Ａおよび１Ｂ、マイク６、ならびに記録媒体９に対してそれぞれ接続されている。なお、図２８（ｂ）に示すコンピュータの処理手順は、図１に示すハードウェアブロック構成要素（ビデオ圧縮器２、視差ベクトル抽出器３、奥行き情報算出器４、奥行き情報フォーマット器５、オーディオ圧縮器７、情報多重化器８、および記録器１０）それぞれの処理機能に対応しているため、処理の流れを簡単に説明する。
【０１９８】
すなわち、図２８（ｂ）に示すように、コンピュータ１５０は、メモリ１５０ａに記録された記録用プログラムに従って、左右一対の撮像カメラ１Ａおよび１Ｂによりそれぞれ同一タイミングで撮像された所定時間分の対象物体ＯＢの左眼画像Ｐｌおよび右眼画像Ｐｒを入力し、メモリ１５０ａに記憶する（ステップＳ１１０）。
【０１９９】
次いで、コンピュータ１５０は、図１に示す視差ベクトル抽出器３に対応する処理を実行することにより、第１実施形態で説明したように、エピポーラ線方向およびそのエピポーラ線方向に直交する方向に基づいて設定した探索範囲内の全てのマクロブロック内の全ての対応点に関する視差ベクトルＶを抽出する（ステップＳ１２０）。
【０２００】
続いて、コンピュータ１５０は、図１に示す奥行き情報算出器４に対応する処理を実行することにより、第１実施形態で説明したように、ステップＳ１２０の処理により抽出した各視差ベクトルの大きさを計算し小ブロック単位の各視差ベクトルの位置情報｛水平位置（Ｘ）、垂直位置（Ｙ）、奥行き情報（Ｚ）｝を生成する（ステップＳ１３０）。
【０２０１】
そして、コンピュータ１５０は、図１に示す奥行き情報フォーマット器５に対応する処理を実行することにより、各小ブロックの奥行き情報の値を各画素の奥行きデータとしてフォーマット化する（ステップＳ１４０）。
【０２０２】
次いで、コンピュータ１５０は、図１に示すビデオ圧縮器２に対応する処理を実行することにより、例えば右眼画像ＰｒをＭＰＥＧ圧縮符号化してＭＰＥＧビデオストリームＶＳを生成するとともに、ステップＳ１４０の処理により得られた各画素の８ビットの奥行きデータを、第１実施形態で説明した（１）〜（４）の内の何れかのデータフォーマットに基づいて、ＭＰＥＧビデオストリームＶＳにおけるユーザデータ領域ＵＤ１／ＵＤ２、ＭＰＥＧ多重化トランスポートストリームＴＳにおけるＤ＿ＰＡＣＫ３２、プライベートデータフィールド、あるいはプライベートストリームフィールドの内の何れかに格納する（ステップＳ１５０）。
【０２０３】
ステップＳ１１０〜Ｓ１５０の処理と並行して、コンピュータ１５０は、図１に示すオーディオ圧縮器７に対応する処理を実行することにより、マイク６により収集されたオーディオ信号をＭＰＥＧ圧縮符号化してＭＰＥＧオーディオストリームＡＳを生成する（ステップＳ１６０）。
【０２０４】
続いて、コンピュータ１５０は、図１に示す情報多重化器８に対応する処理を実行することにより、ＭＰＥＧビデオストリームＶＳおよびＭＰＥＧオーディオストリームＡＳを図４に示すＤＶＤビデオフォーマットに従って多重化する（ステップＳ１７０）。
【０２０５】
そして、コンピュータ１５０は、多重化により生成されたデータストリーム（ＭＰＥＧ多重化トランスポートストリームＴＳ）を、所定の単位（例えば、ＤＶＤビデオ規格に対応する２ｋＢ単位）で記録媒体９に記録するか、あるいは、仮にコンピュータ１５０が所定の通信フォーマットを有する通信網や放送網に接続されている場合、多重化により生成されたＭＰＥＧ多重化トランスポートストリームＴＳを所定の通信フォーマットに対応するパケットに変換して通信網や放送網を介して伝送する（ステップＳ１８０）。
【０２０６】
続いて、コンピュータ１５０は、撮像カメラ１Ａおよび／または１Ｂから画像データ（フレーム画像データ）が入力されてくるか否か判断しており（ステップＳ１９０）、この判断の結果ＹＥＳの場合には、ステップＳ１１０の処理に戻ってステップＳ１１０以降の処理を継続して行う。
【０２０７】
一方、ステップＳ１９０の判断の結果ＮＯの場合には、コンピュータ１５０は、処理を終了する。
【０２０８】
すなわち、本実施形態に係る記録プログラムによれば、コンピュータ１５０に対して、各画素の奥行きデータをＭＰＥＧビデオストリームＶＳのユーザデータ領域ＵＤ１またはＵＤ２に格納させ、そのＭＰＥＧビデオストリームＶＳをＭＰＥＧオーディオストリームＡＳと多重化させて記録媒体９に記録させることができる。このため、第１実施形態と同様に、記録媒体９に記録された奥行き情報の使用／不使用の切り替えにより２次元映像および３次元映像の切り替え再生が可能になり、２次元映像および３次元映像の再生効率を向上させることができる。
【０２０９】
（第９の実施の形態）
図２９（ａ）は、本発明の第９の実施の形態に係る再生用プログラムがインストールされた少なくとも１台のメモリ内蔵型コンピュータ（汎用コンピュータ、マイクロコンピュータ等も含む）１６０を示す図である。
【０２１０】
図２９（ａ）に示すように、コンピュータ１６０は、図２１に示した記録媒体９、立体画像表示器１０５、およびスピーカ１０８に対してそれぞれ接続されている。なお、図２９（ｂ）に示すコンピュータの処理手順は、図２１に示すハードウェアブロック構成要素（再生器１０１、情報分離化器１０２、ビデオ復号器１０３、奥行き情報取り出し器１０４、視野変換器１０６、およびオーディオ復号器１０７）それぞれの処理機能に対応しているため、処理の流れを簡単に説明する。
【０２１１】
すなわち、図２９（ｂ）に示すように、コンピュータ１６０は、メモリ１６０ａに記録された再生用プログラムに従って、記録媒体９に記録されたＭＰＥＧ多重化トランスポートストリームＴＳを再生するか、あるいはコンピュータ１６０が所定の通信フォーマットを有する通信網や放送網に接続されている場合、その通信網や放送網から伝送されてきたＭＰＥＧ多重化トランスポートストリームＴＳ（所定の通信フォーマットでフォーマット化されている）を受信する（ステップＳ２１０）。
【０２１２】
次いで、コンピュータ１６０は、図２１に示す情報分離化器１０２に対応する処理を実行することにより、第７実施形態で説明したように、ＭＰＥＧ多重化ストリームＴＳからＭＰＥＧビデオストリームＶＳのパケットおよびＭＰＥＧオーディオストリームＡＳのパケットをそれぞれ分離する（ステップＳ２２０）。なお、ストリームＴＳが所定の通信フォーマットでパケット化されている場合には、この通信フォーマットのパケットを解除してから、ステップＳ２２０の処理を実行する。
【０２１３】
続いて、コンピュータ１６０は、図２１に示すビデオ復号器１０３に対応する処理を実行することにより、第７実施形態で説明したように、分離されたＭＰＥＧビデオストリームＶＳのパケットを復号化して復号化データ（再生用フレーム画像）を生成するとともに、ＭＰＥＧビデオストリームＶＳのユーザデータ領域ＵＤ１あるいはＵＤ２に格納されたユーザデータを読み出す（ステップＳ２３０）。
【０２１４】
なお、ユーザデータがＭＰＥＧ多重化トランスポートストリームＴＳにおけるＤ＿ＰＡＣＫ３２、プライベートデータフィールド、もしくはプライベートストリームフィールドに格納されている場合には、コンピュータ１６０は、ステップＳ２２０の処理において、そのＭＰＥＧ多重化トランスポートストリームＴＳにおける対応する格納領域からユーザデータを読み出す。
【０２１５】
そして、コンピュータ１６０は、図２１に示す奥行き情報取り出し器１０４に対応する処理を実行することにより、第７実施形態で説明したように、ステップＳ２３０の処理により読み出したユーザデータから、例えば図４や図１７のフレームレイヤのフォーマットで記録されたマクロブロック毎の奥行きデータを取り出す（ステップＳ２４０）。次いで、コンピュータ１６０は、再生用フレーム画像および奥行きデータに基づいて、立体画像表示器１０５の立体表示方式に対応する視差画像を生成し（ステップＳ２５０）、生成した視差画像を立体画像表示器１０５により立体表示する(ステップＳ２６０)。
【０２１６】
一方、コンピュータ１６０は、ステップＳ２２０の処理により分離したＭＰＥＧオーディオストリームＡＳのパケットを復号化し（ステップＳ２７０）、復号化データ（オーディオ信号）としてスピーカ１０８により再生する（ステップＳ２８０）。
【０２１７】
コンピュータ１６０は、記録媒体９に再生対象となる画像データ（フレーム画像データ）が依然として記録されているか否か、あるいは通信網（放送網）から画像データがコンピュータ１６０に入力されてくるか否かを判断しており（ステップＳ２９０）、この判断の結果ＹＥＳの場合には、ステップＳ２１０の処理に戻ってステップＳ２１０以降の処理を継続して行う。
【０２１８】
一方、ステップＳ２９０の判断の結果ＮＯの場合には、コンピュータ１６０は、処理を終了する。
【０２１９】
すなわち、本実施形態に係る再生プログラムによれば、第６実施形態と同様に、記録媒体９に記録された奥行き情報の使用／不使用の切り替えにより２次元映像および３次元映像の切り替え再生が可能になり、２次元映像および３次元映像の再生効率を向上させることができる。
【０２２０】
なお、第６および第８実施形態において、立体画像表示器１０５の立体映像表示方式として、ＩＰ方式およびパララックスバリア方式について説明したが、本発明はこの方式に限定されるものではなく、レンチキュラーレンズ方式、超多眼方式、偏向眼鏡を用いた２眼方式、アナグリフ方式等、立体知覚できる方式であれば、何れの方式も適用できる。また、本発明では、奥行きデータを含むＭＰＥＧ多重化トランスポートストリームを必ずしも記録媒体に記録する必要はなく、図２６に示したように、通信網や放送網等の様々な伝送媒体を経由してＭＰＥＧ多重化トランスポートストリームを伝送することが可能である。したがって、この場合には、記録装置は伝送装置として使用される。また、図２７に示したように、本発明に係る再生装置を、通信網や放送網等の様々な伝送媒体を経由してＭＰＥＧ多重化トランスポートストリームを受信する受信装置として用いることも可能である。
【０２２１】
また、第１〜第８実施形態に係る記録媒体は、３次元映像表示用の奥行き情報を記録しているという媒体特有の効果を有しているため、複数の立体映像（３次元映像）再生方法に対応して３次元映像の再生を可能にするシステムを好適に実現することができる。
【０２２２】
さらに、本発明に係る記録媒体における“媒体”という定義は、データを記録できる媒体という狭義な媒体を表すだけでなく、データ伝送用の媒体である電磁波、光等の物理的媒体等も含む概念である。また、記録媒体に記録されている情報は、記録されていない状態での、電子ファイルなどのデータ自身も含むものとする。
【０２２３】
そして、映像データの奥行き情報は、フレーム画像毎に記録するように説明したが、本発明においては、約０．５秒毎、あるいは約１秒毎に記録する構成でもよい。その場合には、ＭＰＥＧのＧＯＰレイヤに用意されたユーザデータ領域に記録されたユーザデータを用いることで実現できる。
【０２２４】
また、上記各実施形態では、ビデオデータおよびオーディオデータをそれぞれ圧縮符号化して多重化したが、オーディオデータを用いずに、ビデオデータを中心に多重化してもよい。また、オーディオデータやビデオデータに限らず、他のサブピクチャや制御情報等のデータを多重化してよいことも当然である。
【０２２５】
さらに、上記各実施形態では、奥行きデータを例えば左目画像の画素毎に求めたが、本発明はこの構成に限定されるものではなく、画素以外の単位毎に奥行きデータを求めてもよい。
【０２２６】
なお、第７の実施形態および第８の実施形態においてコンピュータにインストールされたプログラムは、このコンピュータがアクセス可能なＣＤ―ＲＯＭ、ＤＶＤ−ＲＯＭ等の各種の記録媒体からコンピュータ内にインストールしてもよく、あるいは、上記通信網を介して伝送されてきたプログラムをコンピュータ内にインストールしてもよい。
【図面の簡単な説明】
【０２２７】
【図１】本発明の第１の実施の形態に係る記録装置の概略構成を示すブロック図である。
【図２】本発明における第１の実施形態の記録装置の映像記録対象である物体に対する記録装置の配置関係を示す図である。
【図３】（ａ）は、本発明の第１の実施の形態に係る右眼画像、左眼画像、対象物体、およびエピポーラ線をそれぞれ示す斜視図であり、（ｂ）は、図３（ａ）に示される右眼画像および左眼画像上に設定される探索範囲を示す図である。
【図４】ＤＶＤビデオフォーマットの概略を示す図。
【図５】ＭＰＥＧによる圧縮符号化処理を実行するための符号化装置の一例を示すブロック図である。
【図６】図５に示す符号化装置により圧縮符号化されたビデオデータを復号して再生する復号化装置を示すブロック図である。
【図７】図５に示す符号化装置により生成されるＭＰＥＧビデオストリームＶＳの階層構造の概略構成を示す図である。
【図８】（ａ）は、図７に示すシーケンスレイヤのシンタックスを示す図であり、（ｂ）は、シーケンスヘッダのシンタックスを示す図である。
【図９】ＧＯＰレイヤのシンタックスを示す図である。
【図１０】ｐｉｃｔｕｒｅレイヤのシンタックスを示す図である。
【図１１】ｓｌｉｃｅレイヤのシンタックスを示す図である。
【図１２】Ｍａｃｒｏｂｌｏｃｋレイヤのシンタックスを示す図である。
【図１３】ブロックレイヤのシンタックスを示す図である。
【図１４】本発明の第２の実施の形態に係る記録装置の概略構成を示すブロック図である。
【図１５】ＭＰＥＧ多重化トランスポートストリームのシステムレイヤのシンタックスを示す図である。
【図１６】本発明の第３の実施の形態に係る記録装置の概略構成を示すブロック図である。
【図１７】本発明の第３の実施の形態に係るＤＶＤビデオフォーマットの概略を示す図である。
【図１８】本発明の第４の実施の形態に係る記録装置の概略構成を示すブロック図である。
【図１９】本発明の第５の実施の形態に係る記録装置の概略構成を示すブロック図である。
【図２０】本発明の第６の実施の形態に係る記録装置の概略構成を示すブロック図である。
【図２１】本発明の第７の実施の形態に係る再生装置の概略構成を示すブロック図である。
【図２２】本発明の第７の実施形態における視野変換方式を説明するための座標系を示す図である。
【図２３】本発明の第７の実施形態に係る立体表示方式の一例であるパララックスバリア方式を概略的に説明するための図である。
【図２４】（ａ）は、本発明の第７の実施形態に係る立体表示方式の一例である撮影時におけるＩＰ方式を概略的に説明するための図であり、（ｂ）は、表示時におけるＩＰ方式を概略的に説明するための図である。
【図２５】本発明の第７の実施形態に係る立体表示方式としてＩＰ方式を適用した図２１に示す立体画像表示器の概略構成を示す図である。
【図２６】本発明の第１〜第６実施形態の変形例に係る記録装置の概略構成を示すブロック図である。
【図２７】本発明の第７の実施の形態の変形例に係る再生装置の概略構成を示すブロック図である。
【図２８】（ａ）は、本発明の第８の実施の形態に係る記録用プログラムがインストールされたメモリ内蔵型コンピュータを含むシステムの概略構成を示す図であり、（ｂ）は、図２８（ａ）に示すコンピュータの処理手順を概略的に示すフローチャートである。
【図２９】（ａ）は、本発明の第９の実施の形態に係る再生用プログラムがインストールされたメモリ内蔵型コンピュータを含むシステムの概略構成を示す図であり、（ｂ）は、図２９（ａ）に示すコンピュータの処理手順を概略的に示すフローチャートである。
【符号の説明】
【０２２８】
１Ａ，１Ｂ 撮像カメラ
２，２Ａ ビデオ圧縮器
３ 視差ベクトル抽出器
４ 奥行き情報算出器
５，５Ａ 奥行き情報フォーマット器
６ マイク
７ オーディオ圧縮器
８，８Ａ，８Ｂ 情報多重化器
９ 記録媒体
１０ 記録器
１１ 制御部
９１ コンピュータ
１００，１００Ａ 再生装置
１０１ 再生器
１０２ 情報分離化器
１０３ ビデオ復号器
１０４ 奥行き情報取り出し器
１０５ 立体画像表示器
１０６ 視野変換器
１０７ オーディオ復号器
１０８ スピーカ
１０９ コントローラ
１３０ 通信（放送）用パケット化器
１３１ 通信（放送）網
１４０ 通信（放送）用パケット解除器
１５０，１６０ コンピュータ
１５０ａ，１６０ａ メモリ
２００，２００Ａ〜２００Ｆ記録装置
【特許請求の範囲】
【請求項１】
所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成る第１のビットストリームと、前記２次元画像の所定単位毎に求められた当該２次元画像の奥行きに関する情報をフォーマット化して成る第２のビットストリームとが多重化された多重化ストリームを再生する再生装置であって、
前記多重化ストリームから前記第１のビットストリームを分離して前記２次元画像を再生する手段と、
前記多重化ストリームから前記第２のビットストリームを分離して前記２次元画像の奥行きに関する情報を再生する手段と、
前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する手段と、
を備えたことを特徴とする再生装置。
【請求項２】
所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成るビデオストリームと、このビデオストリームにおける前記圧縮符号化フォーマットにおいて設定される任意使用領域に格納された前記２次元画像の奥行きに関する情報とが多重化されて構成された多重化ストリームを再生する再生装置であって、
前記多重化ストリームから前記ビットストリームを分離して前記２次元画像を再生する手段と、
前記分離したビットストリームにおける前記任意使用領域に格納された前記２次元画像の奥行きに関する情報を再生する手段と、
前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する手段と、
を備えたことを特徴とする再生装置。
【請求項３】
前記２次元画像は、２次元映像を構成する複数のフレーム画像であり、前記奥行き情報は、前記２次元映像を構成する各フレーム画像における前記所定単位としての画素毎の画素値であり、
前記２次元映像を構成する各フレーム画像における前記画素毎の奥行き情報を表す画素値は、前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより各フレーム画像内において差分符号化する第１の圧縮符号化処理、ランレングス符号化する第２の圧縮符号化処理、前記各フレーム画像と該各フレーム画像の時間軸上における未来および過去の内の少なくとも一方のフレーム画像とから予測符号化する第３の圧縮符号化処理、および前記各フレーム画像内の直交変換を用いて符号化する第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化されて前記記録媒体に記録されており、
前記奥行きに関する情報を再生する手段は、前記第１〜第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化処理された前記各フレーム画像の前記画素毎の奥行き情報を表す画素値を、その少なくとも何れか１つの圧縮符号化処理に対応する復号化処理により復号化して前記２次元画像の奥行きに関する情報を再生する手段を備えたことを特徴とする請求項１または２記載の再生装置。
【請求項４】
所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成る第１のビットストリームと、前記２次元画像の所定単位毎に求められた当該２次元画像の奥行きに関する情報をフォーマット化して成る第２のビットストリームとが多重化された多重化ストリームを再生するためのコンピュータが実行可能な再生プログラムであって、
前記コンピュータに、
前記多重化ストリームから前記第１のビットストリームを分離して前記２次元画像を再生する処理と、
前記多重化ストリームから前記第２のビットストリームを分離して前記２次元画像の奥行きに関する情報を再生する処理と、
前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する処理と、
をそれぞれ実行させることを特徴とする再生プログラム。
【請求項５】
所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成るビデオストリームと、このビデオストリームにおける前記圧縮符号化フォーマットにおいて設定される任意使用領域に格納された前記２次元画像の奥行きに関する情報とが多重化されて構成された多重化ストリームを再生するためのコンピュータが実行可能な再生プログラムであって、
前記コンピュータに、
前記多重化ストリームから前記ビットストリームを分離して前記２次元画像を再生する処理と、
前記分離したビットストリームにおける前記任意使用領域に格納された前記２次元画像の奥行きに関する情報を再生する処理と、
前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する処理と、
をそれぞれ実行させることを特徴とする再生プログラム。
【請求項６】
前記２次元画像は、２次元映像を構成する複数のフレーム画像であり、前記奥行き情報は、前記２次元映像を構成する各フレーム画像における前記所定単位としての画素毎の画素値であり、
前記２次元映像を構成する各フレーム画像における前記画素毎の奥行き情報を表す画素値は、前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより各フレーム画像内において差分符号化する第１の圧縮符号化処理、ランレングス符号化する第２の圧縮符号化処理、前記各フレーム画像と該各フレーム画像の時間軸上における未来および過去の内の少なくとも一方のフレーム画像とから予測符号化する第３の圧縮符号化処理、および前記各フレーム画像内の直交変換を用いて符号化する第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化されて前記記録媒体に記録されており、
前記奥行きに関する情報を再生する処理は、前記第１〜第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化処理された前記各フレーム画像の前記画素毎の奥行き情報を表す画素値を、その少なくとも何れか１つの圧縮符号化処理に対応する復号化処理により復号化して前記２次元画像の奥行きに関する情報を再生する処理を含むことを特徴とする請求項４または５記載の再生プログラム。
【請求項１】
所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成る第１のビットストリームと、前記２次元画像の所定単位毎に求められた当該２次元画像の奥行きに関する情報をフォーマット化して成る第２のビットストリームとが多重化された多重化ストリームを再生する再生装置であって、
前記多重化ストリームから前記第１のビットストリームを分離して前記２次元画像を再生する手段と、
前記多重化ストリームから前記第２のビットストリームを分離して前記２次元画像の奥行きに関する情報を再生する手段と、
前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する手段と、
を備えたことを特徴とする再生装置。
【請求項２】
所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成るビデオストリームと、このビデオストリームにおける前記圧縮符号化フォーマットにおいて設定される任意使用領域に格納された前記２次元画像の奥行きに関する情報とが多重化されて構成された多重化ストリームを再生する再生装置であって、
前記多重化ストリームから前記ビットストリームを分離して前記２次元画像を再生する手段と、
前記分離したビットストリームにおける前記任意使用領域に格納された前記２次元画像の奥行きに関する情報を再生する手段と、
前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する手段と、
を備えたことを特徴とする再生装置。
【請求項３】
前記２次元画像は、２次元映像を構成する複数のフレーム画像であり、前記奥行き情報は、前記２次元映像を構成する各フレーム画像における前記所定単位としての画素毎の画素値であり、
前記２次元映像を構成する各フレーム画像における前記画素毎の奥行き情報を表す画素値は、前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより各フレーム画像内において差分符号化する第１の圧縮符号化処理、ランレングス符号化する第２の圧縮符号化処理、前記各フレーム画像と該各フレーム画像の時間軸上における未来および過去の内の少なくとも一方のフレーム画像とから予測符号化する第３の圧縮符号化処理、および前記各フレーム画像内の直交変換を用いて符号化する第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化されて前記記録媒体に記録されており、
前記奥行きに関する情報を再生する手段は、前記第１〜第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化処理された前記各フレーム画像の前記画素毎の奥行き情報を表す画素値を、その少なくとも何れか１つの圧縮符号化処理に対応する復号化処理により復号化して前記２次元画像の奥行きに関する情報を再生する手段を備えたことを特徴とする請求項１または２記載の再生装置。
【請求項４】
所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成る第１のビットストリームと、前記２次元画像の所定単位毎に求められた当該２次元画像の奥行きに関する情報をフォーマット化して成る第２のビットストリームとが多重化された多重化ストリームを再生するためのコンピュータが実行可能な再生プログラムであって、
前記コンピュータに、
前記多重化ストリームから前記第１のビットストリームを分離して前記２次元画像を再生する処理と、
前記多重化ストリームから前記第２のビットストリームを分離して前記２次元画像の奥行きに関する情報を再生する処理と、
前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する処理と、
をそれぞれ実行させることを特徴とする再生プログラム。
【請求項５】
所定の規格にフォーマット化された記録媒体に記録されており、２次元画像を前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより圧縮符号化して成るビデオストリームと、このビデオストリームにおける前記圧縮符号化フォーマットにおいて設定される任意使用領域に格納された前記２次元画像の奥行きに関する情報とが多重化されて構成された多重化ストリームを再生するためのコンピュータが実行可能な再生プログラムであって、
前記コンピュータに、
前記多重化ストリームから前記ビットストリームを分離して前記２次元画像を再生する処理と、
前記分離したビットストリームにおける前記任意使用領域に格納された前記２次元画像の奥行きに関する情報を再生する処理と、
前記再生した２次元画像および当該２次元画像の奥行きに関する情報に基づいて３次元画像を生成する処理と、
をそれぞれ実行させることを特徴とする再生プログラム。
【請求項６】
前記２次元画像は、２次元映像を構成する複数のフレーム画像であり、前記奥行き情報は、前記２次元映像を構成する各フレーム画像における前記所定単位としての画素毎の画素値であり、
前記２次元映像を構成する各フレーム画像における前記画素毎の奥行き情報を表す画素値は、前記記録媒体のフォーマットに準拠する圧縮符号化フォーマットにより各フレーム画像内において差分符号化する第１の圧縮符号化処理、ランレングス符号化する第２の圧縮符号化処理、前記各フレーム画像と該各フレーム画像の時間軸上における未来および過去の内の少なくとも一方のフレーム画像とから予測符号化する第３の圧縮符号化処理、および前記各フレーム画像内の直交変換を用いて符号化する第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化されて前記記録媒体に記録されており、
前記奥行きに関する情報を再生する処理は、前記第１〜第４の圧縮符号化処理の内の少なくとも何れか１つの圧縮符号化処理により圧縮符号化処理された前記各フレーム画像の前記画素毎の奥行き情報を表す画素値を、その少なくとも何れか１つの圧縮符号化処理に対応する復号化処理により復号化して前記２次元画像の奥行きに関する情報を再生する処理を含むことを特徴とする請求項４または５記載の再生プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２００６−１９１３５７（Ｐ２００６−１９１３５７Ａ）
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願番号】特願２００５−１３６５（Ｐ２００５−１３６５）
【出願日】平成１７年１月６日（２００５．１．６）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願日】平成１７年１月６日（２００５．１．６）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]