データ構造、記録装置および記録方法、再生装置および再生方法、並びにプログラム
【課題】製作者の意図した３Ｄ画像を視聴者に提供する。
【解決手段】ビデオエンコーダ１１は、３Ｄビデオデータを符号化し、オーディオエンコーダ１２は、３Ｄビデオデータに対応するオーディオデータを符号化する。多重化部１３は、符号化の結果得られるビデオストリームとオーディオストリームを多重化する。記録制御部１４は、多重化の結果得られる多重化ストリームと、３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報を記録媒体２０に記録させる。本発明は、例えば、３Ｄビデオデータを記録する記録装置に適用することができる。
【解決手段】ビデオエンコーダ１１は、３Ｄビデオデータを符号化し、オーディオエンコーダ１２は、３Ｄビデオデータに対応するオーディオデータを符号化する。多重化部１３は、符号化の結果得られるビデオストリームとオーディオストリームを多重化する。記録制御部１４は、多重化の結果得られる多重化ストリームと、３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報を記録媒体２０に記録させる。本発明は、例えば、３Ｄビデオデータを記録する記録装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ構造、記録装置および記録方法、再生装置および再生方法、並びにプログラムに関し、特に、視聴環境によらず、製作者の意図した３Ｄ画像を視聴者に提供することができるようにしたデータ構造、記録装置および記録方法、再生装置および再生方法、並びにプログラムに関する。
【背景技術】
【０００２】
映画等のコンテンツとしては２Ｄ画像が主流であるが、最近では、３Ｄ画像が注目を集めている。
【０００３】
このような３Ｄ画像を再生する再生装置は、所定の視差量を有する左目用の画像と右目用の画像を再生して表示することにより、視聴者に３Ｄ画像を提供する（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３２７４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、左目用の画像と右目用の画像の視差の量、即ち３Ｄ画像の画面に垂直な奥行き方向の距離は、製作者によって、想定している視聴環境で最適になるように決められている。従って、製作者が想定している視聴環境と実際の視聴環境が著しく異なる場合、再生装置が３Ｄ画像を再生してそのまま表示すると、視聴者の疲労、心身不調等を招く恐れがある。また、視聴者に書割的や箱庭的な印象を与えてしまうことがある。
【０００６】
例えば、図１に示すように、大画面を遠い場所から視聴する映画館のような視聴環境（以下、シアタ環境という）を想定して製作された３Ｄ画像（以下、シアタ向け画像という）が、比較的小画面を近い場所から視聴するリビングルームのような視聴環境（以下、リビング環境という）で視聴される場合、ただ単にシアタ向け画像に対して画面サイズに応じたサイズ変換が施されると、リビング環境で視聴されるシアタ向け画像の奥行き方向の位置は、シアタ環境で視聴されるシアタ向け画像の奥行き方向の位置と異なる。
【０００７】
従って、リビング環境で視聴する視聴者は、製作者の意図した自然な立体感を得られず、疲労、心身不調等を感じたり、書割的や箱庭的な印象を受けたりすることがある。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、視聴環境によらず、製作者の意図した３Ｄ画像を視聴者に提供することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面のデータ構造は、３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とが記述されているデータ構造である。
【００１０】
本発明の第１の側面においては、３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とが記述されている。
【００１１】
本発明の第２の側面の記録装置は、３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報を記録媒体に記録させる記録制御手段を備える記録装置である。
【００１２】
本発明の第２の側面の記録方法およびプログラムは、本発明の第２の側面の記録装置に対応する。
【００１３】
本発明の第２の側面においては、３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報が記録媒体に記録される。
【００１４】
本発明の第３の側面の再生装置は、３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とを記録する記録媒体から前記画像データと前記視聴環境情報を読み出す読出手段と、前記視聴環境情報と現在の視聴環境を表す情報とに基づいて、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像を視聴者に提供する提供手段とを備える再生装置である。
【００１５】
本発明の第３の側面の再生方法およびプログラムは、本発明の第３の側面の画像再生装置に対応する。
【００１６】
本発明の第３の側面においては、３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とを記録する記録媒体から前記画像データと前記視聴環境情報が読み出され、前記視聴環境情報と現在の視聴環境を表す情報とに基づいて、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像が視聴者に提供される。
【発明の効果】
【００１７】
本発明の第１および第２の側面によれば、３Ｄ画像の画像データとともに、その３Ｄ画像の視聴環境情報を提供することができる。これにより、３Ｄ画像の再生時に、視聴環境によらず、製作者の意図した３Ｄ画像を視聴者に提供することができる。
【００１８】
また、本発明の第３の側面によれば、視聴環境によらず、製作者の意図した３Ｄ画像を視聴者に提供することができる。
【図面の簡単な説明】
【００１９】
【図１】視聴環境の違いによる３Ｄ画像の変化を説明する図である。
【図２】本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
【図３】視聴環境情報の例を示す図である。
【図４】視聴環境情報の他の例を示す図である。
【図５】記録装置による記録処理を説明するフローチャートである。
【図６】記録媒体に記録されるデータの階層構造を示す図である。
【図７】MPEG4のボックスの拡張領域の例を示す図である。
【図８】MPEG4のボックスの拡張領域の他の例を示す図である。
【図９】MPEG4のボックスの拡張領域のさらに他の例を示す図である。
【図１０】記録媒体を再生する再生装置の構成例を示すブロック図である。
【図１１】再生装置による視聴環境誘導処理を説明するフローチャートである。
【図１２】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００２０】
＜一実施の形態＞
［記録装置の一実施の形態の構成例］
図２は、本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
【００２１】
図２の記録装置１０は、ビデオエンコーダ１１、オーディオエンコーダ１２、多重化部１３、および記録制御部１４により構成される。記録装置１０は、３Ｄ画像のビデオデータ（以下、３Ｄビデオデータという）、そのビデオデータに対応する音声データを符号化して、BDROM（Blu-Ray（登録商標） Disc Read Only Memory）等の記録媒体２０に記録させるとともに、その３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報を記録媒体２０に記録させる。
【００２２】
具体的には、記録装置１０のビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2（Moving Picture Experts Group phase 2），MPEG4，AVC（Advanced Video Coding）等の符号化方式で符号化する。ビデオエンコーダ１１は、符号化の結果得られるES（Elementary Stream）であるビデオストリームを多重化部１３に供給する。
【００２３】
オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるESであるオーディオストリームを多重化部１３に供給する。
【００２４】
多重化部１３は、ビデオエンコーダ１１から供給されるビデオストリームとオーディオエンコーダ１２から供給されるオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
【００２５】
記録制御部１４は、外部から入力される視聴環境情報を定義ファイルとして記録媒体２０に記録させる。このように、視聴環境情報は、定義ファイルとして記録媒体２０に記録されるので、再生装置において記録媒体２０の挿入再生開始時に視聴者に視聴環境情報を提示することができる。
【００２６】
なお、視聴環境情報は、例えば、ビデオデータおよびオーディオデータの製作者が、図示せぬ入力部を操作することにより、入力するものである。また、視聴環境情報は定義ファイルとして記録媒体２０に記録されるのではなく、メニュー画面のファイルとして記録媒体２０に記録されるようにしてもよい。この場合には、視聴環境情報を表す画像や文字がメニュー画面の画像ファイルとして記録されたり、視聴環境情報を表す音声のオーディオデータがメニュー画面の音声ファイルとして記録されたりする。
【００２７】
記録制御部１４はまた、多重化部１３から供給される多重化ストリームを記録媒体２０に記録させる。
【００２８】
[視聴環境情報の例]
図３および図４は、視聴環境情報の例を示す図である。
【００２９】
なお、図３および図４の例では、３Ｄ画像を表示する表示部のアスペクト比は固定であり、３Ｄ画像の製作者によって想定されているアスペクト比と同一であるものとする。
【００３０】
図３に示すように、視聴環境情報は、例えば、スクリーンサイズｒと、視聴者から表示部までの距離である視聴距離ｄにより構成される。なお、ここでは、スクリーンサイズｒは、表示部の表示領域の対角線の長さであるものとするが、表示領域のサイズを表すものであれば、これに限定されない。例えば、表示領域の水平方向（左右方向）および垂直方向（上下方向）の長さであってもよい。
【００３１】
また、図４に示すように、視聴環境情報は、視聴者と表示部の水平方向の端部である左端部または右端部との水平方向の角度θにより構成されるようにしてもよい。
【００３２】
なお、図３および図４では、表示部のアスペクト比は固定であり、３Ｄ画像の製作者によって想定されているアスペクト比と同一であるものとしているので、視聴環境情報にはアスペクト比が含まれていないが、アスペクト比が可変である場合には、表示部のアスペクト比ａも視聴環境情報に含まれる。
【００３３】
また、視聴環境情報には、視聴者と表示部の垂直方向の端部である上端部または下端部との垂直方向の角度θｖも含まれるようにしてもよい。さらに、視聴環境情報には、視聴時の周囲の明るさ、３Ｄ画像を構成する左目用の画像と右目用の画像それぞれを撮像したカメラ間の距離等も含まれるようにしてもよい。
【００３４】
［記録装置の処理の説明］
図５は、図２の記録装置１０による記録処理を説明するフローチャートである。この記録処理は、例えば、視聴環境情報、３Ｄビデオデータ、およびオーディオデータが入力されたとき、開始される。
【００３５】
ステップＳ１０において、記録制御部１４は、外部から入力される視聴環境情報を定義ファイルとして記録媒体２０に記録させる。
【００３６】
ステップＳ１１において、ビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2，MPEG4，AVC等の符号化方式で符号化する。ビデオエンコーダ１１は、符号化の結果得られるビデオストリームを多重化部１３に供給する。
【００３７】
ステップＳ１２において、オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるオーディオストリームを多重化部１３に供給する。
【００３８】
ステップＳ１３において、多重化部１３は、ビデオエンコーダ１１からのビデオストリームとオーディオエンコーダ１２からのオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
【００３９】
ステップＳ１４において、記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録媒体に記録させ、処理を終了する。
【００４０】
[視聴環境情報の他の記録方法の説明]
図６は、記録媒体２０に記録されるデータの階層構造を示す図である。
【００４１】
図６に示すように、記録媒体２０に記録されるデータの階層は、オーディオストリームやビデオストリーム等のＥＳのレイヤＣ、多重化ストリームのシステムレイヤＢ、記録媒体２０に唯一の情報のレイヤＡ等により構成される。
【００４２】
上述した説明では、視聴環境情報がレイヤＡにおいて定義ファイルとして記録されたが、システムレイヤＢやレイヤＣにおいて記録されるようにしてもよい。
【００４３】
例えば、レイヤＣにおいて視聴環境情報が記録される場合、符号化方式がAVCであれば、視聴環境情報は、SEI（Supplemental Enhancement Information）として、または、SPS（Sequence Parameter Set）やPPS（Picture Parameter Set）の一部として記録される。また、符号化方式がMPEG2であれば、ビデオシーケンス（Video Sequence）やエクステンションアンドユーザデータ（extension_and_user_data）として記録される。
【００４４】
この場合、１つのビデオストリームにおいて視聴環境情報を可変にすることができる。その結果、１つの記録媒体２０に異なる視聴環境が想定されている３Ｄ画像のビデオストリームが記録されている場合であっても、各視聴環境情報を再生装置に提供することができる。
【００４５】
また、レイヤＢにおいて視聴環境情報が記録される場合、視聴環境情報は、TS（Transport Stream）のプライベートパケット、PS（Program Stream）のプライベートパック、MPEG4のコンフィグレーション（Config）情報に含まれるボックス（Box）の拡張領域等に記録される。
【００４６】
視聴環境情報が記録されるMPEG4のボックスの拡張領域は、例えば、図７に示すように、ファイルの先頭に位置するftypボックスの直後のPrivate Extension ボックス(図７中uuid）に設けられる。この場合、再生装置は、復号処理の前に視聴環境情報を取得することができるが、視聴環境情報はファイル内で不変となる。
【００４７】
なお、Private Extension ボックスには、視聴環境情報のほか、コーデックの種類、ビットレート、フレームサイズ、アスペクト比、画像が２Ｄ画像であるか３Ｄ画像であるかを示す情報等が記述される。
【００４８】
また、視聴環境情報が記録されるMPEG4のボックスの拡張領域は、図８に示すように、moovボックス内のトラック情報（trak）の領域（図８中stsd）に設けられるようにしてもよい。この場合、ビデオストリームに参照先の視聴環境情報の領域を表す情報が含まれており、再生装置は、その情報に基づいて、視聴環境情報を取得する。従って、この場合、ビデオストリーム内で視聴環境情報を可変にすることができる。但し、図７の場合に比べてアクセス性は悪い。
【００４９】
さらに、視聴環境情報が記録されるMPEG4のボックスの拡張領域は、図９に示すように、mdatボックス内に設けられるようにしてもよい。即ち、視聴環境情報が１つのメディアストリームとして記録されるようにしてもよい。この場合、ビデオストリームと視聴環境情報は、時間情報で同期するため、視聴環境情報を時々刻々と変化させることができる。
【００５０】
なお、図７乃至図９の例では、ftypボックスの後に、moov ボックス、mdat ボックスが順に配置されているが、moov ボックスとmdat ボックスの配置はこれに限定されない。
【００５１】
[再生装置の構成例]
図１０は、図２の記録装置１０によって記録された記録媒体２０を再生する再生装置の構成例を示すブロック図である。
【００５２】
図１０の再生装置５０は、読出部５１、調整部５２、分離部５３、ビデオデコーダ５４、およびオーディオデコーダ５５により構成される。再生装置５０は、記録媒体2
０に記録されている視聴環境情報に基づいて、現在の視聴環境が、製作者が想定した視聴環境となるように視聴者を誘導する誘導情報を表示させる。
【００５３】
具体的には、再生装置５０の読出部５１は、記録媒体２０に記録されている視聴環境情報を読み出し、調整部５２に供給する。また、読出部５１は、記録媒体２０に記録されている多重化ストリームを読み出し、分離部５３に供給する。
【００５４】
調整部５２（提供手段）は、読出部５１から供給される視聴環境情報と、外部から入力される現在の視聴環境を表す情報とに基づいて、視聴環境情報が表す視聴環境で視聴可能な多重化ストリームに対応する３Ｄ画像に近似する３Ｄ画像を視聴者に提供する。
【００５５】
具体的には、調整部５２は、視聴環境情報と、外部から現在の視聴環境を表す情報として入力される表示部６１のスクリーンサイズｒ´とに基づいて、誘導情報を生成する。
【００５６】
例えば、調整部５２は、表示部６１に表示される３Ｄ画像を視聴する視聴者が、製作者が想定した視聴環境で視聴するために必要な視聴距離ｄ´を、式ｄ´＝（ｒ´／ｒ）×ｄを演算することにより求める。そして、調整部５２は、「表示部６１から視聴距離ｄ´離れてご覧下さい」といったメッセージを誘導情報として生成する。
【００５７】
そして、調整部５２は、誘導情報を表示部６１に供給して表示させる。これにより、視聴者の視聴環境が、製作者が想定した視聴環境に変更され、視聴者は、製作者が想定した視聴環境で視聴可能な３Ｄ画像を見ることができる。
【００５８】
なお、スクリーンサイズｒ´は、例えば表示部６１からHDMI（High-Definition Multimedia Interface）を介して入力されてもよいし、視聴者の図示せぬ入力部の操作により入力されてもよい。
【００５９】
分離部５３は、読出部５１から供給される多重化ストリームをビデオストリームとオーディオストリームに分離する。そして、分離部５３は、ビデオストリームをビデオデコーダ５４に供給し、オーディオストリームをオーディオデコーダ５５に供給する。
【００６０】
ビデオデコーダ５４は、分離部５３から供給されるビデオストリームを、図２のビデオエンコーダ１１における符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータを表示部６１に供給する。
【００６１】
オーディオデコーダ５５は、分離部５３から供給されるオーディオストリームを、図２のオーディオエンコーダ１２における符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。
【００６２】
表示部６１は、調整部５２から供給される誘導情報を表示する。また、表示部６１は、ビデオデコーダ５４から供給されるビデオデータに対応する左目用の画像と右目用の画像を、例えば時分割で表示する。このとき、視聴者は、例えば、左目用の画像と右目用の画像の切り替えに同期したシャッタ付き眼鏡を装着し、左目用の画像を左目だけで見て、右目用の画像を右目だけで見る。これにより、視聴者は、３Ｄ画像を見ることができる。
【００６３】
スピーカ６２は、オーディオデコーダ５５から供給されるオーディオデータに対応する音声を出力する。
【００６４】
[再生装置の処理の説明]
図１１は、図１０の再生装置５０による視聴環境誘導処理を説明するフローチャートである。この視聴環境誘導処理は、例えば、記録媒体２０に記録されている多重化ストリームの再生が視聴者により指示されたとき開始される。
【００６５】
ステップＳ３１において、読出部５１は、記録媒体２０から視聴環境情報を読み出し、調整部５２に供給する。
【００６６】
ステップＳ３２において、調整部５２は、外部から表示部６１のスクリーンサイズｒ´を取得する。
【００６７】
ステップＳ３３において、調整部５２は、読出部５１から供給される視聴環境情報と、外部から入力される表示部６１のスクリーンサイズｒ´とに基づいて、誘導情報を生成し、表示部６１に供給して表示させる。そして処理は終了する。
【００６８】
なお、上述した説明では、再生装置５０にスクリーンサイズｒ´が入力されるものとしたが、スクリーンサイズｒ´が入力されない場合には、調整部５２は、視聴環境情報を誘導情報としてそのまま表示部６１に表示する。
【００６９】
また、外部に設けられた図示せぬ測定装置により現在の視聴距離が測定され、現在の視聴環境を表す情報としてスクリーンサイズｒ´と視聴距離ｄ´が入力される場合には、調整部５２は、視聴距離ｄと視聴距離ｄ´の差分に基づいて、その差分だけ前または後ろに移動して御覧下さいといったメッセージを誘導情報として生成するようにしてもよい。
【００７０】
さらに、調整部５２は、視聴環境情報と現在の視聴環境を表す情報に基づいて３Ｄビデオデータに対して所定の画像処理を施し、視聴環境情報が表す視聴環境で視聴可能な３Ｄビデオデータに対応する３Ｄ画像に近似する３Ｄ画像のデータ（以下、近似データという）を生成して、その近似データに基づく３Ｄ画像を表示部６１に表示させるようにしてもよい。
【００７１】
この場合、調整部５２は、例えば、視聴環境情報と現在の視聴環境を表す情報に基づいて、３Ｄビデオデータの画像サイズを拡大または縮小したり、３Ｄビデオデータの視差を調整したりすることにより、近似データを生成する。
【００７２】
また、調整部５２は、視聴環境情報と現在の視聴環境を表す情報に基づいて、視聴者が装着するズームイン機能およびズームアウト機能を有する眼鏡の拡大率または縮小率を制御することにより、視聴環境情報が表す視聴環境で視聴可能な３Ｄ画像に近似する３Ｄ画像を視聴者に提供するようにしてもよい。
【００７３】
以上のように、記録媒体２０には多重化ストリームと視聴環境情報が記述されているので、記録媒体２０を再生する再生装置において、その視聴環境情報に基づいて、多重化ストリームの製作者が想定した視聴環境に現在の視聴環境がなるように視聴者を誘導したり、製作者が想定した視聴環境で視聴可能な３Ｄ画像に近似した３Ｄ画像を視聴者が視聴できるように３Ｄビデオデータを補正したりすることができる。これにより、再生装置では、視聴環境によらず、製作者の意図した３Ｄ画像を視聴者に提供することができる。その結果、視聴者は、製作者の意図した自然な立体感を得ることができる。従って、視聴者の疲労、心身不調等を軽減したり、書割的や箱庭的な印象を軽減することができる。
【００７４】
[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【００７５】
そこで、図１２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【００７６】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【００７７】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【００７８】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【００７９】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【００８０】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【００８１】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【００８２】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【００８３】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【００８４】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００８５】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００８６】
１０ 記録装置， １４ 記録制御部， ５０ 再生装置， ５１ 読出部， ５２ 調整部
【技術分野】
【０００１】
本発明は、データ構造、記録装置および記録方法、再生装置および再生方法、並びにプログラムに関し、特に、視聴環境によらず、製作者の意図した３Ｄ画像を視聴者に提供することができるようにしたデータ構造、記録装置および記録方法、再生装置および再生方法、並びにプログラムに関する。
【背景技術】
【０００２】
映画等のコンテンツとしては２Ｄ画像が主流であるが、最近では、３Ｄ画像が注目を集めている。
【０００３】
このような３Ｄ画像を再生する再生装置は、所定の視差量を有する左目用の画像と右目用の画像を再生して表示することにより、視聴者に３Ｄ画像を提供する（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３２７４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、左目用の画像と右目用の画像の視差の量、即ち３Ｄ画像の画面に垂直な奥行き方向の距離は、製作者によって、想定している視聴環境で最適になるように決められている。従って、製作者が想定している視聴環境と実際の視聴環境が著しく異なる場合、再生装置が３Ｄ画像を再生してそのまま表示すると、視聴者の疲労、心身不調等を招く恐れがある。また、視聴者に書割的や箱庭的な印象を与えてしまうことがある。
【０００６】
例えば、図１に示すように、大画面を遠い場所から視聴する映画館のような視聴環境（以下、シアタ環境という）を想定して製作された３Ｄ画像（以下、シアタ向け画像という）が、比較的小画面を近い場所から視聴するリビングルームのような視聴環境（以下、リビング環境という）で視聴される場合、ただ単にシアタ向け画像に対して画面サイズに応じたサイズ変換が施されると、リビング環境で視聴されるシアタ向け画像の奥行き方向の位置は、シアタ環境で視聴されるシアタ向け画像の奥行き方向の位置と異なる。
【０００７】
従って、リビング環境で視聴する視聴者は、製作者の意図した自然な立体感を得られず、疲労、心身不調等を感じたり、書割的や箱庭的な印象を受けたりすることがある。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、視聴環境によらず、製作者の意図した３Ｄ画像を視聴者に提供することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面のデータ構造は、３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とが記述されているデータ構造である。
【００１０】
本発明の第１の側面においては、３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とが記述されている。
【００１１】
本発明の第２の側面の記録装置は、３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報を記録媒体に記録させる記録制御手段を備える記録装置である。
【００１２】
本発明の第２の側面の記録方法およびプログラムは、本発明の第２の側面の記録装置に対応する。
【００１３】
本発明の第２の側面においては、３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報が記録媒体に記録される。
【００１４】
本発明の第３の側面の再生装置は、３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とを記録する記録媒体から前記画像データと前記視聴環境情報を読み出す読出手段と、前記視聴環境情報と現在の視聴環境を表す情報とに基づいて、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像を視聴者に提供する提供手段とを備える再生装置である。
【００１５】
本発明の第３の側面の再生方法およびプログラムは、本発明の第３の側面の画像再生装置に対応する。
【００１６】
本発明の第３の側面においては、３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とを記録する記録媒体から前記画像データと前記視聴環境情報が読み出され、前記視聴環境情報と現在の視聴環境を表す情報とに基づいて、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像が視聴者に提供される。
【発明の効果】
【００１７】
本発明の第１および第２の側面によれば、３Ｄ画像の画像データとともに、その３Ｄ画像の視聴環境情報を提供することができる。これにより、３Ｄ画像の再生時に、視聴環境によらず、製作者の意図した３Ｄ画像を視聴者に提供することができる。
【００１８】
また、本発明の第３の側面によれば、視聴環境によらず、製作者の意図した３Ｄ画像を視聴者に提供することができる。
【図面の簡単な説明】
【００１９】
【図１】視聴環境の違いによる３Ｄ画像の変化を説明する図である。
【図２】本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
【図３】視聴環境情報の例を示す図である。
【図４】視聴環境情報の他の例を示す図である。
【図５】記録装置による記録処理を説明するフローチャートである。
【図６】記録媒体に記録されるデータの階層構造を示す図である。
【図７】MPEG4のボックスの拡張領域の例を示す図である。
【図８】MPEG4のボックスの拡張領域の他の例を示す図である。
【図９】MPEG4のボックスの拡張領域のさらに他の例を示す図である。
【図１０】記録媒体を再生する再生装置の構成例を示すブロック図である。
【図１１】再生装置による視聴環境誘導処理を説明するフローチャートである。
【図１２】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００２０】
＜一実施の形態＞
［記録装置の一実施の形態の構成例］
図２は、本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
【００２１】
図２の記録装置１０は、ビデオエンコーダ１１、オーディオエンコーダ１２、多重化部１３、および記録制御部１４により構成される。記録装置１０は、３Ｄ画像のビデオデータ（以下、３Ｄビデオデータという）、そのビデオデータに対応する音声データを符号化して、BDROM（Blu-Ray（登録商標） Disc Read Only Memory）等の記録媒体２０に記録させるとともに、その３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報を記録媒体２０に記録させる。
【００２２】
具体的には、記録装置１０のビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2（Moving Picture Experts Group phase 2），MPEG4，AVC（Advanced Video Coding）等の符号化方式で符号化する。ビデオエンコーダ１１は、符号化の結果得られるES（Elementary Stream）であるビデオストリームを多重化部１３に供給する。
【００２３】
オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるESであるオーディオストリームを多重化部１３に供給する。
【００２４】
多重化部１３は、ビデオエンコーダ１１から供給されるビデオストリームとオーディオエンコーダ１２から供給されるオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
【００２５】
記録制御部１４は、外部から入力される視聴環境情報を定義ファイルとして記録媒体２０に記録させる。このように、視聴環境情報は、定義ファイルとして記録媒体２０に記録されるので、再生装置において記録媒体２０の挿入再生開始時に視聴者に視聴環境情報を提示することができる。
【００２６】
なお、視聴環境情報は、例えば、ビデオデータおよびオーディオデータの製作者が、図示せぬ入力部を操作することにより、入力するものである。また、視聴環境情報は定義ファイルとして記録媒体２０に記録されるのではなく、メニュー画面のファイルとして記録媒体２０に記録されるようにしてもよい。この場合には、視聴環境情報を表す画像や文字がメニュー画面の画像ファイルとして記録されたり、視聴環境情報を表す音声のオーディオデータがメニュー画面の音声ファイルとして記録されたりする。
【００２７】
記録制御部１４はまた、多重化部１３から供給される多重化ストリームを記録媒体２０に記録させる。
【００２８】
[視聴環境情報の例]
図３および図４は、視聴環境情報の例を示す図である。
【００２９】
なお、図３および図４の例では、３Ｄ画像を表示する表示部のアスペクト比は固定であり、３Ｄ画像の製作者によって想定されているアスペクト比と同一であるものとする。
【００３０】
図３に示すように、視聴環境情報は、例えば、スクリーンサイズｒと、視聴者から表示部までの距離である視聴距離ｄにより構成される。なお、ここでは、スクリーンサイズｒは、表示部の表示領域の対角線の長さであるものとするが、表示領域のサイズを表すものであれば、これに限定されない。例えば、表示領域の水平方向（左右方向）および垂直方向（上下方向）の長さであってもよい。
【００３１】
また、図４に示すように、視聴環境情報は、視聴者と表示部の水平方向の端部である左端部または右端部との水平方向の角度θにより構成されるようにしてもよい。
【００３２】
なお、図３および図４では、表示部のアスペクト比は固定であり、３Ｄ画像の製作者によって想定されているアスペクト比と同一であるものとしているので、視聴環境情報にはアスペクト比が含まれていないが、アスペクト比が可変である場合には、表示部のアスペクト比ａも視聴環境情報に含まれる。
【００３３】
また、視聴環境情報には、視聴者と表示部の垂直方向の端部である上端部または下端部との垂直方向の角度θｖも含まれるようにしてもよい。さらに、視聴環境情報には、視聴時の周囲の明るさ、３Ｄ画像を構成する左目用の画像と右目用の画像それぞれを撮像したカメラ間の距離等も含まれるようにしてもよい。
【００３４】
［記録装置の処理の説明］
図５は、図２の記録装置１０による記録処理を説明するフローチャートである。この記録処理は、例えば、視聴環境情報、３Ｄビデオデータ、およびオーディオデータが入力されたとき、開始される。
【００３５】
ステップＳ１０において、記録制御部１４は、外部から入力される視聴環境情報を定義ファイルとして記録媒体２０に記録させる。
【００３６】
ステップＳ１１において、ビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2，MPEG4，AVC等の符号化方式で符号化する。ビデオエンコーダ１１は、符号化の結果得られるビデオストリームを多重化部１３に供給する。
【００３７】
ステップＳ１２において、オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるオーディオストリームを多重化部１３に供給する。
【００３８】
ステップＳ１３において、多重化部１３は、ビデオエンコーダ１１からのビデオストリームとオーディオエンコーダ１２からのオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
【００３９】
ステップＳ１４において、記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録媒体に記録させ、処理を終了する。
【００４０】
[視聴環境情報の他の記録方法の説明]
図６は、記録媒体２０に記録されるデータの階層構造を示す図である。
【００４１】
図６に示すように、記録媒体２０に記録されるデータの階層は、オーディオストリームやビデオストリーム等のＥＳのレイヤＣ、多重化ストリームのシステムレイヤＢ、記録媒体２０に唯一の情報のレイヤＡ等により構成される。
【００４２】
上述した説明では、視聴環境情報がレイヤＡにおいて定義ファイルとして記録されたが、システムレイヤＢやレイヤＣにおいて記録されるようにしてもよい。
【００４３】
例えば、レイヤＣにおいて視聴環境情報が記録される場合、符号化方式がAVCであれば、視聴環境情報は、SEI（Supplemental Enhancement Information）として、または、SPS（Sequence Parameter Set）やPPS（Picture Parameter Set）の一部として記録される。また、符号化方式がMPEG2であれば、ビデオシーケンス（Video Sequence）やエクステンションアンドユーザデータ（extension_and_user_data）として記録される。
【００４４】
この場合、１つのビデオストリームにおいて視聴環境情報を可変にすることができる。その結果、１つの記録媒体２０に異なる視聴環境が想定されている３Ｄ画像のビデオストリームが記録されている場合であっても、各視聴環境情報を再生装置に提供することができる。
【００４５】
また、レイヤＢにおいて視聴環境情報が記録される場合、視聴環境情報は、TS（Transport Stream）のプライベートパケット、PS（Program Stream）のプライベートパック、MPEG4のコンフィグレーション（Config）情報に含まれるボックス（Box）の拡張領域等に記録される。
【００４６】
視聴環境情報が記録されるMPEG4のボックスの拡張領域は、例えば、図７に示すように、ファイルの先頭に位置するftypボックスの直後のPrivate Extension ボックス(図７中uuid）に設けられる。この場合、再生装置は、復号処理の前に視聴環境情報を取得することができるが、視聴環境情報はファイル内で不変となる。
【００４７】
なお、Private Extension ボックスには、視聴環境情報のほか、コーデックの種類、ビットレート、フレームサイズ、アスペクト比、画像が２Ｄ画像であるか３Ｄ画像であるかを示す情報等が記述される。
【００４８】
また、視聴環境情報が記録されるMPEG4のボックスの拡張領域は、図８に示すように、moovボックス内のトラック情報（trak）の領域（図８中stsd）に設けられるようにしてもよい。この場合、ビデオストリームに参照先の視聴環境情報の領域を表す情報が含まれており、再生装置は、その情報に基づいて、視聴環境情報を取得する。従って、この場合、ビデオストリーム内で視聴環境情報を可変にすることができる。但し、図７の場合に比べてアクセス性は悪い。
【００４９】
さらに、視聴環境情報が記録されるMPEG4のボックスの拡張領域は、図９に示すように、mdatボックス内に設けられるようにしてもよい。即ち、視聴環境情報が１つのメディアストリームとして記録されるようにしてもよい。この場合、ビデオストリームと視聴環境情報は、時間情報で同期するため、視聴環境情報を時々刻々と変化させることができる。
【００５０】
なお、図７乃至図９の例では、ftypボックスの後に、moov ボックス、mdat ボックスが順に配置されているが、moov ボックスとmdat ボックスの配置はこれに限定されない。
【００５１】
[再生装置の構成例]
図１０は、図２の記録装置１０によって記録された記録媒体２０を再生する再生装置の構成例を示すブロック図である。
【００５２】
図１０の再生装置５０は、読出部５１、調整部５２、分離部５３、ビデオデコーダ５４、およびオーディオデコーダ５５により構成される。再生装置５０は、記録媒体2
０に記録されている視聴環境情報に基づいて、現在の視聴環境が、製作者が想定した視聴環境となるように視聴者を誘導する誘導情報を表示させる。
【００５３】
具体的には、再生装置５０の読出部５１は、記録媒体２０に記録されている視聴環境情報を読み出し、調整部５２に供給する。また、読出部５１は、記録媒体２０に記録されている多重化ストリームを読み出し、分離部５３に供給する。
【００５４】
調整部５２（提供手段）は、読出部５１から供給される視聴環境情報と、外部から入力される現在の視聴環境を表す情報とに基づいて、視聴環境情報が表す視聴環境で視聴可能な多重化ストリームに対応する３Ｄ画像に近似する３Ｄ画像を視聴者に提供する。
【００５５】
具体的には、調整部５２は、視聴環境情報と、外部から現在の視聴環境を表す情報として入力される表示部６１のスクリーンサイズｒ´とに基づいて、誘導情報を生成する。
【００５６】
例えば、調整部５２は、表示部６１に表示される３Ｄ画像を視聴する視聴者が、製作者が想定した視聴環境で視聴するために必要な視聴距離ｄ´を、式ｄ´＝（ｒ´／ｒ）×ｄを演算することにより求める。そして、調整部５２は、「表示部６１から視聴距離ｄ´離れてご覧下さい」といったメッセージを誘導情報として生成する。
【００５７】
そして、調整部５２は、誘導情報を表示部６１に供給して表示させる。これにより、視聴者の視聴環境が、製作者が想定した視聴環境に変更され、視聴者は、製作者が想定した視聴環境で視聴可能な３Ｄ画像を見ることができる。
【００５８】
なお、スクリーンサイズｒ´は、例えば表示部６１からHDMI（High-Definition Multimedia Interface）を介して入力されてもよいし、視聴者の図示せぬ入力部の操作により入力されてもよい。
【００５９】
分離部５３は、読出部５１から供給される多重化ストリームをビデオストリームとオーディオストリームに分離する。そして、分離部５３は、ビデオストリームをビデオデコーダ５４に供給し、オーディオストリームをオーディオデコーダ５５に供給する。
【００６０】
ビデオデコーダ５４は、分離部５３から供給されるビデオストリームを、図２のビデオエンコーダ１１における符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータを表示部６１に供給する。
【００６１】
オーディオデコーダ５５は、分離部５３から供給されるオーディオストリームを、図２のオーディオエンコーダ１２における符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。
【００６２】
表示部６１は、調整部５２から供給される誘導情報を表示する。また、表示部６１は、ビデオデコーダ５４から供給されるビデオデータに対応する左目用の画像と右目用の画像を、例えば時分割で表示する。このとき、視聴者は、例えば、左目用の画像と右目用の画像の切り替えに同期したシャッタ付き眼鏡を装着し、左目用の画像を左目だけで見て、右目用の画像を右目だけで見る。これにより、視聴者は、３Ｄ画像を見ることができる。
【００６３】
スピーカ６２は、オーディオデコーダ５５から供給されるオーディオデータに対応する音声を出力する。
【００６４】
[再生装置の処理の説明]
図１１は、図１０の再生装置５０による視聴環境誘導処理を説明するフローチャートである。この視聴環境誘導処理は、例えば、記録媒体２０に記録されている多重化ストリームの再生が視聴者により指示されたとき開始される。
【００６５】
ステップＳ３１において、読出部５１は、記録媒体２０から視聴環境情報を読み出し、調整部５２に供給する。
【００６６】
ステップＳ３２において、調整部５２は、外部から表示部６１のスクリーンサイズｒ´を取得する。
【００６７】
ステップＳ３３において、調整部５２は、読出部５１から供給される視聴環境情報と、外部から入力される表示部６１のスクリーンサイズｒ´とに基づいて、誘導情報を生成し、表示部６１に供給して表示させる。そして処理は終了する。
【００６８】
なお、上述した説明では、再生装置５０にスクリーンサイズｒ´が入力されるものとしたが、スクリーンサイズｒ´が入力されない場合には、調整部５２は、視聴環境情報を誘導情報としてそのまま表示部６１に表示する。
【００６９】
また、外部に設けられた図示せぬ測定装置により現在の視聴距離が測定され、現在の視聴環境を表す情報としてスクリーンサイズｒ´と視聴距離ｄ´が入力される場合には、調整部５２は、視聴距離ｄと視聴距離ｄ´の差分に基づいて、その差分だけ前または後ろに移動して御覧下さいといったメッセージを誘導情報として生成するようにしてもよい。
【００７０】
さらに、調整部５２は、視聴環境情報と現在の視聴環境を表す情報に基づいて３Ｄビデオデータに対して所定の画像処理を施し、視聴環境情報が表す視聴環境で視聴可能な３Ｄビデオデータに対応する３Ｄ画像に近似する３Ｄ画像のデータ（以下、近似データという）を生成して、その近似データに基づく３Ｄ画像を表示部６１に表示させるようにしてもよい。
【００７１】
この場合、調整部５２は、例えば、視聴環境情報と現在の視聴環境を表す情報に基づいて、３Ｄビデオデータの画像サイズを拡大または縮小したり、３Ｄビデオデータの視差を調整したりすることにより、近似データを生成する。
【００７２】
また、調整部５２は、視聴環境情報と現在の視聴環境を表す情報に基づいて、視聴者が装着するズームイン機能およびズームアウト機能を有する眼鏡の拡大率または縮小率を制御することにより、視聴環境情報が表す視聴環境で視聴可能な３Ｄ画像に近似する３Ｄ画像を視聴者に提供するようにしてもよい。
【００７３】
以上のように、記録媒体２０には多重化ストリームと視聴環境情報が記述されているので、記録媒体２０を再生する再生装置において、その視聴環境情報に基づいて、多重化ストリームの製作者が想定した視聴環境に現在の視聴環境がなるように視聴者を誘導したり、製作者が想定した視聴環境で視聴可能な３Ｄ画像に近似した３Ｄ画像を視聴者が視聴できるように３Ｄビデオデータを補正したりすることができる。これにより、再生装置では、視聴環境によらず、製作者の意図した３Ｄ画像を視聴者に提供することができる。その結果、視聴者は、製作者の意図した自然な立体感を得ることができる。従って、視聴者の疲労、心身不調等を軽減したり、書割的や箱庭的な印象を軽減することができる。
【００７４】
[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【００７５】
そこで、図１２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【００７６】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【００７７】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【００７８】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【００７９】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【００８０】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【００８１】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【００８２】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【００８３】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【００８４】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００８５】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００８６】
１０ 記録装置， １４ 記録制御部， ５０ 再生装置， ５１ 読出部， ５２ 調整部
【特許請求の範囲】
【請求項１】
３Ｄ画像の画像データと、
前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報と
が記述されているデータ構造。
【請求項２】
前記視聴環境情報は、前記３Ｄ画像を表示する表示部のサイズと、前記表示部から視聴者までの距離である視聴距離とにより構成される
請求項１に記載のデータ構造。
【請求項３】
前記視聴環境情報は、視聴者と前記３Ｄ画像を表示する表示部の水平方向の端部との水平方向の角度により構成される
請求項１に記載のデータ構造。
【請求項４】
３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報を記録媒体に記録させる記録制御手段
を備える記録装置。
【請求項５】
前記視聴環境情報は、前記３Ｄ画像を表示する表示部のサイズと、前記表示部から視聴者までの距離である視聴距離により構成される
請求項４に記載の記録装置。
【請求項６】
前記視聴環境情報は、視聴者と前記３Ｄ画像を表示する表示部の水平方向の端部との水平方向の角度により構成される
請求項４に記載の記録装置。
【請求項７】
記録装置が、
３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報を記録媒体に記録させる記録制御ステップ
を含む記録方法。
【請求項８】
コンピュータに、
３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報を記録媒体に記録させる記録制御ステップ
を含む処理を実行させるためのプログラム。
【請求項９】
３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とを記録する記録媒体から前記画像データと前記視聴環境情報を読み出す読出手段と、
前記視聴環境情報と現在の視聴環境を表す情報とに基づいて、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像を視聴者に提供する提供手段と
を備える再生装置。
【請求項１０】
前記提供手段は、前記視聴環境情報と前記現在の視聴環境を表す情報とに基づいて、前記現在の視聴環境が、前記視聴環境情報が表す視聴環境となるように前記視聴者を誘導する情報を、表示部に表示させることにより、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像を視聴者に提供する
請求項９に記載の再生装置。
【請求項１１】
前記提供手段は、前記視聴環境情報と前記現在の視聴環境を表す情報とに基づいて、前記画像データに対して所定の画像処理を施し、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像のデータを生成して、そのデータに基づく３Ｄ画像を表示部に表示させる
請求項９に記載の再生装置。
【請求項１２】
前記視聴環境情報は、前記３Ｄ画像を表示する表示部のサイズと、前記表示部から視聴者までの距離である視聴距離により構成される
請求項９に記載の再生装置。
【請求項１３】
前記視聴環境情報は、視聴者と前記３Ｄ画像を表示する表示部の水平方向の端部との水平方向の角度により構成される
請求項９に記載の再生装置。
【請求項１４】
再生装置が、
３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とを記録する記録媒体から前記画像データと前記視聴環境情報を読み出す読出ステップと、
前記視聴環境情報と現在の視聴環境を表す情報とに基づいて、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像を視聴者に提供する提供ステップと
を含む再生方法。
【請求項１５】
コンピュータに、
３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とを記録する記録媒体から前記画像データと前記視聴環境情報を読み出す読出ステップと、
前記視聴環境情報と現在の視聴環境を表す情報とに基づいて、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像を視聴者に提供する提供ステップと
を含む処理を実行させるためのプログラム。
【請求項１】
３Ｄ画像の画像データと、
前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報と
が記述されているデータ構造。
【請求項２】
前記視聴環境情報は、前記３Ｄ画像を表示する表示部のサイズと、前記表示部から視聴者までの距離である視聴距離とにより構成される
請求項１に記載のデータ構造。
【請求項３】
前記視聴環境情報は、視聴者と前記３Ｄ画像を表示する表示部の水平方向の端部との水平方向の角度により構成される
請求項１に記載のデータ構造。
【請求項４】
３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報を記録媒体に記録させる記録制御手段
を備える記録装置。
【請求項５】
前記視聴環境情報は、前記３Ｄ画像を表示する表示部のサイズと、前記表示部から視聴者までの距離である視聴距離により構成される
請求項４に記載の記録装置。
【請求項６】
前記視聴環境情報は、視聴者と前記３Ｄ画像を表示する表示部の水平方向の端部との水平方向の角度により構成される
請求項４に記載の記録装置。
【請求項７】
記録装置が、
３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報を記録媒体に記録させる記録制御ステップ
を含む記録方法。
【請求項８】
コンピュータに、
３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報を記録媒体に記録させる記録制御ステップ
を含む処理を実行させるためのプログラム。
【請求項９】
３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とを記録する記録媒体から前記画像データと前記視聴環境情報を読み出す読出手段と、
前記視聴環境情報と現在の視聴環境を表す情報とに基づいて、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像を視聴者に提供する提供手段と
を備える再生装置。
【請求項１０】
前記提供手段は、前記視聴環境情報と前記現在の視聴環境を表す情報とに基づいて、前記現在の視聴環境が、前記視聴環境情報が表す視聴環境となるように前記視聴者を誘導する情報を、表示部に表示させることにより、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像を視聴者に提供する
請求項９に記載の再生装置。
【請求項１１】
前記提供手段は、前記視聴環境情報と前記現在の視聴環境を表す情報とに基づいて、前記画像データに対して所定の画像処理を施し、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像のデータを生成して、そのデータに基づく３Ｄ画像を表示部に表示させる
請求項９に記載の再生装置。
【請求項１２】
前記視聴環境情報は、前記３Ｄ画像を表示する表示部のサイズと、前記表示部から視聴者までの距離である視聴距離により構成される
請求項９に記載の再生装置。
【請求項１３】
前記視聴環境情報は、視聴者と前記３Ｄ画像を表示する表示部の水平方向の端部との水平方向の角度により構成される
請求項９に記載の再生装置。
【請求項１４】
再生装置が、
３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とを記録する記録媒体から前記画像データと前記視聴環境情報を読み出す読出ステップと、
前記視聴環境情報と現在の視聴環境を表す情報とに基づいて、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像を視聴者に提供する提供ステップと
を含む再生方法。
【請求項１５】
コンピュータに、
３Ｄ画像の画像データと、前記３Ｄ画像の視聴環境として想定された環境を表す視聴環境情報とを記録する記録媒体から前記画像データと前記視聴環境情報を読み出す読出ステップと、
前記視聴環境情報と現在の視聴環境を表す情報とに基づいて、前記視聴環境情報が表す視聴環境で視聴可能な前記３Ｄ画像に近似する３Ｄ画像を視聴者に提供する提供ステップと
を含む処理を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１４６８２８（Ｐ２０１１−１４６８２８Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１０−４５４９（Ｐ２０１０−４５４９）
【出願日】平成２２年１月１３日（２０１０．１．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２２年１月１３日（２０１０．１．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]