画像処理装置、画像処理方法、およびプログラム
【課題】実際の視環境と想定した視環境が異なる場合であっても、製作者の意図した３Ｄ画像をユーザが視聴できるようにする。
【解決手段】読出部５１は、３Ｄ画像の画像データとともに、コンテンツ製作者により想定される視環境のパラメータである想定視環境パラメータを取得する。想定視環境パラメータは、補正処理部５４に供給される。操作入力部５５は、ユーザによって入力された３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得し、補正処理部５４に供給する。補正処理部５４は、取得された想定視環境パラメータと実視環境パラメータの差に応じて３Ｄ画像を補正する。本発明は、例えば、取得された３Ｄ画像の画像データを処理する画像処理装置に適用できる。
【解決手段】読出部５１は、３Ｄ画像の画像データとともに、コンテンツ製作者により想定される視環境のパラメータである想定視環境パラメータを取得する。想定視環境パラメータは、補正処理部５４に供給される。操作入力部５５は、ユーザによって入力された３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得し、補正処理部５４に供給する。補正処理部５４は、取得された想定視環境パラメータと実視環境パラメータの差に応じて３Ｄ画像を補正する。本発明は、例えば、取得された３Ｄ画像の画像データを処理する画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、実際の視環境と想定した視環境が異なる場合であっても、製作者の意図した３Ｄ画像をユーザが視聴できるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
映像コンテンツとしては２Ｄ画像が主流であるが、最近では、３Ｄ画像が注目を集めており、３Ｄ画像の表示装置や、３Ｄ画像の符号化と復号の方法について様々な技術が提案されている（例えば、特許文献１，２参照）。
【０００３】
３Ｄ画像は、左目で視認する左目用画像と右目で視認する右目用画像により構成され、左目用画像と右目用画像に所定の視差が設定されていることにより、視聴者が画像を立体的に知覚することができるものである。
【０００４】
ここで、コンテンツの制作者は、３Ｄ画像を作成する場合、視距離、両眼視差、ディスプレイサイズなどの、ユーザの視聴環境（以下、視環境ともいう。）を予め想定し、視差量を設定している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−３２７４３０号公報
【特許文献２】特開２００８−１８２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ユーザの実際の視環境は製作者が想定した視環境とは異なる場合が多い。実際の視環境と想定した視環境が異なる場合には、３Ｄ画像の奥行きが変化してしまう。具体的には、画像の飛び出し量が大きすぎたり、小さすぎたりする。即ち、画像が製作者の想定より飛び出しすぎたり、引っ込みすぎたりする。また例えば、立方体が直方体に見えたりするなど、「奥行き」と「画面上の平面的な大きさ」の比が変わって立体的に歪む場合もある。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、実際の視環境と想定した視環境が異なる場合であっても、製作者の意図した３Ｄ画像をユーザが視聴できるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の第１の側面の画像処理装置は、３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータを取得する第１の取得手段と、前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得する第２の取得手段と、取得された前記想定視環境パラメータと前記実視環境パラメータの差に応じて前記３Ｄ画像を補正する補正処理手段とを備える。
【０００９】
本発明の第１の側面の画像処理方法は、データを取得する第１および第２の取得手段と、３Ｄ画像を補正する補正処理手段とを備える画像処理装置の、前記第１の取得手段が、前記３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータを取得し、前記第２の取得手段が、前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得し、前記補正処理手段が、取得された前記想定視環境パラメータと前記実視環境パラメータの差に応じて前記３Ｄ画像を補正するステップを含む。
【００１０】
本発明の第１の側面のプログラムは、コンピュータに、３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータを取得させ、前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得させ、取得された前記想定視環境パラメータと前記実視環境パラメータの差に応じて前記３Ｄ画像を補正するステップを含む処理を実行させるためのものである。
【００１１】
本発明の第１の側面においては、３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータが取得され、３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータが取得され、取得された想定視環境パラメータと実視環境パラメータの差に応じて３Ｄ画像が補正される。
【００１２】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１３】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１４】
本発明の第１乃至第４の側面によれば、実際の視環境と想定した視環境が異なる場合であっても、製作者の意図した３Ｄ画像をユーザが視聴できる。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の記録装置による記録処理を説明するフローチャートである
【図３】記録媒体に記録されるデータの階層構造を示す図である。
【図４】MPEG4のボックスの拡張領域の例を示す図である。
【図５】MPEG4のボックスの拡張領域の他の例を示す図である。
【図６】MPEG4のボックスの拡張領域のさらに他の例を示す図である。
【図７】本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【図８】図７の再生装置による再生処理を説明するフローチャートである。
【図９】補正処理部の第１の構成例を示すブロック図である。
【図１０】仮想カメラ間隔画像の生成を説明する図である。
【図１１】カメラ間隔を変更した場合の視差量の変化を示す図である。
【図１２】スケーリング前後の左目用画像と右目用画像を示す図である。
【図１３】スケーリング量を変更した場合の視差量の変化を示す図である。
【図１４】各視環境パラメータと奥行きの関係を決定するのに必要な変数を説明する図である。
【図１５】各視環境パラメータが変化したときの元の奥行きＺと変化後の奥行きＺａ，Ｚｂ，Ｚｃの関係を表す図である。
【図１６】視距離が変化したときの補正量を説明する図である。
【図１７】視距離が変化したときの補正量を説明する図である。
【図１８】第１の補正処理の内容をまとめた図である。
【図１９】補正処理部の第１の構成による補正処理を説明するフローチャートである。
【図２０】補正処理部の第２の構成が行う補正処理について説明する図である。
【図２１】補正処理部の第２の構成が行う補正処理について説明する図である。
【図２２】補正処理部の第２の構成が行う補正処理について説明する図である。
【図２３】補正処理部の第２の構成例を示すブロック図である。
【図２４】第２の補正処理の内容をまとめた図である。
【図２５】補正処理部の第２の構成による補正処理を説明するフローチャートである。
【図２６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本発明を適用した再生装置で再生される記録媒体を作成する記録装置の構成例
２．本発明を適用した再生装置の全体構成例
３．再生装置内の補正処理部の第１の実施の形態（仮想カメラ間隔と画像スケーリング量で補正処理する例）
４．再生装置内の補正処理部の第２の実施の形態（画像シフト量で補正処理する例）
５．本発明を適用したコンピュータの実施の形態
【００１７】
＜記録装置の構成例＞
［記録装置の構成ブロック図］
図１は、本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
【００１８】
図１の記録装置１０は、ビデオエンコーダ１１、オーディオエンコーダ１２、多重化部１３、および記録制御部１４により構成される。
【００１９】
記録装置１０は、３Ｄコンテンツのコンテンツデータを符号化して、BDROM（Blu-Ray（登録商標） Disc Read Only Memory）等の記録媒体２０に記録させる。コンテンツデータは、３Ｄ画像の画像データ（以下、３Ｄビデオデータという。）、その画像データに対応する音声データを含み、３Ｄビデオデータは左目用画像の画像データと右目用画像の画像データとからなる。また、コンテンツデータには、３Ｄコンテンツのコンテンツ制作者が想定した視環境のパラメータ（以下、想定視環境パラメータという。）が付加情報（メタデータ）として含まれる。
【００２０】
なお、本明細書の実施の形態において、視環境のパラメータは、視聴するユーザの両眼間隔、ユーザからディスプレイまでの距離である視距離、および、３Ｄ画像が表示されるディスプレイのサイズ（ディスプレイサイズ）の３種類とする。
【００２１】
記録装置１０のビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2（Moving Picture Experts Group phase 2），MPEG4，AVC（Advanced Video Coding）等の符号化方式で符号化する。ビデオエンコーダ１１は、符号化の結果得られるES（Elementary Stream）であるビデオストリームを多重化部１３に供給する。
【００２２】
オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるESであるオーディオストリームを多重化部１３に供給する。
【００２３】
多重化部１３は、ビデオエンコーダ１１から供給されるビデオストリームと、オーディオエンコーダ１２から供給されるオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
【００２４】
記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録させる。また、記録制御部１４は、図示せぬ操作入力部等から入力される想定視環境パラメータを定義ファイルとして記録媒体２０に記録させる。
【００２５】
以上のように構成される記録装置１０では、３Ｄコンテンツのコンテンツデータの他に、想定視環境パラメータが付加情報（メタデータ）として記録媒体２０に記録されるので、再生時に想定視環境と実際の視環境との違いを補正する処理を行わせることができる。
【００２６】
［記録装置の記録処理の説明］
図２は、図１の記録装置１０による記録処理を説明するフローチャートである。この記録処理は、例えば、付加情報、３Ｄビデオデータ、およびオーディオデータが入力されたとき、開始される。
【００２７】
ステップＳ１０において、記録制御部１４は、操作入力部等から入力された付加情報としての想定視環境パラメータを定義ファイルとして記録媒体２０に記録させる。具体的には、コンテンツ制作者が想定した、両眼間隔、視距離、および、ディスプレイサイズの３種類の値が定義ファイルとして記録媒体２０に記録される。
【００２８】
ステップＳ１１において、ビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2，MPEG4，AVC等の符号化方式で符号化する。そして、ビデオエンコーダ１１は、符号化の結果得られるビデオストリームを多重化部１３に供給する。
【００２９】
ステップＳ１２において、オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるオーディオストリームを多重化部１３に供給する。
【００３０】
ステップＳ１３において、多重化部１３は、ビデオエンコーダ１１からのビデオストリームとオーディオエンコーダ１２からのオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
【００３１】
ステップＳ１４において、記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録媒体に記録させ、処理を終了する。
【００３２】
[付加情報のデータ構造]
図３は、記録媒体２０に記録されるデータの階層構造を示す図である。
【００３３】
図３に示すように、記録媒体２０に記録されるデータの階層は、オーディオストリームやビデオストリーム等のESのレイヤＣ、多重化ストリームのシステムレイヤであるレイヤＢ、記録媒体２０に唯一の情報のレイヤＡ等により構成される。
【００３４】
上述した例では、付加情報としての想定視環境パラメータが記録媒体２０に唯一の定義ファイルとして、即ち、レイヤＡに記録されるように説明した。しかしながら、想定視環境パラメータは、レイヤＢやレイヤＣに記録されるようにすることもできる。
【００３５】
例えば、レイヤＣにおいて付加情報が記録される場合、符号化方式がAVCであれば、付加情報は、SEI（Supplemental Enhancement Information）として、または、SPS（Sequence Parameter Set）やPPS（Picture Parameter Set）の一部として記録される。また、符号化方式がMPEG2であれば、ビデオシーケンス（Video Sequence）やエクステンションアンドユーザデータ（extension_and_user_data）として記録される。
【００３６】
この場合、１つのビデオストリーム内で付加情報を可変にすることができる。また、１つの記録媒体２０に異なる想定視環境パラメータが設定されている３Ｄ画像のビデオストリームが複数記録されている場合であっても、各想定視環境パラメータを再生装置に提供することができる。
【００３７】
一方、レイヤＢにおいて付加情報が記録される場合、付加情報は、TS（Transport Stream）のプライベートパケット、PS（Program Stream）のプライベートパック、MPEG4のコンフィグレーション（Config）情報に含まれるボックス（Box）の拡張領域等に記録される。
【００３８】
付加情報が記録されるMPEG4のボックスの拡張領域は、例えば、図４に示すように、ファイルの先頭に位置するftypボックスの直後のPrivate Extension ボックス(図４中uuid）に設けられる。この場合、記録媒体２０に記録された３Ｄビデオデータを再生する再生装置は、復号処理の前に想定視環境パラメータを取得することができるが、想定視環境パラメータはファイル内で不変となる。
【００３９】
なお、Private Extension ボックスには、想定視環境パラメータのほか、コーデックの種類、ビットレート、フレームサイズ、アスペクト比、画像が２Ｄ画像であるか３Ｄ画像であるかを示す情報等が記述される。
【００４０】
また、付加情報が記録されるMPEG4のボックスの拡張領域は、図５に示すように、moovボックス内のトラック情報（trak）の領域（図５中stsd）に設けられるようにしてもよい。この場合、ビデオストリームに参照先の付加情報の領域を表す情報が含まれており、再生装置は、その情報に基づいて、想定視環境パラメータを取得する。従って、この場合、ビデオストリーム内で想定視環境パラメータを可変にすることができる。但し、図４の場合に比べてアクセス性は悪い。
【００４１】
さらに、付加情報が記録されるMPEG4のボックスの拡張領域は、図６に示すように、mdatボックス内に設けられるようにしてもよい。即ち、付加情報が１つのメディアストリーム（side info.stream）として記録されるようにしてもよい。この場合、ビデオストリームと付加情報は時間情報で同期するため、想定視環境パラメータを時々刻々と変化させることができる。
【００４２】
なお、図４乃至図６の例では、ftypボックスの後に、moov ボックス、mdat ボックスが順に配置されているが、moov ボックスとmdat ボックスの配置はこれに限定されない。
【００４３】
＜本発明を適用した再生装置の実施の形態＞
[再生装置の構成ブロック図]
図７は、本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【００４４】
図７の再生装置５０は、読出部５１、分離部５２、ビデオデコーダ５３、補正処理部５４、操作入力部５５、およびオーディオデコーダ５６により構成される。再生装置５０は、記録媒体２０に記録されている３Ｄビデオデータとそれに対応する音声データを付加情報とともに再生し、付加情報に基づいて、適切に３Ｄ画像を表示させる。
【００４５】
具体的には、再生装置５０の読出部５１は、記録媒体２０に付加情報として記録されている想定視環境パラメータを読み出し、補正処理部５４に供給する。また、読出部５１は、記録媒体２０に記録されている多重化ストリームを読み出し、分離部５２に供給する。
【００４６】
分離部５２は、読出部５１から供給される多重化ストリームをビデオストリームとオーディオストリームに分離する。そして、分離部５２は、ビデオストリームをビデオデコーダ５３に供給し、オーディオストリームをオーディオデコーダ５６に供給する。
【００４７】
ビデオデコーダ５３は、分離部５２から供給されるビデオストリームを、図１のビデオエンコーダ１１における符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータを補正処理部５４に供給する。
【００４８】
補正処理部５４は、ビデオデコーダ５３から供給される３Ｄビデオデータに対し、読出部５１から供給される想定視環境パラメータと、操作入力部５５から供給される実視環境パラメータとの差に応じて３Ｄ画像を補正する３Ｄ画像補正処理を行う。そして、補正処理部５４は、補正後の３Ｄビデオデータ、即ち、左目用画像の画像データと右目用画像の画像データを表示部６１に出力する。
【００４９】
操作入力部５５は、３Ｄ画像を視聴するユーザによる実視環境パラメータの入力を受け付ける。ユーザは、操作入力部５５において、ユーザの実際の視環境を入力する。具体的には、想定視環境パラメータと同様の、両眼間隔、視距離、および、ディスプレイサイズの３種類の値がユーザにより入力される。操作入力部５５は、入力された実視環境パラメータを補正処理部５４に供給する。
【００５０】
オーディオデコーダ５６は、分離部５２から供給されるオーディオストリームを、図１のオーディオエンコーダ１２における符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。
【００５１】
表示部６１は、補正処理部５４から供給される３Ｄビデオデータに対応する左目用画像と右目用画像を、例えば時分割で表示する。このとき、視聴者は、例えば、左目用画像と右目用画像の切り替えに同期したシャッタ付き眼鏡を装着し、左目用画像を左目だけで見て、右目用画像を右目だけで見る。これにより、視聴者は、３Ｄ画像を立体的に知覚することができる。
【００５２】
スピーカ６２は、オーディオデコーダ５６から供給されるオーディオデータに対応する音声を出力する。
【００５３】
[再生装置の再生処理の説明]
図８は、再生装置５０による再生処理を説明するフローチャートである。この再生処理は、例えば、記録媒体２０に記録されている３Ｄコンテンツの再生がユーザにより指示されたとき開始される。
【００５４】
初めに、ステップＳ３１において、操作入力部５５は、３Ｄ画像を視聴するユーザによる実視環境パラメータの入力を受け付け、入力された実視環境パラメータを補正処理部５４に供給する。なお、この処理は、以下のステップＳ３２以降の処理とは別に先に実行されてもよい。即ち、３Ｄコンテンツの再生が指示されるより前に、設定画面等により事前に実視環境パラメータが入力されるようにしてもよい。
【００５５】
ステップＳ３２において、読出部５１は、記録媒体２０に付加情報として記録されている想定視環境パラメータを読み出し、補正処理部５４に供給する。
【００５６】
ステップＳ３３において、再生装置５０は、記録媒体２０に記録されている３Ｄコンテンツの多重化ストリームを読み出し、復号する。即ち、読出部５１が、記録媒体２０から３Ｄコンテンツの多重化ストリームを読み出して分離部５２に供給し、分離部５２は、多重化ストリームをビデオストリームとオーディオストリームに分離する。ビデオデコーダ５３は、ビデオストリームを、記録装置１０の符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータを補正処理部５４に供給する。オーディオデコーダ５６は、オーディオストリームを、記録装置１０の符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。
【００５７】
ステップＳ３４において、補正処理部５４は、供給された３Ｄビデオデータに対し、読出部５１から供給された想定視環境パラメータと、操作入力部５５から供給された実視環境パラメータとの差に応じて３Ｄ画像を補正する３Ｄ画像補正処理を行う。
【００５８】
ステップＳ３５において、補正処理部５４は、補正後の３Ｄビデオデータ、即ち、左目用画像と右目用画像の画像データを表示部６１に出力する。また、ステップＳ３５では、オーディオデコーダ５６が、補正後の３Ｄビデオデータに対応するオーディオデータをスピーカ６２に出力する。再生指示された３Ｄコンテンツの画像および音声の全てが出力された時点で、再生処理は終了する。
【００５９】
以上のように、再生装置５０では、コンテンツ製作者が想定した視環境と、ユーザの実際の視環境の違いを補正することにより、視環境の違いによる３Ｄ画像の歪みを補正した３Ｄ画像を提供することができる。
【００６０】
そこで、以下では、補正処理部５４が行う３Ｄ画像補正処理について詳しく説明する。再生装置５０は、補正処理部５４の構成として、図９に示す第１の構成または図２３に示す第２の構成を採用することができる。
【００６１】
＜補正処理部５４の第１の実施の形態＞
［補正処理部５４の第１の構成例］
図９は、補正処理部５４の第１の構成例を示すブロック図である。
【００６２】
図９の補正処理部５４は、視差制御パラメータ算出部８１と視差制御部８２により構成される。さらに、視差制御部８２は、視差検出部９１、仮想カメラ間隔画像生成部９２、および画像スケーリング部９３により構成される。
【００６３】
読出部５１からの想定視環境パラメータと、操作入力部５５からの実視環境パラメータは、視差制御パラメータ算出部８１に供給される。視差制御パラメータ算出部８１は、想定視環境パラメータと実視環境パラメータとの差から、仮想カメラ間隔と画像スケーリング量の２つの視差制御パラメータを算出する。
【００６４】
詳細は後述するが、視環境パラメータのうちの視距離が想定視環境パラメータと実視環境パラメータとで異なる場合には、仮想カメラ間隔を制御（変更）することで３Ｄ画像の歪みを補正することができる。
【００６５】
一方、視環境パラメータのうちの両眼間隔またはディスプレイサイズが想定視環境パラメータと実視環境パラメータとで異なる場合には、仮想カメラ間隔と画像スケーリング量のいずれか一方または両方を制御（変更）することで３Ｄ画像の歪みを補正することができる。仮想カメラ間隔と画像スケーリング量の両方を使って補正する場合には、仮想カメラ間隔と画像スケーリング量の制御の比率を決定し、その決定された比率に従って、それぞれが担当する補正量に対応する視差制御パラメータが算出される。仮想カメラ間隔と画像スケーリング量の制御の比率は固定値として予め内部に記憶しておいてもよいし、操作入力部５５等から入力されるようにしてもよい。
【００６６】
視差検出部９１は、ビデオデコーダ５３（図７）から供給される３Ｄビデオデータの左目用画像と右目用画像に対し、例えば、ブロックマッチングの手法等を用いて、左目用画像と右目用画像の各画素の視差量を検出する。視差検出部９１は、検出された左目用画像と右目用画像の各画素の視差量を、例えば、視差量に応じた輝度値で表現した視差マップとして、仮想カメラ間隔画像生成部９２に供給する。なお、仮想カメラ間隔画像生成部９２では、検出された各画素の視差量が分かればよいので、視差マップに限らず、どのような形式で供給されても構わない。
【００６７】
仮想カメラ間隔画像生成部９２には、ビデオデコーダ５３（図７）から、所定のカメラ間隔で撮影されたオリジナル（補正前）の画像である左目用画像と右目用画像が供給される。また、仮想カメラ間隔画像生成部９２には、視差検出部９１から、オリジナルの左目用画像と右目用画像の各画素の視差量が視差マップとして供給される。仮想カメラ間隔画像生成部９２は、オリジナルの所定のカメラ間隔を、仮想のカメラ間隔に変更した左目用画像と右目用画像を生成する。即ち、仮想カメラ間隔画像生成部９２は、オリジナルの左目用画像と右目用画像とその視差量を用いて、視差制御パラメータ算出部８１から供給される仮想カメラ間隔の画像（仮想カメラ間隔画像）を生成する。
【００６８】
視差制御パラメータ算出部８１から供給される仮想カメラ間隔は、オリジナルのカメラ間隔に対する比率で与えられる。例えば、図１０に示すように、オリジナルの左目用画像と右目用画像が撮像されたときのカメラ間隔を１として、オリジナルの左目用画像のカメラ位置が０．０、オリジナルの右目用画像のカメラ位置が１．０に設定される。
【００６９】
そして、視差制御パラメータ算出部８１から仮想カメラ間隔として、０．５が供給された場合、図１０に示すように、仮想カメラ間隔画像生成部９２は、仮想カメラ位置が０．２５の左目用画像と、仮想カメラ位置が０．７５の右目用画像を生成する。この場合、生成後の左目用画像と右目用画像のカメラ間隔は、オリジナルのカメラ間隔と比較して０．５となる。
【００７０】
図１１は、カメラ間隔を変更した場合の視差量の変化を示している。なお、視差量は、正方向の変化が飛び出し方向（手前方向）への変化を表し、負方向の変化が引っ込み方向（奥方向）への変化を表す。
【００７１】
図１１に示されるように、カメラ間隔をオリジナルの５０％（０．５）に変更すると、変更後の視差量も変更前の１／２倍となり、カメラ間隔を２００％（２．０）に変更すると、変更後の視差量も２倍となる。
【００７２】
図９に戻り、画像スケーリング部９３は、仮想カメラ間隔画像生成部９２から供給される左目用画像と右目用画像を、視差制御パラメータ算出部８１から供給される画像スケーリング量に応じて、スケーリングする。視差制御パラメータ算出部８１から供給される画像スケーリング量は、スケーリング補正前に対する比率で与えられる。そして、画像スケーリング部９３は、スケーリング後の左目用画像と右目用画像の画像データを表示部６１（図７）に出力する。
【００７３】
図１２は、スケーリング前後の左目用画像と右目用画像を示している。
【００７４】
図１２においてオリジナル画像として示されるスケーリング前の左目用画像と右目用画像を、視差の生じている方向（横方向）に、０．５のスケーリング量（スケーリング率）で補正された左目用画像と右目用画像がスケーリング画像として示されている。
【００７５】
図１３は、スケーリング量を変更した場合の視差量の変化を示している。
【００７６】
図１３に示されるように、スケーリング量を５０％（０．５）にすると、変更後の視差量も変更前の１／２倍となり、スケーリング量を２００％（２．０）にすると、変更後の視差量も２倍となる。
【００７７】
［視環境パラメータの変化と奥行きの変化の関係］
次に、視距離、両眼間隔、およびディスプレイサイズの各視環境パラメータの変化と奥行きの変化の関係について説明する。
【００７８】
まず、図１４を参照して、各視環境パラメータと奥行きの関係を決定するのに必要な変数を定義する。
【００７９】
３Ｄ画像を視聴するユーザの両眼間隔がＥであり、ユーザから３Ｄ画像を表示するディスプレイまでの距離（視距離）がＬである。ユーザは、左目用画像の画素ｘＬに対応する画素が右目用画像では画素ｘＲに表示される３Ｄ画像を視聴するものとする。即ち、ユーザは、視差量ｄ＝（ｘＬ−ｘＲ）の３Ｄ画像を見ているとする。このとき、ユーザの網膜において、再現される奥行きはＺとなる。
【００８０】
この場合、奥行きＺと視差量ｄの関係を考えると、Ｚは次式（１）で表すことができる。
Ｅ／（Ｌ−Ｚ）＝ｄ／Ｚ
Ｚ＝Ｌ・ｄ／（Ｅ＋ｄ） ・・・・・・・・・・・・・・（１）
なお、本明細書および図面において、式中の中黒（・）は、乗算を意味する。
【００８１】
最初に、視距離と奥行きの関係について説明する。
【００８２】
視距離が元の視距離ＬのＳ倍の視距離Ｌ’＝Ｓ・Ｌになったときの奥行きＺａを考える。式（１）より、
Ｚａ＝Ｌ’・ｄ／（Ｅ＋ｄ）
であるが、Ｌ’＝Ｓ・Ｌであるから
Ｚａ＝Ｓ・Ｌ・ｄ／（Ｅ＋ｄ） ・・・・・・・・・・・・・・（２）
となる。式（２）は、さらに、
Ｚａ＝Ｓ・Ｚ ・・・・・・・・・・・・・・（３）
と表すことができる。従って、視距離がＳ倍になれば、奥行き（飛び出し引っ込み量）Ｚａも元の奥行きＺのＳ倍になる。
【００８３】
次に、ディスプレイサイズと奥行きの関係について説明する。
【００８４】
ディスプレイサイズが元のディスプレイサイズのＳ倍になったとすると、そのときの視差量ｄ’はＳ倍（ｄ’＝Ｓ・ｄ）となる。視差量がｄ’＝Ｓ・ｄのときの奥行きＺｂは、式（１）より、
Ｚｂ＝Ｌ・ｄ’／（Ｅ＋ｄ’）
であるが、ｄ’＝Ｓ・ｄであるから、
Ｚｂ＝Ｌ・Ｓ・ｄ／（Ｅ＋Ｓ・ｄ） ・・・・・・・・・・・・・（４）
となる。
【００８５】
式（４）のｄを、式（１）を用いて消去すると、式（５）となる。
Ｚｂ＝Ｌ・Ｓ・Ｚ／（Ｌ−Ｚ＋Ｓ・Ｚ） ・・・・・・・・・・・（５）
【００８６】
従って、ディスプレイサイズが元のディスプレイサイズのＳ倍になると、奥行きＺｂは、元の奥行きＺと式（５）で表される非線形の関係を有する。
【００８７】
両眼間隔と奥行きの関係について説明する。
【００８８】
両眼間隔が元の両眼間隔ＥのＳ倍の両眼間隔Ｅ’＝Ｓ・Ｅになったときの奥行きＺｃを考える。式（１）より、
Ｚｃ＝Ｌ・ｄ／（Ｅ’＋ｄ）
であるが、Ｅ’＝Ｓ・Ｅであるから、
Ｚｃ＝Ｌ・ｄ／（Ｓ・Ｅ＋ｄ） ・・・・・・・・・・・・・・（６）
となる。
【００８９】
式（６）のｄを、式（１）を用いて消去すると、式（７）となる。
Ｚｃ＝Ｌ・Ｚ／（Ｓ・Ｌ−Ｓ・Ｚ＋Ｚ） ・・・・・・・・・・（７）
【００９０】
従って、両眼間隔が元の両眼間隔ＥのＳ倍になると、奥行きＺｃは、元の奥行きＺと式（７）で表される非線形の関係を有する。
【００９１】
図１５は、視距離、ディスプレイサイズ、または両眼間隔が変化したときの、元の奥行きＺと変化後の奥行きＺａ，Ｚｂ，Ｚｃの関係を表す式（３）、式（５）、および式（７）の例を示している。
【００９２】
図１５において、元の視環境パラメータとしての視距離Ｌは１５００ｍｍ、ディスプレイサイズは４２インチ、両眼間隔Ｅは６５ｍｍに設定されている。
【００９３】
図１５の式（３）は、視距離Ｌ’が２２５０ｍｍとなったときの元の奥行きＺと変化後の奥行きＺａの関係を示している。
【００９４】
図１５の式（５）は、ディスプレイサイズが６３インチとなったときの元の奥行きＺと変化後の奥行きＺｂの関係を示している。
【００９５】
図１５の式（７）は、両眼間隔Ｅ’が９７．５ｍｍにとなったときの元の奥行きＺと変化後の奥行きＺｃの関係を示している。
【００９６】
［補正量の算出］
次に、上述したような視環境パラメータの変化と奥行きの変化の関係を考慮して、補正量、即ち、仮想カメラ間隔または画像スケーリング量をいくつにすればよいかについて説明する。
【００９７】
最初に、視距離が元のＳ倍の視距離Ｌ’＝Ｓ・Ｌになったときの補正量について説明する。
【００９８】
視距離Ｌ’になったときの奥行きＺａをＺ’と書くことにすると、式（２）は次式（８）で表すことができる。
Ｚ’（ｄ）＝Ｓ・Ｌ・ｄ／（Ｅ＋ｄ） ・・・・・・・・・・・・（８）
【００９９】
ここで、元の奥行きＺと変化後の奥行きＺ’が同じになるような視差量ｄの変換式を考える。変換後の視差量をｄ’として、式（９）の変換式を定義する。
ｄ’＝ｆ（ｄ） ・・・・・・・・・・・・・（９）
【０１００】
式（８）に視差量変換を施すと、式（１０）が得られる。
Ｚ’（ｄ’）＝Ｓ・Ｌ・ｄ’／（Ｅ＋ｄ’） ・・・・・・・・・（１０）
【０１０１】
ＺとＺ’が同じになるような変換式ｄ’＝ｆ（ｄ）を求めればよいので、Ｚ＝Ｚ’より、式（１１）が求められる。
Ｚ＝Ｚ’
Ｌ’・ｄ／（Ｅ＋ｄ）＝Ｓ・Ｌ・ｄ’／（Ｅ＋ｄ’）
Ｓ・ｄ’・（Ｅ＋ｄ）＝ｄ・（Ｅ＋ｄ’）
ｄ’・（Ｓ・Ｅ＋Ｓ・ｄ−ｄ）＝ｄ・Ｅ
ｄ’＝ｄ・Ｅ／（Ｓ・Ｅ＋Ｓ・ｄ−ｄ） ・・・・・・・・・（１１）
【０１０２】
従って、視距離が元のＳ倍になった場合、その視距離の変化を打ち消すためには、式（１１）の非線形変換式によって得られる視差量ｄ’となるように視差量を変化させればよい。
【０１０３】
図１６は、視距離の変化（Ｌ’／Ｌ）が２００％と５０％になったときの式（１１）を示している。
【０１０４】
なお、本実施の形態では、仮想カメラ間隔を視差制御パラメータとして与えるので、視距離が元のＳ倍になった場合、視距離の変化を打ち消すためには、
Ｃ（ｄ）＝ｄ’／ｄ ・・・・・・・・・・・・・（１２）
で得られる仮想カメラ間隔Ｃ（ｄ）を、補正量として与えることになる。
【０１０５】
図１７Ａは、視距離Ｌ＝１５００ｍｍ、ディスプレイサイズ＝４２インチ、両眼間隔Ｅ＝６５ｍｍの視環境から、視距離Ｌ’が２倍に変化したときの式（１１）を示している。
【０１０６】
また、図１７Ｂは、図１７Ａに示した式（１１）を、式（１２）の仮想カメラ間隔Ｃ（ｄ）＝ｄ’／ｄで示した図である。
【０１０７】
次に、ディスプレイサイズが元のＳ倍のディスプレイサイズになったときの補正量について説明する。
【０１０８】
ディスプレイサイズがＳ倍になると、視差量もＳ倍になるので、視差量を１／Ｓ倍にする仮想カメラ間隔または画像スケーリング量を補正量とすればよい。例えば、視差量が４倍になった場合には、仮想カメラ間隔を２５％とするか、または、画像スケーリング量を２５％とすればよい。
【０１０９】
また、仮想カメラ間隔と画像スケーリング量を組み合わせた補正量としてもよい。例えば、仮想カメラ間隔と画像スケーリング量の制御の比率が５０：５０である場合、仮想カメラ間隔５０％の画像を生成し、その生成された３Ｄ画像に画像スケーリング量５０％の画像スケーリング処理を行ってもよい。
【０１１０】
次に、両眼間隔が元のＳ倍の両眼間隔Ｅ’＝Ｓ・Ｅになったときの補正量について説明する。
【０１１１】
上述した視距離の場合と同様に、両眼間隔Ｅ’になったときの奥行きＺｃをＺ’と書くことにすると、式（６）は次式（１３）で表すことができる。
Ｚ’（ｄ）＝Ｌ・ｄ／（Ｓ・Ｅ＋ｄ） ・・・・・・・・・・・（１３）
【０１１２】
ここで、元の奥行きＺと変化後の奥行きＺ’が同じになるような式（９）の変換式を考える。
【０１１３】
式（１３）に視差量変換を施すと式（１４）となる。
Ｚ’（ｄ’）＝Ｌ・ｄ’／（Ｓ・Ｅ＋ｄ’） ・・・・・・・・・（１４）
【０１１４】
ＺとＺ’が同じになるような変換式ｄ’＝ｆ（ｄ）を求めればよいので、式（１３）と式（１４）より、次式（１５）が求められる。
Ｚ＝Ｚ’
Ｌ・ｄ／（Ｅ＋ｄ）＝Ｌ・ｄ’／（Ｓ・Ｅ＋ｄ’）
ｄ’・（Ｅ＋ｄ）＝ｄ・（Ｓ・Ｅ＋ｄ’）
ｄ’・Ｅ＋ｄ’・ｄ＝ｄ・Ｓ・Ｅ＋ｄ・ｄ’
ｄ’＝Ｓ・ｄ ・・・・・・・・・・・・（１５）
【０１１５】
従って、両眼間隔が元のＳ倍になった場合、視差量を元のＳ倍にすることで、両眼間隔の変化による奥行きの変化を打ち消すことができる。
【０１１６】
以上の説明における、変化前の視距離、ディスプレイサイズ、および両眼間隔が、本実施の形態における想定視環境パラメータとなり、変化後の視距離、ディスプレイサイズ、および両眼間隔が、実視環境パラメータに相当する。
【０１１７】
図１８は、上述した視距離、ディスプレイサイズ、および両眼間隔の想定視環境パラメータと実視環境パラメータが異なる場合の、変化を打ち消すための処理をまとめた図である。
【０１１８】
なお、図１８では、Ｓ＝４or１／４、即ち、視距離、ディスプレイサイズ、および両眼間隔の各視環境パラメータが、元の４倍または１／４倍に変化した場合の例を示している。
【０１１９】
また、仮想カメラ間隔と画像スケーリング量を組み合わせた補正量とする例では、仮想カメラ間隔と画像スケーリング量の制御の比率が５０：５０である場合の例を示している。
【０１２０】
仮想カメラ間隔を制御した画像では、オクルージョンがある画像に対してアーティファクトが発生する。また、スケーリングによる画像では、画像のアスペクト比が変わる。そこで、仮想カメラ間隔制御とスケーリング制御を組み合わせることで、アーティファクトを低減しつつ、アスペクト比の変化を抑える制御を行うことができる。この場合、スケーリング量をＲｓ、仮想カメラ間隔をＲｃ、必要な視差量の倍率をＲ’とすると、Ｒ’＝Ｒｓ・ＲｃとなるようなＲｓとＲｃを用いることができる。
【０１２１】
［補正処理部５４の第１の補正処理］
次に、図１９のフローチャートを参照して、補正処理部５４の第１の構成による補正処理、即ち、図８のステップＳ３４の第１の補正処理の詳細について説明する。
【０１２２】
なお、本実施の形態においては、仮想カメラ間隔と画像スケーリング量の制御の比率は、５０：５０であるとする。また、本実施の形態においては、説明を簡単にするため、視距離、ディスプレイサイズ、および両眼間隔の３つの視環境パラメータのうち、いずれか一つのみが異なる例として説明する。
【０１２３】
初めに、ステップＳ５１において、視差制御パラメータ算出部８１は、読出部５１から供給された想定視環境パラメータと、操作入力部５５から供給された実視環境パラメータを取得する。なお、実視環境パラメータは、操作入力部５５において入力されたものが所定の記憶部に予め記憶されており、その記憶部から視差制御パラメータ算出部８１が取得するようにしてもよい。
【０１２４】
ステップＳ５２において、視差検出部９１は、ブロックマッチングの手法等を用いて、ビデオデコーダ５３から供給される左目用画像と右目用画像の各画素の視差量を検出する。検出された左目用画像と右目用画像の各画素の視差量は、例えば、視差マップとして、仮想カメラ間隔画像生成部９２に供給される。
【０１２５】
ステップＳ５３において、視差制御パラメータ算出部８１は、供給された想定視環境パラメータと実視環境パラメータとを比較して、視距離が異なるかを判定する。ステップＳ５３で、視距離が異なると判定された場合、処理はステップＳ５４に進み、視差制御パラメータ算出部８１は、視距離の変化に応じた仮想カメラ間隔を求める。ここで、仮想カメラ間隔は、式（１１）および式（１２）により決定され、変化前は、想定視環境パラメータの視距離であり、変化後は実視環境パラメータの視距離である。視差制御パラメータ算出部８１は、得られた視差制御パラメータとしての仮想カメラ間隔を、仮想カメラ間隔画像生成部９２に供給する。
【０１２６】
そして、ステップＳ５５として、仮想カメラ間隔画像生成部９２は、視差制御パラメータ算出部８１から供給された仮想カメラ間隔の左目用画像と右目用画像を生成し、画像スケーリング部９３に供給する。画像スケーリング部９３は、供給された左目用画像と右目用画像をそのまま出力する。
【０１２７】
一方、ステップＳ５３で、視距離が同一であると判定された場合には、ステップＳ５４およびＳ５５の処理はスキップされ、処理はステップＳ５６に進む。
【０１２８】
ステップＳ５６において、視差制御パラメータ算出部８１は、供給された想定視環境パラメータと実視環境パラメータとを比較して、ディスプレイサイズが異なるかを判定する。ステップＳ５６で、ディスプレイサイズが異なると判定された場合、処理はステップＳ５７に進み、視差制御パラメータ算出部８１は、ディスプレイサイズの変化に応じた仮想カメラ間隔と画像スケーリング量を求める。ここで、仮想カメラ間隔と画像スケーリング量の制御の比率は、５０：５０であるので、視差制御パラメータ算出部８１は、ディスプレイサイズの変化に伴う視差量の変化量の半分を補正するための仮想カメラ間隔と画像スケーリング量を求める。視差制御パラメータ算出部８１は、得られた仮想カメラ間隔を仮想カメラ間隔画像生成部９２に供給し、得られた画像スケーリング量を画像スケーリング部９３に供給する。
【０１２９】
ステップＳ５８において、仮想カメラ間隔画像生成部９２は、視差制御パラメータ算出部８１から供給された仮想カメラ間隔の左目用画像と右目用画像を生成し、画像スケーリング部９３に供給する。
【０１３０】
ステップＳ５９において、画像スケーリング部９３は、視差制御パラメータ算出部８１から供給された画像スケーリング量の左目用画像と右目用画像を生成し、出力する。
【０１３１】
一方、ステップＳ５６で、ディスプレイサイズが同一であると判定された場合には、ステップＳ５７乃至Ｓ５９の処理はスキップされる。
【０１３２】
そして、ステップＳ６０において、視差制御パラメータ算出部８１は、供給された想定視環境パラメータと実視環境パラメータとを比較して、両眼間隔が異なるかを判定する。ステップＳ６０で、両眼間隔が異なると判定された場合、処理はステップＳ６１に進み、視差制御パラメータ算出部８１は、両眼間隔の変化に応じた仮想カメラ間隔と画像スケーリング量を求める。ここで、仮想カメラ間隔と画像スケーリング量の制御の比率は、５０：５０であるので、視差制御パラメータ算出部８１は、両眼間隔の変化に伴う視差量の変化量の半分を補正するための仮想カメラ間隔と画像スケーリング量を求める。視差制御パラメータ算出部８１は、得られた仮想カメラ間隔を仮想カメラ間隔画像生成部９２に供給し、得られた画像スケーリング量を画像スケーリング部９３に供給する。
【０１３３】
ステップＳ６２において、仮想カメラ間隔画像生成部９２は、視差制御パラメータ算出部８１から供給された仮想カメラ間隔の左目用画像と右目用画像を生成し、画像スケーリング部９３に供給する。
【０１３４】
ステップＳ６３において、画像スケーリング部９３は、視差制御パラメータ算出部８１から供給された画像スケーリング量の左目用画像と右目用画像を生成し、出力して、処理を終了する。
【０１３５】
以上のように、補正処理部５４の第１の構成によれば、仮想カメラ間隔または画像スケーリング量を変更する処理を行うことで、想定視環境パラメータと実視環境パラメータの違いのためユーザが知覚する立体感の歪みを補正することができる。
【０１３６】
なお、上述した例では、第１の補正処理を、視距離、ディスプレイサイズ、および両眼間隔の３つの視環境パラメータのうちの一つのみが異なる例として説明したが、２以上の視環境パラメータが異なる場合でも同様に補正することができる。例えば、視距離とディスプレイサイズの２つが異なる場合に、視距離の違いによる仮想カメラ間隔とディスプレイサイズの違いによる仮想カメラ間隔とを乗算した結果が、補正する補正量としての仮想カメラ間隔となる。
【０１３７】
また、上述した例では、仮想カメラ間隔と画像スケーリング量の制御の比率を５０：５０であるとして説明したが、仮想カメラ間隔または画像スケーリング量のいずれか一方で補正する場合には、ステップＳ５８またはＳ５９とステップＳ６２またはＳ６３の一方が省略される。
【０１３８】
＜補正処理部５４の第２の実施の形態＞
［補正処理部５４の第２の構成による補正処理の説明］
次に、補正処理部５４の第２の構成が行う補正処理について説明する。
【０１３９】
上述した補正処理部５４の第１の構成では、仮想カメラ間隔と画像スケーリング量を変更することにより立体感の歪みが補正された。これに対し、補正処理部５４の第２の構成では、左目用画像と右目用画像を視差の生じている方向（横方向）にシフトすることにより、想定視環境パラメータと実視環境パラメータの違いからくる立体感の歪みを補正する。この場合の視差制御パラメータは、画像シフトさせる画素量である画像シフト量となる。
【０１４０】
図２０は、画像シフトによる補正前後の左目用画像と右目用画像の例を示している。
【０１４１】
図２０において、オリジナル画像として示されている左目用画像と右目用画像が、補正前の画像である。
【０１４２】
図２０において、外側シフト画像として示されている左目用画像と右目用画像は、左右の画像で合わせて１００ピクセル外側（−１００ピクセル）の方向、換言すれば、奥行きが奥方向に変化するように画像全体をシフトさせた画像である。
【０１４３】
そして、図２０において、内側シフト画像として示されている左目用画像と右目用画像は、左右の画像で合わせて１００ピクセル内側（＋１００ピクセル）の方向、換言すれば、奥行きが手前方向に変化するように画像全体をシフトさせた画像である。
【０１４４】
図２１は、図２０の例のように画像シフト量を変更した場合の視差量の変化を示している。
【０１４５】
図２１に示されるように、外側シフトを行うと奥行きは奥方向に変化し、内側シフトを行うと奥行きは手前方向に変化する。
【０１４６】
なお、画像シフトによる補正処理では、想定視環境パラメータと実視環境パラメータの違いのためユーザが知覚する立体感の歪みを完全に補正することができない。そこで、補正処理部５４の第２の構成は、左目用画像と右目用画像の各画素の視差量全体の平均値、最大値、最小値、または最頻値などの、所定の視差量の部分をピンポイント的に補正する。
【０１４７】
例えば、図２２Aは、ある左目用画像と右目用画像の各画素の視差量の頻度分布を示している。実視環境のディスプレイサイズが想定視環境に対して２倍である場合、ユーザが視聴する左目用画像と右目用画像の各画素の視差量の頻度分布は、図２２Bのようになる。
【０１４８】
図２２Bに示される、実視環境における視差量の頻度分布では、ディスプレイサイズが２倍となったことにより、ディスプレイより奥はさらに奥側へ、ディスプレイより手前はさらに手前側になり、視差量は、視差０を中心に２倍となる。
【０１４９】
そして、図２２Cは、図２２Bの実視環境における視差量の頻度分布を、例えば、視差量の最頻値が一致するような画像シフトを行った結果を示している。
【０１５０】
このように、補正処理部５４の第２の構成では、左目用画像と右目用画像に対して、所定の視差量の部分をピンポイント的に補正する画像シフト処理が行われる。
【０１５１】
［補正処理部５４の第２の構成例］
図２３は、上述した画像シフト処理を行う補正処理部５４の第２の構成例を示すブロック図である。
【０１５２】
図２３の補正処理部５４は、視差制御パラメータ算出部１０１と視差制御部１０２により構成される。さらに、視差制御部１０２は、視差検出部１１１および画像シフト部１１２により構成される。
【０１５３】
読出部５１からの想定視環境パラメータと、操作入力部５５からの実視環境パラメータは、視差制御パラメータ算出部１０１に供給される。また、視差制御パラメータ算出部１０１には、視差制御部１０２の視差検出部１１１から、視差マップが供給される。
【０１５４】
視差制御パラメータ算出部１０１は、視差検出部１１１から供給される視差マップに基づいて、左目用画像と右目用画像の各画素の視差量の頻度分布を生成する。
【０１５５】
視差制御パラメータ算出部１０１は、想定視環境パラメータと実視環境パラメータとの差から、生成された頻度分布の所定の基準ポイントを画像シフトする画像シフト量を算出する。なお、視差制御パラメータ算出部１０１には、左目用画像と右目用画像の各画素の視差量全体の平均値、最大値、最小値、または最頻値の、いずれを基準ポイントとした画像シフトを行うかが予め記憶されている。平均値、最大値、最小値、または最頻値の、いずれを基準とした画像シフトを行うかは、例えば、設定画面等によりユーザにより指定され、記憶される。視差制御パラメータ算出部１０１は、算出の結果得られた視差制御パラメータとしての画像シフト量を、視差制御部１０２の画像シフト部１１２に供給する。
【０１５６】
視差検出部１１１は、補正処理部５４の第１の構成における視差検出部９１と同様、ブロックマッチングの手法等を用いて、左目用画像と右目用画像の各画素の視差量を検出する。検出結果としての視差マップは、視差制御パラメータ算出部１０１に供給される。
【０１５７】
画像シフト部１１２は、ビデオデコーダ５３（図７）から供給されるオリジナル（補正前）の画像である左目用画像と右目用画像に対し、視差制御パラメータ算出部１０１から供給される画像シフト量による画像シフト処理を実行する。そして、画像シフト処理後の左目用画像と右目用画像の画像データが、表示部６１（図７）に出力される。
【０１５８】
［視環境パラメータの変化と画像シフト量の変化の関係］
次に、視距離、両眼間隔、およびディスプレイサイズの各視環境パラメータの変化と画像シフト量の変化の関係について説明する。
【０１５９】
最初に、視距離が元のＳ倍の視距離Ｌ’＝Ｓ・Ｌになったときの画像シフト量について説明する。
【０１６０】
視距離が元の視距離ＬのＳ倍の視距離Ｌ’＝Ｓ・Ｌになったときの奥行きＺａは、上述した式（２）で表される。また、視距離Ｌ’になったときの奥行きＺａをＺ’と書くことにすると、式（２）は式（８）で表される。
【０１６１】
ここで、元の奥行きＺと変化後の奥行きＺ’が同じになるような視差量ｄの変換式を考える。変換後の視差量をｄ’、求めるべき画像シフト量shiftとすると、変換式は式（１６）のように定義することができる。
ｄ’＝ｆ（ｄ）＝ｄ＋shift ・・・・・・・・・・・・・・（１６）
【０１６２】
そして、ＺとＺ’が同じになるような変換式ｄ’＝ｆ（ｄ）を求めればよいので、上述した式（１１）を用いて、画像シフト量shiftは、式（１７）のように表すことができる。
ｄ’＝ｄ・Ｅ／（Ｓ・Ｅ＋Ｓ・ｄ−ｄ）
ｄ＋shift＝ｄ・Ｅ／（Ｓ・Ｅ＋Ｓ・ｄ−ｄ）
shift＝ｄ・Ｅ／（Ｓ・Ｅ＋Ｓ・ｄ−ｄ）−ｄ・・・・・・・・・・・・（１７）
【０１６３】
従って、視距離が元のＳ倍になった場合には、視距離の変化を打ち消すためには、式（１７）で表される画像シフト量shiftだけ画像シフトを行えばよい。
【０１６４】
例えば、視距離Ｌ＝１５００ｍｍ、ディスプレイサイズ＝４６インチ、両眼間隔Ｅ＝６５ｍｍ、最大視差量＝２０ピクセル（ピクセルピッチが０．５３ｍｍ／ピクセルとして１０．６ｍｍ）である場合に、視距離が２倍になったときの画像シフト量shiftは、以下に示すように、−１１ピクセルである。
shift＝１０．６×６５／（２．０×６５＋２．０×１０．６−１０．６）−１０．６
＝−５．７ｍｍ
＝−１０．８ピクセル
≒−１１ピクセル
【０１６５】
次に、両眼間隔が元のＳ倍になったときの画像シフト量について説明する。
【０１６６】
両眼間隔がＳ倍になったとき、その変換を打ち消すためには、式（１５）の通り、視差量をＳ倍にする必要がある。また、式（１６）より、ｄ’＝ｄ＋shiftであるから、画像シフト量shiftは、式（１８）のように表すことができる。
ｄ’＝Ｓ・ｄ
ｄ＋shift＝Ｓ・ｄ
shift＝（Ｓ−１）・ｄ・・・・・・・・・・・・・・（１８）
【０１６７】
従って、両眼間隔がＳ倍になった場合、視距離の変化を打ち消すためには、式（１８）で表される画像シフト量shiftだけ画像シフトを行えばよい。なお、式（１８）における視差量ｄは、左目用画像と右目用画像の各画素の視差量全体の平均値、最大値、最小値、または最頻値などの、基準ポイントの変換前の視差量を表す。
【０１６８】
例えば、変換前の基準ポイントの視差量の最大値が２０ピクセルであり、両眼間隔が２倍になったときの画像シフト量shiftは、
shift＝（２−１）×２０＝２０ピクセル
となり、２０ピクセルである。
【０１６９】
図２４は、視距離、ディスプレイサイズ、および両眼間隔の想定視環境パラメータと実視環境パラメータが異なる場合に、画像シフト補正によって変化を打ち消すための処理をまとめた図である。
【０１７０】
なお、図２４では、Ｓ＝４or１／４、即ち、視距離、ディスプレイサイズ、および両眼間隔の各視環境パラメータが、元の４倍または１／４倍に変化した場合の例を示している。
【０１７１】
［補正処理部５４の第２の構成例による補正処理］
次に、図２５のフローチャートを参照して、補正処理部５４の第２の構成による補正処理、即ち、図８のステップＳ３４の第２の補正処理の詳細について説明する。なお、図２５の処理においても、図１９と同様に、視距離、ディスプレイサイズ、および両眼間隔の３つの視環境パラメータのうち、いずれか一つのみが異なる例として説明する。
【０１７２】
初めに、ステップＳ７１において、視差制御パラメータ算出部１０１は、読出部５１から供給された想定視環境パラメータと、操作入力部５５から供給された実視環境パラメータを取得する。
【０１７３】
ステップＳ７２において、視差検出部１１１は、ブロックマッチングの手法等を用いて、ビデオデコーダ５３から供給される左目用画像と右目用画像の各画素の視差量を検出する。検出された左目用画像と右目用画像の各画素の視差量は、例えば、視差マップとして、視差制御パラメータ算出部１０１に供給される。
【０１７４】
ステップＳ７３において、視差制御パラメータ算出部１０１は、視距離、ディスプレイサイズ、または両眼間隔の変化に応じた画像シフト量を求める。得られた画像シフト量は、画像シフト部１１２に供給される。
【０１７５】
ステップＳ７４において、画像シフト部１１２は、視差制御パラメータ算出部１０１から供給された画像シフト量だけシフトした左目用画像と右目用画像を生成する。そして、画像シフト部１１２は、生成された画像シフト後の左目用画像と右目用画像の画像データを出力して、処理を終了する。
【０１７６】
以上のように、補正処理部５４の第２の構成によれば、画像シフト処理を行うことで、想定視環境パラメータと実視環境パラメータの違いのためユーザが知覚する立体感の歪みを補正することができる。
【０１７７】
なお、上述した例では、補正処理部５４は、第１の構成または第２の構成のいずれか一方を有するとして説明したが、第１の構成または第２の構成の両方を備え、いずれの補正処理をも実行可能に構成することができる。この場合、第１の補正処理または第２の補正処理のいずれを行うかをユーザに選択させたり、再生される画像によって選択するようにさせることができる。
【０１７８】
また、視環境のパラメータは、両眼間隔、視距離、および、ディスプレイサイズの３種類として説明したが、これら３種類のうちの１つまたは２つでもよい。
【０１７９】
さらに、上述した例では、本発明を再生装置に適用した例について説明したが、本発明は再生装置以外の装置にも適用することができる。例えば、３Ｄコンテンツの画像データと想定視環境パラメータは、衛星放送、ケーブルTV、インターネットなどのネットワークを介した伝送により提供されてもよい。従って、本発明はネットワークを介した伝送により送信されてくる３Ｄコンテンツの画像データと想定視環境パラメータを受信して、想定視環境パラメータと実視環境パラメータとの差に応じて３Ｄ画像を補正し、表示させる表示装置や記録再生装置にも適用できる。また、３Ｄコンテンツの画像データと想定視環境パラメータを取得するとともに、実視環境パラメータを取得して、３Ｄ画像を補正して出力する画像処理装置単体として構成してもよい。
【０１８０】
[本発明を適用したコンピュータの実施の形態]
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８１】
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８２】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１８３】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１８４】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。
【０１８５】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１８６】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１８７】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１８８】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１８９】
本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１９０】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１９１】
上述した実施の形態は、３Ｄ画像として、視点の数が２個である２視点の３Ｄ画像について説明したが、視点の数が３以上の多視点の３Ｄ画像についても同様に適用できる。
【０１９２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１９３】
５０ 再生装置， ５１ 読出部， ５４ 補正処理部， ５５ 操作入力部， ８１ 視差制御パラメータ算出部， ８２ 視差制御部， ９１ 視差検出部， ９２ 仮想カメラ間隔画像生成部， ９３ 画像スケーリング部， １０１ 視差制御パラメータ算出部， １０２ 視差制御部， １１１ 視差検出部， １１２ 画像シフト部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、実際の視環境と想定した視環境が異なる場合であっても、製作者の意図した３Ｄ画像をユーザが視聴できるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
映像コンテンツとしては２Ｄ画像が主流であるが、最近では、３Ｄ画像が注目を集めており、３Ｄ画像の表示装置や、３Ｄ画像の符号化と復号の方法について様々な技術が提案されている（例えば、特許文献１，２参照）。
【０００３】
３Ｄ画像は、左目で視認する左目用画像と右目で視認する右目用画像により構成され、左目用画像と右目用画像に所定の視差が設定されていることにより、視聴者が画像を立体的に知覚することができるものである。
【０００４】
ここで、コンテンツの制作者は、３Ｄ画像を作成する場合、視距離、両眼視差、ディスプレイサイズなどの、ユーザの視聴環境（以下、視環境ともいう。）を予め想定し、視差量を設定している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−３２７４３０号公報
【特許文献２】特開２００８−１８２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ユーザの実際の視環境は製作者が想定した視環境とは異なる場合が多い。実際の視環境と想定した視環境が異なる場合には、３Ｄ画像の奥行きが変化してしまう。具体的には、画像の飛び出し量が大きすぎたり、小さすぎたりする。即ち、画像が製作者の想定より飛び出しすぎたり、引っ込みすぎたりする。また例えば、立方体が直方体に見えたりするなど、「奥行き」と「画面上の平面的な大きさ」の比が変わって立体的に歪む場合もある。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、実際の視環境と想定した視環境が異なる場合であっても、製作者の意図した３Ｄ画像をユーザが視聴できるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の第１の側面の画像処理装置は、３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータを取得する第１の取得手段と、前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得する第２の取得手段と、取得された前記想定視環境パラメータと前記実視環境パラメータの差に応じて前記３Ｄ画像を補正する補正処理手段とを備える。
【０００９】
本発明の第１の側面の画像処理方法は、データを取得する第１および第２の取得手段と、３Ｄ画像を補正する補正処理手段とを備える画像処理装置の、前記第１の取得手段が、前記３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータを取得し、前記第２の取得手段が、前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得し、前記補正処理手段が、取得された前記想定視環境パラメータと前記実視環境パラメータの差に応じて前記３Ｄ画像を補正するステップを含む。
【００１０】
本発明の第１の側面のプログラムは、コンピュータに、３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータを取得させ、前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得させ、取得された前記想定視環境パラメータと前記実視環境パラメータの差に応じて前記３Ｄ画像を補正するステップを含む処理を実行させるためのものである。
【００１１】
本発明の第１の側面においては、３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータが取得され、３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータが取得され、取得された想定視環境パラメータと実視環境パラメータの差に応じて３Ｄ画像が補正される。
【００１２】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１３】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１４】
本発明の第１乃至第４の側面によれば、実際の視環境と想定した視環境が異なる場合であっても、製作者の意図した３Ｄ画像をユーザが視聴できる。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の記録装置による記録処理を説明するフローチャートである
【図３】記録媒体に記録されるデータの階層構造を示す図である。
【図４】MPEG4のボックスの拡張領域の例を示す図である。
【図５】MPEG4のボックスの拡張領域の他の例を示す図である。
【図６】MPEG4のボックスの拡張領域のさらに他の例を示す図である。
【図７】本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【図８】図７の再生装置による再生処理を説明するフローチャートである。
【図９】補正処理部の第１の構成例を示すブロック図である。
【図１０】仮想カメラ間隔画像の生成を説明する図である。
【図１１】カメラ間隔を変更した場合の視差量の変化を示す図である。
【図１２】スケーリング前後の左目用画像と右目用画像を示す図である。
【図１３】スケーリング量を変更した場合の視差量の変化を示す図である。
【図１４】各視環境パラメータと奥行きの関係を決定するのに必要な変数を説明する図である。
【図１５】各視環境パラメータが変化したときの元の奥行きＺと変化後の奥行きＺａ，Ｚｂ，Ｚｃの関係を表す図である。
【図１６】視距離が変化したときの補正量を説明する図である。
【図１７】視距離が変化したときの補正量を説明する図である。
【図１８】第１の補正処理の内容をまとめた図である。
【図１９】補正処理部の第１の構成による補正処理を説明するフローチャートである。
【図２０】補正処理部の第２の構成が行う補正処理について説明する図である。
【図２１】補正処理部の第２の構成が行う補正処理について説明する図である。
【図２２】補正処理部の第２の構成が行う補正処理について説明する図である。
【図２３】補正処理部の第２の構成例を示すブロック図である。
【図２４】第２の補正処理の内容をまとめた図である。
【図２５】補正処理部の第２の構成による補正処理を説明するフローチャートである。
【図２６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本発明を適用した再生装置で再生される記録媒体を作成する記録装置の構成例
２．本発明を適用した再生装置の全体構成例
３．再生装置内の補正処理部の第１の実施の形態（仮想カメラ間隔と画像スケーリング量で補正処理する例）
４．再生装置内の補正処理部の第２の実施の形態（画像シフト量で補正処理する例）
５．本発明を適用したコンピュータの実施の形態
【００１７】
＜記録装置の構成例＞
［記録装置の構成ブロック図］
図１は、本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
【００１８】
図１の記録装置１０は、ビデオエンコーダ１１、オーディオエンコーダ１２、多重化部１３、および記録制御部１４により構成される。
【００１９】
記録装置１０は、３Ｄコンテンツのコンテンツデータを符号化して、BDROM（Blu-Ray（登録商標） Disc Read Only Memory）等の記録媒体２０に記録させる。コンテンツデータは、３Ｄ画像の画像データ（以下、３Ｄビデオデータという。）、その画像データに対応する音声データを含み、３Ｄビデオデータは左目用画像の画像データと右目用画像の画像データとからなる。また、コンテンツデータには、３Ｄコンテンツのコンテンツ制作者が想定した視環境のパラメータ（以下、想定視環境パラメータという。）が付加情報（メタデータ）として含まれる。
【００２０】
なお、本明細書の実施の形態において、視環境のパラメータは、視聴するユーザの両眼間隔、ユーザからディスプレイまでの距離である視距離、および、３Ｄ画像が表示されるディスプレイのサイズ（ディスプレイサイズ）の３種類とする。
【００２１】
記録装置１０のビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2（Moving Picture Experts Group phase 2），MPEG4，AVC（Advanced Video Coding）等の符号化方式で符号化する。ビデオエンコーダ１１は、符号化の結果得られるES（Elementary Stream）であるビデオストリームを多重化部１３に供給する。
【００２２】
オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるESであるオーディオストリームを多重化部１３に供給する。
【００２３】
多重化部１３は、ビデオエンコーダ１１から供給されるビデオストリームと、オーディオエンコーダ１２から供給されるオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
【００２４】
記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録させる。また、記録制御部１４は、図示せぬ操作入力部等から入力される想定視環境パラメータを定義ファイルとして記録媒体２０に記録させる。
【００２５】
以上のように構成される記録装置１０では、３Ｄコンテンツのコンテンツデータの他に、想定視環境パラメータが付加情報（メタデータ）として記録媒体２０に記録されるので、再生時に想定視環境と実際の視環境との違いを補正する処理を行わせることができる。
【００２６】
［記録装置の記録処理の説明］
図２は、図１の記録装置１０による記録処理を説明するフローチャートである。この記録処理は、例えば、付加情報、３Ｄビデオデータ、およびオーディオデータが入力されたとき、開始される。
【００２７】
ステップＳ１０において、記録制御部１４は、操作入力部等から入力された付加情報としての想定視環境パラメータを定義ファイルとして記録媒体２０に記録させる。具体的には、コンテンツ制作者が想定した、両眼間隔、視距離、および、ディスプレイサイズの３種類の値が定義ファイルとして記録媒体２０に記録される。
【００２８】
ステップＳ１１において、ビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2，MPEG4，AVC等の符号化方式で符号化する。そして、ビデオエンコーダ１１は、符号化の結果得られるビデオストリームを多重化部１３に供給する。
【００２９】
ステップＳ１２において、オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるオーディオストリームを多重化部１３に供給する。
【００３０】
ステップＳ１３において、多重化部１３は、ビデオエンコーダ１１からのビデオストリームとオーディオエンコーダ１２からのオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
【００３１】
ステップＳ１４において、記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録媒体に記録させ、処理を終了する。
【００３２】
[付加情報のデータ構造]
図３は、記録媒体２０に記録されるデータの階層構造を示す図である。
【００３３】
図３に示すように、記録媒体２０に記録されるデータの階層は、オーディオストリームやビデオストリーム等のESのレイヤＣ、多重化ストリームのシステムレイヤであるレイヤＢ、記録媒体２０に唯一の情報のレイヤＡ等により構成される。
【００３４】
上述した例では、付加情報としての想定視環境パラメータが記録媒体２０に唯一の定義ファイルとして、即ち、レイヤＡに記録されるように説明した。しかしながら、想定視環境パラメータは、レイヤＢやレイヤＣに記録されるようにすることもできる。
【００３５】
例えば、レイヤＣにおいて付加情報が記録される場合、符号化方式がAVCであれば、付加情報は、SEI（Supplemental Enhancement Information）として、または、SPS（Sequence Parameter Set）やPPS（Picture Parameter Set）の一部として記録される。また、符号化方式がMPEG2であれば、ビデオシーケンス（Video Sequence）やエクステンションアンドユーザデータ（extension_and_user_data）として記録される。
【００３６】
この場合、１つのビデオストリーム内で付加情報を可変にすることができる。また、１つの記録媒体２０に異なる想定視環境パラメータが設定されている３Ｄ画像のビデオストリームが複数記録されている場合であっても、各想定視環境パラメータを再生装置に提供することができる。
【００３７】
一方、レイヤＢにおいて付加情報が記録される場合、付加情報は、TS（Transport Stream）のプライベートパケット、PS（Program Stream）のプライベートパック、MPEG4のコンフィグレーション（Config）情報に含まれるボックス（Box）の拡張領域等に記録される。
【００３８】
付加情報が記録されるMPEG4のボックスの拡張領域は、例えば、図４に示すように、ファイルの先頭に位置するftypボックスの直後のPrivate Extension ボックス(図４中uuid）に設けられる。この場合、記録媒体２０に記録された３Ｄビデオデータを再生する再生装置は、復号処理の前に想定視環境パラメータを取得することができるが、想定視環境パラメータはファイル内で不変となる。
【００３９】
なお、Private Extension ボックスには、想定視環境パラメータのほか、コーデックの種類、ビットレート、フレームサイズ、アスペクト比、画像が２Ｄ画像であるか３Ｄ画像であるかを示す情報等が記述される。
【００４０】
また、付加情報が記録されるMPEG4のボックスの拡張領域は、図５に示すように、moovボックス内のトラック情報（trak）の領域（図５中stsd）に設けられるようにしてもよい。この場合、ビデオストリームに参照先の付加情報の領域を表す情報が含まれており、再生装置は、その情報に基づいて、想定視環境パラメータを取得する。従って、この場合、ビデオストリーム内で想定視環境パラメータを可変にすることができる。但し、図４の場合に比べてアクセス性は悪い。
【００４１】
さらに、付加情報が記録されるMPEG4のボックスの拡張領域は、図６に示すように、mdatボックス内に設けられるようにしてもよい。即ち、付加情報が１つのメディアストリーム（side info.stream）として記録されるようにしてもよい。この場合、ビデオストリームと付加情報は時間情報で同期するため、想定視環境パラメータを時々刻々と変化させることができる。
【００４２】
なお、図４乃至図６の例では、ftypボックスの後に、moov ボックス、mdat ボックスが順に配置されているが、moov ボックスとmdat ボックスの配置はこれに限定されない。
【００４３】
＜本発明を適用した再生装置の実施の形態＞
[再生装置の構成ブロック図]
図７は、本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【００４４】
図７の再生装置５０は、読出部５１、分離部５２、ビデオデコーダ５３、補正処理部５４、操作入力部５５、およびオーディオデコーダ５６により構成される。再生装置５０は、記録媒体２０に記録されている３Ｄビデオデータとそれに対応する音声データを付加情報とともに再生し、付加情報に基づいて、適切に３Ｄ画像を表示させる。
【００４５】
具体的には、再生装置５０の読出部５１は、記録媒体２０に付加情報として記録されている想定視環境パラメータを読み出し、補正処理部５４に供給する。また、読出部５１は、記録媒体２０に記録されている多重化ストリームを読み出し、分離部５２に供給する。
【００４６】
分離部５２は、読出部５１から供給される多重化ストリームをビデオストリームとオーディオストリームに分離する。そして、分離部５２は、ビデオストリームをビデオデコーダ５３に供給し、オーディオストリームをオーディオデコーダ５６に供給する。
【００４７】
ビデオデコーダ５３は、分離部５２から供給されるビデオストリームを、図１のビデオエンコーダ１１における符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータを補正処理部５４に供給する。
【００４８】
補正処理部５４は、ビデオデコーダ５３から供給される３Ｄビデオデータに対し、読出部５１から供給される想定視環境パラメータと、操作入力部５５から供給される実視環境パラメータとの差に応じて３Ｄ画像を補正する３Ｄ画像補正処理を行う。そして、補正処理部５４は、補正後の３Ｄビデオデータ、即ち、左目用画像の画像データと右目用画像の画像データを表示部６１に出力する。
【００４９】
操作入力部５５は、３Ｄ画像を視聴するユーザによる実視環境パラメータの入力を受け付ける。ユーザは、操作入力部５５において、ユーザの実際の視環境を入力する。具体的には、想定視環境パラメータと同様の、両眼間隔、視距離、および、ディスプレイサイズの３種類の値がユーザにより入力される。操作入力部５５は、入力された実視環境パラメータを補正処理部５４に供給する。
【００５０】
オーディオデコーダ５６は、分離部５２から供給されるオーディオストリームを、図１のオーディオエンコーダ１２における符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。
【００５１】
表示部６１は、補正処理部５４から供給される３Ｄビデオデータに対応する左目用画像と右目用画像を、例えば時分割で表示する。このとき、視聴者は、例えば、左目用画像と右目用画像の切り替えに同期したシャッタ付き眼鏡を装着し、左目用画像を左目だけで見て、右目用画像を右目だけで見る。これにより、視聴者は、３Ｄ画像を立体的に知覚することができる。
【００５２】
スピーカ６２は、オーディオデコーダ５６から供給されるオーディオデータに対応する音声を出力する。
【００５３】
[再生装置の再生処理の説明]
図８は、再生装置５０による再生処理を説明するフローチャートである。この再生処理は、例えば、記録媒体２０に記録されている３Ｄコンテンツの再生がユーザにより指示されたとき開始される。
【００５４】
初めに、ステップＳ３１において、操作入力部５５は、３Ｄ画像を視聴するユーザによる実視環境パラメータの入力を受け付け、入力された実視環境パラメータを補正処理部５４に供給する。なお、この処理は、以下のステップＳ３２以降の処理とは別に先に実行されてもよい。即ち、３Ｄコンテンツの再生が指示されるより前に、設定画面等により事前に実視環境パラメータが入力されるようにしてもよい。
【００５５】
ステップＳ３２において、読出部５１は、記録媒体２０に付加情報として記録されている想定視環境パラメータを読み出し、補正処理部５４に供給する。
【００５６】
ステップＳ３３において、再生装置５０は、記録媒体２０に記録されている３Ｄコンテンツの多重化ストリームを読み出し、復号する。即ち、読出部５１が、記録媒体２０から３Ｄコンテンツの多重化ストリームを読み出して分離部５２に供給し、分離部５２は、多重化ストリームをビデオストリームとオーディオストリームに分離する。ビデオデコーダ５３は、ビデオストリームを、記録装置１０の符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータを補正処理部５４に供給する。オーディオデコーダ５６は、オーディオストリームを、記録装置１０の符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。
【００５７】
ステップＳ３４において、補正処理部５４は、供給された３Ｄビデオデータに対し、読出部５１から供給された想定視環境パラメータと、操作入力部５５から供給された実視環境パラメータとの差に応じて３Ｄ画像を補正する３Ｄ画像補正処理を行う。
【００５８】
ステップＳ３５において、補正処理部５４は、補正後の３Ｄビデオデータ、即ち、左目用画像と右目用画像の画像データを表示部６１に出力する。また、ステップＳ３５では、オーディオデコーダ５６が、補正後の３Ｄビデオデータに対応するオーディオデータをスピーカ６２に出力する。再生指示された３Ｄコンテンツの画像および音声の全てが出力された時点で、再生処理は終了する。
【００５９】
以上のように、再生装置５０では、コンテンツ製作者が想定した視環境と、ユーザの実際の視環境の違いを補正することにより、視環境の違いによる３Ｄ画像の歪みを補正した３Ｄ画像を提供することができる。
【００６０】
そこで、以下では、補正処理部５４が行う３Ｄ画像補正処理について詳しく説明する。再生装置５０は、補正処理部５４の構成として、図９に示す第１の構成または図２３に示す第２の構成を採用することができる。
【００６１】
＜補正処理部５４の第１の実施の形態＞
［補正処理部５４の第１の構成例］
図９は、補正処理部５４の第１の構成例を示すブロック図である。
【００６２】
図９の補正処理部５４は、視差制御パラメータ算出部８１と視差制御部８２により構成される。さらに、視差制御部８２は、視差検出部９１、仮想カメラ間隔画像生成部９２、および画像スケーリング部９３により構成される。
【００６３】
読出部５１からの想定視環境パラメータと、操作入力部５５からの実視環境パラメータは、視差制御パラメータ算出部８１に供給される。視差制御パラメータ算出部８１は、想定視環境パラメータと実視環境パラメータとの差から、仮想カメラ間隔と画像スケーリング量の２つの視差制御パラメータを算出する。
【００６４】
詳細は後述するが、視環境パラメータのうちの視距離が想定視環境パラメータと実視環境パラメータとで異なる場合には、仮想カメラ間隔を制御（変更）することで３Ｄ画像の歪みを補正することができる。
【００６５】
一方、視環境パラメータのうちの両眼間隔またはディスプレイサイズが想定視環境パラメータと実視環境パラメータとで異なる場合には、仮想カメラ間隔と画像スケーリング量のいずれか一方または両方を制御（変更）することで３Ｄ画像の歪みを補正することができる。仮想カメラ間隔と画像スケーリング量の両方を使って補正する場合には、仮想カメラ間隔と画像スケーリング量の制御の比率を決定し、その決定された比率に従って、それぞれが担当する補正量に対応する視差制御パラメータが算出される。仮想カメラ間隔と画像スケーリング量の制御の比率は固定値として予め内部に記憶しておいてもよいし、操作入力部５５等から入力されるようにしてもよい。
【００６６】
視差検出部９１は、ビデオデコーダ５３（図７）から供給される３Ｄビデオデータの左目用画像と右目用画像に対し、例えば、ブロックマッチングの手法等を用いて、左目用画像と右目用画像の各画素の視差量を検出する。視差検出部９１は、検出された左目用画像と右目用画像の各画素の視差量を、例えば、視差量に応じた輝度値で表現した視差マップとして、仮想カメラ間隔画像生成部９２に供給する。なお、仮想カメラ間隔画像生成部９２では、検出された各画素の視差量が分かればよいので、視差マップに限らず、どのような形式で供給されても構わない。
【００６７】
仮想カメラ間隔画像生成部９２には、ビデオデコーダ５３（図７）から、所定のカメラ間隔で撮影されたオリジナル（補正前）の画像である左目用画像と右目用画像が供給される。また、仮想カメラ間隔画像生成部９２には、視差検出部９１から、オリジナルの左目用画像と右目用画像の各画素の視差量が視差マップとして供給される。仮想カメラ間隔画像生成部９２は、オリジナルの所定のカメラ間隔を、仮想のカメラ間隔に変更した左目用画像と右目用画像を生成する。即ち、仮想カメラ間隔画像生成部９２は、オリジナルの左目用画像と右目用画像とその視差量を用いて、視差制御パラメータ算出部８１から供給される仮想カメラ間隔の画像（仮想カメラ間隔画像）を生成する。
【００６８】
視差制御パラメータ算出部８１から供給される仮想カメラ間隔は、オリジナルのカメラ間隔に対する比率で与えられる。例えば、図１０に示すように、オリジナルの左目用画像と右目用画像が撮像されたときのカメラ間隔を１として、オリジナルの左目用画像のカメラ位置が０．０、オリジナルの右目用画像のカメラ位置が１．０に設定される。
【００６９】
そして、視差制御パラメータ算出部８１から仮想カメラ間隔として、０．５が供給された場合、図１０に示すように、仮想カメラ間隔画像生成部９２は、仮想カメラ位置が０．２５の左目用画像と、仮想カメラ位置が０．７５の右目用画像を生成する。この場合、生成後の左目用画像と右目用画像のカメラ間隔は、オリジナルのカメラ間隔と比較して０．５となる。
【００７０】
図１１は、カメラ間隔を変更した場合の視差量の変化を示している。なお、視差量は、正方向の変化が飛び出し方向（手前方向）への変化を表し、負方向の変化が引っ込み方向（奥方向）への変化を表す。
【００７１】
図１１に示されるように、カメラ間隔をオリジナルの５０％（０．５）に変更すると、変更後の視差量も変更前の１／２倍となり、カメラ間隔を２００％（２．０）に変更すると、変更後の視差量も２倍となる。
【００７２】
図９に戻り、画像スケーリング部９３は、仮想カメラ間隔画像生成部９２から供給される左目用画像と右目用画像を、視差制御パラメータ算出部８１から供給される画像スケーリング量に応じて、スケーリングする。視差制御パラメータ算出部８１から供給される画像スケーリング量は、スケーリング補正前に対する比率で与えられる。そして、画像スケーリング部９３は、スケーリング後の左目用画像と右目用画像の画像データを表示部６１（図７）に出力する。
【００７３】
図１２は、スケーリング前後の左目用画像と右目用画像を示している。
【００７４】
図１２においてオリジナル画像として示されるスケーリング前の左目用画像と右目用画像を、視差の生じている方向（横方向）に、０．５のスケーリング量（スケーリング率）で補正された左目用画像と右目用画像がスケーリング画像として示されている。
【００７５】
図１３は、スケーリング量を変更した場合の視差量の変化を示している。
【００７６】
図１３に示されるように、スケーリング量を５０％（０．５）にすると、変更後の視差量も変更前の１／２倍となり、スケーリング量を２００％（２．０）にすると、変更後の視差量も２倍となる。
【００７７】
［視環境パラメータの変化と奥行きの変化の関係］
次に、視距離、両眼間隔、およびディスプレイサイズの各視環境パラメータの変化と奥行きの変化の関係について説明する。
【００７８】
まず、図１４を参照して、各視環境パラメータと奥行きの関係を決定するのに必要な変数を定義する。
【００７９】
３Ｄ画像を視聴するユーザの両眼間隔がＥであり、ユーザから３Ｄ画像を表示するディスプレイまでの距離（視距離）がＬである。ユーザは、左目用画像の画素ｘＬに対応する画素が右目用画像では画素ｘＲに表示される３Ｄ画像を視聴するものとする。即ち、ユーザは、視差量ｄ＝（ｘＬ−ｘＲ）の３Ｄ画像を見ているとする。このとき、ユーザの網膜において、再現される奥行きはＺとなる。
【００８０】
この場合、奥行きＺと視差量ｄの関係を考えると、Ｚは次式（１）で表すことができる。
Ｅ／（Ｌ−Ｚ）＝ｄ／Ｚ
Ｚ＝Ｌ・ｄ／（Ｅ＋ｄ） ・・・・・・・・・・・・・・（１）
なお、本明細書および図面において、式中の中黒（・）は、乗算を意味する。
【００８１】
最初に、視距離と奥行きの関係について説明する。
【００８２】
視距離が元の視距離ＬのＳ倍の視距離Ｌ’＝Ｓ・Ｌになったときの奥行きＺａを考える。式（１）より、
Ｚａ＝Ｌ’・ｄ／（Ｅ＋ｄ）
であるが、Ｌ’＝Ｓ・Ｌであるから
Ｚａ＝Ｓ・Ｌ・ｄ／（Ｅ＋ｄ） ・・・・・・・・・・・・・・（２）
となる。式（２）は、さらに、
Ｚａ＝Ｓ・Ｚ ・・・・・・・・・・・・・・（３）
と表すことができる。従って、視距離がＳ倍になれば、奥行き（飛び出し引っ込み量）Ｚａも元の奥行きＺのＳ倍になる。
【００８３】
次に、ディスプレイサイズと奥行きの関係について説明する。
【００８４】
ディスプレイサイズが元のディスプレイサイズのＳ倍になったとすると、そのときの視差量ｄ’はＳ倍（ｄ’＝Ｓ・ｄ）となる。視差量がｄ’＝Ｓ・ｄのときの奥行きＺｂは、式（１）より、
Ｚｂ＝Ｌ・ｄ’／（Ｅ＋ｄ’）
であるが、ｄ’＝Ｓ・ｄであるから、
Ｚｂ＝Ｌ・Ｓ・ｄ／（Ｅ＋Ｓ・ｄ） ・・・・・・・・・・・・・（４）
となる。
【００８５】
式（４）のｄを、式（１）を用いて消去すると、式（５）となる。
Ｚｂ＝Ｌ・Ｓ・Ｚ／（Ｌ−Ｚ＋Ｓ・Ｚ） ・・・・・・・・・・・（５）
【００８６】
従って、ディスプレイサイズが元のディスプレイサイズのＳ倍になると、奥行きＺｂは、元の奥行きＺと式（５）で表される非線形の関係を有する。
【００８７】
両眼間隔と奥行きの関係について説明する。
【００８８】
両眼間隔が元の両眼間隔ＥのＳ倍の両眼間隔Ｅ’＝Ｓ・Ｅになったときの奥行きＺｃを考える。式（１）より、
Ｚｃ＝Ｌ・ｄ／（Ｅ’＋ｄ）
であるが、Ｅ’＝Ｓ・Ｅであるから、
Ｚｃ＝Ｌ・ｄ／（Ｓ・Ｅ＋ｄ） ・・・・・・・・・・・・・・（６）
となる。
【００８９】
式（６）のｄを、式（１）を用いて消去すると、式（７）となる。
Ｚｃ＝Ｌ・Ｚ／（Ｓ・Ｌ−Ｓ・Ｚ＋Ｚ） ・・・・・・・・・・（７）
【００９０】
従って、両眼間隔が元の両眼間隔ＥのＳ倍になると、奥行きＺｃは、元の奥行きＺと式（７）で表される非線形の関係を有する。
【００９１】
図１５は、視距離、ディスプレイサイズ、または両眼間隔が変化したときの、元の奥行きＺと変化後の奥行きＺａ，Ｚｂ，Ｚｃの関係を表す式（３）、式（５）、および式（７）の例を示している。
【００９２】
図１５において、元の視環境パラメータとしての視距離Ｌは１５００ｍｍ、ディスプレイサイズは４２インチ、両眼間隔Ｅは６５ｍｍに設定されている。
【００９３】
図１５の式（３）は、視距離Ｌ’が２２５０ｍｍとなったときの元の奥行きＺと変化後の奥行きＺａの関係を示している。
【００９４】
図１５の式（５）は、ディスプレイサイズが６３インチとなったときの元の奥行きＺと変化後の奥行きＺｂの関係を示している。
【００９５】
図１５の式（７）は、両眼間隔Ｅ’が９７．５ｍｍにとなったときの元の奥行きＺと変化後の奥行きＺｃの関係を示している。
【００９６】
［補正量の算出］
次に、上述したような視環境パラメータの変化と奥行きの変化の関係を考慮して、補正量、即ち、仮想カメラ間隔または画像スケーリング量をいくつにすればよいかについて説明する。
【００９７】
最初に、視距離が元のＳ倍の視距離Ｌ’＝Ｓ・Ｌになったときの補正量について説明する。
【００９８】
視距離Ｌ’になったときの奥行きＺａをＺ’と書くことにすると、式（２）は次式（８）で表すことができる。
Ｚ’（ｄ）＝Ｓ・Ｌ・ｄ／（Ｅ＋ｄ） ・・・・・・・・・・・・（８）
【００９９】
ここで、元の奥行きＺと変化後の奥行きＺ’が同じになるような視差量ｄの変換式を考える。変換後の視差量をｄ’として、式（９）の変換式を定義する。
ｄ’＝ｆ（ｄ） ・・・・・・・・・・・・・（９）
【０１００】
式（８）に視差量変換を施すと、式（１０）が得られる。
Ｚ’（ｄ’）＝Ｓ・Ｌ・ｄ’／（Ｅ＋ｄ’） ・・・・・・・・・（１０）
【０１０１】
ＺとＺ’が同じになるような変換式ｄ’＝ｆ（ｄ）を求めればよいので、Ｚ＝Ｚ’より、式（１１）が求められる。
Ｚ＝Ｚ’
Ｌ’・ｄ／（Ｅ＋ｄ）＝Ｓ・Ｌ・ｄ’／（Ｅ＋ｄ’）
Ｓ・ｄ’・（Ｅ＋ｄ）＝ｄ・（Ｅ＋ｄ’）
ｄ’・（Ｓ・Ｅ＋Ｓ・ｄ−ｄ）＝ｄ・Ｅ
ｄ’＝ｄ・Ｅ／（Ｓ・Ｅ＋Ｓ・ｄ−ｄ） ・・・・・・・・・（１１）
【０１０２】
従って、視距離が元のＳ倍になった場合、その視距離の変化を打ち消すためには、式（１１）の非線形変換式によって得られる視差量ｄ’となるように視差量を変化させればよい。
【０１０３】
図１６は、視距離の変化（Ｌ’／Ｌ）が２００％と５０％になったときの式（１１）を示している。
【０１０４】
なお、本実施の形態では、仮想カメラ間隔を視差制御パラメータとして与えるので、視距離が元のＳ倍になった場合、視距離の変化を打ち消すためには、
Ｃ（ｄ）＝ｄ’／ｄ ・・・・・・・・・・・・・（１２）
で得られる仮想カメラ間隔Ｃ（ｄ）を、補正量として与えることになる。
【０１０５】
図１７Ａは、視距離Ｌ＝１５００ｍｍ、ディスプレイサイズ＝４２インチ、両眼間隔Ｅ＝６５ｍｍの視環境から、視距離Ｌ’が２倍に変化したときの式（１１）を示している。
【０１０６】
また、図１７Ｂは、図１７Ａに示した式（１１）を、式（１２）の仮想カメラ間隔Ｃ（ｄ）＝ｄ’／ｄで示した図である。
【０１０７】
次に、ディスプレイサイズが元のＳ倍のディスプレイサイズになったときの補正量について説明する。
【０１０８】
ディスプレイサイズがＳ倍になると、視差量もＳ倍になるので、視差量を１／Ｓ倍にする仮想カメラ間隔または画像スケーリング量を補正量とすればよい。例えば、視差量が４倍になった場合には、仮想カメラ間隔を２５％とするか、または、画像スケーリング量を２５％とすればよい。
【０１０９】
また、仮想カメラ間隔と画像スケーリング量を組み合わせた補正量としてもよい。例えば、仮想カメラ間隔と画像スケーリング量の制御の比率が５０：５０である場合、仮想カメラ間隔５０％の画像を生成し、その生成された３Ｄ画像に画像スケーリング量５０％の画像スケーリング処理を行ってもよい。
【０１１０】
次に、両眼間隔が元のＳ倍の両眼間隔Ｅ’＝Ｓ・Ｅになったときの補正量について説明する。
【０１１１】
上述した視距離の場合と同様に、両眼間隔Ｅ’になったときの奥行きＺｃをＺ’と書くことにすると、式（６）は次式（１３）で表すことができる。
Ｚ’（ｄ）＝Ｌ・ｄ／（Ｓ・Ｅ＋ｄ） ・・・・・・・・・・・（１３）
【０１１２】
ここで、元の奥行きＺと変化後の奥行きＺ’が同じになるような式（９）の変換式を考える。
【０１１３】
式（１３）に視差量変換を施すと式（１４）となる。
Ｚ’（ｄ’）＝Ｌ・ｄ’／（Ｓ・Ｅ＋ｄ’） ・・・・・・・・・（１４）
【０１１４】
ＺとＺ’が同じになるような変換式ｄ’＝ｆ（ｄ）を求めればよいので、式（１３）と式（１４）より、次式（１５）が求められる。
Ｚ＝Ｚ’
Ｌ・ｄ／（Ｅ＋ｄ）＝Ｌ・ｄ’／（Ｓ・Ｅ＋ｄ’）
ｄ’・（Ｅ＋ｄ）＝ｄ・（Ｓ・Ｅ＋ｄ’）
ｄ’・Ｅ＋ｄ’・ｄ＝ｄ・Ｓ・Ｅ＋ｄ・ｄ’
ｄ’＝Ｓ・ｄ ・・・・・・・・・・・・（１５）
【０１１５】
従って、両眼間隔が元のＳ倍になった場合、視差量を元のＳ倍にすることで、両眼間隔の変化による奥行きの変化を打ち消すことができる。
【０１１６】
以上の説明における、変化前の視距離、ディスプレイサイズ、および両眼間隔が、本実施の形態における想定視環境パラメータとなり、変化後の視距離、ディスプレイサイズ、および両眼間隔が、実視環境パラメータに相当する。
【０１１７】
図１８は、上述した視距離、ディスプレイサイズ、および両眼間隔の想定視環境パラメータと実視環境パラメータが異なる場合の、変化を打ち消すための処理をまとめた図である。
【０１１８】
なお、図１８では、Ｓ＝４or１／４、即ち、視距離、ディスプレイサイズ、および両眼間隔の各視環境パラメータが、元の４倍または１／４倍に変化した場合の例を示している。
【０１１９】
また、仮想カメラ間隔と画像スケーリング量を組み合わせた補正量とする例では、仮想カメラ間隔と画像スケーリング量の制御の比率が５０：５０である場合の例を示している。
【０１２０】
仮想カメラ間隔を制御した画像では、オクルージョンがある画像に対してアーティファクトが発生する。また、スケーリングによる画像では、画像のアスペクト比が変わる。そこで、仮想カメラ間隔制御とスケーリング制御を組み合わせることで、アーティファクトを低減しつつ、アスペクト比の変化を抑える制御を行うことができる。この場合、スケーリング量をＲｓ、仮想カメラ間隔をＲｃ、必要な視差量の倍率をＲ’とすると、Ｒ’＝Ｒｓ・ＲｃとなるようなＲｓとＲｃを用いることができる。
【０１２１】
［補正処理部５４の第１の補正処理］
次に、図１９のフローチャートを参照して、補正処理部５４の第１の構成による補正処理、即ち、図８のステップＳ３４の第１の補正処理の詳細について説明する。
【０１２２】
なお、本実施の形態においては、仮想カメラ間隔と画像スケーリング量の制御の比率は、５０：５０であるとする。また、本実施の形態においては、説明を簡単にするため、視距離、ディスプレイサイズ、および両眼間隔の３つの視環境パラメータのうち、いずれか一つのみが異なる例として説明する。
【０１２３】
初めに、ステップＳ５１において、視差制御パラメータ算出部８１は、読出部５１から供給された想定視環境パラメータと、操作入力部５５から供給された実視環境パラメータを取得する。なお、実視環境パラメータは、操作入力部５５において入力されたものが所定の記憶部に予め記憶されており、その記憶部から視差制御パラメータ算出部８１が取得するようにしてもよい。
【０１２４】
ステップＳ５２において、視差検出部９１は、ブロックマッチングの手法等を用いて、ビデオデコーダ５３から供給される左目用画像と右目用画像の各画素の視差量を検出する。検出された左目用画像と右目用画像の各画素の視差量は、例えば、視差マップとして、仮想カメラ間隔画像生成部９２に供給される。
【０１２５】
ステップＳ５３において、視差制御パラメータ算出部８１は、供給された想定視環境パラメータと実視環境パラメータとを比較して、視距離が異なるかを判定する。ステップＳ５３で、視距離が異なると判定された場合、処理はステップＳ５４に進み、視差制御パラメータ算出部８１は、視距離の変化に応じた仮想カメラ間隔を求める。ここで、仮想カメラ間隔は、式（１１）および式（１２）により決定され、変化前は、想定視環境パラメータの視距離であり、変化後は実視環境パラメータの視距離である。視差制御パラメータ算出部８１は、得られた視差制御パラメータとしての仮想カメラ間隔を、仮想カメラ間隔画像生成部９２に供給する。
【０１２６】
そして、ステップＳ５５として、仮想カメラ間隔画像生成部９２は、視差制御パラメータ算出部８１から供給された仮想カメラ間隔の左目用画像と右目用画像を生成し、画像スケーリング部９３に供給する。画像スケーリング部９３は、供給された左目用画像と右目用画像をそのまま出力する。
【０１２７】
一方、ステップＳ５３で、視距離が同一であると判定された場合には、ステップＳ５４およびＳ５５の処理はスキップされ、処理はステップＳ５６に進む。
【０１２８】
ステップＳ５６において、視差制御パラメータ算出部８１は、供給された想定視環境パラメータと実視環境パラメータとを比較して、ディスプレイサイズが異なるかを判定する。ステップＳ５６で、ディスプレイサイズが異なると判定された場合、処理はステップＳ５７に進み、視差制御パラメータ算出部８１は、ディスプレイサイズの変化に応じた仮想カメラ間隔と画像スケーリング量を求める。ここで、仮想カメラ間隔と画像スケーリング量の制御の比率は、５０：５０であるので、視差制御パラメータ算出部８１は、ディスプレイサイズの変化に伴う視差量の変化量の半分を補正するための仮想カメラ間隔と画像スケーリング量を求める。視差制御パラメータ算出部８１は、得られた仮想カメラ間隔を仮想カメラ間隔画像生成部９２に供給し、得られた画像スケーリング量を画像スケーリング部９３に供給する。
【０１２９】
ステップＳ５８において、仮想カメラ間隔画像生成部９２は、視差制御パラメータ算出部８１から供給された仮想カメラ間隔の左目用画像と右目用画像を生成し、画像スケーリング部９３に供給する。
【０１３０】
ステップＳ５９において、画像スケーリング部９３は、視差制御パラメータ算出部８１から供給された画像スケーリング量の左目用画像と右目用画像を生成し、出力する。
【０１３１】
一方、ステップＳ５６で、ディスプレイサイズが同一であると判定された場合には、ステップＳ５７乃至Ｓ５９の処理はスキップされる。
【０１３２】
そして、ステップＳ６０において、視差制御パラメータ算出部８１は、供給された想定視環境パラメータと実視環境パラメータとを比較して、両眼間隔が異なるかを判定する。ステップＳ６０で、両眼間隔が異なると判定された場合、処理はステップＳ６１に進み、視差制御パラメータ算出部８１は、両眼間隔の変化に応じた仮想カメラ間隔と画像スケーリング量を求める。ここで、仮想カメラ間隔と画像スケーリング量の制御の比率は、５０：５０であるので、視差制御パラメータ算出部８１は、両眼間隔の変化に伴う視差量の変化量の半分を補正するための仮想カメラ間隔と画像スケーリング量を求める。視差制御パラメータ算出部８１は、得られた仮想カメラ間隔を仮想カメラ間隔画像生成部９２に供給し、得られた画像スケーリング量を画像スケーリング部９３に供給する。
【０１３３】
ステップＳ６２において、仮想カメラ間隔画像生成部９２は、視差制御パラメータ算出部８１から供給された仮想カメラ間隔の左目用画像と右目用画像を生成し、画像スケーリング部９３に供給する。
【０１３４】
ステップＳ６３において、画像スケーリング部９３は、視差制御パラメータ算出部８１から供給された画像スケーリング量の左目用画像と右目用画像を生成し、出力して、処理を終了する。
【０１３５】
以上のように、補正処理部５４の第１の構成によれば、仮想カメラ間隔または画像スケーリング量を変更する処理を行うことで、想定視環境パラメータと実視環境パラメータの違いのためユーザが知覚する立体感の歪みを補正することができる。
【０１３６】
なお、上述した例では、第１の補正処理を、視距離、ディスプレイサイズ、および両眼間隔の３つの視環境パラメータのうちの一つのみが異なる例として説明したが、２以上の視環境パラメータが異なる場合でも同様に補正することができる。例えば、視距離とディスプレイサイズの２つが異なる場合に、視距離の違いによる仮想カメラ間隔とディスプレイサイズの違いによる仮想カメラ間隔とを乗算した結果が、補正する補正量としての仮想カメラ間隔となる。
【０１３７】
また、上述した例では、仮想カメラ間隔と画像スケーリング量の制御の比率を５０：５０であるとして説明したが、仮想カメラ間隔または画像スケーリング量のいずれか一方で補正する場合には、ステップＳ５８またはＳ５９とステップＳ６２またはＳ６３の一方が省略される。
【０１３８】
＜補正処理部５４の第２の実施の形態＞
［補正処理部５４の第２の構成による補正処理の説明］
次に、補正処理部５４の第２の構成が行う補正処理について説明する。
【０１３９】
上述した補正処理部５４の第１の構成では、仮想カメラ間隔と画像スケーリング量を変更することにより立体感の歪みが補正された。これに対し、補正処理部５４の第２の構成では、左目用画像と右目用画像を視差の生じている方向（横方向）にシフトすることにより、想定視環境パラメータと実視環境パラメータの違いからくる立体感の歪みを補正する。この場合の視差制御パラメータは、画像シフトさせる画素量である画像シフト量となる。
【０１４０】
図２０は、画像シフトによる補正前後の左目用画像と右目用画像の例を示している。
【０１４１】
図２０において、オリジナル画像として示されている左目用画像と右目用画像が、補正前の画像である。
【０１４２】
図２０において、外側シフト画像として示されている左目用画像と右目用画像は、左右の画像で合わせて１００ピクセル外側（−１００ピクセル）の方向、換言すれば、奥行きが奥方向に変化するように画像全体をシフトさせた画像である。
【０１４３】
そして、図２０において、内側シフト画像として示されている左目用画像と右目用画像は、左右の画像で合わせて１００ピクセル内側（＋１００ピクセル）の方向、換言すれば、奥行きが手前方向に変化するように画像全体をシフトさせた画像である。
【０１４４】
図２１は、図２０の例のように画像シフト量を変更した場合の視差量の変化を示している。
【０１４５】
図２１に示されるように、外側シフトを行うと奥行きは奥方向に変化し、内側シフトを行うと奥行きは手前方向に変化する。
【０１４６】
なお、画像シフトによる補正処理では、想定視環境パラメータと実視環境パラメータの違いのためユーザが知覚する立体感の歪みを完全に補正することができない。そこで、補正処理部５４の第２の構成は、左目用画像と右目用画像の各画素の視差量全体の平均値、最大値、最小値、または最頻値などの、所定の視差量の部分をピンポイント的に補正する。
【０１４７】
例えば、図２２Aは、ある左目用画像と右目用画像の各画素の視差量の頻度分布を示している。実視環境のディスプレイサイズが想定視環境に対して２倍である場合、ユーザが視聴する左目用画像と右目用画像の各画素の視差量の頻度分布は、図２２Bのようになる。
【０１４８】
図２２Bに示される、実視環境における視差量の頻度分布では、ディスプレイサイズが２倍となったことにより、ディスプレイより奥はさらに奥側へ、ディスプレイより手前はさらに手前側になり、視差量は、視差０を中心に２倍となる。
【０１４９】
そして、図２２Cは、図２２Bの実視環境における視差量の頻度分布を、例えば、視差量の最頻値が一致するような画像シフトを行った結果を示している。
【０１５０】
このように、補正処理部５４の第２の構成では、左目用画像と右目用画像に対して、所定の視差量の部分をピンポイント的に補正する画像シフト処理が行われる。
【０１５１】
［補正処理部５４の第２の構成例］
図２３は、上述した画像シフト処理を行う補正処理部５４の第２の構成例を示すブロック図である。
【０１５２】
図２３の補正処理部５４は、視差制御パラメータ算出部１０１と視差制御部１０２により構成される。さらに、視差制御部１０２は、視差検出部１１１および画像シフト部１１２により構成される。
【０１５３】
読出部５１からの想定視環境パラメータと、操作入力部５５からの実視環境パラメータは、視差制御パラメータ算出部１０１に供給される。また、視差制御パラメータ算出部１０１には、視差制御部１０２の視差検出部１１１から、視差マップが供給される。
【０１５４】
視差制御パラメータ算出部１０１は、視差検出部１１１から供給される視差マップに基づいて、左目用画像と右目用画像の各画素の視差量の頻度分布を生成する。
【０１５５】
視差制御パラメータ算出部１０１は、想定視環境パラメータと実視環境パラメータとの差から、生成された頻度分布の所定の基準ポイントを画像シフトする画像シフト量を算出する。なお、視差制御パラメータ算出部１０１には、左目用画像と右目用画像の各画素の視差量全体の平均値、最大値、最小値、または最頻値の、いずれを基準ポイントとした画像シフトを行うかが予め記憶されている。平均値、最大値、最小値、または最頻値の、いずれを基準とした画像シフトを行うかは、例えば、設定画面等によりユーザにより指定され、記憶される。視差制御パラメータ算出部１０１は、算出の結果得られた視差制御パラメータとしての画像シフト量を、視差制御部１０２の画像シフト部１１２に供給する。
【０１５６】
視差検出部１１１は、補正処理部５４の第１の構成における視差検出部９１と同様、ブロックマッチングの手法等を用いて、左目用画像と右目用画像の各画素の視差量を検出する。検出結果としての視差マップは、視差制御パラメータ算出部１０１に供給される。
【０１５７】
画像シフト部１１２は、ビデオデコーダ５３（図７）から供給されるオリジナル（補正前）の画像である左目用画像と右目用画像に対し、視差制御パラメータ算出部１０１から供給される画像シフト量による画像シフト処理を実行する。そして、画像シフト処理後の左目用画像と右目用画像の画像データが、表示部６１（図７）に出力される。
【０１５８】
［視環境パラメータの変化と画像シフト量の変化の関係］
次に、視距離、両眼間隔、およびディスプレイサイズの各視環境パラメータの変化と画像シフト量の変化の関係について説明する。
【０１５９】
最初に、視距離が元のＳ倍の視距離Ｌ’＝Ｓ・Ｌになったときの画像シフト量について説明する。
【０１６０】
視距離が元の視距離ＬのＳ倍の視距離Ｌ’＝Ｓ・Ｌになったときの奥行きＺａは、上述した式（２）で表される。また、視距離Ｌ’になったときの奥行きＺａをＺ’と書くことにすると、式（２）は式（８）で表される。
【０１６１】
ここで、元の奥行きＺと変化後の奥行きＺ’が同じになるような視差量ｄの変換式を考える。変換後の視差量をｄ’、求めるべき画像シフト量shiftとすると、変換式は式（１６）のように定義することができる。
ｄ’＝ｆ（ｄ）＝ｄ＋shift ・・・・・・・・・・・・・・（１６）
【０１６２】
そして、ＺとＺ’が同じになるような変換式ｄ’＝ｆ（ｄ）を求めればよいので、上述した式（１１）を用いて、画像シフト量shiftは、式（１７）のように表すことができる。
ｄ’＝ｄ・Ｅ／（Ｓ・Ｅ＋Ｓ・ｄ−ｄ）
ｄ＋shift＝ｄ・Ｅ／（Ｓ・Ｅ＋Ｓ・ｄ−ｄ）
shift＝ｄ・Ｅ／（Ｓ・Ｅ＋Ｓ・ｄ−ｄ）−ｄ・・・・・・・・・・・・（１７）
【０１６３】
従って、視距離が元のＳ倍になった場合には、視距離の変化を打ち消すためには、式（１７）で表される画像シフト量shiftだけ画像シフトを行えばよい。
【０１６４】
例えば、視距離Ｌ＝１５００ｍｍ、ディスプレイサイズ＝４６インチ、両眼間隔Ｅ＝６５ｍｍ、最大視差量＝２０ピクセル（ピクセルピッチが０．５３ｍｍ／ピクセルとして１０．６ｍｍ）である場合に、視距離が２倍になったときの画像シフト量shiftは、以下に示すように、−１１ピクセルである。
shift＝１０．６×６５／（２．０×６５＋２．０×１０．６−１０．６）−１０．６
＝−５．７ｍｍ
＝−１０．８ピクセル
≒−１１ピクセル
【０１６５】
次に、両眼間隔が元のＳ倍になったときの画像シフト量について説明する。
【０１６６】
両眼間隔がＳ倍になったとき、その変換を打ち消すためには、式（１５）の通り、視差量をＳ倍にする必要がある。また、式（１６）より、ｄ’＝ｄ＋shiftであるから、画像シフト量shiftは、式（１８）のように表すことができる。
ｄ’＝Ｓ・ｄ
ｄ＋shift＝Ｓ・ｄ
shift＝（Ｓ−１）・ｄ・・・・・・・・・・・・・・（１８）
【０１６７】
従って、両眼間隔がＳ倍になった場合、視距離の変化を打ち消すためには、式（１８）で表される画像シフト量shiftだけ画像シフトを行えばよい。なお、式（１８）における視差量ｄは、左目用画像と右目用画像の各画素の視差量全体の平均値、最大値、最小値、または最頻値などの、基準ポイントの変換前の視差量を表す。
【０１６８】
例えば、変換前の基準ポイントの視差量の最大値が２０ピクセルであり、両眼間隔が２倍になったときの画像シフト量shiftは、
shift＝（２−１）×２０＝２０ピクセル
となり、２０ピクセルである。
【０１６９】
図２４は、視距離、ディスプレイサイズ、および両眼間隔の想定視環境パラメータと実視環境パラメータが異なる場合に、画像シフト補正によって変化を打ち消すための処理をまとめた図である。
【０１７０】
なお、図２４では、Ｓ＝４or１／４、即ち、視距離、ディスプレイサイズ、および両眼間隔の各視環境パラメータが、元の４倍または１／４倍に変化した場合の例を示している。
【０１７１】
［補正処理部５４の第２の構成例による補正処理］
次に、図２５のフローチャートを参照して、補正処理部５４の第２の構成による補正処理、即ち、図８のステップＳ３４の第２の補正処理の詳細について説明する。なお、図２５の処理においても、図１９と同様に、視距離、ディスプレイサイズ、および両眼間隔の３つの視環境パラメータのうち、いずれか一つのみが異なる例として説明する。
【０１７２】
初めに、ステップＳ７１において、視差制御パラメータ算出部１０１は、読出部５１から供給された想定視環境パラメータと、操作入力部５５から供給された実視環境パラメータを取得する。
【０１７３】
ステップＳ７２において、視差検出部１１１は、ブロックマッチングの手法等を用いて、ビデオデコーダ５３から供給される左目用画像と右目用画像の各画素の視差量を検出する。検出された左目用画像と右目用画像の各画素の視差量は、例えば、視差マップとして、視差制御パラメータ算出部１０１に供給される。
【０１７４】
ステップＳ７３において、視差制御パラメータ算出部１０１は、視距離、ディスプレイサイズ、または両眼間隔の変化に応じた画像シフト量を求める。得られた画像シフト量は、画像シフト部１１２に供給される。
【０１７５】
ステップＳ７４において、画像シフト部１１２は、視差制御パラメータ算出部１０１から供給された画像シフト量だけシフトした左目用画像と右目用画像を生成する。そして、画像シフト部１１２は、生成された画像シフト後の左目用画像と右目用画像の画像データを出力して、処理を終了する。
【０１７６】
以上のように、補正処理部５４の第２の構成によれば、画像シフト処理を行うことで、想定視環境パラメータと実視環境パラメータの違いのためユーザが知覚する立体感の歪みを補正することができる。
【０１７７】
なお、上述した例では、補正処理部５４は、第１の構成または第２の構成のいずれか一方を有するとして説明したが、第１の構成または第２の構成の両方を備え、いずれの補正処理をも実行可能に構成することができる。この場合、第１の補正処理または第２の補正処理のいずれを行うかをユーザに選択させたり、再生される画像によって選択するようにさせることができる。
【０１７８】
また、視環境のパラメータは、両眼間隔、視距離、および、ディスプレイサイズの３種類として説明したが、これら３種類のうちの１つまたは２つでもよい。
【０１７９】
さらに、上述した例では、本発明を再生装置に適用した例について説明したが、本発明は再生装置以外の装置にも適用することができる。例えば、３Ｄコンテンツの画像データと想定視環境パラメータは、衛星放送、ケーブルTV、インターネットなどのネットワークを介した伝送により提供されてもよい。従って、本発明はネットワークを介した伝送により送信されてくる３Ｄコンテンツの画像データと想定視環境パラメータを受信して、想定視環境パラメータと実視環境パラメータとの差に応じて３Ｄ画像を補正し、表示させる表示装置や記録再生装置にも適用できる。また、３Ｄコンテンツの画像データと想定視環境パラメータを取得するとともに、実視環境パラメータを取得して、３Ｄ画像を補正して出力する画像処理装置単体として構成してもよい。
【０１８０】
[本発明を適用したコンピュータの実施の形態]
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８１】
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８２】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１８３】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１８４】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。
【０１８５】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１８６】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１８７】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１８８】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１８９】
本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１９０】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１９１】
上述した実施の形態は、３Ｄ画像として、視点の数が２個である２視点の３Ｄ画像について説明したが、視点の数が３以上の多視点の３Ｄ画像についても同様に適用できる。
【０１９２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１９３】
５０ 再生装置， ５１ 読出部， ５４ 補正処理部， ５５ 操作入力部， ８１ 視差制御パラメータ算出部， ８２ 視差制御部， ９１ 視差検出部， ９２ 仮想カメラ間隔画像生成部， ９３ 画像スケーリング部， １０１ 視差制御パラメータ算出部， １０２ 視差制御部， １１１ 視差検出部， １１２ 画像シフト部
【特許請求の範囲】
【請求項１】
３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータを取得する第１の取得手段と、
前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得する第２の取得手段と、
取得された前記想定視環境パラメータと前記実視環境パラメータの差に応じて前記３Ｄ画像を補正する補正処理手段と
を備える画像処理装置。
【請求項２】
前記視環境パラメータは、両眼間隔、視距離、および、ディスプレイサイズのうちの少なくとも１つである
請求項１に記載の画像処理装置。
【請求項３】
取得された前記３Ｄ画像は、所定のカメラ間隔で撮像された左目用画像と右目用画像で構成され、
前記補正処理手段は、
前記所定のカメラ間隔を、仮想のカメラ間隔に変更した左目用画像と右目用画像を生成する仮想カメラ間隔画像生成手段と、
前記左目用画像と右目用画像をスケーリングする画像スケーリング手段と、
前記想定視環境パラメータと前記実視環境パラメータの前記両眼間隔、視距離、または、ディスプレイサイズの差から、前記仮想カメラ間隔画像生成手段の補正量である前記仮想のカメラ間隔、または、前記画像スケーリング手段の補正量である画像スケーリング量を算出する制御パラメータ算出手段と
を備える
請求項２に記載の画像処理装置。
【請求項４】
取得された前記３Ｄ画像は、左目用画像と右目用画像で構成され、
前記補正処理手段は、
前記左目用画像と右目用画像の視差量が所定量になるように前記左目用画像と右目用画像をシフトする画像シフト処理手段と、
前記想定視環境パラメータと前記実視環境パラメータの前記両眼間隔、視距離、または、ディスプレイサイズの差から、前記左目用画像と右目用画像の視差量が前記所定量になるための画像シフト量を算出する制御パラメータ算出手段と
を備える
請求項２に記載の画像処理装置。
【請求項５】
データを取得する第１および第２の取得手段と、３Ｄ画像を補正する補正処理手段とを備える画像処理装置の、
前記第１の取得手段が、前記３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータを取得し、
前記第２の取得手段が、前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得し、
前記補正処理手段が、取得された前記想定視環境パラメータと前記実視環境パラメータの差に応じて前記３Ｄ画像を補正する
ステップを含む画像処理方法。
【請求項６】
コンピュータに、
３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータを取得させ、
前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得させ、
取得された前記想定視環境パラメータと前記実視環境パラメータの差に応じて前記３Ｄ画像を補正する
ステップを含む処理を実行させるためのプログラム。
【請求項１】
３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータを取得する第１の取得手段と、
前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得する第２の取得手段と、
取得された前記想定視環境パラメータと前記実視環境パラメータの差に応じて前記３Ｄ画像を補正する補正処理手段と
を備える画像処理装置。
【請求項２】
前記視環境パラメータは、両眼間隔、視距離、および、ディスプレイサイズのうちの少なくとも１つである
請求項１に記載の画像処理装置。
【請求項３】
取得された前記３Ｄ画像は、所定のカメラ間隔で撮像された左目用画像と右目用画像で構成され、
前記補正処理手段は、
前記所定のカメラ間隔を、仮想のカメラ間隔に変更した左目用画像と右目用画像を生成する仮想カメラ間隔画像生成手段と、
前記左目用画像と右目用画像をスケーリングする画像スケーリング手段と、
前記想定視環境パラメータと前記実視環境パラメータの前記両眼間隔、視距離、または、ディスプレイサイズの差から、前記仮想カメラ間隔画像生成手段の補正量である前記仮想のカメラ間隔、または、前記画像スケーリング手段の補正量である画像スケーリング量を算出する制御パラメータ算出手段と
を備える
請求項２に記載の画像処理装置。
【請求項４】
取得された前記３Ｄ画像は、左目用画像と右目用画像で構成され、
前記補正処理手段は、
前記左目用画像と右目用画像の視差量が所定量になるように前記左目用画像と右目用画像をシフトする画像シフト処理手段と、
前記想定視環境パラメータと前記実視環境パラメータの前記両眼間隔、視距離、または、ディスプレイサイズの差から、前記左目用画像と右目用画像の視差量が前記所定量になるための画像シフト量を算出する制御パラメータ算出手段と
を備える
請求項２に記載の画像処理装置。
【請求項５】
データを取得する第１および第２の取得手段と、３Ｄ画像を補正する補正処理手段とを備える画像処理装置の、
前記第１の取得手段が、前記３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータを取得し、
前記第２の取得手段が、前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得し、
前記補正処理手段が、取得された前記想定視環境パラメータと前記実視環境パラメータの差に応じて前記３Ｄ画像を補正する
ステップを含む画像処理方法。
【請求項６】
コンピュータに、
３Ｄ画像の画像データとともに、想定される視環境のパラメータである想定視環境パラメータを取得させ、
前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得させ、
取得された前記想定視環境パラメータと前記実視環境パラメータの差に応じて前記３Ｄ画像を補正する
ステップを含む処理を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１１−２２３４８２（Ｐ２０１１−２２３４８２Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−９２８１６（Ｐ２０１０−９２８１６）
【出願日】平成２２年４月１４日（２０１０．４．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月１４日（２０１０．４．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]