表示制御装置および表示制御方法、並びに画像生成装置および画像生成方法
【課題】左目用の２Ｄ画像と右目用の２Ｄ画像が、互いに逆の位相が間引かれて多重化される場合において、復元後の左目用の２Ｄ画像と右目用の２Ｄ画像の画質をより向上させる。
【解決手段】フレームシーケンス表示制御部７３は、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、ゼロ補間後の多重化画像の左半分の領域の画像を左目用の表示画像とし、ゼロ補間後の多重化画像の右半分の領域の画像を右目用の表示画像として、高速で交互に表示させる。３Ｄメガネ制御部７４は、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す情報である場合、ユーザが装着する３Ｄメガネの左目用のシャッタと右目用のシャッタの両方を開くように、３Ｄメガネを制御する。本発明は、例えば復号装置に適用することができる。
【解決手段】フレームシーケンス表示制御部７３は、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、ゼロ補間後の多重化画像の左半分の領域の画像を左目用の表示画像とし、ゼロ補間後の多重化画像の右半分の領域の画像を右目用の表示画像として、高速で交互に表示させる。３Ｄメガネ制御部７４は、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す情報である場合、ユーザが装着する３Ｄメガネの左目用のシャッタと右目用のシャッタの両方を開くように、３Ｄメガネを制御する。本発明は、例えば復号装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置および表示制御方法、並びに画像生成装置および画像生成方法に関し、特に、左目用の２Ｄ画像と右目用の２Ｄ画像が、互いに逆の位相が間引かれて多重化される場合において、復元後の左目用の２Ｄ画像と右目用の２Ｄ画像の画質をより向上させることができるようにした表示制御装置および表示制御方法、並びに画像生成装置および画像生成方法に関する。
【背景技術】
【０００２】
近年、３Ｄ画像の視聴が話題であり、３Ｄ画像の処理方法が多く提案されている。例えば、３Ｄ画像の符号化方法および復号方法として、多視点の画像用の方法が提案されている（例えば、特許文献１参照）。
【０００３】
また、３Ｄ画像を構成する左目用の画像と右目用の画像を1フレームのHD（High Definition）画像に多重化する方法も提案されている。多重化方式としては、３Ｄ画像を構成する左目用の画像と右目用の画像を画面上の左右に分割して配置するサイドバイサイド方式、左目用の画像と右目用の画像を画面上の上下に分割して配置するオーバーアンドアンダー方式などがある。
【０００４】
３Ｄ画像が1フレームのHD画像に多重化される場合、２Ｄ画像と同一のビデオレートで３Ｄ画像を伝送したり、蓄積したりすることができる。また、符号化方式として、２Ｄ画像と同一の、既存のAVC（Advanced Video Coding）方式やMPEG2（Moving Picture Experts Group phase 2）方式などを用いることができるため、既存の符号化装置や復号装置で３Ｄ画像を取り扱うことができる。
【０００５】
一方、1本のビデオストリームは３Ｄ画像と２Ｄ画像から構成される場合がある。例えば、放送用のビデオストリームにおいて、３Ｄの制作画像と２Ｄのコマーシャル画像が混在する場合や、映画のビデオストリームにおいて、製作者の意図により、３Ｄ画像のシーンと２Ｄ画像のシーンが混在する場合などがある。
【０００６】
図１は、２Ｄ画像と３Ｄ画像が混在する1本のビデオストリームを符号化し復号する従来の画像処理システムの構成の一例を示すブロック図である。
【０００７】
図１の画像処理システム１は、符号化装置１１と復号装置１２により構成される。符号化装置１１は、画像多重化部２１および画像符号化部２２により構成される。
【０００８】
符号化装置１１の画像多重化部２１には、２Ｄ画像と３Ｄ画像が混在する1本のビデオストリームが入力され、画像多重化部２１は、２Ｄ画像と３Ｄ画像を入力画像として取得する。なお、２Ｄ画像は、同一の視点の左目用の画像と右目用の画像により構成され、３Ｄ画像は、異なる視点の左目用の画像と右目用の画像により構成される。
【０００９】
画像多重化部２１は、サイドバイサイド方式で入力画像を多重化する多重化処理を行う。具体的には、画像多重化部２１は、入力画像に対してローパスフィルタ処理を施し、入力画像の帯域を半分にする。そして、画像多重化部２１は、ローパスフィルタ処理後の入力画像のうちの左目用の画像の水平方向の位置が偶数位置である画素を抽出することにより、その左目用の画像を1/2に縮小し、多重化画像の左半分の領域の画像とする。また、画像多重化部２１は、ローパスフィルタ処理の結果得られる右目用の画像の水平方向の位置が奇数位置である画素を抽出することにより、その右目用の画像を1/2に縮小し、多重化画像の右半分の領域の画像とする。そして、画像多重化部２１は、多重化処理の結果得られる入力画像と同一のサイズの多重化画像を画像符号化部２２に供給する。
【００１０】
画像符号化部２２は、画像多重化部２１から供給される多重化画像を、AVC等の符号化方式で符号化し、その結果得られる符号化ストリームを復号装置１２に供給する。
【００１１】
復号装置１２は、画像復号部３１、画像分離部３２、フレームシーケンス表示制御部３３、および３Ｄメガネ制御部３４により構成される。
【００１２】
復号装置１２の画像復号部３１は、画像符号化部２２から供給される符号化ストリームを、画像符号化部２２における符号化方式に対応する方式で復号し、その結果得られる多重化画像を画像分離部３２に供給する。
【００１３】
画像分離部３２は、画像復号部３１から供給される多重化画像の左右半分の領域を分離する分離処理を行う。具体的には、画像分離部３２は、多重化画像の左半分の領域の各画素を、水平方向の位置が偶数位置である画素とし、水平方向の位置が奇数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。そして、画像分離部３２は、生成された画像に対してローパスフィルタ処理を施すことにより、その画像の帯域を入力画像の半分にする。画像分離部３２は、ローパスフィルタ処理の結果得られる画像を、左目用の表示画像としてフレームシーケンス表示制御部３３に供給する。
【００１４】
また、画像分離部３２は、多重化画像の右半分の領域の各画素を、水平方向の位置が奇数位置である画素とし、水平方向の位置が偶数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。そして、画像分離部３２は、生成された画像に対してローパスフィルタ処理を施すことにより、その画像の帯域を入力画像の半分にする。画像分離部３２は、ローパスフィルタ処理の結果得られる画像を、右目用の表示画像としてフレームシーケンス表示制御部３３に供給する。
【００１５】
フレームシーケンス表示制御部３３（表示制御手段）は、画像分離部３２から供給される左目用の表示画像と右目用の表示画像を、交互に図示せぬ表示装置に表示させる。また、フレームシーケンス表示制御部３３は、表示対象が左目用の表示画像であるか、または、右目用の表示画像であるかを表す表示情報を、３Ｄメガネ制御部３４に供給する。
【００１６】
３Ｄメガネ制御部３４（メガネ制御手段）は、フレームシーケンス表示制御部３３から供給される表示情報に基づいて、左目用の表示画像の表示時に図示せぬ３Ｄメガネの左目用のシャッタが開き、右目用の表示画像の表示時に右目用のシャッタが開くように、３Ｄメガネを制御する。これにより、３Ｄメガネを装着したユーザは、図示せぬ表示装置に表示される左目用の表示画像を左目だけで見て、右目用の表示画像を右目だけで見ることができる。その結果、左目用の表示画像と右目用の表示画像が異なる視点の画像である場合、ユーザは、３Ｄ画像を見ることができ、左目用の表示画像と右目用の画像が同一の視点の画像である場合、ユーザは、２Ｄ画像を見ることができる。
【００１７】
以上のように、画像多重化部２１は、間引き前にローパスフィルタ処理を施すので、縮小による折り返り歪みを防止することができる。また、画像分離部３２は、補間後の画像に対してローパスフィルタ処理を施すので、補間により発生するイメージング成分を除去することができる。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００８−１８２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
しかしながら、ローパスフィルタ処理により、処理後の画像の帯域は処理前の帯域の半分になるため、図示せぬ表示装置に表示される２Ｄ画像の帯域は、入力画像の帯域の半分になる。即ち、図示せぬ表示装置に表示される２Ｄ画像の表示解像度は、入力画像の表示解像度の半分になる。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、左目用の２Ｄ画像と右目用の２Ｄ画像が、互いに逆の位相が間引かれて多重化される場合において、復元後の左目用の２Ｄ画像と右目用の２Ｄ画像の画質をより向上させることができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の第１の側面の表示制御装置は、所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像の前記所定の位相を０で補間し、前記間引き後の右目用の画像の前記所定の位相と逆の位相を０で補間する分離手段と、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像の補間後の画像である補間左目画像を左目用の表示画像とし、前記間引き後の右目用の画像の補間後の画像である補間右目画像を右目用の表示画像として、交互に表示させる表示制御手段と、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、メガネの左目用のシャッタと右目用のシャッタの両方を開くように、前記メガネを制御するメガネ制御手段とを備える表示制御装置である。
【００２２】
本発明の第１の側面の表示制御方法は、本発明の第１の側面の表示制御装置に対応する。
【００２３】
本発明の第１の側面においては、所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像が、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離され、前記間引き後の左目用の画像の前記所定の位相が０で補間され、前記間引き後の右目用の画像の前記所定の位相と逆の位相が０で補間され、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像の補間後の画像である補間左目画像が左目用の表示画像とされ、前記間引き後の右目用の画像の補間後の画像である補間右目画像が右目用の表示画像とされて、交互に表示させられ、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、メガネの左目用のシャッタと右目用のシャッタの両方を開くように、前記メガネが制御される。
【００２４】
本発明の第２の側面の表示制御装置は、左目用の画像の所定の位相と、右目用の画像の前記所定の位相と逆の位相を間引き、間引き後の前記左目用の画像と前記右目用の画像を多重化する多重化手段と、前記多重化手段による多重化の結果得られる多重化画像における折り返り歪みに関する情報である歪み関連情報を生成する歪み関連情報生成手段と、前記多重化画像および前記歪み関連情報を送信する送信手段とを備える画像生成装置である。
【００２５】
本発明の第２の側面の画像生成方法は、本発明の第２の側面の画像生成装置に対応する。
【００２６】
本発明の第２の側面においては、左目用の画像の所定の位相と、右目用の画像の前記所定の位相と逆の位相が間引かれ、間引き後の前記左目用の画像と前記右目用の画像が多重化され、多重化の結果得られる多重化画像における折り返り歪みに関する情報である歪み関連情報が生成され、前記多重化画像および前記歪み関連情報が送信される。
【００２７】
本発明の第３の側面の表示制御装置は、所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像に対して前記間引き後の右目用の画像を用いてインターリーブ処理し、前記間引き後の右目用の画像に対して前記間引き後の左目用の画像を用いてインターリーブ処理する分離手段と、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像のインターリーブ処理後の画像である処理後左目画像を左目用の表示画像とし、前記間引き後の右目用の画像のインターリーブ処理後の画像である処理後右目画像を右目用の表示画像として、交互に表示させる表示制御手段と、前記左目用の表示画像の表示時にメガネの左目用のシャッタを開き、前記右目用の表示画像の表示時に前記メガネの右目用のシャッタを開くように、前記メガネを制御するメガネ制御手段とを備える表示制御装置である。
【００２８】
本発明の第３の側面の表示制御方法は、本発明の第３の側面の表示制御装置に対応する。
【００２９】
本発明の第３の側面においては、所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記多重化画像が、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離され、前記間引き後の左目用の画像に対して前記間引き後の右目用の画像を用いてインターリーブ処理が行われ、前記間引き後の右目用の画像に対して前記間引き後の左目用の画像を用いてインターリーブ処理が行われ、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像のインターリーブ処理後の画像である処理後左目画像が左目用の表示画像とされ、前記間引き後の右目用の画像のインターリーブ処理後の画像である処理後右目画像が右目用の表示画像とされて、交互に表示させられ、
前記左目用の表示画像の表示時にメガネの左目用のシャッタを開き、前記右目用の表示画像の表示時に前記メガネの右目用のシャッタを開くように、前記メガネが制御される。
【００３０】
第１および第３の側面の表示制御装置並びに第２の側面の画像生成装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであってもよい。
【発明の効果】
【００３１】
本発明の第１および第３の側面によれば、左目用の２Ｄ画像と右目用の２Ｄ画像が、互いに逆の位相が間引かれて多重化される場合において、復元後の左目用の２Ｄ画像と右目用の２Ｄ画像の画質をより向上させることができる。
【００３２】
また、本発明の第２の側面によれば、左目用の２Ｄ画像と右目用の２Ｄ画像が、互いに逆の位相が間引かれて多重化される場合において、復元後の左目用の２Ｄ画像と右目用の２Ｄ画像の画質をより向上させるための情報を送信することができる。
【図面の簡単な説明】
【００３３】
【図１】従来の画像処理システムの構成の一例を示すブロック図である。
【図２】本発明を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。
【図３】多重化画像を説明する図である。
【図４】フレームパッキングアレンジメントSEIの記述例を示す図である。
【図５】２Ｄシーン情報SEIの記述例を示す図である。
【図６】入力画像が２Ｄ画像である場合の多重化処理を説明する図である。
【図７】入力画像が２Ｄ画像である場合の分離処理を説明する図である。
【図８】入力画像が２Ｄ画像である場合の帯域を示す図である。
【図９】入力画像が３Ｄ画像である場合の多重化処理を説明する図である。
【図１０】入力画像が３Ｄ画像である場合の分離処理を説明する図である。
【図１１】入力画像が３Ｄ画像である場合の帯域を示す図である。
【図１２】符号化処理を説明するフローチャートである。
【図１３】復号処理を説明するフローチャートである。
【図１４】本発明を適用した画像処理システムの第２実施の形態の構成例を示すブロック図である。
【図１５】入力画像が２Ｄ画像である場合の分離処理を説明する図である。
【図１６】復号処理を説明するフローチャートである。
【図１７】本発明を適用した画像処理システムの第３実施の形態の構成例を示すブロック図である。
【図１８】２Ｄシーン情報SEIの記述例を示す図である。
【図１９】符号化処理を説明するフローチャートである。
【図２０】復号処理を説明するフローチャートである。
【図２１】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００３４】
＜第１実施の形態＞
［画像処理システムの第１実施の形態の構成例］
図２は、本発明を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。
【００３５】
図２の画像処理システム５０は、符号化装置５１と復号装置５２により構成される。画像処理システム５０は、入力画像が２Ｄ画像である場合には、多重化前および分離後にローパスフィルタ処理を行わず、入力画像が３Ｄ画像である場合には、多重化前および分離後にローパスフィルタ処理を行う。
【００３６】
具体的には、符号化装置５１は、２Ｄシーン判定部６１、画像多重化部６２、および画像符号化部６３により構成される。
【００３７】
符号化装置５１の２Ｄシーン判定部６１には、２Ｄ画像と３Ｄ画像が混在する1本のビットストリームが入力され、２Ｄシーン判定部６１は、その２Ｄ画像や３Ｄ画像を入力画像として取得する。
【００３８】
２Ｄシーン判定部６１は、入力画像が２Ｄ画像であるかどうかを判定する。この判定方法としては、例えば、入力画像を構成する左目用の画像と右目用の画像が同一であるかどうかを判定する方法、外部から入力画像が２Ｄ画像であるかどうかを示す情報を取得し、その情報に基づいて判定する方法などがある。２Ｄシーン判定部６１（２Ｄ情報生成手段）は、判定結果を示すフラグである２Ｄシーンフラグ（２Ｄ情報）を生成し、画像多重化部６２および画像符号化部６３に供給する。また、２Ｄシーン判定部６１は、入力画像を画像多重化部６２に供給する。
【００３９】
画像多重化部６２は、２Ｄシーン判定部６１から供給される２Ｄシーンフラグに基づいて、サイドバイサイド方式で入力画像を多重化する多重化処理を行う。
【００４０】
具体的には、画像多重化部６２は、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、入力画像に対してローパスフィルタ処理を行わず、入力画像そのものに対して、図１の画像多重化部２１による多重化と同様の多重化を行う。一方、画像多重化部６２は、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、画像多重化部２１による処理と同様に、入力画像に対してローパスフィルタ処理と多重化を行う。そして、画像多重化部６２は、多重化処理の結果得られる多重化画像を画像符号化部６３に供給する。
【００４１】
画像符号化部６３は、画像多重化部６２から供給される多重化画像と２Ｄシーン判定部６１から供給される２Ｄシーンフラグを用いて、AVC方式にしたがって符号化を行う。画像符号化部６３は、その結果得られる符号化ストリームを復号装置５２に送信する。
【００４２】
復号装置５２は、画像復号部７１、画像分離部７２、フレームシーケンス表示制御部７３、および３Ｄメガネ制御部７４により構成される。
【００４３】
復号装置５２の画像復号部７１（取得手段）は、符号化装置５１の画像符号化部６３から符号化ストリームを取得し、その符号化ストリームから、符号化された多重化画像、２Ｄシーンフラグなどを抽出する。画像復号部７１は、符号化された多重化画像を、AVC方式に対応する方式で復号し、その結果得られる多重化画像を画像分離部７２に供給する。また、画像復号部７１は、２Ｄシーンフラグを画像分離部７２および３Ｄメガネ制御部７４に供給する。
【００４４】
画像分離部７２（分離手段）は、画像復号部７１から供給される２Ｄシーンフラグに基づいて、画像復号部７１から供給される多重化画像の左右半分の領域を分離する分離処理を行う。具体的には、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、画像分離部７２は、図１の画像分離部３２と同様に、多重化画像の左半分の領域と右半分の領域から、それぞれ、入力画像と同一のサイズの画像を生成する。そして、画像分離部７２は、生成された画像に対してローパスフィルタ処理を施さず、左半分の領域から生成された画像をそのまま左目用の表示画像とし、右半分の領域から生成された画像をそのまま右目用の表示画像とする。
【００４５】
一方、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、画像分離部７２は、画像分離部３２の分離処理と同様の分離処理を行う。そして、画像分離部７２は、分離処理の結果得られる左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部７３に供給する。
【００４６】
フレームシーケンス表示制御部７３（表示制御手段）は、画像分離部７２から供給される左目用の表示画像と右目用の表示画像を、ハイフレームレート（例えば、240p）で交互に図示せぬ表示装置に表示させる。また、フレームシーケンス表示制御部７３は、表示情報を３Ｄメガネ制御部７４に供給する。
【００４７】
３Ｄメガネ制御部７４（メガネ制御手段）は、画像復号部７１から供給される２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、図示せぬ３Ｄメガネの左目用のシャッタと右目用のシャッタの両方が開くように、３Ｄメガネを制御する。これにより、３Ｄメガネを装着したユーザは、図示せぬ表示装置に表示される同一の視点の左目用の表示画像と右目用の表示画像の両方を、両目で見ることができる。その結果、左目用の表示画像を左目で見て、右目用の表示画像を右目で見る場合に比べて、ユーザの両目に入る光の量が増加し、ユーザは明るい２Ｄ画像を見ることができる。
【００４８】
一方、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、３Ｄメガネ制御部７４は、図１の３Ｄメガネ制御部３４と同様に、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、左目用の表示画像の表示時に左目用のシャッタが開き、右目用の表示画像の表示時に右目用のシャッタが開くように、３Ｄメガネを制御する。これにより、３Ｄメガネを装着したユーザは、図示せぬ表示装置に表示される左目用の表示画像を左目だけで見て、左目用の表示画像と異なる視点の右目用の表示画像を右目だけで見ることができる。その結果、ユーザは、３Ｄ画像を見ることができる。
【００４９】
[多重化画像の説明]
図３は、図２の画像多重化部６２で生成される多重化画像を説明する図である。
【００５０】
図３に示すように、入力画像が３Ｄ画像である場合、入力画像は、異なる視点の左目用の画像（LEFT）と右目用の画像（RIGHT）により構成される。一方、入力画像が２Ｄ画像である場合、入力画像は、同一の視点の左目用の画像（2D）と右目用の画像(2D)により構成される。
【００５１】
そして、図３に示すように、入力画像のうちの左目用の画像の1/2縮小画像が左半分に配置され、右目用の画像の1/2縮小画像が右半分に配置された多重化画像が生成される。
【００５２】
[符号化ストリームのSEIの説明]
図４および図５は、画像符号化部６３により得られる符号化ストリームに含まれるSEI（Supplemental Enhancement Information）の記述例を示す図である。
【００５３】
図４は、符号化ストリームに含まれるフレームパッキングアレンジメントSEIの記述例を示す図である。
【００５４】
図４の第５行目に示すように、フレームパッキングアレンジメントSEIには、多重化方式を表す情報（frame_packing_arrangement_type）が配置される。また、第１５行目に示すように、フレームパッキングアレンジメントSEIには、多重化処理において左目用の画像を縮小する際に間引かない画素の水平方向の位置が、奇数位置であるか、または、偶数位置であるかを表す情報（frame0_grid_position_x）が配置される。
【００５５】
さらに、第１６行目に示すように、フレームパッキングアレンジメントSEIには、多重化処理において左目用の画像を縮小する際に間引かない画素の垂直方向の位置が、奇数位置であるか、または、偶数位置であるかを表す情報（frame0_grid_position_y）が配置される。
【００５６】
また、第１７行目に示すように、フレームパッキングアレンジメントSEIには、多重化処理において右目用の画像を縮小する際に間引かない画素の水平方向の位置が、奇数位置であるか、または、偶数位置であるかを表す情報（frame1_grid_position_x）が配置される。さらに、第１８行目に示すように、フレームパッキングアレンジメントSEIには、多重化処理において左目用の画像を縮小する際に間引かない画素の垂直方向の位置が、奇数位置であるか、または、偶数位置であるかを表す情報（frame1_grid_position_y）が配置される。
【００５７】
なお、本実施の形態では、多重化処理において垂直方向の位置によって画素は間引かれないので、情報（frame0_grid_position_y）および情報（frame1_grid_position_y）は、奇数位置および偶数位置のいずれも表さない情報となる。
【００５８】
図５は、符号化ストリームに含まれる２Ｄシーン情報SEIの記述例を示す図である。
【００５９】
図５の第２行目に示すように、２Ｄシーン情報SEIには、２Ｄシーンフラグ（2d_scene_flag）が配置される。
【００６０】
[２Ｄ画像に対する処理の説明]
図６は、入力画像が２Ｄ画像である場合の多重化処理を説明する図である。
【００６１】
図６に示すように、入力画像が２Ｄ画像である場合、画像多重化部６２は、まず、入力画像のうちの左目用の画像の水平方向の位置が偶数位置である画素を抽出して、その左目用の画像を1/2に縮小する。即ち、画像多重化部６２は、左目用の画像の水平方向の位置が奇数位置である画素を間引く。
【００６２】
また、画像多重化部６２は、入力画像のうちの右目用の画像の水平方向の位置が奇数位置である画素を抽出して、その右目用の画像を1/2に縮小する。即ち、画像多重化部６２は、左目用の画像の水平方向の位置が偶数位置である画素を間引く。次に、画像多重化部６２は、左目用の画像の1/2縮小画像を左半分の領域に配置し、右目用の画像の1/2縮小画像を右半分に配置することにより多重化を行い、多重化画像を得る。
【００６３】
図７は、多重化画像の元となる入力画像が２Ｄ画像である場合の分離処理を説明する図である。
【００６４】
図７に示すように、多重化画像の元となる入力画像が２Ｄ画像である場合、画像分離部７２は、まず、多重化画像を左半分の領域と右半分の領域に分離する。次に、画像分離部７２は、左半分の領域の各画素を水平方向の位置が偶数位置である画素とし、水平方向の位置が奇数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成し、左目用の表示画像とする。また、画像分離部７２は、右半分の領域の各画素を水平方向の位置が奇数位置である画素とし、水平方向の位置が偶数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成し、右目用の表示画像とする。
【００６５】
図８は、入力画像が２Ｄ画像である場合の入力画像、1/2縮小画像、および、図示せぬ表示装置に表示され、ユーザにより知覚される画像（以下、知覚画像という）の帯域を示す図である。なお、図８のグラフにおいて、横軸は正規化周波数(f)を表し、縦軸はエネルギー（X(z)）を表している。
【００６６】
図８の例では、入力画像の帯域は、図８の左側に示すようになっている。図８の例において、入力画像の最高の正規化周波数はπであり、サンプリング周波数は２πである。
【００６７】
入力画像の帯域が図８の左側に示すようになる場合、左目用の画像の1/2縮小画像と右目用の画像の1/2縮小画像の帯域は、図８の中央に示すようになる。即ち、ローパスフィルタ処理により縮小前に帯域が半分にされていないため、縮小による折り返り歪みはあるが、帯域は入力画像の帯域と同一である。
【００６８】
そして、左目用の画像の1/2縮小画像と右目用の画像の1/2縮小画像が多重化されて符号化され、復号されて分離処理が行われることにより得られる左目用の表示画像と右目用の表示画像の両方が、ユーザにより両目で見られるとき、知覚画像の帯域は、図８の右側に示すようになる。即ち、知覚画像の帯域は、入力画像の帯域と同一であり、折り返り歪みが発生していない。
【００６９】
折り返り歪みが発生しない理由を以下に説明する。
【００７０】
フレームシーケンス表示制御部７３は、左目用の表示画像と右目用の表示画像をハイフレームレートで交互に表示させるので、連続で表示される左目用の表示画像と右目用の表示画像の時間的な距離が極めて短い。その結果、ユーザは、図示せぬ表示装置に表示された画像を両目で見ることにより、時間的に隣接する左目用の表示画像と右目用の表示画像が合成された画像を知覚することができる。
【００７１】
そして、左目用の画像と右目用の画像では、逆位相の画素が間引かれるので、間引かれた画素が補間された左目用の表示画像と右目用の表示画像が合成されると、間引きにより生じた折り返り歪みが打ち消し合う。その結果、知覚画像には折り返り歪みが発生しない。
【００７２】
[３Ｄ画像に対する処理の説明]
図９は、入力画像が３Ｄ画像である場合の多重化処理を説明する図である。
【００７３】
図９に示すように、入力画像が３Ｄ画像である場合、画像多重化部６２は、まず、入力画像のうちの左目用の画像に対してローパスフィルタ処理を行い、帯域を半分にする。また、画像多重化部６２は、入力画像のうちの右目用の画像に対してローパスフィルタ処理を行い、帯域を半分にする。
【００７４】
次に、画像多重化部６２は、ローパスフィルタ処理後の左目用の画像の水平方向の位置が偶数位置である画素を抽出して、その左目用の画像を1/2に縮小する。また、画像多重化部６２は、ローパスフィルタ処理後の右目用の画像の水平方向の位置が奇数位置である画素を抽出して、その右目用の画像を1/2に縮小する。そして、画像多重化部６２は、左目用の画像の1/2縮小画像を左半分の領域に配置し、右目用の画像の1/2縮小画像を右半分に配置することにより多重化を行い、多重化画像を得る。
【００７５】
図１０は、多重化画像の元となる入力画像が３Ｄ画像である場合の分離処理を説明する図である。
【００７６】
図１０に示すように、多重化画像の元となる入力画像が３Ｄ画像である場合、画像分離部７２は、まず、多重化画像の左半分の領域と左半分の領域に分離する。次に、画像分離部７２は、左半分の領域の各画素を水平方向の位置が偶数位置である画素とし、水平方向の位置が奇数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。また、画像分離部７２は、右半分の領域の各画素を水平方向が奇数位置である画素とし、水平方向の位置が偶数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。
【００７７】
そして、画像分離部７２は、多重化画像の左半分の領域から生成された入力画像と同一のサイズの画像に対してローパスフィルタ処理を行い、その結果得られる画像を左目用の表示画像とする。また、画像分離部７２は、多重化画像の右半分の領域から生成された入力画像と同一のサイズの画像に対してローパスフィルタ処理を行い、その結果得られる画像を右目用の表示画像とする。
【００７８】
図１１は、入力画像が３Ｄ画像である場合の入力画像、1/2縮小画像、および、知覚画像の帯域を示す図である。なお、図１１のグラフにおいて、横軸は正規化周波数(f)を表し、縦軸はエネルギー（X(z)）を表している。
【００７９】
図１１の例では、入力画像の帯域は、図１１の左側に示すようになっている。図１１の例において、入力画像の最高の正規化周波数はπであり、サンプリング周波数は２πである。
【００８０】
入力画像の帯域が図１１の左側に示すようになる場合、左目用の画像の1/2縮小画像と右目用の画像の1/2縮小画像の帯域は、図１１の中央に示すようになる。即ち、ローパスフィルタ処理により縮小前に帯域が半分にされているため、帯域は入力画像の帯域の半分であるが、縮小による折り返り歪みがない。なお、理論上、折り返り歪みはないが、実際には、折り返り歪みは少ないが発生する。
【００８１】
そして、左目用の画像の1/2縮小画像と右目用の画像の1/2縮小画像が多重化されて符号化され、復号されて分離処理が行われることにより得られる左目用の表示画像と右目用の表示画像が、それぞれ、ユーザにより左目、右目だけで見られるとき、知覚画像の帯域は、図１１の右側に示すようになる。即ち、知覚画像の帯域は、入力画像の帯域の半分になるが、折り返り歪みは理論上発生しない。
【００８２】
［画像処理システムの処理の説明］
図１２は、図２の画像処理システム５０の符号化装置５１による符号化処理を説明するフローチャートである。この符号化処理は、例えば、符号化装置５１に２Ｄ画像と３Ｄ画像が混在する1本のビットストリームが入力されたとき開始される。
【００８３】
図１２のステップＳ１１において、２Ｄシーン判定部６１は、符号化装置５１に入力されたビットストリームに含まれる２Ｄ画像や３Ｄ画像を入力画像として取得し、入力画像を画像多重化部６２に供給する。なお、後述するステップＳ１２乃至Ｓ１８の処理は、1フレームの左目用の画像と右目用の画像から構成される入力画像ごとに行われる。
【００８４】
ステップＳ１２において、２Ｄシーン判定部６１は、入力画像が２Ｄ画像であるかどうかを判定する。ステップＳ１２で入力画像が２Ｄ画像であると判定された場合、ステップＳ１３において、２Ｄシーン判定部６１は、２Ｄシーンフラグを、入力画像が２Ｄ画像であることを示す1に設定し、画像多重化部６２および画像符号化部６３に供給する。
【００８５】
ステップＳ１４において、画像多重化部６２は、２Ｄシーン判定部６１から供給される1に設定された２Ｄシーンフラグに基づいて、入力画像に対して、図１の画像多重化部２１による多重化と同様の多重化を行う。そして、画像多重化部６２は、多重化の結果得られる多重化画像を画像符号化部６３に供給し、処理をステップＳ１８に進める。
【００８６】
一方、ステップＳ１２で入力画像が２Ｄ画像ではないと判定された場合、即ち入力画像が３Ｄ画像である場合、処理はステップＳ１５に進む。ステップＳ１５において、２Ｄシーン判定部６１は、２Ｄシーンフラグを入力画像が２Ｄ画像ではないことを示す0に設定し、画像多重化部６２および画像符号化部６３に供給する。
【００８７】
ステップＳ１６において、画像多重化部６２は、２Ｄシーン判定部６１から供給される0に設定された２Ｄシーンフラグに基づいて、入力画像に対して、画像多重化部２１と同様にローパスフィルタ処理を行う。
【００８８】
ステップＳ１７において、画像多重化部６２は、ローパスフィルタ処理後の入力画像に対して、画像多重化部２１と同様に多重化を行う。そして、画像多重化部６２は、多重化の結果得られる多重化画像を画像符号化部６３に供給し、処理をステップＳ１８に進める。
【００８９】
ステップＳ１８において、画像符号化部６３は、画像多重化部６２から供給される多重化画像と２Ｄシーン判定部６１から供給される２Ｄシーンフラグを用いて、AVC方式にしたがって符号化を行う。画像符号化部６３は、その結果得られる符号化ストリームを復号装置５２に送信し、処理を終了する。
【００９０】
以上のように、符号化装置５１は、入力画像が２Ｄ画像である場合、入力画像に対してローパスフィルタ処理を施さずに多重化を行うので、復号装置５２において表示される２Ｄ画像の表示解像度を、入力画像の表示解像度と同一にすることができる。また、ローパスフィルタ処理分の演算量を削減することができる。さらに、符号化装置５１は、２Ｄシーンフラグを復号装置５２に送信することができる。
【００９１】
図１３は、図２の画像処理システム５０の復号装置５２による復号処理を説明するフローチャートである。この復号処理は、画像処理システム５０の符号化装置５１から符号化ストリームが送信されてきたとき、ピクチャ単位で行われる。
【００９２】
図１３のステップＳ３１において、復号装置５２の画像復号部７１は、符号化装置５１から送信されてきた符号化ストリームを取得し、その符号化ストリームから、符号化された多重化画像、２Ｄシーンフラグなどを抽出する。そして、画像復号部７１は、２Ｄシーンフラグを画像分離部７２および３Ｄメガネ制御部７４に供給する。
【００９３】
ステップＳ３２において、画像復号部７１は、符号化された多重化画像を、AVC方式に対応する方式で復号し、その結果得られる多重化画像を画像分離部７２に供給する。
【００９４】
ステップＳ３３において、画像分離部７２は、多重化画像を左半分の領域と右半分の領域に分離する。ステップＳ３４において、画像分離部７２は、分離された左半分の領域の画素を水平方向の位置が偶数位置である画素とし、水平方向の位置が奇数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。ステップＳ３５において、画像分離部７２は、分離された右半分の領域の画素を水平方向の位置が奇数位置である画素とし、水平方向の位置が偶数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。
【００９５】
ステップＳ３６において、画像分離部７２は、画像復号部７１から供給される２Ｄシーンフラグが1であるかどうかを判定する。
【００９６】
ステップＳ３６で２Ｄシーンフラグが1であると判定された場合、画像分離部７２は、ステップＳ３４で生成された画像をそのまま左目用の表示画像とし、ステップＳ３５で生成された画像をそのまま右目用の表示画像として、フレームシーケンス表示制御部７３に供給する。そして、フレームシーケンス表示制御部７３は、表示対象が左目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部７４に供給する。そして、ステップＳ３７において、３Ｄメガネ制御部７４は、図示せぬ３Ｄメガネの左目用のシャッタと右目用のシャッタの両方が開くように、３Ｄメガネを制御する。
【００９７】
ステップＳ３８において、フレームシーケンス表示制御部７３は、画像分離部７２から供給される左目用の表示画像を図示せぬ表示装置に表示させる。そして、フレームシーケンス表示制御部７３は、表示対象が右目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部７４に供給する。ステップＳ３９において、フレームシーケンス表示制御部７３は、画像分離部７２から供給される右目用の表示画像を図示せぬ表示装置に表示させ、処理を終了する。
【００９８】
一方、ステップＳ３６で２Ｄシーンフラグが1ではないと判定された場合、即ち２Ｄシーンフラグが0である場合、処理はステップＳ４０に進む。
【００９９】
ステップＳ４０において、画像分離部７２は、ステップＳ３４で生成された画像およびステップＳ３５で生成された画像に対してローパスフィルタ処理を行う。そして、画像分離部７２は、ステップＳ３４で生成された画像に対してローパスフィルタ処理を行った結果得られる画像を左目用の表示画像とする。また、画像分離部７２は、ステップＳ３５で生成された画像に対してローパスフィルタ処理を行った結果得られる画像を右目用の表示画像とする。そして、画像分離部７２は、左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部７３に供給し、フレームシーケンス表示制御部７３は、表示対象が左目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部７４に供給する。
【０１００】
ステップＳ４１において、３Ｄメガネ制御部７４は、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、図示せぬ３Ｄメガネの左目用のシャッタが開くように、３Ｄメガネを制御する。
【０１０１】
ステップＳ４２において、フレームシーケンス表示制御部７３は、画像分離部７２から供給される左目用の表示画像を図示せぬ表示装置に表示させる。そして、フレームシーケンス表示制御部７３は、表示対象が右目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部７４に供給する。
【０１０２】
ステップＳ４３において、３Ｄメガネ制御部７４は、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、図示せぬ３Ｄメガネの右目用のシャッタが開くように、３Ｄメガネを制御する。
【０１０３】
ステップＳ４４において、フレームシーケンス表示制御部７３は、画像分離部７２から供給される右目用の表示画像を図示せぬ表示装置に表示させ、処理を終了する。
【０１０４】
以上のように、復号装置５２は、多重化画像の元となる入力画像が２Ｄ画像である場合、多重化画像の分離後にローパスフィルタ処理を施さず、分離後の画像をそのまま表示画像とする。従って、２Ｄ画像の表示解像度を入力画像の表示解像度と同一にすることができる。また、ローパスフィルタ処理分の演算量を削減することができる。
【０１０５】
さらに、復号装置５２は、左目用の表示画像と右目用の表示画像をハイフレームレートで交互に表示させ、３Ｄメガネの左目用のシャッタと右目用のシャッタの両方を開くように３Ｄメガネを制御するので、左目用の表示画像と右目用の表示画像に発生している折り返り歪みを打ち消し、ユーザに折り返り歪みを知覚させないようにすることができる。
【０１０６】
＜第２実施の形態＞
［画像処理システムの第２実施の形態の構成例］
図１４は、本発明を適用した画像処理システムの第２実施の形態の構成例を示すブロック図である。
【０１０７】
図１４に示す構成のうち、図１や図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０８】
図１４の画像処理システム１００の構成は、主に、復号装置５２の代わりに復号装置１０１が設けられている点が図２の構成と異なる。画像処理システム１００は、復号装置１０１において、２Ｄ画像の左目用の表示画像および右目用の表示画像として同一の画像を生成し、表示対象が３Ｄ画像であっても２Ｄ画像であっても、３Ｄメガネの左目用のシャッタと右目用のシャッタを交互に開閉させる。
【０１０９】
具体的には、復号装置１０１は、フレームシーケンス表示制御部３３、３Ｄメガネ制御部３４、画像復号部１１１、および画像分離部１１２により構成される。
【０１１０】
復号装置１０１の画像復号部１１１（取得手段）は、図２の画像復号部７１と同様に、符号化装置５１の画像符号化部６３から符号化ストリームを取得し、その符号化ストリームから、符号化された多重化画像、２Ｄシーンフラグなどを抽出する。画像復号部１１１は、画像復号部７１と同様に、符号化された多重化画像を、AVC方式に対応する方式で復号し、その結果得られる多重化画像を画像分離部１１２に供給する。また、画像復号部１１１は、２Ｄシーンフラグを画像分離部１１２に供給する。
【０１１１】
画像分離部１１２は、画像復号部１１１から供給される２Ｄシーンフラグに基づいて、画像復号部１１１から供給される多重化画像の左右半分の領域を分離する分離処理を行う。
【０１１２】
具体的には、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、画像分離部１１２(分離手段)は、図１の画像分離部３２と同様に、多重化画像の左半分の領域と右半分の領域から、それぞれ、入力画像と同一のサイズの画像を生成する。そして、画像分離部１１２は、生成された画像に対してローパスフィルタ処理を施さず、多重化画像の左半分の領域から生成された画像に対して、右半分の領域から生成された画像を用いて垂直ラインインターリーブ処理を行い、その結果得られる画像を左目用の表示画像とする。また、画像分離部１１２は、多重化画像の右半分の領域から生成された画像に対して、左半分の領域から生成された画像を用いて垂直ラインインターリーブ処理を行い、その結果得られる画像を右目用の表示画像とする。
【０１１３】
一方、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、画像分離部１１２は、画像分離部３２の分離処理と同様の分離処理を行う。そして、画像分離部１１２は、分離処理の結果得られる左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部３３に供給する。
【０１１４】
[２Ｄ画像に対する処理の説明]
図１５は、多重化画像の元となる入力画像が２Ｄ画像である場合の分離処理を説明する図である。
【０１１５】
図１５に示すように、多重化画像に対応する入力画像が２Ｄ画像である場合、画像分離部１１２は、まず、多重化画像の左半分の領域と右半分の領域に分離する。次に、画像分離部１１２は、左半分の領域の各画素を水平方向の位置が偶数位置である画素とし、水平方向の位置が奇数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。また、画像分離部７２は、右半分の領域の各画素を水平方向の位置が奇数位置である画素とし、水平方向の位置が偶数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。
【０１１６】
そして、画像分離部１１２は、多重化画像の左半分の領域から生成された画像に対して、右半分の領域から生成された画像を用いて垂直ラインインターリーブ処理を行う。その結果、多重化画像の左半分の領域から生成された画像の水平方向の位置が奇数位置である画素が、右半分の領域から生成された画像の水平方向の位置が奇数位置である画素に置換され、左目用の表示画像とされる。
【０１１７】
また、画像分離部１１２は、多重化画像の右半分の領域から生成された画像に対して、左半分の領域から生成された画像を用いて垂直ラインインターリーブ処理を行う。その結果、多重化画像の右半分の領域から生成された画像の水平方向の位置が偶数位置である画素が、左半分の領域から生成された画像の水平方向の位置が偶数位置である画素に置換され、右目用の表示画像とされる。
【０１１８】
従って、左目用の表示画像と右目用の表示画像において、多重化画像の左半分の領域から生成された画像と右半分の領域から生成された画像の両方に発生していた折り返り歪みが打ち消しあう。よって、３Ｄメガネの左目用のシャッタと右目用のシャッタが交互に開閉され、左目用の表示画像と右目用の表示画像のいずれか一方しか１つの目で見ることができない場合であっても、ユーザに折り返り歪みを知覚させないようにすることができる。
【０１１９】
[画像処理システムの処理の説明]
図１６は、図１４の画像処理システム１００の復号装置１０１による復号処理を説明するフローチャートである。この復号処理は、画像処理システム１００の符号化装置５１から符号化ストリームが送信されてきたとき、ピクチャ単位で行われる。
【０１２０】
図１６のステップＳ５１乃至Ｓ５６の処理は、図１３のステップＳ３１乃至Ｓ３６の処理と同様であるので、説明は省略する。
【０１２１】
ステップＳ５６で２Ｄシーンフラグが1であると判定された場合、処理はステップＳ５７に進む。ステップＳ５７において、画像分離部１１２は、ステップＳ５４で生成された画像に対して、ステップＳ５５で生成された画像を用いて垂直ラインインターリーブ処理を行い、その結果得られる画像を左目用の表示画像とする。また、画像分離部１１２は、ステップＳ５５で生成された画像に対して、ステップＳ５４で生成された画像を用いて垂直ラインインターリーブ処理を行い、その結果得られる画像を右目用の表示画像とする。そして、画像分離部１１２は、左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部３３に供給し、フレームシーケンス表示制御部３３は、表示対象が左目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部３４に供給する。そして、処理はステップＳ５９に進む。
【０１２２】
一方、ステップＳ５６で２Ｄシーンフラグが1ではないと判定された場合、処理はステップＳ５８に進む。ステップＳ５８において、画像分離部１１２は、図１３のステップＳ４０の処理と同様に、ステップＳ５４で生成された画像およびステップＳ５５で生成された画像に対してローパスフィルタ処理を行う。そして、画像分離部１１２は、ステップＳ５４で生成された画像に対してローパスフィルタ処理を行った結果得られる画像を左目用の表示画像とする。また、画像分離部１１２は、ステップＳ５５で生成された画像に対してローパスフィルタ処理を行った結果得られる画像を右目用の表示画像とする。そして、画像分離部１１２は、左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部３３に供給し、フレームシーケンス表示制御部３３は、表示対象が左目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部３４に供給する。そして、処理はステップＳ５９に進む。
【０１２３】
ステップＳ５９乃至Ｓ６２の処理は、図１３のステップＳ４１乃至Ｓ４４の処理と同様であるので、説明は省略する。
【０１２４】
以上のように、画像処理システム１００の復号装置１０１は、多重化画像の元となる画像が２Ｄ画像である場合、多重化画像から分離され、ゼロ補間された、折り返り歪みが発生している2フレームの画像の一方に対して、他方を用いて垂直ラインインターリーブ処理を施す。
【０１２５】
従って、垂直ラインインターリーブ処理の結果得られる左目用の表示画像と右目用の表示画像において、折り返り歪みが打ち消される。その結果、３Ｄメガネの左目用のシャッタと右目用のシャッタが交互に開閉される場合であっても、ユーザに折り返り歪みを知覚させないようにすることができる。
【０１２６】
また、復号装置１０１は、多重化画像の元となる画像が２Ｄ画像である場合、多重化画像の分離後にローパスフィルタ処理を施さないので、２Ｄ画像の表示解像度を符号化前の入力画像の表示解像度と同一にすることができる。
【０１２７】
なお、第１および第２実施の形態では、入力画像が２Ｄ画像である場合、多重化前および分離後にローパスフィルタ処理が行われなかったが、入力画像が３Ｄ画像である場合に行われるローパスフィルタ処理に比べて高周波数成分を通過させる通過域の広いローパスフィルタ処理が行われるようにしてもよい。この場合、２Ｄ画像の表示解像度は、入力画像の表示解像度と同一にはならないが、ローパスフィルタ処理により入力画像の帯域が半分にされる場合に比べて向上する。
【０１２８】
＜第３実施の形態＞
［画像処理システムの第３実施の形態の構成例］
図１７は、本発明を適用した画像処理システムの第３実施の形態の構成例を示すブロック図である。
【０１２９】
図１７に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３０】
図１７の画像処理システム１５０は、符号化装置１５１と復号装置１５２により構成される。画像処理システム１５０は、２Ｄ画像の多重化画像に含まれる折り返り歪みの有無、および、表示時のフレームレート（以下、表示フレームレートという）に基づいて、３Ｄメガネのシャッタを制御する。
【０１３１】
具体的には、符号化装置１５１の構成は、主に、画像多重化部６２、画像符号化部６３の代わりに、画像多重化部１６１、画像符号化部１６２が設けられる点、および、新たに付加部１６３が設けられる点が図２の構成と異なる。
【０１３２】
符号化装置１５１の画像多重化部１６１は、２Ｄシーン判定部６１から供給される２Ｄシーンフラグに基づいて、サイドバイサイド方式で入力画像を多重化する多重化処理を行う。
【０１３３】
具体的には、画像多重化部１６１は、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、入力画像に対して、入力画像が３Ｄ画像である場合に行われるローパスフィルタ処理に比べて高周波数成分を通過させる通過域の広いローパスフィルタ処理を行う。そして、画像多重化部１６１（多重化手段）は、ローパスフィルタ処理後の入力画像に対して、図１の画像多重化部２１による多重化と同様の多重化を行う。
【０１３４】
一方、画像多重化部１６１は、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、画像多重化部２１による処理と同様に、入力画像に対してローパスフィルタ処理と多重化を行う。そして、画像多重化部１６１は、多重化処理の結果得られる多重化画像を画像符号化部１６２に供給する。
【０１３５】
画像符号化部１６２は、画像多重化部１６１から供給される多重化画像、２Ｄシーン判定部６１から供給される２Ｄシーンフラグ、並びに付加部１６３から供給される歪みフラグおよび最小表示フレームレート情報などを用いて、AVC方式で符号化を行う。なお、歪みフラグ（歪み情報）とは、多重化画像に折り返り歪みがあるかどうかを表す情報である。また、最小表示フレームレート情報とは、復号装置１５２で知覚画像に折り返り歪みがなくなると推測される表示フレームレート(表示速度)の最小値を表す情報である。画像符号化部１６２（送信手段）は、その結果得られる符号化ストリームを復号装置１５２に送信する。
【０１３６】
付加部１６３（歪み関連情報生成手段）は、入力画像が２Ｄ画像である場合に、ユーザからの指示に応じて、多重化画像における折り返り歪みに関する情報（以下、歪み関連情報という）としての歪みフラグを生成する。
【０１３７】
具体的には、入力画像が２Ｄ画像である場合、ユーザは、例えば、画像多重化部１６１により得られた多重化画像を図示せぬ表示装置に表示させ、多重化画像に所定量以上の折り返り歪みが発生しているかどうかを判断する。そして、ユーザは、多重化画像に所定量以上の折り返り歪みが発生していると判断した場合、折り返り歪みの有りを指示し、所定量以上の折り返り歪みが発生していないと判断した場合、折り返り歪みの無しを指示する。付加部１６３は、その指示に応じて、歪みフラグを生成する。
【０１３８】
また、付加部１６３は、折り返り歪みがあることを表す歪みフラグを生成する場合、ユーザからの指示に応じて、歪み関連情報としての最小表示フレームレート情報を生成する。具体的には、ユーザは、多重化画像に所定量以上の折り返り歪みが発生していると判断した場合、その折り返り歪みの量などに基づいて、復号装置１５２で知覚画像に折り返り歪みがなくなると推測される表示フレームレートの最小値（例えば、120Hz）を決定し、指示する。付加部１６３は、その指示に応じて、最小表示フレームレート情報を生成する。
【０１３９】
付加部１６３は、生成された歪みフラグおよび最小表示フレームレートを画像符号化部１６２に供給する。
【０１４０】
復号装置１５２の構成は、画像復号部７１、画像分離部７２、３Ｄメガネ制御部７４の代わりに、画像復号部１７１、画像分離部１７２、３Ｄメガネ制御部１７３が設けられる点、および、判定部１７４が新たに設けられる点が図２の構成と異なる。
【０１４１】
復号装置１５２の画像復号部１７１は、符号化装置１５１の画像符号化部１６２から符号化ストリームを取得し、符号化ストリームから、符号化された多重化画像、２Ｄシーンフラグ、歪みフラグ、最小表示フレームレートなどを抽出する。画像復号部１７１は、図２の画像復号部７１と同様に、符号化された多重化画像を、AVC方式に対応する方式で復号し、その結果得られる多重化画像を画像分離部１７２に供給する。また、画像復号部１７１は、画像復号部７１と同様に、２Ｄシーンフラグを画像分離部１７２および３Ｄメガネ制御部１７３に供給する。さらに、画像復号部１７１は、歪みフラグおよび最小表示フレームレートを判定部１７４に供給する。
【０１４２】
画像分離部１７２は、画像復号部１７１から供給される２Ｄシーンフラグに基づいて、画像復号部１７１から供給される多重化画像の左右半分の領域を分離する分離処理を行う。具体的には、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、画像分離部１７２は、図１の画像分離部３２と同様に、多重化画像の左半分の領域と右半分の領域から、それぞれ、入力画像と同一のサイズの画像を生成する。そして、画像分離部１７２は、生成された画像に対して、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合に行われるローパスフィルタ処理に比べて通過域の広いローパスフィルタ処理を行う。そして、画像分離部１７２は、ローパスフィルタ処理後の左半分の領域から生成された画像を左目用の表示画像とし、ローパスフィルタ処理後の右半分の領域から生成された画像を右目用の表示画像とする。
【０１４３】
一方、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、画像分離部１７２は、画像分離部３２の分離処理と同様の分離処理を行う。そして、画像分離部１７２は、分離処理の結果得られる左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部７３に供給する。
【０１４４】
３Ｄメガネ制御部１７３は、画像復号部１７１から供給される２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、判定部１７４からの指示に応じて、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、図示せぬ３Ｄメガネの左目用のシャッタと右目用のシャッタの両方が開くように、３Ｄメガネを制御する。または、３Ｄメガネ制御部１７３は、判定部１７４からの指示に応じて、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、左目用の表示画像の表示時に左目用のシャッタが開き、右目用の表示画像の表示時に右目用のシャッタが開くように、３Ｄメガネを制御する。
【０１４５】
一方、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、３Ｄメガネ制御部１７３は、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、左目用の表示画像の表示時に左目用のシャッタが開き、右目用の表示画像の表示時に右目用のシャッタが開くように、３Ｄメガネを制御する。
【０１４６】
判定部１７４は、画像復号部１７１から供給される歪みフラグに基づいて、３Ｄメガネの左目用のシャッタと右目用のシャッタを両方開かせるか、または、交互に開かせるかを判定し、３Ｄメガネ制御部１７３に指示する。なお、画像復号部１７１から最小表示フレームレート情報が供給される場合には、歪みフラグだけでなく、その最小表示フレームレート情報が表す最小値とフレームシーケンス表示制御部７３における表示フレームレートとにも基づいて、判定が行われる。
【０１４７】
[符号化ストリームのSEIの説明]
図１８は、画像符号化部１６２により得られる符号化ストリームに含まれる２Ｄシーン情報SEIの記述例を示す図である。
【０１４８】
図１８の第２行目に示すように、２Ｄシーン情報SEIには、２Ｄシーンフラグ（2d_scene_flag）が配置される。また、第３および第４行目に示すように、２Ｄシーンフラグが1である場合、即ち入力画像が２Ｄ画像である場合、２Ｄシーン情報SEIには、歪みフラグ(aliasing_remain_flag)が配置される。また、第５および第６行目に示すように、歪みフラグが、折り返り歪みがあることを表す1である場合、２Ｄシーン情報SEIには、最小表示フレームレート(minimum_display_frame_rate)が配置される。
【０１４９】
［画像処理システムの処理の説明］
図１９は、図１７の画像処理システム１５０の符号化装置１５１による符号化処理を説明するフローチャートである。この符号化処理は、例えば、符号化装置１５１に２Ｄ画像と３Ｄ画像が混在する1本のビットストリームが入力されたとき開始される。
【０１５０】
図１９のステップＳ１１１乃至Ｓ１１３の処理は、図１２のステップＳ１１乃至Ｓ１３の処理と同様であり、ステップＳ１２０乃至Ｓ１２２の処理は、図１２のステップＳ１５乃至１７の処理と同様であるので、説明は省略する。
【０１５１】
ステップＳ１１３の処理後、ステップＳ１１４において、画像多重化部１６１は、入力画像に対して、ステップＳ１２１で行われるローパスフィルタ処理におけるフィルタ係数とは異なるフィルタ係数を用いることにより、ステップＳ１２１で行われるローパスフィルタ処理に比べて通過域の広いローパスフィルタ処理を行う。
【０１５２】
ステップＳ１１５において、画像多重化部１６１は、ステップＳ１１４のローパスフィルタ処理の結果得られる入力画像に対して、図１の画像多重化部２１による多重化と同様の多重化を行う。そして、画像多重化部１６１は、多重化の結果得られる多重化画像を画像符号化部１６２に供給する。
【０１５３】
ステップＳ１１６において、付加部１６３は、ユーザからの折り返り歪みの有りが指示されたかどうかを判定する。ステップＳ１１６で折り返り歪みの有りが指示されたと判定された場合、ステップＳ１１７において、付加部１６３は、歪みフラグを1に設定し、その歪みフラグを画像符号化部１６２に供給する。
【０１５４】
ステップＳ１１８において、付加部１６３は、ユーザからの指示に応じて、最小表示フレームレート情報を生成し、画像符号化部１６２に供給する。
【０１５５】
一方、ステップＳ１１６で折り返り歪みの有りが指示されていないと判定された場合、即ちユーザから折り返り歪みの無しが指示された場合。ステップＳ１８８において、付加部１６３は、歪みフラグを0に設定し、その歪みフラグを画像符号化部１６２に供給する。
【０１５６】
ステップＳ１１８，Ｓ１１９、またはＳ１２２の処理後、ステップＳ１２３において、画像符号化部１６２は、画像多重化部１６１から供給される多重化画像と２Ｄシーン判定部６１から供給される２Ｄシーンフラグを用いて、AVC方式で符号化を行う。なお、付加部１６３から歪みフラグが供給される場合、その歪みフラグも用いて符号化が行われ、付加部１６３から最小表示フレームレート情報が供給される場合、その最小表示フレームレート情報も用いて符号化が行われる。そして、処理は終了する。
【０１５７】
以上のように、符号化装置１５１は、符号化ストリームに歪みフラグを含める。これにより、復号装置１５２において、その歪みフラグに基づいて、２Ｄ画像の多重化画像に所定量以上の折り返り歪みが発生していない場合、３Ｄメガネのシャッタの制御を２Ｄ画像と３Ｄ画像の間で変更しないようにすることができる。その結果、２Ｄ画像の多重化画像に所定量以上の折り返り歪みが発生していない場合に、無駄に３Ｄメガネのシャッタの制御が変更されることを防止することができる。
【０１５８】
また、符号化装置１５１は、符号化ストリームに最小表示フレームレート情報を含める。これにより、復号装置１５２において、最小表示フレームレート情報に基づいて、表示フレームレートが、最小表示フレームレート情報が表す最小値より小さい場合、３Ｄメガネのシャッタの制御を２Ｄ画像と３Ｄ画像の間で変更しないようにすることができる。その結果、左目用のシャッタと右目用のシャッタを両方開くことにより折り返り歪みが打ち消されない場合に、無駄に３Ｄメガネのシャッタの制御が変更されることを防止することができる。
【０１５９】
図２０は、図１７の画像処理システム１５０の復号装置１５２による復号処理を説明するフローチャートである。この復号処理は、符号化装置１５１から符号化ストリームが送信されてきたとき、ピクチャ単位で行われる。
【０１６０】
図２０のステップＳ１３１において、復号装置５２の画像復号部１７１は、符号化装置１５１から送信されてきた符号化ストリームを取得し、その符号化ストリームから、符号化された多重化画像、２Ｄシーンフラグなどを抽出する。そして、画像復号部１７１は、２Ｄシーンフラグを画像分離部１７２および３Ｄメガネ制御部１７３に供給する。
【０１６１】
ステップＳ１３２において、画像復号部１７１は、抽出された２Ｄシーンフラグが1であるかどうかを判定する。ステップＳ１３２で２Ｄシーンフラグが１であると判定された場合、ステップＳ１３３において、画像復号部１７１は、符号化ストリームの２Ｄシーン情報SEIから歪みフラグを抽出し、判定部１７４に供給する。
【０１６２】
ステップＳ１３４において、画像復号部１７１は、歪みフラグが1であるかどうかを判定する。ステップＳ１３４で歪みフラグが1であると判定された場合、ステップＳ１３５において、画像復号部１７１は、符号化ストリームの２Ｄシーン情報SEIから最小表示フレームレート情報を抽出し、判定部１７４に供給する。そして、処理はステップＳ１３６に進む。
【０１６３】
一方、ステップＳ１３２で２Ｄシーンフラグが1ではないと判定された場合、または、ステップＳ１３４で歪みフラグが1ではないと判定された場合、処理はステップＳ１３６に進む。
【０１６４】
ステップＳ１３６乃至Ｓ１４０の処理は、図１３のステップＳ３２乃至Ｓ３６の処理と同様であるので、説明は省略する。
【０１６５】
ステップＳ１４０で２Ｄシーンフラグが1であると判定された場合、処理はステップＳ１４１に進む。ステップＳ１４１において、画像分離部１７２は、ステップＳ１３８で生成された画像およびステップＳ１３９で生成された画像に対して、ステップＳ１４７で行われるローパスフィルタ処理におけるフィルタ係数とは異なるフィルタ係数を用いることにより、ステップＳ１４７で行われるローパスフィルタ処理に比べて通過域の広いローパスフィルタ処理を行う。そして、画像分離部１７２は、ローパスフィルタ処理後のステップＳ１３８で生成された画像を左目用の表示画像としてフレームシーケンス表示制御部７３に供給する。また、画像分離部１７２は、ローパスフィルタ処理後のステップＳ１３９で生成された画像を右目用の表示画像としてフレームシーケンス表示制御部７３に供給する。そして、フレームシーケンス表示制御部７３は、表示対象が左目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部１７３に供給する。
【０１６６】
ステップＳ１４２において、判定部１７４は、画像復号部１７１から供給される歪みフラグが1であるかどうかを判定する。ステップＳ１４２で歪みフラグが1であると判定された場合、ステップＳ１４３において、フレームシーケンス表示制御部７３における表示フレームレートが、画像復号部１７１から供給される最小表示フレームレート情報が表す最小値以上であるかどうかを判定する。
【０１６７】
ステップＳ１４３で表示フレームレートが最小値以上であると判定された場合、処理はステップＳ１４４に進む。
【０１６８】
ステップＳ１４４乃至Ｓ１４６の処理は、図１３のステップＳ３７乃至Ｓ３９の処理と同様であるので説明は省略する。
【０１６９】
一方、ステップＳ１４０で２Ｄシーンフラグは1ではないと判定された場合、処理はステップＳ１４７に進む。ステップＳ１４７において、画像分離部１７２は、ステップＳ１３８で生成された画像およびステップＳ１３９で生成された画像に対してローパスフィルタ処理を行う。そして、画像分離部１７２は、ステップＳ１３８で生成された画像に対してローパスフィルタ処理を行った結果得られる画像を左目用の表示画像とする。また、画像分離部１７２は、ステップＳ１３９で生成された画像に対してローパスフィルタ処理を行った結果得られる画像を右目用の表示画像とする。そして、画像分離部１７２は、左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部７３に供給し、フレームシーケンス表示制御部７３は、表示対象が左目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部７４に供給する。そして、処理はステップＳ１４８に進む。
【０１７０】
また、ステップＳ１４２で歪みフラグが1ではないと判定された場合、または、ステップＳ１４３で表示フレームレートが最小値以上ではないと判定された場合、処理はステップＳ１４８に進む。
【０１７１】
ステップＳ１４８乃至Ｓ１５１の処理は、図１３のステップＳ４１乃至Ｓ４４の処理と同様であるので説明は省略する。
【０１７２】
以上のように、復号装置１５２は、歪みフラグに基づいて、多重化画像に所定量以上の折り返り歪みが発生している場合にのみ、３Ｄメガネのシャッタの制御を２Ｄ画像と３Ｄ画像の間で変更するようにする。従って、多重化画像に所定量以上の折り返り歪みが発生していない場合に、無駄に３Ｄメガネのシャッタの制御が変更されることを防止することができる。
【０１７３】
また、復号装置１５２は、最小表示フレームレート情報に基づいて、表示フレームレートが、最小表示フレームレート情報が表す最小値より大きい場合にのみ、３Ｄメガネのシャッタの制御を２Ｄ画像と３Ｄ画像の間で変更するようにする。従って、左目用のシャッタと右目用のシャッタを両方開くことにより折り返り歪みが打ち消されない場合に、無駄に３Ｄメガネのシャッタの制御が変更されることを防止することができる。
【０１７４】
なお、第３実施の形態では、折り返り歪みの有りまたは無しがユーザにより指示されたが、多重化画像を用いて自動的に折り返り歪みの有りまたは無しを判定するようにしてもよい。同様に、最小表示フレームレートは、多重化画像を用いて自動的に決定されるようにしてもよい。
【０１７５】
また、第３実施の形態では、入力画像が２Ｄ画像である場合に、符号化ストリームに歪みフラグが含まれ、歪みフラグが1である場合に、符号化ストリームに最小表示フレームレート情報が含まれるようにしたが、歪みフラグと最小表示フレームレート情報は常に含まれるようにしてもよい。この場合、最小表示フレームレート情報は、多重化画像に発生する折り返り歪みの量に対応する値ではなく、固定値である。また、この場合、歪みフラグと最小表示フレームレート情報のいずれか一方のみが符号化ストリームに含まれるようにしてもよい。
【０１７６】
さらに、多重化の方式としては、サイドバイサイド方式ではなく、オーバーアンドアンダー方式などが用いられるようにしてもよい。この場合、垂直方向の位置によって入力画像の画素が間引かれる。
【０１７７】
また、本発明は、MPEG2方式等のAVC方式以外の方式で符号化を行う画像処理システムにも適用することができる。
【０１７８】
[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１７９】
そこで、図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８０】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１８１】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１８２】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１８３】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１８４】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１８５】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１８６】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１８７】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１８８】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１８９】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１９０】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１９１】
３３ フレームシーケンス表示部， ３４ ３Ｄメガネ制御部， ５１ 符号化装置， ５２ 復号装置， ６１ ２Ｄシーン判定部， ６２ 画像多重化部， ６３ 画像符号化部， ７１ 画像復号部， ７２ 画像分離部， ７３ フレームシーケンス表示制御部， ７４ ３Ｄメガネ制御部， １０１ 復号装置， １１１ 画像復号部， １１２ 画像分離部， １５１ 符号化装置， １５２ 復号装置， １６１ 画像多重化部， １６２ 画像符号化部， １６３ 付加部， １７１ 画像復号部， １７２ 画像分離部， １７３ メガネ制御部
【技術分野】
【０００１】
本発明は、表示制御装置および表示制御方法、並びに画像生成装置および画像生成方法に関し、特に、左目用の２Ｄ画像と右目用の２Ｄ画像が、互いに逆の位相が間引かれて多重化される場合において、復元後の左目用の２Ｄ画像と右目用の２Ｄ画像の画質をより向上させることができるようにした表示制御装置および表示制御方法、並びに画像生成装置および画像生成方法に関する。
【背景技術】
【０００２】
近年、３Ｄ画像の視聴が話題であり、３Ｄ画像の処理方法が多く提案されている。例えば、３Ｄ画像の符号化方法および復号方法として、多視点の画像用の方法が提案されている（例えば、特許文献１参照）。
【０００３】
また、３Ｄ画像を構成する左目用の画像と右目用の画像を1フレームのHD（High Definition）画像に多重化する方法も提案されている。多重化方式としては、３Ｄ画像を構成する左目用の画像と右目用の画像を画面上の左右に分割して配置するサイドバイサイド方式、左目用の画像と右目用の画像を画面上の上下に分割して配置するオーバーアンドアンダー方式などがある。
【０００４】
３Ｄ画像が1フレームのHD画像に多重化される場合、２Ｄ画像と同一のビデオレートで３Ｄ画像を伝送したり、蓄積したりすることができる。また、符号化方式として、２Ｄ画像と同一の、既存のAVC（Advanced Video Coding）方式やMPEG2（Moving Picture Experts Group phase 2）方式などを用いることができるため、既存の符号化装置や復号装置で３Ｄ画像を取り扱うことができる。
【０００５】
一方、1本のビデオストリームは３Ｄ画像と２Ｄ画像から構成される場合がある。例えば、放送用のビデオストリームにおいて、３Ｄの制作画像と２Ｄのコマーシャル画像が混在する場合や、映画のビデオストリームにおいて、製作者の意図により、３Ｄ画像のシーンと２Ｄ画像のシーンが混在する場合などがある。
【０００６】
図１は、２Ｄ画像と３Ｄ画像が混在する1本のビデオストリームを符号化し復号する従来の画像処理システムの構成の一例を示すブロック図である。
【０００７】
図１の画像処理システム１は、符号化装置１１と復号装置１２により構成される。符号化装置１１は、画像多重化部２１および画像符号化部２２により構成される。
【０００８】
符号化装置１１の画像多重化部２１には、２Ｄ画像と３Ｄ画像が混在する1本のビデオストリームが入力され、画像多重化部２１は、２Ｄ画像と３Ｄ画像を入力画像として取得する。なお、２Ｄ画像は、同一の視点の左目用の画像と右目用の画像により構成され、３Ｄ画像は、異なる視点の左目用の画像と右目用の画像により構成される。
【０００９】
画像多重化部２１は、サイドバイサイド方式で入力画像を多重化する多重化処理を行う。具体的には、画像多重化部２１は、入力画像に対してローパスフィルタ処理を施し、入力画像の帯域を半分にする。そして、画像多重化部２１は、ローパスフィルタ処理後の入力画像のうちの左目用の画像の水平方向の位置が偶数位置である画素を抽出することにより、その左目用の画像を1/2に縮小し、多重化画像の左半分の領域の画像とする。また、画像多重化部２１は、ローパスフィルタ処理の結果得られる右目用の画像の水平方向の位置が奇数位置である画素を抽出することにより、その右目用の画像を1/2に縮小し、多重化画像の右半分の領域の画像とする。そして、画像多重化部２１は、多重化処理の結果得られる入力画像と同一のサイズの多重化画像を画像符号化部２２に供給する。
【００１０】
画像符号化部２２は、画像多重化部２１から供給される多重化画像を、AVC等の符号化方式で符号化し、その結果得られる符号化ストリームを復号装置１２に供給する。
【００１１】
復号装置１２は、画像復号部３１、画像分離部３２、フレームシーケンス表示制御部３３、および３Ｄメガネ制御部３４により構成される。
【００１２】
復号装置１２の画像復号部３１は、画像符号化部２２から供給される符号化ストリームを、画像符号化部２２における符号化方式に対応する方式で復号し、その結果得られる多重化画像を画像分離部３２に供給する。
【００１３】
画像分離部３２は、画像復号部３１から供給される多重化画像の左右半分の領域を分離する分離処理を行う。具体的には、画像分離部３２は、多重化画像の左半分の領域の各画素を、水平方向の位置が偶数位置である画素とし、水平方向の位置が奇数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。そして、画像分離部３２は、生成された画像に対してローパスフィルタ処理を施すことにより、その画像の帯域を入力画像の半分にする。画像分離部３２は、ローパスフィルタ処理の結果得られる画像を、左目用の表示画像としてフレームシーケンス表示制御部３３に供給する。
【００１４】
また、画像分離部３２は、多重化画像の右半分の領域の各画素を、水平方向の位置が奇数位置である画素とし、水平方向の位置が偶数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。そして、画像分離部３２は、生成された画像に対してローパスフィルタ処理を施すことにより、その画像の帯域を入力画像の半分にする。画像分離部３２は、ローパスフィルタ処理の結果得られる画像を、右目用の表示画像としてフレームシーケンス表示制御部３３に供給する。
【００１５】
フレームシーケンス表示制御部３３（表示制御手段）は、画像分離部３２から供給される左目用の表示画像と右目用の表示画像を、交互に図示せぬ表示装置に表示させる。また、フレームシーケンス表示制御部３３は、表示対象が左目用の表示画像であるか、または、右目用の表示画像であるかを表す表示情報を、３Ｄメガネ制御部３４に供給する。
【００１６】
３Ｄメガネ制御部３４（メガネ制御手段）は、フレームシーケンス表示制御部３３から供給される表示情報に基づいて、左目用の表示画像の表示時に図示せぬ３Ｄメガネの左目用のシャッタが開き、右目用の表示画像の表示時に右目用のシャッタが開くように、３Ｄメガネを制御する。これにより、３Ｄメガネを装着したユーザは、図示せぬ表示装置に表示される左目用の表示画像を左目だけで見て、右目用の表示画像を右目だけで見ることができる。その結果、左目用の表示画像と右目用の表示画像が異なる視点の画像である場合、ユーザは、３Ｄ画像を見ることができ、左目用の表示画像と右目用の画像が同一の視点の画像である場合、ユーザは、２Ｄ画像を見ることができる。
【００１７】
以上のように、画像多重化部２１は、間引き前にローパスフィルタ処理を施すので、縮小による折り返り歪みを防止することができる。また、画像分離部３２は、補間後の画像に対してローパスフィルタ処理を施すので、補間により発生するイメージング成分を除去することができる。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００８−１８２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
しかしながら、ローパスフィルタ処理により、処理後の画像の帯域は処理前の帯域の半分になるため、図示せぬ表示装置に表示される２Ｄ画像の帯域は、入力画像の帯域の半分になる。即ち、図示せぬ表示装置に表示される２Ｄ画像の表示解像度は、入力画像の表示解像度の半分になる。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、左目用の２Ｄ画像と右目用の２Ｄ画像が、互いに逆の位相が間引かれて多重化される場合において、復元後の左目用の２Ｄ画像と右目用の２Ｄ画像の画質をより向上させることができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の第１の側面の表示制御装置は、所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像の前記所定の位相を０で補間し、前記間引き後の右目用の画像の前記所定の位相と逆の位相を０で補間する分離手段と、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像の補間後の画像である補間左目画像を左目用の表示画像とし、前記間引き後の右目用の画像の補間後の画像である補間右目画像を右目用の表示画像として、交互に表示させる表示制御手段と、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、メガネの左目用のシャッタと右目用のシャッタの両方を開くように、前記メガネを制御するメガネ制御手段とを備える表示制御装置である。
【００２２】
本発明の第１の側面の表示制御方法は、本発明の第１の側面の表示制御装置に対応する。
【００２３】
本発明の第１の側面においては、所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像が、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離され、前記間引き後の左目用の画像の前記所定の位相が０で補間され、前記間引き後の右目用の画像の前記所定の位相と逆の位相が０で補間され、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像の補間後の画像である補間左目画像が左目用の表示画像とされ、前記間引き後の右目用の画像の補間後の画像である補間右目画像が右目用の表示画像とされて、交互に表示させられ、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、メガネの左目用のシャッタと右目用のシャッタの両方を開くように、前記メガネが制御される。
【００２４】
本発明の第２の側面の表示制御装置は、左目用の画像の所定の位相と、右目用の画像の前記所定の位相と逆の位相を間引き、間引き後の前記左目用の画像と前記右目用の画像を多重化する多重化手段と、前記多重化手段による多重化の結果得られる多重化画像における折り返り歪みに関する情報である歪み関連情報を生成する歪み関連情報生成手段と、前記多重化画像および前記歪み関連情報を送信する送信手段とを備える画像生成装置である。
【００２５】
本発明の第２の側面の画像生成方法は、本発明の第２の側面の画像生成装置に対応する。
【００２６】
本発明の第２の側面においては、左目用の画像の所定の位相と、右目用の画像の前記所定の位相と逆の位相が間引かれ、間引き後の前記左目用の画像と前記右目用の画像が多重化され、多重化の結果得られる多重化画像における折り返り歪みに関する情報である歪み関連情報が生成され、前記多重化画像および前記歪み関連情報が送信される。
【００２７】
本発明の第３の側面の表示制御装置は、所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像に対して前記間引き後の右目用の画像を用いてインターリーブ処理し、前記間引き後の右目用の画像に対して前記間引き後の左目用の画像を用いてインターリーブ処理する分離手段と、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像のインターリーブ処理後の画像である処理後左目画像を左目用の表示画像とし、前記間引き後の右目用の画像のインターリーブ処理後の画像である処理後右目画像を右目用の表示画像として、交互に表示させる表示制御手段と、前記左目用の表示画像の表示時にメガネの左目用のシャッタを開き、前記右目用の表示画像の表示時に前記メガネの右目用のシャッタを開くように、前記メガネを制御するメガネ制御手段とを備える表示制御装置である。
【００２８】
本発明の第３の側面の表示制御方法は、本発明の第３の側面の表示制御装置に対応する。
【００２９】
本発明の第３の側面においては、所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記多重化画像が、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離され、前記間引き後の左目用の画像に対して前記間引き後の右目用の画像を用いてインターリーブ処理が行われ、前記間引き後の右目用の画像に対して前記間引き後の左目用の画像を用いてインターリーブ処理が行われ、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像のインターリーブ処理後の画像である処理後左目画像が左目用の表示画像とされ、前記間引き後の右目用の画像のインターリーブ処理後の画像である処理後右目画像が右目用の表示画像とされて、交互に表示させられ、
前記左目用の表示画像の表示時にメガネの左目用のシャッタを開き、前記右目用の表示画像の表示時に前記メガネの右目用のシャッタを開くように、前記メガネが制御される。
【００３０】
第１および第３の側面の表示制御装置並びに第２の側面の画像生成装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであってもよい。
【発明の効果】
【００３１】
本発明の第１および第３の側面によれば、左目用の２Ｄ画像と右目用の２Ｄ画像が、互いに逆の位相が間引かれて多重化される場合において、復元後の左目用の２Ｄ画像と右目用の２Ｄ画像の画質をより向上させることができる。
【００３２】
また、本発明の第２の側面によれば、左目用の２Ｄ画像と右目用の２Ｄ画像が、互いに逆の位相が間引かれて多重化される場合において、復元後の左目用の２Ｄ画像と右目用の２Ｄ画像の画質をより向上させるための情報を送信することができる。
【図面の簡単な説明】
【００３３】
【図１】従来の画像処理システムの構成の一例を示すブロック図である。
【図２】本発明を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。
【図３】多重化画像を説明する図である。
【図４】フレームパッキングアレンジメントSEIの記述例を示す図である。
【図５】２Ｄシーン情報SEIの記述例を示す図である。
【図６】入力画像が２Ｄ画像である場合の多重化処理を説明する図である。
【図７】入力画像が２Ｄ画像である場合の分離処理を説明する図である。
【図８】入力画像が２Ｄ画像である場合の帯域を示す図である。
【図９】入力画像が３Ｄ画像である場合の多重化処理を説明する図である。
【図１０】入力画像が３Ｄ画像である場合の分離処理を説明する図である。
【図１１】入力画像が３Ｄ画像である場合の帯域を示す図である。
【図１２】符号化処理を説明するフローチャートである。
【図１３】復号処理を説明するフローチャートである。
【図１４】本発明を適用した画像処理システムの第２実施の形態の構成例を示すブロック図である。
【図１５】入力画像が２Ｄ画像である場合の分離処理を説明する図である。
【図１６】復号処理を説明するフローチャートである。
【図１７】本発明を適用した画像処理システムの第３実施の形態の構成例を示すブロック図である。
【図１８】２Ｄシーン情報SEIの記述例を示す図である。
【図１９】符号化処理を説明するフローチャートである。
【図２０】復号処理を説明するフローチャートである。
【図２１】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００３４】
＜第１実施の形態＞
［画像処理システムの第１実施の形態の構成例］
図２は、本発明を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。
【００３５】
図２の画像処理システム５０は、符号化装置５１と復号装置５２により構成される。画像処理システム５０は、入力画像が２Ｄ画像である場合には、多重化前および分離後にローパスフィルタ処理を行わず、入力画像が３Ｄ画像である場合には、多重化前および分離後にローパスフィルタ処理を行う。
【００３６】
具体的には、符号化装置５１は、２Ｄシーン判定部６１、画像多重化部６２、および画像符号化部６３により構成される。
【００３７】
符号化装置５１の２Ｄシーン判定部６１には、２Ｄ画像と３Ｄ画像が混在する1本のビットストリームが入力され、２Ｄシーン判定部６１は、その２Ｄ画像や３Ｄ画像を入力画像として取得する。
【００３８】
２Ｄシーン判定部６１は、入力画像が２Ｄ画像であるかどうかを判定する。この判定方法としては、例えば、入力画像を構成する左目用の画像と右目用の画像が同一であるかどうかを判定する方法、外部から入力画像が２Ｄ画像であるかどうかを示す情報を取得し、その情報に基づいて判定する方法などがある。２Ｄシーン判定部６１（２Ｄ情報生成手段）は、判定結果を示すフラグである２Ｄシーンフラグ（２Ｄ情報）を生成し、画像多重化部６２および画像符号化部６３に供給する。また、２Ｄシーン判定部６１は、入力画像を画像多重化部６２に供給する。
【００３９】
画像多重化部６２は、２Ｄシーン判定部６１から供給される２Ｄシーンフラグに基づいて、サイドバイサイド方式で入力画像を多重化する多重化処理を行う。
【００４０】
具体的には、画像多重化部６２は、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、入力画像に対してローパスフィルタ処理を行わず、入力画像そのものに対して、図１の画像多重化部２１による多重化と同様の多重化を行う。一方、画像多重化部６２は、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、画像多重化部２１による処理と同様に、入力画像に対してローパスフィルタ処理と多重化を行う。そして、画像多重化部６２は、多重化処理の結果得られる多重化画像を画像符号化部６３に供給する。
【００４１】
画像符号化部６３は、画像多重化部６２から供給される多重化画像と２Ｄシーン判定部６１から供給される２Ｄシーンフラグを用いて、AVC方式にしたがって符号化を行う。画像符号化部６３は、その結果得られる符号化ストリームを復号装置５２に送信する。
【００４２】
復号装置５２は、画像復号部７１、画像分離部７２、フレームシーケンス表示制御部７３、および３Ｄメガネ制御部７４により構成される。
【００４３】
復号装置５２の画像復号部７１（取得手段）は、符号化装置５１の画像符号化部６３から符号化ストリームを取得し、その符号化ストリームから、符号化された多重化画像、２Ｄシーンフラグなどを抽出する。画像復号部７１は、符号化された多重化画像を、AVC方式に対応する方式で復号し、その結果得られる多重化画像を画像分離部７２に供給する。また、画像復号部７１は、２Ｄシーンフラグを画像分離部７２および３Ｄメガネ制御部７４に供給する。
【００４４】
画像分離部７２（分離手段）は、画像復号部７１から供給される２Ｄシーンフラグに基づいて、画像復号部７１から供給される多重化画像の左右半分の領域を分離する分離処理を行う。具体的には、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、画像分離部７２は、図１の画像分離部３２と同様に、多重化画像の左半分の領域と右半分の領域から、それぞれ、入力画像と同一のサイズの画像を生成する。そして、画像分離部７２は、生成された画像に対してローパスフィルタ処理を施さず、左半分の領域から生成された画像をそのまま左目用の表示画像とし、右半分の領域から生成された画像をそのまま右目用の表示画像とする。
【００４５】
一方、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、画像分離部７２は、画像分離部３２の分離処理と同様の分離処理を行う。そして、画像分離部７２は、分離処理の結果得られる左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部７３に供給する。
【００４６】
フレームシーケンス表示制御部７３（表示制御手段）は、画像分離部７２から供給される左目用の表示画像と右目用の表示画像を、ハイフレームレート（例えば、240p）で交互に図示せぬ表示装置に表示させる。また、フレームシーケンス表示制御部７３は、表示情報を３Ｄメガネ制御部７４に供給する。
【００４７】
３Ｄメガネ制御部７４（メガネ制御手段）は、画像復号部７１から供給される２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、図示せぬ３Ｄメガネの左目用のシャッタと右目用のシャッタの両方が開くように、３Ｄメガネを制御する。これにより、３Ｄメガネを装着したユーザは、図示せぬ表示装置に表示される同一の視点の左目用の表示画像と右目用の表示画像の両方を、両目で見ることができる。その結果、左目用の表示画像を左目で見て、右目用の表示画像を右目で見る場合に比べて、ユーザの両目に入る光の量が増加し、ユーザは明るい２Ｄ画像を見ることができる。
【００４８】
一方、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、３Ｄメガネ制御部７４は、図１の３Ｄメガネ制御部３４と同様に、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、左目用の表示画像の表示時に左目用のシャッタが開き、右目用の表示画像の表示時に右目用のシャッタが開くように、３Ｄメガネを制御する。これにより、３Ｄメガネを装着したユーザは、図示せぬ表示装置に表示される左目用の表示画像を左目だけで見て、左目用の表示画像と異なる視点の右目用の表示画像を右目だけで見ることができる。その結果、ユーザは、３Ｄ画像を見ることができる。
【００４９】
[多重化画像の説明]
図３は、図２の画像多重化部６２で生成される多重化画像を説明する図である。
【００５０】
図３に示すように、入力画像が３Ｄ画像である場合、入力画像は、異なる視点の左目用の画像（LEFT）と右目用の画像（RIGHT）により構成される。一方、入力画像が２Ｄ画像である場合、入力画像は、同一の視点の左目用の画像（2D）と右目用の画像(2D)により構成される。
【００５１】
そして、図３に示すように、入力画像のうちの左目用の画像の1/2縮小画像が左半分に配置され、右目用の画像の1/2縮小画像が右半分に配置された多重化画像が生成される。
【００５２】
[符号化ストリームのSEIの説明]
図４および図５は、画像符号化部６３により得られる符号化ストリームに含まれるSEI（Supplemental Enhancement Information）の記述例を示す図である。
【００５３】
図４は、符号化ストリームに含まれるフレームパッキングアレンジメントSEIの記述例を示す図である。
【００５４】
図４の第５行目に示すように、フレームパッキングアレンジメントSEIには、多重化方式を表す情報（frame_packing_arrangement_type）が配置される。また、第１５行目に示すように、フレームパッキングアレンジメントSEIには、多重化処理において左目用の画像を縮小する際に間引かない画素の水平方向の位置が、奇数位置であるか、または、偶数位置であるかを表す情報（frame0_grid_position_x）が配置される。
【００５５】
さらに、第１６行目に示すように、フレームパッキングアレンジメントSEIには、多重化処理において左目用の画像を縮小する際に間引かない画素の垂直方向の位置が、奇数位置であるか、または、偶数位置であるかを表す情報（frame0_grid_position_y）が配置される。
【００５６】
また、第１７行目に示すように、フレームパッキングアレンジメントSEIには、多重化処理において右目用の画像を縮小する際に間引かない画素の水平方向の位置が、奇数位置であるか、または、偶数位置であるかを表す情報（frame1_grid_position_x）が配置される。さらに、第１８行目に示すように、フレームパッキングアレンジメントSEIには、多重化処理において左目用の画像を縮小する際に間引かない画素の垂直方向の位置が、奇数位置であるか、または、偶数位置であるかを表す情報（frame1_grid_position_y）が配置される。
【００５７】
なお、本実施の形態では、多重化処理において垂直方向の位置によって画素は間引かれないので、情報（frame0_grid_position_y）および情報（frame1_grid_position_y）は、奇数位置および偶数位置のいずれも表さない情報となる。
【００５８】
図５は、符号化ストリームに含まれる２Ｄシーン情報SEIの記述例を示す図である。
【００５９】
図５の第２行目に示すように、２Ｄシーン情報SEIには、２Ｄシーンフラグ（2d_scene_flag）が配置される。
【００６０】
[２Ｄ画像に対する処理の説明]
図６は、入力画像が２Ｄ画像である場合の多重化処理を説明する図である。
【００６１】
図６に示すように、入力画像が２Ｄ画像である場合、画像多重化部６２は、まず、入力画像のうちの左目用の画像の水平方向の位置が偶数位置である画素を抽出して、その左目用の画像を1/2に縮小する。即ち、画像多重化部６２は、左目用の画像の水平方向の位置が奇数位置である画素を間引く。
【００６２】
また、画像多重化部６２は、入力画像のうちの右目用の画像の水平方向の位置が奇数位置である画素を抽出して、その右目用の画像を1/2に縮小する。即ち、画像多重化部６２は、左目用の画像の水平方向の位置が偶数位置である画素を間引く。次に、画像多重化部６２は、左目用の画像の1/2縮小画像を左半分の領域に配置し、右目用の画像の1/2縮小画像を右半分に配置することにより多重化を行い、多重化画像を得る。
【００６３】
図７は、多重化画像の元となる入力画像が２Ｄ画像である場合の分離処理を説明する図である。
【００６４】
図７に示すように、多重化画像の元となる入力画像が２Ｄ画像である場合、画像分離部７２は、まず、多重化画像を左半分の領域と右半分の領域に分離する。次に、画像分離部７２は、左半分の領域の各画素を水平方向の位置が偶数位置である画素とし、水平方向の位置が奇数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成し、左目用の表示画像とする。また、画像分離部７２は、右半分の領域の各画素を水平方向の位置が奇数位置である画素とし、水平方向の位置が偶数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成し、右目用の表示画像とする。
【００６５】
図８は、入力画像が２Ｄ画像である場合の入力画像、1/2縮小画像、および、図示せぬ表示装置に表示され、ユーザにより知覚される画像（以下、知覚画像という）の帯域を示す図である。なお、図８のグラフにおいて、横軸は正規化周波数(f)を表し、縦軸はエネルギー（X(z)）を表している。
【００６６】
図８の例では、入力画像の帯域は、図８の左側に示すようになっている。図８の例において、入力画像の最高の正規化周波数はπであり、サンプリング周波数は２πである。
【００６７】
入力画像の帯域が図８の左側に示すようになる場合、左目用の画像の1/2縮小画像と右目用の画像の1/2縮小画像の帯域は、図８の中央に示すようになる。即ち、ローパスフィルタ処理により縮小前に帯域が半分にされていないため、縮小による折り返り歪みはあるが、帯域は入力画像の帯域と同一である。
【００６８】
そして、左目用の画像の1/2縮小画像と右目用の画像の1/2縮小画像が多重化されて符号化され、復号されて分離処理が行われることにより得られる左目用の表示画像と右目用の表示画像の両方が、ユーザにより両目で見られるとき、知覚画像の帯域は、図８の右側に示すようになる。即ち、知覚画像の帯域は、入力画像の帯域と同一であり、折り返り歪みが発生していない。
【００６９】
折り返り歪みが発生しない理由を以下に説明する。
【００７０】
フレームシーケンス表示制御部７３は、左目用の表示画像と右目用の表示画像をハイフレームレートで交互に表示させるので、連続で表示される左目用の表示画像と右目用の表示画像の時間的な距離が極めて短い。その結果、ユーザは、図示せぬ表示装置に表示された画像を両目で見ることにより、時間的に隣接する左目用の表示画像と右目用の表示画像が合成された画像を知覚することができる。
【００７１】
そして、左目用の画像と右目用の画像では、逆位相の画素が間引かれるので、間引かれた画素が補間された左目用の表示画像と右目用の表示画像が合成されると、間引きにより生じた折り返り歪みが打ち消し合う。その結果、知覚画像には折り返り歪みが発生しない。
【００７２】
[３Ｄ画像に対する処理の説明]
図９は、入力画像が３Ｄ画像である場合の多重化処理を説明する図である。
【００７３】
図９に示すように、入力画像が３Ｄ画像である場合、画像多重化部６２は、まず、入力画像のうちの左目用の画像に対してローパスフィルタ処理を行い、帯域を半分にする。また、画像多重化部６２は、入力画像のうちの右目用の画像に対してローパスフィルタ処理を行い、帯域を半分にする。
【００７４】
次に、画像多重化部６２は、ローパスフィルタ処理後の左目用の画像の水平方向の位置が偶数位置である画素を抽出して、その左目用の画像を1/2に縮小する。また、画像多重化部６２は、ローパスフィルタ処理後の右目用の画像の水平方向の位置が奇数位置である画素を抽出して、その右目用の画像を1/2に縮小する。そして、画像多重化部６２は、左目用の画像の1/2縮小画像を左半分の領域に配置し、右目用の画像の1/2縮小画像を右半分に配置することにより多重化を行い、多重化画像を得る。
【００７５】
図１０は、多重化画像の元となる入力画像が３Ｄ画像である場合の分離処理を説明する図である。
【００７６】
図１０に示すように、多重化画像の元となる入力画像が３Ｄ画像である場合、画像分離部７２は、まず、多重化画像の左半分の領域と左半分の領域に分離する。次に、画像分離部７２は、左半分の領域の各画素を水平方向の位置が偶数位置である画素とし、水平方向の位置が奇数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。また、画像分離部７２は、右半分の領域の各画素を水平方向が奇数位置である画素とし、水平方向の位置が偶数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。
【００７７】
そして、画像分離部７２は、多重化画像の左半分の領域から生成された入力画像と同一のサイズの画像に対してローパスフィルタ処理を行い、その結果得られる画像を左目用の表示画像とする。また、画像分離部７２は、多重化画像の右半分の領域から生成された入力画像と同一のサイズの画像に対してローパスフィルタ処理を行い、その結果得られる画像を右目用の表示画像とする。
【００７８】
図１１は、入力画像が３Ｄ画像である場合の入力画像、1/2縮小画像、および、知覚画像の帯域を示す図である。なお、図１１のグラフにおいて、横軸は正規化周波数(f)を表し、縦軸はエネルギー（X(z)）を表している。
【００７９】
図１１の例では、入力画像の帯域は、図１１の左側に示すようになっている。図１１の例において、入力画像の最高の正規化周波数はπであり、サンプリング周波数は２πである。
【００８０】
入力画像の帯域が図１１の左側に示すようになる場合、左目用の画像の1/2縮小画像と右目用の画像の1/2縮小画像の帯域は、図１１の中央に示すようになる。即ち、ローパスフィルタ処理により縮小前に帯域が半分にされているため、帯域は入力画像の帯域の半分であるが、縮小による折り返り歪みがない。なお、理論上、折り返り歪みはないが、実際には、折り返り歪みは少ないが発生する。
【００８１】
そして、左目用の画像の1/2縮小画像と右目用の画像の1/2縮小画像が多重化されて符号化され、復号されて分離処理が行われることにより得られる左目用の表示画像と右目用の表示画像が、それぞれ、ユーザにより左目、右目だけで見られるとき、知覚画像の帯域は、図１１の右側に示すようになる。即ち、知覚画像の帯域は、入力画像の帯域の半分になるが、折り返り歪みは理論上発生しない。
【００８２】
［画像処理システムの処理の説明］
図１２は、図２の画像処理システム５０の符号化装置５１による符号化処理を説明するフローチャートである。この符号化処理は、例えば、符号化装置５１に２Ｄ画像と３Ｄ画像が混在する1本のビットストリームが入力されたとき開始される。
【００８３】
図１２のステップＳ１１において、２Ｄシーン判定部６１は、符号化装置５１に入力されたビットストリームに含まれる２Ｄ画像や３Ｄ画像を入力画像として取得し、入力画像を画像多重化部６２に供給する。なお、後述するステップＳ１２乃至Ｓ１８の処理は、1フレームの左目用の画像と右目用の画像から構成される入力画像ごとに行われる。
【００８４】
ステップＳ１２において、２Ｄシーン判定部６１は、入力画像が２Ｄ画像であるかどうかを判定する。ステップＳ１２で入力画像が２Ｄ画像であると判定された場合、ステップＳ１３において、２Ｄシーン判定部６１は、２Ｄシーンフラグを、入力画像が２Ｄ画像であることを示す1に設定し、画像多重化部６２および画像符号化部６３に供給する。
【００８５】
ステップＳ１４において、画像多重化部６２は、２Ｄシーン判定部６１から供給される1に設定された２Ｄシーンフラグに基づいて、入力画像に対して、図１の画像多重化部２１による多重化と同様の多重化を行う。そして、画像多重化部６２は、多重化の結果得られる多重化画像を画像符号化部６３に供給し、処理をステップＳ１８に進める。
【００８６】
一方、ステップＳ１２で入力画像が２Ｄ画像ではないと判定された場合、即ち入力画像が３Ｄ画像である場合、処理はステップＳ１５に進む。ステップＳ１５において、２Ｄシーン判定部６１は、２Ｄシーンフラグを入力画像が２Ｄ画像ではないことを示す0に設定し、画像多重化部６２および画像符号化部６３に供給する。
【００８７】
ステップＳ１６において、画像多重化部６２は、２Ｄシーン判定部６１から供給される0に設定された２Ｄシーンフラグに基づいて、入力画像に対して、画像多重化部２１と同様にローパスフィルタ処理を行う。
【００８８】
ステップＳ１７において、画像多重化部６２は、ローパスフィルタ処理後の入力画像に対して、画像多重化部２１と同様に多重化を行う。そして、画像多重化部６２は、多重化の結果得られる多重化画像を画像符号化部６３に供給し、処理をステップＳ１８に進める。
【００８９】
ステップＳ１８において、画像符号化部６３は、画像多重化部６２から供給される多重化画像と２Ｄシーン判定部６１から供給される２Ｄシーンフラグを用いて、AVC方式にしたがって符号化を行う。画像符号化部６３は、その結果得られる符号化ストリームを復号装置５２に送信し、処理を終了する。
【００９０】
以上のように、符号化装置５１は、入力画像が２Ｄ画像である場合、入力画像に対してローパスフィルタ処理を施さずに多重化を行うので、復号装置５２において表示される２Ｄ画像の表示解像度を、入力画像の表示解像度と同一にすることができる。また、ローパスフィルタ処理分の演算量を削減することができる。さらに、符号化装置５１は、２Ｄシーンフラグを復号装置５２に送信することができる。
【００９１】
図１３は、図２の画像処理システム５０の復号装置５２による復号処理を説明するフローチャートである。この復号処理は、画像処理システム５０の符号化装置５１から符号化ストリームが送信されてきたとき、ピクチャ単位で行われる。
【００９２】
図１３のステップＳ３１において、復号装置５２の画像復号部７１は、符号化装置５１から送信されてきた符号化ストリームを取得し、その符号化ストリームから、符号化された多重化画像、２Ｄシーンフラグなどを抽出する。そして、画像復号部７１は、２Ｄシーンフラグを画像分離部７２および３Ｄメガネ制御部７４に供給する。
【００９３】
ステップＳ３２において、画像復号部７１は、符号化された多重化画像を、AVC方式に対応する方式で復号し、その結果得られる多重化画像を画像分離部７２に供給する。
【００９４】
ステップＳ３３において、画像分離部７２は、多重化画像を左半分の領域と右半分の領域に分離する。ステップＳ３４において、画像分離部７２は、分離された左半分の領域の画素を水平方向の位置が偶数位置である画素とし、水平方向の位置が奇数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。ステップＳ３５において、画像分離部７２は、分離された右半分の領域の画素を水平方向の位置が奇数位置である画素とし、水平方向の位置が偶数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。
【００９５】
ステップＳ３６において、画像分離部７２は、画像復号部７１から供給される２Ｄシーンフラグが1であるかどうかを判定する。
【００９６】
ステップＳ３６で２Ｄシーンフラグが1であると判定された場合、画像分離部７２は、ステップＳ３４で生成された画像をそのまま左目用の表示画像とし、ステップＳ３５で生成された画像をそのまま右目用の表示画像として、フレームシーケンス表示制御部７３に供給する。そして、フレームシーケンス表示制御部７３は、表示対象が左目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部７４に供給する。そして、ステップＳ３７において、３Ｄメガネ制御部７４は、図示せぬ３Ｄメガネの左目用のシャッタと右目用のシャッタの両方が開くように、３Ｄメガネを制御する。
【００９７】
ステップＳ３８において、フレームシーケンス表示制御部７３は、画像分離部７２から供給される左目用の表示画像を図示せぬ表示装置に表示させる。そして、フレームシーケンス表示制御部７３は、表示対象が右目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部７４に供給する。ステップＳ３９において、フレームシーケンス表示制御部７３は、画像分離部７２から供給される右目用の表示画像を図示せぬ表示装置に表示させ、処理を終了する。
【００９８】
一方、ステップＳ３６で２Ｄシーンフラグが1ではないと判定された場合、即ち２Ｄシーンフラグが0である場合、処理はステップＳ４０に進む。
【００９９】
ステップＳ４０において、画像分離部７２は、ステップＳ３４で生成された画像およびステップＳ３５で生成された画像に対してローパスフィルタ処理を行う。そして、画像分離部７２は、ステップＳ３４で生成された画像に対してローパスフィルタ処理を行った結果得られる画像を左目用の表示画像とする。また、画像分離部７２は、ステップＳ３５で生成された画像に対してローパスフィルタ処理を行った結果得られる画像を右目用の表示画像とする。そして、画像分離部７２は、左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部７３に供給し、フレームシーケンス表示制御部７３は、表示対象が左目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部７４に供給する。
【０１００】
ステップＳ４１において、３Ｄメガネ制御部７４は、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、図示せぬ３Ｄメガネの左目用のシャッタが開くように、３Ｄメガネを制御する。
【０１０１】
ステップＳ４２において、フレームシーケンス表示制御部７３は、画像分離部７２から供給される左目用の表示画像を図示せぬ表示装置に表示させる。そして、フレームシーケンス表示制御部７３は、表示対象が右目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部７４に供給する。
【０１０２】
ステップＳ４３において、３Ｄメガネ制御部７４は、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、図示せぬ３Ｄメガネの右目用のシャッタが開くように、３Ｄメガネを制御する。
【０１０３】
ステップＳ４４において、フレームシーケンス表示制御部７３は、画像分離部７２から供給される右目用の表示画像を図示せぬ表示装置に表示させ、処理を終了する。
【０１０４】
以上のように、復号装置５２は、多重化画像の元となる入力画像が２Ｄ画像である場合、多重化画像の分離後にローパスフィルタ処理を施さず、分離後の画像をそのまま表示画像とする。従って、２Ｄ画像の表示解像度を入力画像の表示解像度と同一にすることができる。また、ローパスフィルタ処理分の演算量を削減することができる。
【０１０５】
さらに、復号装置５２は、左目用の表示画像と右目用の表示画像をハイフレームレートで交互に表示させ、３Ｄメガネの左目用のシャッタと右目用のシャッタの両方を開くように３Ｄメガネを制御するので、左目用の表示画像と右目用の表示画像に発生している折り返り歪みを打ち消し、ユーザに折り返り歪みを知覚させないようにすることができる。
【０１０６】
＜第２実施の形態＞
［画像処理システムの第２実施の形態の構成例］
図１４は、本発明を適用した画像処理システムの第２実施の形態の構成例を示すブロック図である。
【０１０７】
図１４に示す構成のうち、図１や図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０８】
図１４の画像処理システム１００の構成は、主に、復号装置５２の代わりに復号装置１０１が設けられている点が図２の構成と異なる。画像処理システム１００は、復号装置１０１において、２Ｄ画像の左目用の表示画像および右目用の表示画像として同一の画像を生成し、表示対象が３Ｄ画像であっても２Ｄ画像であっても、３Ｄメガネの左目用のシャッタと右目用のシャッタを交互に開閉させる。
【０１０９】
具体的には、復号装置１０１は、フレームシーケンス表示制御部３３、３Ｄメガネ制御部３４、画像復号部１１１、および画像分離部１１２により構成される。
【０１１０】
復号装置１０１の画像復号部１１１（取得手段）は、図２の画像復号部７１と同様に、符号化装置５１の画像符号化部６３から符号化ストリームを取得し、その符号化ストリームから、符号化された多重化画像、２Ｄシーンフラグなどを抽出する。画像復号部１１１は、画像復号部７１と同様に、符号化された多重化画像を、AVC方式に対応する方式で復号し、その結果得られる多重化画像を画像分離部１１２に供給する。また、画像復号部１１１は、２Ｄシーンフラグを画像分離部１１２に供給する。
【０１１１】
画像分離部１１２は、画像復号部１１１から供給される２Ｄシーンフラグに基づいて、画像復号部１１１から供給される多重化画像の左右半分の領域を分離する分離処理を行う。
【０１１２】
具体的には、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、画像分離部１１２(分離手段)は、図１の画像分離部３２と同様に、多重化画像の左半分の領域と右半分の領域から、それぞれ、入力画像と同一のサイズの画像を生成する。そして、画像分離部１１２は、生成された画像に対してローパスフィルタ処理を施さず、多重化画像の左半分の領域から生成された画像に対して、右半分の領域から生成された画像を用いて垂直ラインインターリーブ処理を行い、その結果得られる画像を左目用の表示画像とする。また、画像分離部１１２は、多重化画像の右半分の領域から生成された画像に対して、左半分の領域から生成された画像を用いて垂直ラインインターリーブ処理を行い、その結果得られる画像を右目用の表示画像とする。
【０１１３】
一方、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、画像分離部１１２は、画像分離部３２の分離処理と同様の分離処理を行う。そして、画像分離部１１２は、分離処理の結果得られる左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部３３に供給する。
【０１１４】
[２Ｄ画像に対する処理の説明]
図１５は、多重化画像の元となる入力画像が２Ｄ画像である場合の分離処理を説明する図である。
【０１１５】
図１５に示すように、多重化画像に対応する入力画像が２Ｄ画像である場合、画像分離部１１２は、まず、多重化画像の左半分の領域と右半分の領域に分離する。次に、画像分離部１１２は、左半分の領域の各画素を水平方向の位置が偶数位置である画素とし、水平方向の位置が奇数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。また、画像分離部７２は、右半分の領域の各画素を水平方向の位置が奇数位置である画素とし、水平方向の位置が偶数位置である画素を0で補間することにより、入力画像と同一のサイズの画像を生成する。
【０１１６】
そして、画像分離部１１２は、多重化画像の左半分の領域から生成された画像に対して、右半分の領域から生成された画像を用いて垂直ラインインターリーブ処理を行う。その結果、多重化画像の左半分の領域から生成された画像の水平方向の位置が奇数位置である画素が、右半分の領域から生成された画像の水平方向の位置が奇数位置である画素に置換され、左目用の表示画像とされる。
【０１１７】
また、画像分離部１１２は、多重化画像の右半分の領域から生成された画像に対して、左半分の領域から生成された画像を用いて垂直ラインインターリーブ処理を行う。その結果、多重化画像の右半分の領域から生成された画像の水平方向の位置が偶数位置である画素が、左半分の領域から生成された画像の水平方向の位置が偶数位置である画素に置換され、右目用の表示画像とされる。
【０１１８】
従って、左目用の表示画像と右目用の表示画像において、多重化画像の左半分の領域から生成された画像と右半分の領域から生成された画像の両方に発生していた折り返り歪みが打ち消しあう。よって、３Ｄメガネの左目用のシャッタと右目用のシャッタが交互に開閉され、左目用の表示画像と右目用の表示画像のいずれか一方しか１つの目で見ることができない場合であっても、ユーザに折り返り歪みを知覚させないようにすることができる。
【０１１９】
[画像処理システムの処理の説明]
図１６は、図１４の画像処理システム１００の復号装置１０１による復号処理を説明するフローチャートである。この復号処理は、画像処理システム１００の符号化装置５１から符号化ストリームが送信されてきたとき、ピクチャ単位で行われる。
【０１２０】
図１６のステップＳ５１乃至Ｓ５６の処理は、図１３のステップＳ３１乃至Ｓ３６の処理と同様であるので、説明は省略する。
【０１２１】
ステップＳ５６で２Ｄシーンフラグが1であると判定された場合、処理はステップＳ５７に進む。ステップＳ５７において、画像分離部１１２は、ステップＳ５４で生成された画像に対して、ステップＳ５５で生成された画像を用いて垂直ラインインターリーブ処理を行い、その結果得られる画像を左目用の表示画像とする。また、画像分離部１１２は、ステップＳ５５で生成された画像に対して、ステップＳ５４で生成された画像を用いて垂直ラインインターリーブ処理を行い、その結果得られる画像を右目用の表示画像とする。そして、画像分離部１１２は、左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部３３に供給し、フレームシーケンス表示制御部３３は、表示対象が左目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部３４に供給する。そして、処理はステップＳ５９に進む。
【０１２２】
一方、ステップＳ５６で２Ｄシーンフラグが1ではないと判定された場合、処理はステップＳ５８に進む。ステップＳ５８において、画像分離部１１２は、図１３のステップＳ４０の処理と同様に、ステップＳ５４で生成された画像およびステップＳ５５で生成された画像に対してローパスフィルタ処理を行う。そして、画像分離部１１２は、ステップＳ５４で生成された画像に対してローパスフィルタ処理を行った結果得られる画像を左目用の表示画像とする。また、画像分離部１１２は、ステップＳ５５で生成された画像に対してローパスフィルタ処理を行った結果得られる画像を右目用の表示画像とする。そして、画像分離部１１２は、左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部３３に供給し、フレームシーケンス表示制御部３３は、表示対象が左目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部３４に供給する。そして、処理はステップＳ５９に進む。
【０１２３】
ステップＳ５９乃至Ｓ６２の処理は、図１３のステップＳ４１乃至Ｓ４４の処理と同様であるので、説明は省略する。
【０１２４】
以上のように、画像処理システム１００の復号装置１０１は、多重化画像の元となる画像が２Ｄ画像である場合、多重化画像から分離され、ゼロ補間された、折り返り歪みが発生している2フレームの画像の一方に対して、他方を用いて垂直ラインインターリーブ処理を施す。
【０１２５】
従って、垂直ラインインターリーブ処理の結果得られる左目用の表示画像と右目用の表示画像において、折り返り歪みが打ち消される。その結果、３Ｄメガネの左目用のシャッタと右目用のシャッタが交互に開閉される場合であっても、ユーザに折り返り歪みを知覚させないようにすることができる。
【０１２６】
また、復号装置１０１は、多重化画像の元となる画像が２Ｄ画像である場合、多重化画像の分離後にローパスフィルタ処理を施さないので、２Ｄ画像の表示解像度を符号化前の入力画像の表示解像度と同一にすることができる。
【０１２７】
なお、第１および第２実施の形態では、入力画像が２Ｄ画像である場合、多重化前および分離後にローパスフィルタ処理が行われなかったが、入力画像が３Ｄ画像である場合に行われるローパスフィルタ処理に比べて高周波数成分を通過させる通過域の広いローパスフィルタ処理が行われるようにしてもよい。この場合、２Ｄ画像の表示解像度は、入力画像の表示解像度と同一にはならないが、ローパスフィルタ処理により入力画像の帯域が半分にされる場合に比べて向上する。
【０１２８】
＜第３実施の形態＞
［画像処理システムの第３実施の形態の構成例］
図１７は、本発明を適用した画像処理システムの第３実施の形態の構成例を示すブロック図である。
【０１２９】
図１７に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３０】
図１７の画像処理システム１５０は、符号化装置１５１と復号装置１５２により構成される。画像処理システム１５０は、２Ｄ画像の多重化画像に含まれる折り返り歪みの有無、および、表示時のフレームレート（以下、表示フレームレートという）に基づいて、３Ｄメガネのシャッタを制御する。
【０１３１】
具体的には、符号化装置１５１の構成は、主に、画像多重化部６２、画像符号化部６３の代わりに、画像多重化部１６１、画像符号化部１６２が設けられる点、および、新たに付加部１６３が設けられる点が図２の構成と異なる。
【０１３２】
符号化装置１５１の画像多重化部１６１は、２Ｄシーン判定部６１から供給される２Ｄシーンフラグに基づいて、サイドバイサイド方式で入力画像を多重化する多重化処理を行う。
【０１３３】
具体的には、画像多重化部１６１は、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、入力画像に対して、入力画像が３Ｄ画像である場合に行われるローパスフィルタ処理に比べて高周波数成分を通過させる通過域の広いローパスフィルタ処理を行う。そして、画像多重化部１６１（多重化手段）は、ローパスフィルタ処理後の入力画像に対して、図１の画像多重化部２１による多重化と同様の多重化を行う。
【０１３４】
一方、画像多重化部１６１は、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、画像多重化部２１による処理と同様に、入力画像に対してローパスフィルタ処理と多重化を行う。そして、画像多重化部１６１は、多重化処理の結果得られる多重化画像を画像符号化部１６２に供給する。
【０１３５】
画像符号化部１６２は、画像多重化部１６１から供給される多重化画像、２Ｄシーン判定部６１から供給される２Ｄシーンフラグ、並びに付加部１６３から供給される歪みフラグおよび最小表示フレームレート情報などを用いて、AVC方式で符号化を行う。なお、歪みフラグ（歪み情報）とは、多重化画像に折り返り歪みがあるかどうかを表す情報である。また、最小表示フレームレート情報とは、復号装置１５２で知覚画像に折り返り歪みがなくなると推測される表示フレームレート(表示速度)の最小値を表す情報である。画像符号化部１６２（送信手段）は、その結果得られる符号化ストリームを復号装置１５２に送信する。
【０１３６】
付加部１６３（歪み関連情報生成手段）は、入力画像が２Ｄ画像である場合に、ユーザからの指示に応じて、多重化画像における折り返り歪みに関する情報（以下、歪み関連情報という）としての歪みフラグを生成する。
【０１３７】
具体的には、入力画像が２Ｄ画像である場合、ユーザは、例えば、画像多重化部１６１により得られた多重化画像を図示せぬ表示装置に表示させ、多重化画像に所定量以上の折り返り歪みが発生しているかどうかを判断する。そして、ユーザは、多重化画像に所定量以上の折り返り歪みが発生していると判断した場合、折り返り歪みの有りを指示し、所定量以上の折り返り歪みが発生していないと判断した場合、折り返り歪みの無しを指示する。付加部１６３は、その指示に応じて、歪みフラグを生成する。
【０１３８】
また、付加部１６３は、折り返り歪みがあることを表す歪みフラグを生成する場合、ユーザからの指示に応じて、歪み関連情報としての最小表示フレームレート情報を生成する。具体的には、ユーザは、多重化画像に所定量以上の折り返り歪みが発生していると判断した場合、その折り返り歪みの量などに基づいて、復号装置１５２で知覚画像に折り返り歪みがなくなると推測される表示フレームレートの最小値（例えば、120Hz）を決定し、指示する。付加部１６３は、その指示に応じて、最小表示フレームレート情報を生成する。
【０１３９】
付加部１６３は、生成された歪みフラグおよび最小表示フレームレートを画像符号化部１６２に供給する。
【０１４０】
復号装置１５２の構成は、画像復号部７１、画像分離部７２、３Ｄメガネ制御部７４の代わりに、画像復号部１７１、画像分離部１７２、３Ｄメガネ制御部１７３が設けられる点、および、判定部１７４が新たに設けられる点が図２の構成と異なる。
【０１４１】
復号装置１５２の画像復号部１７１は、符号化装置１５１の画像符号化部１６２から符号化ストリームを取得し、符号化ストリームから、符号化された多重化画像、２Ｄシーンフラグ、歪みフラグ、最小表示フレームレートなどを抽出する。画像復号部１７１は、図２の画像復号部７１と同様に、符号化された多重化画像を、AVC方式に対応する方式で復号し、その結果得られる多重化画像を画像分離部１７２に供給する。また、画像復号部１７１は、画像復号部７１と同様に、２Ｄシーンフラグを画像分離部１７２および３Ｄメガネ制御部１７３に供給する。さらに、画像復号部１７１は、歪みフラグおよび最小表示フレームレートを判定部１７４に供給する。
【０１４２】
画像分離部１７２は、画像復号部１７１から供給される２Ｄシーンフラグに基づいて、画像復号部１７１から供給される多重化画像の左右半分の領域を分離する分離処理を行う。具体的には、２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、画像分離部１７２は、図１の画像分離部３２と同様に、多重化画像の左半分の領域と右半分の領域から、それぞれ、入力画像と同一のサイズの画像を生成する。そして、画像分離部１７２は、生成された画像に対して、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合に行われるローパスフィルタ処理に比べて通過域の広いローパスフィルタ処理を行う。そして、画像分離部１７２は、ローパスフィルタ処理後の左半分の領域から生成された画像を左目用の表示画像とし、ローパスフィルタ処理後の右半分の領域から生成された画像を右目用の表示画像とする。
【０１４３】
一方、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、画像分離部１７２は、画像分離部３２の分離処理と同様の分離処理を行う。そして、画像分離部１７２は、分離処理の結果得られる左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部７３に供給する。
【０１４４】
３Ｄメガネ制御部１７３は、画像復号部１７１から供給される２Ｄシーンフラグが、入力画像が２Ｄ画像であることを示す場合、判定部１７４からの指示に応じて、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、図示せぬ３Ｄメガネの左目用のシャッタと右目用のシャッタの両方が開くように、３Ｄメガネを制御する。または、３Ｄメガネ制御部１７３は、判定部１７４からの指示に応じて、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、左目用の表示画像の表示時に左目用のシャッタが開き、右目用の表示画像の表示時に右目用のシャッタが開くように、３Ｄメガネを制御する。
【０１４５】
一方、２Ｄシーンフラグが、入力画像が２Ｄ画像ではないことを示す場合、３Ｄメガネ制御部１７３は、フレームシーケンス表示制御部７３から供給される表示情報に基づいて、左目用の表示画像の表示時に左目用のシャッタが開き、右目用の表示画像の表示時に右目用のシャッタが開くように、３Ｄメガネを制御する。
【０１４６】
判定部１７４は、画像復号部１７１から供給される歪みフラグに基づいて、３Ｄメガネの左目用のシャッタと右目用のシャッタを両方開かせるか、または、交互に開かせるかを判定し、３Ｄメガネ制御部１７３に指示する。なお、画像復号部１７１から最小表示フレームレート情報が供給される場合には、歪みフラグだけでなく、その最小表示フレームレート情報が表す最小値とフレームシーケンス表示制御部７３における表示フレームレートとにも基づいて、判定が行われる。
【０１４７】
[符号化ストリームのSEIの説明]
図１８は、画像符号化部１６２により得られる符号化ストリームに含まれる２Ｄシーン情報SEIの記述例を示す図である。
【０１４８】
図１８の第２行目に示すように、２Ｄシーン情報SEIには、２Ｄシーンフラグ（2d_scene_flag）が配置される。また、第３および第４行目に示すように、２Ｄシーンフラグが1である場合、即ち入力画像が２Ｄ画像である場合、２Ｄシーン情報SEIには、歪みフラグ(aliasing_remain_flag)が配置される。また、第５および第６行目に示すように、歪みフラグが、折り返り歪みがあることを表す1である場合、２Ｄシーン情報SEIには、最小表示フレームレート(minimum_display_frame_rate)が配置される。
【０１４９】
［画像処理システムの処理の説明］
図１９は、図１７の画像処理システム１５０の符号化装置１５１による符号化処理を説明するフローチャートである。この符号化処理は、例えば、符号化装置１５１に２Ｄ画像と３Ｄ画像が混在する1本のビットストリームが入力されたとき開始される。
【０１５０】
図１９のステップＳ１１１乃至Ｓ１１３の処理は、図１２のステップＳ１１乃至Ｓ１３の処理と同様であり、ステップＳ１２０乃至Ｓ１２２の処理は、図１２のステップＳ１５乃至１７の処理と同様であるので、説明は省略する。
【０１５１】
ステップＳ１１３の処理後、ステップＳ１１４において、画像多重化部１６１は、入力画像に対して、ステップＳ１２１で行われるローパスフィルタ処理におけるフィルタ係数とは異なるフィルタ係数を用いることにより、ステップＳ１２１で行われるローパスフィルタ処理に比べて通過域の広いローパスフィルタ処理を行う。
【０１５２】
ステップＳ１１５において、画像多重化部１６１は、ステップＳ１１４のローパスフィルタ処理の結果得られる入力画像に対して、図１の画像多重化部２１による多重化と同様の多重化を行う。そして、画像多重化部１６１は、多重化の結果得られる多重化画像を画像符号化部１６２に供給する。
【０１５３】
ステップＳ１１６において、付加部１６３は、ユーザからの折り返り歪みの有りが指示されたかどうかを判定する。ステップＳ１１６で折り返り歪みの有りが指示されたと判定された場合、ステップＳ１１７において、付加部１６３は、歪みフラグを1に設定し、その歪みフラグを画像符号化部１６２に供給する。
【０１５４】
ステップＳ１１８において、付加部１６３は、ユーザからの指示に応じて、最小表示フレームレート情報を生成し、画像符号化部１６２に供給する。
【０１５５】
一方、ステップＳ１１６で折り返り歪みの有りが指示されていないと判定された場合、即ちユーザから折り返り歪みの無しが指示された場合。ステップＳ１８８において、付加部１６３は、歪みフラグを0に設定し、その歪みフラグを画像符号化部１６２に供給する。
【０１５６】
ステップＳ１１８，Ｓ１１９、またはＳ１２２の処理後、ステップＳ１２３において、画像符号化部１６２は、画像多重化部１６１から供給される多重化画像と２Ｄシーン判定部６１から供給される２Ｄシーンフラグを用いて、AVC方式で符号化を行う。なお、付加部１６３から歪みフラグが供給される場合、その歪みフラグも用いて符号化が行われ、付加部１６３から最小表示フレームレート情報が供給される場合、その最小表示フレームレート情報も用いて符号化が行われる。そして、処理は終了する。
【０１５７】
以上のように、符号化装置１５１は、符号化ストリームに歪みフラグを含める。これにより、復号装置１５２において、その歪みフラグに基づいて、２Ｄ画像の多重化画像に所定量以上の折り返り歪みが発生していない場合、３Ｄメガネのシャッタの制御を２Ｄ画像と３Ｄ画像の間で変更しないようにすることができる。その結果、２Ｄ画像の多重化画像に所定量以上の折り返り歪みが発生していない場合に、無駄に３Ｄメガネのシャッタの制御が変更されることを防止することができる。
【０１５８】
また、符号化装置１５１は、符号化ストリームに最小表示フレームレート情報を含める。これにより、復号装置１５２において、最小表示フレームレート情報に基づいて、表示フレームレートが、最小表示フレームレート情報が表す最小値より小さい場合、３Ｄメガネのシャッタの制御を２Ｄ画像と３Ｄ画像の間で変更しないようにすることができる。その結果、左目用のシャッタと右目用のシャッタを両方開くことにより折り返り歪みが打ち消されない場合に、無駄に３Ｄメガネのシャッタの制御が変更されることを防止することができる。
【０１５９】
図２０は、図１７の画像処理システム１５０の復号装置１５２による復号処理を説明するフローチャートである。この復号処理は、符号化装置１５１から符号化ストリームが送信されてきたとき、ピクチャ単位で行われる。
【０１６０】
図２０のステップＳ１３１において、復号装置５２の画像復号部１７１は、符号化装置１５１から送信されてきた符号化ストリームを取得し、その符号化ストリームから、符号化された多重化画像、２Ｄシーンフラグなどを抽出する。そして、画像復号部１７１は、２Ｄシーンフラグを画像分離部１７２および３Ｄメガネ制御部１７３に供給する。
【０１６１】
ステップＳ１３２において、画像復号部１７１は、抽出された２Ｄシーンフラグが1であるかどうかを判定する。ステップＳ１３２で２Ｄシーンフラグが１であると判定された場合、ステップＳ１３３において、画像復号部１７１は、符号化ストリームの２Ｄシーン情報SEIから歪みフラグを抽出し、判定部１７４に供給する。
【０１６２】
ステップＳ１３４において、画像復号部１７１は、歪みフラグが1であるかどうかを判定する。ステップＳ１３４で歪みフラグが1であると判定された場合、ステップＳ１３５において、画像復号部１７１は、符号化ストリームの２Ｄシーン情報SEIから最小表示フレームレート情報を抽出し、判定部１７４に供給する。そして、処理はステップＳ１３６に進む。
【０１６３】
一方、ステップＳ１３２で２Ｄシーンフラグが1ではないと判定された場合、または、ステップＳ１３４で歪みフラグが1ではないと判定された場合、処理はステップＳ１３６に進む。
【０１６４】
ステップＳ１３６乃至Ｓ１４０の処理は、図１３のステップＳ３２乃至Ｓ３６の処理と同様であるので、説明は省略する。
【０１６５】
ステップＳ１４０で２Ｄシーンフラグが1であると判定された場合、処理はステップＳ１４１に進む。ステップＳ１４１において、画像分離部１７２は、ステップＳ１３８で生成された画像およびステップＳ１３９で生成された画像に対して、ステップＳ１４７で行われるローパスフィルタ処理におけるフィルタ係数とは異なるフィルタ係数を用いることにより、ステップＳ１４７で行われるローパスフィルタ処理に比べて通過域の広いローパスフィルタ処理を行う。そして、画像分離部１７２は、ローパスフィルタ処理後のステップＳ１３８で生成された画像を左目用の表示画像としてフレームシーケンス表示制御部７３に供給する。また、画像分離部１７２は、ローパスフィルタ処理後のステップＳ１３９で生成された画像を右目用の表示画像としてフレームシーケンス表示制御部７３に供給する。そして、フレームシーケンス表示制御部７３は、表示対象が左目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部１７３に供給する。
【０１６６】
ステップＳ１４２において、判定部１７４は、画像復号部１７１から供給される歪みフラグが1であるかどうかを判定する。ステップＳ１４２で歪みフラグが1であると判定された場合、ステップＳ１４３において、フレームシーケンス表示制御部７３における表示フレームレートが、画像復号部１７１から供給される最小表示フレームレート情報が表す最小値以上であるかどうかを判定する。
【０１６７】
ステップＳ１４３で表示フレームレートが最小値以上であると判定された場合、処理はステップＳ１４４に進む。
【０１６８】
ステップＳ１４４乃至Ｓ１４６の処理は、図１３のステップＳ３７乃至Ｓ３９の処理と同様であるので説明は省略する。
【０１６９】
一方、ステップＳ１４０で２Ｄシーンフラグは1ではないと判定された場合、処理はステップＳ１４７に進む。ステップＳ１４７において、画像分離部１７２は、ステップＳ１３８で生成された画像およびステップＳ１３９で生成された画像に対してローパスフィルタ処理を行う。そして、画像分離部１７２は、ステップＳ１３８で生成された画像に対してローパスフィルタ処理を行った結果得られる画像を左目用の表示画像とする。また、画像分離部１７２は、ステップＳ１３９で生成された画像に対してローパスフィルタ処理を行った結果得られる画像を右目用の表示画像とする。そして、画像分離部１７２は、左目用の表示画像と右目用の表示画像をフレームシーケンス表示制御部７３に供給し、フレームシーケンス表示制御部７３は、表示対象が左目用の表示画像であることを表す表示情報を、３Ｄメガネ制御部７４に供給する。そして、処理はステップＳ１４８に進む。
【０１７０】
また、ステップＳ１４２で歪みフラグが1ではないと判定された場合、または、ステップＳ１４３で表示フレームレートが最小値以上ではないと判定された場合、処理はステップＳ１４８に進む。
【０１７１】
ステップＳ１４８乃至Ｓ１５１の処理は、図１３のステップＳ４１乃至Ｓ４４の処理と同様であるので説明は省略する。
【０１７２】
以上のように、復号装置１５２は、歪みフラグに基づいて、多重化画像に所定量以上の折り返り歪みが発生している場合にのみ、３Ｄメガネのシャッタの制御を２Ｄ画像と３Ｄ画像の間で変更するようにする。従って、多重化画像に所定量以上の折り返り歪みが発生していない場合に、無駄に３Ｄメガネのシャッタの制御が変更されることを防止することができる。
【０１７３】
また、復号装置１５２は、最小表示フレームレート情報に基づいて、表示フレームレートが、最小表示フレームレート情報が表す最小値より大きい場合にのみ、３Ｄメガネのシャッタの制御を２Ｄ画像と３Ｄ画像の間で変更するようにする。従って、左目用のシャッタと右目用のシャッタを両方開くことにより折り返り歪みが打ち消されない場合に、無駄に３Ｄメガネのシャッタの制御が変更されることを防止することができる。
【０１７４】
なお、第３実施の形態では、折り返り歪みの有りまたは無しがユーザにより指示されたが、多重化画像を用いて自動的に折り返り歪みの有りまたは無しを判定するようにしてもよい。同様に、最小表示フレームレートは、多重化画像を用いて自動的に決定されるようにしてもよい。
【０１７５】
また、第３実施の形態では、入力画像が２Ｄ画像である場合に、符号化ストリームに歪みフラグが含まれ、歪みフラグが1である場合に、符号化ストリームに最小表示フレームレート情報が含まれるようにしたが、歪みフラグと最小表示フレームレート情報は常に含まれるようにしてもよい。この場合、最小表示フレームレート情報は、多重化画像に発生する折り返り歪みの量に対応する値ではなく、固定値である。また、この場合、歪みフラグと最小表示フレームレート情報のいずれか一方のみが符号化ストリームに含まれるようにしてもよい。
【０１７６】
さらに、多重化の方式としては、サイドバイサイド方式ではなく、オーバーアンドアンダー方式などが用いられるようにしてもよい。この場合、垂直方向の位置によって入力画像の画素が間引かれる。
【０１７７】
また、本発明は、MPEG2方式等のAVC方式以外の方式で符号化を行う画像処理システムにも適用することができる。
【０１７８】
[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１７９】
そこで、図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８０】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１８１】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１８２】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１８３】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１８４】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１８５】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１８６】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１８７】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１８８】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１８９】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１９０】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１９１】
３３ フレームシーケンス表示部， ３４ ３Ｄメガネ制御部， ５１ 符号化装置， ５２ 復号装置， ６１ ２Ｄシーン判定部， ６２ 画像多重化部， ６３ 画像符号化部， ７１ 画像復号部， ７２ 画像分離部， ７３ フレームシーケンス表示制御部， ７４ ３Ｄメガネ制御部， １０１ 復号装置， １１１ 画像復号部， １１２ 画像分離部， １５１ 符号化装置， １５２ 復号装置， １６１ 画像多重化部， １６２ 画像符号化部， １６３ 付加部， １７１ 画像復号部， １７２ 画像分離部， １７３ メガネ制御部
【特許請求の範囲】
【請求項１】
所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像の前記所定の位相を０で補間し、前記間引き後の右目用の画像の前記所定の位相と逆の位相を０で補間する分離手段と、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像の補間後の画像である補間左目画像を左目用の表示画像とし、前記間引き後の右目用の画像の補間後の画像である補間右目画像を右目用の表示画像として、交互に表示させる表示制御手段と、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、メガネの左目用のシャッタと右目用のシャッタの両方を開くように、前記メガネを制御するメガネ制御手段と
を備える表示制御装置。
【請求項２】
前記分離手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、前記補間左目画像と前記補間右目画像のそれぞれに対して第１のローパスフィルタ処理を行い、
前記表示制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、前記第１のローパスフィルタ処理後の前記補間左目画像を前記左目用の表示画像とし、前記第１のローパスフィルタ処理後の前記補間右目画像を前記右目用の表示画像として、交互に表示させ、
前記メガネ制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、前記左目用の表示画像の表示時に前記左目用のシャッタを開き、前記右目用の表示画像の表示時に前記右目用のシャッタを開くように、前記メガネを制御する
請求項１に記載の表示制御装置。
【請求項３】
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、間引き前に前記左目用の画像と前記右目用の画像のそれぞれに対して第２のローパスフィルタ処理が行われ、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、間引き前に前記左目用の画像と前記右目用の画像のそれぞれに対して、前記第２のローパスフィルタ処理に比べて通過域の広い第３のローパスフィルタ処理が行われ、
前記分離手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記補間左目画像と前記補間右目画像のそれぞれに対して、前記第１のローパスフィルタ処理に比べて通過域の広い第４のローパスフィルタ処理を行い、
前記表示制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記第４のローパスフィルタ処理後の前記補間左目画像を前記左目用の表示画像とし、前記第４のローパスフィルタ処理後の前記補間右目画像を前記右目用の表示画像として、交互に表示させる
請求項２に記載の表示制御装置。
【請求項４】
前記多重化画像に折り返り歪みがあるかどうかを示す情報である歪み情報を取得する取得手段
をさらに備え、
前記メガネ制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像であり、かつ、前記歪み情報が前記折り返り歪みがあることを示す情報である場合、前記左目用のシャッタと前記右目用のシャッタの両方を開くように、前記メガネを制御する
請求項３に記載の表示制御装置。
【請求項５】
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合に、前記左目用の表示画像と前記右目用の表示画像によりユーザに知覚される画像に折り返り歪みがなくなると推測される表示速度の最小値を取得する取得手段
をさらに備え、
前記メガネ制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像であり、かつ、前記左目用の表示画像と前記右目用の表示画像の表示速度が前記最小値以上である場合、前記左目用のシャッタと前記右目用のシャッタの両方を開くように、前記メガネを制御する
請求項１に記載の表示制御装置。
【請求項６】
前記多重化画像と、前記多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像であるかどうかを示す情報である２Ｄ情報を取得する取得手段
をさらに備え、
前記表示制御手段は、前記２Ｄ情報が２Ｄ画像であることを示す情報である場合、前記補間左目画像を左目用の表示画像とし、前記補間右目画像を右目用の表示画像として、交互に表示させ、
前記メガネ制御手段は、前記２Ｄ情報が２Ｄ画像であることを示す情報である場合、前記左目用のシャッタと前記右目用のシャッタの両方を開くように、前記メガネを制御する
請求項１に記載の表示制御装置。
【請求項７】
表示制御装置が、
所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像の前記所定の位相を０で補間し、前記間引き後の右目用の画像の前記所定の位相と逆の位相を０で補間する分離ステップと、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像の補間後の画像である補間左目画像を左目用の表示画像とし、前記間引き後の右目用の画像の補間後の画像である補間右目画像を右目用の表示画像として、交互に表示させる表示制御ステップと、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、メガネの左目用のシャッタと右目用のシャッタの両方を開くように、前記メガネを制御するメガネ制御ステップと
を含む表示制御方法。
【請求項８】
左目用の画像の所定の位相と、右目用の画像の前記所定の位相と逆の位相を間引き、間引き後の前記左目用の画像と前記右目用の画像を多重化する多重化手段と、
前記多重化手段による多重化の結果得られる多重化画像における折り返り歪みに関する情報である歪み関連情報を生成する歪み関連情報生成手段と、
前記多重化画像および前記歪み関連情報を送信する送信手段と
を備える画像生成装置。
【請求項９】
前記多重化手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、前記間引き前に前記左目用の画像と前記右目用の画像のそれぞれに対して第１のローパスフィルタ処理を行う
請求項８に記載の画像生成装置。
【請求項１０】
前記多重化手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き前に前記左目用の画像と前記右目用の画像のそれぞれに対して、前記第１のローパスフィルタ処理に比べて通過域の広い第２のローパスフィルタ処理を行う
請求項９に記載の画像生成装置。
【請求項１１】
前記歪み関連情報生成手段は、前記多重化画像に折り返り歪みがあるかどうかを示す情報である歪み情報を前記歪み関連情報として生成する
請求項１０に記載の画像生成装置。
【請求項１２】
前記歪み関連情報生成手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記多重化画像を前記間引き後の前記左目用の画像と前記右目用の画像に分離し、前記間引き後の前記左目用の画像の前記所定の位相を０で補間することによって得られる左目用の表示画像と、前記間引き後の前記右目用の画像の前記所定の位相の逆の位相を０で補間することによって得られる右目用の表示画像によりユーザに知覚される画像に折り返り歪みがなくなると推測される表示速度の最小値を、前記歪み関連情報として生成する
請求項８に記載の画像生成装置。
【請求項１３】
前記多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像であるかどうかを示す情報である２Ｄ情報を生成する２Ｄ情報生成手段
をさらに備える
請求項８に記載の画像生成装置。
【請求項１４】
画像生成装置が、
左目用の画像の所定の位相と、右目用の画像の前記所定の位相と逆の位相を間引き、間引き後の前記左目用の画像と前記右目用の画像を多重化する多重化ステップと、
前記多重化ステップの処理による多重化の結果得られる多重化画像における折り返り歪みに関する情報である歪み関連情報を生成する歪み関連情報生成ステップと、
前記多重化画像および前記歪み関連情報を送信する送信ステップと
を含む画像生成方法。
【請求項１５】
所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像に対して前記間引き後の右目用の画像を用いてインターリーブ処理し、前記間引き後の右目用の画像に対して前記間引き後の左目用の画像を用いてインターリーブ処理する分離手段と、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像のインターリーブ処理後の画像である処理後左目画像を左目用の表示画像とし、前記間引き後の右目用の画像のインターリーブ処理後の画像である処理後右目画像を右目用の表示画像として、交互に表示させる表示制御手段と、
前記左目用の表示画像の表示時にメガネの左目用のシャッタを開き、前記右目用の表示画像の表示時に前記メガネの右目用のシャッタを開くように、前記メガネを制御するメガネ制御手段と
を備える表示制御装置。
【請求項１６】
前記分離手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、前記多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離して、前記間引き後の左目用の画像の前記所定の位相を０で補間し、前記間引き後の右目用の画像の前記所定の位相と逆の位相を０で補間し、補間後の左目用の画像と右目用の画像のそれぞれに対して第１のローパスフィルタ処理を行い、
前記表示制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、前記第１のローパスフィルタ処理後の前記左目用の画像を前記左目用の表示画像とし、前記第１のローパスフィルタ処理後の前記右目用の画像を前記右目用の表示画像として、交互に表示させる
請求項１５に記載の表示制御装置。
【請求項１７】
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、間引き前に前記左目用の画像と前記右目用の画像のそれぞれに対して第２のローパスフィルタ処理が行われ、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、間引き前に前記左目用の画像と前記右目用の画像のそれぞれに対して、前記第２のローパスフィルタ処理に比べて通過域の広い第３のローパスフィルタ処理が行われ、
前記分離手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記処理後左目画像と前記処理後右目画像のそれぞれに対して、前記第１のローパスフィルタ処理に比べて通過域の広い第４のローパスフィルタ処理を行い、
前記表示制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記第４のローパスフィルタ処理後の前記処理後左目画像を前記左目用の表示画像とし、前記第４のローパスフィルタ処理後の前記処理後右目画像を前記右目用の表示画像として、交互に表示させる
請求項１６に記載の表示制御装置。
【請求項１８】
前記多重化画像と、前記多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像であるかどうかを示す情報である２Ｄ情報を取得する取得手段
をさらに備え、
前記分離手段は、前記２Ｄ情報が２Ｄ画像であることを示す情報である場合、前記多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像に対して前記間引き後の右目用の画像を用いてインターリーブ処理し、前記間引き後の右目用の画像に対して前記間引き後の左目用の画像を用いてインターリーブ処理し、
前記表示制御手段は、前記２Ｄ情報が２Ｄ画像であることを示す情報である場合、前記処理後左目画像を左目用の表示画像とし、前記処理後右目画像を右目用の表示画像として、交互に表示させる
請求項１５に記載の表示制御装置。
【請求項１９】
表示制御装置が、
所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像に対して前記間引き後の右目用の画像を用いてインターリーブ処理し、前記間引き後の右目用の画像に対して前記間引き後の左目用の画像を用いてインターリーブ処理する分離ステップと、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像のインターリーブ処理後の画像である処理後左目画像を左目用の表示画像とし、前記間引き後の右目用の画像のインターリーブ処理後の画像である処理後右目画像を右目用の表示画像として、交互に表示させる表示制御ステップと、
前記左目用の表示画像の表示時にメガネの左目用のシャッタを開き、前記右目用の表示画像の表示時に前記メガネの右目用のシャッタを開くように、前記メガネを制御するメガネ制御ステップと
を含む表示制御方法。
【請求項１】
所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像の前記所定の位相を０で補間し、前記間引き後の右目用の画像の前記所定の位相と逆の位相を０で補間する分離手段と、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像の補間後の画像である補間左目画像を左目用の表示画像とし、前記間引き後の右目用の画像の補間後の画像である補間右目画像を右目用の表示画像として、交互に表示させる表示制御手段と、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、メガネの左目用のシャッタと右目用のシャッタの両方を開くように、前記メガネを制御するメガネ制御手段と
を備える表示制御装置。
【請求項２】
前記分離手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、前記補間左目画像と前記補間右目画像のそれぞれに対して第１のローパスフィルタ処理を行い、
前記表示制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、前記第１のローパスフィルタ処理後の前記補間左目画像を前記左目用の表示画像とし、前記第１のローパスフィルタ処理後の前記補間右目画像を前記右目用の表示画像として、交互に表示させ、
前記メガネ制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、前記左目用の表示画像の表示時に前記左目用のシャッタを開き、前記右目用の表示画像の表示時に前記右目用のシャッタを開くように、前記メガネを制御する
請求項１に記載の表示制御装置。
【請求項３】
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、間引き前に前記左目用の画像と前記右目用の画像のそれぞれに対して第２のローパスフィルタ処理が行われ、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、間引き前に前記左目用の画像と前記右目用の画像のそれぞれに対して、前記第２のローパスフィルタ処理に比べて通過域の広い第３のローパスフィルタ処理が行われ、
前記分離手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記補間左目画像と前記補間右目画像のそれぞれに対して、前記第１のローパスフィルタ処理に比べて通過域の広い第４のローパスフィルタ処理を行い、
前記表示制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記第４のローパスフィルタ処理後の前記補間左目画像を前記左目用の表示画像とし、前記第４のローパスフィルタ処理後の前記補間右目画像を前記右目用の表示画像として、交互に表示させる
請求項２に記載の表示制御装置。
【請求項４】
前記多重化画像に折り返り歪みがあるかどうかを示す情報である歪み情報を取得する取得手段
をさらに備え、
前記メガネ制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像であり、かつ、前記歪み情報が前記折り返り歪みがあることを示す情報である場合、前記左目用のシャッタと前記右目用のシャッタの両方を開くように、前記メガネを制御する
請求項３に記載の表示制御装置。
【請求項５】
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合に、前記左目用の表示画像と前記右目用の表示画像によりユーザに知覚される画像に折り返り歪みがなくなると推測される表示速度の最小値を取得する取得手段
をさらに備え、
前記メガネ制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像であり、かつ、前記左目用の表示画像と前記右目用の表示画像の表示速度が前記最小値以上である場合、前記左目用のシャッタと前記右目用のシャッタの両方を開くように、前記メガネを制御する
請求項１に記載の表示制御装置。
【請求項６】
前記多重化画像と、前記多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像であるかどうかを示す情報である２Ｄ情報を取得する取得手段
をさらに備え、
前記表示制御手段は、前記２Ｄ情報が２Ｄ画像であることを示す情報である場合、前記補間左目画像を左目用の表示画像とし、前記補間右目画像を右目用の表示画像として、交互に表示させ、
前記メガネ制御手段は、前記２Ｄ情報が２Ｄ画像であることを示す情報である場合、前記左目用のシャッタと前記右目用のシャッタの両方を開くように、前記メガネを制御する
請求項１に記載の表示制御装置。
【請求項７】
表示制御装置が、
所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像の前記所定の位相を０で補間し、前記間引き後の右目用の画像の前記所定の位相と逆の位相を０で補間する分離ステップと、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像の補間後の画像である補間左目画像を左目用の表示画像とし、前記間引き後の右目用の画像の補間後の画像である補間右目画像を右目用の表示画像として、交互に表示させる表示制御ステップと、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、メガネの左目用のシャッタと右目用のシャッタの両方を開くように、前記メガネを制御するメガネ制御ステップと
を含む表示制御方法。
【請求項８】
左目用の画像の所定の位相と、右目用の画像の前記所定の位相と逆の位相を間引き、間引き後の前記左目用の画像と前記右目用の画像を多重化する多重化手段と、
前記多重化手段による多重化の結果得られる多重化画像における折り返り歪みに関する情報である歪み関連情報を生成する歪み関連情報生成手段と、
前記多重化画像および前記歪み関連情報を送信する送信手段と
を備える画像生成装置。
【請求項９】
前記多重化手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、前記間引き前に前記左目用の画像と前記右目用の画像のそれぞれに対して第１のローパスフィルタ処理を行う
請求項８に記載の画像生成装置。
【請求項１０】
前記多重化手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き前に前記左目用の画像と前記右目用の画像のそれぞれに対して、前記第１のローパスフィルタ処理に比べて通過域の広い第２のローパスフィルタ処理を行う
請求項９に記載の画像生成装置。
【請求項１１】
前記歪み関連情報生成手段は、前記多重化画像に折り返り歪みがあるかどうかを示す情報である歪み情報を前記歪み関連情報として生成する
請求項１０に記載の画像生成装置。
【請求項１２】
前記歪み関連情報生成手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記多重化画像を前記間引き後の前記左目用の画像と前記右目用の画像に分離し、前記間引き後の前記左目用の画像の前記所定の位相を０で補間することによって得られる左目用の表示画像と、前記間引き後の前記右目用の画像の前記所定の位相の逆の位相を０で補間することによって得られる右目用の表示画像によりユーザに知覚される画像に折り返り歪みがなくなると推測される表示速度の最小値を、前記歪み関連情報として生成する
請求項８に記載の画像生成装置。
【請求項１３】
前記多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像であるかどうかを示す情報である２Ｄ情報を生成する２Ｄ情報生成手段
をさらに備える
請求項８に記載の画像生成装置。
【請求項１４】
画像生成装置が、
左目用の画像の所定の位相と、右目用の画像の前記所定の位相と逆の位相を間引き、間引き後の前記左目用の画像と前記右目用の画像を多重化する多重化ステップと、
前記多重化ステップの処理による多重化の結果得られる多重化画像における折り返り歪みに関する情報である歪み関連情報を生成する歪み関連情報生成ステップと、
前記多重化画像および前記歪み関連情報を送信する送信ステップと
を含む画像生成方法。
【請求項１５】
所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像に対して前記間引き後の右目用の画像を用いてインターリーブ処理し、前記間引き後の右目用の画像に対して前記間引き後の左目用の画像を用いてインターリーブ処理する分離手段と、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像のインターリーブ処理後の画像である処理後左目画像を左目用の表示画像とし、前記間引き後の右目用の画像のインターリーブ処理後の画像である処理後右目画像を右目用の表示画像として、交互に表示させる表示制御手段と、
前記左目用の表示画像の表示時にメガネの左目用のシャッタを開き、前記右目用の表示画像の表示時に前記メガネの右目用のシャッタを開くように、前記メガネを制御するメガネ制御手段と
を備える表示制御装置。
【請求項１６】
前記分離手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、前記多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離して、前記間引き後の左目用の画像の前記所定の位相を０で補間し、前記間引き後の右目用の画像の前記所定の位相と逆の位相を０で補間し、補間後の左目用の画像と右目用の画像のそれぞれに対して第１のローパスフィルタ処理を行い、
前記表示制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、前記第１のローパスフィルタ処理後の前記左目用の画像を前記左目用の表示画像とし、前記第１のローパスフィルタ処理後の前記右目用の画像を前記右目用の表示画像として、交互に表示させる
請求項１５に記載の表示制御装置。
【請求項１７】
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像ではない場合、間引き前に前記左目用の画像と前記右目用の画像のそれぞれに対して第２のローパスフィルタ処理が行われ、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、間引き前に前記左目用の画像と前記右目用の画像のそれぞれに対して、前記第２のローパスフィルタ処理に比べて通過域の広い第３のローパスフィルタ処理が行われ、
前記分離手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記処理後左目画像と前記処理後右目画像のそれぞれに対して、前記第１のローパスフィルタ処理に比べて通過域の広い第４のローパスフィルタ処理を行い、
前記表示制御手段は、前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記第４のローパスフィルタ処理後の前記処理後左目画像を前記左目用の表示画像とし、前記第４のローパスフィルタ処理後の前記処理後右目画像を前記右目用の表示画像として、交互に表示させる
請求項１６に記載の表示制御装置。
【請求項１８】
前記多重化画像と、前記多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像であるかどうかを示す情報である２Ｄ情報を取得する取得手段
をさらに備え、
前記分離手段は、前記２Ｄ情報が２Ｄ画像であることを示す情報である場合、前記多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像に対して前記間引き後の右目用の画像を用いてインターリーブ処理し、前記間引き後の右目用の画像に対して前記間引き後の左目用の画像を用いてインターリーブ処理し、
前記表示制御手段は、前記２Ｄ情報が２Ｄ画像であることを示す情報である場合、前記処理後左目画像を左目用の表示画像とし、前記処理後右目画像を右目用の表示画像として、交互に表示させる
請求項１５に記載の表示制御装置。
【請求項１９】
表示制御装置が、
所定の位相の間引き後の左目用の画像と、前記所定の位相と逆の位相の間引き後の右目用の画像が多重化された多重化画像の元となる前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記多重化画像を、前記間引き後の左目用の画像と前記間引き後の右目用の画像に分離し、前記間引き後の左目用の画像に対して前記間引き後の右目用の画像を用いてインターリーブ処理し、前記間引き後の右目用の画像に対して前記間引き後の左目用の画像を用いてインターリーブ処理する分離ステップと、
前記左目用の画像と前記右目用の画像により構成される画像が２Ｄ画像である場合、前記間引き後の左目用の画像のインターリーブ処理後の画像である処理後左目画像を左目用の表示画像とし、前記間引き後の右目用の画像のインターリーブ処理後の画像である処理後右目画像を右目用の表示画像として、交互に表示させる表示制御ステップと、
前記左目用の表示画像の表示時にメガネの左目用のシャッタを開き、前記右目用の表示画像の表示時に前記メガネの右目用のシャッタを開くように、前記メガネを制御するメガネ制御ステップと
を含む表示制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−４９６５８（Ｐ２０１２−４９６５８Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１８７８２２（Ｐ２０１０−１８７８２２）
【出願日】平成２２年８月２５日（２０１０．８．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月２５日（２０１０．８．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]