画像処理装置および画像処理方法
【課題】低解像度化された視差画像が送信される場合において、受信側で、その視差画像を用いて所定の視点の画像を高精度に生成することができるようにする。
【解決手段】視差画像高解像度化部は、互換画像の解像度の1/2の解像度の補助画像の視差画像をそれぞれ高解像度化する。視差画像ワーピング処理部は、仮想視点の位置に基づいて、高解像度化された補助画像の視差画像のワーピング処理を行うことにより、仮想視点の視差画像を生成する。スムージング処理部は、仮想視点の視差画像内のオクルージョン領域の0以外の視差値を、0に補正する。本技術は、例えば、メガネ無し方式の３Ｄ画像を復号する復号装置に適用することができる。
【解決手段】視差画像高解像度化部は、互換画像の解像度の1/2の解像度の補助画像の視差画像をそれぞれ高解像度化する。視差画像ワーピング処理部は、仮想視点の位置に基づいて、高解像度化された補助画像の視差画像のワーピング処理を行うことにより、仮想視点の視差画像を生成する。スムージング処理部は、仮想視点の視差画像内のオクルージョン領域の0以外の視差値を、0に補正する。本技術は、例えば、メガネ無し方式の３Ｄ画像を復号する復号装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関し、特に、低解像度化された視差画像が送信される場合において、受信側で、その視差画像を用いて所定の視点の画像を高精度に生成することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
現在、３Ｄ画像の視聴方式としては、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下、メガネ有り方式という）が一般的である。
【０００３】
しかしながら、このようなメガネ有り方式では、視聴者は、３Ｄ画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに３Ｄ画像を視聴可能な視聴方式（以下、メガネ無し方式という）の需要が高まっている。
【０００４】
メガネ無し方式では、３視点以上の視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【０００５】
メガネ無し方式の視聴を提供する復号装置は、例えば、２視点の画像から３視点以上の視点（以下では、３視点以上の視点を多視点という）の画像を生成し、表示する。具体的には、符号化装置が、２視点の画像の視差(depth)値を求め、その視差値を輝度値等で表す視差画像を復号装置に伝送する。そして、復号装置は、受信された２視点の画像の視差画像のワーピング処理を行うことにより多視点の視差画像を生成し、その多視点の視差画像を用いて２視点の画像のワーピング処理を行うことにより多視点の画像を生成し、合成して表示する。
【０００６】
なお、ワーピング処理とは、所定の視点の視差画像（または画像）の各画素の視差値（または画素値）を、その画素に対応する、仮想視点の視差画像（または画像）上の画素の視差値（または画素値）とする処理である。
【０００７】
また、既存の画像の符号化方式としては、AVC（Advanced Video Coding）やMVC（Multiview Video Coding）方式がある。多視点の画像を符号化する方式は、例えば、特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−１８２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、メガネ無し方式の視聴を提供する復号装置に対応する符号化装置が、視差画像を低解像度化することにより、視差画像のデータ量を削減する場合、復号装置は、受信された視差画像を高解像度化し、低解像度化前の視差画像を生成する必要がある。
【００１０】
しかしながら、低解像度化された視差画像を高解像度化し、低解像度化前の視差画像を生成することは困難である。特に、視差値が大きく変化する境界位置では、低解像度化前の視差値と高解像度化後の視差値の誤差が大きくなる。その結果、復号装置において、視差画像のワーピング処理が正確に行われず、ワーピング処理後の視差画像を用いて生成される所定の視点の画像が破綻する場合があった。
【００１１】
本技術は、このような状況に鑑みてなされたものであり、低解像度化された視差画像が送信される場合において、受信側で、その視差画像を用いて所定の視点の画像を高精度に生成することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の第１の側面の画像処理装置は、低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受け取る受け取り部と、前記受け取り部により受け取られた前記低解像度化された視差画像を高解像度化する高解像度化部と、仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理部と、前記視差画像ワーピング処理部により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正部とを備える画像処理装置である。
【００１３】
本技術の第１の側面の画像処理方法は、本技術の一側面の画像処理装置に対応する。
【００１４】
本技術の第１の側面においては、低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像が受信され、受信された前記低解像度化された視差画像が高解像度化され、仮想視点の位置に基づいて、高解像度化された前記視差画像のワーピング処理が行われることにより、前記仮想視点の視差画像が生成され、生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値が、前記所定値に補正される。
【００１５】
本技術の第２の側面の画像処理装置は、所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類部と、前記画像関連情報の伝送方法を選択する選択部と、前記分類部による分類と前記選択部により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送部とを備える画像処理装置である。
【００１６】
本技術の第２の側面においては、所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報が、符号化する情報または符号化しない情報に分類され、前記画像関連情報の伝送方法が選択され、前記分類と選択された前記伝送方法に基づいて、前記画像関連情報が伝送される。
【００１７】
なお、本技術の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
【００１８】
また、本技術の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１９】
本技術の一側面によれば、低解像度化された視差画像が送信されてくる場合において、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
【図面の簡単な説明】
【００２０】
【図１】符号化装置の第１実施の形態の構成例を示すブロック図である。
【図２】図１の符号化装置による符号化処理を説明するフローチャートである。
【図３】図１の符号化装置による符号化処理を説明するフローチャートである。
【図４】本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。
【図５】図４の３Ｄ画像生成部の詳細構成例を示すブロック図である。
【図６】仮想視点の画像の生成を説明する図である。
【図７】視差画像のワーピング処理を説明する図である。
【図８】低解像度化される前の視差画像と、その視差画像のワーピング処理結果を示す図である。
【図９】低解像度化された視差画像、高解像度化された視差画像、および、その視差画像のワーピング処理結果を示す図である。
【図１０】スムージング処理を説明する図である。
【図１１】図４の復号装置による復号処理を説明するフローチャートである。
【図１２】図１１の多視点画像生成処理の詳細を説明するフローチャートである。
【図１３】符号化装置の第２実施の形態の構成例を示すブロック図である。
【図１４】境界情報の例を示す図である。
【図１５】図１３の符号化装置による符号化処理を説明するフローチャートである
【図１６】図１３の符号化装置による符号化処理を説明するフローチャートである。
【図１７】図１６の境界情報生成処理を説明するフローチャートである。
【図１８】本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。
【図１９】図１８の３Ｄ画像生成部の詳細構成例を示すブロック図である。
【図２０】境界情報に基づくスムージング処理を説明する図である。
【図２１】図１８の復号装置による復号処理を説明するフローチャートである。
【図２２】図２１の多視点画像生成処理を説明するフローチャートである。
【図２３】伝送方法を説明する図である。
【図２４】シンタックスの例を示す図である。
【図２５】シンタックスの例を示す図である。
【図２６】シンタックスの例を示す図である。
【図２７】コンピュータの一実施の形態の構成例を示す図である。
【図２８】本技術を適用したテレビジョン装置の概略構成を示す図である。
【図２９】本技術を適用した携帯電話機の概略構成を示す図である。
【図３０】本技術を適用した記録再生装置の概略構成を示す図である。
【図３１】本技術を適用した撮像装置の概略構成を示す図である。
【発明を実施するための形態】
【００２１】
＜第１実施の形態＞
［符号化装置の第１実施の形態の構成例］
図１は、本技術を適用した画像処理装置に対応する符号化装置の第１実施の形態の構成例を示すブロック図である。
【００２２】
図１の符号化装置５０は、撮影部５１Ａ乃至５１Ｃ、画像変換部５２、視差画像生成部５３、画像情報生成部５４、互換情報生成部５５、撮影情報生成部５６、視差画像多重化情報生成部５７、エンコーダ５８、および多重化部５９により構成される。
【００２３】
符号化装置５０は、視差画像を低解像度化して符号化し、伝送する。
【００２４】
具体的には、符号化装置５０において、撮影部５１Ａは、所定の視点のHD（High Definition）画像を視点画像Ａ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５６に供給する。撮影部５１Ｂは、撮影部５１Ａから距離Δｄ１ＡＢだけ水平方向に離れた位置で、視点画像Ａ１とは異なる視点のHD画像を視点画像Ｂ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５６に供給する。撮影部５１Ｃは、撮影部５１Ａから距離Δｄ１ＡＣだけ撮影部５１Ａとは反対の水平方向に離れた位置で、視点画像Ａ１および視点画像Ｂ１とは異なる視点のHD画像を視点画像Ｃ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５６に供給する。
【００２５】
なお、視点画像Ｂ１と視点画像Ｃ１に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置５０に対応する復号装置は、視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ｂ１および視点画像Ｃ１の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ１ＡＢと距離Δｄ１ＡＣは、固定であってもよいし、時間ごとに変化するようにしてもよい。
【００２６】
画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される視点画像Ａ１を互換画像に決定する。なお、互換画像とは、多視点の画像のうちの、既存の符号化装置との互換性を確保するために既存の符号化方式で符号化される画像である。画像変換部５２は、互換画像として視点画像Ａ１を指定する情報を互換情報生成部５５に供給し、互換画像である視点画像Ａ１をそのままエンコーダ５８に供給する。
【００２７】
また、画像変換部５２は、視点画像Ａ１以外の視点画像Ｂ１および視点画像Ｃ１を補助画像とする。なお、補助画像とは、互換画像を用いて互換画像の視点数より多い視点の画像を生成するための画像である。画像変換部５２は、所定の多重化方式に基づいて、補助画像である視点画像Ｂ１および視点画像Ｃ１を低解像度化して多重化する。具体的には、例えば多重化方式がサイドバイサイド方式である場合、画像変換部５２は、視点画像Ｂ１および視点画像Ｃ１の解像度を半分にする。そして、画像変換部５２は、解像度が半分にされた視点画像Ｂ１（以下、1/2解像度視点画像Ｂ１という）が画面の左半分の画像となり、解像度が半分にされた視点画像Ｃ１（以下、1/2解像度視点画像Ｃ１という）が画面の右半分の画像となるように、1/2解像度視点画像Ｂ１および1/2解像度視点画像Ｃ１を多重化する。画像変換部５２は、多重化の結果得られる多重化画像をエンコーダ５８に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
【００２８】
視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１の各画素の視差値を検出する。視差画像生成部５３は、互換画像である視点画像Ａ１の各画素の視差値を表す視差画像Ａ１’を生成し、エンコーダ５８に供給する。
【００２９】
また、視差画像生成部５３は、所定の多重化方式に基づいて、視差画像Ｂ１’と視差画像Ｃ１’を低解像度化して多重化し、その結果得られる多重化画像をエンコーダ５８に供給する。視差画像生成部５３は、補助画像の視差画像の多重化方式を示す情報を視差画像多重化情報生成部５７に供給する。
【００３０】
画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを、互換画像および補助画像に関する情報である画像情報として生成し、エンコーダ５８に供給する。
【００３１】
互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像を指定する情報、互換モードなどを、互換に関する情報である互換情報として生成し、エンコーダ５８に供給する。
【００３２】
なお、互換モードとは、互換画像の符号化方法を表すモードである。互換モードとしては、例えば、１視点の互換画像をAVC方式で符号化する符号化方法を表すモノモード(mono)、２視点の互換画像を多重化し、AVC方式で符号化する符号化方法を表すフレームパッキングモード(frame packing)、２視点の互換画像をMVC方式で符号化する符号化方法を表すステレオモード(stereo)などがある。
【００３３】
撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１のうちの２枚の視点画像の視点間の距離（以下、視点間距離という）を検出する。具体的には、撮影情報生成部５６は、撮影部５１Ａと撮影部５１Ｂの間の水平方向の距離Δｄ１ＡＢ、および、撮影部５１Ａと撮影部５１Ｃの間の水平方向の距離Δｄ１ＡＣを視点間距離として検出する。
【００３４】
また、撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから、撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータとワーピング処理用の回転行列を取得する。なお、内部パラメータとしては、焦点距離、画像中心である主点(レンズの光学的な中心)の位置、半径方向の歪み係数などがある。撮影情報生成部５６は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ５８に供給する。
【００３５】
視差画像多重化情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などの視差画像に関する情報を、視差画像多重化情報として生成し、エンコーダ５８に供給する。
【００３６】
エンコーダ５８は、互換用エンコーダ６１と補助用エンコーダ６２により構成される。互換用エンコーダ６１は、画像変換部５２から供給される互換画像の多重化画像を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
【００３７】
補助用エンコーダ６２は、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ６２における符号化方式としては、AVC方式、MVC方式、MPEG2（Moving Picture Experts Group phase 2）方式などを用いることができる。
【００３８】
また、補助用エンコーダ６２は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【００３９】
多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳ（Transport Stream）を生成し、多重化する。多重化部５９は、多重化の結果得られる多重化ストリームを伝送する。
【００４０】
［符号化装置の処理の説明］
図２および図３は、図１の符号化装置５０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから視点画像Ａ１乃至視点画像Ｃ１が出力されたとき開始される。
【００４１】
図２のステップＳ１０において、撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから、撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータとワーピング処理用の回転行列を取得する。
【００４２】
ステップＳ１１において、撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１のうちの２枚の視点画像の視点間距離を検出する。
【００４３】
ステップＳ１２において、撮影情報生成部５６は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ５８に供給する。
【００４４】
ステップＳ１３において、画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される視点画像Ａ１を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部５２は、互換画像として視点画像Ａ１を指定する情報を互換情報生成部５５に供給し、補助画像の多重化方式を画像情報生成部５４に供給する。
【００４５】
ステップＳ１４において、互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像として視点画像Ａ１を指定する情報、互換モードとしてのモノモードなどを互換情報として生成し、エンコーダ５８に入力する。
【００４６】
ステップＳ１５において、画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを画像情報として生成し、エンコーダ５８に入力する。
【００４７】
ステップＳ１６において、画像変換部５２は、視点画像Ａ１以外の視点画像Ｂ１および視点画像Ｃ１を補助画像とし、ステップＳ１３で決定された補助画像の多重化方式に基づいて補助画像を低解像度化して多重化し、補助画像の多重化画像を得る。
【００４８】
ステップＳ１７において、画像変換部５２は、互換画像である視点画像Ａ１と補助画像の多重化画像をエンコーダ５８に入力する。
【００４９】
図３のステップＳ１８において、視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて視点画像Ａ１乃至視点画像Ｃ１の各画素の視差値を検出し、視差画像Ａ１’乃至視差画像Ｃ１’を生成する。
【００５０】
ステップＳ１９において、視差画像生成部５３は、補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像多重化情報生成部５７に供給する。
【００５１】
ステップＳ２０において、視差画像多重化情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像多重化情報として生成し、エンコーダ５８に入力する。
【００５２】
ステップＳ２１において、視差画像生成部５３は、ステップＳ２１で決定された補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像Ｂ１’と視差画像Ｃ１’を低解像度化して多重化し、補助画像の視差画像の多重化画像を得る。
【００５３】
ステップＳ２２において、視差画像生成部５３は、互換画像の視差画像Ａ１'と補助画像の視差画像の多重化画像をエンコーダ５８に入力する。
【００５４】
ステップＳ２３において、エンコーダ５８の互換用エンコーダ６１は、画像変換部５２から供給される互換画像である視点画像Ａ１を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
【００５５】
ステップＳ２４において、補助用エンコーダ６２は、画像変換部５２からの補助画像の多重化画像、並びに、視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。
【００５６】
ステップＳ２５において、補助用エンコーダ６２は、ステップＳ２４の処理による符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、および視差画像多重化情報生成部５７からの視差画像多重化情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【００５７】
ステップＳ２６において、多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと、補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳを生成し、多重化して送信する。そして、処理は終了する。
【００５８】
以上のように、符号化装置５０は、補助画像および補助画像の視差画像の解像度を低解像度化して符号化するので、低解像度化せずに符号化する場合に比べて、符号化対象の情報量を削減し、符号化処理および復号処理の処理コストを軽減することができる。その結果、復号装置における復号処理の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
【００５９】
また、符号化装置５０は、多視点の画像のうちの１視点の画像を互換画像とし、既存の符号化方式で符号化するので、既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。
【００６０】
さらに、符号化装置５０は、視差画像を生成し、符号化ストリームに含めて送信するので、符号化装置５０に対応する復号装置は、多視点の画像を生成するために視差画像を生成する必要がなく、復号装置の処理の負荷を軽減することができる。その結果、復号装置のコストを低減することができる。また、復号装置の視差検出の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
【００６１】
［復号装置の構成例］
図４は、図１の符号化装置５０から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。
【００６２】
図４の復号装置１２０は、分離部１２１、デコーダ１２２、画像情報取得部１２３、撮影情報取得部１２４、視差画像多重化情報取得部１２５、互換情報取得部１２６、および画像生成部１２７により構成される。復号装置１２０は、符号化装置５０から送信される多重化ストリームを復号し、視差画像のワーピング処理を行って多視点の画像を生成し、図示せぬ表示装置に表示させる。
【００６３】
具体的には、復号装置１２０の分離部１２１は、受け取り部として機能し、符号化装置５０から送信されてくる多重化ストリームを受け取り、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。
【００６４】
デコーダ１２２は、互換用デコーダ１３１と補助用デコーダ１３２により構成される。デコーダ１２２の互換用デコーダ１３１は、補助用デコーダ１３２から供給される互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。互換用デコーダ１３１は、互換情報に基づいて、互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号する。互換用デコーダ１３１は、復号の結果得られる視点画像Ａ１を画像生成部１２７に供給する。
【００６５】
補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ１３２は、復号部として機能し、分離部１２１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図１の補助用エンコーダ６２に対応する方式で復号する。
【００６６】
補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
【００６７】
画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２７に供給する。撮影情報取得部１２４は、補助用デコーダ１３２から供給される撮影情報を取得し、画像生成部１２７に供給する。
【００６８】
視差画像多重化情報取得部１２５は、補助用デコーダ１３２から供給される視差画像多重化情報を取得し、画像生成部１２７に供給する。互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２７に供給する。
【００６９】
画像生成部１２７は、２Ｄ画像生成部１４１と３Ｄ画像生成部１４２により構成される。画像生成部１２７の２Ｄ画像生成部１４１は、視聴者からの２Ｄ画像表示指令に応じて、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
【００７０】
また、３Ｄ画像生成部１４２は、デコーダ１２２から供給される視点画像Ａ１、補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、互換情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、３Ｄ画像生成部１４２は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【００７１】
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【００７２】
［３Ｄ画像生成部の詳細構成例］
図５は、図４の３Ｄ画像生成部１４２の詳細構成例を示すブロック図である。
【００７３】
図５に示すように、３Ｄ画像生成部１４２は、仮想視点位置決定部１６０、視差画像分離部１６１、視差画像高解像度化部１６２、視差画像ワーピング処理部１６３、視差画像ワーピング処理部１６４、スムージング処理部１６５、スムージング処理部１６６、視点画像ワーピング処理部１６７、視点画像ワーピング処理部１６８、視点画像分離部１６９、視点画像高解像度化部１７０、多視点画像生成部１７１、および多視点画像合成処理部１７２により構成される。
【００７４】
３Ｄ画像生成部１４２の仮想視点位置決定部１６０は、撮影情報取得部１２４から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の視点の位置を仮想視点の位置として決定する。そして、仮想視点位置決定部１６０は、各仮想視点の位置に基づいて、視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４のそれぞれに対して、その仮想視点の画像の生成に用いる、その仮想視点より外側の視点の視差画像を特定する情報である視差画像特定情報を生成する。なお、各仮想視点に対して、視差画像ワーピング処理部１６３に供給される視差画像特定情報と、視差画像ワーピング処理部１６４に供給される視差画像特定情報は異なるように生成される。
【００７５】
また、仮想視点位置決定部１６０は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。
【００７６】
視差画像分離部１６１は、互換情報取得部１２６から供給される互換情報に基づいて、デコーダ１２２から供給される互換画像の視差画像Ａ１’をそのまま視差画像高解像度化部１６２に供給する。また、視差画像分離部１６１は、デコーダ１２２から供給される補助画像の視差画像の多重化画像を、視差画像多重化情報取得部１２５から供給される視差画像多重化情報に基づいて分離する。そして、視差画像分離部１６１は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像を視差画像高解像度化部１６２に供給する。
【００７７】
視差画像高解像度化部１６２は、高解像度化部として機能し、視差画像分離部１６１から供給される互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像をそれぞれ高解像度化する。これにより、視差画像高解像度化部１６２は、互換画像と同一の解像度の視点画像Ｂ１と視点画像Ｃ１の視差画像を得る。そして、視差画像高解像度化部１６２は、得られた視点画像Ｂ１と視点画像Ｃ１の視差画像、並びに、視差画像分離部１６１から供給される視差画像Ａ１’を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。
【００７８】
視差画像ワーピング処理部１６３は、視差画像ワーピング処理部として機能する。具体的には、視差画像ワーピング処理部１６３は、仮想視点ごとに、仮想視点位置決定部１６０から供給される視差画像特定情報に基づいて、視差画像高解像度化部１６２から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像並びに視差画像Ａ１’のうちの１つを選択する。視差画像ワーピング処理部１６３は、仮想視点ごとに、撮影情報取得部１２４からの撮影情報、および、仮想視点位置決定部１６０からの仮想視点の位置に基づいて、選択された視差画像のワーピング処理を行う。視差画像ワーピング処理部１６３は、ワーピング処理により生成される各仮想視点の視差画像をスムージング処理部１６５に供給する。
【００７９】
視差画像ワーピング処理部１６４は、視差画像ワーピング処理部として機能し、視差画像ワーピング処理部１６３と同様の処理を行い、その結果生成された各仮想視点の視差画像を、スムージング処理部１６６に供給する。
【００８０】
スムージング処理部１６５は、補正部として機能し、視差画像ワーピング処理部１６３から供給される各仮想視点の視差画像に対して、オクルージョン領域（詳細は後述する）内の0以外の視差値を取り除くスムージング処理を行う。具体的には、スムージング処理部１６５は、各仮想視点の視差画像からオクルージョン領域内の0以外の視差値を検出し、その視差値を0に補正する。スムージング処理部１６５は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部１６７に供給する。
【００８１】
なお、オクルージョン領域とは、仮想視点と、実際に撮影された視点画像の視点が異なることによって生じる、仮想視点の画像には存在するが、その仮想視点の視差画像の生成に用いられた視差画像に対応する視点画像には存在しない領域である。また、ワーピング処理後の視差画像のうち、ワーピング処理前の視差画像の画素と対応しない画素の視差値は0とされる。従って、本来、オクルージョン領域の視差値は0であり、オクルージョン領域は黒画で表される。
【００８２】
スムージング処理部１６６は、補正部として機能し、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に対して、スムージング処理部１６５と同様にスムージング処理を行う。そして、スムージング処理部１６６は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部１６８に供給する。
【００８３】
視点画像ワーピング処理部１６７は、視点画像ワーピング処理部として機能する。具体的には、視点画像ワーピング処理部１６７は、スムージング処理部１６５から供給される各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部１７０から供給される視点画像のワーピング処理を行う。視点画像ワーピング処理部１６７は、ワーピング処理の結果得られるオクルージョン領域を有する各仮想視点の画像を多視点画像生成部１７１に供給する。
【００８４】
視点画像ワーピング処理部１６８は、視点画像ワーピング処理部として機能し、スムージング処理部１６６から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部１６７と同様の処理を行う。
【００８５】
視点画像分離部１６９は、互換情報取得部１２６から供給される互換情報に基づいて、デコーダ１２２から供給される互換画像である視点画像Ａ１を、そのまま視点画像高解像度化部１７０に供給する。また、視点画像分離部１６９は、画像情報取得部１２３から供給される画像情報に基づいて、デコーダ１２２から供給される補助画像の多重化画像を分離する。視点画像分離部１６９は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１を視点画像高解像度化部１７０に供給する。
【００８６】
視点画像高解像度化部１７０は、視点画像分離部１６９から供給される互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１それぞれに対して補間処理を行うことにより、高解像度化を行う。これにより、視点画像高解像度化部１７０は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１を得る。そして、視点画像高解像度化部１７０は、得られた視点画像Ｂ１および視点画像Ｃ１の視差画像、並びに、視点画像分離部１６９から供給される視点画像Ａ１を、視点画像ワーピング処理部１６７および視点画像ワーピング処理部１６８に供給する。
【００８７】
多視点画像生成部１７１は、補間部として機能し、仮想視点ごとに、視点画像ワーピング処理部１６７および視点画像ワーピング処理部１６８のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部１７１は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部１７２に供給する。
【００８８】
多視点画像合成処理部１７２は、多視点画像生成部１７１から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の１の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【００８９】
［仮想視点の画像の生成の説明］
図６は、図５の３Ｄ画像生成部１４２による仮想視点の画像の生成を説明する図である。
【００９０】
図６に示すように、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４は、視差画像特定情報に基づいて、それぞれ、異なる視差画像を選択する。図６の例では、視差画像ワーピング処理部１６３は、画面上の左側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像（以下、視差画像＃１という）を選択している。また、視差画像ワーピング処理部１６４は、画面上の右側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像（以下、視差画像＃２という）を選択している。
【００９１】
視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４は、それぞれ、仮想視点の位置と撮影情報に基づいて、選択された視差画像のワーピング処理を行い、仮想視点の視差画像を生成する。そして、スムージング処理部１６５とスムージング処理部１６６は、それぞれ、生成された仮想視点の視差画像に対してスムージング処理を行う。
【００９２】
これにより、図６に示すように、仮想視点の視差画像＃１は、例えば、視差画像＃１内の円形の領域が右側に移動し、その円形の領域の左側に発生している、図中黒く塗りつぶされているオクルージョン領域の全ての視差値が0である視差画像となる。また、仮想視点の視差画像＃２は、例えば、視差画像＃２内の円形の領域が左側に移動し、その円形の領域の右側に発生している、図中黒く塗りつぶされているオクルージョン領域の全ての視差値が0である視差画像となる。なお、仮想視点の視差画像＃１内の円形の領域の位置と仮想視点の視差画像＃２内の円形の領域の位置は、同一である。
【００９３】
視点画像ワーピング処理部１６７は、仮想視点の視差画像＃１に基づいて、視差画像＃１に対応する視点画像＃１のワーピング処理を行う。図６の例では、視点画像＃１は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像＃１は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像＃１に比べて右側に移動し、その領域の左側にオクルージョン領域が存在する画像となる。
【００９４】
一方、視点画像ワーピング処理部１６８は、仮想視点の視差画像＃２に基づいて、視差画像＃２に対応する視点画像＃２のワーピング処理を行う。図６の例では、視点画像＃２は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像＃２は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像＃２に比べて左側に移動し、その領域の右側にオクルージョン領域が存在する画像となる。
【００９５】
多視点画像生成部１７１は、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方の視点画像のオクルージョン領域を、他方の視点画像で補間する。具体的には、視差画像特定情報は、仮想視点より外側の視点の視差画像を特定する情報であるので、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方に存在するオクルージョン領域の画像は、他方の視点画像内に存在する。従って、多視点画像生成部１７１は、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方に存在するオクルージョン領域の画像を、他方の視点画像内に存在する、そのオクルージョン領域の画像で補間する。これにより、図６に示すように、オクルージョン領域が存在しない仮想視点の画像が生成される。
【００９６】
［視差画像のワーピング処理の説明］
図７は、視差画像のワーピング処理を説明する図である。
【００９７】
視差画像のワーピング処理では、まず、図７に示すように、選択された位置t（tｘ,tｙ,tｚ）の視点の視差画像の各画素の位置m（x,y,z）と、位置t'（t'ｘ,t'ｙ,t'ｚ）の仮想視点の視差画像の位置m'（x',y',z'）を、３次元空間を介して対応付ける。
【００９８】
具体的には、以下の式（１）により、位置t（tｘ,tｙ,tｚ）の視点の視差画像の視差値Zの画素の位置m（x,y,z）に対応する３次元空間の位置M(X,Y,Z)が求められ、その位置M(X,Y,Z)に対応する、位置t'（t'ｘ,t'ｙ,t'ｚ）の仮想視点の視差画像の位置m'（x',y',z'）が求められる。
【００９９】
(X,Y,Z)Ｔ=RA−１（x,y,1）ＴZ+（tｘ,tｙ,tｚ）Ｔ s（x',y',1）Ｔ=A’R'−１[（X,Y,Z）Ｔ-（t'ｘ,t'ｙ,t'ｚ）Ｔ] ・・・（１）
【０１００】
なお、式（１）において、Rは、視差画像を撮影する撮影部５１Ａ乃至撮影部５１Ｃのワーピング処理用の回転行列であり、以下の式（２）で表される。
【０１０１】
【数１】
【０１０２】
なお、式（２）において、r_11乃至r_13，r_21乃至r_23、およびr_31乃至r_33は、所定値である。
【０１０３】
また、式（１）において、Aは、視差画像を撮影する撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータを含む行列であり、以下の式（３）で表される。
【０１０４】
【数２】
【０１０５】
なお、式（３）において、focal_length_x,focal_length_yは、それぞれ、内部パラメータに含まれるx方向、y方向の焦点距離を表す。principal_point_x,principal_point_yは、それぞれ、内部パラメータに含まれる主点のx方向、y方向の位置を表す。radial_distortionは、内部パラメータに含まれる半径方向の歪み係数を表す。
【０１０６】
さらに、式（１）において、R’は、Rと同様に表される仮想視点の視差画像を撮影する仮想の撮影部のワーピング処理用の回転行列であり、A’は、Aと同様に表される仮想視点の視差画像を撮影する仮想の撮影部の内部パラメータを含む行列である。また、式（１）においてsは、スケーリングファクタ（scaling factor）である。
【０１０７】
以上のようにして対応付けが行われた後、各画素の位置m（x,y,z）に対応する位置m'（x',y',z'）に基づいて、選択された視差画像の各画素に対応する仮想視点の視差画像の各画素が決定される。なお、仮想視点の視差画像の所定の画素に、複数の画素が対応付けられる場合、その複数の画素のうちの視差値が最も大きい画素、即ち手前側の被写体に対応する画素が、仮想視点の視差画像の所定の画素に対応する画素とされる。そして、選択された視差画像の各画素の視差値が、その画素に対応する仮想視点の視差画像の画素の視差値とされ、その結果、仮想視点の視差画像が生成される。
【０１０８】
図８は、符号化装置５０の視差画像生成部５３により低解像度化される前の視差画像と、その視差画像のワーピング処理結果を示す図である。なお、図８において、小さい丸は画素を表し、丸の柄は視差値を表す。このことは、後述する図９および図１０においても同様である。
【０１０９】
図８の例では、低解像度化される前の視差画像が、図８Ａに示すように、画面中央に位置する円形の領域の視差値が0とは大きく異なる所定値であり、その領域以外の領域の視差値が0である視差画像である。この場合、低解像度化される前の視差画像のワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図８Ｂに示すように、円形の領域が10画素だけ左側に移動する。
【０１１０】
図９は、符号化装置５０の視差画像生成部５３により低解像度化された視差画像、視差画像高解像度化部１６２により高解像度化された視差画像、および、高解像度化された視差画像のワーピング処理結果を示す図である。
【０１１１】
視差画像生成部５３が、図８Ａの低解像度化される前の視差画像の水平方向に隣接する2つの画素の視差値の平均値を、その画素に対応する低解像度化後の視差画像の画素の視差値とすることにより低解像度化する場合、低解像度化された視差画像は、図９Ａに示すようになる。
【０１１２】
なお、図９において、縦線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と、灰色が付された丸で表される画素の視差値の平均値である。また、図９Ａでは、説明の便宜上、低解像度化前の画素を丸で表しており、低解像度化により間引かれる画素は、柄が付されない丸で表している。
【０１１３】
図９Ａの低解像度化された視差画像が供給される場合、視差画像高解像度化部１６２は、例えば、高解像度化後の視差画像の各画素の視差値を、その画素に対応する、図９Ａの低解像度化された視差画像の水平方向に隣接する2つの画素の視差値を用いて線形補間することにより高解像度化を行う。これにより、図９Ｂの高解像度化された視差画像が生成される。なお、図９において、横線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と縦線が付された丸で表される画素の視差値の範囲内の値である。
【０１１４】
図９Ｂの高解像度化された視差画像に対してワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図９Ｃに示すように、図中斜線で示すオクルージョン領域に0以外の視差値が対応付けられる。具体的には、例えば、本来、横線が付された丸で表される画素は、図８Ｂに示したように、10画素だけ左側に移動する必要があるが、図９Ｃに示すように、5画素だけしか左側に移動しない。即ち、正確にワーピング処理が行われない。その結果、仮想視点の画像内の、本来画素値が対応付けられないオクルージョン領域に画素値が存在し、その画素値が多視点画像生成部１７１による補間時に他の仮想視点の画像により補間されないため、仮想視点の画像が破綻する。
【０１１５】
そこで、３Ｄ画像生成部１４２では、スムージング処理部１６５およびスムージング処理部１６６が、スムージング処理を行い、オクルージョン領域内の0以外の視差値を0に補正する。
【０１１６】
［スムージング処理の説明］
図１０は、図５のスムージング処理部１６５（１６６）によるスムージング処理を説明する図である。
【０１１７】
図１０の左側に示すように、図５の視差画像ワーピング処理部１６３（１６４）が、図９Ｃの仮想視点の視差画像を生成する場合、スムージング処理部１６５（１６６）は、その視差画像のオクルージョン領域内の視差値が0以外である画素を検出する。そして、図１０の右側に示すように、スムージング処理部１６５（１６６）は、オクルージョン領域内の視差値が0以外である画素の視差値を0に補正する。
【０１１８】
このように、スムージング処理部１６５（１６６）は、オクルージョン領域内の0以外の視差値に対応する画素を検出し、その画素の視差値を0に補正するので、仮想視点の画像のオクルージョン領域内に誤って画素値が配置されることを防止することができる。その結果、仮想視点の画像の破綻を防止することができる。
【０１１９】
［復号装置の処理の説明］
図１１は、図４の復号装置１２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１の符号化装置５０から送信される多重化ストリームが復号装置１２０に入力されたとき、開始される。
【０１２０】
図１１のステップＳ６１において、復号装置１２０の分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。デコーダ１２２の補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。
【０１２１】
ステップＳ６２において、互換用デコーダ１３１は、補助用デコーダ１３２から供給される互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。
【０１２２】
ステップＳ６３において、互換用デコーダ１３１は、互換情報に基づいて、互換ストリームに含まれる互換画像をAVC方式に対応する方式で復号し、その結果得られる視点画像Ａ１を画像生成部１２７に供給する。
【０１２３】
ステップＳ６４において、画像生成部１２７は、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ６４で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者からメガネ無し方式の３Ｄ画像の表示が指令された場合、補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうちの補助ストリームを識別する。
【０１２４】
そして、ステップＳ６５において、補助用デコーダ１３２は、補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を、図１の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
【０１２５】
ステップＳ６６において、画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２７に入力する。ステップＳ６７において、撮影情報取得部１２４は、補助用デコーダ１３２から供給される撮影情報を取得し、画像生成部１２７に入力する。
【０１２６】
ステップＳ６８において、視差画像多重化情報取得部１２５は、補助用デコーダ１３２から供給される視差画像多重化情報を取得し、画像生成部１２７に入力する。ステップＳ６９において、互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２７に入力する。
【０１２７】
ステップＳ７０において、画像生成部１２７の３Ｄ画像生成部１４２は、多視点の画像の合成画像を生成する多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図１２を参照して説明する。
【０１２８】
ステップＳ７１において、画像生成部１２７は、ステップＳ７０の処理により生成される多視点の画像の合成画像を図示せぬ表示装置に出力し、視点ごとに視認可能な角度が異なるように表示させる。そして、処理は終了する。
【０１２９】
一方、ステップＳ６４で視聴者から２Ｄ画像の表示が指令されたと判定された場合、ステップＳ７２において、画像生成部１２７の２Ｄ画像生成部１４１は、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
【０１３０】
図１２は、図１１のステップＳ７０の多視点画像生成処理の詳細を説明するフローチャートである。
【０１３１】
図１２のステップＳ９０において、３Ｄ画像生成部１４２の仮想視点位置決定部１６０（図５）は、撮影情報取得部１２４から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、各仮想視点の位置を決定する。そして、仮想視点位置決定部１６０は、各仮想視点の位置に基づいて、視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４のそれぞれに対して、視差画像特定情報を生成する。また、仮想視点位置決定部１６０は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。
【０１３２】
ステップＳ９１において、視差画像分離部１６１は、補助用デコーダ１３２から供給される互換画像の視差画像Ａ１’と補助画像の視差画像の多重化画像を取得する。
【０１３３】
ステップＳ９２において、視差画像分離部１６１は、視差画像多重化情報取得部１２５から供給される視差画像多重化情報に基づいて、補助画像の視差画像の多重化画像を分離する。視差画像分離部１６１は、その結果得られる互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂおよび視点画像Ｃの視差画像を、視差画像高解像度化部１６２に供給する。また、視差画像分離部１６１は、互換情報取得部１２６から供給される互換情報に基づいて、視差画像Ａ１’をそのまま視差画像高解像度化部１６２に供給する。
【０１３４】
ステップＳ９３において、視差画像高解像度化部１６２は、視差画像分離部１６１から供給される互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂおよび視点画像Ｃの視差画像を、それぞれ高解像度化する。これにより、視差画像高解像度化部１６２は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像を得る。そして、視差画像高解像度化部１６２は、得られた視点画像Ｂ１および視点画像Ｃ１の視差画像、並びに、視差画像分離部１６１から供給される視差画像Ａ１’を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。
【０１３５】
ステップＳ９４において、視差画像ワーピング処理部１６３は、仮想視点ごとに、仮想視点位置決定部１６０からの視差画像特定情報に基づいて、視差画像高解像度化部１６２から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像並びに視差画像Ａ１’のうちの１つを選択する。また、視差画像ワーピング処理部１６４は、視差画像ワーピング処理部１６３と同様の処理を行う。
【０１３６】
そして、ステップＳ９５およびＳ９６において、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４は、選択された視差画像のワーピング処理を行う。
【０１３７】
具体的には、まず、ステップＳ９５において、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、その仮想視点の位置、撮影情報、および選択された視差画像に基づいて、上述した式（１）により、その視差画像の各画素に対応する仮想視点の視差画像上の画素を決定する。
【０１３８】
そして、ステップＳ９６において、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、ステップＳ９７で決定された画素に基づいて、選択された視差画像から仮想視点の視差画像を生成する。具体的には、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、選択された視差画像の各画素の視差値を、仮想視点の視差画像のステップＳ９５で決定された画素の視差値とする。視差画像ワーピング処理部１６３（１６４）は、その結果生成された各仮想視点の視差画像をスムージング処理部１６５（１６６）に供給する。
【０１３９】
ステップＳ９６の処理後、ステップＳ９７およびＳ９８において、スムージング処理部１６５およびスムージング処理部１６６は、ステップＳ９６で生成された各仮想視点の視差画像に対してスムージング処理を行う。
【０１４０】
具体的には、ステップＳ９７において、スムージング処理部１６５（１６６）は、各仮想視点の視差画像内の0以外の視差値に対応する画素のうち、周辺画素の視差値が0である画素を、オクルージョン領域内の0以外の視差値に対応する画素として検出する。
【０１４１】
ステップＳ９８において、スムージング処理部１６５（１６６）は、各仮想視点の視差画像のステップＳ９７で検出された画素の視差値を0に補正し、補正後の各仮想視点の視差画像を視点画像ワーピング処理部１６７（１６８）に供給する。
【０１４２】
ステップＳ９９において、視点画像分離部１６９は、画像情報取得部１２３から供給される画像情報に基づいて、補助用デコーダ１３２から供給される補助画像の多重化画像を分離する。そして、視点画像分離部１６９は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１を視差画像高解像度化部１６２に供給する。また、視点画像分離部１６９は、互換情報取得部１２６から供給される互換情報に基づいて、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を、そのまま視点画像高解像度化部１７０に供給する。
【０１４３】
ステップＳ１００において、視点画像高解像度化部１７０は、視点画像分離部１６９から供給される互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂ１および視点画像Ｃ１をそれぞれ高解像度化する。これにより、視点画像高解像度化部１７０は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１を得る。そして、視点画像高解像度化部１７０は、得られた視点画像Ｂ１および視点画像Ｃ１、並びに、視点画像分離部１６９から供給される視点画像Ａ１を、視点画像ワーピング処理部１６７および視点画像ワーピング処理部１６８に供給する。
【０１４４】
ステップＳ１０１において、視点画像ワーピング処理部１６７は、スムージング処理部１６５から供給されるスムージング処理後の各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部１７０から供給される視点画像のワーピング処理を行う。これにより、オクルージョン領域を有する各仮想視点の画像が生成される。視点画像ワーピング処理部１６７は、オクルージョン領域を有する各仮想視点の画像を多視点画像生成部１７１に供給する。また、視点画像ワーピング処理部１６８は、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部１６７と同様の処理を行う。
【０１４５】
ステップＳ１０２において、多視点画像生成部１７１は、仮想視点ごとに、視点画像ワーピング処理部１６７および視点画像ワーピング処理部１６８のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部１７１は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部１７２に供給する。
【０１４６】
ステップＳ１０３において、多視点画像合成処理部１７２は、多視点画像生成部１７１から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の１の解像度に変換して合成し、多視点の画像の合成画像を生成する。そして、処理は、図１１のステップＳ７０に戻り、処理はステップＳ７１に進む。
【０１４７】
以上のように、復号装置１２０は、ワーピング処理の結果得られる仮想視点の視差画像に対してスムージング処理を行うので、仮想視点の画像のオクルージョン領域内に画素値が存在することを防止することができる。その結果、仮想視点の2つの画像のうち、一方の画像のオクルージョン領域の画像を、他方の画像で補間することができ、破綻のない、高精度な仮想視点の画像を生成することができる。
【０１４８】
＜第２実施の形態＞
［符号化装置の第２実施の形態の構成例］
図１３は、本技術を適用した画像処理装置に対応する符号化装置の第２実施の形態の構成例を示すブロック図である。
【０１４９】
図１３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１５０】
図１３の符号化装置２００の構成は、主に、境界情報生成部２０１が新たに設けられている点、および、エンコーダ５８の代わりにエンコーダ２０２が設けられている点が図１の構成と異なる。
【０１５１】
符号化装置２００は、低解像度化され、符号化された視差画像に、視差画像の視差値が大きく変化する位置である境界位置に隣接する画素であるかどうかを示す情報である境界情報（is_depth_edge）を付加して伝送する。
【０１５２】
具体的には、符号化装置２００の境界情報生成部２０１は、視差画像生成部５３により生成された視差画像Ｂ１’および視差画像Ｃ１’から、それぞれ、境界位置を検出する。そして、境界情報生成部２０１は、検出された境界位置に基づいて、画素単位またはマクロブロック単位で境界情報を生成し、エンコーダ２０２に供給する。なお、マクロブロックとは、符号化の単位である。
【０１５３】
エンコーダ２０２は、互換用エンコーダ６１と補助用エンコーダ２１１により構成される。
【０１５４】
エンコーダ２０２の補助用エンコーダ２１１は、図１の補助用エンコーダ６２と同様に、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。
【０１５５】
また、補助用エンコーダ２１１は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報、境界情報生成部２０１からの境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ２１１は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【０１５６】
［境界情報の例］
図１４は、境界情報の例を示す図である。
【０１５７】
なお、図１４において、小さい丸は画素を表し、丸の柄は視差値を表す。
【０１５８】
図１４の例の視差画像では、図１４の左側に示すように、画面中央に位置する円形の領域の視差値と、その領域以外の領域の視差値が大きく異なっている。従って、画面中央に存在する円形の領域と、その領域以外の領域の境界に、境界位置が存在する。
【０１５９】
画素単位で境界情報が生成される場合、例えば、図１４の右上に示すように、境界位置に隣接する2つの画素の境界情報は、境界位置に隣接する画素であることを示す1となる。また、それ以外の画素の境界情報は、境界位置に隣接する画素ではないことを示す0となる。
【０１６０】
一方、マクロブロック単位で境界情報が生成される場合、例えば、図１４の右下に示すように、境界位置に隣接する2つの画素を含むマクロブロック（MB）の境界情報が、境界位置に隣接する画素であることを示す1となる。また、それ以外のマクロブロックの境界情報は、境界位置に隣接する画素ではないことを示す0となる。
【０１６１】
［符号化装置の処理の説明］
図１５および図１６は、図１３の符号化装置２００による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから視点画像Ａ１乃至視点画像Ｃ１が出力されたとき開始される。
【０１６２】
図１５のステップＳ１２０乃至図１６のステップＳ１２８の処理は、図２のステップＳ１０乃至図３のステップＳ１８の処理と同様であるので、説明は省略する。
【０１６３】
図１６のステップＳ１２９において、境界情報生成部２０１は、視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’の境界情報を生成する境界情報生成処理を行う。この境界情報生成処理の詳細は、後述する図１７を参照して説明する。
【０１６４】
ステップＳ１３０において、境界情報生成部２０１は、ステップＳ１２９で生成された境界情報を、エンコーダ５８に入力する。
【０１６５】
ステップＳ１３１乃至Ｓ１３６の処理は、図３のステップＳ１９乃至Ｓ２４の処理と同様であるので、説明は省略する。
【０１６６】
ステップＳ１３７において、補助用エンコーダ２１１は、ステップＳ１３６の処理による符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報、および境界情報生成部２０１からの境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ２１１は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【０１６７】
ステップＳ１３８において、多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと、補助用エンコーダ２１１から供給される補助ストリームから、それぞれＴＳを生成し、多重化して送信する。そして、処理は終了する。
【０１６８】
図１７は、図１６のステップＳ１２９の境界情報生成処理の詳細を説明するフローチャートである。なお、図１７では、画素単位で境界情報が生成される場合の境界情報生成処理について説明する。また、図１７の境界情報生成処理は、視差画像ごとに行われる。
【０１６９】
図１７のステップＳ１４１において、境界情報生成部２０１は、視差画像生成部５３から供給される視差画像を取得する。
【０１７０】
ステップＳ１４２において、境界情報生成部２０１は、視差画像の水平方向に隣接する画素どうしのうちの、まだステップＳ１４２の処理の対象となっていないものの視差値の差分を求める。
【０１７１】
ステップＳ１４３において、境界情報生成部２０１は、ステップＳ１４２で求められた視差値の差分が所定の閾値より大きいかどうかを判定する。
【０１７２】
ステップＳ１４３で視差値の差分が所定の閾値より大きいと判定された場合、ステップＳ１４４において、境界情報生成部２０１は、ステップＳ１４２の処理の対象である隣接する2つの画素の間を境界位置として検出し、その２つの画素の境界情報を1に設定する。
【０１７３】
一方、ステップＳ１４３で視差値の差分が所定の閾値より大きくはないと判定された場合、ステップＳ１４５において、境界情報生成部２０１は、ステップＳ１４２の処理の対象である隣接する2つの画素の境界情報のうちの、1が設定されていない境界情報を0に設定する。
【０１７４】
ステップＳ１４４またはステップＳ１４５の処理後、ステップＳ１４６において、境界情報生成部２０１は、視差画像の全ての水平方向に隣接する2つの画素どうしの視差値の差分を求めたかどうかを判定する。
【０１７５】
ステップＳ１４６で視差画像の全ての水平方向に隣接する画素どうしの視差値の差分をまだ求めていないと判定された場合、処理はステップＳ１４２に戻り、視差画像の全ての水平方向に隣接する画素どうしの視差値の差分が求められるまで、ステップＳ１４２乃至Ｓ１４６の処理が繰り返される。
【０１７６】
一方、ステップＳ１４６で視差画像の全ての水平方向に隣接する画素どうしの視差値の差分を求めたと判定された場合、処理は図１６のステップＳ１２９に戻り、処理はステップＳ１３０に進む。
【０１７７】
なお、境界情報生成部２０１は、境界情報をマクロブロック単位で生成する場合、図１７の境界情報生成処理において、ステップＳ１４２乃至Ｓ１４６の処理をマクロブロック単位で行う。
【０１７８】
具体的には、境界情報生成部２０１は、ステップＳ１４２で視差画像の所定のマクロブロック内の水平方向に隣接する画素どうしの視差値の差分を求め、ステップＳ１４３で少なくとも1つの視差値の差分が所定の閾値より大きいかどうかを判定する。そして、少なくとも1つの視差値の差分が所定の閾値より大きいと判定された場合、ステップＳ１４４で、境界情報生成部２０１は、その差分に対応するマクロブロックの境界情報を1に設定する。一方、全ての視差値の差分が所定の閾値以下である判定された場合、ステップＳ１４５で、境界情報生成部２０１は、その差分に対応するマクロブロックの境界情報のうちの1が設定されていない境界情報を0に設定する。
【０１７９】
以上のように、符号化装置２００は、視差画像を低解像度化し、低解像度化された視差画像と境界情報を送信するので、後述する復号装置において、境界情報に基づいて仮想視点の視差画像のスムージング処理を行うことができる。その結果、復号装置において、後述するように、仮想視点の視点画像を高精度に生成することができる。
【０１８０】
［復号装置の構成例］
図１８は、図１３の符号化装置２００から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。
【０１８１】
図１８に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１８２】
図１８の復号装置２２０の構成は、主に、境界情報取得部２２２が新たに設けられている点、および、デコーダ１２２、画像生成部１２７の代わりに、デコーダ２２１、画像生成部２２３が設けられている点が図４の構成と異なる。復号装置２２０は、符号化装置２００から送信される多重化ストリームを復号し、境界情報に基づいてワーピング処理後の視差画像をスムージング処理して多視点の画像を生成し、図示せぬ表示装置に表示させる。
【０１８３】
具体的には、復号装置２２０のデコーダ２２１は、互換用デコーダ１３１と補助用デコーダ２３１により構成される。デコーダ２２１の補助用デコーダ２３１は、図４の補助用デコーダ１３２と同様に、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。補助用デコーダ２３１は、補助用デコーダ１３２と同様に、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ２３１は、復号部として機能し、分離部１２１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図１３の補助用エンコーダ２１１に対応する方式で復号する。
【０１８４】
補助用デコーダ２３１は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部２２３に供給する。また、補助用デコーダ２３１は、補助用デコーダ１３２と同様に、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ２３１は、補助用デコーダ１３２と同様に、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、補助用デコーダ２３１は、補助ストリームに含まれる境界情報を境界情報取得部２２２に供給する。
【０１８５】
境界情報取得部２２２は、補助用デコーダ２３１から供給される境界情報を取得し、画像生成部２２３に供給する。
【０１８６】
画像生成部２２３は、２Ｄ画像生成部１４１と３Ｄ画像生成部２４１により構成される。画像生成部２２３の３Ｄ画像生成部２４１は、デコーダ２２１から供給される視点画像Ａ１、補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、３Ｄ画像生成部２４１は、図４の３Ｄ画像生成部１４２と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【０１８７】
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【０１８８】
［３Ｄ画像生成部の詳細構成例］
図１９は、図１８の３Ｄ画像生成部２４１の詳細構成例を示すブロック図である。
【０１８９】
図１９に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９０】
図１９の３Ｄ画像生成部２４１の構成は、スムージング処理部１６５およびスムージング処理部１６６の代わりに、スムージング処理部２５１およびスムージング処理部２５２が設けられている点が図５の構成と異なる。
【０１９１】
３Ｄ画像生成部２４１のスムージング処理部２５１は、補正部として機能し、境界情報取得部２２２から供給される境界情報に基づいて、視差画像ワーピング処理部１６３から供給される各仮想視点の視差画像に対してスムージング処理を行う。具体的には、スムージング処理部２５１は、各仮想視点の視差画像からオクルージョン領域内の0以外の視差値を検出する。スムージング処理部２５１は、検出された視差値のうち、境界位置であることを表す境界情報に対応する画素の視差値を0に補正する。スムージング処理部２５１は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部１６７に供給する。
【０１９２】
スムージング処理部２５２は、補正部として機能し、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に対して、スムージング処理部２５１と同様にスムージング処理を行う。そして、スムージング処理部２５２は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部１６８に供給する。
【０１９３】
［境界情報に基づくスムージング処理の説明］
図２０は、図１９のスムージング処理部２５１（２５２）による境界情報に基づくスムージング処理を説明する図である。なお、図２０において、小さい丸は画素を表し、丸の柄は視差値を表す。
【０１９４】
図２０の左側に示すように、図１９の視差画像ワーピング処理部１６３（１６４）が、図９Ｃの仮想視点の視差画像を生成する場合、スムージング処理部２５１（２５２）は、その視差画像内のオクルージョン領域内の視差値が0以外である画素を検出する。そして、スムージング処理部２５１（２５２）は、その画素に対応する境界情報が1である場合、図２０の右側に示すように、その画素の視差値を0に補正する。
【０１９５】
このように、スムージング処理部２５１（２５２）は、オクルージョン領域内の視差値が0以外である画素として検出された画素の視差値のうち、高解像度化により誤ってオクルージョン領域内に配置される可能性のある境界位置に隣接する画素の視差値だけを0に補正する。これにより、オクルージョン領域外の画素が、オクルージョン領域内の0以外の視差値に対応する画素として検出され、その画素の視差値が0に補正されることを防止することができる。その結果、より高精度に仮想視点の画像を生成することができる。
【０１９６】
［復号装置の処理の説明］
図２１は、図１８の復号装置２２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１３の符号化装置２００から送信される多重化ストリームが復号装置２２０に入力されたとき、開始される。
【０１９７】
図２１のステップＳ２０１乃至Ｓ２０９の処理は、図１１のステップＳ６１乃至Ｓ６９の処理と同様であるので、説明は省略する。
【０１９８】
ステップＳ２１０において、境界情報取得部２２２は、補助用デコーダ２３１から供給される境界情報を取得し、画像生成部２２３に入力する。
【０１９９】
ステップＳ２１１において、画像生成部２２３の３Ｄ画像生成部２４１は、多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図２２を参照して説明する。
【０２００】
ステップＳ２１２およびＳ２１３の処理は、図１１のステップＳ７１およびＳ７２の処理と同様であるので、説明は省略する。
【０２０１】
図２２は、図２１のステップＳ２１１の多視点画像生成処理の詳細を説明するフローチャートである。
【０２０２】
図２２のステップＳ２３０乃至Ｓ２３６の処理は、図１４のステップＳ９０乃至Ｓ９６の処理と同様であるので、説明は省略する。
【０２０３】
ステップＳ２３７およびＳ２３８において、スムージング処理部２５１およびスムージング処理部２５２は、ステップＳ２３６で生成された各仮想視点の視差画像に対してスムージング処理を行う。
【０２０４】
具体的には、ステップＳ２３７において、スムージング処理部２５１（２５２）は、各仮想視点の視差画像内の0以外の視差値に対応する画素のうち、境界情報が1であり、かつ、周辺画素の視差値が0である画素を、オクルージョン領域内の0以外の視差値に対応する画素として検出する。
【０２０５】
ステップＳ２３８において、スムージング処理部２５１（２５２）は、各仮想視点の視差画像のステップＳ２３７で検出された画素の視差値を0に補正し、補正後の各仮想視点の視差画像を視点画像ワーピング処理部１６７（１６８）に供給する。
【０２０６】
ステップＳ２３９乃至Ｓ２４３の処理は、図１２のステップＳ９９乃至Ｓ１０３と同様であるので、説明は省略する。
【０２０７】
以上のように、復号装置２２０は、符号化装置２００から送信されてくる境界情報に基づいて、ワーピング処理の結果得られる仮想視点の視差画像に対して、より正確にスムージング処理を行う。従って、オクルージョン領域外の画素が、オクルージョン領域内の0以外の視差値に対応する画素として検出され、その画素の視差値が0に補正されることを防止することができる。その結果、より高精度に仮想視点の画像を生成することができる。
【０２０８】
なお、本技術の画像処理装置は、例えば、テレビジョン受像機などの表示装置や再生装置に適用することができる。また、本技術において、境界位置に隣接する画素の数は、2つに限定されず、境界位置に隣接する画素は、境界位置の左に隣接する複数の画素および右に隣接する複数の画素であってもよい。
【０２０９】
また、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されずに、符号化ストリームとは別系統で伝送されるようにしてもよい。また、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されて、符号化ストリームとは別系統で伝送されるようにしてもよい。
【０２１０】
さらに、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されずに、符号化ストリームの所定の領域に記述されることもできるし、符号化されて符号化ストリームの所定の領域に記述されることもできる。
【０２１１】
また、符号化装置５０（２００）は、復号装置１２０（２２０）においてスムージング処理を行うかどうかを表すスムージングフラグ（Fill Depth Hole）を伝送するようにしてもよい。この場合、復号装置１２０（２２０）は、スムージングフラグがスムージング処理を行うことを表す場合にのみスムージング処理を行う。
【０２１２】
＜各種の情報の伝送方法の説明＞
図２３は、スムージングフラグ、画像情報、撮影情報、視差画像多重化情報、および互換情報の伝送方法を説明する図である。
【０２１３】
図２３に示すように、スムージングフラグ（Fill Depth Hole）は、運用等に応じて、符号化されてSEI（Supplemental Enhancement Information）として伝送されたり、符号化されずに伝送されたりする。視差画像多重化情報としてのDepth Type,Left Camera Name,Right Camera Name、およびPrecisionは、符号化されてSEIとして伝送される。即ち、多視点の画像の生成に必要なDepth TypeやPrecision等は、符号化されて伝送される。
【０２１４】
また、視差画像多重化情報としてのLeft Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、およびRight Farthest Depth Valueは、符号化されてSEI,present flag、またはParameter Setとして伝送される。
【０２１５】
また、画像情報としてのFilter,Boundary Noise Removal,Synthesis Mode,View Blending、およびSplatting Optionは、運用等に応じて、符号化されてSEIとして伝送されたり、符号化されずに伝送されたりする。画像情報としてのSource Width,Source Height,Start Frame,Total Number Of Frames,Virtual Camera Name,Left View Image Name,Right View Image Name,Virtual View Image Name,Left Depth Map Name,Right Depth Map Name,Output Virtual View Image Name、およびColor Spaceは、符号化されずに伝送される。
【０２１６】
撮影情報としてのt_1[0],t_2[0]、およびt_3[0]は、符号化されてSEIとして伝送される。また、撮影情報としてのfocal_length_x[0],radial_distortion[0],principal_point_x[0],focal_lengh_y[0],principal_point_y[0],r_11[0],r_12[0],r_13[0],r_21[0],r_22[0],r_23[0],r_31[0],r_32[0],r_33[0]は、符号化されてpresent flagまたはParameter Setとして伝送される。
【０２１７】
以上のように、スムージングフラグ、画像情報、撮影情報、視差画像多重化情報、および互換情報は、運用等を考慮して、符号化する情報と符号化しない情報に分類される。また、これらの情報の伝送方法としては、SEIとして伝送する方法、もしくは、present flagまたはParameter Setとして伝送する方法が選択される。そして、これらの情報は、分類と選択された伝送方法に基づいて、符号化されて伝送されたり、符号化されずに伝送されたりする。
【０２１８】
なお、図２３に示したスムージングフラグ以外の情報は、VSRS3.5(View Synthesis Reference Software 3.5)で定義されている情報である。
【０２１９】
また、図２３において、符号化されて伝送されてもよいし、符号化されずに伝送されてもよいスムージングフラグ、Filter,Boundary Noise Removal,Synthesis Mode,View Blending、およびSplatting Optionに対しては、符号化されたかどうかを示すフラグが設定され、伝送されるようにしてもよい。
【０２２０】
図２４は、Depth Type,Precision,Left Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、およびRight Farthest Depth Valueのシンタックスの例を示す図である。
【０２２１】
図２４に示すように、Depth Type,Precision,Left Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、およびRight Farthest Depth Valueの情報は、例えば、Depth_Information_SEI_messageとして伝送される。
【０２２２】
具体的には、Depth Typeは、depth_type［i］として視点タイプ（詳細は後述する）ごとに記述され、Precisionは、precision[i]として視点タイプごとに記述される。また、Left Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、およびRight Farthest Depth Valueには、それぞれ、視点タイプごとに全フレームにおいて同一であるかどうかを表すall_frames_in_view_components_flag[i]が設定される。all_frames_in_view_components_flag[i]が全フレームにおいて同一であることを表す場合、全フレームに共通のLeft Nearest Depth Value（Right Nearest Depth Value）、Left Farthest Depth Value（Right Farthest Depth Value）が、それぞれ、maxD[i]、minD[i]として記述される。
【０２２３】
一方、all_frames_in_view_components_flag[i]が全フレームにおいて同一ではないことを表す場合、Left Nearest Depth Value（Right Nearest Depth Value）、Left Farthest Depth Value（Right Farthest Depth Value）は、それぞれ、maxD[i][j]、minD[i][j]としてフレームごとに記述される。なお、maxD[i][j]とminD[i][j]は、PTS（Presentation Time Stamp）順に符号化される。
【０２２４】
視点タイプとは、視差画像の各視点を、Depth Type,Precision,Left Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、Right Farthest Depth Value等が同一であるごとに分類するタイプである。この視点タイプの数は、num_depth_info_minus1として記述される。
【０２２５】
このように、Depth Type,Precision,Left Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、Right Farthest Depth Value等の情報は視点タイプごとに記述され、視点タイプごとに共有される。従って、視点ごとに情報が記述される場合に比べて情報量を削減することができる。
【０２２６】
図２５は、Depth Type,Precision,Left Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、およびRight Farthest Depth Valueのシンタックスの他の例を示す図である。
【０２２７】
図２５のシンタックスでは、all_frames_in_view_components_flag[i]が全フレームにおいて同一ではないことを表す場合に、Left Nearest Depth Value（Right Nearest Depth Value）とLeft Farthest Depth Value（Right Farthest Depth Value）が差分符号化されて記述される点が、図２４のシンタックスと異なる。
【０２２８】
即ち、図２５のシンタックスでは、各フレームのLeft Nearest Depth Value（Right Nearest Depth Value）から、そのフレームよりPTSが前のフレームのLeft Nearest Depth Value（Right Nearest Depth Value）を減算した値が、delta_maxD[i][j]として記述され、その値の符号がsign_delta_maxD[i][j]として記述される。同様に、各フレームのLeft Farthest Depth Value（Right Farthest Depth Value）から、そのフレームよりPTSが前のフレームのLeft Farthest Depth Value（Right Farthest Depth Value）を減算した値が、delta_minD[i][j]として記述され、その値の符号がsign_delta_minD[i][j]として記述される。
【０２２９】
図２６は、スムージングフラグ、Filter,Boundary Noise Removal,Synthesis Mode,View Blending、およびSplatting Optionのシンタックスの例を示す図である。
【０２３０】
図２６に示すように、スムージングフラグ、Filter,Boundary Noise Removal,Synthesis Mode,View Blending、およびSplatting Optionの情報は、例えば、View Synthesis Information SEI messageとして伝送される。
【０２３１】
具体的には、Filterは、filter_typeとして記述され、Boundary Noise Removalは、boundary_noise_removalとして記述され、Synthesis Modeは、synthesis modeとして記述される。また、Synthesis ModeがGeneral modeである場合、View Blendingがview_blendingとして記述され、Synthesis Modeが1D modeである場合、Splatting Optionがsplatting_optionとして記述される。また、スムージングフラグが、fill_depth_holeとして記述される。
【０２３２】
なお、スムージングフラグ、Filter,Boundary Noise Removal,Synthesis Mode,View Blending、およびSplatting Optionは、運用タイプによっては符号化されずに伝送される。例えば、スムージングフラグは、常にスムージング処理を行うモードで運用される場合には符号化されず、Synthesis Modeは、固定モードで運用される場合には符号化されない。Filterは、固定タイプで運用される場合には符号化されず、View Blendingは、Synthesis ModeがGeneral modeである場合にだけ設定されるような運用が行われる場合には、符号化されない。さらに、Splatting Optionは、デフォルト値である場合とデフォルト値以外である場合に有意な差がないような運用が行われる場合には符号化されない。運用タイプは、type_indicatorとして記述される。
【０２３３】
＜第３実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３４】
そこで、図２７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２３５】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部８０８やROM（Read Only Memory）８０２に予め記録しておくことができる。
【０２３６】
あるいはまた、プログラムは、リムーバブルメディア８１１に格納（記録）しておくことができる。このようなリムーバブルメディア８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２３７】
なお、プログラムは、上述したようなリムーバブルメディア８１１からドライブ８１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部８０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２３８】
コンピュータは、CPU(Central Processing Unit)８０１を内蔵しており、CPU８０１には、バス８０４を介して、入出力インタフェース８０５が接続されている。
【０２３９】
CPU８０１は、入出力インタフェース８０５を介して、ユーザによって、入力部８０６が操作等されることにより指令が入力されると、それに従って、ROM８０２に格納されているプログラムを実行する。あるいは、CPU８０１は、記憶部８０８に格納されたプログラムを、RAM(Random Access Memory)８０３にロードして実行する。
【０２４０】
これにより、CPU８０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース８０５を介して、出力部８０７から出力、あるいは、通信部８０９から送信、さらには、記憶部８０８に記録等させる。
【０２４１】
なお、入力部８０６は、キーボードや、マウス、マイク等で構成される。また、出力部８０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２４２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２４３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４４】
本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。
【０２４５】
また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
【０２４６】
＜第４実施の形態＞
［テレビジョン装置の構成例］
図２８は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０２４７】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０２４８】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０２４９】
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０２５０】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０２５１】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０２５２】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
【０２５３】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０２５４】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０２５５】
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
【０２５６】
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０２５７】
このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、低解像度化された視差画像を含む符号化ビットストリームを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
【０２５８】
＜第５実施の形態＞
［携帯電話機の構成例］
図２９は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
【０２５９】
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０２６０】
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０２６１】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０２６２】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０２６３】
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０２６４】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０２６５】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０２６６】
このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、画像データの通信において、低解像度化された視差画像を含む符号化データを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
【０２６７】
＜第６実施の形態＞
［記録再生装置の構成例］
図３０は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０２６８】
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０２６９】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０２７０】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０２７１】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０２７２】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０２７３】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
【０２７４】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０２７５】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
【０２７６】
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０２７７】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０２７８】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
【０２７９】
＜第７実施の形態＞
［撮像装置の構成例］
図３１は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０２８０】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０２８１】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０２８２】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０２８３】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
【０２８４】
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０２８５】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０２８６】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０２８７】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０２８８】
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
【０２８９】
このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、メモリ部９６７や記録メディア等に記録された低解像度化された視差画像を含む符号化データを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
【０２９０】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２９１】
また、本技術は、以下のような構成もとることができる。
【０２９２】
（１）
低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受け取る受け取り部と、
前記受け取り部により受け取られた前記低解像度化された視差画像を高解像度化する高解像度化部と、
仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理部と、
前記視差画像ワーピング処理部により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正部と
を備える画像処理装置。
（２）
前記補正部は、前記仮想視点の視差画像内の前記オクルージョン領域の前記所定値以外の視差値に対応する画素を検出し、その画素の視差値を前記所定値に補正する
前記（１）に記載の画像処理装置。
（３）
前記補正部は、前記仮想視点の視差画像内の前記所定値以外の視差値に対応する画素のうち、周辺画素の視差値が前記所定値である画素を、前記オクルージョン領域の前記所定値以外の視差値に対応する画素として検出する
前記（２）に記載の画像処理装置。
（４）
前記受け取り部はまた、前記視差画像の視差値が変化する位置である境界位置に隣接する画素であるかどうかを示す情報である境界情報を受け取り、
前記補正部は、前記仮想視点の視差画像内の前記所定値以外の視差値に対応する画素のうち、周辺画素の視差値が前記所定値であり、前記境界位置に隣接する画素であることを示す境界情報に対応する画素を、前記オクルージョン領域の前記所定値以外の視差値に対応する画素として検出する
前記（２）に記載の画像処理装置。
（５）
前記低解像度化された視差画像を復号する復号部
をさらに備え、
前記受け取り部は、符号化された前記低解像度化された視差画像を受け取り、
前記復号部は、前記受け取り部により受け取られた前記符号化された前記低解像度化された視差画像を復号し、
前記高解像度化部は、前記復号部による復号の結果得られる前記低解像化された視差画像を高解像度化する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記補正部により補正された前記仮想視点の視差画像に基づいて、前記視点画像のワーピング処理を行うことにより、前記仮想視点の視点画像を生成する視点画像ワーピング処理部
をさらに備え、
前記受け取り部は、前記視点画像、および、前記低解像度化された視差画像を受け取る
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記視点画像ワーピング処理部により生成された前記仮想視点の２つの視点画像のうちの一方の前記オクルージョン領域を、他方で補間する補間部
をさらに備え、
前記受け取り部は、第１および第２の視点の前記視点画像、および、前記第１および第２の視点の前記低解像度化された視差画像を受け取り、
前記視差画像ワーピング処理部は、前記仮想視点の位置に基づいて、高解像度化された前記第１の視点の視差画像のワーピング処理を行うことにより、前記仮想視点の第１の視差画像を生成するとともに、前記仮想視点の位置に基づいて、高解像度化された前記第２の視点の視差画像のワーピング処理を行うことにより、前記仮想視点の第２の視差画像を生成し、
前記視点画像ワーピング処理部は、前記補正部により補正された前記仮想視点の前記第１の視差画像に基づいて、前記第１の視点の視点画像のワーピング処理を行うことにより、前記仮想視点の第１の視点画像を生成するとともに、前記第２の視差画像に基づいて、前記第２の視点の視点画像のワーピング処理を行うことにより、前記仮想視点の第２の視点画像を生成し、
前記補間部は、前記視点画像ワーピング処理部により生成された前記仮想視点の前記第１および第２の視点画像のうちの一方の前記オクルージョン領域を、他方で補間する
前記（６）に記載の画像処理装置。
（８）
前記受け取り部は、前記補正部による補正を行うかどうかを表すフラグを受け取り、
前記補正部は、前記フラグが前記補正部による補正を行うことを表す場合、前記オクルージョン領域の所定値以外の視差値を前記所定値に補正する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
画像処理装置が、
低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受信する受信ステップと、
前記受信ステップの処理により受信された前記低解像度化された視差画像を高解像度化する高解像度化ステップと、
仮想視点の位置に基づいて、前記高解像度化ステップの処理により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理ステップと、
前記視差画像ワーピング処理ステップの処理により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正ステップと
を含む画像処理方法。
（１０）
所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類部と、
前記画像関連情報の伝送方法を選択する選択部と、
前記分類部による前記分類と前記選択部により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送部と
を備える画像処理装置。
（１１）
画像処理装置が、
所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類ステップと、
前記画像関連情報の伝送方法を選択する選択ステップと、
前記分類ステップの処理による前記分類と前記選択ステップの処理により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送ステップと
を含む画像処理方法。
【符号の説明】
【０２９３】
１２０ 復号装置， １２１ 分離部， １３２ 補助用デコーダ， １６２ 視差画像高解像度化部， １６３，１６４ 視差画像ワーピング処理部， １６５，１６６ スムージング処理部， １６７，１６８ 視点画像ワーピング処理部， １７1 多視点画像生成部， ２２０ 復号装置， ２３１ 補助用デコーダ， ２５１，２５２ スムージング処理部
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関し、特に、低解像度化された視差画像が送信される場合において、受信側で、その視差画像を用いて所定の視点の画像を高精度に生成することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
現在、３Ｄ画像の視聴方式としては、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下、メガネ有り方式という）が一般的である。
【０００３】
しかしながら、このようなメガネ有り方式では、視聴者は、３Ｄ画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに３Ｄ画像を視聴可能な視聴方式（以下、メガネ無し方式という）の需要が高まっている。
【０００４】
メガネ無し方式では、３視点以上の視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【０００５】
メガネ無し方式の視聴を提供する復号装置は、例えば、２視点の画像から３視点以上の視点（以下では、３視点以上の視点を多視点という）の画像を生成し、表示する。具体的には、符号化装置が、２視点の画像の視差(depth)値を求め、その視差値を輝度値等で表す視差画像を復号装置に伝送する。そして、復号装置は、受信された２視点の画像の視差画像のワーピング処理を行うことにより多視点の視差画像を生成し、その多視点の視差画像を用いて２視点の画像のワーピング処理を行うことにより多視点の画像を生成し、合成して表示する。
【０００６】
なお、ワーピング処理とは、所定の視点の視差画像（または画像）の各画素の視差値（または画素値）を、その画素に対応する、仮想視点の視差画像（または画像）上の画素の視差値（または画素値）とする処理である。
【０００７】
また、既存の画像の符号化方式としては、AVC（Advanced Video Coding）やMVC（Multiview Video Coding）方式がある。多視点の画像を符号化する方式は、例えば、特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−１８２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、メガネ無し方式の視聴を提供する復号装置に対応する符号化装置が、視差画像を低解像度化することにより、視差画像のデータ量を削減する場合、復号装置は、受信された視差画像を高解像度化し、低解像度化前の視差画像を生成する必要がある。
【００１０】
しかしながら、低解像度化された視差画像を高解像度化し、低解像度化前の視差画像を生成することは困難である。特に、視差値が大きく変化する境界位置では、低解像度化前の視差値と高解像度化後の視差値の誤差が大きくなる。その結果、復号装置において、視差画像のワーピング処理が正確に行われず、ワーピング処理後の視差画像を用いて生成される所定の視点の画像が破綻する場合があった。
【００１１】
本技術は、このような状況に鑑みてなされたものであり、低解像度化された視差画像が送信される場合において、受信側で、その視差画像を用いて所定の視点の画像を高精度に生成することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の第１の側面の画像処理装置は、低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受け取る受け取り部と、前記受け取り部により受け取られた前記低解像度化された視差画像を高解像度化する高解像度化部と、仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理部と、前記視差画像ワーピング処理部により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正部とを備える画像処理装置である。
【００１３】
本技術の第１の側面の画像処理方法は、本技術の一側面の画像処理装置に対応する。
【００１４】
本技術の第１の側面においては、低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像が受信され、受信された前記低解像度化された視差画像が高解像度化され、仮想視点の位置に基づいて、高解像度化された前記視差画像のワーピング処理が行われることにより、前記仮想視点の視差画像が生成され、生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値が、前記所定値に補正される。
【００１５】
本技術の第２の側面の画像処理装置は、所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類部と、前記画像関連情報の伝送方法を選択する選択部と、前記分類部による分類と前記選択部により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送部とを備える画像処理装置である。
【００１６】
本技術の第２の側面においては、所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報が、符号化する情報または符号化しない情報に分類され、前記画像関連情報の伝送方法が選択され、前記分類と選択された前記伝送方法に基づいて、前記画像関連情報が伝送される。
【００１７】
なお、本技術の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
【００１８】
また、本技術の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１９】
本技術の一側面によれば、低解像度化された視差画像が送信されてくる場合において、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
【図面の簡単な説明】
【００２０】
【図１】符号化装置の第１実施の形態の構成例を示すブロック図である。
【図２】図１の符号化装置による符号化処理を説明するフローチャートである。
【図３】図１の符号化装置による符号化処理を説明するフローチャートである。
【図４】本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。
【図５】図４の３Ｄ画像生成部の詳細構成例を示すブロック図である。
【図６】仮想視点の画像の生成を説明する図である。
【図７】視差画像のワーピング処理を説明する図である。
【図８】低解像度化される前の視差画像と、その視差画像のワーピング処理結果を示す図である。
【図９】低解像度化された視差画像、高解像度化された視差画像、および、その視差画像のワーピング処理結果を示す図である。
【図１０】スムージング処理を説明する図である。
【図１１】図４の復号装置による復号処理を説明するフローチャートである。
【図１２】図１１の多視点画像生成処理の詳細を説明するフローチャートである。
【図１３】符号化装置の第２実施の形態の構成例を示すブロック図である。
【図１４】境界情報の例を示す図である。
【図１５】図１３の符号化装置による符号化処理を説明するフローチャートである
【図１６】図１３の符号化装置による符号化処理を説明するフローチャートである。
【図１７】図１６の境界情報生成処理を説明するフローチャートである。
【図１８】本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。
【図１９】図１８の３Ｄ画像生成部の詳細構成例を示すブロック図である。
【図２０】境界情報に基づくスムージング処理を説明する図である。
【図２１】図１８の復号装置による復号処理を説明するフローチャートである。
【図２２】図２１の多視点画像生成処理を説明するフローチャートである。
【図２３】伝送方法を説明する図である。
【図２４】シンタックスの例を示す図である。
【図２５】シンタックスの例を示す図である。
【図２６】シンタックスの例を示す図である。
【図２７】コンピュータの一実施の形態の構成例を示す図である。
【図２８】本技術を適用したテレビジョン装置の概略構成を示す図である。
【図２９】本技術を適用した携帯電話機の概略構成を示す図である。
【図３０】本技術を適用した記録再生装置の概略構成を示す図である。
【図３１】本技術を適用した撮像装置の概略構成を示す図である。
【発明を実施するための形態】
【００２１】
＜第１実施の形態＞
［符号化装置の第１実施の形態の構成例］
図１は、本技術を適用した画像処理装置に対応する符号化装置の第１実施の形態の構成例を示すブロック図である。
【００２２】
図１の符号化装置５０は、撮影部５１Ａ乃至５１Ｃ、画像変換部５２、視差画像生成部５３、画像情報生成部５４、互換情報生成部５５、撮影情報生成部５６、視差画像多重化情報生成部５７、エンコーダ５８、および多重化部５９により構成される。
【００２３】
符号化装置５０は、視差画像を低解像度化して符号化し、伝送する。
【００２４】
具体的には、符号化装置５０において、撮影部５１Ａは、所定の視点のHD（High Definition）画像を視点画像Ａ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５６に供給する。撮影部５１Ｂは、撮影部５１Ａから距離Δｄ１ＡＢだけ水平方向に離れた位置で、視点画像Ａ１とは異なる視点のHD画像を視点画像Ｂ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５６に供給する。撮影部５１Ｃは、撮影部５１Ａから距離Δｄ１ＡＣだけ撮影部５１Ａとは反対の水平方向に離れた位置で、視点画像Ａ１および視点画像Ｂ１とは異なる視点のHD画像を視点画像Ｃ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５６に供給する。
【００２５】
なお、視点画像Ｂ１と視点画像Ｃ１に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置５０に対応する復号装置は、視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ｂ１および視点画像Ｃ１の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ１ＡＢと距離Δｄ１ＡＣは、固定であってもよいし、時間ごとに変化するようにしてもよい。
【００２６】
画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される視点画像Ａ１を互換画像に決定する。なお、互換画像とは、多視点の画像のうちの、既存の符号化装置との互換性を確保するために既存の符号化方式で符号化される画像である。画像変換部５２は、互換画像として視点画像Ａ１を指定する情報を互換情報生成部５５に供給し、互換画像である視点画像Ａ１をそのままエンコーダ５８に供給する。
【００２７】
また、画像変換部５２は、視点画像Ａ１以外の視点画像Ｂ１および視点画像Ｃ１を補助画像とする。なお、補助画像とは、互換画像を用いて互換画像の視点数より多い視点の画像を生成するための画像である。画像変換部５２は、所定の多重化方式に基づいて、補助画像である視点画像Ｂ１および視点画像Ｃ１を低解像度化して多重化する。具体的には、例えば多重化方式がサイドバイサイド方式である場合、画像変換部５２は、視点画像Ｂ１および視点画像Ｃ１の解像度を半分にする。そして、画像変換部５２は、解像度が半分にされた視点画像Ｂ１（以下、1/2解像度視点画像Ｂ１という）が画面の左半分の画像となり、解像度が半分にされた視点画像Ｃ１（以下、1/2解像度視点画像Ｃ１という）が画面の右半分の画像となるように、1/2解像度視点画像Ｂ１および1/2解像度視点画像Ｃ１を多重化する。画像変換部５２は、多重化の結果得られる多重化画像をエンコーダ５８に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
【００２８】
視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１の各画素の視差値を検出する。視差画像生成部５３は、互換画像である視点画像Ａ１の各画素の視差値を表す視差画像Ａ１’を生成し、エンコーダ５８に供給する。
【００２９】
また、視差画像生成部５３は、所定の多重化方式に基づいて、視差画像Ｂ１’と視差画像Ｃ１’を低解像度化して多重化し、その結果得られる多重化画像をエンコーダ５８に供給する。視差画像生成部５３は、補助画像の視差画像の多重化方式を示す情報を視差画像多重化情報生成部５７に供給する。
【００３０】
画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを、互換画像および補助画像に関する情報である画像情報として生成し、エンコーダ５８に供給する。
【００３１】
互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像を指定する情報、互換モードなどを、互換に関する情報である互換情報として生成し、エンコーダ５８に供給する。
【００３２】
なお、互換モードとは、互換画像の符号化方法を表すモードである。互換モードとしては、例えば、１視点の互換画像をAVC方式で符号化する符号化方法を表すモノモード(mono)、２視点の互換画像を多重化し、AVC方式で符号化する符号化方法を表すフレームパッキングモード(frame packing)、２視点の互換画像をMVC方式で符号化する符号化方法を表すステレオモード(stereo)などがある。
【００３３】
撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１のうちの２枚の視点画像の視点間の距離（以下、視点間距離という）を検出する。具体的には、撮影情報生成部５６は、撮影部５１Ａと撮影部５１Ｂの間の水平方向の距離Δｄ１ＡＢ、および、撮影部５１Ａと撮影部５１Ｃの間の水平方向の距離Δｄ１ＡＣを視点間距離として検出する。
【００３４】
また、撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから、撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータとワーピング処理用の回転行列を取得する。なお、内部パラメータとしては、焦点距離、画像中心である主点(レンズの光学的な中心)の位置、半径方向の歪み係数などがある。撮影情報生成部５６は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ５８に供給する。
【００３５】
視差画像多重化情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などの視差画像に関する情報を、視差画像多重化情報として生成し、エンコーダ５８に供給する。
【００３６】
エンコーダ５８は、互換用エンコーダ６１と補助用エンコーダ６２により構成される。互換用エンコーダ６１は、画像変換部５２から供給される互換画像の多重化画像を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
【００３７】
補助用エンコーダ６２は、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ６２における符号化方式としては、AVC方式、MVC方式、MPEG2（Moving Picture Experts Group phase 2）方式などを用いることができる。
【００３８】
また、補助用エンコーダ６２は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【００３９】
多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳ（Transport Stream）を生成し、多重化する。多重化部５９は、多重化の結果得られる多重化ストリームを伝送する。
【００４０】
［符号化装置の処理の説明］
図２および図３は、図１の符号化装置５０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから視点画像Ａ１乃至視点画像Ｃ１が出力されたとき開始される。
【００４１】
図２のステップＳ１０において、撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから、撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータとワーピング処理用の回転行列を取得する。
【００４２】
ステップＳ１１において、撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１のうちの２枚の視点画像の視点間距離を検出する。
【００４３】
ステップＳ１２において、撮影情報生成部５６は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ５８に供給する。
【００４４】
ステップＳ１３において、画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される視点画像Ａ１を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部５２は、互換画像として視点画像Ａ１を指定する情報を互換情報生成部５５に供給し、補助画像の多重化方式を画像情報生成部５４に供給する。
【００４５】
ステップＳ１４において、互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像として視点画像Ａ１を指定する情報、互換モードとしてのモノモードなどを互換情報として生成し、エンコーダ５８に入力する。
【００４６】
ステップＳ１５において、画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを画像情報として生成し、エンコーダ５８に入力する。
【００４７】
ステップＳ１６において、画像変換部５２は、視点画像Ａ１以外の視点画像Ｂ１および視点画像Ｃ１を補助画像とし、ステップＳ１３で決定された補助画像の多重化方式に基づいて補助画像を低解像度化して多重化し、補助画像の多重化画像を得る。
【００４８】
ステップＳ１７において、画像変換部５２は、互換画像である視点画像Ａ１と補助画像の多重化画像をエンコーダ５８に入力する。
【００４９】
図３のステップＳ１８において、視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて視点画像Ａ１乃至視点画像Ｃ１の各画素の視差値を検出し、視差画像Ａ１’乃至視差画像Ｃ１’を生成する。
【００５０】
ステップＳ１９において、視差画像生成部５３は、補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像多重化情報生成部５７に供給する。
【００５１】
ステップＳ２０において、視差画像多重化情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像多重化情報として生成し、エンコーダ５８に入力する。
【００５２】
ステップＳ２１において、視差画像生成部５３は、ステップＳ２１で決定された補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像Ｂ１’と視差画像Ｃ１’を低解像度化して多重化し、補助画像の視差画像の多重化画像を得る。
【００５３】
ステップＳ２２において、視差画像生成部５３は、互換画像の視差画像Ａ１'と補助画像の視差画像の多重化画像をエンコーダ５８に入力する。
【００５４】
ステップＳ２３において、エンコーダ５８の互換用エンコーダ６１は、画像変換部５２から供給される互換画像である視点画像Ａ１を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
【００５５】
ステップＳ２４において、補助用エンコーダ６２は、画像変換部５２からの補助画像の多重化画像、並びに、視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。
【００５６】
ステップＳ２５において、補助用エンコーダ６２は、ステップＳ２４の処理による符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、および視差画像多重化情報生成部５７からの視差画像多重化情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【００５７】
ステップＳ２６において、多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと、補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳを生成し、多重化して送信する。そして、処理は終了する。
【００５８】
以上のように、符号化装置５０は、補助画像および補助画像の視差画像の解像度を低解像度化して符号化するので、低解像度化せずに符号化する場合に比べて、符号化対象の情報量を削減し、符号化処理および復号処理の処理コストを軽減することができる。その結果、復号装置における復号処理の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
【００５９】
また、符号化装置５０は、多視点の画像のうちの１視点の画像を互換画像とし、既存の符号化方式で符号化するので、既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。
【００６０】
さらに、符号化装置５０は、視差画像を生成し、符号化ストリームに含めて送信するので、符号化装置５０に対応する復号装置は、多視点の画像を生成するために視差画像を生成する必要がなく、復号装置の処理の負荷を軽減することができる。その結果、復号装置のコストを低減することができる。また、復号装置の視差検出の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
【００６１】
［復号装置の構成例］
図４は、図１の符号化装置５０から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。
【００６２】
図４の復号装置１２０は、分離部１２１、デコーダ１２２、画像情報取得部１２３、撮影情報取得部１２４、視差画像多重化情報取得部１２５、互換情報取得部１２６、および画像生成部１２７により構成される。復号装置１２０は、符号化装置５０から送信される多重化ストリームを復号し、視差画像のワーピング処理を行って多視点の画像を生成し、図示せぬ表示装置に表示させる。
【００６３】
具体的には、復号装置１２０の分離部１２１は、受け取り部として機能し、符号化装置５０から送信されてくる多重化ストリームを受け取り、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。
【００６４】
デコーダ１２２は、互換用デコーダ１３１と補助用デコーダ１３２により構成される。デコーダ１２２の互換用デコーダ１３１は、補助用デコーダ１３２から供給される互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。互換用デコーダ１３１は、互換情報に基づいて、互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号する。互換用デコーダ１３１は、復号の結果得られる視点画像Ａ１を画像生成部１２７に供給する。
【００６５】
補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ１３２は、復号部として機能し、分離部１２１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図１の補助用エンコーダ６２に対応する方式で復号する。
【００６６】
補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
【００６７】
画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２７に供給する。撮影情報取得部１２４は、補助用デコーダ１３２から供給される撮影情報を取得し、画像生成部１２７に供給する。
【００６８】
視差画像多重化情報取得部１２５は、補助用デコーダ１３２から供給される視差画像多重化情報を取得し、画像生成部１２７に供給する。互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２７に供給する。
【００６９】
画像生成部１２７は、２Ｄ画像生成部１４１と３Ｄ画像生成部１４２により構成される。画像生成部１２７の２Ｄ画像生成部１４１は、視聴者からの２Ｄ画像表示指令に応じて、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
【００７０】
また、３Ｄ画像生成部１４２は、デコーダ１２２から供給される視点画像Ａ１、補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、互換情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、３Ｄ画像生成部１４２は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【００７１】
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【００７２】
［３Ｄ画像生成部の詳細構成例］
図５は、図４の３Ｄ画像生成部１４２の詳細構成例を示すブロック図である。
【００７３】
図５に示すように、３Ｄ画像生成部１４２は、仮想視点位置決定部１６０、視差画像分離部１６１、視差画像高解像度化部１６２、視差画像ワーピング処理部１６３、視差画像ワーピング処理部１６４、スムージング処理部１６５、スムージング処理部１６６、視点画像ワーピング処理部１６７、視点画像ワーピング処理部１６８、視点画像分離部１６９、視点画像高解像度化部１７０、多視点画像生成部１７１、および多視点画像合成処理部１７２により構成される。
【００７４】
３Ｄ画像生成部１４２の仮想視点位置決定部１６０は、撮影情報取得部１２４から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の視点の位置を仮想視点の位置として決定する。そして、仮想視点位置決定部１６０は、各仮想視点の位置に基づいて、視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４のそれぞれに対して、その仮想視点の画像の生成に用いる、その仮想視点より外側の視点の視差画像を特定する情報である視差画像特定情報を生成する。なお、各仮想視点に対して、視差画像ワーピング処理部１６３に供給される視差画像特定情報と、視差画像ワーピング処理部１６４に供給される視差画像特定情報は異なるように生成される。
【００７５】
また、仮想視点位置決定部１６０は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。
【００７６】
視差画像分離部１６１は、互換情報取得部１２６から供給される互換情報に基づいて、デコーダ１２２から供給される互換画像の視差画像Ａ１’をそのまま視差画像高解像度化部１６２に供給する。また、視差画像分離部１６１は、デコーダ１２２から供給される補助画像の視差画像の多重化画像を、視差画像多重化情報取得部１２５から供給される視差画像多重化情報に基づいて分離する。そして、視差画像分離部１６１は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像を視差画像高解像度化部１６２に供給する。
【００７７】
視差画像高解像度化部１６２は、高解像度化部として機能し、視差画像分離部１６１から供給される互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像をそれぞれ高解像度化する。これにより、視差画像高解像度化部１６２は、互換画像と同一の解像度の視点画像Ｂ１と視点画像Ｃ１の視差画像を得る。そして、視差画像高解像度化部１６２は、得られた視点画像Ｂ１と視点画像Ｃ１の視差画像、並びに、視差画像分離部１６１から供給される視差画像Ａ１’を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。
【００７８】
視差画像ワーピング処理部１６３は、視差画像ワーピング処理部として機能する。具体的には、視差画像ワーピング処理部１６３は、仮想視点ごとに、仮想視点位置決定部１６０から供給される視差画像特定情報に基づいて、視差画像高解像度化部１６２から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像並びに視差画像Ａ１’のうちの１つを選択する。視差画像ワーピング処理部１６３は、仮想視点ごとに、撮影情報取得部１２４からの撮影情報、および、仮想視点位置決定部１６０からの仮想視点の位置に基づいて、選択された視差画像のワーピング処理を行う。視差画像ワーピング処理部１６３は、ワーピング処理により生成される各仮想視点の視差画像をスムージング処理部１６５に供給する。
【００７９】
視差画像ワーピング処理部１６４は、視差画像ワーピング処理部として機能し、視差画像ワーピング処理部１６３と同様の処理を行い、その結果生成された各仮想視点の視差画像を、スムージング処理部１６６に供給する。
【００８０】
スムージング処理部１６５は、補正部として機能し、視差画像ワーピング処理部１６３から供給される各仮想視点の視差画像に対して、オクルージョン領域（詳細は後述する）内の0以外の視差値を取り除くスムージング処理を行う。具体的には、スムージング処理部１６５は、各仮想視点の視差画像からオクルージョン領域内の0以外の視差値を検出し、その視差値を0に補正する。スムージング処理部１６５は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部１６７に供給する。
【００８１】
なお、オクルージョン領域とは、仮想視点と、実際に撮影された視点画像の視点が異なることによって生じる、仮想視点の画像には存在するが、その仮想視点の視差画像の生成に用いられた視差画像に対応する視点画像には存在しない領域である。また、ワーピング処理後の視差画像のうち、ワーピング処理前の視差画像の画素と対応しない画素の視差値は0とされる。従って、本来、オクルージョン領域の視差値は0であり、オクルージョン領域は黒画で表される。
【００８２】
スムージング処理部１６６は、補正部として機能し、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に対して、スムージング処理部１６５と同様にスムージング処理を行う。そして、スムージング処理部１６６は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部１６８に供給する。
【００８３】
視点画像ワーピング処理部１６７は、視点画像ワーピング処理部として機能する。具体的には、視点画像ワーピング処理部１６７は、スムージング処理部１６５から供給される各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部１７０から供給される視点画像のワーピング処理を行う。視点画像ワーピング処理部１６７は、ワーピング処理の結果得られるオクルージョン領域を有する各仮想視点の画像を多視点画像生成部１７１に供給する。
【００８４】
視点画像ワーピング処理部１６８は、視点画像ワーピング処理部として機能し、スムージング処理部１６６から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部１６７と同様の処理を行う。
【００８５】
視点画像分離部１６９は、互換情報取得部１２６から供給される互換情報に基づいて、デコーダ１２２から供給される互換画像である視点画像Ａ１を、そのまま視点画像高解像度化部１７０に供給する。また、視点画像分離部１６９は、画像情報取得部１２３から供給される画像情報に基づいて、デコーダ１２２から供給される補助画像の多重化画像を分離する。視点画像分離部１６９は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１を視点画像高解像度化部１７０に供給する。
【００８６】
視点画像高解像度化部１７０は、視点画像分離部１６９から供給される互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１それぞれに対して補間処理を行うことにより、高解像度化を行う。これにより、視点画像高解像度化部１７０は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１を得る。そして、視点画像高解像度化部１７０は、得られた視点画像Ｂ１および視点画像Ｃ１の視差画像、並びに、視点画像分離部１６９から供給される視点画像Ａ１を、視点画像ワーピング処理部１６７および視点画像ワーピング処理部１６８に供給する。
【００８７】
多視点画像生成部１７１は、補間部として機能し、仮想視点ごとに、視点画像ワーピング処理部１６７および視点画像ワーピング処理部１６８のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部１７１は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部１７２に供給する。
【００８８】
多視点画像合成処理部１７２は、多視点画像生成部１７１から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の１の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【００８９】
［仮想視点の画像の生成の説明］
図６は、図５の３Ｄ画像生成部１４２による仮想視点の画像の生成を説明する図である。
【００９０】
図６に示すように、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４は、視差画像特定情報に基づいて、それぞれ、異なる視差画像を選択する。図６の例では、視差画像ワーピング処理部１６３は、画面上の左側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像（以下、視差画像＃１という）を選択している。また、視差画像ワーピング処理部１６４は、画面上の右側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像（以下、視差画像＃２という）を選択している。
【００９１】
視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４は、それぞれ、仮想視点の位置と撮影情報に基づいて、選択された視差画像のワーピング処理を行い、仮想視点の視差画像を生成する。そして、スムージング処理部１６５とスムージング処理部１６６は、それぞれ、生成された仮想視点の視差画像に対してスムージング処理を行う。
【００９２】
これにより、図６に示すように、仮想視点の視差画像＃１は、例えば、視差画像＃１内の円形の領域が右側に移動し、その円形の領域の左側に発生している、図中黒く塗りつぶされているオクルージョン領域の全ての視差値が0である視差画像となる。また、仮想視点の視差画像＃２は、例えば、視差画像＃２内の円形の領域が左側に移動し、その円形の領域の右側に発生している、図中黒く塗りつぶされているオクルージョン領域の全ての視差値が0である視差画像となる。なお、仮想視点の視差画像＃１内の円形の領域の位置と仮想視点の視差画像＃２内の円形の領域の位置は、同一である。
【００９３】
視点画像ワーピング処理部１６７は、仮想視点の視差画像＃１に基づいて、視差画像＃１に対応する視点画像＃１のワーピング処理を行う。図６の例では、視点画像＃１は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像＃１は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像＃１に比べて右側に移動し、その領域の左側にオクルージョン領域が存在する画像となる。
【００９４】
一方、視点画像ワーピング処理部１６８は、仮想視点の視差画像＃２に基づいて、視差画像＃２に対応する視点画像＃２のワーピング処理を行う。図６の例では、視点画像＃２は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像＃２は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像＃２に比べて左側に移動し、その領域の右側にオクルージョン領域が存在する画像となる。
【００９５】
多視点画像生成部１７１は、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方の視点画像のオクルージョン領域を、他方の視点画像で補間する。具体的には、視差画像特定情報は、仮想視点より外側の視点の視差画像を特定する情報であるので、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方に存在するオクルージョン領域の画像は、他方の視点画像内に存在する。従って、多視点画像生成部１７１は、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方に存在するオクルージョン領域の画像を、他方の視点画像内に存在する、そのオクルージョン領域の画像で補間する。これにより、図６に示すように、オクルージョン領域が存在しない仮想視点の画像が生成される。
【００９６】
［視差画像のワーピング処理の説明］
図７は、視差画像のワーピング処理を説明する図である。
【００９７】
視差画像のワーピング処理では、まず、図７に示すように、選択された位置t（tｘ,tｙ,tｚ）の視点の視差画像の各画素の位置m（x,y,z）と、位置t'（t'ｘ,t'ｙ,t'ｚ）の仮想視点の視差画像の位置m'（x',y',z'）を、３次元空間を介して対応付ける。
【００９８】
具体的には、以下の式（１）により、位置t（tｘ,tｙ,tｚ）の視点の視差画像の視差値Zの画素の位置m（x,y,z）に対応する３次元空間の位置M(X,Y,Z)が求められ、その位置M(X,Y,Z)に対応する、位置t'（t'ｘ,t'ｙ,t'ｚ）の仮想視点の視差画像の位置m'（x',y',z'）が求められる。
【００９９】
(X,Y,Z)Ｔ=RA−１（x,y,1）ＴZ+（tｘ,tｙ,tｚ）Ｔ s（x',y',1）Ｔ=A’R'−１[（X,Y,Z）Ｔ-（t'ｘ,t'ｙ,t'ｚ）Ｔ] ・・・（１）
【０１００】
なお、式（１）において、Rは、視差画像を撮影する撮影部５１Ａ乃至撮影部５１Ｃのワーピング処理用の回転行列であり、以下の式（２）で表される。
【０１０１】
【数１】
【０１０２】
なお、式（２）において、r_11乃至r_13，r_21乃至r_23、およびr_31乃至r_33は、所定値である。
【０１０３】
また、式（１）において、Aは、視差画像を撮影する撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータを含む行列であり、以下の式（３）で表される。
【０１０４】
【数２】
【０１０５】
なお、式（３）において、focal_length_x,focal_length_yは、それぞれ、内部パラメータに含まれるx方向、y方向の焦点距離を表す。principal_point_x,principal_point_yは、それぞれ、内部パラメータに含まれる主点のx方向、y方向の位置を表す。radial_distortionは、内部パラメータに含まれる半径方向の歪み係数を表す。
【０１０６】
さらに、式（１）において、R’は、Rと同様に表される仮想視点の視差画像を撮影する仮想の撮影部のワーピング処理用の回転行列であり、A’は、Aと同様に表される仮想視点の視差画像を撮影する仮想の撮影部の内部パラメータを含む行列である。また、式（１）においてsは、スケーリングファクタ（scaling factor）である。
【０１０７】
以上のようにして対応付けが行われた後、各画素の位置m（x,y,z）に対応する位置m'（x',y',z'）に基づいて、選択された視差画像の各画素に対応する仮想視点の視差画像の各画素が決定される。なお、仮想視点の視差画像の所定の画素に、複数の画素が対応付けられる場合、その複数の画素のうちの視差値が最も大きい画素、即ち手前側の被写体に対応する画素が、仮想視点の視差画像の所定の画素に対応する画素とされる。そして、選択された視差画像の各画素の視差値が、その画素に対応する仮想視点の視差画像の画素の視差値とされ、その結果、仮想視点の視差画像が生成される。
【０１０８】
図８は、符号化装置５０の視差画像生成部５３により低解像度化される前の視差画像と、その視差画像のワーピング処理結果を示す図である。なお、図８において、小さい丸は画素を表し、丸の柄は視差値を表す。このことは、後述する図９および図１０においても同様である。
【０１０９】
図８の例では、低解像度化される前の視差画像が、図８Ａに示すように、画面中央に位置する円形の領域の視差値が0とは大きく異なる所定値であり、その領域以外の領域の視差値が0である視差画像である。この場合、低解像度化される前の視差画像のワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図８Ｂに示すように、円形の領域が10画素だけ左側に移動する。
【０１１０】
図９は、符号化装置５０の視差画像生成部５３により低解像度化された視差画像、視差画像高解像度化部１６２により高解像度化された視差画像、および、高解像度化された視差画像のワーピング処理結果を示す図である。
【０１１１】
視差画像生成部５３が、図８Ａの低解像度化される前の視差画像の水平方向に隣接する2つの画素の視差値の平均値を、その画素に対応する低解像度化後の視差画像の画素の視差値とすることにより低解像度化する場合、低解像度化された視差画像は、図９Ａに示すようになる。
【０１１２】
なお、図９において、縦線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と、灰色が付された丸で表される画素の視差値の平均値である。また、図９Ａでは、説明の便宜上、低解像度化前の画素を丸で表しており、低解像度化により間引かれる画素は、柄が付されない丸で表している。
【０１１３】
図９Ａの低解像度化された視差画像が供給される場合、視差画像高解像度化部１６２は、例えば、高解像度化後の視差画像の各画素の視差値を、その画素に対応する、図９Ａの低解像度化された視差画像の水平方向に隣接する2つの画素の視差値を用いて線形補間することにより高解像度化を行う。これにより、図９Ｂの高解像度化された視差画像が生成される。なお、図９において、横線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と縦線が付された丸で表される画素の視差値の範囲内の値である。
【０１１４】
図９Ｂの高解像度化された視差画像に対してワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図９Ｃに示すように、図中斜線で示すオクルージョン領域に0以外の視差値が対応付けられる。具体的には、例えば、本来、横線が付された丸で表される画素は、図８Ｂに示したように、10画素だけ左側に移動する必要があるが、図９Ｃに示すように、5画素だけしか左側に移動しない。即ち、正確にワーピング処理が行われない。その結果、仮想視点の画像内の、本来画素値が対応付けられないオクルージョン領域に画素値が存在し、その画素値が多視点画像生成部１７１による補間時に他の仮想視点の画像により補間されないため、仮想視点の画像が破綻する。
【０１１５】
そこで、３Ｄ画像生成部１４２では、スムージング処理部１６５およびスムージング処理部１６６が、スムージング処理を行い、オクルージョン領域内の0以外の視差値を0に補正する。
【０１１６】
［スムージング処理の説明］
図１０は、図５のスムージング処理部１６５（１６６）によるスムージング処理を説明する図である。
【０１１７】
図１０の左側に示すように、図５の視差画像ワーピング処理部１６３（１６４）が、図９Ｃの仮想視点の視差画像を生成する場合、スムージング処理部１６５（１６６）は、その視差画像のオクルージョン領域内の視差値が0以外である画素を検出する。そして、図１０の右側に示すように、スムージング処理部１６５（１６６）は、オクルージョン領域内の視差値が0以外である画素の視差値を0に補正する。
【０１１８】
このように、スムージング処理部１６５（１６６）は、オクルージョン領域内の0以外の視差値に対応する画素を検出し、その画素の視差値を0に補正するので、仮想視点の画像のオクルージョン領域内に誤って画素値が配置されることを防止することができる。その結果、仮想視点の画像の破綻を防止することができる。
【０１１９】
［復号装置の処理の説明］
図１１は、図４の復号装置１２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１の符号化装置５０から送信される多重化ストリームが復号装置１２０に入力されたとき、開始される。
【０１２０】
図１１のステップＳ６１において、復号装置１２０の分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。デコーダ１２２の補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。
【０１２１】
ステップＳ６２において、互換用デコーダ１３１は、補助用デコーダ１３２から供給される互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。
【０１２２】
ステップＳ６３において、互換用デコーダ１３１は、互換情報に基づいて、互換ストリームに含まれる互換画像をAVC方式に対応する方式で復号し、その結果得られる視点画像Ａ１を画像生成部１２７に供給する。
【０１２３】
ステップＳ６４において、画像生成部１２７は、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ６４で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者からメガネ無し方式の３Ｄ画像の表示が指令された場合、補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうちの補助ストリームを識別する。
【０１２４】
そして、ステップＳ６５において、補助用デコーダ１３２は、補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を、図１の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
【０１２５】
ステップＳ６６において、画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２７に入力する。ステップＳ６７において、撮影情報取得部１２４は、補助用デコーダ１３２から供給される撮影情報を取得し、画像生成部１２７に入力する。
【０１２６】
ステップＳ６８において、視差画像多重化情報取得部１２５は、補助用デコーダ１３２から供給される視差画像多重化情報を取得し、画像生成部１２７に入力する。ステップＳ６９において、互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２７に入力する。
【０１２７】
ステップＳ７０において、画像生成部１２７の３Ｄ画像生成部１４２は、多視点の画像の合成画像を生成する多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図１２を参照して説明する。
【０１２８】
ステップＳ７１において、画像生成部１２７は、ステップＳ７０の処理により生成される多視点の画像の合成画像を図示せぬ表示装置に出力し、視点ごとに視認可能な角度が異なるように表示させる。そして、処理は終了する。
【０１２９】
一方、ステップＳ６４で視聴者から２Ｄ画像の表示が指令されたと判定された場合、ステップＳ７２において、画像生成部１２７の２Ｄ画像生成部１４１は、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
【０１３０】
図１２は、図１１のステップＳ７０の多視点画像生成処理の詳細を説明するフローチャートである。
【０１３１】
図１２のステップＳ９０において、３Ｄ画像生成部１４２の仮想視点位置決定部１６０（図５）は、撮影情報取得部１２４から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、各仮想視点の位置を決定する。そして、仮想視点位置決定部１６０は、各仮想視点の位置に基づいて、視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４のそれぞれに対して、視差画像特定情報を生成する。また、仮想視点位置決定部１６０は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。
【０１３２】
ステップＳ９１において、視差画像分離部１６１は、補助用デコーダ１３２から供給される互換画像の視差画像Ａ１’と補助画像の視差画像の多重化画像を取得する。
【０１３３】
ステップＳ９２において、視差画像分離部１６１は、視差画像多重化情報取得部１２５から供給される視差画像多重化情報に基づいて、補助画像の視差画像の多重化画像を分離する。視差画像分離部１６１は、その結果得られる互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂおよび視点画像Ｃの視差画像を、視差画像高解像度化部１６２に供給する。また、視差画像分離部１６１は、互換情報取得部１２６から供給される互換情報に基づいて、視差画像Ａ１’をそのまま視差画像高解像度化部１６２に供給する。
【０１３４】
ステップＳ９３において、視差画像高解像度化部１６２は、視差画像分離部１６１から供給される互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂおよび視点画像Ｃの視差画像を、それぞれ高解像度化する。これにより、視差画像高解像度化部１６２は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像を得る。そして、視差画像高解像度化部１６２は、得られた視点画像Ｂ１および視点画像Ｃ１の視差画像、並びに、視差画像分離部１６１から供給される視差画像Ａ１’を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。
【０１３５】
ステップＳ９４において、視差画像ワーピング処理部１６３は、仮想視点ごとに、仮想視点位置決定部１６０からの視差画像特定情報に基づいて、視差画像高解像度化部１６２から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像並びに視差画像Ａ１’のうちの１つを選択する。また、視差画像ワーピング処理部１６４は、視差画像ワーピング処理部１６３と同様の処理を行う。
【０１３６】
そして、ステップＳ９５およびＳ９６において、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４は、選択された視差画像のワーピング処理を行う。
【０１３７】
具体的には、まず、ステップＳ９５において、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、その仮想視点の位置、撮影情報、および選択された視差画像に基づいて、上述した式（１）により、その視差画像の各画素に対応する仮想視点の視差画像上の画素を決定する。
【０１３８】
そして、ステップＳ９６において、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、ステップＳ９７で決定された画素に基づいて、選択された視差画像から仮想視点の視差画像を生成する。具体的には、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、選択された視差画像の各画素の視差値を、仮想視点の視差画像のステップＳ９５で決定された画素の視差値とする。視差画像ワーピング処理部１６３（１６４）は、その結果生成された各仮想視点の視差画像をスムージング処理部１６５（１６６）に供給する。
【０１３９】
ステップＳ９６の処理後、ステップＳ９７およびＳ９８において、スムージング処理部１６５およびスムージング処理部１６６は、ステップＳ９６で生成された各仮想視点の視差画像に対してスムージング処理を行う。
【０１４０】
具体的には、ステップＳ９７において、スムージング処理部１６５（１６６）は、各仮想視点の視差画像内の0以外の視差値に対応する画素のうち、周辺画素の視差値が0である画素を、オクルージョン領域内の0以外の視差値に対応する画素として検出する。
【０１４１】
ステップＳ９８において、スムージング処理部１６５（１６６）は、各仮想視点の視差画像のステップＳ９７で検出された画素の視差値を0に補正し、補正後の各仮想視点の視差画像を視点画像ワーピング処理部１６７（１６８）に供給する。
【０１４２】
ステップＳ９９において、視点画像分離部１６９は、画像情報取得部１２３から供給される画像情報に基づいて、補助用デコーダ１３２から供給される補助画像の多重化画像を分離する。そして、視点画像分離部１６９は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１を視差画像高解像度化部１６２に供給する。また、視点画像分離部１６９は、互換情報取得部１２６から供給される互換情報に基づいて、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を、そのまま視点画像高解像度化部１７０に供給する。
【０１４３】
ステップＳ１００において、視点画像高解像度化部１７０は、視点画像分離部１６９から供給される互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂ１および視点画像Ｃ１をそれぞれ高解像度化する。これにより、視点画像高解像度化部１７０は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１を得る。そして、視点画像高解像度化部１７０は、得られた視点画像Ｂ１および視点画像Ｃ１、並びに、視点画像分離部１６９から供給される視点画像Ａ１を、視点画像ワーピング処理部１６７および視点画像ワーピング処理部１６８に供給する。
【０１４４】
ステップＳ１０１において、視点画像ワーピング処理部１６７は、スムージング処理部１６５から供給されるスムージング処理後の各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部１７０から供給される視点画像のワーピング処理を行う。これにより、オクルージョン領域を有する各仮想視点の画像が生成される。視点画像ワーピング処理部１６７は、オクルージョン領域を有する各仮想視点の画像を多視点画像生成部１７１に供給する。また、視点画像ワーピング処理部１６８は、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部１６７と同様の処理を行う。
【０１４５】
ステップＳ１０２において、多視点画像生成部１７１は、仮想視点ごとに、視点画像ワーピング処理部１６７および視点画像ワーピング処理部１６８のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部１７１は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部１７２に供給する。
【０１４６】
ステップＳ１０３において、多視点画像合成処理部１７２は、多視点画像生成部１７１から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の１の解像度に変換して合成し、多視点の画像の合成画像を生成する。そして、処理は、図１１のステップＳ７０に戻り、処理はステップＳ７１に進む。
【０１４７】
以上のように、復号装置１２０は、ワーピング処理の結果得られる仮想視点の視差画像に対してスムージング処理を行うので、仮想視点の画像のオクルージョン領域内に画素値が存在することを防止することができる。その結果、仮想視点の2つの画像のうち、一方の画像のオクルージョン領域の画像を、他方の画像で補間することができ、破綻のない、高精度な仮想視点の画像を生成することができる。
【０１４８】
＜第２実施の形態＞
［符号化装置の第２実施の形態の構成例］
図１３は、本技術を適用した画像処理装置に対応する符号化装置の第２実施の形態の構成例を示すブロック図である。
【０１４９】
図１３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１５０】
図１３の符号化装置２００の構成は、主に、境界情報生成部２０１が新たに設けられている点、および、エンコーダ５８の代わりにエンコーダ２０２が設けられている点が図１の構成と異なる。
【０１５１】
符号化装置２００は、低解像度化され、符号化された視差画像に、視差画像の視差値が大きく変化する位置である境界位置に隣接する画素であるかどうかを示す情報である境界情報（is_depth_edge）を付加して伝送する。
【０１５２】
具体的には、符号化装置２００の境界情報生成部２０１は、視差画像生成部５３により生成された視差画像Ｂ１’および視差画像Ｃ１’から、それぞれ、境界位置を検出する。そして、境界情報生成部２０１は、検出された境界位置に基づいて、画素単位またはマクロブロック単位で境界情報を生成し、エンコーダ２０２に供給する。なお、マクロブロックとは、符号化の単位である。
【０１５３】
エンコーダ２０２は、互換用エンコーダ６１と補助用エンコーダ２１１により構成される。
【０１５４】
エンコーダ２０２の補助用エンコーダ２１１は、図１の補助用エンコーダ６２と同様に、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。
【０１５５】
また、補助用エンコーダ２１１は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報、境界情報生成部２０１からの境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ２１１は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【０１５６】
［境界情報の例］
図１４は、境界情報の例を示す図である。
【０１５７】
なお、図１４において、小さい丸は画素を表し、丸の柄は視差値を表す。
【０１５８】
図１４の例の視差画像では、図１４の左側に示すように、画面中央に位置する円形の領域の視差値と、その領域以外の領域の視差値が大きく異なっている。従って、画面中央に存在する円形の領域と、その領域以外の領域の境界に、境界位置が存在する。
【０１５９】
画素単位で境界情報が生成される場合、例えば、図１４の右上に示すように、境界位置に隣接する2つの画素の境界情報は、境界位置に隣接する画素であることを示す1となる。また、それ以外の画素の境界情報は、境界位置に隣接する画素ではないことを示す0となる。
【０１６０】
一方、マクロブロック単位で境界情報が生成される場合、例えば、図１４の右下に示すように、境界位置に隣接する2つの画素を含むマクロブロック（MB）の境界情報が、境界位置に隣接する画素であることを示す1となる。また、それ以外のマクロブロックの境界情報は、境界位置に隣接する画素ではないことを示す0となる。
【０１６１】
［符号化装置の処理の説明］
図１５および図１６は、図１３の符号化装置２００による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから視点画像Ａ１乃至視点画像Ｃ１が出力されたとき開始される。
【０１６２】
図１５のステップＳ１２０乃至図１６のステップＳ１２８の処理は、図２のステップＳ１０乃至図３のステップＳ１８の処理と同様であるので、説明は省略する。
【０１６３】
図１６のステップＳ１２９において、境界情報生成部２０１は、視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’の境界情報を生成する境界情報生成処理を行う。この境界情報生成処理の詳細は、後述する図１７を参照して説明する。
【０１６４】
ステップＳ１３０において、境界情報生成部２０１は、ステップＳ１２９で生成された境界情報を、エンコーダ５８に入力する。
【０１６５】
ステップＳ１３１乃至Ｓ１３６の処理は、図３のステップＳ１９乃至Ｓ２４の処理と同様であるので、説明は省略する。
【０１６６】
ステップＳ１３７において、補助用エンコーダ２１１は、ステップＳ１３６の処理による符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報、および境界情報生成部２０１からの境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ２１１は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【０１６７】
ステップＳ１３８において、多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと、補助用エンコーダ２１１から供給される補助ストリームから、それぞれＴＳを生成し、多重化して送信する。そして、処理は終了する。
【０１６８】
図１７は、図１６のステップＳ１２９の境界情報生成処理の詳細を説明するフローチャートである。なお、図１７では、画素単位で境界情報が生成される場合の境界情報生成処理について説明する。また、図１７の境界情報生成処理は、視差画像ごとに行われる。
【０１６９】
図１７のステップＳ１４１において、境界情報生成部２０１は、視差画像生成部５３から供給される視差画像を取得する。
【０１７０】
ステップＳ１４２において、境界情報生成部２０１は、視差画像の水平方向に隣接する画素どうしのうちの、まだステップＳ１４２の処理の対象となっていないものの視差値の差分を求める。
【０１７１】
ステップＳ１４３において、境界情報生成部２０１は、ステップＳ１４２で求められた視差値の差分が所定の閾値より大きいかどうかを判定する。
【０１７２】
ステップＳ１４３で視差値の差分が所定の閾値より大きいと判定された場合、ステップＳ１４４において、境界情報生成部２０１は、ステップＳ１４２の処理の対象である隣接する2つの画素の間を境界位置として検出し、その２つの画素の境界情報を1に設定する。
【０１７３】
一方、ステップＳ１４３で視差値の差分が所定の閾値より大きくはないと判定された場合、ステップＳ１４５において、境界情報生成部２０１は、ステップＳ１４２の処理の対象である隣接する2つの画素の境界情報のうちの、1が設定されていない境界情報を0に設定する。
【０１７４】
ステップＳ１４４またはステップＳ１４５の処理後、ステップＳ１４６において、境界情報生成部２０１は、視差画像の全ての水平方向に隣接する2つの画素どうしの視差値の差分を求めたかどうかを判定する。
【０１７５】
ステップＳ１４６で視差画像の全ての水平方向に隣接する画素どうしの視差値の差分をまだ求めていないと判定された場合、処理はステップＳ１４２に戻り、視差画像の全ての水平方向に隣接する画素どうしの視差値の差分が求められるまで、ステップＳ１４２乃至Ｓ１４６の処理が繰り返される。
【０１７６】
一方、ステップＳ１４６で視差画像の全ての水平方向に隣接する画素どうしの視差値の差分を求めたと判定された場合、処理は図１６のステップＳ１２９に戻り、処理はステップＳ１３０に進む。
【０１７７】
なお、境界情報生成部２０１は、境界情報をマクロブロック単位で生成する場合、図１７の境界情報生成処理において、ステップＳ１４２乃至Ｓ１４６の処理をマクロブロック単位で行う。
【０１７８】
具体的には、境界情報生成部２０１は、ステップＳ１４２で視差画像の所定のマクロブロック内の水平方向に隣接する画素どうしの視差値の差分を求め、ステップＳ１４３で少なくとも1つの視差値の差分が所定の閾値より大きいかどうかを判定する。そして、少なくとも1つの視差値の差分が所定の閾値より大きいと判定された場合、ステップＳ１４４で、境界情報生成部２０１は、その差分に対応するマクロブロックの境界情報を1に設定する。一方、全ての視差値の差分が所定の閾値以下である判定された場合、ステップＳ１４５で、境界情報生成部２０１は、その差分に対応するマクロブロックの境界情報のうちの1が設定されていない境界情報を0に設定する。
【０１７９】
以上のように、符号化装置２００は、視差画像を低解像度化し、低解像度化された視差画像と境界情報を送信するので、後述する復号装置において、境界情報に基づいて仮想視点の視差画像のスムージング処理を行うことができる。その結果、復号装置において、後述するように、仮想視点の視点画像を高精度に生成することができる。
【０１８０】
［復号装置の構成例］
図１８は、図１３の符号化装置２００から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。
【０１８１】
図１８に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１８２】
図１８の復号装置２２０の構成は、主に、境界情報取得部２２２が新たに設けられている点、および、デコーダ１２２、画像生成部１２７の代わりに、デコーダ２２１、画像生成部２２３が設けられている点が図４の構成と異なる。復号装置２２０は、符号化装置２００から送信される多重化ストリームを復号し、境界情報に基づいてワーピング処理後の視差画像をスムージング処理して多視点の画像を生成し、図示せぬ表示装置に表示させる。
【０１８３】
具体的には、復号装置２２０のデコーダ２２１は、互換用デコーダ１３１と補助用デコーダ２３１により構成される。デコーダ２２１の補助用デコーダ２３１は、図４の補助用デコーダ１３２と同様に、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。補助用デコーダ２３１は、補助用デコーダ１３２と同様に、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ２３１は、復号部として機能し、分離部１２１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図１３の補助用エンコーダ２１１に対応する方式で復号する。
【０１８４】
補助用デコーダ２３１は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部２２３に供給する。また、補助用デコーダ２３１は、補助用デコーダ１３２と同様に、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ２３１は、補助用デコーダ１３２と同様に、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、補助用デコーダ２３１は、補助ストリームに含まれる境界情報を境界情報取得部２２２に供給する。
【０１８５】
境界情報取得部２２２は、補助用デコーダ２３１から供給される境界情報を取得し、画像生成部２２３に供給する。
【０１８６】
画像生成部２２３は、２Ｄ画像生成部１４１と３Ｄ画像生成部２４１により構成される。画像生成部２２３の３Ｄ画像生成部２４１は、デコーダ２２１から供給される視点画像Ａ１、補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、３Ｄ画像生成部２４１は、図４の３Ｄ画像生成部１４２と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【０１８７】
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【０１８８】
［３Ｄ画像生成部の詳細構成例］
図１９は、図１８の３Ｄ画像生成部２４１の詳細構成例を示すブロック図である。
【０１８９】
図１９に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９０】
図１９の３Ｄ画像生成部２４１の構成は、スムージング処理部１６５およびスムージング処理部１６６の代わりに、スムージング処理部２５１およびスムージング処理部２５２が設けられている点が図５の構成と異なる。
【０１９１】
３Ｄ画像生成部２４１のスムージング処理部２５１は、補正部として機能し、境界情報取得部２２２から供給される境界情報に基づいて、視差画像ワーピング処理部１６３から供給される各仮想視点の視差画像に対してスムージング処理を行う。具体的には、スムージング処理部２５１は、各仮想視点の視差画像からオクルージョン領域内の0以外の視差値を検出する。スムージング処理部２５１は、検出された視差値のうち、境界位置であることを表す境界情報に対応する画素の視差値を0に補正する。スムージング処理部２５１は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部１６７に供給する。
【０１９２】
スムージング処理部２５２は、補正部として機能し、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に対して、スムージング処理部２５１と同様にスムージング処理を行う。そして、スムージング処理部２５２は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部１６８に供給する。
【０１９３】
［境界情報に基づくスムージング処理の説明］
図２０は、図１９のスムージング処理部２５１（２５２）による境界情報に基づくスムージング処理を説明する図である。なお、図２０において、小さい丸は画素を表し、丸の柄は視差値を表す。
【０１９４】
図２０の左側に示すように、図１９の視差画像ワーピング処理部１６３（１６４）が、図９Ｃの仮想視点の視差画像を生成する場合、スムージング処理部２５１（２５２）は、その視差画像内のオクルージョン領域内の視差値が0以外である画素を検出する。そして、スムージング処理部２５１（２５２）は、その画素に対応する境界情報が1である場合、図２０の右側に示すように、その画素の視差値を0に補正する。
【０１９５】
このように、スムージング処理部２５１（２５２）は、オクルージョン領域内の視差値が0以外である画素として検出された画素の視差値のうち、高解像度化により誤ってオクルージョン領域内に配置される可能性のある境界位置に隣接する画素の視差値だけを0に補正する。これにより、オクルージョン領域外の画素が、オクルージョン領域内の0以外の視差値に対応する画素として検出され、その画素の視差値が0に補正されることを防止することができる。その結果、より高精度に仮想視点の画像を生成することができる。
【０１９６】
［復号装置の処理の説明］
図２１は、図１８の復号装置２２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１３の符号化装置２００から送信される多重化ストリームが復号装置２２０に入力されたとき、開始される。
【０１９７】
図２１のステップＳ２０１乃至Ｓ２０９の処理は、図１１のステップＳ６１乃至Ｓ６９の処理と同様であるので、説明は省略する。
【０１９８】
ステップＳ２１０において、境界情報取得部２２２は、補助用デコーダ２３１から供給される境界情報を取得し、画像生成部２２３に入力する。
【０１９９】
ステップＳ２１１において、画像生成部２２３の３Ｄ画像生成部２４１は、多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図２２を参照して説明する。
【０２００】
ステップＳ２１２およびＳ２１３の処理は、図１１のステップＳ７１およびＳ７２の処理と同様であるので、説明は省略する。
【０２０１】
図２２は、図２１のステップＳ２１１の多視点画像生成処理の詳細を説明するフローチャートである。
【０２０２】
図２２のステップＳ２３０乃至Ｓ２３６の処理は、図１４のステップＳ９０乃至Ｓ９６の処理と同様であるので、説明は省略する。
【０２０３】
ステップＳ２３７およびＳ２３８において、スムージング処理部２５１およびスムージング処理部２５２は、ステップＳ２３６で生成された各仮想視点の視差画像に対してスムージング処理を行う。
【０２０４】
具体的には、ステップＳ２３７において、スムージング処理部２５１（２５２）は、各仮想視点の視差画像内の0以外の視差値に対応する画素のうち、境界情報が1であり、かつ、周辺画素の視差値が0である画素を、オクルージョン領域内の0以外の視差値に対応する画素として検出する。
【０２０５】
ステップＳ２３８において、スムージング処理部２５１（２５２）は、各仮想視点の視差画像のステップＳ２３７で検出された画素の視差値を0に補正し、補正後の各仮想視点の視差画像を視点画像ワーピング処理部１６７（１６８）に供給する。
【０２０６】
ステップＳ２３９乃至Ｓ２４３の処理は、図１２のステップＳ９９乃至Ｓ１０３と同様であるので、説明は省略する。
【０２０７】
以上のように、復号装置２２０は、符号化装置２００から送信されてくる境界情報に基づいて、ワーピング処理の結果得られる仮想視点の視差画像に対して、より正確にスムージング処理を行う。従って、オクルージョン領域外の画素が、オクルージョン領域内の0以外の視差値に対応する画素として検出され、その画素の視差値が0に補正されることを防止することができる。その結果、より高精度に仮想視点の画像を生成することができる。
【０２０８】
なお、本技術の画像処理装置は、例えば、テレビジョン受像機などの表示装置や再生装置に適用することができる。また、本技術において、境界位置に隣接する画素の数は、2つに限定されず、境界位置に隣接する画素は、境界位置の左に隣接する複数の画素および右に隣接する複数の画素であってもよい。
【０２０９】
また、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されずに、符号化ストリームとは別系統で伝送されるようにしてもよい。また、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されて、符号化ストリームとは別系統で伝送されるようにしてもよい。
【０２１０】
さらに、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されずに、符号化ストリームの所定の領域に記述されることもできるし、符号化されて符号化ストリームの所定の領域に記述されることもできる。
【０２１１】
また、符号化装置５０（２００）は、復号装置１２０（２２０）においてスムージング処理を行うかどうかを表すスムージングフラグ（Fill Depth Hole）を伝送するようにしてもよい。この場合、復号装置１２０（２２０）は、スムージングフラグがスムージング処理を行うことを表す場合にのみスムージング処理を行う。
【０２１２】
＜各種の情報の伝送方法の説明＞
図２３は、スムージングフラグ、画像情報、撮影情報、視差画像多重化情報、および互換情報の伝送方法を説明する図である。
【０２１３】
図２３に示すように、スムージングフラグ（Fill Depth Hole）は、運用等に応じて、符号化されてSEI（Supplemental Enhancement Information）として伝送されたり、符号化されずに伝送されたりする。視差画像多重化情報としてのDepth Type,Left Camera Name,Right Camera Name、およびPrecisionは、符号化されてSEIとして伝送される。即ち、多視点の画像の生成に必要なDepth TypeやPrecision等は、符号化されて伝送される。
【０２１４】
また、視差画像多重化情報としてのLeft Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、およびRight Farthest Depth Valueは、符号化されてSEI,present flag、またはParameter Setとして伝送される。
【０２１５】
また、画像情報としてのFilter,Boundary Noise Removal,Synthesis Mode,View Blending、およびSplatting Optionは、運用等に応じて、符号化されてSEIとして伝送されたり、符号化されずに伝送されたりする。画像情報としてのSource Width,Source Height,Start Frame,Total Number Of Frames,Virtual Camera Name,Left View Image Name,Right View Image Name,Virtual View Image Name,Left Depth Map Name,Right Depth Map Name,Output Virtual View Image Name、およびColor Spaceは、符号化されずに伝送される。
【０２１６】
撮影情報としてのt_1[0],t_2[0]、およびt_3[0]は、符号化されてSEIとして伝送される。また、撮影情報としてのfocal_length_x[0],radial_distortion[0],principal_point_x[0],focal_lengh_y[0],principal_point_y[0],r_11[0],r_12[0],r_13[0],r_21[0],r_22[0],r_23[0],r_31[0],r_32[0],r_33[0]は、符号化されてpresent flagまたはParameter Setとして伝送される。
【０２１７】
以上のように、スムージングフラグ、画像情報、撮影情報、視差画像多重化情報、および互換情報は、運用等を考慮して、符号化する情報と符号化しない情報に分類される。また、これらの情報の伝送方法としては、SEIとして伝送する方法、もしくは、present flagまたはParameter Setとして伝送する方法が選択される。そして、これらの情報は、分類と選択された伝送方法に基づいて、符号化されて伝送されたり、符号化されずに伝送されたりする。
【０２１８】
なお、図２３に示したスムージングフラグ以外の情報は、VSRS3.5(View Synthesis Reference Software 3.5)で定義されている情報である。
【０２１９】
また、図２３において、符号化されて伝送されてもよいし、符号化されずに伝送されてもよいスムージングフラグ、Filter,Boundary Noise Removal,Synthesis Mode,View Blending、およびSplatting Optionに対しては、符号化されたかどうかを示すフラグが設定され、伝送されるようにしてもよい。
【０２２０】
図２４は、Depth Type,Precision,Left Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、およびRight Farthest Depth Valueのシンタックスの例を示す図である。
【０２２１】
図２４に示すように、Depth Type,Precision,Left Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、およびRight Farthest Depth Valueの情報は、例えば、Depth_Information_SEI_messageとして伝送される。
【０２２２】
具体的には、Depth Typeは、depth_type［i］として視点タイプ（詳細は後述する）ごとに記述され、Precisionは、precision[i]として視点タイプごとに記述される。また、Left Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、およびRight Farthest Depth Valueには、それぞれ、視点タイプごとに全フレームにおいて同一であるかどうかを表すall_frames_in_view_components_flag[i]が設定される。all_frames_in_view_components_flag[i]が全フレームにおいて同一であることを表す場合、全フレームに共通のLeft Nearest Depth Value（Right Nearest Depth Value）、Left Farthest Depth Value（Right Farthest Depth Value）が、それぞれ、maxD[i]、minD[i]として記述される。
【０２２３】
一方、all_frames_in_view_components_flag[i]が全フレームにおいて同一ではないことを表す場合、Left Nearest Depth Value（Right Nearest Depth Value）、Left Farthest Depth Value（Right Farthest Depth Value）は、それぞれ、maxD[i][j]、minD[i][j]としてフレームごとに記述される。なお、maxD[i][j]とminD[i][j]は、PTS（Presentation Time Stamp）順に符号化される。
【０２２４】
視点タイプとは、視差画像の各視点を、Depth Type,Precision,Left Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、Right Farthest Depth Value等が同一であるごとに分類するタイプである。この視点タイプの数は、num_depth_info_minus1として記述される。
【０２２５】
このように、Depth Type,Precision,Left Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、Right Farthest Depth Value等の情報は視点タイプごとに記述され、視点タイプごとに共有される。従って、視点ごとに情報が記述される場合に比べて情報量を削減することができる。
【０２２６】
図２５は、Depth Type,Precision,Left Nearest Depth Value,Left Farthest Depth Value,Right Nearest Depth Value、およびRight Farthest Depth Valueのシンタックスの他の例を示す図である。
【０２２７】
図２５のシンタックスでは、all_frames_in_view_components_flag[i]が全フレームにおいて同一ではないことを表す場合に、Left Nearest Depth Value（Right Nearest Depth Value）とLeft Farthest Depth Value（Right Farthest Depth Value）が差分符号化されて記述される点が、図２４のシンタックスと異なる。
【０２２８】
即ち、図２５のシンタックスでは、各フレームのLeft Nearest Depth Value（Right Nearest Depth Value）から、そのフレームよりPTSが前のフレームのLeft Nearest Depth Value（Right Nearest Depth Value）を減算した値が、delta_maxD[i][j]として記述され、その値の符号がsign_delta_maxD[i][j]として記述される。同様に、各フレームのLeft Farthest Depth Value（Right Farthest Depth Value）から、そのフレームよりPTSが前のフレームのLeft Farthest Depth Value（Right Farthest Depth Value）を減算した値が、delta_minD[i][j]として記述され、その値の符号がsign_delta_minD[i][j]として記述される。
【０２２９】
図２６は、スムージングフラグ、Filter,Boundary Noise Removal,Synthesis Mode,View Blending、およびSplatting Optionのシンタックスの例を示す図である。
【０２３０】
図２６に示すように、スムージングフラグ、Filter,Boundary Noise Removal,Synthesis Mode,View Blending、およびSplatting Optionの情報は、例えば、View Synthesis Information SEI messageとして伝送される。
【０２３１】
具体的には、Filterは、filter_typeとして記述され、Boundary Noise Removalは、boundary_noise_removalとして記述され、Synthesis Modeは、synthesis modeとして記述される。また、Synthesis ModeがGeneral modeである場合、View Blendingがview_blendingとして記述され、Synthesis Modeが1D modeである場合、Splatting Optionがsplatting_optionとして記述される。また、スムージングフラグが、fill_depth_holeとして記述される。
【０２３２】
なお、スムージングフラグ、Filter,Boundary Noise Removal,Synthesis Mode,View Blending、およびSplatting Optionは、運用タイプによっては符号化されずに伝送される。例えば、スムージングフラグは、常にスムージング処理を行うモードで運用される場合には符号化されず、Synthesis Modeは、固定モードで運用される場合には符号化されない。Filterは、固定タイプで運用される場合には符号化されず、View Blendingは、Synthesis ModeがGeneral modeである場合にだけ設定されるような運用が行われる場合には、符号化されない。さらに、Splatting Optionは、デフォルト値である場合とデフォルト値以外である場合に有意な差がないような運用が行われる場合には符号化されない。運用タイプは、type_indicatorとして記述される。
【０２３３】
＜第３実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３４】
そこで、図２７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２３５】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部８０８やROM（Read Only Memory）８０２に予め記録しておくことができる。
【０２３６】
あるいはまた、プログラムは、リムーバブルメディア８１１に格納（記録）しておくことができる。このようなリムーバブルメディア８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２３７】
なお、プログラムは、上述したようなリムーバブルメディア８１１からドライブ８１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部８０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２３８】
コンピュータは、CPU(Central Processing Unit)８０１を内蔵しており、CPU８０１には、バス８０４を介して、入出力インタフェース８０５が接続されている。
【０２３９】
CPU８０１は、入出力インタフェース８０５を介して、ユーザによって、入力部８０６が操作等されることにより指令が入力されると、それに従って、ROM８０２に格納されているプログラムを実行する。あるいは、CPU８０１は、記憶部８０８に格納されたプログラムを、RAM(Random Access Memory)８０３にロードして実行する。
【０２４０】
これにより、CPU８０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース８０５を介して、出力部８０７から出力、あるいは、通信部８０９から送信、さらには、記憶部８０８に記録等させる。
【０２４１】
なお、入力部８０６は、キーボードや、マウス、マイク等で構成される。また、出力部８０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２４２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２４３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４４】
本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。
【０２４５】
また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
【０２４６】
＜第４実施の形態＞
［テレビジョン装置の構成例］
図２８は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０２４７】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０２４８】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０２４９】
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０２５０】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０２５１】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０２５２】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
【０２５３】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０２５４】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０２５５】
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
【０２５６】
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０２５７】
このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、低解像度化された視差画像を含む符号化ビットストリームを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
【０２５８】
＜第５実施の形態＞
［携帯電話機の構成例］
図２９は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
【０２５９】
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０２６０】
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０２６１】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０２６２】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０２６３】
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０２６４】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０２６５】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０２６６】
このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、画像データの通信において、低解像度化された視差画像を含む符号化データを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
【０２６７】
＜第６実施の形態＞
［記録再生装置の構成例］
図３０は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０２６８】
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０２６９】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０２７０】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０２７１】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０２７２】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０２７３】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
【０２７４】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０２７５】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
【０２７６】
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０２７７】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０２７８】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
【０２７９】
＜第７実施の形態＞
［撮像装置の構成例］
図３１は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０２８０】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０２８１】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０２８２】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０２８３】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
【０２８４】
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０２８５】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０２８６】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０２８７】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０２８８】
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
【０２８９】
このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、メモリ部９６７や記録メディア等に記録された低解像度化された視差画像を含む符号化データを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
【０２９０】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２９１】
また、本技術は、以下のような構成もとることができる。
【０２９２】
（１）
低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受け取る受け取り部と、
前記受け取り部により受け取られた前記低解像度化された視差画像を高解像度化する高解像度化部と、
仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理部と、
前記視差画像ワーピング処理部により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正部と
を備える画像処理装置。
（２）
前記補正部は、前記仮想視点の視差画像内の前記オクルージョン領域の前記所定値以外の視差値に対応する画素を検出し、その画素の視差値を前記所定値に補正する
前記（１）に記載の画像処理装置。
（３）
前記補正部は、前記仮想視点の視差画像内の前記所定値以外の視差値に対応する画素のうち、周辺画素の視差値が前記所定値である画素を、前記オクルージョン領域の前記所定値以外の視差値に対応する画素として検出する
前記（２）に記載の画像処理装置。
（４）
前記受け取り部はまた、前記視差画像の視差値が変化する位置である境界位置に隣接する画素であるかどうかを示す情報である境界情報を受け取り、
前記補正部は、前記仮想視点の視差画像内の前記所定値以外の視差値に対応する画素のうち、周辺画素の視差値が前記所定値であり、前記境界位置に隣接する画素であることを示す境界情報に対応する画素を、前記オクルージョン領域の前記所定値以外の視差値に対応する画素として検出する
前記（２）に記載の画像処理装置。
（５）
前記低解像度化された視差画像を復号する復号部
をさらに備え、
前記受け取り部は、符号化された前記低解像度化された視差画像を受け取り、
前記復号部は、前記受け取り部により受け取られた前記符号化された前記低解像度化された視差画像を復号し、
前記高解像度化部は、前記復号部による復号の結果得られる前記低解像化された視差画像を高解像度化する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記補正部により補正された前記仮想視点の視差画像に基づいて、前記視点画像のワーピング処理を行うことにより、前記仮想視点の視点画像を生成する視点画像ワーピング処理部
をさらに備え、
前記受け取り部は、前記視点画像、および、前記低解像度化された視差画像を受け取る
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記視点画像ワーピング処理部により生成された前記仮想視点の２つの視点画像のうちの一方の前記オクルージョン領域を、他方で補間する補間部
をさらに備え、
前記受け取り部は、第１および第２の視点の前記視点画像、および、前記第１および第２の視点の前記低解像度化された視差画像を受け取り、
前記視差画像ワーピング処理部は、前記仮想視点の位置に基づいて、高解像度化された前記第１の視点の視差画像のワーピング処理を行うことにより、前記仮想視点の第１の視差画像を生成するとともに、前記仮想視点の位置に基づいて、高解像度化された前記第２の視点の視差画像のワーピング処理を行うことにより、前記仮想視点の第２の視差画像を生成し、
前記視点画像ワーピング処理部は、前記補正部により補正された前記仮想視点の前記第１の視差画像に基づいて、前記第１の視点の視点画像のワーピング処理を行うことにより、前記仮想視点の第１の視点画像を生成するとともに、前記第２の視差画像に基づいて、前記第２の視点の視点画像のワーピング処理を行うことにより、前記仮想視点の第２の視点画像を生成し、
前記補間部は、前記視点画像ワーピング処理部により生成された前記仮想視点の前記第１および第２の視点画像のうちの一方の前記オクルージョン領域を、他方で補間する
前記（６）に記載の画像処理装置。
（８）
前記受け取り部は、前記補正部による補正を行うかどうかを表すフラグを受け取り、
前記補正部は、前記フラグが前記補正部による補正を行うことを表す場合、前記オクルージョン領域の所定値以外の視差値を前記所定値に補正する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
画像処理装置が、
低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受信する受信ステップと、
前記受信ステップの処理により受信された前記低解像度化された視差画像を高解像度化する高解像度化ステップと、
仮想視点の位置に基づいて、前記高解像度化ステップの処理により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理ステップと、
前記視差画像ワーピング処理ステップの処理により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正ステップと
を含む画像処理方法。
（１０）
所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類部と、
前記画像関連情報の伝送方法を選択する選択部と、
前記分類部による前記分類と前記選択部により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送部と
を備える画像処理装置。
（１１）
画像処理装置が、
所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類ステップと、
前記画像関連情報の伝送方法を選択する選択ステップと、
前記分類ステップの処理による前記分類と前記選択ステップの処理により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送ステップと
を含む画像処理方法。
【符号の説明】
【０２９３】
１２０ 復号装置， １２１ 分離部， １３２ 補助用デコーダ， １６２ 視差画像高解像度化部， １６３，１６４ 視差画像ワーピング処理部， １６５，１６６ スムージング処理部， １６７，１６８ 視点画像ワーピング処理部， １７1 多視点画像生成部， ２２０ 復号装置， ２３１ 補助用デコーダ， ２５１，２５２ スムージング処理部
【特許請求の範囲】
【請求項１】
低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受け取る受け取り部と、
前記受け取り部により受け取られた前記低解像度化された視差画像を高解像度化する高解像度化部と、
仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理部と、
前記視差画像ワーピング処理部により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正部と
を備える画像処理装置。
【請求項２】
前記補正部は、前記仮想視点の視差画像内の前記オクルージョン領域の前記所定値以外の視差値に対応する画素を検出し、その画素の視差値を前記所定値に補正する
請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、前記仮想視点の視差画像内の前記所定値以外の視差値に対応する画素のうち、周辺画素の視差値が前記所定値である画素を、前記オクルージョン領域の前記所定値以外の視差値に対応する画素として検出する
請求項２に記載の画像処理装置。
【請求項４】
前記受け取り部はまた、前記視差画像の視差値が変化する位置である境界位置に隣接する画素であるかどうかを示す情報である境界情報を受け取り、
前記補正部は、前記仮想視点の視差画像内の前記所定値以外の視差値に対応する画素のうち、周辺画素の視差値が前記所定値であり、前記境界位置に隣接する画素であることを示す境界情報に対応する画素を、前記オクルージョン領域の前記所定値以外の視差値に対応する画素として検出する
請求項２に記載の画像処理装置。
【請求項５】
前記低解像度化された視差画像を復号する復号部
をさらに備え、
前記受け取り部は、符号化された前記低解像度化された視差画像を受け取り、
前記復号部は、前記受け取り部により受け取られた前記符号化された前記低解像度化された視差画像を復号し、
前記高解像度化部は、前記復号部による復号の結果得られる前記低解像化された視差画像を高解像度化する
請求項１に記載の画像処理装置。
【請求項６】
前記補正部により補正された前記仮想視点の視差画像に基づいて、前記視点画像のワーピング処理を行うことにより、前記仮想視点の視点画像を生成する視点画像ワーピング処理部
をさらに備え、
前記受け取り部は、前記視点画像、および、前記低解像度化された視差画像を受け取る
請求項１に記載の画像処理装置。
【請求項７】
前記視点画像ワーピング処理部により生成された前記仮想視点の２つの視点画像のうちの一方の前記オクルージョン領域を、他方で補間する補間部
をさらに備え、
前記受け取り部は、第１および第２の視点の前記視点画像、および、前記第１および第２の視点の前記低解像度化された視差画像を受け取り、
前記視差画像ワーピング処理部は、前記仮想視点の位置に基づいて、高解像度化された前記第１の視点の視差画像のワーピング処理を行うことにより、前記仮想視点の第１の視差画像を生成するとともに、前記仮想視点の位置に基づいて、高解像度化された前記第２の視点の視差画像のワーピング処理を行うことにより、前記仮想視点の第２の視差画像を生成し、
前記視点画像ワーピング処理部は、前記補正部により補正された前記仮想視点の前記第１の視差画像に基づいて、前記第１の視点の視点画像のワーピング処理を行うことにより、前記仮想視点の第１の視点画像を生成するとともに、前記第２の視差画像に基づいて、前記第２の視点の視点画像のワーピング処理を行うことにより、前記仮想視点の第２の視点画像を生成し、
前記補間部は、前記視点画像ワーピング処理部により生成された前記仮想視点の前記第１および第２の視点画像のうちの一方の前記オクルージョン領域を、他方で補間する
請求項６に記載の画像処理装置。
【請求項８】
前記受け取り部は、前記補正部による補正を行うかどうかを表すフラグを受け取り、
前記補正部は、前記フラグが前記補正部による補正を行うことを表す場合、前記オクルージョン領域の所定値以外の視差値を前記所定値に補正する
請求項１に記載の画像処理装置。
【請求項９】
画像処理装置が、
低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受信する受信ステップと、
前記受信ステップの処理により受信された前記低解像度化された視差画像を高解像度化する高解像度化ステップと、
仮想視点の位置に基づいて、前記高解像度化ステップの処理により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理ステップと、
前記視差画像ワーピング処理ステップの処理により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正ステップと
を含む画像処理方法。
【請求項１０】
所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類部と、
前記画像関連情報の伝送方法を選択する選択部と、
前記分類部による前記分類と前記選択部により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送部と
を備える画像処理装置。
【請求項１１】
画像処理装置が、
所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類ステップと、
前記画像関連情報の伝送方法を選択する選択ステップと、
前記分類ステップの処理による前記分類と前記選択ステップの処理により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送ステップと
を含む画像処理方法。
【請求項１】
低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受け取る受け取り部と、
前記受け取り部により受け取られた前記低解像度化された視差画像を高解像度化する高解像度化部と、
仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理部と、
前記視差画像ワーピング処理部により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正部と
を備える画像処理装置。
【請求項２】
前記補正部は、前記仮想視点の視差画像内の前記オクルージョン領域の前記所定値以外の視差値に対応する画素を検出し、その画素の視差値を前記所定値に補正する
請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、前記仮想視点の視差画像内の前記所定値以外の視差値に対応する画素のうち、周辺画素の視差値が前記所定値である画素を、前記オクルージョン領域の前記所定値以外の視差値に対応する画素として検出する
請求項２に記載の画像処理装置。
【請求項４】
前記受け取り部はまた、前記視差画像の視差値が変化する位置である境界位置に隣接する画素であるかどうかを示す情報である境界情報を受け取り、
前記補正部は、前記仮想視点の視差画像内の前記所定値以外の視差値に対応する画素のうち、周辺画素の視差値が前記所定値であり、前記境界位置に隣接する画素であることを示す境界情報に対応する画素を、前記オクルージョン領域の前記所定値以外の視差値に対応する画素として検出する
請求項２に記載の画像処理装置。
【請求項５】
前記低解像度化された視差画像を復号する復号部
をさらに備え、
前記受け取り部は、符号化された前記低解像度化された視差画像を受け取り、
前記復号部は、前記受け取り部により受け取られた前記符号化された前記低解像度化された視差画像を復号し、
前記高解像度化部は、前記復号部による復号の結果得られる前記低解像化された視差画像を高解像度化する
請求項１に記載の画像処理装置。
【請求項６】
前記補正部により補正された前記仮想視点の視差画像に基づいて、前記視点画像のワーピング処理を行うことにより、前記仮想視点の視点画像を生成する視点画像ワーピング処理部
をさらに備え、
前記受け取り部は、前記視点画像、および、前記低解像度化された視差画像を受け取る
請求項１に記載の画像処理装置。
【請求項７】
前記視点画像ワーピング処理部により生成された前記仮想視点の２つの視点画像のうちの一方の前記オクルージョン領域を、他方で補間する補間部
をさらに備え、
前記受け取り部は、第１および第２の視点の前記視点画像、および、前記第１および第２の視点の前記低解像度化された視差画像を受け取り、
前記視差画像ワーピング処理部は、前記仮想視点の位置に基づいて、高解像度化された前記第１の視点の視差画像のワーピング処理を行うことにより、前記仮想視点の第１の視差画像を生成するとともに、前記仮想視点の位置に基づいて、高解像度化された前記第２の視点の視差画像のワーピング処理を行うことにより、前記仮想視点の第２の視差画像を生成し、
前記視点画像ワーピング処理部は、前記補正部により補正された前記仮想視点の前記第１の視差画像に基づいて、前記第１の視点の視点画像のワーピング処理を行うことにより、前記仮想視点の第１の視点画像を生成するとともに、前記第２の視差画像に基づいて、前記第２の視点の視点画像のワーピング処理を行うことにより、前記仮想視点の第２の視点画像を生成し、
前記補間部は、前記視点画像ワーピング処理部により生成された前記仮想視点の前記第１および第２の視点画像のうちの一方の前記オクルージョン領域を、他方で補間する
請求項６に記載の画像処理装置。
【請求項８】
前記受け取り部は、前記補正部による補正を行うかどうかを表すフラグを受け取り、
前記補正部は、前記フラグが前記補正部による補正を行うことを表す場合、前記オクルージョン領域の所定値以外の視差値を前記所定値に補正する
請求項１に記載の画像処理装置。
【請求項９】
画像処理装置が、
低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受信する受信ステップと、
前記受信ステップの処理により受信された前記低解像度化された視差画像を高解像度化する高解像度化ステップと、
仮想視点の位置に基づいて、前記高解像度化ステップの処理により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理ステップと、
前記視差画像ワーピング処理ステップの処理により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正ステップと
を含む画像処理方法。
【請求項１０】
所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類部と、
前記画像関連情報の伝送方法を選択する選択部と、
前記分類部による前記分類と前記選択部により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送部と
を備える画像処理装置。
【請求項１１】
画像処理装置が、
所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類ステップと、
前記画像関連情報の伝送方法を選択する選択ステップと、
前記分類ステップの処理による前記分類と前記選択ステップの処理により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送ステップと
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２０１２−１８６７８１（Ｐ２０１２−１８６７８１Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−１８８９９２（Ｐ２０１１−１８８９９２）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]