映像符号化方法及び装置、並びに映像復号化方法及び装置
【課題】 映像符号化方法及び装置、並びに映像復号化方法及び装置を提供する。
【解決手段】 映像符号化方法は、入力映像が２Ｄ映像、ステレオ映像又は３Ｄ映像であるか否かに関係なく統合された映像圧縮フォーマットに基づいて入力映像を階層的に符号化する。次いで、符号化によって生成された符号化ビットストリームを映像復号化装置に送信する。
【解決手段】 映像符号化方法は、入力映像が２Ｄ映像、ステレオ映像又は３Ｄ映像であるか否かに関係なく統合された映像圧縮フォーマットに基づいて入力映像を階層的に符号化する。次いで、符号化によって生成された符号化ビットストリームを映像復号化装置に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像再生装置の種類に関係なく復元された映像を再生できるように２次元（２Ｄ）映像、ステレオ映像、及び３Ｄ映像を符号化及び復号化する技術に関する。
【背景技術】
【０００２】
３Ｄ映像は２Ｄ映像とは異なって、ユーザに映像の深さを提供して現実感のある映像を提供する。一般に、３Ｄ映像システムは、立体画像よりも多い視点の映像を用いて３Ｄ映像を提供するシステムを意味する。言い換えれば、３Ｄ映像システムは、ステレオ映像より視点が多い多視点画像を再生するシステムのことを称する。
【０００３】
３Ｄ映像システムは、複数の多視点カメラから受信された色映像、深度映像、及び付加情報を特定フォーマットに変換して格納する。ここで、３Ｄ映像システムは、２Ｄ画像、立体画像、及び３Ｄ画像を互いに異なる映像圧縮の技術で圧縮して映像再生装置に送信する。これによって、映像の種類に応じて圧縮フォーマットは互いに異なる。
【０００４】
これによって、２Ｄ映像再生装置は２Ｄ映像のみを再生し、ステレオ映像及び３Ｄ映像は再生することができない。そして、偏光フィルタリング方式、液晶シャッタリング方式などの両眼式映像再生装置は両眼式立体映像のステレオ映像を再生することはできるものの、３Ｄ映像を再生することができない。
【０００５】
したがって、映像の種類及び映像再生装置の種類に関係なく互換して映像を再生することのできる信号処理技術が必要である。言い換えれば、２Ｄ映像、ステレオ映像、３Ｄ映像を種類に関係なく共通に信号を処理することによって、従来の２Ｄ映像再生装置、両眼式映像再生装置、及び自動両眼式３Ｄ映像再生装置のいずれのものも復元映像を再生することのできる技術が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、映像の種類及び映像再生装置の種類に関係なく映像を再生することのできる映像符号化方法及び装置、並びに映像復号化方法及び装置を提供する。
【課題を解決するための手段】
【０００７】
本映像符号化方法は、入力映像に含まれた少なくとも１つの視点映像をベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの少なくとも１つに割り当てるステップと、前記ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ及び多視点拡張レイヤに割り当てられた映像を階層的に符号化するステップとを含む。
【０００８】
また、前記符号化するステップは、前記ベースレイヤに割り当てられた基準映像を参照し、前記ステレオレイヤに割り当てられた隣接映像を視点間予測符号化し、前記隣接映像は前記基準映像と隣接する映像であってもよい。
【０００９】
また、前記符号化するステップは、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像を画面内予測符号化するステップと、前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像を視点間予測符号化するステップとを含んでもよい。
【００１０】
また、前記符号化するステップは、前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つを参照して、前記多視点エンハンスメントレイヤに割り当てられた視点映像を視点間予測符号化してもよい。
【００１１】
また、前記符号化するステップは、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像の少なくとも１つを参照して、前記多視点拡張レイヤに割り当てられた視点映像の深度映像を視点間予測符号化してもよい。
【００１２】
また、前記符号化するステップは、前記多視点拡張レイヤに割り当てられた視点映像の解像度に基づいて前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つの解像度を変換するステップと、前記解像度が変換された基準映像及び隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化するステップとを含んでもよい。
【００１３】
また、前記符号化するステップは、前記多視点拡張レイヤに割り当てられた視点映像の深度映像の解像度に基づいて前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び隣接映像の深度映像の少なくとも１つの解像度を変換するステップと、前記解像度が変換された基準映像及び隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化するステップとを含んでもよい。
【００１４】
また、前記ステレオレイヤに割り当てられた隣接映像は、前記ベースレイヤに割り当てられた基準映像と同じ解像度を有してもよい。
【００１５】
また、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像は、基準映像の深度映像及び隣接映像の深度映像と同じ解像度又は異なる解像度を有してもよい。また、前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像は、基準映像及び隣接映像と同じ解像度又は異なる解像度を有してもよい。
【００１６】
前記割り当てるステップは、１視点映像（１ｖｉｅｗ）である基準映像を前記ベースレイヤに割り当てるステップと、前記基準映像と隣接し、２視点映像（２ｖｉｅｗ）である隣接映像を前記ステレオレイヤに割り当てるステップと、前記基準映像の深度映像と隣接映像の深度映像を前記多視点エンハンスメントレイヤに割り当てるステップと、前記基準映像と隣接する映像のうち前記隣接映像を除いた残り隣接映像、及び前記残り隣接映像に対応する深度映像を前記多視点拡張レイヤに割り当てるステップとを含み、前記残り隣接映像は、第３視点以上の映像であってもよい。
【００１７】
前記符号化するステップは、前記符号化によってベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含む階層構造の符号化ビットストリームを生成してもよい。
【００１８】
本映像符号化装置は、入力映像に含まれた少なくとも１つの視点映像をベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの少なくとも１つに割り当てるレイヤ割当部と、前記ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ及び多視点拡張レイヤを階層的に符号化する符号化部とを備える。
【００１９】
また、前記符号化部は、前記ベースレイヤに割り当てられた基準映像を参照し、前記ステレオレイヤに割り当てられた隣接映像を視点間予測符号化してもよい。
【００２０】
また、前記符号化部は、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像を画面内予測符号化し、隣接映像の深度映像を視点間予測符号化してもよい。
【００２１】
また、前記符号化部は、前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つを参照して、前記多視点エンハンスメントレイヤに割り当てられた視点映像を視点間予測符号化してもよい。
【００２２】
また、前記符号化部は、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像の少なくとも１つを参照して、前記多視点拡張レイヤに割り当てられた視点映像の深度映像を視点間予測符号化してもよい。
【００２３】
また、前記符号化部は、前記多視点拡張レイヤに割り当てられた視点映像の解像度に基づいて前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つの解像度を変換し、解像度が変換された基準映像及び解像度が変換された隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化してもよい。
【００２４】
また、前記符号化部は、前記多視点拡張レイヤに割り当てられた視点映像の深度映像の解像度に基づいて前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び隣接映像の深度映像の少なくとも１つの解像度を変換し、前記解像度が変換された基準映像及び解像度が変換された隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化してもよい。
【００２５】
本映像復号化方法は、ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含む符号化ビットストリームを受信するステップと、前記符号化ビットストリームを付加情報に基づいて階層的に復号化するステップとを含む。
【００２６】
また、前記復号化するステップは、前記付加情報に基づいて前記ベースレイヤストリームを復号化して２Ｄ映像を復元してもよい。
【００２７】
また、前記復号化するステップは、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元してもよい。
【００２８】
また、前記復号化するステップは、前記基準映像及び隣接映像の少なくとも１つを参照し、基準映像の深度映像及び隣接映像の深度映像を生成するステップと、前記基準映像及び隣接映像を参照し、１つ以上の仮想視点映像を生成するステップと、前記基準映像の深度映像及び隣接映像の深度映像を参照し、前記仮想視点映像の深度映像を生成するステップと、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を生成するステップとを含んでもよい。
【００２９】
また、前記復号化するステップは、前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元するステップと、前記基準映像及び隣接映像を参照して１つ以上の仮想視点映像を生成するステップと、前記基準映像の深度映像及び隣接映像の深度映像を参照して前記仮想視点映像の深度映像を生成するステップと、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を生成するステップとを含んでもよい。
【００３０】
また、前記復号化するステップは、前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元するステップと、前記多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた１つ以上の視点映像及び視点映像の深度映像を復元するステップと、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、多視点拡張レイヤに割り当てられた視点映像及び多視点拡張レイヤに割り当てられた視点映像の深度映像を合成して多視点映像を生成するステップとを含んでもよい。
【００３１】
本発明の映像復号化装置は、ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含む階層構造の符号化ビットストリームを受信するビットストリーム受信部と、前記符号化ビットストリームを付加情報に基づいて階層的に復号化する復号化部とを備える。
【００３２】
また、前記復号化部は、前記付加情報に基づいて前記ベースレイヤストリームを復号化して２Ｄ映像を復元する２Ｄ復号化部を備えてもよい。
【００３３】
また、前記復号化部は、前記符号化ビットストリームに含まれた付加情報がステレオ映像モードを含むことによって、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元するステレオ復号化部を備えてもよい。
【００３４】
また、前記基準映像及び隣接映像の少なくとも１つを参照し、基準映像の深度映像及び隣接映像の深度映像を生成する深度映像生成部と、前記基準映像及び隣接映像を参照して１つ以上の仮想視点映像を生成し、前記基準映像の深度映像及び隣接映像の深度映像を参照して前記仮想視点映像の深度映像を生成し、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を復元する視点映像合成部をさらに備えてもよい。
【００３５】
また、前記復号化部は、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元し、前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元する３Ｄ復号化部を備えてもよい。
【００３６】
このとき、前記基準映像及び隣接映像を参照して１つ以上の仮想視点映像を生成し、前記基準映像の深度映像及び隣接映像の深度映像を参照して前記仮想視点映像の深度映像を生成し、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を復元する視点映像合成部をさらに備えてもよい。
【００３７】
また、前記復号化部は、前記符号化ビットストリームに含まれた付加情報が多視点映像モードを含むことによって、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元し、前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元し、前記多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた１つ以上の視点映像及び視点映像の深度映像を復元する３Ｄ復号化部を備えてもよい。
【００３８】
ここで、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、１つ以上の視点映像及び視点映像の深度映像を合成して多視点映像を生成する視点映像合成部をさらに備えてもよい。
【発明の効果】
【００３９】
本発明の一実施形態によれば、入力映像を階層的に符号化及び復号化することによって映像の種類及び映像再生装置の種類に関係なく統合された映像圧縮フォーマットを提供することができる。
【００４０】
本発明の一実施形態によれば、映像の種類に関係なく統合された映像圧縮フォーマットを提供することによって、従来の２Ｄ映像再生装置及びステレオ映像再生装置でも多視点映像のうち選択された視点の２Ｄ映像を再生する互換性を提供することができる。
【図面の簡単な説明】
【００４１】
【図１】本映像処理システムの全般的な構成を示す図である。
【図２】統合された映像圧縮フォーマットに基づいて入力映像を階層的に符号化する動作を説明するために提供されるフローチャートである。
【図３】統合された映像圧縮フォーマットを示す図である。
【図４】３個の視点映像を各レイヤに割り当てて形成された統合された映像圧縮フォーマットを示す図である。
【図５】階層的符号化によって生成された符号化ビットストリームの構造を示す図である。
【図６】各レイヤに割り当てられた映像を階層的に符号化する動作を説明するために提供されるフローチャートである。
【図７】３個の視点映像及び深度映像を含む３Ｄ映像を階層的に符号化する過程を説明するために提供される図である。
【図８】４個の視点映像及び深度映像を含む３Ｄ映像を各階層に割り当てた構成を示す図である。
【図９】解像度変換を用いて３Ｄ映像を階層的に符号化する過程を説明するために提供される図である。
【図１０】映像符号化装置の詳細構成を示すブロック図である。
【図１１】統合された映像圧縮フォーマットに基づいて符号化ビットストリームを復号化する動作を説明するために提供されるフローチャートである。
【図１２】映像モード情報によって符号化ビットストリームを階層的に復号化する動作を説明するために提供されるフローチャートである。
【図１３】映像復号化装置の詳細構成を示すブロック図である。
【発明を実施するための形態】
【００４２】
以下、本発明の実施形態を添付する図面を参照しながら詳細に説明する。
【００４３】
図１は、本映像処理システムの全般的な構成を示す図である。図１に示すように、映像処理システム１００は、映像生成装置１０１、映像符号化装置１０２、映像復号化装置１０３及び映像再生装置１０４を備える。例えば、映像再生装置は２Ｄ映像再生装置、ステレオ映像再生装置、及び３Ｄ映像再生装置を備える。
【００４４】
まず、映像生成装置１０１は、複数のカメラ１０５を用いて撮影された視点映像、深度映像、及び付加情報に基づいて入力映像を生成する。ここで、入力映像は、２Ｄ映像、両眼式映像であるステレオ映像、または、多視点映像である３Ｄ映像を含んでもよい。ここで、カメラは、多視点カメラ、可視帯域カメラ、赤外線カメラ、及び深度カメラの少なくとも１つを含んでもよい。
【００４５】
映像符号化装置１０２は、入力映像に含まれた２Ｄ映像、ステレオ映像、または、３Ｄ映像を階層的に符号化して符号化ビットストリームを生成する。そして、映像符号化装置１０２は、符号化ビットストリームを映像復号化装置１０３に送信する。これによって、映像復号化装置１０３は、符号化ビットストリームを階層的に復号化して２Ｄ映像、ステレオ映像、又は３Ｄ映像を復元する。映像再生装置１０４は、復元された映像を再生する。ここで、映像再生装置は２Ｄ映像再生装置であってもよく、ステレオ映像再生装置であってもよく、３Ｄ映像再生装置であってもよい。言い換えれば、映像再生装置１０４は、映像再生装置の種類及び映像の種類に関係なく復元された映像を再生することができる。
【００４６】
以下は、映像再生装置の種類及び映像の種類に関係なく復元された映像を再生できるように統合された映像圧縮フォーマットを提供し、統合された映像圧縮フォーマットを用いて入力映像を符号化及び復号化する過程について詳細に説明することにする。
【００４７】
図２は、統合された映像圧縮フォーマットに基づいて入力映像を階層的に符号化する動作を説明するために提供されるフローチャートである。図２に示すように、符号化動作は図１０の映像符号化装置１０００によって行われる。
【００４８】
まず、ステップＳ２０１において、映像符号化装置は付加情報に基づいて入力映像を各レイヤに割り当てる。
【００４９】
ここで、付加情報は、解像度情報、符号化ビットストリームに含まれた視点映像の個数を示す視点映像の個数情報、カメラパラメータ情報、及び映像モード情報の少なくとも１つを含んでもよい。例えば、解像度情報は、視点映像の解像度情報及び深度映像の解像度情報の少なくとも１つを含み、カメラパラメータ情報は視点映像の３次元位置座標を含み、映像モード情報は、入力映像が２Ｄ映像、ステレオ映像、及び３Ｄ映像のいずれか１つであるかを示すモード情報を含んでもよい。
【００５０】
ここで、映像符号化装置は、入力映像をベースレイヤ（Ｂａｓｅ Ｌａｙｅｒ）、ステレオレイヤ（Ｓｔｅｒｅｏ Ｌａｙｅｒ）、多視点エンハンスメントレイヤ（Ｍｕｌｔｉ−ｖｉｅｗ Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ）、及び多視点拡張レイヤ（Ｍｕｌｔｉ−ｖｉｅｗ Ｅｘｔｅｎｓｉｏｎ Ｌａｙｅｒ）の少なくとも１つに割り当てる。ここで、入力映像は２Ｄ映像、ステレオ映像、または３Ｄ映像を含んでもよい。
【００５１】
ここで、２Ｄ映像は色及びカラー情報を含む１つの視点映像（１ｖｉｅｗ）を含み、ステレオ映像は色及びカラー情報を含む２つの視点映像（２ｖｉｅｗ）を含み、３Ｄ映像は色及びカラー情報を含む３個以上の視点映像と各視点映像に対応する深度映像を含む。例えば、ステレオ映像は、左映像及び右映像を含む両眼式映像を含み、３Ｄ画像は多視点画像を含む。
【００５２】
次に、ステップＳ２０２において、映像符号化装置は、各レイヤに割り当てられた映像を階層的に符号化して符号化ビットストリームを生成する。そして、映像符号化装置は、符号化ビットストリームを映像復号化装置に送信する。ここで、映像符号化装置は、付加情報に基づいて入力映像が２Ｄ映像、ステレオ映像、または３Ｄ映像であるか否かに応じてベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの順に階層的に符号化する。
【００５３】
一例として、入力映像が２Ｄ映像である場合、映像符号化装置は、２Ｄ映像をベースレイヤに割り当ててもよい。言い換えれば、２Ｄ映像は１つの視点映像を含むため、映像符号化装置は１つの視点映像をベースレイヤに割り当て、ベースレイヤに割り当てられた視点映像を符号化して符号化ビットストリームを生成する。
【００５４】
ここで、映像符号化装置は、入力映像が２Ｄ映像であるため映像モード情報を２Ｄ映像モードに設定する。そして、映像符号化装置は、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。
【００５５】
他の例として、入力映像がステレオ映像である場合、映像符号化装置は、ステレオ映像のうち基準映像をベースレイヤに割り当て、基準映像を除いた異なる１つの隣接映像をステレオレイヤに割り当てる。そして、映像符号化装置は、ベースレイヤ及びステレオレイヤに割り当てられた視点映像を符号化して符号化ビットストリームを生成する。ここで、基準映像とは、他の視点映像を参照することなく、自身の映像情報だけで映像を復元できる映像を意味する。
【００５６】
ここで、映像符号化装置は、入力映像がステレオ映像であるため映像モード情報をステレオ映像モードに設定してもよい。そして、映像符号化装置は、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。ここで、入力映像がステレオ映像である場合、付加情報は、カメラパラメータ情報、解像度情報、及び視点映像の個数情報をさらに含んでもよい。例えば、ステレオ映像は２つの視点映像を含むため、視点映像の個数情報は２である。
【００５７】
他の例として、入力映像が２つの視点映像及び深度映像を含む３Ｄ映像である場合、映像符号化装置は、２つの視点映像のうち基準映像をベースレイヤに割り当て、隣接映像をステレオレイヤに割り当てる。そして、映像符号化装置は、基準映像に対応する深度映像と隣接映像に対応する深度映像を多視点エンハンスメントレイヤに割り当てる。次に、映像符号化装置は、ベースレイヤ、ステレオレイヤ、及び多視点エンハンスメントレイヤの順に各レイヤに割り当てられた映像を符号化して符号化ビットストリームを生成する。
【００５８】
ここで、映像符号化装置は、入力映像が３Ｄ映像であるため映像モード情報を３Ｄ映像モードに設定してもよい。そして、映像符号化装置は、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。ここで、入力映像が３Ｄ映像である場合、付加情報は、カメラパラメータ情報、解像度情報、及び視点映像の個数情報をさらに含んでもよい。例えば、３Ｄ映像が２つの視点映像及び深度映像を含む場合、視点映像の個数情報は２である。
【００５９】
他の例として、映像符号化装置は、入力映像が３個以上の視点映像及び深度映像を含む３Ｄ映像である場合、映像符号化装置は、３個の視点映像のうち基準映像をベースレイヤに割り当て、基準映像と隣接するいずれか１つの隣接映像をステレオレイヤに割り当てる。そして、映像符号化装置は、基準映像に対応する深度映像と隣接映像に対応する深度映像を多視点エンハンスメントレイヤに割り当てる。次に、映像符号化装置は、３個以上の視点映像のうち基準映像及び隣接映像を除いた残りの視点映像と、残りの視点映像に対応する深度映像を多視点拡張レイヤに割り当てる。そして、映像符号化装置は、ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの順に各レイヤに割り当てられた映像を符号化して符号化ビットストリームを生成する。
【００６０】
ここで、映像符号化装置は、入力映像が３Ｄ映像であるため映像モード情報を３Ｄ映像モードに設定してもよい。そして、映像符号化装置は、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。ここで、入力映像が３Ｄ映像である場合、付加情報は、カメラパラメータ情報、解像度情報、及び視点映像の個数情報をさらに含んでもよい。例えば、３Ｄ映像が３個以上の視点映像及び深度映像を含む場合、視点映像の個数情報は３以上である。
【００６１】
図３は、統合された映像圧縮フォーマットを示す図である。図３を参照すると、統合された映像圧縮フォーマットはベースレイヤ（Ｂａｓｅ Ｌａｙｅｒ）３０１、ステレオレイヤ（Ｓｔｅｒｅｏ Ｌａｙｅｒ）３０２、多視点エンハンスメントレイヤ（Ｍｕｌｔｉ−ｖｉｅｗ Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ）３０３、及び多視点拡張レイヤ（Ｍｕｌｔｉ−ｖｉｅｗ Ｅｘｔｅｎｓｉｏｎ Ｌａｙｅｒ）３０４を含む。そして、映像符号化装置は、付加情報に基づいて入力映像を各レイヤに割り当てる。
【００６２】
図３に示すように、ベースレイヤ３０１は、入力映像の符号化において基準となる映像が位置するレイヤである。そして、ステレオレイヤ３０２は、基準映像と隣接する１つ以上の視点映像のいずれか１つの隣接映像が位置するレイヤである。例えば、ベースレイヤ３０１にステレオ映像の左映像が位置する場合、ステレオレイヤ３０２には右映像が位置する。反対に、ベースレイヤ３０１にステレオ映像の右映像が位置する場合、ステレオレイヤ３０２には左映像が位置する。
【００６３】
次に、多視点エンハンスメントレイヤ３０３は、基準映像に対応する深度映像及び隣接映像に対応する深度映像が位置するレイヤである。そして、入力映像が３個以上の視点映像を含む多視点映像である場合、多視点拡張レイヤ３０４はベースレイヤ３０１及びステレオレイヤ３０２に位置する視点映像を除いた残りの視点映像及び残りの視点映像に対応する深度映像が位置する。
【００６４】
一例として、図４を参考して説明すると、入力映像が３個の視点映像及び深度映像を含む３Ｄ映像である場合、映像符号化装置は、３個の視点映像のいずれか１つを基準映像として決定してもよい。ここで、基準映像は、他の視点映像を参照することなく自身の映像情報だけで映像を復元することのできる映像を意味する。例えば、３個の視点映像Ｃ（１）４０１、Ｃ（２）４０２及びＣ（３）４０５のうち、Ｃ（１）４０１が画面内の予測によって復元可能な場合、映像符号化装置は、Ｃ（１）４０１を基準映像として決定する。ここで、基準映像はキーフレーム（Ｋｅｙ Ｆｒａｍｅ）として表してもよい。
【００６５】
次に、映像符号化装置は、基準映像と隣接する１つ以上の視点映像のいずれか１つを隣接映像として決定する。言い換えれば、図４を参考すると、映像符号化装置は、視点映像Ｃ（２）４０２を隣接映像として決定してもよい。ここで、隣接映像は、基準映像と解像度が同一であってもよい。例えば、映像符号化装置は、基準映像と隣接する１つ以上の視点映像のうち基準映像と同一の解像度を有するいずれか１つの視点映像を隣接映像として決定してもよい。
【００６６】
これによって、映像符号化装置は、基準映像に決定された視点映像Ｃ（１）４０１をベースレイヤ４０７に割り当て、隣接映像として決定された視点映像Ｃ（２）４０２をステレオレイヤ４０８に割り当てる。そして、映像符号化装置は、基準映像に対応する深度映像Ｄ（１）４０３と隣接映像に対応する深度映像Ｄ（２）４０４を多視点エンハンスメントレイヤ４０９に割り当ててもよい。次に、映像符号化装置は、３個の視点映像のうち基準映像であるＣ（１）４０１及び隣接映像であるＣ（２）４０２を除いた残りの視点映像Ｃ（３）４０５と視点映像Ｃ（３）４０５に対応する深度映像Ｄ（３）４０６を多視点拡張レイヤ４１０に割り当ててもよい。
【００６７】
他の例として、再び図３を参考すると、入力映像が４個である視点映像及び深度映像を含む３Ｄ映像である合、映像符号化装置は、基準映像として決定された視点映像Ｃ（１）３０７をベースレイヤ３０５に割り当て、隣接映像として決定された視点映像Ｃ（２）３０９をステレオレイヤ３０８に割り当てる。ここで、ステレオレイヤ３０８に割り当てられた視点映像Ｃ（２）３０９の解像度はベースレイヤ３０５に割り当てられた視点映像Ｃ（１）３０７の解像度と同一であってもよい。そして、映像符号化装置は、視点映像Ｃ（１）３０７に対応する深度映像Ｄ（１）３１１及び視点映像Ｃ（２）３０９に対応する深度映像Ｄ（２）３１２を多視点エンハンスメントレイヤ３１０に割り当てる。次に、映像符号化装置は、４個の視点映像のうち基準映像であるＣ（１）３０７及び隣接映像であるＣ（２）３０９を除いた残りの視点映像Ｃ（３）３１４及びＣ（４）３１５、Ｃ（３）３１４に対応する深度映像Ｄ（３）３１６及びＣ（４）３１５に対応する深度映像Ｄ（４）３１７を多視点拡張レイヤ３１３に割り当てる。ここで、多視点拡張レイヤ３１３に割り当てられた視点映像Ｃ（３）３１４及びＣ（４）３１５それぞれの解像度は基準映像及び隣接映像の解像度と同一であってもよく、互いに異なってもよい。同様に、多視点拡張レイヤ３１３に割り当てられた深度映像Ｄ（３）３１６及びＤ（４）３１７それぞれの解像度は基準映像及び隣接映像の解像度と同一であってもよく、互いに異なってもよい。例えば、多視点拡張レイヤ３１３に割り当てられた視点映像Ｃ（３）３１４、Ｃ（４）３１５、深度映像Ｄ（３）３１６、Ｄ（４）３１７それぞれの解像度は基準映像及び隣接映像の解像度よりも小さいか同一であってもよい。
【００６８】
図５は、階層的符号化によって生成された符号化ビットストリームの構造を示す図である。図５に示すように、符号化ビットストリームは、ベースレイヤストリーム５０１、ステレオレイヤストリーム５０２、多視点エンハンスメントレイヤストリーム５０３、多視点拡張レイヤストリーム５０４を含む。ここで、ベースレイヤストリーム５０１は基準映像を符号化したストリーム、ステレオレイヤストリーム５０２は隣接映像を符号化したストリーム、多視点エンハンスメントレイヤストリーム５０３は基準映像に対応する深度映像及び隣接映像に対応する深度映像を符号化したストリーム、多視点拡張レイヤストリーム５０４は入力映像に含まれた視点映像のうち基準映像及び隣接映像を除外した残りの視点映像と残りの視点映像に対応する深度映像を符号化したストリームである。
【００６９】
例えば、入力映像が４個の視点映像Ｃ１〜Ｃ４及び深度映像Ｄ１〜Ｄ４を含む３Ｄ映像である場合、ベースレイヤストリーム５０１は符号化された視点映像Ｃ１を含み、ステレオレイヤストリーム５０２は符号化された視点映像Ｃ２を含み、多視点エンハンスメントレイヤストリーム５０３は符号化された深度映像Ｄ１、Ｄ２を含み、多視点拡張レイヤストリーム５０４は符号化された視点映像Ｃ３、Ｃ４、及び深度映像Ｄ３、Ｄ４を含んでもよい。
【００７０】
以下は、統合された映像圧縮フォーマットの各レイヤに割り当てられた視点映像及び深度映像の少なくとも１つを階層的に符号化する過程について詳細に説明することにする。
【００７１】
図６は、各レイヤに割り当てられた映像を階層的に符号化する動作を説明するために提供されるフローチャートである。図６において、符号化動作は図１０に示す映像符号化装置１０００によって行われる。ここで、図６において図４に示すように入力映像が３個の視点映像及び深度映像を含む３Ｄ映像である場合に各レイヤに割り当てられた映像を階層的に符号化する動作について説明することにする。
【００７２】
まず、ステップＳ６０１において、映像符号化装置は、ベースレイヤに割り当てられた基準映像を符号化する。ここで、映像符号化装置は、空間軸を基準として基準映像を画面内予測符号化する。そして、映像符号化装置は、時間軸を基準として基準映像を以前映像の少なくとも１つを参照して符号化する。ここで、以前映像は、現在の時間を基準として基準映像と時系列的に以前に位置する映像を意味する。
【００７３】
次に、ステップＳ６０２において、映像符号化装置は、ステレオレイヤに割り当てられた隣接映像を符号化する。ここで、隣接映像の解像度は基準映像の解像度と同一であり、隣接映像は基準映像と隣接する映像のいずれか１つであってもよい。
【００７４】
ここで、映像符号化装置は、空間軸を基準としてベースレイヤに割り当てられた基準映像を参照して隣接映像を視点間予測符号化する。ここで、視点間予測符号化は画面間予測符号化に表してもよい。そして、映像符号化装置は、時間軸を基準として隣接映像の以前映像の少なくとも１つを参照して隣接映像を符号化する。
【００７５】
そして、ステップＳ６０３において、映像符号化装置は、多視点エンハンスメントレイヤに割り当てられた深度映像を符号化する。ここで、映像符号化装置は、空間軸を基準として基準映像に対応する深度映像を画面内予測符号化してもよい。そして、映像符号化装置は、空間軸を基準として隣接映像に対応する深度映像と同一の時間帯に位置する深度映像である基準映像の深度映像を参照して隣接映像に対応する深度映像を符号化する。そして、映像符号化装置は、時間軸を基準として基準映像に対応する深度映像の以前映像を参照して基準映像に対応する深度映像を符号化し、隣接映像に対応する深度映像の以前映像を参照して以前映像に対応する深度映像を符号化する。
【００７６】
次に、ステップＳ６０４において、映像符号化装置は、多視点拡張レイヤに割り当てられた視点映像及び深度映像を符号化する。
【００７７】
ここで、映像符号化装置は、空間軸を基準として多視点拡張レイヤに割り当てられた視点映像と同一の時間帯に位置する少なくとも１つの視点映像を参照して視点間予測符号化する。そして、映像符号化装置は、時間軸を基準として多視点拡張レイヤに割り当てられた視点映像の以前映像を参照して多視点拡張レイヤに割り当てられた視点映像を符号化する。次に、映像符号化装置は、空間軸を基準として多視点拡張レイヤに割り当てられた深度映像と同一の時間帯に位置する少なくとも１つの深度映像を参照して視点間予測符号化する。そして、映像符号化装置は、時間軸を基準として多視点拡張レイヤに割り当てられた深度映像の隣接映像を参照して多視点拡張レイヤに割り当てられた深度映像を符号化する。
【００７８】
そして、ステップＳ６０５において、映像符号化装置は符号化ビットストリームを映像復号化装置に送信する。
【００７９】
例えば、映像符号化装置は、ステップＳ６０１からステップＳ６０３において、ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤそれぞれに割り当てられた映像を階層的に符号化して符号化ビットストリームを生成する。そして、映像符号化装置は、符号化ビットストリームを映像復号化装置に送信する。
【００８０】
図７は、３個の視点映像及び深度映像を含む３Ｄ映像を階層的に符号化する過程を説明するために提供される図である。図７を参照すると、３個の視点映像のうちＣ（１）７０１が基準映像と決定された場合、映像符号化装置は、空間軸を基準としてベースレイヤに割り当てられた基準映像Ｃ（１）７０１を画面内予測符号化し、時間軸を基準としてＣ（１）７０１の以前映像を参照してＣ（１）７０１を符号化する。
【００８１】
次に、基準映像Ｃ（１）７０１と隣接する視点映像Ｃ（２）７０２及びＣ（３）７０３のうち、Ｃ（２）７０２が隣接映像に決定されてステレオレイヤに割り当てられた場合、映像符号化装置は、空間軸を基準として隣接映像Ｃ（２）７０２と同一時間帯に位置する少なくとも１つの視点映像を参照してＣ（２）７０２を視点間予測符号化する。そして、映像符号化装置は、時間軸を基準として隣接映像Ｃ（２）７０２の以前映像を参照してＣ（２）７０２を符号化する。
【００８２】
例えば、映像符号化装置は、空間軸を基準としてＣ（１）７０１を参照してＣ（２）７０２を符号化する。また、映像符号化装置は、空間軸を基準としてＣ（３）７０３を参照してＣ（２）７０２を符号化する。また、映像符号化装置は、空間軸を基準としてＣ（１）７０１及びＣ（３）７０３を参照してＣ（２）７０２を符号化する。
【００８３】
そして、映像符号化装置は、空間軸を基準として多視点エンハンスメントレイヤに割り当てられたＣ（１）７０１の深度映像Ｄ（１）７０４を画面内予測符号化する。次に、映像符号化装置は、時間軸を基準として深度映像Ｄ（１）７０４の以前映像を参照してＤ（１）７０４を符号化する。そして、映像符号化装置は、空間軸を基準としてＤ（１）７０４及びＤ（３）７０６の少なくとも１つを参照してＣ（２）７０２の深度映像Ｄ（２）７０５を視点間予測符号化する。次に、映像符号化装置は、時間軸を基準としてＤ（２）７０５の以前映像を参照してＤ（２）７０５を符号化する。
【００８４】
そして、映像符号化装置は、Ｃ（２）７０５と同一の方式によって多視点拡張レイヤに割り当てられたＣ（３）７０３及びＤ（３）７０６を符号化する。
【００８５】
例えば、映像符号化装置は、空間軸を基準としてＣ（１）７０１及びＣ（２）７０２の少なくとも１つを参照してＣ（３）７０３を視点間予測符号化する。そして、映像符号化装置は、時間軸を基準としてＣ（３）７０３の以前映像を参照してＣ（３）７０３を符号化する。次に、映像符号化装置は、空間軸を基準としてＤ（１）７０４及びＤ（２）７０５の少なくとも１つを参照してＤ（３）７０６を視点間予測符号化する。そして、映像符号化装置は、時間軸を基準としてＤ（３）７０６の以前映像を参照してＤ（３）７０６を符号化する。
【００８６】
図８は、４個の視点映像及び深度映像を含む３Ｄ映像を各階層に割り当てた構成を示す図である。
【００８７】
そして、図９は、解像度変換を用いて３Ｄ映像を階層的に符号化する過程を説明するために提供される図である。
【００８８】
図８及び図９において、入力映像は４個の視点映像及び深度映像を含む３Ｄ映像であってもよい。図８及び図９を参照すると、４個の視点映像のうちＣ（１）８０１が基準映像と決定された場合、映像符号化装置は、空間軸を基準としてベースレイヤに割り当てられた基準映像Ｃ（１）８０１を画面内予測符号化し、時間軸を基準としてＣ（１）８０１の以前映像を参照してＣ（１）８０１を符号化する。
【００８９】
次に、基準映像Ｃ（１）８０１と隣接する視点映像Ｃ（２）８０２、Ｃ（３）８０３、及びＣ（４）８０４のうちＣ（２）８０２が隣接映像と決定されてステレオレイヤに割り当てられた場合、映像符号化装置は、空間軸を基準として隣接映像Ｃ（２）８０２と同一時間帯に位置する少なくとも１つの視点映像を参照してＣ（２）８０２を視点間予測符号化する。例えば、映像符号化装置は、空間軸を基準としてＣ（１）８０１、Ｃ（２）８０２、及びＣ（３）８０３の少なくとも１つを参照してＣ（２）８０２を符号化する。
【００９０】
そして、映像符号化装置は、時間軸を基準として隣接映像Ｃ（２）８０２の以前映像を参照してＣ（２）８０２を符号化する。ここで、Ｃ（２）８０２とＣ（１）８０１の解像度は同一であり、Ｃ（３）８０３又はＣ（４）８０４の解像度はＣ（２）８０２及びＣ（１）８０１の解像度と同一であってもよく、互いに異なってもよい。
【００９１】
次に、映像符号化装置は、空間軸を基準として多視点エンハンスメントレイヤに割り当てられたＣ（１）８０１の深度映像Ｄ（１）８０５を画面内予測符号化する。次に、映像符号化装置は、時間軸を基準として深度映像Ｄ（１）８０５の以前映像を参照してＤ（１）８０５を符号化する。そして、映像符号化装置は、空間軸を基準としてＤ（１）８０５を参照してＣ（２）８０２の深度映像Ｄ（２）８０６を視点間予測符号化する。次に、映像符号化装置は、時間軸を基準としてＤ（２）８０６の以前映像を参照してＤ（２）８０６を符号化する。
【００９２】
そして、映像符号化装置は、多視点拡張レイヤに割り当てられたＣ（３）８０３、Ｃ（４）８０４、Ｄ（３）８０７、及びＤ（４）８０８を符号化する。
【００９３】
ここで、Ｃ（３）８０３、Ｃ（４）８０４の解像度がＣ（１）８０１、Ｃ（２）８０２の解像度の未満である場合、映像符号化装置は、空間軸を基準としてＣ（１）８０１及びＣ（２）８０２の少なくとも１つの解像度を変換する。
【００９４】
一例として、映像符号化装置は、Ｃ（１）８０１をダウンスケーリングしてＣ（１）８０１の解像度をＣ（３）８０３の解像度と同一の解像度に変換してもよい。そして、映像符号化装置は、解像度が変換されたＣ（１）８０１を参照してＣ（３）８０３を視点間予測符号化してもよい。
【００９５】
他の例として、映像符号化装置は、Ｃ（２）８０２の解像度をＣ（３）８０３の解像度と同一の解像度に変換してもよい。そして、映像符号化装置は、解像度が変換されたＣ（２）８０２を参照してＣ（３）８０３を視点間予測符号化してもよい。
【００９６】
他の例として、映像符号化装置は、Ｃ（１）８０１及びＣ（２）８０２の解像度をＣ（３）８０３の解像度と同一の解像度に変換してもよい。そして、映像符号化装置は、解像度が変換されたＣ（１）８０１及びＣ（２）８０２を参照してＣ（３）８０３を視点間予測符号化してもよい。
【００９７】
他の例として、映像符号化装置は、Ｃ（１）８０１及びＣ（２）８０２の解像度をＣ（３）８０３の解像度と同一の解像度に変換してもよい。そして、映像符号化装置は、Ｃ（３）８０３、解像度が変換されたＣ（１）８０１及びＣ（２）８０２の少なくとも１つを参照してＣ（３）８０３を視点間予測符号化してもよい。
【００９８】
そして、映像符号化装置は、時間軸を基準としてＣ（３）８０３の以前映像を参照してＣ（３）８０３を符号化する。
【００９９】
次に、映像符号化装置は、Ｃ（３）８０３と同一の方法によって、Ｃ（４）８０４を視点間予測符号化する。例えば、映像符号化装置は、Ｃ（１）８０１及びＣ（２）８０２の少なくとも１つの解像度をＣ（４）８０４と同一の解像度に変換してもよい。そして、映像符号化装置は、Ｃ（３）８０３、解像度が変換されたＣ（１）８０１及びＣ（２）８０２の少なくとも１つを参照してＣ（４）８０４を視点間予測符号化する。そして、映像符号化装置は、時間軸を基準としてＣ（４）８０４の以前映像を参照してＣ（４）８０４を符号化する。
【０１００】
同様に、映像符号化装置は、空間軸を基準としてＤ（３）８０７及びＤ（４）８０８を視点間予測符号化する。
【０１０１】
一例として、映像符号化装置は、Ｄ（１）８０５及びＤ（２）８０６の少なくとも１つの解像度をＤ（３）８０７と同一の解像度に変換してもよい。そして、映像符号化装置は、Ｄ（４）８０８、解像度が変換されたＤ（１）８０５及びＤ（２）８０６の少なくとも１つを参照してＤ（３）８０７を視点間予測符号化する。そして、映像符号化装置は、時間軸を基準としてＤ（３）８０７の以前映像を参照してＤ（３）８０７を符号化してもよい。
【０１０２】
他の例として、映像符号化装置は、Ｄ（１）８０５及びＤ（２）８０６の少なくとも１つの解像度をＤ（４）８０８と同一の解像度に変換してもよい。そして、映像符号化装置は、Ｄ（３）８０７、解像度が変換されたＤ（１）８０５及びＤ（２）８０６の少なくとも１つを参照してＤ（４）８０８を視点間予測符号化してもよい。そして、映像符号化装置は、時間軸を基準としてＤ（４）８０８の以前映像を参照してＤ（４）８０８を符号化してもよい。
【０１０３】
図１０は、映像符号化装置の細部構成を示すブロック図である。図１０に示すように、映像符号化装置１０００はレイヤ割当部１００１及び符号化部１００２を備える。
【０１０４】
まず、レイヤ割当部１００１は、付加情報に基づいて入力映像をベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの少なくとも１つに割り当てる。ここで、付加情報は、解像度情報、符号化ビットストリームに含まれた視点映像の数を示す視点映像の個数情報、カメラパラメータ情報、及び映像モード情報の少なくとも１つを含んでもよい。
【０１０５】
一例として、入力映像が２Ｄ映像である場合、レイヤ割当部１００１は２Ｄ映像をベースレイヤに割り当ててもよい。これによって、符号化部１００２はＨ．２６４／ＡＶＣ、ＨＥＶＣなどのような映像符号化方法を用いてベースレイヤに割り当てられた２Ｄ映像を符号化して符号化ビットストリームを生成する。例えば、符号化部１００２は空間軸を基準として２Ｄ映像を画面内予測符号化し、時間軸を基準として以前映像を参照して２Ｄ映像を符号化して符号化ビットストリームを生成する。
【０１０６】
ここで、符号化部１００２は映像モード情報を２Ｄ映像モードに設定し、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。
【０１０７】
他の例として、入力映像がステレオ映像である場合、レイヤ割当部１００１は２つの視点映像のいずれか１つを基準映像として決定し、基準映像を除いた残り１つの視点映像を隣接映像として決定してもよい。ここで、基準映像は、他の映像を参照することなく自身の映像情報だけで映像を復元できる映像を意味する。これによって、レイヤ割当部１００１は基準映像をベースレイヤに割り当て、隣接映像をステレオレイヤに割り当ててもよい。ここで、ベースレイヤに割り当てられる視点映像とステレオレイヤに割り当てられる視点映像の解像度は同一であってもよい。
【０１０８】
これによって、符号化部１００２は、ベースレイヤ及びステレオレイヤの順に階層的に符号化して符号化ビットストリームを生成する。例えば、符号化部１００２は空間軸を基準として、ベースレイヤに割り当てられた基準映像を画面内予測符号化し、時間軸を基準として以前映像を参照して２Ｄ映像を符号化する。そして、符号化部１００２は、空間軸を基準としてステレオレイヤに割り当てられた隣接映像と同一時間帯に位置する視点映像の基準映像を参照して隣接映像を視点間予測符号化する。ここで、符号化部１００２は映像モード情報をステレオ映像モードに設定し、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。
【０１０９】
他の例として、入力映像が２つの視点映像及び深度映像を含む３Ｄ映像である場合、レイヤ割当部１００１は２つの視点映像のいずれか１つを基準映像として決定し、基準映像を除いた残りの１つの視点映像を隣接映像として決定してもよい。これによって、レイヤ割当部１００１は基準映像をベースレイヤに割り当て、隣接映像をステレオレイヤに割り当ててもよい。そして、レイヤ割当部１００１は、基準映像に対応する深度映像と隣接映像に対応する深度映像を多視点エンハンスメントレイヤに割り当ててもよい。
【０１１０】
これによって、符号化部１００２は、ベースレイヤ、ステレオレイヤ、及び多視点エンハンスメントレイヤの順に階層的に符号化して符号化ビットストリームを生成する。例えば、符号化部１００２は、空間軸を基準として多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像を画面内予測符号化し、時間軸を基準として以前映像を参照して基準映像の深度映像を符号化して多視点エンハンスメントレイヤストリームを生成する。ここで、ベースレイヤ及びステレオレイヤに割り当てられた視点映像を符号化する動作はステレオ映像を符号化する動作と同一であるため、繰り返しの説明は省略することにする。
【０１１１】
ここで、符号化部１００２は映像モード情報を３Ｄ映像モードに設定し、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。
【０１１２】
他の例として、入力映像が３個以上の視点映像及び深度映像を含む３Ｄ映像である場合、レイヤ割当部１００１は３個以上の視点映像のいずれか１つを基準映像として決定し、基準映像と隣接する映像のいずれか１つを隣接映像として決定してもよい。ここで、隣接映像と基準映像の解像度は同一であってもよい。これによって、レイヤ割当部１００１は基準映像をベースレイヤに割り当て、隣接映像をステレオレイヤに割り当ててもよい。次に、レイヤ割当部１００１は、基準映像に対応する深度映像と隣接映像に対応する深度映像を多視点エンハンスメントレイヤに割り当てる。そして、レイヤ割当部１００１は、３個以上の視点映像及び深度映像のうち基準映像、隣接映像、基準映像の深度映像、及び隣接映像の深度映像を除いた視点映像と深度映像を多視点拡張レイヤに割り当ててもよい。
【０１１３】
これによって、符号化部１００２は、ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの順に階層的に符号化して符号化ビットストリームを生成する。
【０１１４】
例えば、符号化部１００２は、空間軸を基準としてベースレイヤに割り当てられた基準映像及びステレオレイヤに割り当てられた隣接映像の少なくとも１つを参照して、多視点拡張レイヤに割り当てられた視点映像を視点間予測符号化する。そして、符号化部１００２は、時間軸を基準として多視点拡張レイヤに割り当てられた視点映像の以前映像を参照して多視点拡張レイヤに割り当てられた視点映像を符号化する。同一の方法として、符号化部１００２は、多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び隣接映像の深度映像の少なくとも１つを参照して多視点拡張レイヤに割り当てられた視点映像の深度映像を視点間予測符号化する。
【０１１５】
ここで、多視点拡張レイヤに割り当てられた視点映像の解像度が基準映像及び隣接映像の解像度と異なる場合、符号化部１００２は、基準映像及び隣接映像の少なくとも１つの解像度を多視点拡張レイヤに割り当てられた視点映像の解像度と同一になるよう変換してもよい。そして、符号化部１００２は、解像度が変換された基準映像及び隣接映像の少なくとも１つを参照して多視点拡張レイヤに割り当てられた視点映像を視点間予測符号化する。
【０１１６】
同様に、多視点拡張レイヤに割り当てられた視点映像に対応する深度映像の解像度が基準映像の深度映像及び隣接映像の深度映像の解像度と異なる場合、符号化部１００２は、基準映像の深度映像及び隣接映像の深度映像の少なくとも１つの解像度を多視点拡張レイヤに割り当てられた視点映像に対応する深度映像の解像度と同一になるように変換してもよい。そして、符号化部１００２は、解像度が変換された基準映像の深度映像及び隣接映像の深度映像の少なくとも１つを参照して、多視点拡張レイヤに割り当てられた視点映像の深度映像を視点間予測符号化する。
【０１１７】
そして、符号化部１００２は映像モード情報を３Ｄ映像モードに設定し、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。
【０１１８】
図１０において、２Ｄ映像は色及びカラー情報を含む１つの視点映像（１ｖｉｅｗ）を含み、ステレオ映像は色及びカラー情報を含む２つの視点映像（２ｖｉｅｗ）を含み、３Ｄ映像は色及びカラー情報を含む３個以上の視点映像と各視点映像に対応する深度映像を含んでもよい。例えば、ステレオ映像は左映像及び右映像を含む両眼式映像を含み、３Ｄ画像は多視点画像を含んでもよい。
【０１１９】
図１１は、統合された映像圧縮フォーマットに基づいて符号化ビットストリームを復号化する動作を説明するために提供されるフローチャートである。図１１において、符号化ビットストリームを復号化する動作は図１３に示す映像復号化装置によって行われる。
【０１２０】
まず、ステップＳ１１０１において、映像復号化装置は、映像符号化装置から階層的に符号化された符号化ビットストリームを受信する。ここで、符号化ビットストリームは、ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含んでもよい。
【０１２１】
次に、ステップＳ１１０２において、映像復号化装置は、付加情報に基づいて符号化ビットストリームを階層的に復号化する。ここで、付加情報は、解像度情報、視点映像の個数情報、カメラパラメータ情報、及び映像モード情報の少なくとも１つを含んでもよい。
【０１２２】
例えば、映像復号化装置は、映像モード情報が２Ｄ映像モードであるか、ステレオ映像モードであるか、または、３Ｄ映像モードと設定されたかに応じてベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームの少なくとも１つを復号化する。
【０１２３】
図１２は、映像モード情報により符号化ビットストリームを階層的に復号化する動作を説明するために提供されるフローチャートである。
【０１２４】
まず、ステップＳ１２０１において、映像モード情報が２Ｄ映像モードである場合、ステップＳ１２０２において、映像復号化装置は、符号化ビットストリームのうちベースレイヤストリームだけを復号化して２Ｄ映像を復元する。言い換えれば、映像復号化装置は、ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを全て復号化する必要がなく、ベースレイヤストリームだけを復号化して残りのレイヤストリームを廃棄する。
【０１２５】
そして、ステップＳ１２０３において、映像モード情報がステレオ映像モードである場合、ステップＳ１２０４において、映像復号化装置は、ベースレイヤストリーム及びステレオレイヤストリームを復号化してステレオ映像を復元する。
【０１２６】
次に、ステップＳ１２０５において、映像モード情報が３Ｄ映像モードである場合、ステップＳ１２０６において、映像復号化装置は、各レイヤストリームを復号化して３Ｄ映像を復元する。
【０１２７】
一例として、２つの視点映像を符号化して生成された符号化ビットストリームを映像符号化装置から受信し、付加情報に含まれた映像モード情報が３Ｄ映像モードと設定された場合、映像復号化装置は、ベースレイヤストリーム及びステレオレイヤストリームを復号化して２つの視点映像を復元する。例えば、映像復号化装置は、基準映像及び隣接映像を復元してもよい。そして、映像復号化装置は、２つの視点映像の少なくとも１つを参照して２つの視点映像のそれぞれに対応する深度映像を生成する。例えば、映像復号化装置は、深度推定（Ｄｅｐｔｈ Ｅｓｔｉｍａｔｉｏｎ）又は視差推定（Ｄｉｓｐａｒｉｔｙ Ｅｓｔｉｍａｔｉｏｎ）アルゴリズムを用いて２つの深度映像を生成する。言い換えれば、映像復号化装置は、基準映像の深度映像及び隣接映像の深度映像を生成する。これによって、ステップＳ１２０７において、映像復号化装置は、生成された基準映像の深度映像、隣接映像の深度映像、復元された基準映像及び隣接映像を合成して多視点映像を生成する。
【０１２８】
他の例として、２つの視点映像及び深度映像を符号化して生成された符号化ビットストリームを映像符号化装置から受信し、付加情報に含まれた映像モード情報が３Ｄ映像モードと設定された場合、映像復号化装置は、ベースレイヤストリーム及びステレオレイヤストリームを復号化して２つの視点映像を復元し、多視点エンハンスメントレイヤストリームを復号化して２つの深度映像を復元する。言い換えれば、映像復号化装置は、基準映像、隣接映像、基準映像の深度映像及び隣接映像の深度映像を復元してもよい。そして、映像復号化装置は、基準映像及び隣接映像に基づいて内挿（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）又は外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）を用いて１つ以上の仮想視点映像を生成する。ここで、映像復号化装置は、生成しようとする仮想視点映像の位置に基づいて内挿又は外挿を用いてもよい。例えば、生成しようとする仮想視点映像の位置が基準映像及び隣接映像の間である場合、映像復号化装置は内挿を用いて仮想視点映像を生成する。そして、生成しようとする仮想視点映像の位置が基準映像及び隣接映像の間ではない場合、映像復号化装置は、外挿を用いて仮想視点映像を生成する。
【０１２９】
同じ方法として、映像復号化装置は、復元された基準映像の深度映像及び隣接映像の深度映像に基づいて内挿又は外挿を用いて仮想視点映像に対応する深度映像を生成する。これによって、映像復号化装置は、復元された２つの視点映像及び深度映像、そして生成された１つ以上の仮想視点映像及び仮想視点映像に対応する深度映像を合成して多視点映像を生成する。
【０１３０】
他の例として、３個以上の視点映像及び深度映像を符号化して生成された符号化ビットストリームを映像符号化装置から受信し、付加情報に含まれた映像モード情報が３Ｄ映像モードと設定された場合、映像復号化装置は、ベースレイヤストリーム及びステレオレイヤストリームを復号化して２つの視点映像を復元し、多視点エンハンスメントレイヤストリームを復号化して２つの深度映像を復元してもよい。そして、映像復号化装置は、多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた１つ以上の視点映像及び深度映像を復元してもよい。これによって、映像復号化装置は、復元された３個以上の視点映像及び３個以上の深度映像を合成して多視点映像を生成する。
【０１３１】
他の例として、３個以上の視点映像及び深度映像を符号化して生成された符号化ビットストリームを映像符号化装置から受信し、付加情報に含まれた映像モード情報が３Ｄ映像モードと設定された場合、映像復号化装置は、ベースレイヤストリーム及びステレオレイヤストリームを復号化して２つの視点映像を復元し、多視点エンハンスメントレイヤストリームを復号化して２つの深度映像を復元してもよい。そして、映像復号化装置は、多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた視点映像及び深度映像を復元してもよい。これによって、映像復号化装置は、復元された３個以上の視点映像のうち少なくとも２以上に基づいて内挿又は外挿を用いて１つ以上の仮想視点映像を生成する。
【０１３２】
同じ方法として、映像復号化装置は、復元された３個の視点映像のそれぞれに対応する深度映像のうち少なくとも２以上に基づいて内挿又は外挿を用いて仮想視点映像に対応する深度映像を生成する。これによって、映像復号化装置は、復元された２つの視点映像及び深度映像、そして生成された１つ以上の仮想視点映像及び仮想視点映像に対応する深度映像を合成して多視点映像を生成する。
【０１３３】
図１３は、映像復号化装置の詳細構成を示すブロック図である。図１３に示すように、映像復号化装置１３００は、ビットストリーム受信部１３０１、復号化部１３０２、深度映像生成部１３０３、及び視点映像合成部１３０４を備える。
【０１３４】
まず、ビットストリーム受信部１３０１は、映像符号化装置で階層的に符号化された符号化ビットストリームを受信する。ここで、符号化ビットストリームは、ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含んでもよい。
【０１３５】
これによって、復号化部１３０２は、符号化ビットストリームに挿入された付加情報に基づいて符号化ビットストリームを階層的に復号化する。ここで、付加情報は、解像度情報、視点映像の個数情報、カメラパラメータ情報、及び映像モード情報の少なくとも１つを含んでもよい。
【０１３６】
ここで、復号化部１３０２は、２Ｄ復号化部１３０５、ステレオ復号化部１３０６、及び３Ｄ復号化部１３０７を備える。
【０１３７】
まず、映像モード情報が２Ｄ映像モードである場合、２Ｄ復号化部１３０５はベースレイヤストリームを復号化して２Ｄ映像を復元する。例えば、２Ｄ復号化部１３０５は、Ｈ．２６４／ＡＶＣ、ＨＥＶＣなどのような映像復号化方法を用いてベースレイヤストリームを復号化してもよい。これによって、復元された２Ｄ映像は２Ｄ映像再生装置を介して再生する。
【０１３８】
そして、映像モード情報がステレオ映像モードである場合、ステレオ復号化部１３０６は、ベースレイヤストリーム及びステレオレイヤストリームを復号化してステレオ映像を復元する。ここで、ステレオ映像は２つの視点映像を含んでもよい。ここで、ステレオ映像は基準映像Ｃ１及び隣接映像Ｃ２を含んでもよい。例えば、ステレオ復号化部１３０６は、Ｈ．２６４／ＡＶＣ、ＨＥＶＣなどのような映像復号化方法を用いてベースレイヤストリーム及びステレオストリームを復号化する。これによって、復元されたステレオ映像は、両眼式再生装置などのステレオ映像再生装置を介して再生する。
【０１３９】
ここで、映像モード情報が３Ｄ映像モードである場合にも、ステレオ復号化部１３０６は、ベースレイヤストリーム及びステレオレイヤストリームを復号化してステレオ映像を復元する。これによって、深度映像生成部１３０３は、復元された基準映像及び隣接映像の少なくとも１つを参照して基準映像の深度映像及び隣接映像の深度映像を生成する。そして、視点映像合成部１３０４は、復元された基準映像、復元された隣接映像、生成された基準映像の深度映像、及び生成された隣接映像の深度映像を合成して多視点映像を生成する。これによって、生成された多視点映像はオートステレオスコピック（Ａｕｔｏ−ｓｔｅｒｅｏｓｃｏｐｉｃ）再生装置を介して再生することができる。
【０１４０】
また、映像モード情報が３Ｄ映像モードである場合、３Ｄ復号化部１３０７は、ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元し、多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元する。これによって、視点映像合成部１３０４は、復元された基準映像及び隣接映像に基づいて内挿又は外挿を用いて１つ以上の仮想視点映像を生成する。そして、視点映像合成部１３０４は、復元された基準映像の深度映像及び隣接映像の深度映像に基づいて、内挿又は外挿を用いて仮想視点映像に対応する深度映像を生成する。次に、視点映像合成部１３０４は、基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像及び仮想視点映像の深度映像を合成して多視点映像を生成する。
【０１４１】
また、映像モード情報が３Ｄ映像モードである場合、３Ｄ復号化部１３０７は、ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元し、多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元する。そして、３Ｄ復号化部１３０７は、多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた視点映像及び視点映像に対応する深度映像を復元する。これによって、視点映像合成部１３０４は、基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、多視点拡張レイヤに割り当てられた視点映像、及び視点映像の深度映像を合成して多視点映像を生成する。
【０１４２】
ここで、視点映像合成部１３０４は、基準映像、隣接映像及び多視点拡張レイヤに割り当てられた視点映像のうち少なくとも２以上に基づいて内挿又は外挿を用いて１つ以上の仮想視点映像を生成する。同じ方法によって、視点映像合成部１３０４は、基準映像の深度映像、隣接映像の深度映像及び多視点拡張レイヤに割り当てられた視点映像の深度映像のうち少なくとも２以上に基づいて内挿又は外挿を用いて仮想視点映像に対応する深度映像を生成する。そして、視点映像合成部１３０４は、基準映像、隣接映像、多視点拡張レイヤに割り当てられた視点映像、仮想視点映像、基準映像の深度映像、隣接映像の深度映像、多視点拡張レイヤに割り当てられた視点映像の深度映像、及び前記視点映像の深度映像を合成して多視点映像を生成する。
【０１４３】
一方、図１２及び図１３に示すように、映像復号化装置が解像度変換による映像を入力によって生成された符号化ビットストリームを映像符号化装置から受信した場合、映像復号化装置も復号化映像に対しても解像度変換を用いて元の入力解像度に復元することができる。
【０１４４】
一例として、映像符号化装置から、３個の視点映像及び深度映像を含む３Ｄ映像を符号化して生成された符号化ビットストリームを受信した場合、復号化部１３０２は、付加情報に含まれた解像度情報に基づいて復元された基準映像及び復元された隣接映像の少なくとも１つの解像度を変換する。例えば、復号化部１３０２は、復元された基準映像及び復元された隣接映像の少なくとも１つの解像度をダウンスケーリングしてもよい。これによって、復元された基準映像及び復元された隣接映像の少なくとも１つの解像度は、符号化の前に多視点拡張レイヤに割り当てられた視点映像の解像度と同一になるよう変換されてもよい。
【０１４５】
そして、復号化部１３０２は、解像度が変換された基準映像及び隣接映像の少なくとも１つを参照して多視点拡張レイヤに割り当てられた視点映像を復元する。同じ方法によって復号化部１３０２は、解像度が変換された基準映像の深度映像及び隣接映像の深度映像の少なくとも１つを参照して多視点拡張レイヤに割り当てられた視点映像の深度映像を復元する。
【０１４６】
他の例として、映像符号化装置は、解像度変換情報を符号化ビットストリームに挿入して映像復号化装置に送信する。ここで、解像度変換情報は、基準映像及び隣接映像の少なくとも１つをダウンスケーリングした比率、及び基準映像の深度映像及び隣接映像の深度映像の少なくとも１つをダウンスケーリングした比率の少なくとも１つを含んでもよい。
【０１４７】
これによって、復号化部１３０２は、解像度変換情報に基づいて復元された基準映像及び復元された隣接映像の少なくとも１つをダウンスケーリングして解像度を変換する。そして、復号化部１３０２は、解像度が変換された基準映像及び隣接映像の少なくとも１つを参照して多視点拡張レイヤに割り当てられた視点映像を復元する。同じ方法によって復号化部１３０２は、解像度変換情報に基づいて復元された基準映像の深度映像及び復元された隣接映像の深度映像の少なくとも１つをダウンスケーリングして解像度を変換する。そして、解像度が変換された基準映像の深度映像及び隣接映像の深度映像の少なくとも１つを参照して、多視点拡張レイヤに割り当てられた視点映像の深度映像を復元してもよい。
【０１４８】
以上で説明したように、映像符号化装置は、統合された映像圧縮フォーマットに基づいて入力映像を階層的に符号化して映像復号化装置に送信し、映像復号化装置は、符号化ビットストリームを付加情報に基づいて階層的に復号化して入力映像を復元することができる。言い換えれば、入力映像が２Ｄ映像、ステレオ映像、３Ｄ映像であるか否かに関係なく、映像符号化装置は入力映像を符号化し、映像復号化装置は符号化ビットストリームを復号化して２Ｄ映像、ステレオ映像、または、３Ｄ映像を復元する。これによって、従来の２Ｄ映像再生装置、ステレオ映像再生装置、及び３Ｄ映像再生装置の全てで本映像符号化及び復号化装置において符号化及び復号化によって復元された映像を再生することができる。
【０１４９】
本発明の実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つ又はその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるようなマシンコードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高水準コードを含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。
【０１５０】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な変更及び変形が可能である。
【０１５１】
したがって、本発明の範囲は、開示された実施の形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０１５２】
１０００ 映像符号化装置
１００１ レイヤ割当部
１００２ 符号化部
１３００ 映像復号化装置
１３０１ ビットストリーム受信部
１３０２ 復号化部
１３０３ 深度映像生成部
１３０４ 視点映像合成部
１３０５ ２Ｄ復号化部
１３０６ ステレオ復号化部
１３０７ ３Ｄ復号化部
【技術分野】
【０００１】
本発明は、映像再生装置の種類に関係なく復元された映像を再生できるように２次元（２Ｄ）映像、ステレオ映像、及び３Ｄ映像を符号化及び復号化する技術に関する。
【背景技術】
【０００２】
３Ｄ映像は２Ｄ映像とは異なって、ユーザに映像の深さを提供して現実感のある映像を提供する。一般に、３Ｄ映像システムは、立体画像よりも多い視点の映像を用いて３Ｄ映像を提供するシステムを意味する。言い換えれば、３Ｄ映像システムは、ステレオ映像より視点が多い多視点画像を再生するシステムのことを称する。
【０００３】
３Ｄ映像システムは、複数の多視点カメラから受信された色映像、深度映像、及び付加情報を特定フォーマットに変換して格納する。ここで、３Ｄ映像システムは、２Ｄ画像、立体画像、及び３Ｄ画像を互いに異なる映像圧縮の技術で圧縮して映像再生装置に送信する。これによって、映像の種類に応じて圧縮フォーマットは互いに異なる。
【０００４】
これによって、２Ｄ映像再生装置は２Ｄ映像のみを再生し、ステレオ映像及び３Ｄ映像は再生することができない。そして、偏光フィルタリング方式、液晶シャッタリング方式などの両眼式映像再生装置は両眼式立体映像のステレオ映像を再生することはできるものの、３Ｄ映像を再生することができない。
【０００５】
したがって、映像の種類及び映像再生装置の種類に関係なく互換して映像を再生することのできる信号処理技術が必要である。言い換えれば、２Ｄ映像、ステレオ映像、３Ｄ映像を種類に関係なく共通に信号を処理することによって、従来の２Ｄ映像再生装置、両眼式映像再生装置、及び自動両眼式３Ｄ映像再生装置のいずれのものも復元映像を再生することのできる技術が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、映像の種類及び映像再生装置の種類に関係なく映像を再生することのできる映像符号化方法及び装置、並びに映像復号化方法及び装置を提供する。
【課題を解決するための手段】
【０００７】
本映像符号化方法は、入力映像に含まれた少なくとも１つの視点映像をベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの少なくとも１つに割り当てるステップと、前記ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ及び多視点拡張レイヤに割り当てられた映像を階層的に符号化するステップとを含む。
【０００８】
また、前記符号化するステップは、前記ベースレイヤに割り当てられた基準映像を参照し、前記ステレオレイヤに割り当てられた隣接映像を視点間予測符号化し、前記隣接映像は前記基準映像と隣接する映像であってもよい。
【０００９】
また、前記符号化するステップは、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像を画面内予測符号化するステップと、前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像を視点間予測符号化するステップとを含んでもよい。
【００１０】
また、前記符号化するステップは、前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つを参照して、前記多視点エンハンスメントレイヤに割り当てられた視点映像を視点間予測符号化してもよい。
【００１１】
また、前記符号化するステップは、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像の少なくとも１つを参照して、前記多視点拡張レイヤに割り当てられた視点映像の深度映像を視点間予測符号化してもよい。
【００１２】
また、前記符号化するステップは、前記多視点拡張レイヤに割り当てられた視点映像の解像度に基づいて前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つの解像度を変換するステップと、前記解像度が変換された基準映像及び隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化するステップとを含んでもよい。
【００１３】
また、前記符号化するステップは、前記多視点拡張レイヤに割り当てられた視点映像の深度映像の解像度に基づいて前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び隣接映像の深度映像の少なくとも１つの解像度を変換するステップと、前記解像度が変換された基準映像及び隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化するステップとを含んでもよい。
【００１４】
また、前記ステレオレイヤに割り当てられた隣接映像は、前記ベースレイヤに割り当てられた基準映像と同じ解像度を有してもよい。
【００１５】
また、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像は、基準映像の深度映像及び隣接映像の深度映像と同じ解像度又は異なる解像度を有してもよい。また、前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像は、基準映像及び隣接映像と同じ解像度又は異なる解像度を有してもよい。
【００１６】
前記割り当てるステップは、１視点映像（１ｖｉｅｗ）である基準映像を前記ベースレイヤに割り当てるステップと、前記基準映像と隣接し、２視点映像（２ｖｉｅｗ）である隣接映像を前記ステレオレイヤに割り当てるステップと、前記基準映像の深度映像と隣接映像の深度映像を前記多視点エンハンスメントレイヤに割り当てるステップと、前記基準映像と隣接する映像のうち前記隣接映像を除いた残り隣接映像、及び前記残り隣接映像に対応する深度映像を前記多視点拡張レイヤに割り当てるステップとを含み、前記残り隣接映像は、第３視点以上の映像であってもよい。
【００１７】
前記符号化するステップは、前記符号化によってベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含む階層構造の符号化ビットストリームを生成してもよい。
【００１８】
本映像符号化装置は、入力映像に含まれた少なくとも１つの視点映像をベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの少なくとも１つに割り当てるレイヤ割当部と、前記ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ及び多視点拡張レイヤを階層的に符号化する符号化部とを備える。
【００１９】
また、前記符号化部は、前記ベースレイヤに割り当てられた基準映像を参照し、前記ステレオレイヤに割り当てられた隣接映像を視点間予測符号化してもよい。
【００２０】
また、前記符号化部は、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像を画面内予測符号化し、隣接映像の深度映像を視点間予測符号化してもよい。
【００２１】
また、前記符号化部は、前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つを参照して、前記多視点エンハンスメントレイヤに割り当てられた視点映像を視点間予測符号化してもよい。
【００２２】
また、前記符号化部は、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像の少なくとも１つを参照して、前記多視点拡張レイヤに割り当てられた視点映像の深度映像を視点間予測符号化してもよい。
【００２３】
また、前記符号化部は、前記多視点拡張レイヤに割り当てられた視点映像の解像度に基づいて前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つの解像度を変換し、解像度が変換された基準映像及び解像度が変換された隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化してもよい。
【００２４】
また、前記符号化部は、前記多視点拡張レイヤに割り当てられた視点映像の深度映像の解像度に基づいて前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び隣接映像の深度映像の少なくとも１つの解像度を変換し、前記解像度が変換された基準映像及び解像度が変換された隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化してもよい。
【００２５】
本映像復号化方法は、ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含む符号化ビットストリームを受信するステップと、前記符号化ビットストリームを付加情報に基づいて階層的に復号化するステップとを含む。
【００２６】
また、前記復号化するステップは、前記付加情報に基づいて前記ベースレイヤストリームを復号化して２Ｄ映像を復元してもよい。
【００２７】
また、前記復号化するステップは、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元してもよい。
【００２８】
また、前記復号化するステップは、前記基準映像及び隣接映像の少なくとも１つを参照し、基準映像の深度映像及び隣接映像の深度映像を生成するステップと、前記基準映像及び隣接映像を参照し、１つ以上の仮想視点映像を生成するステップと、前記基準映像の深度映像及び隣接映像の深度映像を参照し、前記仮想視点映像の深度映像を生成するステップと、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を生成するステップとを含んでもよい。
【００２９】
また、前記復号化するステップは、前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元するステップと、前記基準映像及び隣接映像を参照して１つ以上の仮想視点映像を生成するステップと、前記基準映像の深度映像及び隣接映像の深度映像を参照して前記仮想視点映像の深度映像を生成するステップと、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を生成するステップとを含んでもよい。
【００３０】
また、前記復号化するステップは、前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元するステップと、前記多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた１つ以上の視点映像及び視点映像の深度映像を復元するステップと、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、多視点拡張レイヤに割り当てられた視点映像及び多視点拡張レイヤに割り当てられた視点映像の深度映像を合成して多視点映像を生成するステップとを含んでもよい。
【００３１】
本発明の映像復号化装置は、ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含む階層構造の符号化ビットストリームを受信するビットストリーム受信部と、前記符号化ビットストリームを付加情報に基づいて階層的に復号化する復号化部とを備える。
【００３２】
また、前記復号化部は、前記付加情報に基づいて前記ベースレイヤストリームを復号化して２Ｄ映像を復元する２Ｄ復号化部を備えてもよい。
【００３３】
また、前記復号化部は、前記符号化ビットストリームに含まれた付加情報がステレオ映像モードを含むことによって、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元するステレオ復号化部を備えてもよい。
【００３４】
また、前記基準映像及び隣接映像の少なくとも１つを参照し、基準映像の深度映像及び隣接映像の深度映像を生成する深度映像生成部と、前記基準映像及び隣接映像を参照して１つ以上の仮想視点映像を生成し、前記基準映像の深度映像及び隣接映像の深度映像を参照して前記仮想視点映像の深度映像を生成し、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を復元する視点映像合成部をさらに備えてもよい。
【００３５】
また、前記復号化部は、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元し、前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元する３Ｄ復号化部を備えてもよい。
【００３６】
このとき、前記基準映像及び隣接映像を参照して１つ以上の仮想視点映像を生成し、前記基準映像の深度映像及び隣接映像の深度映像を参照して前記仮想視点映像の深度映像を生成し、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を復元する視点映像合成部をさらに備えてもよい。
【００３７】
また、前記復号化部は、前記符号化ビットストリームに含まれた付加情報が多視点映像モードを含むことによって、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元し、前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元し、前記多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた１つ以上の視点映像及び視点映像の深度映像を復元する３Ｄ復号化部を備えてもよい。
【００３８】
ここで、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、１つ以上の視点映像及び視点映像の深度映像を合成して多視点映像を生成する視点映像合成部をさらに備えてもよい。
【発明の効果】
【００３９】
本発明の一実施形態によれば、入力映像を階層的に符号化及び復号化することによって映像の種類及び映像再生装置の種類に関係なく統合された映像圧縮フォーマットを提供することができる。
【００４０】
本発明の一実施形態によれば、映像の種類に関係なく統合された映像圧縮フォーマットを提供することによって、従来の２Ｄ映像再生装置及びステレオ映像再生装置でも多視点映像のうち選択された視点の２Ｄ映像を再生する互換性を提供することができる。
【図面の簡単な説明】
【００４１】
【図１】本映像処理システムの全般的な構成を示す図である。
【図２】統合された映像圧縮フォーマットに基づいて入力映像を階層的に符号化する動作を説明するために提供されるフローチャートである。
【図３】統合された映像圧縮フォーマットを示す図である。
【図４】３個の視点映像を各レイヤに割り当てて形成された統合された映像圧縮フォーマットを示す図である。
【図５】階層的符号化によって生成された符号化ビットストリームの構造を示す図である。
【図６】各レイヤに割り当てられた映像を階層的に符号化する動作を説明するために提供されるフローチャートである。
【図７】３個の視点映像及び深度映像を含む３Ｄ映像を階層的に符号化する過程を説明するために提供される図である。
【図８】４個の視点映像及び深度映像を含む３Ｄ映像を各階層に割り当てた構成を示す図である。
【図９】解像度変換を用いて３Ｄ映像を階層的に符号化する過程を説明するために提供される図である。
【図１０】映像符号化装置の詳細構成を示すブロック図である。
【図１１】統合された映像圧縮フォーマットに基づいて符号化ビットストリームを復号化する動作を説明するために提供されるフローチャートである。
【図１２】映像モード情報によって符号化ビットストリームを階層的に復号化する動作を説明するために提供されるフローチャートである。
【図１３】映像復号化装置の詳細構成を示すブロック図である。
【発明を実施するための形態】
【００４２】
以下、本発明の実施形態を添付する図面を参照しながら詳細に説明する。
【００４３】
図１は、本映像処理システムの全般的な構成を示す図である。図１に示すように、映像処理システム１００は、映像生成装置１０１、映像符号化装置１０２、映像復号化装置１０３及び映像再生装置１０４を備える。例えば、映像再生装置は２Ｄ映像再生装置、ステレオ映像再生装置、及び３Ｄ映像再生装置を備える。
【００４４】
まず、映像生成装置１０１は、複数のカメラ１０５を用いて撮影された視点映像、深度映像、及び付加情報に基づいて入力映像を生成する。ここで、入力映像は、２Ｄ映像、両眼式映像であるステレオ映像、または、多視点映像である３Ｄ映像を含んでもよい。ここで、カメラは、多視点カメラ、可視帯域カメラ、赤外線カメラ、及び深度カメラの少なくとも１つを含んでもよい。
【００４５】
映像符号化装置１０２は、入力映像に含まれた２Ｄ映像、ステレオ映像、または、３Ｄ映像を階層的に符号化して符号化ビットストリームを生成する。そして、映像符号化装置１０２は、符号化ビットストリームを映像復号化装置１０３に送信する。これによって、映像復号化装置１０３は、符号化ビットストリームを階層的に復号化して２Ｄ映像、ステレオ映像、又は３Ｄ映像を復元する。映像再生装置１０４は、復元された映像を再生する。ここで、映像再生装置は２Ｄ映像再生装置であってもよく、ステレオ映像再生装置であってもよく、３Ｄ映像再生装置であってもよい。言い換えれば、映像再生装置１０４は、映像再生装置の種類及び映像の種類に関係なく復元された映像を再生することができる。
【００４６】
以下は、映像再生装置の種類及び映像の種類に関係なく復元された映像を再生できるように統合された映像圧縮フォーマットを提供し、統合された映像圧縮フォーマットを用いて入力映像を符号化及び復号化する過程について詳細に説明することにする。
【００４７】
図２は、統合された映像圧縮フォーマットに基づいて入力映像を階層的に符号化する動作を説明するために提供されるフローチャートである。図２に示すように、符号化動作は図１０の映像符号化装置１０００によって行われる。
【００４８】
まず、ステップＳ２０１において、映像符号化装置は付加情報に基づいて入力映像を各レイヤに割り当てる。
【００４９】
ここで、付加情報は、解像度情報、符号化ビットストリームに含まれた視点映像の個数を示す視点映像の個数情報、カメラパラメータ情報、及び映像モード情報の少なくとも１つを含んでもよい。例えば、解像度情報は、視点映像の解像度情報及び深度映像の解像度情報の少なくとも１つを含み、カメラパラメータ情報は視点映像の３次元位置座標を含み、映像モード情報は、入力映像が２Ｄ映像、ステレオ映像、及び３Ｄ映像のいずれか１つであるかを示すモード情報を含んでもよい。
【００５０】
ここで、映像符号化装置は、入力映像をベースレイヤ（Ｂａｓｅ Ｌａｙｅｒ）、ステレオレイヤ（Ｓｔｅｒｅｏ Ｌａｙｅｒ）、多視点エンハンスメントレイヤ（Ｍｕｌｔｉ−ｖｉｅｗ Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ）、及び多視点拡張レイヤ（Ｍｕｌｔｉ−ｖｉｅｗ Ｅｘｔｅｎｓｉｏｎ Ｌａｙｅｒ）の少なくとも１つに割り当てる。ここで、入力映像は２Ｄ映像、ステレオ映像、または３Ｄ映像を含んでもよい。
【００５１】
ここで、２Ｄ映像は色及びカラー情報を含む１つの視点映像（１ｖｉｅｗ）を含み、ステレオ映像は色及びカラー情報を含む２つの視点映像（２ｖｉｅｗ）を含み、３Ｄ映像は色及びカラー情報を含む３個以上の視点映像と各視点映像に対応する深度映像を含む。例えば、ステレオ映像は、左映像及び右映像を含む両眼式映像を含み、３Ｄ画像は多視点画像を含む。
【００５２】
次に、ステップＳ２０２において、映像符号化装置は、各レイヤに割り当てられた映像を階層的に符号化して符号化ビットストリームを生成する。そして、映像符号化装置は、符号化ビットストリームを映像復号化装置に送信する。ここで、映像符号化装置は、付加情報に基づいて入力映像が２Ｄ映像、ステレオ映像、または３Ｄ映像であるか否かに応じてベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの順に階層的に符号化する。
【００５３】
一例として、入力映像が２Ｄ映像である場合、映像符号化装置は、２Ｄ映像をベースレイヤに割り当ててもよい。言い換えれば、２Ｄ映像は１つの視点映像を含むため、映像符号化装置は１つの視点映像をベースレイヤに割り当て、ベースレイヤに割り当てられた視点映像を符号化して符号化ビットストリームを生成する。
【００５４】
ここで、映像符号化装置は、入力映像が２Ｄ映像であるため映像モード情報を２Ｄ映像モードに設定する。そして、映像符号化装置は、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。
【００５５】
他の例として、入力映像がステレオ映像である場合、映像符号化装置は、ステレオ映像のうち基準映像をベースレイヤに割り当て、基準映像を除いた異なる１つの隣接映像をステレオレイヤに割り当てる。そして、映像符号化装置は、ベースレイヤ及びステレオレイヤに割り当てられた視点映像を符号化して符号化ビットストリームを生成する。ここで、基準映像とは、他の視点映像を参照することなく、自身の映像情報だけで映像を復元できる映像を意味する。
【００５６】
ここで、映像符号化装置は、入力映像がステレオ映像であるため映像モード情報をステレオ映像モードに設定してもよい。そして、映像符号化装置は、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。ここで、入力映像がステレオ映像である場合、付加情報は、カメラパラメータ情報、解像度情報、及び視点映像の個数情報をさらに含んでもよい。例えば、ステレオ映像は２つの視点映像を含むため、視点映像の個数情報は２である。
【００５７】
他の例として、入力映像が２つの視点映像及び深度映像を含む３Ｄ映像である場合、映像符号化装置は、２つの視点映像のうち基準映像をベースレイヤに割り当て、隣接映像をステレオレイヤに割り当てる。そして、映像符号化装置は、基準映像に対応する深度映像と隣接映像に対応する深度映像を多視点エンハンスメントレイヤに割り当てる。次に、映像符号化装置は、ベースレイヤ、ステレオレイヤ、及び多視点エンハンスメントレイヤの順に各レイヤに割り当てられた映像を符号化して符号化ビットストリームを生成する。
【００５８】
ここで、映像符号化装置は、入力映像が３Ｄ映像であるため映像モード情報を３Ｄ映像モードに設定してもよい。そして、映像符号化装置は、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。ここで、入力映像が３Ｄ映像である場合、付加情報は、カメラパラメータ情報、解像度情報、及び視点映像の個数情報をさらに含んでもよい。例えば、３Ｄ映像が２つの視点映像及び深度映像を含む場合、視点映像の個数情報は２である。
【００５９】
他の例として、映像符号化装置は、入力映像が３個以上の視点映像及び深度映像を含む３Ｄ映像である場合、映像符号化装置は、３個の視点映像のうち基準映像をベースレイヤに割り当て、基準映像と隣接するいずれか１つの隣接映像をステレオレイヤに割り当てる。そして、映像符号化装置は、基準映像に対応する深度映像と隣接映像に対応する深度映像を多視点エンハンスメントレイヤに割り当てる。次に、映像符号化装置は、３個以上の視点映像のうち基準映像及び隣接映像を除いた残りの視点映像と、残りの視点映像に対応する深度映像を多視点拡張レイヤに割り当てる。そして、映像符号化装置は、ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの順に各レイヤに割り当てられた映像を符号化して符号化ビットストリームを生成する。
【００６０】
ここで、映像符号化装置は、入力映像が３Ｄ映像であるため映像モード情報を３Ｄ映像モードに設定してもよい。そして、映像符号化装置は、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。ここで、入力映像が３Ｄ映像である場合、付加情報は、カメラパラメータ情報、解像度情報、及び視点映像の個数情報をさらに含んでもよい。例えば、３Ｄ映像が３個以上の視点映像及び深度映像を含む場合、視点映像の個数情報は３以上である。
【００６１】
図３は、統合された映像圧縮フォーマットを示す図である。図３を参照すると、統合された映像圧縮フォーマットはベースレイヤ（Ｂａｓｅ Ｌａｙｅｒ）３０１、ステレオレイヤ（Ｓｔｅｒｅｏ Ｌａｙｅｒ）３０２、多視点エンハンスメントレイヤ（Ｍｕｌｔｉ−ｖｉｅｗ Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ）３０３、及び多視点拡張レイヤ（Ｍｕｌｔｉ−ｖｉｅｗ Ｅｘｔｅｎｓｉｏｎ Ｌａｙｅｒ）３０４を含む。そして、映像符号化装置は、付加情報に基づいて入力映像を各レイヤに割り当てる。
【００６２】
図３に示すように、ベースレイヤ３０１は、入力映像の符号化において基準となる映像が位置するレイヤである。そして、ステレオレイヤ３０２は、基準映像と隣接する１つ以上の視点映像のいずれか１つの隣接映像が位置するレイヤである。例えば、ベースレイヤ３０１にステレオ映像の左映像が位置する場合、ステレオレイヤ３０２には右映像が位置する。反対に、ベースレイヤ３０１にステレオ映像の右映像が位置する場合、ステレオレイヤ３０２には左映像が位置する。
【００６３】
次に、多視点エンハンスメントレイヤ３０３は、基準映像に対応する深度映像及び隣接映像に対応する深度映像が位置するレイヤである。そして、入力映像が３個以上の視点映像を含む多視点映像である場合、多視点拡張レイヤ３０４はベースレイヤ３０１及びステレオレイヤ３０２に位置する視点映像を除いた残りの視点映像及び残りの視点映像に対応する深度映像が位置する。
【００６４】
一例として、図４を参考して説明すると、入力映像が３個の視点映像及び深度映像を含む３Ｄ映像である場合、映像符号化装置は、３個の視点映像のいずれか１つを基準映像として決定してもよい。ここで、基準映像は、他の視点映像を参照することなく自身の映像情報だけで映像を復元することのできる映像を意味する。例えば、３個の視点映像Ｃ（１）４０１、Ｃ（２）４０２及びＣ（３）４０５のうち、Ｃ（１）４０１が画面内の予測によって復元可能な場合、映像符号化装置は、Ｃ（１）４０１を基準映像として決定する。ここで、基準映像はキーフレーム（Ｋｅｙ Ｆｒａｍｅ）として表してもよい。
【００６５】
次に、映像符号化装置は、基準映像と隣接する１つ以上の視点映像のいずれか１つを隣接映像として決定する。言い換えれば、図４を参考すると、映像符号化装置は、視点映像Ｃ（２）４０２を隣接映像として決定してもよい。ここで、隣接映像は、基準映像と解像度が同一であってもよい。例えば、映像符号化装置は、基準映像と隣接する１つ以上の視点映像のうち基準映像と同一の解像度を有するいずれか１つの視点映像を隣接映像として決定してもよい。
【００６６】
これによって、映像符号化装置は、基準映像に決定された視点映像Ｃ（１）４０１をベースレイヤ４０７に割り当て、隣接映像として決定された視点映像Ｃ（２）４０２をステレオレイヤ４０８に割り当てる。そして、映像符号化装置は、基準映像に対応する深度映像Ｄ（１）４０３と隣接映像に対応する深度映像Ｄ（２）４０４を多視点エンハンスメントレイヤ４０９に割り当ててもよい。次に、映像符号化装置は、３個の視点映像のうち基準映像であるＣ（１）４０１及び隣接映像であるＣ（２）４０２を除いた残りの視点映像Ｃ（３）４０５と視点映像Ｃ（３）４０５に対応する深度映像Ｄ（３）４０６を多視点拡張レイヤ４１０に割り当ててもよい。
【００６７】
他の例として、再び図３を参考すると、入力映像が４個である視点映像及び深度映像を含む３Ｄ映像である合、映像符号化装置は、基準映像として決定された視点映像Ｃ（１）３０７をベースレイヤ３０５に割り当て、隣接映像として決定された視点映像Ｃ（２）３０９をステレオレイヤ３０８に割り当てる。ここで、ステレオレイヤ３０８に割り当てられた視点映像Ｃ（２）３０９の解像度はベースレイヤ３０５に割り当てられた視点映像Ｃ（１）３０７の解像度と同一であってもよい。そして、映像符号化装置は、視点映像Ｃ（１）３０７に対応する深度映像Ｄ（１）３１１及び視点映像Ｃ（２）３０９に対応する深度映像Ｄ（２）３１２を多視点エンハンスメントレイヤ３１０に割り当てる。次に、映像符号化装置は、４個の視点映像のうち基準映像であるＣ（１）３０７及び隣接映像であるＣ（２）３０９を除いた残りの視点映像Ｃ（３）３１４及びＣ（４）３１５、Ｃ（３）３１４に対応する深度映像Ｄ（３）３１６及びＣ（４）３１５に対応する深度映像Ｄ（４）３１７を多視点拡張レイヤ３１３に割り当てる。ここで、多視点拡張レイヤ３１３に割り当てられた視点映像Ｃ（３）３１４及びＣ（４）３１５それぞれの解像度は基準映像及び隣接映像の解像度と同一であってもよく、互いに異なってもよい。同様に、多視点拡張レイヤ３１３に割り当てられた深度映像Ｄ（３）３１６及びＤ（４）３１７それぞれの解像度は基準映像及び隣接映像の解像度と同一であってもよく、互いに異なってもよい。例えば、多視点拡張レイヤ３１３に割り当てられた視点映像Ｃ（３）３１４、Ｃ（４）３１５、深度映像Ｄ（３）３１６、Ｄ（４）３１７それぞれの解像度は基準映像及び隣接映像の解像度よりも小さいか同一であってもよい。
【００６８】
図５は、階層的符号化によって生成された符号化ビットストリームの構造を示す図である。図５に示すように、符号化ビットストリームは、ベースレイヤストリーム５０１、ステレオレイヤストリーム５０２、多視点エンハンスメントレイヤストリーム５０３、多視点拡張レイヤストリーム５０４を含む。ここで、ベースレイヤストリーム５０１は基準映像を符号化したストリーム、ステレオレイヤストリーム５０２は隣接映像を符号化したストリーム、多視点エンハンスメントレイヤストリーム５０３は基準映像に対応する深度映像及び隣接映像に対応する深度映像を符号化したストリーム、多視点拡張レイヤストリーム５０４は入力映像に含まれた視点映像のうち基準映像及び隣接映像を除外した残りの視点映像と残りの視点映像に対応する深度映像を符号化したストリームである。
【００６９】
例えば、入力映像が４個の視点映像Ｃ１〜Ｃ４及び深度映像Ｄ１〜Ｄ４を含む３Ｄ映像である場合、ベースレイヤストリーム５０１は符号化された視点映像Ｃ１を含み、ステレオレイヤストリーム５０２は符号化された視点映像Ｃ２を含み、多視点エンハンスメントレイヤストリーム５０３は符号化された深度映像Ｄ１、Ｄ２を含み、多視点拡張レイヤストリーム５０４は符号化された視点映像Ｃ３、Ｃ４、及び深度映像Ｄ３、Ｄ４を含んでもよい。
【００７０】
以下は、統合された映像圧縮フォーマットの各レイヤに割り当てられた視点映像及び深度映像の少なくとも１つを階層的に符号化する過程について詳細に説明することにする。
【００７１】
図６は、各レイヤに割り当てられた映像を階層的に符号化する動作を説明するために提供されるフローチャートである。図６において、符号化動作は図１０に示す映像符号化装置１０００によって行われる。ここで、図６において図４に示すように入力映像が３個の視点映像及び深度映像を含む３Ｄ映像である場合に各レイヤに割り当てられた映像を階層的に符号化する動作について説明することにする。
【００７２】
まず、ステップＳ６０１において、映像符号化装置は、ベースレイヤに割り当てられた基準映像を符号化する。ここで、映像符号化装置は、空間軸を基準として基準映像を画面内予測符号化する。そして、映像符号化装置は、時間軸を基準として基準映像を以前映像の少なくとも１つを参照して符号化する。ここで、以前映像は、現在の時間を基準として基準映像と時系列的に以前に位置する映像を意味する。
【００７３】
次に、ステップＳ６０２において、映像符号化装置は、ステレオレイヤに割り当てられた隣接映像を符号化する。ここで、隣接映像の解像度は基準映像の解像度と同一であり、隣接映像は基準映像と隣接する映像のいずれか１つであってもよい。
【００７４】
ここで、映像符号化装置は、空間軸を基準としてベースレイヤに割り当てられた基準映像を参照して隣接映像を視点間予測符号化する。ここで、視点間予測符号化は画面間予測符号化に表してもよい。そして、映像符号化装置は、時間軸を基準として隣接映像の以前映像の少なくとも１つを参照して隣接映像を符号化する。
【００７５】
そして、ステップＳ６０３において、映像符号化装置は、多視点エンハンスメントレイヤに割り当てられた深度映像を符号化する。ここで、映像符号化装置は、空間軸を基準として基準映像に対応する深度映像を画面内予測符号化してもよい。そして、映像符号化装置は、空間軸を基準として隣接映像に対応する深度映像と同一の時間帯に位置する深度映像である基準映像の深度映像を参照して隣接映像に対応する深度映像を符号化する。そして、映像符号化装置は、時間軸を基準として基準映像に対応する深度映像の以前映像を参照して基準映像に対応する深度映像を符号化し、隣接映像に対応する深度映像の以前映像を参照して以前映像に対応する深度映像を符号化する。
【００７６】
次に、ステップＳ６０４において、映像符号化装置は、多視点拡張レイヤに割り当てられた視点映像及び深度映像を符号化する。
【００７７】
ここで、映像符号化装置は、空間軸を基準として多視点拡張レイヤに割り当てられた視点映像と同一の時間帯に位置する少なくとも１つの視点映像を参照して視点間予測符号化する。そして、映像符号化装置は、時間軸を基準として多視点拡張レイヤに割り当てられた視点映像の以前映像を参照して多視点拡張レイヤに割り当てられた視点映像を符号化する。次に、映像符号化装置は、空間軸を基準として多視点拡張レイヤに割り当てられた深度映像と同一の時間帯に位置する少なくとも１つの深度映像を参照して視点間予測符号化する。そして、映像符号化装置は、時間軸を基準として多視点拡張レイヤに割り当てられた深度映像の隣接映像を参照して多視点拡張レイヤに割り当てられた深度映像を符号化する。
【００７８】
そして、ステップＳ６０５において、映像符号化装置は符号化ビットストリームを映像復号化装置に送信する。
【００７９】
例えば、映像符号化装置は、ステップＳ６０１からステップＳ６０３において、ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤそれぞれに割り当てられた映像を階層的に符号化して符号化ビットストリームを生成する。そして、映像符号化装置は、符号化ビットストリームを映像復号化装置に送信する。
【００８０】
図７は、３個の視点映像及び深度映像を含む３Ｄ映像を階層的に符号化する過程を説明するために提供される図である。図７を参照すると、３個の視点映像のうちＣ（１）７０１が基準映像と決定された場合、映像符号化装置は、空間軸を基準としてベースレイヤに割り当てられた基準映像Ｃ（１）７０１を画面内予測符号化し、時間軸を基準としてＣ（１）７０１の以前映像を参照してＣ（１）７０１を符号化する。
【００８１】
次に、基準映像Ｃ（１）７０１と隣接する視点映像Ｃ（２）７０２及びＣ（３）７０３のうち、Ｃ（２）７０２が隣接映像に決定されてステレオレイヤに割り当てられた場合、映像符号化装置は、空間軸を基準として隣接映像Ｃ（２）７０２と同一時間帯に位置する少なくとも１つの視点映像を参照してＣ（２）７０２を視点間予測符号化する。そして、映像符号化装置は、時間軸を基準として隣接映像Ｃ（２）７０２の以前映像を参照してＣ（２）７０２を符号化する。
【００８２】
例えば、映像符号化装置は、空間軸を基準としてＣ（１）７０１を参照してＣ（２）７０２を符号化する。また、映像符号化装置は、空間軸を基準としてＣ（３）７０３を参照してＣ（２）７０２を符号化する。また、映像符号化装置は、空間軸を基準としてＣ（１）７０１及びＣ（３）７０３を参照してＣ（２）７０２を符号化する。
【００８３】
そして、映像符号化装置は、空間軸を基準として多視点エンハンスメントレイヤに割り当てられたＣ（１）７０１の深度映像Ｄ（１）７０４を画面内予測符号化する。次に、映像符号化装置は、時間軸を基準として深度映像Ｄ（１）７０４の以前映像を参照してＤ（１）７０４を符号化する。そして、映像符号化装置は、空間軸を基準としてＤ（１）７０４及びＤ（３）７０６の少なくとも１つを参照してＣ（２）７０２の深度映像Ｄ（２）７０５を視点間予測符号化する。次に、映像符号化装置は、時間軸を基準としてＤ（２）７０５の以前映像を参照してＤ（２）７０５を符号化する。
【００８４】
そして、映像符号化装置は、Ｃ（２）７０５と同一の方式によって多視点拡張レイヤに割り当てられたＣ（３）７０３及びＤ（３）７０６を符号化する。
【００８５】
例えば、映像符号化装置は、空間軸を基準としてＣ（１）７０１及びＣ（２）７０２の少なくとも１つを参照してＣ（３）７０３を視点間予測符号化する。そして、映像符号化装置は、時間軸を基準としてＣ（３）７０３の以前映像を参照してＣ（３）７０３を符号化する。次に、映像符号化装置は、空間軸を基準としてＤ（１）７０４及びＤ（２）７０５の少なくとも１つを参照してＤ（３）７０６を視点間予測符号化する。そして、映像符号化装置は、時間軸を基準としてＤ（３）７０６の以前映像を参照してＤ（３）７０６を符号化する。
【００８６】
図８は、４個の視点映像及び深度映像を含む３Ｄ映像を各階層に割り当てた構成を示す図である。
【００８７】
そして、図９は、解像度変換を用いて３Ｄ映像を階層的に符号化する過程を説明するために提供される図である。
【００８８】
図８及び図９において、入力映像は４個の視点映像及び深度映像を含む３Ｄ映像であってもよい。図８及び図９を参照すると、４個の視点映像のうちＣ（１）８０１が基準映像と決定された場合、映像符号化装置は、空間軸を基準としてベースレイヤに割り当てられた基準映像Ｃ（１）８０１を画面内予測符号化し、時間軸を基準としてＣ（１）８０１の以前映像を参照してＣ（１）８０１を符号化する。
【００８９】
次に、基準映像Ｃ（１）８０１と隣接する視点映像Ｃ（２）８０２、Ｃ（３）８０３、及びＣ（４）８０４のうちＣ（２）８０２が隣接映像と決定されてステレオレイヤに割り当てられた場合、映像符号化装置は、空間軸を基準として隣接映像Ｃ（２）８０２と同一時間帯に位置する少なくとも１つの視点映像を参照してＣ（２）８０２を視点間予測符号化する。例えば、映像符号化装置は、空間軸を基準としてＣ（１）８０１、Ｃ（２）８０２、及びＣ（３）８０３の少なくとも１つを参照してＣ（２）８０２を符号化する。
【００９０】
そして、映像符号化装置は、時間軸を基準として隣接映像Ｃ（２）８０２の以前映像を参照してＣ（２）８０２を符号化する。ここで、Ｃ（２）８０２とＣ（１）８０１の解像度は同一であり、Ｃ（３）８０３又はＣ（４）８０４の解像度はＣ（２）８０２及びＣ（１）８０１の解像度と同一であってもよく、互いに異なってもよい。
【００９１】
次に、映像符号化装置は、空間軸を基準として多視点エンハンスメントレイヤに割り当てられたＣ（１）８０１の深度映像Ｄ（１）８０５を画面内予測符号化する。次に、映像符号化装置は、時間軸を基準として深度映像Ｄ（１）８０５の以前映像を参照してＤ（１）８０５を符号化する。そして、映像符号化装置は、空間軸を基準としてＤ（１）８０５を参照してＣ（２）８０２の深度映像Ｄ（２）８０６を視点間予測符号化する。次に、映像符号化装置は、時間軸を基準としてＤ（２）８０６の以前映像を参照してＤ（２）８０６を符号化する。
【００９２】
そして、映像符号化装置は、多視点拡張レイヤに割り当てられたＣ（３）８０３、Ｃ（４）８０４、Ｄ（３）８０７、及びＤ（４）８０８を符号化する。
【００９３】
ここで、Ｃ（３）８０３、Ｃ（４）８０４の解像度がＣ（１）８０１、Ｃ（２）８０２の解像度の未満である場合、映像符号化装置は、空間軸を基準としてＣ（１）８０１及びＣ（２）８０２の少なくとも１つの解像度を変換する。
【００９４】
一例として、映像符号化装置は、Ｃ（１）８０１をダウンスケーリングしてＣ（１）８０１の解像度をＣ（３）８０３の解像度と同一の解像度に変換してもよい。そして、映像符号化装置は、解像度が変換されたＣ（１）８０１を参照してＣ（３）８０３を視点間予測符号化してもよい。
【００９５】
他の例として、映像符号化装置は、Ｃ（２）８０２の解像度をＣ（３）８０３の解像度と同一の解像度に変換してもよい。そして、映像符号化装置は、解像度が変換されたＣ（２）８０２を参照してＣ（３）８０３を視点間予測符号化してもよい。
【００９６】
他の例として、映像符号化装置は、Ｃ（１）８０１及びＣ（２）８０２の解像度をＣ（３）８０３の解像度と同一の解像度に変換してもよい。そして、映像符号化装置は、解像度が変換されたＣ（１）８０１及びＣ（２）８０２を参照してＣ（３）８０３を視点間予測符号化してもよい。
【００９７】
他の例として、映像符号化装置は、Ｃ（１）８０１及びＣ（２）８０２の解像度をＣ（３）８０３の解像度と同一の解像度に変換してもよい。そして、映像符号化装置は、Ｃ（３）８０３、解像度が変換されたＣ（１）８０１及びＣ（２）８０２の少なくとも１つを参照してＣ（３）８０３を視点間予測符号化してもよい。
【００９８】
そして、映像符号化装置は、時間軸を基準としてＣ（３）８０３の以前映像を参照してＣ（３）８０３を符号化する。
【００９９】
次に、映像符号化装置は、Ｃ（３）８０３と同一の方法によって、Ｃ（４）８０４を視点間予測符号化する。例えば、映像符号化装置は、Ｃ（１）８０１及びＣ（２）８０２の少なくとも１つの解像度をＣ（４）８０４と同一の解像度に変換してもよい。そして、映像符号化装置は、Ｃ（３）８０３、解像度が変換されたＣ（１）８０１及びＣ（２）８０２の少なくとも１つを参照してＣ（４）８０４を視点間予測符号化する。そして、映像符号化装置は、時間軸を基準としてＣ（４）８０４の以前映像を参照してＣ（４）８０４を符号化する。
【０１００】
同様に、映像符号化装置は、空間軸を基準としてＤ（３）８０７及びＤ（４）８０８を視点間予測符号化する。
【０１０１】
一例として、映像符号化装置は、Ｄ（１）８０５及びＤ（２）８０６の少なくとも１つの解像度をＤ（３）８０７と同一の解像度に変換してもよい。そして、映像符号化装置は、Ｄ（４）８０８、解像度が変換されたＤ（１）８０５及びＤ（２）８０６の少なくとも１つを参照してＤ（３）８０７を視点間予測符号化する。そして、映像符号化装置は、時間軸を基準としてＤ（３）８０７の以前映像を参照してＤ（３）８０７を符号化してもよい。
【０１０２】
他の例として、映像符号化装置は、Ｄ（１）８０５及びＤ（２）８０６の少なくとも１つの解像度をＤ（４）８０８と同一の解像度に変換してもよい。そして、映像符号化装置は、Ｄ（３）８０７、解像度が変換されたＤ（１）８０５及びＤ（２）８０６の少なくとも１つを参照してＤ（４）８０８を視点間予測符号化してもよい。そして、映像符号化装置は、時間軸を基準としてＤ（４）８０８の以前映像を参照してＤ（４）８０８を符号化してもよい。
【０１０３】
図１０は、映像符号化装置の細部構成を示すブロック図である。図１０に示すように、映像符号化装置１０００はレイヤ割当部１００１及び符号化部１００２を備える。
【０１０４】
まず、レイヤ割当部１００１は、付加情報に基づいて入力映像をベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの少なくとも１つに割り当てる。ここで、付加情報は、解像度情報、符号化ビットストリームに含まれた視点映像の数を示す視点映像の個数情報、カメラパラメータ情報、及び映像モード情報の少なくとも１つを含んでもよい。
【０１０５】
一例として、入力映像が２Ｄ映像である場合、レイヤ割当部１００１は２Ｄ映像をベースレイヤに割り当ててもよい。これによって、符号化部１００２はＨ．２６４／ＡＶＣ、ＨＥＶＣなどのような映像符号化方法を用いてベースレイヤに割り当てられた２Ｄ映像を符号化して符号化ビットストリームを生成する。例えば、符号化部１００２は空間軸を基準として２Ｄ映像を画面内予測符号化し、時間軸を基準として以前映像を参照して２Ｄ映像を符号化して符号化ビットストリームを生成する。
【０１０６】
ここで、符号化部１００２は映像モード情報を２Ｄ映像モードに設定し、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。
【０１０７】
他の例として、入力映像がステレオ映像である場合、レイヤ割当部１００１は２つの視点映像のいずれか１つを基準映像として決定し、基準映像を除いた残り１つの視点映像を隣接映像として決定してもよい。ここで、基準映像は、他の映像を参照することなく自身の映像情報だけで映像を復元できる映像を意味する。これによって、レイヤ割当部１００１は基準映像をベースレイヤに割り当て、隣接映像をステレオレイヤに割り当ててもよい。ここで、ベースレイヤに割り当てられる視点映像とステレオレイヤに割り当てられる視点映像の解像度は同一であってもよい。
【０１０８】
これによって、符号化部１００２は、ベースレイヤ及びステレオレイヤの順に階層的に符号化して符号化ビットストリームを生成する。例えば、符号化部１００２は空間軸を基準として、ベースレイヤに割り当てられた基準映像を画面内予測符号化し、時間軸を基準として以前映像を参照して２Ｄ映像を符号化する。そして、符号化部１００２は、空間軸を基準としてステレオレイヤに割り当てられた隣接映像と同一時間帯に位置する視点映像の基準映像を参照して隣接映像を視点間予測符号化する。ここで、符号化部１００２は映像モード情報をステレオ映像モードに設定し、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。
【０１０９】
他の例として、入力映像が２つの視点映像及び深度映像を含む３Ｄ映像である場合、レイヤ割当部１００１は２つの視点映像のいずれか１つを基準映像として決定し、基準映像を除いた残りの１つの視点映像を隣接映像として決定してもよい。これによって、レイヤ割当部１００１は基準映像をベースレイヤに割り当て、隣接映像をステレオレイヤに割り当ててもよい。そして、レイヤ割当部１００１は、基準映像に対応する深度映像と隣接映像に対応する深度映像を多視点エンハンスメントレイヤに割り当ててもよい。
【０１１０】
これによって、符号化部１００２は、ベースレイヤ、ステレオレイヤ、及び多視点エンハンスメントレイヤの順に階層的に符号化して符号化ビットストリームを生成する。例えば、符号化部１００２は、空間軸を基準として多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像を画面内予測符号化し、時間軸を基準として以前映像を参照して基準映像の深度映像を符号化して多視点エンハンスメントレイヤストリームを生成する。ここで、ベースレイヤ及びステレオレイヤに割り当てられた視点映像を符号化する動作はステレオ映像を符号化する動作と同一であるため、繰り返しの説明は省略することにする。
【０１１１】
ここで、符号化部１００２は映像モード情報を３Ｄ映像モードに設定し、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。
【０１１２】
他の例として、入力映像が３個以上の視点映像及び深度映像を含む３Ｄ映像である場合、レイヤ割当部１００１は３個以上の視点映像のいずれか１つを基準映像として決定し、基準映像と隣接する映像のいずれか１つを隣接映像として決定してもよい。ここで、隣接映像と基準映像の解像度は同一であってもよい。これによって、レイヤ割当部１００１は基準映像をベースレイヤに割り当て、隣接映像をステレオレイヤに割り当ててもよい。次に、レイヤ割当部１００１は、基準映像に対応する深度映像と隣接映像に対応する深度映像を多視点エンハンスメントレイヤに割り当てる。そして、レイヤ割当部１００１は、３個以上の視点映像及び深度映像のうち基準映像、隣接映像、基準映像の深度映像、及び隣接映像の深度映像を除いた視点映像と深度映像を多視点拡張レイヤに割り当ててもよい。
【０１１３】
これによって、符号化部１００２は、ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの順に階層的に符号化して符号化ビットストリームを生成する。
【０１１４】
例えば、符号化部１００２は、空間軸を基準としてベースレイヤに割り当てられた基準映像及びステレオレイヤに割り当てられた隣接映像の少なくとも１つを参照して、多視点拡張レイヤに割り当てられた視点映像を視点間予測符号化する。そして、符号化部１００２は、時間軸を基準として多視点拡張レイヤに割り当てられた視点映像の以前映像を参照して多視点拡張レイヤに割り当てられた視点映像を符号化する。同一の方法として、符号化部１００２は、多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び隣接映像の深度映像の少なくとも１つを参照して多視点拡張レイヤに割り当てられた視点映像の深度映像を視点間予測符号化する。
【０１１５】
ここで、多視点拡張レイヤに割り当てられた視点映像の解像度が基準映像及び隣接映像の解像度と異なる場合、符号化部１００２は、基準映像及び隣接映像の少なくとも１つの解像度を多視点拡張レイヤに割り当てられた視点映像の解像度と同一になるよう変換してもよい。そして、符号化部１００２は、解像度が変換された基準映像及び隣接映像の少なくとも１つを参照して多視点拡張レイヤに割り当てられた視点映像を視点間予測符号化する。
【０１１６】
同様に、多視点拡張レイヤに割り当てられた視点映像に対応する深度映像の解像度が基準映像の深度映像及び隣接映像の深度映像の解像度と異なる場合、符号化部１００２は、基準映像の深度映像及び隣接映像の深度映像の少なくとも１つの解像度を多視点拡張レイヤに割り当てられた視点映像に対応する深度映像の解像度と同一になるように変換してもよい。そして、符号化部１００２は、解像度が変換された基準映像の深度映像及び隣接映像の深度映像の少なくとも１つを参照して、多視点拡張レイヤに割り当てられた視点映像の深度映像を視点間予測符号化する。
【０１１７】
そして、符号化部１００２は映像モード情報を３Ｄ映像モードに設定し、映像モード情報を含む付加情報を符号化ビットストリームに挿入して映像復号化装置に送信する。
【０１１８】
図１０において、２Ｄ映像は色及びカラー情報を含む１つの視点映像（１ｖｉｅｗ）を含み、ステレオ映像は色及びカラー情報を含む２つの視点映像（２ｖｉｅｗ）を含み、３Ｄ映像は色及びカラー情報を含む３個以上の視点映像と各視点映像に対応する深度映像を含んでもよい。例えば、ステレオ映像は左映像及び右映像を含む両眼式映像を含み、３Ｄ画像は多視点画像を含んでもよい。
【０１１９】
図１１は、統合された映像圧縮フォーマットに基づいて符号化ビットストリームを復号化する動作を説明するために提供されるフローチャートである。図１１において、符号化ビットストリームを復号化する動作は図１３に示す映像復号化装置によって行われる。
【０１２０】
まず、ステップＳ１１０１において、映像復号化装置は、映像符号化装置から階層的に符号化された符号化ビットストリームを受信する。ここで、符号化ビットストリームは、ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含んでもよい。
【０１２１】
次に、ステップＳ１１０２において、映像復号化装置は、付加情報に基づいて符号化ビットストリームを階層的に復号化する。ここで、付加情報は、解像度情報、視点映像の個数情報、カメラパラメータ情報、及び映像モード情報の少なくとも１つを含んでもよい。
【０１２２】
例えば、映像復号化装置は、映像モード情報が２Ｄ映像モードであるか、ステレオ映像モードであるか、または、３Ｄ映像モードと設定されたかに応じてベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームの少なくとも１つを復号化する。
【０１２３】
図１２は、映像モード情報により符号化ビットストリームを階層的に復号化する動作を説明するために提供されるフローチャートである。
【０１２４】
まず、ステップＳ１２０１において、映像モード情報が２Ｄ映像モードである場合、ステップＳ１２０２において、映像復号化装置は、符号化ビットストリームのうちベースレイヤストリームだけを復号化して２Ｄ映像を復元する。言い換えれば、映像復号化装置は、ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを全て復号化する必要がなく、ベースレイヤストリームだけを復号化して残りのレイヤストリームを廃棄する。
【０１２５】
そして、ステップＳ１２０３において、映像モード情報がステレオ映像モードである場合、ステップＳ１２０４において、映像復号化装置は、ベースレイヤストリーム及びステレオレイヤストリームを復号化してステレオ映像を復元する。
【０１２６】
次に、ステップＳ１２０５において、映像モード情報が３Ｄ映像モードである場合、ステップＳ１２０６において、映像復号化装置は、各レイヤストリームを復号化して３Ｄ映像を復元する。
【０１２７】
一例として、２つの視点映像を符号化して生成された符号化ビットストリームを映像符号化装置から受信し、付加情報に含まれた映像モード情報が３Ｄ映像モードと設定された場合、映像復号化装置は、ベースレイヤストリーム及びステレオレイヤストリームを復号化して２つの視点映像を復元する。例えば、映像復号化装置は、基準映像及び隣接映像を復元してもよい。そして、映像復号化装置は、２つの視点映像の少なくとも１つを参照して２つの視点映像のそれぞれに対応する深度映像を生成する。例えば、映像復号化装置は、深度推定（Ｄｅｐｔｈ Ｅｓｔｉｍａｔｉｏｎ）又は視差推定（Ｄｉｓｐａｒｉｔｙ Ｅｓｔｉｍａｔｉｏｎ）アルゴリズムを用いて２つの深度映像を生成する。言い換えれば、映像復号化装置は、基準映像の深度映像及び隣接映像の深度映像を生成する。これによって、ステップＳ１２０７において、映像復号化装置は、生成された基準映像の深度映像、隣接映像の深度映像、復元された基準映像及び隣接映像を合成して多視点映像を生成する。
【０１２８】
他の例として、２つの視点映像及び深度映像を符号化して生成された符号化ビットストリームを映像符号化装置から受信し、付加情報に含まれた映像モード情報が３Ｄ映像モードと設定された場合、映像復号化装置は、ベースレイヤストリーム及びステレオレイヤストリームを復号化して２つの視点映像を復元し、多視点エンハンスメントレイヤストリームを復号化して２つの深度映像を復元する。言い換えれば、映像復号化装置は、基準映像、隣接映像、基準映像の深度映像及び隣接映像の深度映像を復元してもよい。そして、映像復号化装置は、基準映像及び隣接映像に基づいて内挿（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）又は外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）を用いて１つ以上の仮想視点映像を生成する。ここで、映像復号化装置は、生成しようとする仮想視点映像の位置に基づいて内挿又は外挿を用いてもよい。例えば、生成しようとする仮想視点映像の位置が基準映像及び隣接映像の間である場合、映像復号化装置は内挿を用いて仮想視点映像を生成する。そして、生成しようとする仮想視点映像の位置が基準映像及び隣接映像の間ではない場合、映像復号化装置は、外挿を用いて仮想視点映像を生成する。
【０１２９】
同じ方法として、映像復号化装置は、復元された基準映像の深度映像及び隣接映像の深度映像に基づいて内挿又は外挿を用いて仮想視点映像に対応する深度映像を生成する。これによって、映像復号化装置は、復元された２つの視点映像及び深度映像、そして生成された１つ以上の仮想視点映像及び仮想視点映像に対応する深度映像を合成して多視点映像を生成する。
【０１３０】
他の例として、３個以上の視点映像及び深度映像を符号化して生成された符号化ビットストリームを映像符号化装置から受信し、付加情報に含まれた映像モード情報が３Ｄ映像モードと設定された場合、映像復号化装置は、ベースレイヤストリーム及びステレオレイヤストリームを復号化して２つの視点映像を復元し、多視点エンハンスメントレイヤストリームを復号化して２つの深度映像を復元してもよい。そして、映像復号化装置は、多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた１つ以上の視点映像及び深度映像を復元してもよい。これによって、映像復号化装置は、復元された３個以上の視点映像及び３個以上の深度映像を合成して多視点映像を生成する。
【０１３１】
他の例として、３個以上の視点映像及び深度映像を符号化して生成された符号化ビットストリームを映像符号化装置から受信し、付加情報に含まれた映像モード情報が３Ｄ映像モードと設定された場合、映像復号化装置は、ベースレイヤストリーム及びステレオレイヤストリームを復号化して２つの視点映像を復元し、多視点エンハンスメントレイヤストリームを復号化して２つの深度映像を復元してもよい。そして、映像復号化装置は、多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた視点映像及び深度映像を復元してもよい。これによって、映像復号化装置は、復元された３個以上の視点映像のうち少なくとも２以上に基づいて内挿又は外挿を用いて１つ以上の仮想視点映像を生成する。
【０１３２】
同じ方法として、映像復号化装置は、復元された３個の視点映像のそれぞれに対応する深度映像のうち少なくとも２以上に基づいて内挿又は外挿を用いて仮想視点映像に対応する深度映像を生成する。これによって、映像復号化装置は、復元された２つの視点映像及び深度映像、そして生成された１つ以上の仮想視点映像及び仮想視点映像に対応する深度映像を合成して多視点映像を生成する。
【０１３３】
図１３は、映像復号化装置の詳細構成を示すブロック図である。図１３に示すように、映像復号化装置１３００は、ビットストリーム受信部１３０１、復号化部１３０２、深度映像生成部１３０３、及び視点映像合成部１３０４を備える。
【０１３４】
まず、ビットストリーム受信部１３０１は、映像符号化装置で階層的に符号化された符号化ビットストリームを受信する。ここで、符号化ビットストリームは、ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含んでもよい。
【０１３５】
これによって、復号化部１３０２は、符号化ビットストリームに挿入された付加情報に基づいて符号化ビットストリームを階層的に復号化する。ここで、付加情報は、解像度情報、視点映像の個数情報、カメラパラメータ情報、及び映像モード情報の少なくとも１つを含んでもよい。
【０１３６】
ここで、復号化部１３０２は、２Ｄ復号化部１３０５、ステレオ復号化部１３０６、及び３Ｄ復号化部１３０７を備える。
【０１３７】
まず、映像モード情報が２Ｄ映像モードである場合、２Ｄ復号化部１３０５はベースレイヤストリームを復号化して２Ｄ映像を復元する。例えば、２Ｄ復号化部１３０５は、Ｈ．２６４／ＡＶＣ、ＨＥＶＣなどのような映像復号化方法を用いてベースレイヤストリームを復号化してもよい。これによって、復元された２Ｄ映像は２Ｄ映像再生装置を介して再生する。
【０１３８】
そして、映像モード情報がステレオ映像モードである場合、ステレオ復号化部１３０６は、ベースレイヤストリーム及びステレオレイヤストリームを復号化してステレオ映像を復元する。ここで、ステレオ映像は２つの視点映像を含んでもよい。ここで、ステレオ映像は基準映像Ｃ１及び隣接映像Ｃ２を含んでもよい。例えば、ステレオ復号化部１３０６は、Ｈ．２６４／ＡＶＣ、ＨＥＶＣなどのような映像復号化方法を用いてベースレイヤストリーム及びステレオストリームを復号化する。これによって、復元されたステレオ映像は、両眼式再生装置などのステレオ映像再生装置を介して再生する。
【０１３９】
ここで、映像モード情報が３Ｄ映像モードである場合にも、ステレオ復号化部１３０６は、ベースレイヤストリーム及びステレオレイヤストリームを復号化してステレオ映像を復元する。これによって、深度映像生成部１３０３は、復元された基準映像及び隣接映像の少なくとも１つを参照して基準映像の深度映像及び隣接映像の深度映像を生成する。そして、視点映像合成部１３０４は、復元された基準映像、復元された隣接映像、生成された基準映像の深度映像、及び生成された隣接映像の深度映像を合成して多視点映像を生成する。これによって、生成された多視点映像はオートステレオスコピック（Ａｕｔｏ−ｓｔｅｒｅｏｓｃｏｐｉｃ）再生装置を介して再生することができる。
【０１４０】
また、映像モード情報が３Ｄ映像モードである場合、３Ｄ復号化部１３０７は、ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元し、多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元する。これによって、視点映像合成部１３０４は、復元された基準映像及び隣接映像に基づいて内挿又は外挿を用いて１つ以上の仮想視点映像を生成する。そして、視点映像合成部１３０４は、復元された基準映像の深度映像及び隣接映像の深度映像に基づいて、内挿又は外挿を用いて仮想視点映像に対応する深度映像を生成する。次に、視点映像合成部１３０４は、基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像及び仮想視点映像の深度映像を合成して多視点映像を生成する。
【０１４１】
また、映像モード情報が３Ｄ映像モードである場合、３Ｄ復号化部１３０７は、ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元し、多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元する。そして、３Ｄ復号化部１３０７は、多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた視点映像及び視点映像に対応する深度映像を復元する。これによって、視点映像合成部１３０４は、基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、多視点拡張レイヤに割り当てられた視点映像、及び視点映像の深度映像を合成して多視点映像を生成する。
【０１４２】
ここで、視点映像合成部１３０４は、基準映像、隣接映像及び多視点拡張レイヤに割り当てられた視点映像のうち少なくとも２以上に基づいて内挿又は外挿を用いて１つ以上の仮想視点映像を生成する。同じ方法によって、視点映像合成部１３０４は、基準映像の深度映像、隣接映像の深度映像及び多視点拡張レイヤに割り当てられた視点映像の深度映像のうち少なくとも２以上に基づいて内挿又は外挿を用いて仮想視点映像に対応する深度映像を生成する。そして、視点映像合成部１３０４は、基準映像、隣接映像、多視点拡張レイヤに割り当てられた視点映像、仮想視点映像、基準映像の深度映像、隣接映像の深度映像、多視点拡張レイヤに割り当てられた視点映像の深度映像、及び前記視点映像の深度映像を合成して多視点映像を生成する。
【０１４３】
一方、図１２及び図１３に示すように、映像復号化装置が解像度変換による映像を入力によって生成された符号化ビットストリームを映像符号化装置から受信した場合、映像復号化装置も復号化映像に対しても解像度変換を用いて元の入力解像度に復元することができる。
【０１４４】
一例として、映像符号化装置から、３個の視点映像及び深度映像を含む３Ｄ映像を符号化して生成された符号化ビットストリームを受信した場合、復号化部１３０２は、付加情報に含まれた解像度情報に基づいて復元された基準映像及び復元された隣接映像の少なくとも１つの解像度を変換する。例えば、復号化部１３０２は、復元された基準映像及び復元された隣接映像の少なくとも１つの解像度をダウンスケーリングしてもよい。これによって、復元された基準映像及び復元された隣接映像の少なくとも１つの解像度は、符号化の前に多視点拡張レイヤに割り当てられた視点映像の解像度と同一になるよう変換されてもよい。
【０１４５】
そして、復号化部１３０２は、解像度が変換された基準映像及び隣接映像の少なくとも１つを参照して多視点拡張レイヤに割り当てられた視点映像を復元する。同じ方法によって復号化部１３０２は、解像度が変換された基準映像の深度映像及び隣接映像の深度映像の少なくとも１つを参照して多視点拡張レイヤに割り当てられた視点映像の深度映像を復元する。
【０１４６】
他の例として、映像符号化装置は、解像度変換情報を符号化ビットストリームに挿入して映像復号化装置に送信する。ここで、解像度変換情報は、基準映像及び隣接映像の少なくとも１つをダウンスケーリングした比率、及び基準映像の深度映像及び隣接映像の深度映像の少なくとも１つをダウンスケーリングした比率の少なくとも１つを含んでもよい。
【０１４７】
これによって、復号化部１３０２は、解像度変換情報に基づいて復元された基準映像及び復元された隣接映像の少なくとも１つをダウンスケーリングして解像度を変換する。そして、復号化部１３０２は、解像度が変換された基準映像及び隣接映像の少なくとも１つを参照して多視点拡張レイヤに割り当てられた視点映像を復元する。同じ方法によって復号化部１３０２は、解像度変換情報に基づいて復元された基準映像の深度映像及び復元された隣接映像の深度映像の少なくとも１つをダウンスケーリングして解像度を変換する。そして、解像度が変換された基準映像の深度映像及び隣接映像の深度映像の少なくとも１つを参照して、多視点拡張レイヤに割り当てられた視点映像の深度映像を復元してもよい。
【０１４８】
以上で説明したように、映像符号化装置は、統合された映像圧縮フォーマットに基づいて入力映像を階層的に符号化して映像復号化装置に送信し、映像復号化装置は、符号化ビットストリームを付加情報に基づいて階層的に復号化して入力映像を復元することができる。言い換えれば、入力映像が２Ｄ映像、ステレオ映像、３Ｄ映像であるか否かに関係なく、映像符号化装置は入力映像を符号化し、映像復号化装置は符号化ビットストリームを復号化して２Ｄ映像、ステレオ映像、または、３Ｄ映像を復元する。これによって、従来の２Ｄ映像再生装置、ステレオ映像再生装置、及び３Ｄ映像再生装置の全てで本映像符号化及び復号化装置において符号化及び復号化によって復元された映像を再生することができる。
【０１４９】
本発明の実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つ又はその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるようなマシンコードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高水準コードを含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。
【０１５０】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な変更及び変形が可能である。
【０１５１】
したがって、本発明の範囲は、開示された実施の形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０１５２】
１０００ 映像符号化装置
１００１ レイヤ割当部
１００２ 符号化部
１３００ 映像復号化装置
１３０１ ビットストリーム受信部
１３０２ 復号化部
１３０３ 深度映像生成部
１３０４ 視点映像合成部
１３０５ ２Ｄ復号化部
１３０６ ステレオ復号化部
１３０７ ３Ｄ復号化部
【特許請求の範囲】
【請求項１】
入力映像に含まれた少なくとも１つの視点映像をベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの少なくとも１つに割り当てるステップと、
前記ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ及び多視点拡張レイヤに割り当てられた映像を階層的に符号化するステップと、
を含むことを特徴とする映像符号化方法。
【請求項２】
前記符号化するステップは、
前記ベースレイヤに割り当てられた基準映像を参照し、前記ステレオレイヤに割り当てられた隣接映像を視点間予測符号化し、
前記隣接映像は前記基準映像と隣接する映像である、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項３】
前記符号化するステップは、
前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像を画面内予測符号化するステップと、
前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像を視点間予測符号化するステップと、
を含むことを特徴とする請求項１記載の映像符号化方法。
【請求項４】
前記符号化するステップは、前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つを参照して、前記多視点エンハンスメントレイヤに割り当てられた視点映像を視点間予測符号化する、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項５】
前記符号化するステップは、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像の少なくとも１つを参照して、前記多視点拡張レイヤに割り当てられた視点映像の深度映像を視点間予測符号化する、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項６】
前記符号化するステップは、
前記多視点拡張レイヤに割り当てられた視点映像の解像度に基づいて前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つの解像度を変換するステップと、
前記解像度が変換された基準映像及び隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化するステップと、
を含むことを特徴とする請求項１記載の映像符号化方法。
【請求項７】
前記符号化するステップは、
前記多視点拡張レイヤに割り当てられた視点映像の深度映像の解像度に基づいて前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び隣接映像の深度映像の少なくとも１つの解像度を変換するステップと、
前記解像度が変換された基準映像及び隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化するステップと、
を含むことを特徴とする請求項１記載の映像符号化方法。
【請求項８】
前記ステレオレイヤに割り当てられた隣接映像は、前記ベースレイヤに割り当てられた基準映像と同じ解像度を有し、
前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像は、基準映像の深度映像及び隣接映像の深度映像と同じ解像度又は異なる解像度を有し、
前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像は、基準映像及び隣接映像と同じ解像度又は異なる解像度を有し、
前記多視点拡張レイヤに割り当てられた視点映像は、基準映像及び隣接映像と同じ解像度又は異なる解像度を有し、
前記多視点拡張レイヤに割り当てられた視点映像の深度映像は、基準映像の深度映像及び隣接映像の深度映像と同じ解像度又は異なる解像度を有する、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項９】
前記割り当てるステップは、
１視点映像（１ｖｉｅｗ）である基準映像を前記ベースレイヤに割り当てるステップと、
前記基準映像と隣接し、２視点映像（２ｖｉｅｗ）である隣接映像を前記ステレオレイヤに割り当てるステップと、
前記基準映像の深度映像と隣接映像の深度映像を前記多視点エンハンスメントレイヤに割り当てるステップと、
前記基準映像と隣接する映像のうち前記隣接映像を除いた残り隣接映像、及び前記残り隣接映像に対応する深度映像を前記多視点拡張レイヤに割り当てるステップと、
を含み、
前記残り隣接映像は、第３視点以上の映像である、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項１０】
前記符号化するステップは、前記符号化によってベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含む階層構造の符号化ビットストリームを生成する、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項１１】
入力映像に含まれた少なくとも１つの視点映像をベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの少なくとも１つに割り当てるレイヤ割当部と、
前記ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ及び多視点拡張レイヤを階層的に符号化する符号化部と、
を備えることを特徴とする映像符号化装置。
【請求項１２】
前記符号化部は、前記ベースレイヤに割り当てられた基準映像を参照し、前記ステレオレイヤに割り当てられた隣接映像を視点間予測符号化する、
ことを特徴とする請求項１１記載の映像符号化装置。
【請求項１３】
前記符号化部は、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像を画面内予測符号化し、隣接映像の深度映像を視点間予測符号化する、
ことを特徴とする請求項１１記載の映像符号化装置。
【請求項１４】
前記符号化部は、前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つを参照して、前記多視点エンハンスメントレイヤに割り当てられた視点映像を視点間予測符号化する、
ことを特徴とする請求項１１記載の映像符号化装置。
【請求項１５】
前記符号化部は、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像の少なくとも１つを参照して、前記多視点拡張レイヤに割り当てられた視点映像の深度映像を視点間予測符号化する、
ことを特徴とする請求項１１記載の映像符号化装置。
【請求項１６】
前記符号化部は、前記多視点拡張レイヤに割り当てられた視点映像の解像度に基づいて前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つの解像度を変換し、解像度が変換された基準映像及び解像度が変換された隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化する、
ことを特徴とする請求項１１記載の映像符号化装置。
【請求項１７】
前記符号化部は、前記多視点拡張レイヤに割り当てられた視点映像の深度映像の解像度に基づいて前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び隣接映像の深度映像の少なくとも１つの解像度を変換し、前記解像度が変換された基準映像及び解像度が変換された隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化する、
ことを特徴とする請求項１１記載の映像符号化装置。
【請求項１８】
ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含む符号化ビットストリームを受信するステップと、
前記符号化ビットストリームを付加情報に基づいて階層的に復号化するステップと、
を含むことを特徴とする映像復号化方法。
【請求項１９】
前記復号化するステップは、前記付加情報に基づいて前記ベースレイヤストリームを復号化して２Ｄ映像を復元する、
ことを特徴とする請求項１８記載の映像復号化方法。
【請求項２０】
前記復号化するステップは、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元する、
ことを特徴とする請求項１８記載の映像復号化方法。
【請求項２１】
前記復号化するステップは、
前記基準映像及び隣接映像の少なくとも１つを参照し、基準映像の深度映像及び隣接映像の深度映像を生成するステップと、
前記基準映像及び隣接映像を参照し、１つ以上の仮想視点映像を生成するステップと、
前記基準映像の深度映像及び隣接映像の深度映像を参照し、前記仮想視点映像の深度映像を生成するステップと、
前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を生成するステップと、
を含むことを特徴とする請求項２０記載の映像復号化方法。
【請求項２２】
前記復号化するステップは、
前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元するステップと、
前記基準映像及び隣接映像を参照して１つ以上の仮想視点映像を生成するステップと、
前記基準映像の深度映像及び隣接映像の深度映像を参照して前記仮想視点映像の深度映像を生成するステップと、
前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を生成するステップと、
を含むことを特徴とする請求項２０記載の映像復号化方法。
【請求項２３】
前記復号化するステップは、
前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元するステップと、
前記多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた１つ以上の視点映像及び視点映像の深度映像を復元するステップと、
前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、多視点拡張レイヤに割り当てられた視点映像及び多視点拡張レイヤに割り当てられた視点映像の深度映像を合成して多視点映像を生成するステップと、
を含むことを特徴とする請求項２０記載の映像復号化方法。
【請求項２４】
前記付加情報は、解像度情報、視点映像の個数情報、カメラパラメータ情報、及び映像モード情報の少なくとも１つを含む、
ことを特徴とする請求項２０記載の映像復号化方法。
【請求項２５】
ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含む階層構造の符号化ビットストリームを受信するビットストリーム受信部と、
前記符号化ビットストリームを付加情報に基づいて階層的に復号化する復号化部と、
を備えることを特徴とする映像復号化装置。
【請求項２６】
前記復号化部は、前記付加情報に基づいて前記ベースレイヤストリームを復号化して２Ｄ映像を復元する２Ｄ復号化部を備える、
ことを特徴とする請求項２５記載の映像復号化装置。
【請求項２７】
前記復号化部は、前記符号化ビットストリームに含まれた付加情報がステレオ映像モードを含むことによって、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元するステレオ復号化部を備える、
ことを特徴とする請求項２５記載の映像復号化装置。
【請求項２８】
前記基準映像及び隣接映像の少なくとも１つを参照し、基準映像の深度映像及び隣接映像の深度映像を生成する深度映像生成部と、
前記基準映像及び隣接映像を参照して１つ以上の仮想視点映像を生成し、前記基準映像の深度映像及び隣接映像の深度映像を参照して前記仮想視点映像の深度映像を生成し、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を復元する視点映像合成部を更に備える、
ことを特徴とする請求項２６記載の映像復号化装置。
【請求項２９】
前記復号化部は、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元し、前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元する３Ｄ復号化部を備える、
ことを特徴とする請求項２５記載の映像復号化装置。
【請求項３０】
前記基準映像及び隣接映像を参照して１つ以上の仮想視点映像を生成し、前記基準映像の深度映像及び隣接映像の深度映像を参照して前記仮想視点映像の深度映像を生成し、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を復元する視点映像合成部を更に備える、
ことを特徴とする請求項２９記載の映像復号化装置。
【請求項３１】
前記復号化部は、前記符号化ビットストリームに含まれた付加情報が多視点映像モードを含むことによって、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元し、前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元し、前記多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた１つ以上の視点映像及び視点映像の深度映像を復元する３Ｄ復号化部を備える、
ことを特徴とする請求項２５記載の映像復号化装置。
【請求項３２】
前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、１つ以上の視点映像及び視点映像の深度映像を合成して多視点映像を生成する視点映像合成部を更に備える、
ことを特徴とする請求項３１記載の映像復号化装置。
【請求項３３】
前記付加情報は、解像度情報、視点映像の個数情報、カメラパラメータ情報、及び映像モード情報の少なくとも１つを含む、
ことを特徴とする請求項２５記載の映像復号化装置。
【請求項３４】
請求項１記載の方法を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３５】
請求項１８記載の方法を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
入力映像に含まれた少なくとも１つの視点映像をベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの少なくとも１つに割り当てるステップと、
前記ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ及び多視点拡張レイヤに割り当てられた映像を階層的に符号化するステップと、
を含むことを特徴とする映像符号化方法。
【請求項２】
前記符号化するステップは、
前記ベースレイヤに割り当てられた基準映像を参照し、前記ステレオレイヤに割り当てられた隣接映像を視点間予測符号化し、
前記隣接映像は前記基準映像と隣接する映像である、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項３】
前記符号化するステップは、
前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像を画面内予測符号化するステップと、
前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像を視点間予測符号化するステップと、
を含むことを特徴とする請求項１記載の映像符号化方法。
【請求項４】
前記符号化するステップは、前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つを参照して、前記多視点エンハンスメントレイヤに割り当てられた視点映像を視点間予測符号化する、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項５】
前記符号化するステップは、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像の少なくとも１つを参照して、前記多視点拡張レイヤに割り当てられた視点映像の深度映像を視点間予測符号化する、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項６】
前記符号化するステップは、
前記多視点拡張レイヤに割り当てられた視点映像の解像度に基づいて前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つの解像度を変換するステップと、
前記解像度が変換された基準映像及び隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化するステップと、
を含むことを特徴とする請求項１記載の映像符号化方法。
【請求項７】
前記符号化するステップは、
前記多視点拡張レイヤに割り当てられた視点映像の深度映像の解像度に基づいて前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び隣接映像の深度映像の少なくとも１つの解像度を変換するステップと、
前記解像度が変換された基準映像及び隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化するステップと、
を含むことを特徴とする請求項１記載の映像符号化方法。
【請求項８】
前記ステレオレイヤに割り当てられた隣接映像は、前記ベースレイヤに割り当てられた基準映像と同じ解像度を有し、
前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像は、基準映像の深度映像及び隣接映像の深度映像と同じ解像度又は異なる解像度を有し、
前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像は、基準映像及び隣接映像と同じ解像度又は異なる解像度を有し、
前記多視点拡張レイヤに割り当てられた視点映像は、基準映像及び隣接映像と同じ解像度又は異なる解像度を有し、
前記多視点拡張レイヤに割り当てられた視点映像の深度映像は、基準映像の深度映像及び隣接映像の深度映像と同じ解像度又は異なる解像度を有する、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項９】
前記割り当てるステップは、
１視点映像（１ｖｉｅｗ）である基準映像を前記ベースレイヤに割り当てるステップと、
前記基準映像と隣接し、２視点映像（２ｖｉｅｗ）である隣接映像を前記ステレオレイヤに割り当てるステップと、
前記基準映像の深度映像と隣接映像の深度映像を前記多視点エンハンスメントレイヤに割り当てるステップと、
前記基準映像と隣接する映像のうち前記隣接映像を除いた残り隣接映像、及び前記残り隣接映像に対応する深度映像を前記多視点拡張レイヤに割り当てるステップと、
を含み、
前記残り隣接映像は、第３視点以上の映像である、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項１０】
前記符号化するステップは、前記符号化によってベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含む階層構造の符号化ビットストリームを生成する、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項１１】
入力映像に含まれた少なくとも１つの視点映像をベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ、及び多視点拡張レイヤの少なくとも１つに割り当てるレイヤ割当部と、
前記ベースレイヤ、ステレオレイヤ、多視点エンハンスメントレイヤ及び多視点拡張レイヤを階層的に符号化する符号化部と、
を備えることを特徴とする映像符号化装置。
【請求項１２】
前記符号化部は、前記ベースレイヤに割り当てられた基準映像を参照し、前記ステレオレイヤに割り当てられた隣接映像を視点間予測符号化する、
ことを特徴とする請求項１１記載の映像符号化装置。
【請求項１３】
前記符号化部は、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像を画面内予測符号化し、隣接映像の深度映像を視点間予測符号化する、
ことを特徴とする請求項１１記載の映像符号化装置。
【請求項１４】
前記符号化部は、前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つを参照して、前記多視点エンハンスメントレイヤに割り当てられた視点映像を視点間予測符号化する、
ことを特徴とする請求項１１記載の映像符号化装置。
【請求項１５】
前記符号化部は、前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び前記多視点エンハンスメントレイヤに割り当てられた隣接映像の深度映像の少なくとも１つを参照して、前記多視点拡張レイヤに割り当てられた視点映像の深度映像を視点間予測符号化する、
ことを特徴とする請求項１１記載の映像符号化装置。
【請求項１６】
前記符号化部は、前記多視点拡張レイヤに割り当てられた視点映像の解像度に基づいて前記ベースレイヤに割り当てられた基準映像及び前記ステレオレイヤに割り当てられた隣接映像の少なくとも１つの解像度を変換し、解像度が変換された基準映像及び解像度が変換された隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化する、
ことを特徴とする請求項１１記載の映像符号化装置。
【請求項１７】
前記符号化部は、前記多視点拡張レイヤに割り当てられた視点映像の深度映像の解像度に基づいて前記多視点エンハンスメントレイヤに割り当てられた基準映像の深度映像及び隣接映像の深度映像の少なくとも１つの解像度を変換し、前記解像度が変換された基準映像及び解像度が変換された隣接映像の少なくとも１つに基づいて前記多視点拡張レイヤに割り当てられた視点映像を符号化する、
ことを特徴とする請求項１１記載の映像符号化装置。
【請求項１８】
ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含む符号化ビットストリームを受信するステップと、
前記符号化ビットストリームを付加情報に基づいて階層的に復号化するステップと、
を含むことを特徴とする映像復号化方法。
【請求項１９】
前記復号化するステップは、前記付加情報に基づいて前記ベースレイヤストリームを復号化して２Ｄ映像を復元する、
ことを特徴とする請求項１８記載の映像復号化方法。
【請求項２０】
前記復号化するステップは、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元する、
ことを特徴とする請求項１８記載の映像復号化方法。
【請求項２１】
前記復号化するステップは、
前記基準映像及び隣接映像の少なくとも１つを参照し、基準映像の深度映像及び隣接映像の深度映像を生成するステップと、
前記基準映像及び隣接映像を参照し、１つ以上の仮想視点映像を生成するステップと、
前記基準映像の深度映像及び隣接映像の深度映像を参照し、前記仮想視点映像の深度映像を生成するステップと、
前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を生成するステップと、
を含むことを特徴とする請求項２０記載の映像復号化方法。
【請求項２２】
前記復号化するステップは、
前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元するステップと、
前記基準映像及び隣接映像を参照して１つ以上の仮想視点映像を生成するステップと、
前記基準映像の深度映像及び隣接映像の深度映像を参照して前記仮想視点映像の深度映像を生成するステップと、
前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を生成するステップと、
を含むことを特徴とする請求項２０記載の映像復号化方法。
【請求項２３】
前記復号化するステップは、
前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元するステップと、
前記多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた１つ以上の視点映像及び視点映像の深度映像を復元するステップと、
前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、多視点拡張レイヤに割り当てられた視点映像及び多視点拡張レイヤに割り当てられた視点映像の深度映像を合成して多視点映像を生成するステップと、
を含むことを特徴とする請求項２０記載の映像復号化方法。
【請求項２４】
前記付加情報は、解像度情報、視点映像の個数情報、カメラパラメータ情報、及び映像モード情報の少なくとも１つを含む、
ことを特徴とする請求項２０記載の映像復号化方法。
【請求項２５】
ベースレイヤストリーム、ステレオレイヤストリーム、多視点エンハンスメントレイヤストリーム、及び多視点拡張レイヤストリームを含む階層構造の符号化ビットストリームを受信するビットストリーム受信部と、
前記符号化ビットストリームを付加情報に基づいて階層的に復号化する復号化部と、
を備えることを特徴とする映像復号化装置。
【請求項２６】
前記復号化部は、前記付加情報に基づいて前記ベースレイヤストリームを復号化して２Ｄ映像を復元する２Ｄ復号化部を備える、
ことを特徴とする請求項２５記載の映像復号化装置。
【請求項２７】
前記復号化部は、前記符号化ビットストリームに含まれた付加情報がステレオ映像モードを含むことによって、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元するステレオ復号化部を備える、
ことを特徴とする請求項２５記載の映像復号化装置。
【請求項２８】
前記基準映像及び隣接映像の少なくとも１つを参照し、基準映像の深度映像及び隣接映像の深度映像を生成する深度映像生成部と、
前記基準映像及び隣接映像を参照して１つ以上の仮想視点映像を生成し、前記基準映像の深度映像及び隣接映像の深度映像を参照して前記仮想視点映像の深度映像を生成し、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を復元する視点映像合成部を更に備える、
ことを特徴とする請求項２６記載の映像復号化装置。
【請求項２９】
前記復号化部は、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元し、前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元する３Ｄ復号化部を備える、
ことを特徴とする請求項２５記載の映像復号化装置。
【請求項３０】
前記基準映像及び隣接映像を参照して１つ以上の仮想視点映像を生成し、前記基準映像の深度映像及び隣接映像の深度映像を参照して前記仮想視点映像の深度映像を生成し、前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、仮想視点映像、及び仮想視点映像の深度映像を合成して多視点映像を復元する視点映像合成部を更に備える、
ことを特徴とする請求項２９記載の映像復号化装置。
【請求項３１】
前記復号化部は、前記符号化ビットストリームに含まれた付加情報が多視点映像モードを含むことによって、前記ベースレイヤストリーム及びステレオレイヤストリームを復号化して基準映像及び隣接映像を復元し、前記多視点エンハンスメントレイヤストリームを復号化して基準映像の深度映像及び隣接映像の深度映像を復元し、前記多視点拡張レイヤストリームを復号化して多視点拡張レイヤに割り当てられた１つ以上の視点映像及び視点映像の深度映像を復元する３Ｄ復号化部を備える、
ことを特徴とする請求項２５記載の映像復号化装置。
【請求項３２】
前記基準映像、隣接映像、基準映像の深度映像、隣接映像の深度映像、１つ以上の視点映像及び視点映像の深度映像を合成して多視点映像を生成する視点映像合成部を更に備える、
ことを特徴とする請求項３１記載の映像復号化装置。
【請求項３３】
前記付加情報は、解像度情報、視点映像の個数情報、カメラパラメータ情報、及び映像モード情報の少なくとも１つを含む、
ことを特徴とする請求項２５記載の映像復号化装置。
【請求項３４】
請求項１記載の方法を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３５】
請求項１８記載の方法を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−９８９８６（Ｐ２０１３−９８９８６Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１２−２３７６５２（Ｐ２０１２−２３７６５２）
【出願日】平成２４年１０月２９日（２０１２．１０．２９）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２４年１０月２９日（２０１２．１０．２９）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]