多視点映像の解像度復元方法及び装置
【課題】多視点映像のうち低解像度の視点映像に対する解像度を復元する。
【解決手段】解像度復元装置は、低解像度の基準映像（１）９０１と低解像度の基準映像（４）９０８をそれぞれアップスケーリングし、アップスケーリングされた基準映像（１）９０２とディテール情報１を用いて基準映像（１）９０１の解像度を復元し、アップスケーリングされた基準映像（４）９０９とディテール情報を用いて基準映像（４）９０８の解像度を復元する。
【解決手段】解像度復元装置は、低解像度の基準映像（１）９０１と低解像度の基準映像（４）９０８をそれぞれアップスケーリングし、アップスケーリングされた基準映像（１）９０２とディテール情報１を用いて基準映像（１）９０１の解像度を復元し、アップスケーリングされた基準映像（４）９０９とディテール情報を用いて基準映像（４）９０８の解像度を復元する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、３次元多視点映像で低解像度映像の高周波成分を復元するための方法及び装置に関する。
【背景技術】
【０００２】
一般に、１つのカメラを用いる２Ｄ（Ｄｉｍｅｎｓｉｏｎ）映像とは異なって映像システムは複数の視点に対して映像データを撮影して３次元映像を提供する。ここで、撮影された映像データは一定形式のフォーマットに変換及び格納される。そして、変換及び格納された映像データは圧縮されてディスプレイに送信される。これによって映像データはディスプレイの種類に応じて２Ｄ映像、ステレオ方式の３Ｄ映像、または多視点（ｍｕｌｔｉ−ｖｉｅｗ）方式の３Ｄ映像で再生され得る。
【０００３】
ここで、多視点映像は、低解像度の映像と高解像度の映像が混合される場合がある。これにより多視点映像を復号化する場合、復号化された低解像度の映像は高解像度の映像よりも画質が劣化する恐れがある。
【０００４】
かかる観点から、多視点映像で低解像度映像の画質が劣化することを減少させることのできる技術が求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、低解像度映像と隣接する隣接視点映像を用いて低解像度映像の解像度を高画質に復元することにある。
【０００６】
本発明の他の目的は、低解像度映像の解像度を復元して仮想視点映像を生成することによって、仮想視点映像の画質劣化を減少させることにある。
【課題を解決するための手段】
【０００７】
本発明の多視点映像の解像度復元方法は、基準映像と隣接する参照映像の解像度に基づいて基準映像をアップスケーリングするステップと、前記参照映像を用いてディテール情報を生成するステップと、前記ディテール情報及び前記アップスケーリングされた基準映像を用いて基準映像の解像度を復元するステップとを含む。
【０００８】
また、前記解像度を復元するステップは、フィルタ係数に基づいて前記アップスケーリングされた基準映像をフィルタリングすることによって基準映像の解像度を復元してもよい。
【０００９】
また、前記解像度を復元するステップは、前記差分映像情報と前記アップスケーリングされた基準映像を用いて前記基準映像の解像度を復元してもよい。
【００１０】
また、前記ディテール情報を生成するステップは、前記基準映像の解像度に基づいて前記参照映像をダウンスケーリングするステップと、前記参照映像の解像度に基づいて前記ダウンスケーリングされた参照映像をアップスケーリングするステップと、前記アップスケーリングされた参照映像と前記参照映像を用いて前記ディテール情報を生成するステップとを含んでもよい。
【００１１】
また、前記解像度を復元するステップは、前記アップスケーリングされた基準映像を複数のブロックに分割するステップと、前記参照映像で前記分割されたブロックのいずれか１つの基準ブロックに対応するブロックを決定するステップと、前記基準ブロックと参照映像の対応ブロックに基づいて視差を算出するステップと、前記視差に基づいて前記基準映像と前記参照映像との間の視点差を補償するステップとを含んでもよい。
【００１２】
また、前記ディテール情報を生成するステップは、前記基準映像の解像度と前記参照映像の解像度に基づいて解像度比率を算出するステップと、前記解像度比率に基づいて前記対応ブロックをダウンスケーリングするステップと、前記解像度比率に基づいて前記ダウンスケーリングされた対応ブロックをアップスケーリングするステップと、前記アップスケーリングされた対応ブロックと前記対応ブロックに基づいて前記対応ブロックのディテール情報を生成するステップとを含んでもよい。すると、前記解像度を復元するステップは、前記対応ブロックのディテール情報及び前記基準ブロックを用いて前記基準映像で前記基準ブロックに対応する現在のブロックの解像度を復元することができる。
【００１３】
また、前記解像度が復元された基準映像と前記参照映像を合成して仮想視点映像を生成するステップをさらに含んでもよい。
【００１４】
解像度復元装置は、基準映像と隣接する参照映像の解像度に基づいて前記基準映像をアップスケーリングするアップスケーリング部と、前記参照映像を用いてディテール情報を生成するディテール情報生成部と、前記ディテール情報及び前記アップスケーリングされた基準映像を用いて基準映像の解像度を復元する復元部とを備える。
【００１５】
前記ディテール情報生成部は、前記基準映像の解像度に基づいて前記参照映像をダウンスケーリングし、前記参照映像の解像度に基づいて前記ダウンスケーリングされた参照映像をアップスケーリングし、前記アップスケーリングされた参照映像と前記参照映像を用いて前記ディテール情報を生成してもよい。
【００１６】
また、前記復元部は、前記アップスケーリングされた基準映像を複数のブロックに分割し、前記参照映像で前記分割されたブロックのいずれか１つの基準ブロックに対応するブロックを決定する対応ブロック決定部と、前記基準ブロックと参照映像の対応ブロックに基づいて視差を算出する視差算出部と、前記視差に基づいて前記基準映像と前記参照映像との間の視点差を補償する補償部とを備えてもよい。
【００１７】
前記ディテール情報生成部は、前記基準映像の解像度と前記参照映像の解像度に基づいて解像度比率を算出し、前記解像度比率に基づいて前記対応ブロックをダウンスケーリングし、前記解像度比率に基づいて前記ダウンスケーリングされた対応ブロックをアップスケーリングし、前記アップスケーリングされた対応ブロックと前記対応ブロックに基づいて前記対応ブロックのディテール情報を生成してもよい。すると、前記復元部は、前記対応ブロックのディテール情報及び前記基準ブロックを用いて前記基準映像で前記基準ブロックに対応する現在のブロックの解像度を復元することができる。
【００１８】
前記解像度が復元された基準映像と前記参照映像とを合成して仮想視点映像を生成する仮想視点映像生成部をさらに備えてもよい。
【００１９】
前記アップスケーリング部、前記復元部、および前記仮想視点映像生成部はオンチップから構成されてもよい。
【発明の効果】
【００２０】
本発明によれば、低解像度映像と隣接する隣接視点映像を用いて低解像度映像の解像度を高画質に復元することができる。
【００２１】
本発明によれば、低解像度映像の解像度を復元して仮想視点映像を生成することによって、仮想視点映像の画質劣化を減少させることができる。
【図面の簡単な説明】
【００２２】
【図１】解像度復元装置で基準映像の解像度を復元する構成を説明するためのフローチャートである。
【図２】解像度復元装置で基準映像の解像度を復元する構成を説明するための図である。
【図３】視点差を補償して基準映像の解像度を復元する構成を説明するためのフローチャートである。
【図４】基準映像と参照映像との間の視点差補償を説明するための図である。
【図５】グローバル視差方式を用いて視点差を補償する方法を説明するための図である。
【図６】ローカル視差方式を用いて視点差を補償する方法を説明するための図である。
【図７】解像度復元装置の細部構成を示すブロック図である。
【図８】視点差を補償する復元部の細部構成を示すブロック図である。
【図９】４個の視点映像を用いて解像度を復元する構成を説明するための図である。
【図１０】３つの視点映像を用いて解像度を復元する構成を説明するための図である。
【発明を実施するための形態】
【００２３】
以下、本発明の一実施形態を添付する図面を参照しながら詳細に説明する。しかし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同じ参照符号は同じ部材を示す。
【００２４】
図１は、解像度復元装置で基準映像の解像度を復元する構成を説明するためのフローチャートである。図１に示すように、ステップＳ１０１において、解像度復元装置は、基準映像と隣接する参照映像の解像度に基づいて基準映像をアップスケーリング（ｕｐ ｓｃａｌｉｎｇ）する。
【００２５】
一例として、解像度復元装置は、基準映像の大きさを参照映像の大きさと同一に拡大してもよい。例えば、参照映像の解像度が基準映像の解像度よりもａ倍高い場合、解像度復元装置は、参照映像の解像度に基づいて基準映像の大きさをａ倍に拡大する。
【００２６】
ここで、基準映像は多視点映像を構成する視点映像のうち低解像度の視点映像であり、参照映像は多視点映像を構成する視点映像のうち高解像度の視点映像である。ここで、参照映像は多視点映像を構成する視点映像のうち基準映像と隣接する視点映像であり、基準映像とは異なる視点の映像である。例えば、基準映像がビュー（ｖｉｅｗ）１である場合、参照映像はビュー２であってもよい。
【００２７】
次に、ステップＳ１０２において、解像度復元装置は、基準映像の解像度に基づいて参照映像をダウンスケーリングする。
【００２８】
一例として、解像度復元装置は、参照映像の大きさを基準映像の大きさと同一に縮小する。例えば、基準映像の解像度が参照映像の解像度よりも１／ａ倍低い場合、解像度復元装置は基準映像の解像度に基づいて参照映像の大きさを１／ａ倍に縮小してもよい。
【００２９】
そして、ステップＳ１０３において、解像度復元装置は、ダウンスケーリングされた参照映像を再びアップスケーリングする。ここで、解像度復元装置は、オリジナルの参照映像の解像度に基づいてダウンスケーリングされた参照映像をアップスケーリングする。
【００３０】
例えば、参照映像の大きさを１／ａ倍ダウンスケーリングある場合、解像度復元装置は、ダウンスケーリングされた参照映像の大きさを再びａ倍に拡大してアップスケーリングしてもよい。
【００３１】
次に、ステップＳ１０４において、解像度復元装置は、アップスケーリングされた参照映像と本来の参照映像を用いてディテール情報を生成する。ここで、ディテール情報は、フィルタ係数情報及び差分映像情報のうち少なくとも１つを含んでもよい。
【００３２】
一例として、解像度復元装置は、アップスケーリングされた参照映像と本来の参照映像との間の差を復元するためのフィルタ係数を算出してもよい。例えば、復元フィルタでウィーナーフィルタ（ｗｉｅｎｅｒ ｆｉｌｔｅｒ）を用いる場合、解像度復元装置はアップスケーリングされた参照映像と本来の参照映像との間の差に基づいてウィーナーフィルタ係数を算出してもよい。
【００３３】
他の例として、解像度復元装置は、本来の参照映像でアップスケーリングされた参照映像を差し引いて差分映像情報を生成してもよい。
【００３４】
そして、ステップＳ１０５において、解像度復元装置は、ディテール情報及びアップスケーリングされた基準映像を用いて基準映像の解像度を復元する。
【００３５】
一例として、ディテール情報がフィルタ係数情報を含む場合、解像度復元装置は、フィルタ係数情報に基づいてアップスケーリングされた基準映像をフィルタリングして基準映像の高周波成分を復元してもよい。
【００３６】
他の例として、ディテール情報が差分映像情報を含む場合、解像度復元装置は、アップスケーリングされた基準映像で差分映像情報を加えて基準映像の高周波成分を復元してもよい。
【００３７】
このように、解像度復元装置は、基準映像と隣接する視点映像を参照映像として用いて基準映像の解像度を復元することで、映像符号化装置で送信する多視点映像のデータ量を減少させることができる。言い換えれば、映像符号化装置で低解像度映像と高解像度映像とを混合して送信するとしても、解像度復元装置は、低解像度映像の高周波成分を復元することによって画質の劣化を減少させ、映像符号化装置で送信する多視点映像のデータ量を減少させることができる。
【００３８】
図２は、解像度復元装置で基準映像の解像度を復元する構成を説明するための図である。図２に示すように、解像度復元装置は、低解像度である基準映像２０１の大きさを参照映像２０３の解像度に基づいてアップスケーリングする。
【００３９】
そして、解像度復元装置は、高解像度である参照映像２０３の大きさを基準映像２０１の解像度に基づいてダウンスケーリングしてもよい。ここで、参照映像は、多視点映像を構成する視点映像のうち基準映像と隣接する隣接視点映像であってもよい。
【００４０】
次に、解像度復元装置は、ダウンスケーリングされた参照映像２０４の大きさを再び本来の参照映像の大きさにアップスケーリングする。
【００４１】
そして、解像度復元装置は、アップスケーリングされた参照映像２０５と本来の参照映像２０３を用いてディテール情報を生成する。一例として、ディテール情報は、フィルタ係数情報及び差分映像情報のうち少なくとも１つを含んでもよい。
【００４２】
次に、解像度復元装置は、ディテール情報とアップスケーリングされた基準映像２０２を用いて基準映像２０１の解像度を復元する。言い換えれば、解像度復元装置は、基準映像の高周波成分が復元された映像２０６を生成することができる。
【００４３】
一例として、ディテール情報がフィルタ係数情報を含む場合、解像度復元装置は、アップスケーリングされた基準映像２０２をフィルタ係数情報に基づいてフィルタリングすることによって基準映像２０１の解像度を復元してもよい。
【００４４】
他の例として、ディテール情報が差分映像情報を含む場合、解像度復元装置は、アップスケーリングされた基準映像２０２と参照映像情報を加えて基準映像２０１の解像度を復元してもよい。
【００４５】
図３は、視点差を補償して基準映像の解像度を復元する構成を説明するためのフローチャートである。
【００４６】
図１及び図２における解像度復元装置は、基準映像と異なる視点に該当する隣接視点映像を参照映像として用いて基準映像の解像度を復元する。このように、他の視点の映像を用いて基準映像の解像度を復元する場合、基準映像と復元された映像との間の視点差が発生することがある。図３では視点差を補償する構成について説明する。
【００４７】
まず、ステップＳ３０１において、解像度復元装置は、アップスケーリングされた基準映像を複数のブロックに分割する。
【００４８】
次に、ステップＳ３０２において、解像度復元装置は、参照映像を複数のブロックに分割する。ここで、解像度復元装置は、分割された基準映像のブロックの数に対応するように参照映像を複数のブロックに分割する。例えば、アップスケーリングされた基準映像が３２×３２のブロックに分割された場合、解像度復元装置は参照映像を３２×３２のブロックに分割してもよい。
【００４９】
そして、ステップＳ３０３において、解像度復元装置は、参照映像で基準ブロックに対応するブロックを決定する。ここで、基準ブロックは、アップスケーリングされた基準映像を構成する複数のブロックのいずれか１つであってもよい。
【００５０】
一例として、解像度復元装置は、参照映像で基準ブロックに対応する位置にあるブロックを対応ブロックとして決定する。例えば、３２×３２のブロックに分割された基準映像でブロック１が基準ブロックである場合、解像度復元装置は参照映像でブロック１を対応ブロックとして決定する。
【００５１】
次に、ステップＳ３０４において、解像度復元装置は、基準ブロック及び対応ブロックを用いて視差（ｄｉｓｐａｒｉｔｙ）を算出する。
【００５２】
例えば、解像度復元装置は、基準ブロックに対応ブロック間のピクセル位置差を用いて視差を算出してもよい。
【００５３】
そして、ステップＳ３０５において、解像度復元装置は、算出された視差を用いて基準映像と参照映像との間の視点差を補償する。例えば、解像度復元装置は、算出された視差に基づいて参照映像を移動して視点差を補償する。ここで、解像度復元装置は、グローバル視差（ｇｌｏｂａｌ ｄｉｓｐａｒｉｔｙ）またはローカル視差（ｌｏｃａｌ ｄｉｓｐａｒｉｔｙ）方式を用いて視点差を補償することができる。
【００５４】
図４は、基準映像と参照映像との間の視点差補償を説明するための図である。図４に示すように、解像度復元装置は、参照映像４０２の解像度に基づいて基準映像４０１をアップスケーリングする。
【００５５】
そして、解像度復元装置は、アップスケーリングされた基準映像４０３の基準ブロック４０４に対応する位置にある対応ブロック４０５を参照映像として決定する。例えば、解像度復元装置は、動き推定アルゴリズムまたは基準映像の深度情報を用いて基準ブロック４０４に対応する位置にある対応ブロック４０５を決定する。
【００５６】
次に、解像度復元装置は、基準ブロック４０４に対応ブロック４０５間のピクセル差に基づいて視差４０６を算出する。
【００５７】
そして、解像度復元装置は、算出された視差４０６に基づいて対応ブロック４０５を移動して基準ブロックに対応ブロック間の視点差を補償する。ここで、解像度復元装置は、参照映像を構成する全てのブロックを対象に視点差を補償してもよい。これによって、解像度復元装置は、基準映像と参照映像との間の視点差を補償することができる。例えば、解像度復元装置は、グローバル視差方式に基づいて視点差を補償したり、またはローカル視差方式に基づいて視点差を補償してもよい。グローバル視差方式またはローカル視差方式によって視点差を補償する構成については図５及び図６を参照して後述することにする。
【００５８】
次に、解像度復元装置は、視点差が補償された対応ブロック４０７を解像度比率に基づいてダウンスケーリングする。ここで、解像度比率は、基準映像４０１と参照映像４０２との間の解像度差に基づいて算出される。
【００５９】
そして、解像度復元装置は、ダウンスケーリングされた対応ブロック４０８を解像度比率に基づいて再び本来の対応ブロックにアップスケーリングしてもよい。
【００６０】
これによって、解像度復元装置は、アップスケーリングされた対応ブロック４０９と本来の対応ブロック４０５との間の差に基づいて対応ブロックのディテール情報を生成する。ここで、対応ブロックのディテール情報は、対応ブロックのフィルタ係数情報及び対応ブロックの差分ブロック情報を含む。
【００６１】
次に、解像度復元装置は、対応ブロックのディテール情報及び基準ブロック４０４を用いて基準映像で基準ブロック４０４に該当する現在のブロックの解像度を復元する。言い換えれば、解像度復元装置は、現在のブロックの高周波成分を復元して復元ブロック４１０を生成する。ここで、現在のブロックは、本来の基準映像４０１でアップスケーリングされた基準映像の基準ブロック４０４に対応する位置にあるブロックであってもよい。すなわち、現在のブロックは、基準ブロック４０４がアップスケーリングされる以前のブロックを意味する。
【００６２】
同じ方法により、解像度復元装置は、アップスケーリングされた基準映像４０３を構成する全てのブロックと各ブロックに対応する位置にある対応ブロックのディテール情報を用いて基準映像４０１を構成する全てのブロックの解像度を復元する。結局、解像度復元装置は、基準映像４０１の解像度を復元して復元映像４１１を生成することができる。
【００６３】
そして、解像度復元装置は、復元映像４１１と参照映像４０２とを合成して仮想視点映像を生成する。
【００６４】
図５は、グローバル視差方式を用いて視点差を補償する方法を説明するために提供される図である。図５に示すように、解像度復元装置は、アップスケーリングされた基準映像５０１を構成する複数のブロックのいずれか１つを基準ブロックとして決定する。そして、解像度復元装置は、基準ブロックに対応する位置に該当する対応ブロックを参照映像５０２として決定する。ここで、解像度復元装置は、動き推定アルゴリズムまたは基準映像の深度情報を用いて対応ブロックを決定する。
【００６５】
次に、解像度復元装置は、基準ブロックと参照映像との間のピクセル差を算出してグローバル視差を算出する。そして、解像度復元装置は、算出したグローバル視差をアップスケーリングされた基準映像５０１を構成する全てのブロックに同一適用して基準映像と参照映像との間の視点差を補償する。
【００６６】
例えば、基準ブロック（１）５０３及び対応ブロック（１）５０４間のグローバル視差５０５が算出された場合、解像度復元装置はグローバル視差５０５に基づいて対応ブロック（１）５０４を移動するだけではなく、基準ブロック（２）５０６に対応する対応ブロック（２）５０７、基準ブロック（３）５０８に対応する対応ブロック（３）５０９を同じグローバル視差５０５に基づいて移動する。このように、解像度復元装置は、基準映像５０１を構成する全てのブロックに対して同じグローバル視差５０５を適用して参照映像５０２を移動して基準映像と参照映像との間の視点差を補償することができる。すなわち、解像度復元装置は、グローバル視差に基づいて参照映像５０２の視点が基準映像の視点と同一になるように補償することができる。
【００６７】
図３及び図４を参照して説明したように、解像度復元装置は、解像度比率に基づいて参照映像の対応ブロックをダウンスケーリングし、再びアップスケーリングする。次に、解像度復元装置は、アップスケーリングされた対応ブロックと本来の対応ブロックとの間の差を用いて対応ブロックのディテール情報を生成する。そして、解像度復元装置は、生成された対応ブロックのディテール情報と基準ブロックを用いて現在のブロックの解像度を復元する。ここで、現在のブロックは、アップスケーリングされる前の本来基準映像において、アップスケーリングされた基準映像５０１上の基準ブロック５０３に対応する位置にあるブロックであってもよい。
【００６８】
図６は、ローカル視差方式を用いて視点差を補償する方法を説明するために提供される図である。図６に示すように、解像度復元装置は、アップスケーリングされた基準映像６０１を構成する複数のブロックそれぞれに対応する位置に該当する対応ブロックを参照映像６０２でそれぞれ決定する。ここで、解像度復元装置は、動き推定アルゴリズムまたは基準映像の深度情報を用いて対応ブロックを決定する。
【００６９】
次に、解像度復元装置は、基準映像６０１の各基準ブロックと参照映像６０２の各対応ブロックとの間のピクセル差を算出して視差をブロックごとに算出する。そして、解像度復元装置は、算出したブロックごとの視差に基づいて各対応ブロックを移動することによって基準映像と参照映像との間の視点差を補償することができる。ここで、解像度復元装置は、各基準ブロックの深度情報を用いてローカル視差をブロックごとに算出してもよい。ここで、ローカル視差は平均視差であってもよい。
【００７０】
例えば、基準ブロック（１）６０３と対応ブロック（１）６０４との間の視差（１）６０５が算出された場合、解像度復元装置は視差（１）６０５に基づいて対応ブロック（１）６０４を移動する。そして、基準ブロック（２）６０６と対応ブロック（２）６０７との間の視差（２）６０８が算出された場合、解像度復元装置は、視差（２）６０８に基づいて対応ブロック（２）６０７の位置を移動する。そして、基準ブロック（３）６０９と対応ブロック（３）６１０との間の視差（３）６１１が算出された場合、解像度復元装置は視差（３）６１１に基づいて対応ブロック（３）６１０の位置を移動する。同じ方法に基づいて、解像度復元装置は、参照映像を構成する複数の対応ブロックをブロックごとの視差に基づいてそれぞれ移動してもよい。これによって、解像度復元装置は、参照映像の視点が基準映像の視点と同一になるように補償することができる。
【００７１】
図７は、解像度復元装置の細部構成を示すブロック図である。図７によれば、解像度復元装置７００は、アップスケーリング部７０１、ディテール情報生成部７０２、復元部７０３、および仮想視点映像生成部７０４を備える。アップスケーリング部７０１は、基準映像と隣接する参照映像の解像度に基づいて基準映像をアップスケーリングする。例えば、アップスケーリング部７０１は参照映像の大きさと同一になるように基準映像の大きさを拡大してもよい。
【００７２】
ここで、基準映像は多視点映像を構成する低解像度映像であり、参照映像は多視点映像を構成する視点映像のうち基準映像と隣接する高解像度映像であり、基準映像の視点と異なる視点を有することがある。例えば、基準映像が視点映像１である場合、参照映像は視点映像２であってもよい。
【００７３】
ディテール情報生成部７０２は、基準映像の解像度を復元するために参照映像を用いてディテール情報を生成する。ここで、ディテール情報は、フィルタ係数情報及び差分映像情報のうち少なくとも１つを含んでもよい。
【００７４】
一例として、ディテール情報生成部７０２は基準映像の解像度に基づいて参照映像をダウンスケーリングしてもよい。次に、ディテール情報生成部７０２は、ダウンスケーリングされた参照映像を本来の参照映像（ｏｒｉｇｉｎａｌ ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ）の解像度に基づいてアップスケーリングする。そして、ディテール情報生成部７０２は、アップスケーリングされた参照映像と本来の参照映像を用いてディテール情報を生成する。例えば、ディテール情報生成部７０２は、本来の参照映像とアップスケーリングされた参照映像との間の差を補償するためのフィルタ係数情報または差分映像情報をディテール情報として生成してもよい。
【００７５】
復元部７０３は、ディテール情報を用いてアップスケーリングされた基準映像の解像度を復元する。
【００７６】
一例として、フィルタ係数情報を用いる場合、復元部７０３はフィルタ係数情報に基づいてアップスケーリングされた基準映像をウィーナーフィルタリング（ｗｉｅｎｅｒ ｆｉｌｔｅｒ）して基準映像の高周波成分を復元する。
【００７７】
他の例として、差分映像情報を用いる場合、復元部７０３はアップスケーリングされた基準映像から差分映像情報を差し引いて基準映像の解像度を復元することができる。
【００７８】
一方、ディテール情報生成部７０２は参照映像を構成する各ブロックごとにディテール情報を生成してもよい。
【００７９】
一例として、ディテール情報生成部７０２は、基準映像の解像度と参照映像の解像度に基づいて解像度比率を算出してもよい。そして、ディテール情報生成部７０２は、算出された解像度比率に基づいて基準映像を構成するブロックのうち、基準ブロックに対応する位置に該当する参照映像の対応ブロックをダウンスケーリングしてもよい。次に、ディテール情報生成部７０２は、ダウンスケーリングされた対応ブロックを解像度比率に基づいて再びアップスケーリングしてもよい。そして、ディテール情報生成部７０２は、再びアップスケーリングされた対応ブロックと本来の対応ブロックを用いて対応ブロックのディテール情報を生成してもよい。
【００８０】
それで、復元部７０３は、対応ブロックのディテール情報を用いて基準ブロックの解像度を復元することができる。
【００８１】
ここで、基準映像と異なる視点映像を参照映像に用いて基準映像の解像度を復元することで、本来の基準映像と復元された基準映像との間の視点差が発生することがある。これによって、参照映像の視点を本来の基準映像の視点と同一にするために視点差を補償して基準映像の解像度を復元しなければならない。このように視点差を補償する構成について、図８を参照して後述する。
【００８２】
仮想視点映像生成部７０４は、解像度の復元された基準映像と参照映像とを合成して仮想視点映像を生成する。このように仮想視点映像生成部７０４は、仮想視点映像を生成することによってＭ×Ｍの多視点映像のうち一部の視点映像のみを受信してもＭ×Ｍの多視点映像を再生することができる。
【００８３】
今まで、図７では、アップスケーリング部７０１、復元部７０３、および仮想視点映像生成部７０４が別途のチップセット（ｃｈｉｐｓｅｔ）で構成されるものと説明したが、アップスケーリング部７０１および復元部７０３は仮想視点映像生成部７０４と統合されてもよい。言い換えれば、基準映像をアップスケーリングし、アップスケーリングされた基準映像の解像度をディテール情報に基づいて復元し、復元映像と参照映像とを合成して仮想視点映像を生成する構成がワンチップ（ｏｎｅ ｃｈｉｐ）に構成され得る。
【００８４】
図８は、視点差を補償する復元部の細部構成を示すブロック図である。図８に示すように、復元部８００は、対応ブロック決定部８０１、視差算出部８０２、および補償部８０３を備える。
【００８５】
対応ブロック決定部８０１は、アップスケーリングされた基準映像を複数のブロックに分割し、参照映像を複数のブロックに分割してもよい。ここで、対応ブロック決定部８０１は、アップスケーリングされた基準映像を構成するブロック数に基づいて参照映像を分割する。例えば、アップスケーリングされた基準映像が３２×３２のブロックに分割された場合、対応ブロック決定部８０１は参照映像を３２×３２のブロックに分割してもよい。
【００８６】
そして、対応ブロック決定部８０１は、基準映像の基準ブロックに対応する位置に該当する対応ブロックを参照映像として決定する。ここで、基準ブロックは、基準映像を構成するブロックのいずれか１つであってもよい。ここで、対応ブロック決定部８０１は、動き推定アルゴリズムまたは基準ブロックの深度情報に基づいて対応ブロックを決定する。
【００８７】
視差算出部８０２は基準ブロックに対応ブロックに基づいて視差を算出する。
【００８８】
一例として、グローバル視差方式を用いる場合、視差算出部８０２は、基準映像を構成する複数のブロックのいずれか１つの基準ブロックに対応ブロックに基づいてグローバル視差を算出してもよい。
【００８９】
これによって、補償部８０３は、グローバル視差を基準映像を構成する全てのブロックに同一適用して基準映像と参照映像との間の視点差を補償することができる。例えば、基準ブロック１を基準にして対応ブロック１が２ピクセルの左側に位置する場合、補償部８０３は対応ブロック１を右側に２ピクセル移動してもよい。同じ方法で補償部８０３は、参照映像を構成するｎ個の対応ブロックそれぞれを２ピクセルの右側に移動して視点差を補償してもよい。
【００９０】
他の例として、ローカル視差方式を用いる場合、視差算出部８０２は、基準映像を構成する各ブロック及び各ブロックに対応する参照映像の各対応ブロックに基づいてローカル視差を算出してもよい。言い換えれば、視差算出部８０２は、基準ブロック及び対応ブロックを一対（ｐａｉｒ）にするブロックごとにローカル視差を算出してもよい。ここで、ローカル視差はブロックの平均視差である。
【００９１】
これによって、補償部８０３は、ローカル視差に基づいてブロックごとに視点差を補償することができる。例えば、基準ブロック１を基準にして対応ブロック１が２ピクセルの左側に位置、基準ブロック２を基準にして対応ブロック２が１ピクセルの左側に位置する場合、補償部８０３は対応ブロック１を右側に２ピクセル移動し、対応ブロック２を右側に１ピクセル移動してもよい。同じ方法で補償部８０３は、参照映像を構成するｎ個の対応ブロックそれぞれをブロックごとのローカル視差に基づいて移動してもよい。
【００９２】
図９は、４個の視点映像を用いて解像度を復元する構成を説明するための図である。図９に示すように、解像度復元装置は４個のビュー基盤のＦＴＶ（Ｆｒｅｅ Ｖｉｅｗｐｏｉｎｔ Ｖｉｄｅｏ）システムを用いてもよい。図９に示すように、解像度復元装置は、４個のビューで構成された多視点映像を受信する。これによって解像度復元装置は、多視点映像のうち低解像度の基準映像と隣接する高解像度の視点映像を参照映像として決定し、参照映像を用いて基準映像の解像度を復元する。
【００９３】
一例として、ビュー（１）９０１が低解像度の基準映像１であり、ビュー（４）９０４が低解像度の基準映像４である場合、解像度復元装置は４個の視点映像のうち基準映像（１）９０１と隣接する高解像度の視点映像であるビュー（２）９０３を参照映像（２）９０３として決定する。同様に、解像度復元装置は、基準映像（４）９０８と隣接する高解像度の視点映像であるビュー（３）を参照映像（３）９１０として決定する。
【００９４】
次に、解像度復元装置は、基準映像（１）９０１と基準映像（４）９０８をそれぞれアップスケーリングする。そして、解像度復元装置は、参照映像（２）９０３と参照映像（３）９１０をそれぞれダウンスケーリングした後、再びアップスケーリングする。次に、解像度復元装置はアップスケーリングされた参照映像（２）９０６と本来の参照映像（２）９０３を用いてディテール情報１を生成し、アップスケーリングされた参照映像（３）９１２と本来の参照映像（３）９１０を用いてディテール情報２を生成する。ここで、ディテール情報を生成する前に、解像度復元装置は、グローバル視差方式またはローカル視差方式を用いて参照映像（２）９０３及び参照映像（３）９１０それぞれの視点差を補償することができる。例えば、視点差が補償された参照映像（２）９０４は基準映像（１）９０１と同じ視点を有してもよい。
【００９５】
そして、解像度復元装置は、アップスケーリングされた基準映像（１）９０２とディテール情報１を用いて基準映像（１）９０１の解像度を復元する。同様に、解像度復元装置は、アップスケーリングされた基準映像（４）９０８とディテール情報２を用いて基準映像（４）９０８の解像度を復元する。言い換えれば、解像度復元装置は、基準映像（１）９０１及び基準映像（４）９０８の解像度が復元された復元映像（１）９０７及び復元映像（２）９１３を生成する。
【００９６】
次に、解像度復元装置は、復元映像（１）９０７及び参照映像（２）９０４を用いて１つ以上の仮想視点映像を生成する。同様に、解像度復元装置は、復元映像（４）９１３及び参照映像（３）９１０を用いて１つ以上の仮想視点映像を生成する。
【００９７】
図１０は、３つの視点映像を用いて解像度を復元する構成を説明するための図である。図１０は、３つのビューから構成された多視点映像が入力されて低解像度の基準映像に対する解像度を復元するという点で、入力個数だけが図９と異なるだけであって、解像度を復元する具体的な構成は図１０と実質的に同様であることから、重複する説明は省略することにする。
【００９８】
図１０に示すように、解像度復元装置は、低解像度の基準映像であるビュー（１）１００１、高解像度の参照映像であるビュー（２）１００２、および低解像度の基準映像であるビュー（３）１００３から構成された多視点映像を受信する。
【００９９】
このように低解像度の基準映像に対する解像度を復元するためには、低解像度映像と隣接する視点映像は高解像度映像でなければならない。これによって、３つのビューで構成された多視点映像を受信する場合、多視点映像は低解像度の基準映像間に高解像度の参照映像が存在する形態を有し得る。
【０１００】
これによって、解像度復元装置は、ビュー（１）１００１及びビュー（３）１００３をアップスケーリングする。次に、解像度復元装置は、ビュー（２）１００６をダウンスケーリング１００７した後、再びアップスケーリング１００８してディテール情報を生成する。ここで、図９で説明したように、解像度復元装置はビュー（１）１００１とビュー（２）１００６との間の視点差、そして、ビュー（２）１００６とビュー（３）１００３との間の視点差をそれぞれ補償してディテール情報１及び２を生成する。そして、解像度復元装置は、ディテール情報１及びアップスケーリングされたビュー（１）１００９に基づいてビュー（１）１００１の解像度を復元し、ディテール情報２及びアップスケーリングされたビュー（３）１００５に基づいてビュー（３）１０１０の解像度を復元することができる。
【０１０１】
本発明の一実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。
【０１０２】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【０１０３】
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０１０４】
７００ 解像度復元装置
７１０ アップスケーリング部
７２０ ディテール情報生成部
７３０ 復元部
７４０ 仮想視点映像生成部
【技術分野】
【０００１】
本発明の実施形態は、３次元多視点映像で低解像度映像の高周波成分を復元するための方法及び装置に関する。
【背景技術】
【０００２】
一般に、１つのカメラを用いる２Ｄ（Ｄｉｍｅｎｓｉｏｎ）映像とは異なって映像システムは複数の視点に対して映像データを撮影して３次元映像を提供する。ここで、撮影された映像データは一定形式のフォーマットに変換及び格納される。そして、変換及び格納された映像データは圧縮されてディスプレイに送信される。これによって映像データはディスプレイの種類に応じて２Ｄ映像、ステレオ方式の３Ｄ映像、または多視点（ｍｕｌｔｉ−ｖｉｅｗ）方式の３Ｄ映像で再生され得る。
【０００３】
ここで、多視点映像は、低解像度の映像と高解像度の映像が混合される場合がある。これにより多視点映像を復号化する場合、復号化された低解像度の映像は高解像度の映像よりも画質が劣化する恐れがある。
【０００４】
かかる観点から、多視点映像で低解像度映像の画質が劣化することを減少させることのできる技術が求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、低解像度映像と隣接する隣接視点映像を用いて低解像度映像の解像度を高画質に復元することにある。
【０００６】
本発明の他の目的は、低解像度映像の解像度を復元して仮想視点映像を生成することによって、仮想視点映像の画質劣化を減少させることにある。
【課題を解決するための手段】
【０００７】
本発明の多視点映像の解像度復元方法は、基準映像と隣接する参照映像の解像度に基づいて基準映像をアップスケーリングするステップと、前記参照映像を用いてディテール情報を生成するステップと、前記ディテール情報及び前記アップスケーリングされた基準映像を用いて基準映像の解像度を復元するステップとを含む。
【０００８】
また、前記解像度を復元するステップは、フィルタ係数に基づいて前記アップスケーリングされた基準映像をフィルタリングすることによって基準映像の解像度を復元してもよい。
【０００９】
また、前記解像度を復元するステップは、前記差分映像情報と前記アップスケーリングされた基準映像を用いて前記基準映像の解像度を復元してもよい。
【００１０】
また、前記ディテール情報を生成するステップは、前記基準映像の解像度に基づいて前記参照映像をダウンスケーリングするステップと、前記参照映像の解像度に基づいて前記ダウンスケーリングされた参照映像をアップスケーリングするステップと、前記アップスケーリングされた参照映像と前記参照映像を用いて前記ディテール情報を生成するステップとを含んでもよい。
【００１１】
また、前記解像度を復元するステップは、前記アップスケーリングされた基準映像を複数のブロックに分割するステップと、前記参照映像で前記分割されたブロックのいずれか１つの基準ブロックに対応するブロックを決定するステップと、前記基準ブロックと参照映像の対応ブロックに基づいて視差を算出するステップと、前記視差に基づいて前記基準映像と前記参照映像との間の視点差を補償するステップとを含んでもよい。
【００１２】
また、前記ディテール情報を生成するステップは、前記基準映像の解像度と前記参照映像の解像度に基づいて解像度比率を算出するステップと、前記解像度比率に基づいて前記対応ブロックをダウンスケーリングするステップと、前記解像度比率に基づいて前記ダウンスケーリングされた対応ブロックをアップスケーリングするステップと、前記アップスケーリングされた対応ブロックと前記対応ブロックに基づいて前記対応ブロックのディテール情報を生成するステップとを含んでもよい。すると、前記解像度を復元するステップは、前記対応ブロックのディテール情報及び前記基準ブロックを用いて前記基準映像で前記基準ブロックに対応する現在のブロックの解像度を復元することができる。
【００１３】
また、前記解像度が復元された基準映像と前記参照映像を合成して仮想視点映像を生成するステップをさらに含んでもよい。
【００１４】
解像度復元装置は、基準映像と隣接する参照映像の解像度に基づいて前記基準映像をアップスケーリングするアップスケーリング部と、前記参照映像を用いてディテール情報を生成するディテール情報生成部と、前記ディテール情報及び前記アップスケーリングされた基準映像を用いて基準映像の解像度を復元する復元部とを備える。
【００１５】
前記ディテール情報生成部は、前記基準映像の解像度に基づいて前記参照映像をダウンスケーリングし、前記参照映像の解像度に基づいて前記ダウンスケーリングされた参照映像をアップスケーリングし、前記アップスケーリングされた参照映像と前記参照映像を用いて前記ディテール情報を生成してもよい。
【００１６】
また、前記復元部は、前記アップスケーリングされた基準映像を複数のブロックに分割し、前記参照映像で前記分割されたブロックのいずれか１つの基準ブロックに対応するブロックを決定する対応ブロック決定部と、前記基準ブロックと参照映像の対応ブロックに基づいて視差を算出する視差算出部と、前記視差に基づいて前記基準映像と前記参照映像との間の視点差を補償する補償部とを備えてもよい。
【００１７】
前記ディテール情報生成部は、前記基準映像の解像度と前記参照映像の解像度に基づいて解像度比率を算出し、前記解像度比率に基づいて前記対応ブロックをダウンスケーリングし、前記解像度比率に基づいて前記ダウンスケーリングされた対応ブロックをアップスケーリングし、前記アップスケーリングされた対応ブロックと前記対応ブロックに基づいて前記対応ブロックのディテール情報を生成してもよい。すると、前記復元部は、前記対応ブロックのディテール情報及び前記基準ブロックを用いて前記基準映像で前記基準ブロックに対応する現在のブロックの解像度を復元することができる。
【００１８】
前記解像度が復元された基準映像と前記参照映像とを合成して仮想視点映像を生成する仮想視点映像生成部をさらに備えてもよい。
【００１９】
前記アップスケーリング部、前記復元部、および前記仮想視点映像生成部はオンチップから構成されてもよい。
【発明の効果】
【００２０】
本発明によれば、低解像度映像と隣接する隣接視点映像を用いて低解像度映像の解像度を高画質に復元することができる。
【００２１】
本発明によれば、低解像度映像の解像度を復元して仮想視点映像を生成することによって、仮想視点映像の画質劣化を減少させることができる。
【図面の簡単な説明】
【００２２】
【図１】解像度復元装置で基準映像の解像度を復元する構成を説明するためのフローチャートである。
【図２】解像度復元装置で基準映像の解像度を復元する構成を説明するための図である。
【図３】視点差を補償して基準映像の解像度を復元する構成を説明するためのフローチャートである。
【図４】基準映像と参照映像との間の視点差補償を説明するための図である。
【図５】グローバル視差方式を用いて視点差を補償する方法を説明するための図である。
【図６】ローカル視差方式を用いて視点差を補償する方法を説明するための図である。
【図７】解像度復元装置の細部構成を示すブロック図である。
【図８】視点差を補償する復元部の細部構成を示すブロック図である。
【図９】４個の視点映像を用いて解像度を復元する構成を説明するための図である。
【図１０】３つの視点映像を用いて解像度を復元する構成を説明するための図である。
【発明を実施するための形態】
【００２３】
以下、本発明の一実施形態を添付する図面を参照しながら詳細に説明する。しかし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同じ参照符号は同じ部材を示す。
【００２４】
図１は、解像度復元装置で基準映像の解像度を復元する構成を説明するためのフローチャートである。図１に示すように、ステップＳ１０１において、解像度復元装置は、基準映像と隣接する参照映像の解像度に基づいて基準映像をアップスケーリング（ｕｐ ｓｃａｌｉｎｇ）する。
【００２５】
一例として、解像度復元装置は、基準映像の大きさを参照映像の大きさと同一に拡大してもよい。例えば、参照映像の解像度が基準映像の解像度よりもａ倍高い場合、解像度復元装置は、参照映像の解像度に基づいて基準映像の大きさをａ倍に拡大する。
【００２６】
ここで、基準映像は多視点映像を構成する視点映像のうち低解像度の視点映像であり、参照映像は多視点映像を構成する視点映像のうち高解像度の視点映像である。ここで、参照映像は多視点映像を構成する視点映像のうち基準映像と隣接する視点映像であり、基準映像とは異なる視点の映像である。例えば、基準映像がビュー（ｖｉｅｗ）１である場合、参照映像はビュー２であってもよい。
【００２７】
次に、ステップＳ１０２において、解像度復元装置は、基準映像の解像度に基づいて参照映像をダウンスケーリングする。
【００２８】
一例として、解像度復元装置は、参照映像の大きさを基準映像の大きさと同一に縮小する。例えば、基準映像の解像度が参照映像の解像度よりも１／ａ倍低い場合、解像度復元装置は基準映像の解像度に基づいて参照映像の大きさを１／ａ倍に縮小してもよい。
【００２９】
そして、ステップＳ１０３において、解像度復元装置は、ダウンスケーリングされた参照映像を再びアップスケーリングする。ここで、解像度復元装置は、オリジナルの参照映像の解像度に基づいてダウンスケーリングされた参照映像をアップスケーリングする。
【００３０】
例えば、参照映像の大きさを１／ａ倍ダウンスケーリングある場合、解像度復元装置は、ダウンスケーリングされた参照映像の大きさを再びａ倍に拡大してアップスケーリングしてもよい。
【００３１】
次に、ステップＳ１０４において、解像度復元装置は、アップスケーリングされた参照映像と本来の参照映像を用いてディテール情報を生成する。ここで、ディテール情報は、フィルタ係数情報及び差分映像情報のうち少なくとも１つを含んでもよい。
【００３２】
一例として、解像度復元装置は、アップスケーリングされた参照映像と本来の参照映像との間の差を復元するためのフィルタ係数を算出してもよい。例えば、復元フィルタでウィーナーフィルタ（ｗｉｅｎｅｒ ｆｉｌｔｅｒ）を用いる場合、解像度復元装置はアップスケーリングされた参照映像と本来の参照映像との間の差に基づいてウィーナーフィルタ係数を算出してもよい。
【００３３】
他の例として、解像度復元装置は、本来の参照映像でアップスケーリングされた参照映像を差し引いて差分映像情報を生成してもよい。
【００３４】
そして、ステップＳ１０５において、解像度復元装置は、ディテール情報及びアップスケーリングされた基準映像を用いて基準映像の解像度を復元する。
【００３５】
一例として、ディテール情報がフィルタ係数情報を含む場合、解像度復元装置は、フィルタ係数情報に基づいてアップスケーリングされた基準映像をフィルタリングして基準映像の高周波成分を復元してもよい。
【００３６】
他の例として、ディテール情報が差分映像情報を含む場合、解像度復元装置は、アップスケーリングされた基準映像で差分映像情報を加えて基準映像の高周波成分を復元してもよい。
【００３７】
このように、解像度復元装置は、基準映像と隣接する視点映像を参照映像として用いて基準映像の解像度を復元することで、映像符号化装置で送信する多視点映像のデータ量を減少させることができる。言い換えれば、映像符号化装置で低解像度映像と高解像度映像とを混合して送信するとしても、解像度復元装置は、低解像度映像の高周波成分を復元することによって画質の劣化を減少させ、映像符号化装置で送信する多視点映像のデータ量を減少させることができる。
【００３８】
図２は、解像度復元装置で基準映像の解像度を復元する構成を説明するための図である。図２に示すように、解像度復元装置は、低解像度である基準映像２０１の大きさを参照映像２０３の解像度に基づいてアップスケーリングする。
【００３９】
そして、解像度復元装置は、高解像度である参照映像２０３の大きさを基準映像２０１の解像度に基づいてダウンスケーリングしてもよい。ここで、参照映像は、多視点映像を構成する視点映像のうち基準映像と隣接する隣接視点映像であってもよい。
【００４０】
次に、解像度復元装置は、ダウンスケーリングされた参照映像２０４の大きさを再び本来の参照映像の大きさにアップスケーリングする。
【００４１】
そして、解像度復元装置は、アップスケーリングされた参照映像２０５と本来の参照映像２０３を用いてディテール情報を生成する。一例として、ディテール情報は、フィルタ係数情報及び差分映像情報のうち少なくとも１つを含んでもよい。
【００４２】
次に、解像度復元装置は、ディテール情報とアップスケーリングされた基準映像２０２を用いて基準映像２０１の解像度を復元する。言い換えれば、解像度復元装置は、基準映像の高周波成分が復元された映像２０６を生成することができる。
【００４３】
一例として、ディテール情報がフィルタ係数情報を含む場合、解像度復元装置は、アップスケーリングされた基準映像２０２をフィルタ係数情報に基づいてフィルタリングすることによって基準映像２０１の解像度を復元してもよい。
【００４４】
他の例として、ディテール情報が差分映像情報を含む場合、解像度復元装置は、アップスケーリングされた基準映像２０２と参照映像情報を加えて基準映像２０１の解像度を復元してもよい。
【００４５】
図３は、視点差を補償して基準映像の解像度を復元する構成を説明するためのフローチャートである。
【００４６】
図１及び図２における解像度復元装置は、基準映像と異なる視点に該当する隣接視点映像を参照映像として用いて基準映像の解像度を復元する。このように、他の視点の映像を用いて基準映像の解像度を復元する場合、基準映像と復元された映像との間の視点差が発生することがある。図３では視点差を補償する構成について説明する。
【００４７】
まず、ステップＳ３０１において、解像度復元装置は、アップスケーリングされた基準映像を複数のブロックに分割する。
【００４８】
次に、ステップＳ３０２において、解像度復元装置は、参照映像を複数のブロックに分割する。ここで、解像度復元装置は、分割された基準映像のブロックの数に対応するように参照映像を複数のブロックに分割する。例えば、アップスケーリングされた基準映像が３２×３２のブロックに分割された場合、解像度復元装置は参照映像を３２×３２のブロックに分割してもよい。
【００４９】
そして、ステップＳ３０３において、解像度復元装置は、参照映像で基準ブロックに対応するブロックを決定する。ここで、基準ブロックは、アップスケーリングされた基準映像を構成する複数のブロックのいずれか１つであってもよい。
【００５０】
一例として、解像度復元装置は、参照映像で基準ブロックに対応する位置にあるブロックを対応ブロックとして決定する。例えば、３２×３２のブロックに分割された基準映像でブロック１が基準ブロックである場合、解像度復元装置は参照映像でブロック１を対応ブロックとして決定する。
【００５１】
次に、ステップＳ３０４において、解像度復元装置は、基準ブロック及び対応ブロックを用いて視差（ｄｉｓｐａｒｉｔｙ）を算出する。
【００５２】
例えば、解像度復元装置は、基準ブロックに対応ブロック間のピクセル位置差を用いて視差を算出してもよい。
【００５３】
そして、ステップＳ３０５において、解像度復元装置は、算出された視差を用いて基準映像と参照映像との間の視点差を補償する。例えば、解像度復元装置は、算出された視差に基づいて参照映像を移動して視点差を補償する。ここで、解像度復元装置は、グローバル視差（ｇｌｏｂａｌ ｄｉｓｐａｒｉｔｙ）またはローカル視差（ｌｏｃａｌ ｄｉｓｐａｒｉｔｙ）方式を用いて視点差を補償することができる。
【００５４】
図４は、基準映像と参照映像との間の視点差補償を説明するための図である。図４に示すように、解像度復元装置は、参照映像４０２の解像度に基づいて基準映像４０１をアップスケーリングする。
【００５５】
そして、解像度復元装置は、アップスケーリングされた基準映像４０３の基準ブロック４０４に対応する位置にある対応ブロック４０５を参照映像として決定する。例えば、解像度復元装置は、動き推定アルゴリズムまたは基準映像の深度情報を用いて基準ブロック４０４に対応する位置にある対応ブロック４０５を決定する。
【００５６】
次に、解像度復元装置は、基準ブロック４０４に対応ブロック４０５間のピクセル差に基づいて視差４０６を算出する。
【００５７】
そして、解像度復元装置は、算出された視差４０６に基づいて対応ブロック４０５を移動して基準ブロックに対応ブロック間の視点差を補償する。ここで、解像度復元装置は、参照映像を構成する全てのブロックを対象に視点差を補償してもよい。これによって、解像度復元装置は、基準映像と参照映像との間の視点差を補償することができる。例えば、解像度復元装置は、グローバル視差方式に基づいて視点差を補償したり、またはローカル視差方式に基づいて視点差を補償してもよい。グローバル視差方式またはローカル視差方式によって視点差を補償する構成については図５及び図６を参照して後述することにする。
【００５８】
次に、解像度復元装置は、視点差が補償された対応ブロック４０７を解像度比率に基づいてダウンスケーリングする。ここで、解像度比率は、基準映像４０１と参照映像４０２との間の解像度差に基づいて算出される。
【００５９】
そして、解像度復元装置は、ダウンスケーリングされた対応ブロック４０８を解像度比率に基づいて再び本来の対応ブロックにアップスケーリングしてもよい。
【００６０】
これによって、解像度復元装置は、アップスケーリングされた対応ブロック４０９と本来の対応ブロック４０５との間の差に基づいて対応ブロックのディテール情報を生成する。ここで、対応ブロックのディテール情報は、対応ブロックのフィルタ係数情報及び対応ブロックの差分ブロック情報を含む。
【００６１】
次に、解像度復元装置は、対応ブロックのディテール情報及び基準ブロック４０４を用いて基準映像で基準ブロック４０４に該当する現在のブロックの解像度を復元する。言い換えれば、解像度復元装置は、現在のブロックの高周波成分を復元して復元ブロック４１０を生成する。ここで、現在のブロックは、本来の基準映像４０１でアップスケーリングされた基準映像の基準ブロック４０４に対応する位置にあるブロックであってもよい。すなわち、現在のブロックは、基準ブロック４０４がアップスケーリングされる以前のブロックを意味する。
【００６２】
同じ方法により、解像度復元装置は、アップスケーリングされた基準映像４０３を構成する全てのブロックと各ブロックに対応する位置にある対応ブロックのディテール情報を用いて基準映像４０１を構成する全てのブロックの解像度を復元する。結局、解像度復元装置は、基準映像４０１の解像度を復元して復元映像４１１を生成することができる。
【００６３】
そして、解像度復元装置は、復元映像４１１と参照映像４０２とを合成して仮想視点映像を生成する。
【００６４】
図５は、グローバル視差方式を用いて視点差を補償する方法を説明するために提供される図である。図５に示すように、解像度復元装置は、アップスケーリングされた基準映像５０１を構成する複数のブロックのいずれか１つを基準ブロックとして決定する。そして、解像度復元装置は、基準ブロックに対応する位置に該当する対応ブロックを参照映像５０２として決定する。ここで、解像度復元装置は、動き推定アルゴリズムまたは基準映像の深度情報を用いて対応ブロックを決定する。
【００６５】
次に、解像度復元装置は、基準ブロックと参照映像との間のピクセル差を算出してグローバル視差を算出する。そして、解像度復元装置は、算出したグローバル視差をアップスケーリングされた基準映像５０１を構成する全てのブロックに同一適用して基準映像と参照映像との間の視点差を補償する。
【００６６】
例えば、基準ブロック（１）５０３及び対応ブロック（１）５０４間のグローバル視差５０５が算出された場合、解像度復元装置はグローバル視差５０５に基づいて対応ブロック（１）５０４を移動するだけではなく、基準ブロック（２）５０６に対応する対応ブロック（２）５０７、基準ブロック（３）５０８に対応する対応ブロック（３）５０９を同じグローバル視差５０５に基づいて移動する。このように、解像度復元装置は、基準映像５０１を構成する全てのブロックに対して同じグローバル視差５０５を適用して参照映像５０２を移動して基準映像と参照映像との間の視点差を補償することができる。すなわち、解像度復元装置は、グローバル視差に基づいて参照映像５０２の視点が基準映像の視点と同一になるように補償することができる。
【００６７】
図３及び図４を参照して説明したように、解像度復元装置は、解像度比率に基づいて参照映像の対応ブロックをダウンスケーリングし、再びアップスケーリングする。次に、解像度復元装置は、アップスケーリングされた対応ブロックと本来の対応ブロックとの間の差を用いて対応ブロックのディテール情報を生成する。そして、解像度復元装置は、生成された対応ブロックのディテール情報と基準ブロックを用いて現在のブロックの解像度を復元する。ここで、現在のブロックは、アップスケーリングされる前の本来基準映像において、アップスケーリングされた基準映像５０１上の基準ブロック５０３に対応する位置にあるブロックであってもよい。
【００６８】
図６は、ローカル視差方式を用いて視点差を補償する方法を説明するために提供される図である。図６に示すように、解像度復元装置は、アップスケーリングされた基準映像６０１を構成する複数のブロックそれぞれに対応する位置に該当する対応ブロックを参照映像６０２でそれぞれ決定する。ここで、解像度復元装置は、動き推定アルゴリズムまたは基準映像の深度情報を用いて対応ブロックを決定する。
【００６９】
次に、解像度復元装置は、基準映像６０１の各基準ブロックと参照映像６０２の各対応ブロックとの間のピクセル差を算出して視差をブロックごとに算出する。そして、解像度復元装置は、算出したブロックごとの視差に基づいて各対応ブロックを移動することによって基準映像と参照映像との間の視点差を補償することができる。ここで、解像度復元装置は、各基準ブロックの深度情報を用いてローカル視差をブロックごとに算出してもよい。ここで、ローカル視差は平均視差であってもよい。
【００７０】
例えば、基準ブロック（１）６０３と対応ブロック（１）６０４との間の視差（１）６０５が算出された場合、解像度復元装置は視差（１）６０５に基づいて対応ブロック（１）６０４を移動する。そして、基準ブロック（２）６０６と対応ブロック（２）６０７との間の視差（２）６０８が算出された場合、解像度復元装置は、視差（２）６０８に基づいて対応ブロック（２）６０７の位置を移動する。そして、基準ブロック（３）６０９と対応ブロック（３）６１０との間の視差（３）６１１が算出された場合、解像度復元装置は視差（３）６１１に基づいて対応ブロック（３）６１０の位置を移動する。同じ方法に基づいて、解像度復元装置は、参照映像を構成する複数の対応ブロックをブロックごとの視差に基づいてそれぞれ移動してもよい。これによって、解像度復元装置は、参照映像の視点が基準映像の視点と同一になるように補償することができる。
【００７１】
図７は、解像度復元装置の細部構成を示すブロック図である。図７によれば、解像度復元装置７００は、アップスケーリング部７０１、ディテール情報生成部７０２、復元部７０３、および仮想視点映像生成部７０４を備える。アップスケーリング部７０１は、基準映像と隣接する参照映像の解像度に基づいて基準映像をアップスケーリングする。例えば、アップスケーリング部７０１は参照映像の大きさと同一になるように基準映像の大きさを拡大してもよい。
【００７２】
ここで、基準映像は多視点映像を構成する低解像度映像であり、参照映像は多視点映像を構成する視点映像のうち基準映像と隣接する高解像度映像であり、基準映像の視点と異なる視点を有することがある。例えば、基準映像が視点映像１である場合、参照映像は視点映像２であってもよい。
【００７３】
ディテール情報生成部７０２は、基準映像の解像度を復元するために参照映像を用いてディテール情報を生成する。ここで、ディテール情報は、フィルタ係数情報及び差分映像情報のうち少なくとも１つを含んでもよい。
【００７４】
一例として、ディテール情報生成部７０２は基準映像の解像度に基づいて参照映像をダウンスケーリングしてもよい。次に、ディテール情報生成部７０２は、ダウンスケーリングされた参照映像を本来の参照映像（ｏｒｉｇｉｎａｌ ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ）の解像度に基づいてアップスケーリングする。そして、ディテール情報生成部７０２は、アップスケーリングされた参照映像と本来の参照映像を用いてディテール情報を生成する。例えば、ディテール情報生成部７０２は、本来の参照映像とアップスケーリングされた参照映像との間の差を補償するためのフィルタ係数情報または差分映像情報をディテール情報として生成してもよい。
【００７５】
復元部７０３は、ディテール情報を用いてアップスケーリングされた基準映像の解像度を復元する。
【００７６】
一例として、フィルタ係数情報を用いる場合、復元部７０３はフィルタ係数情報に基づいてアップスケーリングされた基準映像をウィーナーフィルタリング（ｗｉｅｎｅｒ ｆｉｌｔｅｒ）して基準映像の高周波成分を復元する。
【００７７】
他の例として、差分映像情報を用いる場合、復元部７０３はアップスケーリングされた基準映像から差分映像情報を差し引いて基準映像の解像度を復元することができる。
【００７８】
一方、ディテール情報生成部７０２は参照映像を構成する各ブロックごとにディテール情報を生成してもよい。
【００７９】
一例として、ディテール情報生成部７０２は、基準映像の解像度と参照映像の解像度に基づいて解像度比率を算出してもよい。そして、ディテール情報生成部７０２は、算出された解像度比率に基づいて基準映像を構成するブロックのうち、基準ブロックに対応する位置に該当する参照映像の対応ブロックをダウンスケーリングしてもよい。次に、ディテール情報生成部７０２は、ダウンスケーリングされた対応ブロックを解像度比率に基づいて再びアップスケーリングしてもよい。そして、ディテール情報生成部７０２は、再びアップスケーリングされた対応ブロックと本来の対応ブロックを用いて対応ブロックのディテール情報を生成してもよい。
【００８０】
それで、復元部７０３は、対応ブロックのディテール情報を用いて基準ブロックの解像度を復元することができる。
【００８１】
ここで、基準映像と異なる視点映像を参照映像に用いて基準映像の解像度を復元することで、本来の基準映像と復元された基準映像との間の視点差が発生することがある。これによって、参照映像の視点を本来の基準映像の視点と同一にするために視点差を補償して基準映像の解像度を復元しなければならない。このように視点差を補償する構成について、図８を参照して後述する。
【００８２】
仮想視点映像生成部７０４は、解像度の復元された基準映像と参照映像とを合成して仮想視点映像を生成する。このように仮想視点映像生成部７０４は、仮想視点映像を生成することによってＭ×Ｍの多視点映像のうち一部の視点映像のみを受信してもＭ×Ｍの多視点映像を再生することができる。
【００８３】
今まで、図７では、アップスケーリング部７０１、復元部７０３、および仮想視点映像生成部７０４が別途のチップセット（ｃｈｉｐｓｅｔ）で構成されるものと説明したが、アップスケーリング部７０１および復元部７０３は仮想視点映像生成部７０４と統合されてもよい。言い換えれば、基準映像をアップスケーリングし、アップスケーリングされた基準映像の解像度をディテール情報に基づいて復元し、復元映像と参照映像とを合成して仮想視点映像を生成する構成がワンチップ（ｏｎｅ ｃｈｉｐ）に構成され得る。
【００８４】
図８は、視点差を補償する復元部の細部構成を示すブロック図である。図８に示すように、復元部８００は、対応ブロック決定部８０１、視差算出部８０２、および補償部８０３を備える。
【００８５】
対応ブロック決定部８０１は、アップスケーリングされた基準映像を複数のブロックに分割し、参照映像を複数のブロックに分割してもよい。ここで、対応ブロック決定部８０１は、アップスケーリングされた基準映像を構成するブロック数に基づいて参照映像を分割する。例えば、アップスケーリングされた基準映像が３２×３２のブロックに分割された場合、対応ブロック決定部８０１は参照映像を３２×３２のブロックに分割してもよい。
【００８６】
そして、対応ブロック決定部８０１は、基準映像の基準ブロックに対応する位置に該当する対応ブロックを参照映像として決定する。ここで、基準ブロックは、基準映像を構成するブロックのいずれか１つであってもよい。ここで、対応ブロック決定部８０１は、動き推定アルゴリズムまたは基準ブロックの深度情報に基づいて対応ブロックを決定する。
【００８７】
視差算出部８０２は基準ブロックに対応ブロックに基づいて視差を算出する。
【００８８】
一例として、グローバル視差方式を用いる場合、視差算出部８０２は、基準映像を構成する複数のブロックのいずれか１つの基準ブロックに対応ブロックに基づいてグローバル視差を算出してもよい。
【００８９】
これによって、補償部８０３は、グローバル視差を基準映像を構成する全てのブロックに同一適用して基準映像と参照映像との間の視点差を補償することができる。例えば、基準ブロック１を基準にして対応ブロック１が２ピクセルの左側に位置する場合、補償部８０３は対応ブロック１を右側に２ピクセル移動してもよい。同じ方法で補償部８０３は、参照映像を構成するｎ個の対応ブロックそれぞれを２ピクセルの右側に移動して視点差を補償してもよい。
【００９０】
他の例として、ローカル視差方式を用いる場合、視差算出部８０２は、基準映像を構成する各ブロック及び各ブロックに対応する参照映像の各対応ブロックに基づいてローカル視差を算出してもよい。言い換えれば、視差算出部８０２は、基準ブロック及び対応ブロックを一対（ｐａｉｒ）にするブロックごとにローカル視差を算出してもよい。ここで、ローカル視差はブロックの平均視差である。
【００９１】
これによって、補償部８０３は、ローカル視差に基づいてブロックごとに視点差を補償することができる。例えば、基準ブロック１を基準にして対応ブロック１が２ピクセルの左側に位置、基準ブロック２を基準にして対応ブロック２が１ピクセルの左側に位置する場合、補償部８０３は対応ブロック１を右側に２ピクセル移動し、対応ブロック２を右側に１ピクセル移動してもよい。同じ方法で補償部８０３は、参照映像を構成するｎ個の対応ブロックそれぞれをブロックごとのローカル視差に基づいて移動してもよい。
【００９２】
図９は、４個の視点映像を用いて解像度を復元する構成を説明するための図である。図９に示すように、解像度復元装置は４個のビュー基盤のＦＴＶ（Ｆｒｅｅ Ｖｉｅｗｐｏｉｎｔ Ｖｉｄｅｏ）システムを用いてもよい。図９に示すように、解像度復元装置は、４個のビューで構成された多視点映像を受信する。これによって解像度復元装置は、多視点映像のうち低解像度の基準映像と隣接する高解像度の視点映像を参照映像として決定し、参照映像を用いて基準映像の解像度を復元する。
【００９３】
一例として、ビュー（１）９０１が低解像度の基準映像１であり、ビュー（４）９０４が低解像度の基準映像４である場合、解像度復元装置は４個の視点映像のうち基準映像（１）９０１と隣接する高解像度の視点映像であるビュー（２）９０３を参照映像（２）９０３として決定する。同様に、解像度復元装置は、基準映像（４）９０８と隣接する高解像度の視点映像であるビュー（３）を参照映像（３）９１０として決定する。
【００９４】
次に、解像度復元装置は、基準映像（１）９０１と基準映像（４）９０８をそれぞれアップスケーリングする。そして、解像度復元装置は、参照映像（２）９０３と参照映像（３）９１０をそれぞれダウンスケーリングした後、再びアップスケーリングする。次に、解像度復元装置はアップスケーリングされた参照映像（２）９０６と本来の参照映像（２）９０３を用いてディテール情報１を生成し、アップスケーリングされた参照映像（３）９１２と本来の参照映像（３）９１０を用いてディテール情報２を生成する。ここで、ディテール情報を生成する前に、解像度復元装置は、グローバル視差方式またはローカル視差方式を用いて参照映像（２）９０３及び参照映像（３）９１０それぞれの視点差を補償することができる。例えば、視点差が補償された参照映像（２）９０４は基準映像（１）９０１と同じ視点を有してもよい。
【００９５】
そして、解像度復元装置は、アップスケーリングされた基準映像（１）９０２とディテール情報１を用いて基準映像（１）９０１の解像度を復元する。同様に、解像度復元装置は、アップスケーリングされた基準映像（４）９０８とディテール情報２を用いて基準映像（４）９０８の解像度を復元する。言い換えれば、解像度復元装置は、基準映像（１）９０１及び基準映像（４）９０８の解像度が復元された復元映像（１）９０７及び復元映像（２）９１３を生成する。
【００９６】
次に、解像度復元装置は、復元映像（１）９０７及び参照映像（２）９０４を用いて１つ以上の仮想視点映像を生成する。同様に、解像度復元装置は、復元映像（４）９１３及び参照映像（３）９１０を用いて１つ以上の仮想視点映像を生成する。
【００９７】
図１０は、３つの視点映像を用いて解像度を復元する構成を説明するための図である。図１０は、３つのビューから構成された多視点映像が入力されて低解像度の基準映像に対する解像度を復元するという点で、入力個数だけが図９と異なるだけであって、解像度を復元する具体的な構成は図１０と実質的に同様であることから、重複する説明は省略することにする。
【００９８】
図１０に示すように、解像度復元装置は、低解像度の基準映像であるビュー（１）１００１、高解像度の参照映像であるビュー（２）１００２、および低解像度の基準映像であるビュー（３）１００３から構成された多視点映像を受信する。
【００９９】
このように低解像度の基準映像に対する解像度を復元するためには、低解像度映像と隣接する視点映像は高解像度映像でなければならない。これによって、３つのビューで構成された多視点映像を受信する場合、多視点映像は低解像度の基準映像間に高解像度の参照映像が存在する形態を有し得る。
【０１００】
これによって、解像度復元装置は、ビュー（１）１００１及びビュー（３）１００３をアップスケーリングする。次に、解像度復元装置は、ビュー（２）１００６をダウンスケーリング１００７した後、再びアップスケーリング１００８してディテール情報を生成する。ここで、図９で説明したように、解像度復元装置はビュー（１）１００１とビュー（２）１００６との間の視点差、そして、ビュー（２）１００６とビュー（３）１００３との間の視点差をそれぞれ補償してディテール情報１及び２を生成する。そして、解像度復元装置は、ディテール情報１及びアップスケーリングされたビュー（１）１００９に基づいてビュー（１）１００１の解像度を復元し、ディテール情報２及びアップスケーリングされたビュー（３）１００５に基づいてビュー（３）１０１０の解像度を復元することができる。
【０１０１】
本発明の一実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。
【０１０２】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【０１０３】
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０１０４】
７００ 解像度復元装置
７１０ アップスケーリング部
７２０ ディテール情報生成部
７３０ 復元部
７４０ 仮想視点映像生成部
【特許請求の範囲】
【請求項１】
基準映像と隣接する参照映像の解像度に基づいて基準映像をアップスケーリングするステップと、
前記参照映像を用いてディテール情報を生成するステップと、
前記ディテール情報及び前記アップスケーリングされた基準映像を用いて基準映像の解像度を復元するステップと、
を含むことを特徴とする解像度復元方法。
【請求項２】
前記基準映像は多視点映像を構成する低解像度映像であり、
前記参照映像は前記基準映像と隣接する高解像度映像であり、前記基準映像の視点と異なる隣接視点を有することを特徴とする請求項１に記載の解像度復元方法。
【請求項３】
前記ディテール情報は、フィルタ係数情報及び差分映像情報のうち少なくとも１つを含み、
前記解像度を復元するステップは、前記フィルタ係数に基づいて前記アップスケーリングされた基準映像をフィルタリングすることによって基準映像の解像度を復元することを特徴とする請求項１に記載の解像度復元方法。
【請求項４】
前記解像度を復元するステップは、前記差分映像情報と前記アップスケーリングされた基準映像を用いて前記基準映像の解像度を復元することを特徴とする請求項３に記載の解像度復元方法。
【請求項５】
前記ディテール情報を生成するステップは、
前記基準映像の解像度に基づいて前記参照映像をダウンスケーリングするステップと、
前記参照映像の解像度に基づいて前記ダウンスケーリングされた参照映像をアップスケーリングするステップと、
前記アップスケーリングされた参照映像と前記参照映像を用いて前記ディテール情報を生成するステップと、
を含むことを特徴とする請求項１に記載の解像度復元方法。
【請求項６】
前記解像度を復元するステップは、
前記アップスケーリングされた基準映像を複数のブロックに分割するステップと、
前記参照映像で前記分割されたブロックのいずれか１つの基準ブロックに対応するブロックを決定するステップと、
前記基準ブロックと参照映像の対応ブロックに基づいて視差を算出するステップと、
前記視差に基づいて前記基準映像と前記参照映像との間の視点差を補償するステップと、
を含むことを特徴とする請求項１に記載の解像度復元方法。
【請求項７】
前記ディテール情報を生成するステップは、
前記基準映像の解像度と前記参照映像の解像度に基づいて解像度比率を算出するステップと、
前記解像度比率に基づいて前記対応ブロックをダウンスケーリングするステップと、
前記解像度比率に基づいて前記ダウンスケーリングされた対応ブロックをアップスケーリングするステップと、
前記アップスケーリングされた対応ブロックと前記対応ブロックに基づいて前記対応ブロックのディテール情報を生成するステップと、
を含み、
前記解像度を復元するステップは、前記対応ブロックのディテール情報及び前記基準ブロックを用いて前記基準映像で前記基準ブロックに対応する現在のブロックの解像度を復元することを特徴とする請求項６に記載の解像度復元方法。
【請求項８】
前記視点差を補償するステップは、前記視差を前記基準映像を構成する全てのブロックに同一に適用して前記視点差を補償することを特徴とする請求項６に記載の解像度復元方法。
【請求項９】
前記視点差を補償するステップは、前記基準映像の各ブロックに対応する参照映像の各対応ブロックを用いて算出された各視差に基づいて前記基準映像を構成するブロックごとに視点差を補償することを特徴とする請求項６に記載の解像度復元方法。
【請求項１０】
前記解像度が復元された基準映像と前記参照映像を合成して仮想視点映像を生成するステップをさらに含むことを特徴とする請求項１に記載の解像度復元方法。
【請求項１１】
基準映像と隣接する参照映像の解像度に基づいて前記基準映像をアップスケーリングするアップスケーリング部と、
前記参照映像を用いてディテール情報を生成するディテール情報生成部と、
前記ディテール情報及び前記アップスケーリングされた基準映像を用いて基準映像の解像度を復元する復元部と、
を備えることを特徴とする解像度復元装置。
【請求項１２】
前記基準映像は多視点映像を構成する低解像度映像であり、
前記参照映像は前記基準映像と隣接する高解像度映像であり、前記基準映像の視点と異なる隣接視点を有することを特徴とする請求項１１に記載の解像度復元装置。
【請求項１３】
前記ディテール情報は、フィルタ係数情報及び差分映像情報のうち少なくとも１つを含み、
前記復元部は、前記フィルタ係数に基づいて前記アップスケーリングされた基準映像をフィルタリングすることによって基準映像の解像度を復元することを特徴とする請求項１１に記載の解像度復元装置。
【請求項１４】
前記復元部は、前記差分映像情報と前記アップスケーリングされた基準映像を用いて前記基準映像の解像度を復元することを特徴とする請求項１３に記載の解像度復元装置。
【請求項１５】
前記ディテール情報生成部は、前記基準映像の解像度に基づいて前記参照映像をダウンスケーリングし、前記参照映像の解像度に基づいて前記ダウンスケーリングされた参照映像をアップスケーリングし、前記アップスケーリングされた参照映像と前記参照映像を用いて前記ディテール情報を生成することを特徴とする請求項１１に記載の解像度復元装置。
【請求項１６】
前記復元部は、
前記アップスケーリングされた基準映像を複数のブロックに分割し、前記参照映像で前記分割されたブロックのいずれか１つの基準ブロックに対応するブロックを決定する対応ブロック決定部と、
前記基準ブロックと参照映像の対応ブロックに基づいて視差を算出する視差算出部と、
前記視差に基づいて前記基準映像と前記参照映像との間の視点差を補償する補償部と、
を備えることを特徴とする請求項１１に記載の解像度復元装置。
【請求項１７】
前記ディテール情報生成部は、前記基準映像の解像度と前記参照映像の解像度に基づいて解像度比率を算出し、前記解像度比率に基づいて前記対応ブロックをダウンスケーリングし、前記解像度比率に基づいて前記ダウンスケーリングされた対応ブロックをアップスケーリングし、前記アップスケーリングされた対応ブロックと前記対応ブロックに基づいて前記対応ブロックのディテール情報を生成することを特徴とし、
前記復元部は、前記対応ブロックのディテール情報及び前記基準ブロックを用いて前記基準映像で前記基準ブロックに対応する現在のブロックの解像度を復元することを特徴とする請求項１６に記載の解像度復元装置。
【請求項１８】
前記補償部は、前記視差を前記基準映像を構成する全てのブロックに同一に適用して前記視点差を補償することを特徴とする請求項１６に記載の解像度復元装置。
【請求項１９】
前記補償部は、前記基準映像の各ブロックに対応する参照映像の各対応ブロックを用いて算出された各視差に基づいて前記基準映像を構成するブロックごとに視点差を補償することを特徴とする請求項１６に記載の解像度復元装置。
【請求項２０】
前記解像度が復元された基準映像と前記参照映像とを合成して仮想視点映像を生成する仮想視点映像生成部をさらに備えることを特徴とする請求項１１に記載の解像度復元装置。
【請求項２１】
前記アップスケーリング部、前記復元部、および前記仮想視点映像生成部はオンチップから構成されることを特徴とする請求項２０に記載の解像度復元装置。
【請求項１】
基準映像と隣接する参照映像の解像度に基づいて基準映像をアップスケーリングするステップと、
前記参照映像を用いてディテール情報を生成するステップと、
前記ディテール情報及び前記アップスケーリングされた基準映像を用いて基準映像の解像度を復元するステップと、
を含むことを特徴とする解像度復元方法。
【請求項２】
前記基準映像は多視点映像を構成する低解像度映像であり、
前記参照映像は前記基準映像と隣接する高解像度映像であり、前記基準映像の視点と異なる隣接視点を有することを特徴とする請求項１に記載の解像度復元方法。
【請求項３】
前記ディテール情報は、フィルタ係数情報及び差分映像情報のうち少なくとも１つを含み、
前記解像度を復元するステップは、前記フィルタ係数に基づいて前記アップスケーリングされた基準映像をフィルタリングすることによって基準映像の解像度を復元することを特徴とする請求項１に記載の解像度復元方法。
【請求項４】
前記解像度を復元するステップは、前記差分映像情報と前記アップスケーリングされた基準映像を用いて前記基準映像の解像度を復元することを特徴とする請求項３に記載の解像度復元方法。
【請求項５】
前記ディテール情報を生成するステップは、
前記基準映像の解像度に基づいて前記参照映像をダウンスケーリングするステップと、
前記参照映像の解像度に基づいて前記ダウンスケーリングされた参照映像をアップスケーリングするステップと、
前記アップスケーリングされた参照映像と前記参照映像を用いて前記ディテール情報を生成するステップと、
を含むことを特徴とする請求項１に記載の解像度復元方法。
【請求項６】
前記解像度を復元するステップは、
前記アップスケーリングされた基準映像を複数のブロックに分割するステップと、
前記参照映像で前記分割されたブロックのいずれか１つの基準ブロックに対応するブロックを決定するステップと、
前記基準ブロックと参照映像の対応ブロックに基づいて視差を算出するステップと、
前記視差に基づいて前記基準映像と前記参照映像との間の視点差を補償するステップと、
を含むことを特徴とする請求項１に記載の解像度復元方法。
【請求項７】
前記ディテール情報を生成するステップは、
前記基準映像の解像度と前記参照映像の解像度に基づいて解像度比率を算出するステップと、
前記解像度比率に基づいて前記対応ブロックをダウンスケーリングするステップと、
前記解像度比率に基づいて前記ダウンスケーリングされた対応ブロックをアップスケーリングするステップと、
前記アップスケーリングされた対応ブロックと前記対応ブロックに基づいて前記対応ブロックのディテール情報を生成するステップと、
を含み、
前記解像度を復元するステップは、前記対応ブロックのディテール情報及び前記基準ブロックを用いて前記基準映像で前記基準ブロックに対応する現在のブロックの解像度を復元することを特徴とする請求項６に記載の解像度復元方法。
【請求項８】
前記視点差を補償するステップは、前記視差を前記基準映像を構成する全てのブロックに同一に適用して前記視点差を補償することを特徴とする請求項６に記載の解像度復元方法。
【請求項９】
前記視点差を補償するステップは、前記基準映像の各ブロックに対応する参照映像の各対応ブロックを用いて算出された各視差に基づいて前記基準映像を構成するブロックごとに視点差を補償することを特徴とする請求項６に記載の解像度復元方法。
【請求項１０】
前記解像度が復元された基準映像と前記参照映像を合成して仮想視点映像を生成するステップをさらに含むことを特徴とする請求項１に記載の解像度復元方法。
【請求項１１】
基準映像と隣接する参照映像の解像度に基づいて前記基準映像をアップスケーリングするアップスケーリング部と、
前記参照映像を用いてディテール情報を生成するディテール情報生成部と、
前記ディテール情報及び前記アップスケーリングされた基準映像を用いて基準映像の解像度を復元する復元部と、
を備えることを特徴とする解像度復元装置。
【請求項１２】
前記基準映像は多視点映像を構成する低解像度映像であり、
前記参照映像は前記基準映像と隣接する高解像度映像であり、前記基準映像の視点と異なる隣接視点を有することを特徴とする請求項１１に記載の解像度復元装置。
【請求項１３】
前記ディテール情報は、フィルタ係数情報及び差分映像情報のうち少なくとも１つを含み、
前記復元部は、前記フィルタ係数に基づいて前記アップスケーリングされた基準映像をフィルタリングすることによって基準映像の解像度を復元することを特徴とする請求項１１に記載の解像度復元装置。
【請求項１４】
前記復元部は、前記差分映像情報と前記アップスケーリングされた基準映像を用いて前記基準映像の解像度を復元することを特徴とする請求項１３に記載の解像度復元装置。
【請求項１５】
前記ディテール情報生成部は、前記基準映像の解像度に基づいて前記参照映像をダウンスケーリングし、前記参照映像の解像度に基づいて前記ダウンスケーリングされた参照映像をアップスケーリングし、前記アップスケーリングされた参照映像と前記参照映像を用いて前記ディテール情報を生成することを特徴とする請求項１１に記載の解像度復元装置。
【請求項１６】
前記復元部は、
前記アップスケーリングされた基準映像を複数のブロックに分割し、前記参照映像で前記分割されたブロックのいずれか１つの基準ブロックに対応するブロックを決定する対応ブロック決定部と、
前記基準ブロックと参照映像の対応ブロックに基づいて視差を算出する視差算出部と、
前記視差に基づいて前記基準映像と前記参照映像との間の視点差を補償する補償部と、
を備えることを特徴とする請求項１１に記載の解像度復元装置。
【請求項１７】
前記ディテール情報生成部は、前記基準映像の解像度と前記参照映像の解像度に基づいて解像度比率を算出し、前記解像度比率に基づいて前記対応ブロックをダウンスケーリングし、前記解像度比率に基づいて前記ダウンスケーリングされた対応ブロックをアップスケーリングし、前記アップスケーリングされた対応ブロックと前記対応ブロックに基づいて前記対応ブロックのディテール情報を生成することを特徴とし、
前記復元部は、前記対応ブロックのディテール情報及び前記基準ブロックを用いて前記基準映像で前記基準ブロックに対応する現在のブロックの解像度を復元することを特徴とする請求項１６に記載の解像度復元装置。
【請求項１８】
前記補償部は、前記視差を前記基準映像を構成する全てのブロックに同一に適用して前記視点差を補償することを特徴とする請求項１６に記載の解像度復元装置。
【請求項１９】
前記補償部は、前記基準映像の各ブロックに対応する参照映像の各対応ブロックを用いて算出された各視差に基づいて前記基準映像を構成するブロックごとに視点差を補償することを特徴とする請求項１６に記載の解像度復元装置。
【請求項２０】
前記解像度が復元された基準映像と前記参照映像とを合成して仮想視点映像を生成する仮想視点映像生成部をさらに備えることを特徴とする請求項１１に記載の解像度復元装置。
【請求項２１】
前記アップスケーリング部、前記復元部、および前記仮想視点映像生成部はオンチップから構成されることを特徴とする請求項２０に記載の解像度復元装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１３０７９（Ｐ２０１３−１３０７９Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１２−１４２９３３（Ｐ２０１２−１４２９３３）
【出願日】平成２４年６月２６日（２０１２．６．２６）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２４年６月２６日（２０１２．６．２６）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]