仮想参照ビュー
様々な実装について記載する。幾つかの実装は仮想参照ビューに関する。一態様によれば、第１のビュー画像についての符号化情報にアクセスする。第１のビューとは異なる仮想ビュー位置からの第１のビュー画像を表す参照画像にアクセスする。参照画像は第１のビューと第２のビューとの間の位置についての合成画像に基づいている。参照画像に基づいて符号化された第２のビュー画像についての符号化情報にアクセスする。第２のビュー画像が復号される。別の態様によれば、第１のビュー画像にアクセスする。第１のビュー位置とは異なる仮想ビュー位置についての仮想画像が第１のビュー画像に基づいて合成される。第２のビュー画像は仮想画像に基づいて参照画像を使用して符号化される。第２のビューは仮想ビュー位置とは異なる。符号化は符号化された第２のビュー画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
符号化システムに関連する実装形態について記載する。様々な特定の実装形態は、仮想参照ビューに関する。
【背景技術】
【０００２】
本出願は、あらゆる目的でその内容がすべて参照により本明細書に組み込まれている、２００８年３月４日出願の「Virtual Reference View」という名称の米国特許仮出願第６１／０６８０７０明細書の利益を主張する。
【０００３】
マルチビュー映像符号化が、自由視点及び３Ｄ（３次元）映像分野、ホームエンターテイメント及び監視を含めて、広範な応用分野に役立つ鍵となる技術であることは、広く認識されている。更に、奥行きデータ（depth data）を各ビューに関連付けることができる。奥行きデータは一般に、ビュー合成に不可欠である。こうしたマルチビューの応用分野において、関与する映像及び奥行きデータの量は、通常、膨大である。したがって、少なくとも、独立したビューの同報を行う現在の映像符号化ソリューションの符号化効率の向上を助けるフレームワークの要望がある。
【０００４】
マルチビュー映像ソースは、同一シーンの複数のビューを含む。その結果、通常、マルチビュー画像の間に高度の相関関係がある。したがって、時間冗長度（temporal redundancy）に加えて、ビュー冗長度（view redundancy）を活用することができる。例えば、異なるビューにわたってビュー予測を実行することによって、ビュー冗長度を活用することができる。
【０００５】
実際のシナリオにおいて、マルチビュー映像システムは、まばらに配置されたカメラを使用してシーンを捕捉する。次いで、ビュー合成／補間によって、使用可能な奥行きデータ及び捕捉されたビューを使用して、これらのカメラ間のビューを生成することができる。更に、幾つかのビューは、奥行き情報だけを含んでいる場合があり、次いでその後、関連の奥行きデータを使用して復号器で合成される。奥行きデータを使用して中間仮想ビューを生成することもできる。こうした疎なシステムにおいて、捕捉されたビューの間の相関関係は大きくない場合があり、ビューにわたる予測は非常に限られている場合がある。
【発明の概要】
【課題を解決するための手段】
【０００６】
一般的な態様によれば、第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスする。第１のビュー位置とは異なる仮想ビュー位置からの第１のビュー画像を表す参照画像にアクセスする。参照画像は、第１のビュー位置と第２のビュー位置との間のある位置についての合成画像に基づいている。第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスし、この場合、第２のビュー画像は、参照画像に基づいて符号化されている。第２のビュー画像は、第２のビュー画像及び参照画像についての符号化映像情報を使用して復号されて、復号済みの第２のビュー画像が生成される。
【０００７】
別の一般的な態様によれば、第１のビュー位置に対応する第１のビュー画像にアクセスする。第１のビュー位置とは異なる仮想ビュー位置についての仮想画像が、第１のビュー画像に基づいて合成される。第２のビュー位置に対応する第２のビュー画像が符号化される。符号化は、仮想画像に基づく参照画像を使用する。第２のビュー位置は、仮想ビュー位置とは異なる。符号化は、符号化された第２のビュー画像を生成する。
【０００８】
１つまたは複数の実装形態の詳細は、添付の図面及び以下の説明に記載されている。１つの特定の方法で記載されていても、実装形態を様々な方法で構成し、または具体化することができることは明らかである。例えば、一実装形態は、方法として実行されてもよく、または例えば１組の操作を実行するように構成された装置、もしくは１組の操作を実行するための命令を格納する装置などの装置として具体化されてもよく、または信号に組み込まれてもよい。他の態様及び特徴は、添付の図面及び特許請求の範囲と併せて読めば、以下の詳細な説明から明らかになる。
【図面の簡単な説明】
【０００９】
【図１】マルチビュー映像を奥行き情報と共に送受信するためのシステムの一実装形態を示す図である。
【図２】奥行き（Ｋ＝３）の３つの入力ビューから９つの出力ビュー（Ｎ＝９）を生成するためのフレームワークの一実装形態を示す図である。
【図３】符号器の一実装形態を示す図である。
【図４】復号器の一実装形態を示す図である。
【図５】映像送信機の一実装形態を示すブロック図である。
【図６】映像受信機の一実装形態を示すブロック図である。
【図７Ａ】符号化プロセスの一実装形態を示す図である。
【図７Ｂ】復号プロセスの一実装形態を示す図である。
【図８Ａ】符号化プロセスの一実装形態を示す図である。
【図８Ｂ】復号プロセスの一実装形態を示す図である。
【図９】奥行きマップの一例である。
【図１０Ａ】穴埋め無しのワープ済みピクチャの一例である。
【図１０Ｂ】穴埋め有りの図１０Ａのワープ済みピクチャの一例である。
【図１１】符号化プロセスの一実装形態を示す図である。
【図１２】復号プロセスの一実装形態を示す図である。
【図１３】連続仮想ビュー生成器の一実装形態を示す図である。
【図１４】符号化プロセスの一実装形態を示す図である。
【図１５】復号プロセスの一実装形態を示す図である。
【発明を実施するための形態】
【００１０】
少なくとも一実装形態において、仮想ビューを参照として使用するフレームワークを提案する。少なくとも一実装形態において、予想されるビューと連結されない仮想ビューを追加の参照として使用することを提案する。別の実装形態において、何らかの品質対複雑さのトレードオフが満たされるまで、仮想参照ビュー（virtual reference view）を連続的に改良することも提案する。次いで、仮想的に生成された幾つかのビューを追加の参照として含め、参照リストにおけるそれらの位置を高レベルで示すことができる。
【００１１】
したがって、少なくとも幾つかの実装形態によって扱われる少なくとも１つの問題は、仮想ビューを追加の参照として使用したマルチビュー映像系列の効率的な符号化である。マルチビュー映像系列は、異なる視点から同一シーンを捕捉する２つ以上の映像系列の組である。
【００１２】
ＦＴＶ（自由視点テレビ）は、マルチビュー映像及び奥行き情報についての符号化表現を含み、受信機での高品質の中間ビューの生成を対象とする新しいフレームワークである。これによって自動立体ディスプレイの自由視点機能及びビュー生成が可能になる。
【００１３】
図１は、本原理の一実施形態による、本原理を適用できる、マルチビュー映像を奥行き情報と共に送受信するためのシステム１００の例を示す。図１において、映像データは実線で示されており、奥行きデータは破線で示されており、メタデータは点線で示されている。システム１００は、それだけには限定されないが、例えば自由視点テレビシステムとすることができる。送信機側１１０に、システム１００は、３Ｄ（３次元）コンテンツ生成器１２０を含み、複数のそれぞれのソースから映像データ、奥行きデータ、及び、メタデータのうちの１つまたは複数を受信するための複数の入力を有する。こうしたソースは、それだけには限定されないが、ステレオカメラ１１１、奥行きカメラ１１２、マルチカメラセットアップ１１３、及び、２Ｄ／３Ｄ（２次元／３次元）変換プロセス１１４を含み得る。１つまたは複数のネットワーク１３０は、ＭＶＣ（マルチビュー映像符号化）及びＤＶＢ（デジタル映像ブロードキャスティング）に関連する映像データ、奥行きデータ、及び、メタデータのうちの１つまたは複数を送信するために使用され得る。
【００１４】
受信機側１４０では、奥行き画像ベースのレンダラ（depth image-based renderer）１５０は、奥行き画像ベースのレンダリングを実行して、信号を様々なタイプのディスプレイに投影する。奥行き画像ベースのレンダラ１５０は、表示構成情報及びユーザの選好を受信することができる。奥行き画像ベースのレンダラ１５０の出力は、２Ｄディスプレイ１６１、Ｍビュー３Ｄディスプレイ１６２、及び／またはヘッド追跡型ステレオディスプレイ１６３のうちの１つまたは複数に提供することができる。
【００１５】
送信すべきデータ量を低減するために、高密度アレイ（dense array）のカメラ（Ｖ１，Ｖ２．．．Ｖ９）をサブサンプリングすることができ、疎な１組のカメラが実際にシーンを捕捉するだけでよい。図２は、本原理の一実施形態による、本原理を適用することができる奥行き（Ｋ＝３）の３つの入力ビューから９つの出力ビュー（Ｎ＝９）を生成するためのフレームワーク２００の例を示す。フレームワーク２００は、マルチビューの出力をサポートする自動立体３Ｄディスプレイ２１０、第１の奥行き画像ベースのレンダラ２２０、第２の奥行き画像ベースのレンダラ２３０、及び、復号済みデータ用のバッファ２４０を含む。復号済みデータは、ＭＶＤ（Multiple View plus Depth）データとして知られる表現である。９つのカメラは、Ｖ１からＶ９によって示される。３つの入力ビューの対応する奥行きマップは、Ｄ１、Ｄ５、及びＤ９によって示される。捕捉されたカメラ位置（例えば、Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３）の間の任意の仮想カメラ位置は、図２に示されるように、使用可能な奥行きマップ（Ｄ１、Ｄ５、Ｄ９）を使用して生成することができる。図２でわかるように、データを捕捉するために使用される実際のカメラの間の基線（Ｖ１、Ｖ５、及びＶ９）を長くすることができる。その結果、これらのカメラの間の相関関係はかなり低下し、符号化効率は時間的な相関関係にのみ依存するため、これらのカメラの符号化効率は、悪くなる可能性がある。
【００１６】
少なくとも１つの記載した実装形態において、基線が長いカメラの符号化効率を向上させるというこの問題に対処することを提案する。解決策は、マルチビューのビュー符号化に限定されず、マルチビュー奥行き符号化に適用することもできる。
【００１７】
図３は、本原理の一実施形態による、本原理を適用することができる符号器３００の例を示す。符号器３００は、出力を変換器３１０の入力と信号通信で接続する結合器３０５を含む。変換器３１０の出力は、量子化器３１５の入力と信号通信で接続される。量子化器３１５の出力は、エントロピ符号器３２０の入力及び逆量子化器３２５の入力と信号通信で接続される。逆量子化器３２５の出力は、逆変換器３３０の入力と信号通信で接続される。逆変換器３３０の出力は、結合器３３５の第１の非反転入力と信号通信で接続される。結合器３３５の出力は、イントラ予測子（intra predictor）３４５の入力及びデブロッキングフィルタ３５０の入力と信号通信で接続される。デブロッキングフィルタ３５０は、例えば、マクロブロック境界に沿ってアーティファクトを削除する。デブロッキングフィルタ３５０の第１の出力は、参照ピクチャストア３５５の入力（時間的予測用）及び参照ピクチャストア３６０の第１の入力（ビュー間予測用）と信号通信で接続される。参照ピクチャストア３５５の出力は、動き補償器３７５の第１の入力及び動き推定器３８０の第１の入力と信号通信で接続される。動き推定器３８０の出力は、動き補償器３７５の第２の入力と信号通信で接続される。参照ピクチャストア３６０の出力は、差異推定器（disparity estimator）３７０の第１の入力及び差異補償器（disparity compensator）３６５の第１の入力と信号通信で接続される。差異推定器３７０の出力は、差異補償器３６５の第２の入力と信号通信で接続される。
【００１８】
デブロッキングフィルタ３５０の第２の出力は、参照ピクチャストア３７１の入力（仮想ピクチャ生成用）と信号通信で接続される。参照ピクチャストア３７１の出力は、ビュー合成器３７２の第１の入力と信号通信で接続される。仮想参照ビューコントローラ３７３の第１の出力は、ビュー合成器３７２の第２の入力と信号通信で接続される。
【００１９】
エントロピ符号器３２０の出力、仮想参照ビューコントローラ３７３の第２の出力、モード決定モジュール３９５の第１の出力、及び、ビューセレクタ３０２の出力はそれぞれ、ビットストリームを出力するための符号器３００のそれぞれの出力として使用可能である。スイッチ３８８の第１の入力（ビューｉについてのピクチャデータ用）、第２の入力（ビューｊについてのピクチャデータ用）、及び、第３の入力（合成ビューについてのピクチャデータ用）はそれぞれ、符号器へのそれぞれの入力として使用可能である。ビュー合成器３７２の出力（合成ビューの提供用）は、参照ピクチャストア３６０の第２の入力及びスイッチ３８８の第３の入力と信号通信で接続される。ビューセレクタ３０２の第２の出力は、どの入力（例えばビューｉのピクチャデータ、ビューｊのピクチャデータ、または合成ビューのピクチャデータ）がスイッチ３８８に提供されるかを判定する。スイッチ３８８の出力は、結合器３０５の非反転入力、動き補償器３７５の第３の入力、動き推定器３８０の第２の入力、及び、差異推定器３７０の第２の入力と信号通信で接続される。イントラ予測子３４５の出力は、スイッチ３８５の第１の入力と信号通信で接続される。差異補償器３６５の出力は、スイッチ３８５の第２の入力と信号通信で接続される。動き補償器３７５の出力は、スイッチ３８５の第３の入力と信号通信で接続される。モード決定モジュール３９５の出力は、どの入力がスイッチ３８５に提供されるかを判定する。スイッチ３８５の出力は、結合器３３５の第２の非反転入力及び結合器３０５の反転入力と信号通信で接続される。
【００２０】
図３の部分は、個々にまたはまとめて、例えばブロック３１０、３１５、及び３２０など、符号器、符号化ユニット、またはアクセスユニットと呼ぶこともできる。同様に、ブロック３２５、３３０、３３５及び３５０は、例えば、個々にまたはまとめて、復号器または復号ユニットと呼ぶことができる。
【００２１】
図４は、本原理の一実施形態による、本原理を適用することができる復号器４００の例を示す。復号器４００は、出力を逆量子化器４１０の入力と信号通信で接続するエントロピ復号器４０５を含む。逆量子化器の出力は、逆変換器４１５の入力と信号通信で接続される。逆変換器４１５の出力は、結合器４２０の第１の非反転入力と信号通信で接続される。結合器４２０の出力は、デブロッキングフィルタ４２５の入力及びイントラ予測子４３０の入力と信号通信で接続される。デブロッキングフィルタ４２５の出力は、参照ピクチャストア４４０の入力（時間的予測用）、参照ピクチャストア４４５の第１の入力（ビュー間予測用）、及び、参照ピクチャストア４７２の第１の入力（仮想ピクチャ生成用）と信号通信で接続される。参照ピクチャストア４４０の出力は、動き補償器４３５の第１の入力と信号通信で接続される。参照ピクチャストア４４５の出力は、差異補償器４５０の第１の入力と信号通信で接続される。
【００２２】
ビットストリーム受信機４０１の出力は、ビットストリームパーサ４０２の入力と信号通信で接続される。ビットストリームパーサ４０２の第１の出力（残余ビットストリームの提供用）は、エントロピ復号器４０５の入力と信号通信で接続される。ビットストリームパーサ４０２の第２の出力（スイッチ４５５によってどの入力が選択されるかを制御するための制御構文の提供用）は、モードセレクタ４２２の入力と信号通信で接続される。ビットストリームパーサ４０２の第３の出力（動きベクトルの提供用）は、動き補償器４３５の第２の入力と信号通信で接続される。ビットストリームパーサ４０２の第４の出力（差異ベクトル及び／または照明オフセットの提供用）は、差異補償器４５０の第２の入力と信号通信で接続される。ビットストリ―ムパーサ４０２の第５の出力（仮想参照ビュー制御情報の提供用）は、参照ピクチャストア４７２の第２の入力及びビュー合成器４７１の第１の入力と信号通信で接続される。参照ピクチャストア４７２の出力は、ビュー合成器の第２の入力と信号通信で接続される。ビュー合成器４７１の出力は、参照ピクチャストア４４５の第２の入力と信号通信で接続される。照明オフセットは、オプションの入力であり、実装に応じて使用されても使用されなくてもよいことを理解されたい。
【００２３】
スイッチ４５５の出力は、結合器４２０の第２の非反転入力と信号通信で接続される。スイッチ４５５の第１の入力は、差異補償器４５０の出力と信号通信で接続される。スイッチ４５５の第２の入力は、動き補償器４３５の出力と信号通信で接続される。スイッチ４５５の第３の入力は、イントラ予測子４３０の出力と信号通信で接続される。モードモジュール４２２の出力は、スイッチ４５５によってどの入力が選択されるかを制御するためのスイッチ４５５と信号通信で接続される。デブロッキングフィルタ４２５の出力は、復号器の出力として使用可能である。
【００２４】
図４の部分は、個々にまたはまとめて、例えば、ビットストリームパーサ４０２、及びデータまたは情報の特定の部分へのアクセスを提供する任意の他のブロックなど、アクセスユニットと呼ぶこともできる。同様に、ブロック４０５、４１０、４１５、４２０及び４２５は、例えば、個々にまたはまとめて、復号器または復号ユニットと呼ぶことができる。
【００２５】
図５は、本原理の一実装形態による、本原理を適用することができる映像送信システム５００の例を示す。映像送信システム５００は、例えば、衛星、ケーブル、電話線、または地上放送など、様々な媒体のうちの任意のものを使用して信号を送信するためのヘッドエンドまたは送信システムとすることができる。送信は、インターネットまたは他の何らかのネットワークを介して提供することができる。
【００２６】
映像送信システム５００は、仮想参照ビューを含む映像コンテンツを生成し、配信することができる。これは、例えば復号器を有し得る受信機端で、１つまたは複数の仮想参照ビューを合成するために使用することができる１つまたは複数の仮想参照ビューまたは情報を含む、符号化信号を生成することによって達成される。
【００２７】
映像送信システム５００は、符号器５１０、及び、符号化信号を送信することができる送信機５２０を含む。符号器５１０は、映像情報を受信し、映像情報に基づいて１つまたは複数の仮想参照ビューを合成し、符号化信号をそこから生成する。符号器５１０は、例えば、上記で詳述した符号器３００でもよい。
【００２８】
送信機５２０は、例えば、符号化されたピクチャ及び／またはそれに関連する情報を表す１つまたは複数のビットストリームを有するプログラム信号を送信するように構成することができる。通常の送信機は、例えば、誤り訂正符号化を提供すること、信号においてデータをインターリーブすること、信号においてエネルギーをランダム化すること、及び１つまたは複数の搬送波上に信号を変調することのうちの１つまたは複数の機能を実行する。送信機は、アンテナ（図示せず）を含む、またはそれとインターフェイスすることができる。したがって、送信機５２０の実装は、変調器を含むことができ、またはそれに限定され得る。
【００２９】
図６は、映像受信システム６００の一実装形態の図を示す。映像受信システム６００は、例えば衛星、ケーブル、電話線、または地上放送など、様々な媒体を介して信号を受信するように構成することができる。信号は、インターネットまたは他の何らかのネットワークを介して受信することができる。
【００３０】
映像受信システム６００は、例えば、携帯電話、コンピュータ、セットトップボックス、テレビ、または符号化された映像を受信し、例えばユーザに表示する、または格納するために復号された映像を提供する他の装置とすることができる。したがって、映像受信システム６００は、その出力を、例えばテレビの画面、コンピュータモニタ、コンピュータ（格納、処理、または表示用）、または他の何らかの格納、処理、または表示装置に提供することができる。
【００３１】
映像受信システム６００は、映像情報を含む映像コンテンツを受信し、処理することができる。更に、映像受信システム６００は、１つまたは複数の仮想参照ビューを合成し、及び／またはそうでなければ再生することができる。これは、映像情報、及び１つまたは複数の仮想参照ビューを合成するために使用することができる１つまたは複数の仮想参照ビューまたは情報を含む符号化信号を受信することによって達成される。
【００３２】
映像受信システム６００は、例えば本出願の実装形態に記載される信号など、符号化信号を受信することができる受信機６１０及び受信信号を復号することができる復号器６２０を含む。
【００３３】
受信機６１０は、例えば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受信するように構成することができる。通常の受信機は、例えば、変調され、符号化されたデータ信号を受信すること、１つまたは複数の搬送波からデータ信号を復調すること、信号におけるエネルギーを非ランダム化すること、信号におけるデータをデインターリーブすること、及び、信号の誤り訂正復号を行うことのうちの１つまたは複数の機能を実行する。受信機６１０は、アンテナ（図示せず）を含む、またはそれとインターフェイスすることができる。受信機６１０の実装は、復調器を含むことができ、またはそれに限定され得る。
【００３４】
復号器６２０は、映像情報及び奥行き情報を含む映像信号を出力する。復号器６２０は、例えば、上記で詳述した復号器４００でもよい。
【００３５】
図７Ａは、本原理の一実施形態による、仮想参照ビューを符号化するための方法７００のフロー図を示す。ステップ７１０で、第１のビュー位置の装置から取得された第１のビュー画像にアクセスする。ステップ７１０で、第１のビュー画像が符号化される。ステップ７１５で、第２のビュー位置の装置から第２のビュー画像が取得される。ステップ７２０で、再構築された第１のビュー画像に基づいて、仮想画像が合成される。仮想画像は、第１のビュー位置とは異なる仮想ビュー位置の装置から取得された場合、画像がどのように見えるかを推定する。ステップ７２５で、仮想画像が符号化される。ステップ７３０で、第２のビュー画像が、再構築された仮想ビューで、再構築された第１のビュー画像への追加の参照として符号化される。第２のビュー位置は、仮想ビュー位置とは異なる。ステップ７３５で、符号化された第１のビュー画像、符号化された仮想ビュー画像、及び、符号化された第２のビュー画像が送信される。
【００３６】
方法７００の一実装形態において、仮想画像が合成される第１のビュー画像は再構築バージョンの第１のビュー画像であり、参照画像は仮想画像である。
【００３７】
図７Ａの一般的なプロセスの別の実装形態、及び（例えば図７Ｂ、８Ａ、及び８Ｂのプロセスを含めて）本出願に記載した別のプロセスにおいて、仮想画像（または再構築）は、第２のビュー画像の符号化に使用される唯一の参照画像とすることができる。更に、実装では、仮想画像を出力として復号器に表示できるようにすることができる。
【００３８】
多くの実装は、仮想ビュー画像を符号化し、送信する。こうした実装において、この送信及び送信で使用されるビットを、ＨＲＤ（仮想参照デコーダ（hypothetical reference decoder））（例えば、符号器または独立したＨＲＤチェッカーに含まれるＨＲＤ）によって実行される妥当性検査において考慮に入れることができる。現在のＭＶＣ（マルチビュー符号化）標準において、ＨＲＤ検証は、ビューごとに別々に実行される。第２のビューが第１のビューから予測される場合、第１のビューの送信に使用されるレートは、第２のビューのＣＰＢ（符号化されたピクチャバッファ）のＨＲＤチェック（妥当性検査）でカウントされる。これは、第２のビューを復号するために第１のビューがバッファに入れられることを考慮に入れる。様々な実装は、ＭＶＣについてちょうど記載したものと同じ原理を使用する。こうした実装において、送信される仮想ビュー参照画像が第１のビューと第２のビューとの間にある場合、仮想ビューのＨＲＤモデルパラメータは、まるでそれが実際のビューであるかのように、ＳＰＳ（系列パラメータセット）に挿入される。更に、第２のビューのＣＰＢのＨＲＤ適合（妥当性検査）をチェックするとき、仮想ビューに使用されるレートは、仮想ビューをバッファに入れることを考慮に入れる方法でカウントされる。
【００３９】
図７Ｂは、本原理の一実施形態による、仮想参照ビューを復号するための方法７５０のフロー図を示す。ステップ７５５で、第１のビュー位置の装置から取得された第１のビュー画像、参照のみに使用される仮想画像（仮想画像を表示するなどの出力無し）、及び第２のビュー位置の装置から取得された第２のビュー画像についての符号化映像情報を含む信号が受信される。ステップ７６０で、第１のビュー画像が復号される。ステップ７６５で、仮想ビュー画像が復号される。ステップ７７０で、第２のビュー画像、及び復号された第１のビュー画像の追加の参照として使用される復号された仮想ビュー画像が復号される。
【００４０】
図８Ａは、本原理の一実施形態による、仮想参照ビューを符号化するための方法８００のフロー図を示す。ステップ８０５で、第１のビュー位置の装置から取得された第１のビュー画像にアクセスする。ステップ８１０で、第１のビュー画像が符号化される。ステップ８１５で、第１のビュー位置の装置から取得された第２のビュー画像にアクセスする。ステップ８２０で、再構築された第１のビュー画像に基づいて、仮想画像が合成される。仮想画像は、第１のビュー位置とは異なる仮想ビュー位置の装置から取得された場合、画像がどのように見えるかを推定する。ステップ８２５で、第２のビュー画像が、再構築された第１のビュー画像への追加の参照として生成される仮想画像を使用して符号化される。第２のビュー位置は、仮想ビュー位置とは異なる。ステップ８３０で、複数のビューのうちのどのビューが参照画像として使用されるかを示すために制御情報が生成される。こうした場合、参照画像は、例えば、
（１）第１のビュー位置と第２のビュー位置との間の中間の合成ビュー
（２）現在のビューが符号化されるのと同じ位置の合成ビューであって、まず中間点でビューの合成を生成し、次いでその結果を使用して、符号化される現在のビュー位置で別のビューを合成することによって、追加的に合成された合成ビュー
（３）非合成ビュー画像
（４）仮想画像、及び
（５）仮想画像から合成される別の個別の合成画像のうちの１つとすることができ、参照画像は第１のビュー画像と第２のビュー画像との間の位置、または第２のビュー画像のある位置にある。
【００４１】
ステップ８３５で、符号化された第１のビュー画像、符号化された第２のビュー画像、及び符号化された制御情報が送信される。
【００４２】
図８Ａのプロセス、及び本出願に記載した様々な他のプロセスは、符号器における復号ステップも含み得る。例えば、符号器は、合成された仮想画像を使用して符号化された第２のビュー画像を復号することができる。これは、復号器が生成するものに一致する再構築された第２のビュー画像を生成すると予想される。次いで符号器は、再構築を参照画像として使用することによって、再構築を使用して次の画像を符号化することができる。このように、符号器は、第２のビュー画像の再構築を使用して次の画像を符号化し、復号器も再構築を使用して次の画像を復号する。その結果、符号器は、そのレート歪み最適化（rate-distortion optimization）及び符号化モードのその選択を、例えば、復号器が生成すると予想されるのと同じ最終的な出力（次の画像の再構築）に基づかせることができる。この復号ステップを、例えば、操作８２５後の任意の時点で実行することができる。
【００４３】
図８Ｂは、本原理の一実施形態による、仮想参照ビューを復号するための方法８００のフロー図を示す。ステップ８５５で、信号が受信される。信号は、第１のビュー位置の装置から取得された第１のビュー画像、第２のビュー位置の装置から取得された第２のビュー画像、及び参照のみに使用される（出力されない）仮想画像がどのように生成されるかについての制御情報についての符号化映像情報を含む。ステップ８６０で、第１のビュー画像が復号される。ステップ８６５で、制御情報を使用して仮想ビュー画像が生成／合成される。ステップ８７０で、生成／合成された仮想ビュー画像を復号された第１のビュー画像への追加の参照として使用して、第２のビュー画像が復号される。
【００４４】
実施形態１：
仮想ビューは、３Ｄワーピング技術を使用して既存のビューから生成することができる。仮想ビューを取得するために、カメラの内部パラメータ（intrinsic parameter）、及び外部パラメータ（extrinsic parameter）についての情報が使用される。内部パラメータは、それだけには限定されないが、例えば焦点距離、ズーム、及び他の内部特性を含み得る。外部パラメータは、それだけには限定されないが、例えば、位置（平行移動）、向き（パン、傾き、回転）、及び他の外部特性を含み得る。更に、シーンの奥行きマップも使用される。図９は、本原理の一実施形態による、本原理を適用することができる奥行きマップ９００の例を示す。特に、奥行きマップ９００は、ビュー０の場合である。
【００４５】
３Ｄワーピングの場合の透視投影行列は、以下のように表すことができる。
【００４６】
ＰＭ＝Ａ［Ｒ｜ｔ］ （１）
式中、Ａ、Ｒ、及びｔは、それぞれ内部行列、回転行列、及び平行移動ベクトルを示し、これらの値は、カメラパラメータと呼ばれる。投影方程式（projection equation）を使用して、画像座標からのピクセル位置を３Ｄワールド座標に投影することができる。方程式（２）は、奥行きデータ及び方程式（１）を含む投影方程式である。方程式（２）は、方程式（３）に変換することができる。
【００４７】
【数１】
【００４８】
ＰWC（ｘ，ｙ，ｚ）＝Ｒ-1・Ａ-1・Ｐref（ｘ，ｙ，ｌ）・Ｄ−R-1・ｔ （３）
式中、Ｄは奥行きデータを示し、Ｐは参照画像座標系における３Ｄワールド座標または同次座標上のピクセル位置を示し、
【００４９】
【数２】
【００５０】
は３Ｄワールド座標系における同次座標を示す。投影後、３Ｄワールド座標におけるピクセル位置は、方程式（１）の逆の形である方程式（４）による所望の対象画像における位置にマッピングされる。
【００５１】
Ｐtarget（ｘ，ｙ，ｌ）＝Ａ・Ｒ・（ＰWC（ｘ，ｙ，ｚ）＋Ｒ-1・ｔ） （４）
その結果、参照画像におけるピクセル位置に対する対象画像における正しいピクセル位置を取得することができる。その後、参照画像上のピクセル位置から対象画像上の投影されたピクセル位置にピクセル値をコピーする。
【００５２】
仮想ビューを合成するために、参照ビュー及び仮想ビューのカメラパラメータを使用する。しかし、必ずしも仮想ビューのカメラパラメータのフルセットがシグナリングされるとは限らない。仮想ビューが水平面における移動のみである場合（例えば、図２のビュー１からビュー２の例を参照）、平行移動ベクトルを更新するだけでよく、残りのパラメータはそのままである。
【００５３】
図３及び図４を参照して示され、記載されている装置３００及び装置４００などの装置において、１つの符号化構造では、ビュー５が予測ループにおける参照としてビュー１を使用する。しかし、上述したように、それらの間の基線距離が長いために、相関関係が限られ、ビュー５がビュー１を基準として使用する確率は非常に小さい。
【００５４】
ビュー１をビュー５のカメラ位置にワープし、次いでこの仮想的に生成されたピクチャを追加の参照として使用することができる。しかし、基線が長いために、仮想ビューには多くの穴またはより大きい穴がある可能性があり、これらは、埋めるには微々たるものではない場合がある。穴埋めの後でさえ、最終的な画像は、参照として使用すべき許容できる品質を有していない場合がある。図１０Ａは、穴埋め無しのワープ済みピクチャ１０００の例を示す。図１０Ｂは、穴埋め有りの図１０Ａのワープ済みピクチャ１０５０の例を示す。図１０Ａからわかるように、ブレイクダンサーの左、及びフレームの右側に幾つかの穴がある。次いでこれらの穴は、塗り直しのような穴埋めアルゴリズムを使用して埋められ、結果は、図１０Ｂからわかる。
【００５５】
長い基線の問題に対処するために、ビュー１をカメラ位置ビュー５に直接ワープする代わりに、ビュー１とビュー５との間のどこかの位置、例えば２つのカメラの間の中間点にワープすることを提案する。この位置は、ビュー５に比べてビュー１に近く、場合によってはより少なくより小さい穴を有する。これらのより小さい／少ない穴は、基線が長いより大きい穴に比べて管理しやすい。実際には、ビュー５に対応する位置を直接生成する代わりに、２つのカメラの間の任意の位置を生成することができる。実際に、複数の仮想カメラ位置を、追加の参照として生成することができる。
【００５６】
直線及び並列のカメラ配列の場合、通常、すべての他の情報はすでに使用可能であるため、生成される仮想位置に対応する平行移動ベクトルをシグナリングするだけでよい。１つまたは複数の追加のワープ済みの参照の生成をサポートするために、例えばスライスヘッダで構文を追加することを提案する。表１に、提案されたスライスヘッダ構文の一実施形態が示されている。表２に、提案された仮想ビュー情報構文の一実施形態が示されている。表１のロジックによって示されるように（イタリックで示す）、表２に示される構文は、表１に指定される条件が満たされるときのみ存在する。これらの条件は、次の通りである。すなわち、現在のスライスがＥＰまたはＥＢスライスであり、プロファイルがマルチビュー映像プロファイルである。表２は、Ｐ、ＥＰ、Ｂ、及びＥＢのスライスについて「ｌ０」情報を含み、Ｂ及びＥＢのスライスについて「ｌ１」情報を更に含むことに留意されたい。適切な参照リスト配列構文を使用することによって、複数のワープ済みの参照を作成することができる。例えば、第１の参照ピクチャは、オリジナルの参照とすることができ、第２の参照ピクチャは、参照と現在のビューとの間のあるポイントにおけるワープ済みの参照とすることができ、第３の参照ピクチャは、現在のビュー位置におけるワープ済みの参照とすることができる。
【００５７】
【表１】
【００５８】
【表２】
【００５９】
通常ビットストリームに現れる表１及び表２に太字で示されている構文要素に留意されたい。更に、表１は、既存のＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）ＭＰＥＧ−４（Moving Picture Experts Group-4）Part10 AVC（Advanced Video Coding）標準／ITU-T（International Telecommunication Union,Telecommunication Sector）H.264 Recommendation（以下、「ＭＰＥＧ−４ ＡＶＣ標準」）スライスヘッダ構文の修正であるため、便宜上、変更されていない既存の構文の幾つかの部分は、省略記号で示されている。
【００６０】
この新しい構文のセマンティクスは、以下の通りである。
【００６１】
１に等しいｖｉｒｔｕａｌ＿ｖｉｅｗ＿ｆｌａｇ＿ｌ０は、リマッピングされるＬＩＳＴ０における参照ピクチャが生成する必要のある仮想参照ビューであることを示す。
０に等しいｖｉｒｔｕａｌ＿ｖｉｅｗ＿ｆｌａｇは、リマッピングされる参照ピクチャは仮想参照ビューではないことを示す。
【００６２】
ｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｘ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間の平行移動ベクトルの第１の成分を示す。
【００６３】
ｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｙ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間の平行移動ベクトルの第２の成分を示す。
【００６４】
ｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｚ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間の平行移動ベクトルの第３の成分を示す。
【００６５】
ｐａｎ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間の（ｙに沿った）パニングパラメータを示す。
【００６６】
ｔｉｌｔ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間の（ｘに沿った）傾きパラメータを示す。
【００６７】
ｒｏｔａｔｉｏｎ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間の（ｚに沿った）回転パラメータを示す。
【００６８】
ｚｏｏｍ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間のズームパラメータを示す。
【００６９】
ｈｏｌｅ＿ｆｉｌｌｉｎｇ＿ｍｏｄｅ＿ｌ０は、ＬＩＳＴ０におけるワープ済みピクチャにおける穴をどうやって埋めるかを示す。様々な穴埋めモードをシグナリングすることができる。例えば、値０は、近隣において最も遠い（すなわち、最大の奥行きを有する）ピクセルをコピーすることを意味し、値１は、付近の背景を拡張することを意味し、値２は穴埋めなしを意味する。
【００７０】
ｄｅｐｔｈ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｌ０は、ＬＩＳＴ０における奥行き信号にどの種類のフィルタを使用するかを示す。様々なフィルタをシグナリングすることができる。一実施形態において、値０はフィルタなしを意味し、値１は中央フィルタを意味し、値２は両側フィルタを意味し、値３はガウスフィルタを意味する。
【００７１】
ｖｉｄｅｏ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｌ０は、リストＬＩＳＴ０における仮想映像信号にどの種類のフィルタを使用するかを示す。様々なフィルタをシグナリングすることができる。一実施形態において、値０はフィルタなしを意味し、値１はノイズ除去フィルタを意味する。
【００７２】
ｖｉｒｔｕａｌ＿ｖｉｅｗ＿ｆｌａｇ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｖｉｒｔｕａｌ＿ｖｉｅｗ＿ｆｌａｇ＿ｌ０と同一のセマンティクスを使用する。
【００７３】
ｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｘ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｘ＿ｌ０と同一のセマンティクスを使用する。
【００７４】
ｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｙ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｙ＿ｌ０と同一のセマンティクスを使用する。
【００７５】
ｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｚ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｚ＿ｌ０と同一のセマンティクスを使用する。
【００７６】
ｐａｎ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｐａｎ＿ｌ０と同一のセマンティクスを使用する。
【００７７】
ｔｉｌｔ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｔｉｌｔ＿ｌ０と同一のセマンティクスを使用する。
【００７８】
ｒｏｔａｔｉｏｎ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｒｏｔａｔｉｏｎ＿ｌ０と同一のセマンティクスを使用する。
【００７９】
ｚｏｏｍ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｚｏｏｍ＿ｌ０と同一のセマンティクスを使用する。
【００８０】
ｈｏｌｅ＿ｆｉｌｌｉｎｇ＿ｍｏｄｅ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｈｏｌｅ＿ｆｉｌｌｉｎｇ＿ｍｏｄｅ＿ｌ０と同一のセマンティクスを使用する。
【００８１】
ｄｅｐｔｈ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｄｅｐｔｈ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｌ０と同一のセマンティクスを使用する。
【００８２】
ｖｉｄｅｏ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｖｉｄｅｏ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｌ０と同一のセマンティクスを使用する。
【００８３】
図１１は、本原理の別の実施形態による、仮想参照ビューを符号化するための方法１１００のフロー図を示す。ステップ１１１０で、ビューｉについての符号器構成ファイルが読み取られる。ステップ１１１５で、位置「ｔ」において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１１２０に渡される。そうでない場合、制御はステップ１１２５に渡される。ステップ１１２０で、位置「ｔ」において、参照ビューからビュー合成が行われる。ステップ１１２５で、現在のビュー位置において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１１３０に渡される。そうでない場合、制御はステップ１１３５に渡される。ステップ１１３０で、現在のビュー位置でビュー合成が行われる。ステップ１１３５で、参照リストが生成される。ステップ１１４０で、現在のピクチャが符号化される。ステップ１１４５で、参照リスト再配列コマンドが送信される。ステップ１１５０で、仮想ビュー生成コマンドが送信される。ステップ１１５５で、現在のビューの符号化が行われるかどうかが判定される。符号化が行われる場合、方法が終了する。そうでない場合、制御はステップ１１６０に渡される。ステップ１１６０で、方法は、次のピクチャに進んで符号化を行い、ステップ１１０５に戻る。
【００８４】
したがって、図１１において、（ステップ１１１０で）符号器構成を読み取った後、（ステップ１１１５で）仮想ビューを位置「ｔ」において生成すべきかどうかが判定される。こうしたビューを生成する必要がある場合、穴埋め（図１１に明示的には図示せず）と共に（ステップ１１２０で）ビュー合成が行われ、この仮想ビューは、（ステップ１１３５で）参照として追加される。その後、現在のカメラの位置で（ステップ１１２５で）別の仮想ビューを生成し、参照リストに追加することもできる。次いで現在のビューの符号化は、これらのビューを追加の参照として続ける。
【００８５】
図１２は、本原理の別の実施形態による、仮想参照ビューを復号するための方法１２００のフロー図を示す。ステップ１２０５で、ビットストリームが構文解析される。ステップ１２１０で、参照リスト再配列コマンドが構文解析される。ステップ１２１５で、存在する場合、仮想ビュー情報が構文解析される。ステップ１２２０で、位置「ｔ」において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１２２５に渡される。そうでない場合、制御はステップ１２３０に渡される。ステップ１２２５で、位置「ｔ」において、参照ビューからビュー合成が行われる。ステップ１２３０で、現在のビュー位置において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１２３５に渡される。そうでない場合、制御はステップ１２４０に渡される。ステップ１２３５で、現在のビュー位置でビュー合成が行われる。ステップ１２４０で、参照リストが生成される。ステップ１２４５で、現在のピクチャが復号される。ステップ１２５０で、現在のビューの復号が行われるかどうかが判定される。復号が行われる場合、方法が終了する。そうでない場合、制御はステップ１０５５に渡される。ステップ１２５５で、方法は、次のピクチャに進んで復号を行い、ステップ１２０５に戻る。
【００８６】
したがって、図１２において、（ステップ１２１０で）参照リスト再配列構文要素を構文解析することによって、（ステップ１２２０で）位置「ｔ」において追加の参照として仮想ビューを生成する必要があるかどうかを判定することができる。この場合には、（ステップ１２２５で）ビュー合成及び穴埋め（図１２に明示的には図示せず）が実行されて、このビューが生成される。更に、ビットストリームで示される場合、（ステップ１２３０で）現在のビュー位置において別の仮想ビューが生成される。これらのビューはいずれも、（ステップ１２４０で）次いで追加の参照として参照リストに入れられ、復号が続行される。
【００８７】
実施形態２：
別の実施形態において、上記の構文を使用して内部パラメータ及び外部パラメータを送信する代わりに、それらを表３に示されるように送信することができる。表３は、別の実施形態による提案された仮想ビュー情報構文を示す。
【００８８】
【表３】
【００８９】
【表４】
【００９０】
【表５】
【００９１】
次いで構文要素は、以下のセマンティクスを有することになる。
【００９２】
１に等しいｉｎｔｒｉｎｓｉｃ＿ｐａｒａｍ＿ｆｌａｇ＿ｌ０は、ＬＩＳＴ＿０の内部カメラパラメータがあることを示す。０に等しいｉｎｔｒｉｎｓｉｃ＿ｐａｒａｍ＿ｆｌａｇ＿ｌ０は、ＬＩＳＴ＿０の内部カメラパラメータがないことを示す。
【００９３】
１に等しいｉｎｔｒｉｎｓｉｃ＿ｐａｒａｍｓ＿ｅｑｕａｌ＿ｌ０は、ＬＩＳＴ＿０の内部カメラパラメータがすべてのカメラについて等しく、１組の内部カメラパラメータのみが存在することを示す。０に等しいｉｎｔｒｉｎｓｉｃ＿ｐａｒａｍｓ＿ｅｑｕａｌ＿ｌ０は、ＬＩＳＴ＿１の内部カメラパラメータがカメラごとに異なり、カメラごとに１組の内部カメラパラメータが存在することを示す。
【００９４】
ｐｒｅｃ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０は、２-prec_focal_length_l0によって提供されるｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｘ［ｉ］及びｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｙ［ｉ］の最大許容打ち切り誤差の指数を指定する。
【００９５】
ｐｒｅｃ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０は、２-prec_principal_point_l0によって提供されるｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｘ［ｉ］及びｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｙ［ｉ］の最大許容打ち切り誤差の指数を指定する。
【００９６】
ｐｒｅｃ＿ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｌ０は、２-prec_radial_distortion_l0によって提供されるｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｌ０の最大許容打ち切り誤差の指数を指定する。
【００９７】
０に等しいｓｉｇｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｘ［ｉ］は、水平方向のＬＩＳＴ０におけるｉ番目のカメラの焦点距離の符号が正であることを示す。０に等しいｓｉｇｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｘ［ｉ］は、符号が負であることを示す。
【００９８】
ｅｘｐｏｎｅｎｔ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｘ［ｉ］は、水平方向のＬＩＳＴ０におけるｉ番目のカメラの焦点距離の指数部分を指定する。
【００９９】
ｍａｎｔｉｓｓａ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｘ［ｉ］は、水平方向のＬＩＳＴ０におけるｉ番目のカメラの焦点距離の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｘ［ｉ］構文要素のサイズは、以下で指定されるように決定される。
【０１００】
０に等しいｓｉｇｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｙ［ｉ］は、垂直方向のＬＩＳＴ０におけるｉ番目のカメラの焦点距離の符号が正であることを示す。０に等しいｓｉｇｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｙ［ｉ］は、符号が負であることを示す。
【０１０１】
ｅｘｐｏｎｅｎｔ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｙ［ｉ］は、垂直方向のＬＩＳＴ０におけるｉ番目のカメラの焦点距離の指数部分を指定する。
【０１０２】
ｍａｎｔｉｓｓａ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｙ［ｉ］は、垂直方向のＬＩＳＴ０におけるｉ番目のカメラの焦点距離の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｙ［ｉ］構文要素のサイズは、以下で指定されるように決定される。
【０１０３】
０に等しいｓｉｇｎ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｘ［ｉ］は、水平方向のＬＩＳＴ０におけるｉ番目のカメラの主点の符号が正であることを示す。０に等しいｓｉｇｎ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｘ［ｉ］は、符号が負であることを示す。
【０１０４】
ｅｘｐｏｎｅｎｔ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｘ［ｉ］は、水平方向のＬＩＳＴ０におけるｉ番目のカメラの主点の指数部分を指定する。
【０１０５】
ｍａｎｔｉｓｓａ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｘ［ｉ］は、水平方向のＬＩＳＴ０におけるｉ番目のカメラの主点の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｘ［ｉ］構文要素のサイズは、以下で指定されるように決定される。
【０１０６】
０に等しいｓｉｇｎ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｙ［ｉ］は、垂直方向のＬＩＳＴ０におけるｉ番目のカメラの主点の符号が正であることを示す。０に等しいｓｉｇｎ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｙ［ｉ］は、符号が負であることを示す。
【０１０７】
ｅｘｐｏｎｅｎｔ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｙ［ｉ］は、垂直方向のＬＩＳＴ０におけるｉ番目のカメラの主点の指数部分を指定する。
【０１０８】
ｍａｎｔｉｓｓａ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｙ［ｉ］は、垂直方向のＬＩＳＴ０におけるｉ番目のカメラの主点の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｙ［ｉ］構文要素のサイズは、以下で指定されるように決定される。
【０１０９】
０に等しいｓｉｇｎ＿ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｌ０［ｉ］は、ＬＩＳＴ０におけるｉ番目のカメラの半径方向歪み係数の符号が正であることを示す。０に等しいｓｉｇｎ＿ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｌ０［ｉ］は、符号が負であることを示す。
【０１１０】
ｅｘｐｏｎｅｎｔ＿ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｌ０［ｉ］は、ＬＩＳＴ０におけるｉ番目のカメラの半径方向歪み係数の指数部分を指定する。
【０１１１】
ｍａｎｔｉｓｓａ＿ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｌ０［ｉ］は、ＬＩＳＴ０におけるｉ番目のカメラの半径方向歪み係数の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｒａｄｉａｌ＿ｄｉｓｔｏｒｉｏｎ＿ｌ０［ｉ］構文要素のサイズは、以下で指定されるように決定される。
【０１１２】
表４は、ｉ番目のカメラの固有行列Ａ（ｉ）を示す。
【０１１３】
【表６】
【０１１４】
１に等しいｅｘｔｒｉｎｓｉｃ＿ｐａｒａｍ＿ｆｌａｇ＿ｌ０は、ＬＩＳＴ０における外部カメラパラメータがあることを示す。０に等しいｅｘｔｒｉｎｓｉｃ＿ｐａｒａｍ＿ｆｌａｇ＿ｌ０は、外部カメラパラメータがないことを示す。
【０１１５】
ｐｒｅｃ＿ｒｏｔａｔｉｏｎ＿ｐａｒａｍ＿ｌ０は、ＬＩＳＴ０について２-prec_rotation_param_l0によって提供されるｒ［ｉ］［ｊ］［ｋ］の最大許容打ち切り誤差の指数を指定する。
【０１１６】
ｐｒｅｃ＿ｔｒａｎｓｌａｔｉｏｎ＿ｐａｒａｍ＿ｌ０は、ＬＩＳＴ０について２-prec_translation_param_l0によって提供されるｔ［ｉ］［ｊ］の最大許容打ち切り誤差の指数を指定する。
【０１１７】
０に等しいｓｉｇｎ＿ｌ０＿ｒ［ｉ］［ｊ］［ｋ］は、ＬＩＳＴ０におけるｉ番目のカメラの回転行列の（ｊ，ｋ）成分の符号が正であることを示す。０に等しいｓｉｇｎ＿ｌ０＿ｒ［ｉ］［ｊ］［ｋ］は、符号が負であることを示す。
【０１１８】
ｅｘｐｏｎｅｎｔ＿ｌ０＿ｒ［ｉ］［ｊ］［ｋ］は、ＬＩＳＴ０におけるｉ番目のカメラの回転行列の（ｊ，ｋ）成分の指数部分を指定する。
【０１１９】
ｍａｎｔｉｓｓａ＿ｌ０＿ｒ［ｉ］［ｊ］［ｋ］は、ＬＩＳＴ０におけるｉ番目のカメラの回転行列の（ｊ，ｋ）成分の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｌ０＿ｒ［ｉ］［ｊ］［ｋ］構文要素のサイズは、以下で指定されるように決定される。
【０１２０】
表５は、ｉ番目のカメラの回転行列Ｒ（ｉ）を示す。
【０１２１】
【表７】
【０１２２】
０に等しいｓｉｇｎ＿ｌ０＿ｔ［ｉ］［ｊ］は、ＬＩＳＴ０におけるｉ番目のカメラの平行移動ベクトルのｊ番目の成分の符号が正であることを示す。０に等しいｓｉｇｎ＿ｌ０＿ｔ［ｉ］［ｊ］は、符号が負であることを示す。
【０１２３】
ｅｘｐｏｎｅｎｔ＿ｌ０＿ｔ［ｉ］［ｊ］は、ＬＩＳＴ０におけるｉ番目のカメラの平行移動ベクトルのｊ番目の成分の指数部分を指定する。
【０１２４】
ｍａｎｔｉｓｓａ＿ｌ０＿ｔ［ｉ］［ｊ］は、ＬＩＳＴ０におけるｉ番目のカメラの平行移動ベクトルのｊ番目の成分の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｌ０＿ｔ［ｉ］［ｊ］構文要素のサイズは、以下で指定されるように決定される。
【０１２５】
表６は、ｉ番目のカメラの平行移動ベクトルｔ（ｉ）を示す。
【０１２６】
【表８】
【０１２７】
内部行列及び回転行列の成分、及び平行移動ベクトルは、ＩＥＥＥ７５４標準に似た方法で次のように取得される。
【０１２８】
Ｉｆ Ｅ＝６３ ａｎｄ Ｍ ｉｓ ｎｏｎ−ｚｅｒｏ，ｔｈｅｎ Ｘ ｉｓ ｎｏｔ ａ ｎｕｍｂｅｒ．
Ｉｆ Ｅ＝６３ ａｎｄ Ｍ＝０，ｔｈｅｎ Ｘ＝（−１）S・∞．
Ｉｆ ０＜Ｅ＜６３，ｔｈｅｎ Ｘ＝（−１）S・２E-31・（１．Ｍ）．
Ｉｆ Ｅ＝０ ａｎｄ Ｍ ｉｓ ｎｏｎ−ｚｅｒｏ，ｔｈｅｎ Ｘ＝（−１）S・２-30・（０．Ｍ）．
Ｉｆ Ｅ＝０ ａｎｄ Ｍ＝０，ｔｈｅｎ Ｘ＝（−１）S・０．
式中、Ｍ＝ｂｉｎ２ｆｌｏａｔ（Ｎ）、０≦Ｍ＜１であり、Ｘ、ｓ、Ｎ及びＥのそれぞれが表７の第１の列、第２の列、第３の列、及び第４の列に対応する。分数の２値表現を対応する浮動小数点数に変換する関数ｂｉｎ２ｆｌｏａｔ（）のｃスタイルの記述については以下を参照されたい。
【０１２９】
【表９】
【０１３０】
表８に、分数Ｎ（０≦Ｎ＜１）の２値表現を対応する浮動小数点数Ｍに変換するＭ＝ｂｉｎ２ｆｌｏａｔ（Ｎ）のｃによる実装の一例が示されている。
【０１３１】
【表１０】
【０１３２】
仮数構文要素のサイズｖは、以下のように決定される。
【０１３３】
ｖ＝ｍａｘ（０，−３０＋Ｐｒｅｃｉｓｉｏｎ＿Ｓｙｎｔａｘ＿Ｅｌｅｍｅｎｔ），ｉｆ Ｅ＝０．
ｖ＝ｍａｘ（０，Ｅ−３１＋Ｐｒｅｃｉｓｉｏｎ＿Ｓｙｎｔａｘ＿Ｅｌｅｍｅｎｔ），ｉｆ ０＜Ｅ＜６３．
ｖ＝０，ｉｆ Ｅ＝３１，
仮数構文要素及びその対応するＥ及びＰｒｅｃｉｓｉｏｎ＿Ｓｙｎｔａｘ＿Ｅｌｅｍｅｎｔが表９に示されている。
【０１３４】
【表１１】
【０１３５】
「ｌ１」の構文要素については、「ｌ０」の構文のセマンティクスにおいて、ＬＩＳＴ０をＬＩＳＴ１に置き換える。
【０１３６】
実施形態３：
別の実施形態において、以下の通り仮想ビューを連続的に改良することができる。
【０１３７】
まず、ビュー１とビュー５との間にビュー１からのｔ１の距離で仮想ビューを生成する。３Ｄワーピング後、穴が埋められて、最終的な仮想ビューを位置Ｐ（ｔ１）に生成する。次いで、仮想カメラ位置Ｖ（ｔ１）においてビュー１の奥行き信号をワープし、奥行き信号の穴を埋め、任意の他の必要な後処理ステップを行うことができる。実装では、ワープ済みの奥行きデータを使用して、ワープ済みのビューを生成することもできる。
【０１３８】
この後、Ｖ（ｔ１）と同じ方法で、Ｖ（ｔ１）における仮想ビューとビュー５との間に、Ｖ（ｔ１）からｔ２の距離で別の仮想ビューを生成することができる。これは、図１３に示されている。図１３は、本原理の一実施形態による、本原理を適用することができる連続仮想ビュー生成器１３００の例を示す。仮想ビュー生成器１３００は、第１のビュー合成・穴埋め器１３１０及び第２のビュー合成・穴埋め器１３２０を含む。この例において、ビュー５は、符号化されるビューを表し、ビュー１は、（例えば、ビュー５または他の何らかのビューの符号化に使用される）使用可能な参照ビューを表す。この例において、２つのカメラの間の中間点を中間位置として使用することを選択した。したがって、第１のステップにおいて、ｔ１は、Ｄ／２として選択され、仮想ビューは、第１のビュー合成・穴埋め器１３１０による穴埋めの後、Ｖ（Ｄ／２）として生成される。その後、第２のビュー合成・穴埋め器１３２０によって、Ｖ（Ｄ／２）及びＶ５を使用して、別の中間ビューが位置３Ｄ／４に生成される。次いでこの仮想ビューＶ（３Ｄ／４）を参照リスト１３３０に追加することができる。
【０１３９】
同様に、品質基準が満たされるまで、必要に応じてより多くの仮想ビューを生成することができる。品質尺度の例は、仮想ビューと予測されるビュー、例えばビュー５との間の予測誤差とすることができる。次いで、最終的な仮想ビューを、ビュー５の参照として使用することができる。適当な参照リスト配列構文を使用することによって、すべての中間ビューを参照として追加することもできる。
【０１４０】
図１４は、本原理の更に別の実施形態による、仮想参照ビューを符号化するための方法１４００のフロー図を示す。ステップ１４１０で、ビューｉについての符号器構成ファイルが読み取られる。ステップ１４１５で、複数の位置において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１４２０に渡される。そうでない場合、制御はステップ１４２５に渡される。ステップ１４２０で、連続改良によって、参照ビューから複数の位置でビュー合成が行われる。ステップ１４２５で、現在のビュー位置において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１４３０に渡される。そうでない場合、制御はステップ１４３５に渡される。ステップ１４３０で、現在のビュー位置でビュー合成が行われる。ステップ１４３５で、参照リストが生成される。ステップ１４４０で、現在のピクチャが符号化される。ステップ１４４５で、参照リスト再配列コマンドが送信される。ステップ１４５０で、仮想ビュー生成コマンドが送信される。ステップ１４５５で、現在のビューの符号化が行われるかどうかが判定される。符号化が行われる場合、この方法は終了する。そうでない場合、制御はステップ１４６０に渡される。ステップ１４６０で、方法は、次のピクチャに進んで符号化を行い、ステップ１４０５に戻る。
【０１４１】
図１５は、本原理の更に別の実施形態による、仮想参照ビューを復号するための方法１５００のフロー図を示す。ステップ１５０５で、ビットストリームが構文解析される。ステップ１５１０で、参照リスト再配列コマンドが構文解析される。ステップ１５１５で、存在する場合、仮想ビュー情報が構文解析される。ステップ１５２０で、複数の位置において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１５２５に渡される。そうでない場合、制御はステップ１５３０に渡される。ステップ１５２５で、連続改良によって、参照ビューから複数の位置でビュー合成が行われる。ステップ１５３０で、現在のビュー位置において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１５３５に渡される。そうでない場合、制御はステップ１５４０に渡される。ステップ１５３５で、現在のビュー位置でビュー合成が行われる。ステップ１５４０で、参照リストが生成される。ステップ１５４５で、現在のピクチャが復号される。ステップ１５５０で、現在のビューの復号が行われるかどうかが判定される。復号が行われる場合、この方法は終了する。そうでない場合、制御はステップ１５５５に渡される。ステップ１５５５で、方法は、次のピクチャに進んで復号を行い、ステップ１５０５に戻る。
【０１４２】
理解できるように、この実施形態と実施形態１との間の相違は、符号器において、単に「ｔ」における単一の仮想ビューの代わりに、連続改良によって位置ｔ１、ｔ２、ｔ３で幾つかの仮想ビューを生成できることである。次いで、これらすべての仮想ビュー、または例えば最高の仮想ビューを最終的な参照リストに入れることができる。復号器において、参照リスト再配列構文は、仮想ビューを幾つの位置で生成する必要があるかを示す。これらは次いで、復号の前に参照リストに入れられる。
【０１４３】
このように様々な実装が提供される。これらの実装に含まれるのは、例えば、以下の利点／特徴のうちの１つまたは複数を含む実装である。
【０１４４】
１．少なくとも１つの他のビューから仮想ビューを生成し、仮想ビューを参照ビューとして符号化に使用する。
【０１４５】
２．少なくとも第１の仮想ビューから第２の仮想ビューを生成する。
【０１４６】
２ａ．（本明細書においてすぐ上に記載した項目２の）第２の仮想ビューを参照ビューとして符号化に使用する。
【０１４７】
２ｂ．３Ｄの応用分野における（２の）第２の仮想ビューを生成する。
【０１４８】
２ｅ．（２の）少なくとも第２の仮想ビューから第３の仮想ビューを生成する。
【０１４９】
２ｆ．カメラ位置（または既存の「ビュー」位置）で（２の）第２の仮想ビューを生成する。
【０１５０】
３．２つの既存のビューの間に複数の仮想ビューを生成し、複数の仮想ビューの前のものに基づいて複数の仮想ビューのうちの連続するものを生成する。
【０１５１】
３ａ．生成される連続ビューごとに品質基準が向上するように、（３の）連続仮想ビューを生成する。
【０１５２】
３ｂ．仮想ビューと予想されている２つの既存のビューのうちの一方との間の予測誤差（または残余）の尺度である（３における）品質基準を使用する。
【０１５３】
これらの実装のうちの幾つかは、復号が行われた後、ある応用分野（３Ｄの応用分野など）において仮想ビューを生成するのではなく（またはそれに加えて）、仮想ビューが符号器で生成されるという特徴を含む。更に、本明細書に記載した実装及び特徴は、ＭＰＥＧ−４ ＡＶＣ標準、ＭＰＥＧ−４ ＡＶＣ標準のＭＶＣ（マルチビュー映像符号化）拡張、またはＭＰＥＧ−４ ＡＶＣ標準のＳＶＣ（スケーラブル映像符号化）拡張の文脈で使用することができる。しかし、これらの実装及び特徴は、（既存のまたは将来の）別の標準及び／または勧告の文脈で、または標準及び／または勧告を伴わない文脈で使用することができる。したがって、特定の特徴及び態様を有する１つまたは複数の実装を提供する。しかし、記載した実装の特徴及び態様を、他の実装に適合させることもできる。
【０１５４】
実装は、それだけには限定されないが、スライスヘッダ、ＳＥＩメッセージ、他の高レベル構文、非高レベル構文、帯域外情報、データストリームデータ、及び黙示のシグナリングを含む様々な技術を使用して情報をシグナリングすることができる。したがって、本明細書に記載した実装は、特定の文脈で説明することができるが、こうした説明は、特徴及び概念を決してこうした実装または文脈に限定するものとみなされないものとする。
【０１５５】
したがって、特定の特徴及び態様を有する１つまたは複数の実装を提供する。しかし、記載した実装の特徴及び態様は、他の実装に適合させることもできる。実装は、それだけには限定されないが、ＳＥＩメッセージ、他の高レベル構文、非高レベル構文、帯域外情報、データストリームデータ、及び黙示のシグナリングを含む様々な技術を使用して情報をシグナリングすることができる。したがって、本明細書に記載した実装は、特定の文脈で説明することができるが、こうした説明は、特徴及び概念を決してこうした実装または文脈に限定するものとみなされないものとする。
【０１５６】
更に、多くの実装を、符号器及び復号器のいずれかまたは両方において実施することができる。
【０１５７】
特許請求の範囲を含めて、本明細書における「アクセスする」についての言及は、一般的であるものとする。例えば、１つのデータに「アクセスする」ことは、例えば、１つのデータを受信する、送信する、格納する、伝送する、または処理する過程において実行することができる。したがって、例えば、画像は通常、メモリに格納されるとき、メモリから取り出されるとき、符号化されるとき、復号されるとき、または新しい画像を合成するための基礎として使用されるときにアクセスされる。
【０１５８】
本明細書における基準画像が別の画像（例えば合成画像）に「基づく」についての言及によって、参照画像を（さらなる処理が行われることなく）他の画像と等しくする、または他の画像を処理することによって参照画像を作成することができる。例えば、参照画像は、第１の合成画像と等しくなるように設定し、更に、第１の合成画像に「基づかせる」ことができる。また、参照画像は、第１の合成画像のさらなる合成であることによって第１の合成画像に「基づかせる」ことができ、仮想位置を新しい位置に移動させることができる（上述したように、例えば、追加的な合成の実装において）。
【０１５９】
本明細書における本原理の「一実施形態」、または「一実装形態」、及びその他の変形についての言及は、実施形態との関連で記載した特定の特徴、構造、特性などが本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書にわたって様々な場所に記載される「一実施形態において」、または「一実装形態において」という句及び他の任意の変形の記載は、必ずしもすべてが同じ実施形態を指すとは限らない。
【０１６０】
例えば「Ａ／Ｂ」、「Ａ及び／またはＢ」並びに「Ａ及びＢのうちの少なくとも１つ」の場合など、次の「／」、「及び／または」並びに「のうちの少なくとも１つ」のうちの任意のものの使用は、最初に列挙された選択肢（Ａ）のみの選択、２番目に列挙された選択肢（Ｂ）のみの選択、または両方の選択肢（Ａ及びＢ）の選択を含むものとすることを理解されたい。別の例として、「Ａ、Ｂ、及び／またはＣ」並びに「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合において、こうした言い回しは、最初に列挙された選択肢（Ａ）のみの選択、２番目に列挙された選択肢（Ｂ）のみの選択、３番目に列挙された選択肢（Ｃ）のみの選択、最初及び２番目に列挙された選択肢（Ａ及びＢ）のみの選択、最初及び３番目に列挙された選択肢（Ａ及びＣ）のみの選択、２番目及び３番目に列挙された選択肢（Ｂ及びＣ）のみの選択、または３つすべての選択肢（Ａ、Ｂ及びＣ）の選択を含むものとする。これは、当業者によって容易に理解できるように、列挙された項目数だけ拡張することができる。
【０１６１】
本明細書に記載した実装は、例えば、方法またはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号において実施することができる。単一の形の実装の文脈でのみ説明されている場合でさえ（例えば、方法としてのみ説明される）、記載した特徴の実装は、他の形（例えば、装置またはプログラム）で実施することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアに実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理装置を含めて、例えば、一般的な処理装置を指す、例えば、プロセッサなどの装置において実施することができる。また、プロセッサは、例えば、コンピュータ、携帯電話、ＰＤＡ（ポータブル／パーソナルデジタルアシスタント）、及びエンドユーザ間の情報の通信を容易にする他の装置などの通信装置も含む。
【０１６２】
本明細書に記載した様々なプロセス及び特徴の実装は、特に、例えば、データ符号化及び復号に関連付けられる機器またはアプリケーションなど、異なる様々な機器またはアプリケーションに組み込むことができる。こうした機器の例には、符号器、復号器、復号器からの出力を処理する後処理機、符号器への入力を提供する前処理機、映像符号器、映像復号器、映像コーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信装置を含む。明らかであるように、機器は、モバイルであってもよく、自動車にインストールされていてもよい。
【０１６３】
更に、方法は、命令がプロセッサによって実行されることによって実施することができ、こうした命令（及び／又は実装によって生成されるデータ値）は、例えば、集積回路、ソフトウェア搬送波、又は他の記憶装置、例えば、ハードディスク、コンパクトディスク、「ＲＡＭ」（ランダムアクセスメモリ）、又は「ＲＯＭ」（読み取り専用メモリ）などのプロセッサ可読媒体に格納することができる。命令は、プロセッサ可読媒体に有形に組み込まれるアプリケーションプログラムを形成することができる。例えば、命令は、ハードウェア、ファームウェア、ソフトウェア、又はその組み合わせにあってもよい。命令は、例えば、オペレーティングシステム、個別のアプリケーション、又はその２つの組み合わせにおいて見つけることができる。したがって、プロセッサは、例えば、プロセスを実行するように構成された装置、及びプロセスを実行するための命令を有する（記憶装置など）プロセッサ可読媒体を含む装置の両方として特徴付けることができる。更に、プロセッサ可読媒体は、命令に加えてまたは命令に代えて、一実装によって生成されるデータ値を格納することができる。
【０１６４】
当業者には明らかなように、実装は、例えば格納または送信することができる情報を運ぶようにフォーマットされた様々な信号を生成することができる。情報は、例えば、記述した実装のうちの１つによって生成される方法またはデータを実行するための命令を含むことができる。例えば、信号は、記述した実施形態の文脈を書き込み、または読み出すためのルールをデータとして運ぶために、または記載した実施形態によって書かれる実際の構文値をデータとして運ぶためにフォーマットすることができる。こうした信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、または帯域幅信号としてフォーマットすることができる。フォーマットは、例えば、データストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含み得る。信号が運ぶ情報は、例えば、アナログまたはデジタルの情報とすることができる。信号は、知られているように、様々な異なる有線または無線のリンクを介して送信することができる。信号は、プロセッサ可読媒体に格納され得る。
【０１６５】
幾つかの実装について説明してきた。それにもかかわらず、様々な修正を加えることができることは理解されよう。例えば、異なる実装の要素を組み込み、補い、修正し、または削除して、他の実装を生成することができる。更に、他の構造及びプロセスを、開示されたものと置き換え、結果として得られた実装は、開示した実装と少なくとも実質的に同じ機能を少なくとも実質的に同じ方法で実行して、少なくとも実質的に同じ結果を達成することを当業者であれば理解されよう。したがって、これら及び他の実装は、本出願によって企図され、添付の特許請求の範囲内に含まれる。
【技術分野】
【０００１】
符号化システムに関連する実装形態について記載する。様々な特定の実装形態は、仮想参照ビューに関する。
【背景技術】
【０００２】
本出願は、あらゆる目的でその内容がすべて参照により本明細書に組み込まれている、２００８年３月４日出願の「Virtual Reference View」という名称の米国特許仮出願第６１／０６８０７０明細書の利益を主張する。
【０００３】
マルチビュー映像符号化が、自由視点及び３Ｄ（３次元）映像分野、ホームエンターテイメント及び監視を含めて、広範な応用分野に役立つ鍵となる技術であることは、広く認識されている。更に、奥行きデータ（depth data）を各ビューに関連付けることができる。奥行きデータは一般に、ビュー合成に不可欠である。こうしたマルチビューの応用分野において、関与する映像及び奥行きデータの量は、通常、膨大である。したがって、少なくとも、独立したビューの同報を行う現在の映像符号化ソリューションの符号化効率の向上を助けるフレームワークの要望がある。
【０００４】
マルチビュー映像ソースは、同一シーンの複数のビューを含む。その結果、通常、マルチビュー画像の間に高度の相関関係がある。したがって、時間冗長度（temporal redundancy）に加えて、ビュー冗長度（view redundancy）を活用することができる。例えば、異なるビューにわたってビュー予測を実行することによって、ビュー冗長度を活用することができる。
【０００５】
実際のシナリオにおいて、マルチビュー映像システムは、まばらに配置されたカメラを使用してシーンを捕捉する。次いで、ビュー合成／補間によって、使用可能な奥行きデータ及び捕捉されたビューを使用して、これらのカメラ間のビューを生成することができる。更に、幾つかのビューは、奥行き情報だけを含んでいる場合があり、次いでその後、関連の奥行きデータを使用して復号器で合成される。奥行きデータを使用して中間仮想ビューを生成することもできる。こうした疎なシステムにおいて、捕捉されたビューの間の相関関係は大きくない場合があり、ビューにわたる予測は非常に限られている場合がある。
【発明の概要】
【課題を解決するための手段】
【０００６】
一般的な態様によれば、第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスする。第１のビュー位置とは異なる仮想ビュー位置からの第１のビュー画像を表す参照画像にアクセスする。参照画像は、第１のビュー位置と第２のビュー位置との間のある位置についての合成画像に基づいている。第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスし、この場合、第２のビュー画像は、参照画像に基づいて符号化されている。第２のビュー画像は、第２のビュー画像及び参照画像についての符号化映像情報を使用して復号されて、復号済みの第２のビュー画像が生成される。
【０００７】
別の一般的な態様によれば、第１のビュー位置に対応する第１のビュー画像にアクセスする。第１のビュー位置とは異なる仮想ビュー位置についての仮想画像が、第１のビュー画像に基づいて合成される。第２のビュー位置に対応する第２のビュー画像が符号化される。符号化は、仮想画像に基づく参照画像を使用する。第２のビュー位置は、仮想ビュー位置とは異なる。符号化は、符号化された第２のビュー画像を生成する。
【０００８】
１つまたは複数の実装形態の詳細は、添付の図面及び以下の説明に記載されている。１つの特定の方法で記載されていても、実装形態を様々な方法で構成し、または具体化することができることは明らかである。例えば、一実装形態は、方法として実行されてもよく、または例えば１組の操作を実行するように構成された装置、もしくは１組の操作を実行するための命令を格納する装置などの装置として具体化されてもよく、または信号に組み込まれてもよい。他の態様及び特徴は、添付の図面及び特許請求の範囲と併せて読めば、以下の詳細な説明から明らかになる。
【図面の簡単な説明】
【０００９】
【図１】マルチビュー映像を奥行き情報と共に送受信するためのシステムの一実装形態を示す図である。
【図２】奥行き（Ｋ＝３）の３つの入力ビューから９つの出力ビュー（Ｎ＝９）を生成するためのフレームワークの一実装形態を示す図である。
【図３】符号器の一実装形態を示す図である。
【図４】復号器の一実装形態を示す図である。
【図５】映像送信機の一実装形態を示すブロック図である。
【図６】映像受信機の一実装形態を示すブロック図である。
【図７Ａ】符号化プロセスの一実装形態を示す図である。
【図７Ｂ】復号プロセスの一実装形態を示す図である。
【図８Ａ】符号化プロセスの一実装形態を示す図である。
【図８Ｂ】復号プロセスの一実装形態を示す図である。
【図９】奥行きマップの一例である。
【図１０Ａ】穴埋め無しのワープ済みピクチャの一例である。
【図１０Ｂ】穴埋め有りの図１０Ａのワープ済みピクチャの一例である。
【図１１】符号化プロセスの一実装形態を示す図である。
【図１２】復号プロセスの一実装形態を示す図である。
【図１３】連続仮想ビュー生成器の一実装形態を示す図である。
【図１４】符号化プロセスの一実装形態を示す図である。
【図１５】復号プロセスの一実装形態を示す図である。
【発明を実施するための形態】
【００１０】
少なくとも一実装形態において、仮想ビューを参照として使用するフレームワークを提案する。少なくとも一実装形態において、予想されるビューと連結されない仮想ビューを追加の参照として使用することを提案する。別の実装形態において、何らかの品質対複雑さのトレードオフが満たされるまで、仮想参照ビュー（virtual reference view）を連続的に改良することも提案する。次いで、仮想的に生成された幾つかのビューを追加の参照として含め、参照リストにおけるそれらの位置を高レベルで示すことができる。
【００１１】
したがって、少なくとも幾つかの実装形態によって扱われる少なくとも１つの問題は、仮想ビューを追加の参照として使用したマルチビュー映像系列の効率的な符号化である。マルチビュー映像系列は、異なる視点から同一シーンを捕捉する２つ以上の映像系列の組である。
【００１２】
ＦＴＶ（自由視点テレビ）は、マルチビュー映像及び奥行き情報についての符号化表現を含み、受信機での高品質の中間ビューの生成を対象とする新しいフレームワークである。これによって自動立体ディスプレイの自由視点機能及びビュー生成が可能になる。
【００１３】
図１は、本原理の一実施形態による、本原理を適用できる、マルチビュー映像を奥行き情報と共に送受信するためのシステム１００の例を示す。図１において、映像データは実線で示されており、奥行きデータは破線で示されており、メタデータは点線で示されている。システム１００は、それだけには限定されないが、例えば自由視点テレビシステムとすることができる。送信機側１１０に、システム１００は、３Ｄ（３次元）コンテンツ生成器１２０を含み、複数のそれぞれのソースから映像データ、奥行きデータ、及び、メタデータのうちの１つまたは複数を受信するための複数の入力を有する。こうしたソースは、それだけには限定されないが、ステレオカメラ１１１、奥行きカメラ１１２、マルチカメラセットアップ１１３、及び、２Ｄ／３Ｄ（２次元／３次元）変換プロセス１１４を含み得る。１つまたは複数のネットワーク１３０は、ＭＶＣ（マルチビュー映像符号化）及びＤＶＢ（デジタル映像ブロードキャスティング）に関連する映像データ、奥行きデータ、及び、メタデータのうちの１つまたは複数を送信するために使用され得る。
【００１４】
受信機側１４０では、奥行き画像ベースのレンダラ（depth image-based renderer）１５０は、奥行き画像ベースのレンダリングを実行して、信号を様々なタイプのディスプレイに投影する。奥行き画像ベースのレンダラ１５０は、表示構成情報及びユーザの選好を受信することができる。奥行き画像ベースのレンダラ１５０の出力は、２Ｄディスプレイ１６１、Ｍビュー３Ｄディスプレイ１６２、及び／またはヘッド追跡型ステレオディスプレイ１６３のうちの１つまたは複数に提供することができる。
【００１５】
送信すべきデータ量を低減するために、高密度アレイ（dense array）のカメラ（Ｖ１，Ｖ２．．．Ｖ９）をサブサンプリングすることができ、疎な１組のカメラが実際にシーンを捕捉するだけでよい。図２は、本原理の一実施形態による、本原理を適用することができる奥行き（Ｋ＝３）の３つの入力ビューから９つの出力ビュー（Ｎ＝９）を生成するためのフレームワーク２００の例を示す。フレームワーク２００は、マルチビューの出力をサポートする自動立体３Ｄディスプレイ２１０、第１の奥行き画像ベースのレンダラ２２０、第２の奥行き画像ベースのレンダラ２３０、及び、復号済みデータ用のバッファ２４０を含む。復号済みデータは、ＭＶＤ（Multiple View plus Depth）データとして知られる表現である。９つのカメラは、Ｖ１からＶ９によって示される。３つの入力ビューの対応する奥行きマップは、Ｄ１、Ｄ５、及びＤ９によって示される。捕捉されたカメラ位置（例えば、Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３）の間の任意の仮想カメラ位置は、図２に示されるように、使用可能な奥行きマップ（Ｄ１、Ｄ５、Ｄ９）を使用して生成することができる。図２でわかるように、データを捕捉するために使用される実際のカメラの間の基線（Ｖ１、Ｖ５、及びＶ９）を長くすることができる。その結果、これらのカメラの間の相関関係はかなり低下し、符号化効率は時間的な相関関係にのみ依存するため、これらのカメラの符号化効率は、悪くなる可能性がある。
【００１６】
少なくとも１つの記載した実装形態において、基線が長いカメラの符号化効率を向上させるというこの問題に対処することを提案する。解決策は、マルチビューのビュー符号化に限定されず、マルチビュー奥行き符号化に適用することもできる。
【００１７】
図３は、本原理の一実施形態による、本原理を適用することができる符号器３００の例を示す。符号器３００は、出力を変換器３１０の入力と信号通信で接続する結合器３０５を含む。変換器３１０の出力は、量子化器３１５の入力と信号通信で接続される。量子化器３１５の出力は、エントロピ符号器３２０の入力及び逆量子化器３２５の入力と信号通信で接続される。逆量子化器３２５の出力は、逆変換器３３０の入力と信号通信で接続される。逆変換器３３０の出力は、結合器３３５の第１の非反転入力と信号通信で接続される。結合器３３５の出力は、イントラ予測子（intra predictor）３４５の入力及びデブロッキングフィルタ３５０の入力と信号通信で接続される。デブロッキングフィルタ３５０は、例えば、マクロブロック境界に沿ってアーティファクトを削除する。デブロッキングフィルタ３５０の第１の出力は、参照ピクチャストア３５５の入力（時間的予測用）及び参照ピクチャストア３６０の第１の入力（ビュー間予測用）と信号通信で接続される。参照ピクチャストア３５５の出力は、動き補償器３７５の第１の入力及び動き推定器３８０の第１の入力と信号通信で接続される。動き推定器３８０の出力は、動き補償器３７５の第２の入力と信号通信で接続される。参照ピクチャストア３６０の出力は、差異推定器（disparity estimator）３７０の第１の入力及び差異補償器（disparity compensator）３６５の第１の入力と信号通信で接続される。差異推定器３７０の出力は、差異補償器３６５の第２の入力と信号通信で接続される。
【００１８】
デブロッキングフィルタ３５０の第２の出力は、参照ピクチャストア３７１の入力（仮想ピクチャ生成用）と信号通信で接続される。参照ピクチャストア３７１の出力は、ビュー合成器３７２の第１の入力と信号通信で接続される。仮想参照ビューコントローラ３７３の第１の出力は、ビュー合成器３７２の第２の入力と信号通信で接続される。
【００１９】
エントロピ符号器３２０の出力、仮想参照ビューコントローラ３７３の第２の出力、モード決定モジュール３９５の第１の出力、及び、ビューセレクタ３０２の出力はそれぞれ、ビットストリームを出力するための符号器３００のそれぞれの出力として使用可能である。スイッチ３８８の第１の入力（ビューｉについてのピクチャデータ用）、第２の入力（ビューｊについてのピクチャデータ用）、及び、第３の入力（合成ビューについてのピクチャデータ用）はそれぞれ、符号器へのそれぞれの入力として使用可能である。ビュー合成器３７２の出力（合成ビューの提供用）は、参照ピクチャストア３６０の第２の入力及びスイッチ３８８の第３の入力と信号通信で接続される。ビューセレクタ３０２の第２の出力は、どの入力（例えばビューｉのピクチャデータ、ビューｊのピクチャデータ、または合成ビューのピクチャデータ）がスイッチ３８８に提供されるかを判定する。スイッチ３８８の出力は、結合器３０５の非反転入力、動き補償器３７５の第３の入力、動き推定器３８０の第２の入力、及び、差異推定器３７０の第２の入力と信号通信で接続される。イントラ予測子３４５の出力は、スイッチ３８５の第１の入力と信号通信で接続される。差異補償器３６５の出力は、スイッチ３８５の第２の入力と信号通信で接続される。動き補償器３７５の出力は、スイッチ３８５の第３の入力と信号通信で接続される。モード決定モジュール３９５の出力は、どの入力がスイッチ３８５に提供されるかを判定する。スイッチ３８５の出力は、結合器３３５の第２の非反転入力及び結合器３０５の反転入力と信号通信で接続される。
【００２０】
図３の部分は、個々にまたはまとめて、例えばブロック３１０、３１５、及び３２０など、符号器、符号化ユニット、またはアクセスユニットと呼ぶこともできる。同様に、ブロック３２５、３３０、３３５及び３５０は、例えば、個々にまたはまとめて、復号器または復号ユニットと呼ぶことができる。
【００２１】
図４は、本原理の一実施形態による、本原理を適用することができる復号器４００の例を示す。復号器４００は、出力を逆量子化器４１０の入力と信号通信で接続するエントロピ復号器４０５を含む。逆量子化器の出力は、逆変換器４１５の入力と信号通信で接続される。逆変換器４１５の出力は、結合器４２０の第１の非反転入力と信号通信で接続される。結合器４２０の出力は、デブロッキングフィルタ４２５の入力及びイントラ予測子４３０の入力と信号通信で接続される。デブロッキングフィルタ４２５の出力は、参照ピクチャストア４４０の入力（時間的予測用）、参照ピクチャストア４４５の第１の入力（ビュー間予測用）、及び、参照ピクチャストア４７２の第１の入力（仮想ピクチャ生成用）と信号通信で接続される。参照ピクチャストア４４０の出力は、動き補償器４３５の第１の入力と信号通信で接続される。参照ピクチャストア４４５の出力は、差異補償器４５０の第１の入力と信号通信で接続される。
【００２２】
ビットストリーム受信機４０１の出力は、ビットストリームパーサ４０２の入力と信号通信で接続される。ビットストリームパーサ４０２の第１の出力（残余ビットストリームの提供用）は、エントロピ復号器４０５の入力と信号通信で接続される。ビットストリームパーサ４０２の第２の出力（スイッチ４５５によってどの入力が選択されるかを制御するための制御構文の提供用）は、モードセレクタ４２２の入力と信号通信で接続される。ビットストリームパーサ４０２の第３の出力（動きベクトルの提供用）は、動き補償器４３５の第２の入力と信号通信で接続される。ビットストリームパーサ４０２の第４の出力（差異ベクトル及び／または照明オフセットの提供用）は、差異補償器４５０の第２の入力と信号通信で接続される。ビットストリ―ムパーサ４０２の第５の出力（仮想参照ビュー制御情報の提供用）は、参照ピクチャストア４７２の第２の入力及びビュー合成器４７１の第１の入力と信号通信で接続される。参照ピクチャストア４７２の出力は、ビュー合成器の第２の入力と信号通信で接続される。ビュー合成器４７１の出力は、参照ピクチャストア４４５の第２の入力と信号通信で接続される。照明オフセットは、オプションの入力であり、実装に応じて使用されても使用されなくてもよいことを理解されたい。
【００２３】
スイッチ４５５の出力は、結合器４２０の第２の非反転入力と信号通信で接続される。スイッチ４５５の第１の入力は、差異補償器４５０の出力と信号通信で接続される。スイッチ４５５の第２の入力は、動き補償器４３５の出力と信号通信で接続される。スイッチ４５５の第３の入力は、イントラ予測子４３０の出力と信号通信で接続される。モードモジュール４２２の出力は、スイッチ４５５によってどの入力が選択されるかを制御するためのスイッチ４５５と信号通信で接続される。デブロッキングフィルタ４２５の出力は、復号器の出力として使用可能である。
【００２４】
図４の部分は、個々にまたはまとめて、例えば、ビットストリームパーサ４０２、及びデータまたは情報の特定の部分へのアクセスを提供する任意の他のブロックなど、アクセスユニットと呼ぶこともできる。同様に、ブロック４０５、４１０、４１５、４２０及び４２５は、例えば、個々にまたはまとめて、復号器または復号ユニットと呼ぶことができる。
【００２５】
図５は、本原理の一実装形態による、本原理を適用することができる映像送信システム５００の例を示す。映像送信システム５００は、例えば、衛星、ケーブル、電話線、または地上放送など、様々な媒体のうちの任意のものを使用して信号を送信するためのヘッドエンドまたは送信システムとすることができる。送信は、インターネットまたは他の何らかのネットワークを介して提供することができる。
【００２６】
映像送信システム５００は、仮想参照ビューを含む映像コンテンツを生成し、配信することができる。これは、例えば復号器を有し得る受信機端で、１つまたは複数の仮想参照ビューを合成するために使用することができる１つまたは複数の仮想参照ビューまたは情報を含む、符号化信号を生成することによって達成される。
【００２７】
映像送信システム５００は、符号器５１０、及び、符号化信号を送信することができる送信機５２０を含む。符号器５１０は、映像情報を受信し、映像情報に基づいて１つまたは複数の仮想参照ビューを合成し、符号化信号をそこから生成する。符号器５１０は、例えば、上記で詳述した符号器３００でもよい。
【００２８】
送信機５２０は、例えば、符号化されたピクチャ及び／またはそれに関連する情報を表す１つまたは複数のビットストリームを有するプログラム信号を送信するように構成することができる。通常の送信機は、例えば、誤り訂正符号化を提供すること、信号においてデータをインターリーブすること、信号においてエネルギーをランダム化すること、及び１つまたは複数の搬送波上に信号を変調することのうちの１つまたは複数の機能を実行する。送信機は、アンテナ（図示せず）を含む、またはそれとインターフェイスすることができる。したがって、送信機５２０の実装は、変調器を含むことができ、またはそれに限定され得る。
【００２９】
図６は、映像受信システム６００の一実装形態の図を示す。映像受信システム６００は、例えば衛星、ケーブル、電話線、または地上放送など、様々な媒体を介して信号を受信するように構成することができる。信号は、インターネットまたは他の何らかのネットワークを介して受信することができる。
【００３０】
映像受信システム６００は、例えば、携帯電話、コンピュータ、セットトップボックス、テレビ、または符号化された映像を受信し、例えばユーザに表示する、または格納するために復号された映像を提供する他の装置とすることができる。したがって、映像受信システム６００は、その出力を、例えばテレビの画面、コンピュータモニタ、コンピュータ（格納、処理、または表示用）、または他の何らかの格納、処理、または表示装置に提供することができる。
【００３１】
映像受信システム６００は、映像情報を含む映像コンテンツを受信し、処理することができる。更に、映像受信システム６００は、１つまたは複数の仮想参照ビューを合成し、及び／またはそうでなければ再生することができる。これは、映像情報、及び１つまたは複数の仮想参照ビューを合成するために使用することができる１つまたは複数の仮想参照ビューまたは情報を含む符号化信号を受信することによって達成される。
【００３２】
映像受信システム６００は、例えば本出願の実装形態に記載される信号など、符号化信号を受信することができる受信機６１０及び受信信号を復号することができる復号器６２０を含む。
【００３３】
受信機６１０は、例えば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受信するように構成することができる。通常の受信機は、例えば、変調され、符号化されたデータ信号を受信すること、１つまたは複数の搬送波からデータ信号を復調すること、信号におけるエネルギーを非ランダム化すること、信号におけるデータをデインターリーブすること、及び、信号の誤り訂正復号を行うことのうちの１つまたは複数の機能を実行する。受信機６１０は、アンテナ（図示せず）を含む、またはそれとインターフェイスすることができる。受信機６１０の実装は、復調器を含むことができ、またはそれに限定され得る。
【００３４】
復号器６２０は、映像情報及び奥行き情報を含む映像信号を出力する。復号器６２０は、例えば、上記で詳述した復号器４００でもよい。
【００３５】
図７Ａは、本原理の一実施形態による、仮想参照ビューを符号化するための方法７００のフロー図を示す。ステップ７１０で、第１のビュー位置の装置から取得された第１のビュー画像にアクセスする。ステップ７１０で、第１のビュー画像が符号化される。ステップ７１５で、第２のビュー位置の装置から第２のビュー画像が取得される。ステップ７２０で、再構築された第１のビュー画像に基づいて、仮想画像が合成される。仮想画像は、第１のビュー位置とは異なる仮想ビュー位置の装置から取得された場合、画像がどのように見えるかを推定する。ステップ７２５で、仮想画像が符号化される。ステップ７３０で、第２のビュー画像が、再構築された仮想ビューで、再構築された第１のビュー画像への追加の参照として符号化される。第２のビュー位置は、仮想ビュー位置とは異なる。ステップ７３５で、符号化された第１のビュー画像、符号化された仮想ビュー画像、及び、符号化された第２のビュー画像が送信される。
【００３６】
方法７００の一実装形態において、仮想画像が合成される第１のビュー画像は再構築バージョンの第１のビュー画像であり、参照画像は仮想画像である。
【００３７】
図７Ａの一般的なプロセスの別の実装形態、及び（例えば図７Ｂ、８Ａ、及び８Ｂのプロセスを含めて）本出願に記載した別のプロセスにおいて、仮想画像（または再構築）は、第２のビュー画像の符号化に使用される唯一の参照画像とすることができる。更に、実装では、仮想画像を出力として復号器に表示できるようにすることができる。
【００３８】
多くの実装は、仮想ビュー画像を符号化し、送信する。こうした実装において、この送信及び送信で使用されるビットを、ＨＲＤ（仮想参照デコーダ（hypothetical reference decoder））（例えば、符号器または独立したＨＲＤチェッカーに含まれるＨＲＤ）によって実行される妥当性検査において考慮に入れることができる。現在のＭＶＣ（マルチビュー符号化）標準において、ＨＲＤ検証は、ビューごとに別々に実行される。第２のビューが第１のビューから予測される場合、第１のビューの送信に使用されるレートは、第２のビューのＣＰＢ（符号化されたピクチャバッファ）のＨＲＤチェック（妥当性検査）でカウントされる。これは、第２のビューを復号するために第１のビューがバッファに入れられることを考慮に入れる。様々な実装は、ＭＶＣについてちょうど記載したものと同じ原理を使用する。こうした実装において、送信される仮想ビュー参照画像が第１のビューと第２のビューとの間にある場合、仮想ビューのＨＲＤモデルパラメータは、まるでそれが実際のビューであるかのように、ＳＰＳ（系列パラメータセット）に挿入される。更に、第２のビューのＣＰＢのＨＲＤ適合（妥当性検査）をチェックするとき、仮想ビューに使用されるレートは、仮想ビューをバッファに入れることを考慮に入れる方法でカウントされる。
【００３９】
図７Ｂは、本原理の一実施形態による、仮想参照ビューを復号するための方法７５０のフロー図を示す。ステップ７５５で、第１のビュー位置の装置から取得された第１のビュー画像、参照のみに使用される仮想画像（仮想画像を表示するなどの出力無し）、及び第２のビュー位置の装置から取得された第２のビュー画像についての符号化映像情報を含む信号が受信される。ステップ７６０で、第１のビュー画像が復号される。ステップ７６５で、仮想ビュー画像が復号される。ステップ７７０で、第２のビュー画像、及び復号された第１のビュー画像の追加の参照として使用される復号された仮想ビュー画像が復号される。
【００４０】
図８Ａは、本原理の一実施形態による、仮想参照ビューを符号化するための方法８００のフロー図を示す。ステップ８０５で、第１のビュー位置の装置から取得された第１のビュー画像にアクセスする。ステップ８１０で、第１のビュー画像が符号化される。ステップ８１５で、第１のビュー位置の装置から取得された第２のビュー画像にアクセスする。ステップ８２０で、再構築された第１のビュー画像に基づいて、仮想画像が合成される。仮想画像は、第１のビュー位置とは異なる仮想ビュー位置の装置から取得された場合、画像がどのように見えるかを推定する。ステップ８２５で、第２のビュー画像が、再構築された第１のビュー画像への追加の参照として生成される仮想画像を使用して符号化される。第２のビュー位置は、仮想ビュー位置とは異なる。ステップ８３０で、複数のビューのうちのどのビューが参照画像として使用されるかを示すために制御情報が生成される。こうした場合、参照画像は、例えば、
（１）第１のビュー位置と第２のビュー位置との間の中間の合成ビュー
（２）現在のビューが符号化されるのと同じ位置の合成ビューであって、まず中間点でビューの合成を生成し、次いでその結果を使用して、符号化される現在のビュー位置で別のビューを合成することによって、追加的に合成された合成ビュー
（３）非合成ビュー画像
（４）仮想画像、及び
（５）仮想画像から合成される別の個別の合成画像のうちの１つとすることができ、参照画像は第１のビュー画像と第２のビュー画像との間の位置、または第２のビュー画像のある位置にある。
【００４１】
ステップ８３５で、符号化された第１のビュー画像、符号化された第２のビュー画像、及び符号化された制御情報が送信される。
【００４２】
図８Ａのプロセス、及び本出願に記載した様々な他のプロセスは、符号器における復号ステップも含み得る。例えば、符号器は、合成された仮想画像を使用して符号化された第２のビュー画像を復号することができる。これは、復号器が生成するものに一致する再構築された第２のビュー画像を生成すると予想される。次いで符号器は、再構築を参照画像として使用することによって、再構築を使用して次の画像を符号化することができる。このように、符号器は、第２のビュー画像の再構築を使用して次の画像を符号化し、復号器も再構築を使用して次の画像を復号する。その結果、符号器は、そのレート歪み最適化（rate-distortion optimization）及び符号化モードのその選択を、例えば、復号器が生成すると予想されるのと同じ最終的な出力（次の画像の再構築）に基づかせることができる。この復号ステップを、例えば、操作８２５後の任意の時点で実行することができる。
【００４３】
図８Ｂは、本原理の一実施形態による、仮想参照ビューを復号するための方法８００のフロー図を示す。ステップ８５５で、信号が受信される。信号は、第１のビュー位置の装置から取得された第１のビュー画像、第２のビュー位置の装置から取得された第２のビュー画像、及び参照のみに使用される（出力されない）仮想画像がどのように生成されるかについての制御情報についての符号化映像情報を含む。ステップ８６０で、第１のビュー画像が復号される。ステップ８６５で、制御情報を使用して仮想ビュー画像が生成／合成される。ステップ８７０で、生成／合成された仮想ビュー画像を復号された第１のビュー画像への追加の参照として使用して、第２のビュー画像が復号される。
【００４４】
実施形態１：
仮想ビューは、３Ｄワーピング技術を使用して既存のビューから生成することができる。仮想ビューを取得するために、カメラの内部パラメータ（intrinsic parameter）、及び外部パラメータ（extrinsic parameter）についての情報が使用される。内部パラメータは、それだけには限定されないが、例えば焦点距離、ズーム、及び他の内部特性を含み得る。外部パラメータは、それだけには限定されないが、例えば、位置（平行移動）、向き（パン、傾き、回転）、及び他の外部特性を含み得る。更に、シーンの奥行きマップも使用される。図９は、本原理の一実施形態による、本原理を適用することができる奥行きマップ９００の例を示す。特に、奥行きマップ９００は、ビュー０の場合である。
【００４５】
３Ｄワーピングの場合の透視投影行列は、以下のように表すことができる。
【００４６】
ＰＭ＝Ａ［Ｒ｜ｔ］ （１）
式中、Ａ、Ｒ、及びｔは、それぞれ内部行列、回転行列、及び平行移動ベクトルを示し、これらの値は、カメラパラメータと呼ばれる。投影方程式（projection equation）を使用して、画像座標からのピクセル位置を３Ｄワールド座標に投影することができる。方程式（２）は、奥行きデータ及び方程式（１）を含む投影方程式である。方程式（２）は、方程式（３）に変換することができる。
【００４７】
【数１】
【００４８】
ＰWC（ｘ，ｙ，ｚ）＝Ｒ-1・Ａ-1・Ｐref（ｘ，ｙ，ｌ）・Ｄ−R-1・ｔ （３）
式中、Ｄは奥行きデータを示し、Ｐは参照画像座標系における３Ｄワールド座標または同次座標上のピクセル位置を示し、
【００４９】
【数２】
【００５０】
は３Ｄワールド座標系における同次座標を示す。投影後、３Ｄワールド座標におけるピクセル位置は、方程式（１）の逆の形である方程式（４）による所望の対象画像における位置にマッピングされる。
【００５１】
Ｐtarget（ｘ，ｙ，ｌ）＝Ａ・Ｒ・（ＰWC（ｘ，ｙ，ｚ）＋Ｒ-1・ｔ） （４）
その結果、参照画像におけるピクセル位置に対する対象画像における正しいピクセル位置を取得することができる。その後、参照画像上のピクセル位置から対象画像上の投影されたピクセル位置にピクセル値をコピーする。
【００５２】
仮想ビューを合成するために、参照ビュー及び仮想ビューのカメラパラメータを使用する。しかし、必ずしも仮想ビューのカメラパラメータのフルセットがシグナリングされるとは限らない。仮想ビューが水平面における移動のみである場合（例えば、図２のビュー１からビュー２の例を参照）、平行移動ベクトルを更新するだけでよく、残りのパラメータはそのままである。
【００５３】
図３及び図４を参照して示され、記載されている装置３００及び装置４００などの装置において、１つの符号化構造では、ビュー５が予測ループにおける参照としてビュー１を使用する。しかし、上述したように、それらの間の基線距離が長いために、相関関係が限られ、ビュー５がビュー１を基準として使用する確率は非常に小さい。
【００５４】
ビュー１をビュー５のカメラ位置にワープし、次いでこの仮想的に生成されたピクチャを追加の参照として使用することができる。しかし、基線が長いために、仮想ビューには多くの穴またはより大きい穴がある可能性があり、これらは、埋めるには微々たるものではない場合がある。穴埋めの後でさえ、最終的な画像は、参照として使用すべき許容できる品質を有していない場合がある。図１０Ａは、穴埋め無しのワープ済みピクチャ１０００の例を示す。図１０Ｂは、穴埋め有りの図１０Ａのワープ済みピクチャ１０５０の例を示す。図１０Ａからわかるように、ブレイクダンサーの左、及びフレームの右側に幾つかの穴がある。次いでこれらの穴は、塗り直しのような穴埋めアルゴリズムを使用して埋められ、結果は、図１０Ｂからわかる。
【００５５】
長い基線の問題に対処するために、ビュー１をカメラ位置ビュー５に直接ワープする代わりに、ビュー１とビュー５との間のどこかの位置、例えば２つのカメラの間の中間点にワープすることを提案する。この位置は、ビュー５に比べてビュー１に近く、場合によってはより少なくより小さい穴を有する。これらのより小さい／少ない穴は、基線が長いより大きい穴に比べて管理しやすい。実際には、ビュー５に対応する位置を直接生成する代わりに、２つのカメラの間の任意の位置を生成することができる。実際に、複数の仮想カメラ位置を、追加の参照として生成することができる。
【００５６】
直線及び並列のカメラ配列の場合、通常、すべての他の情報はすでに使用可能であるため、生成される仮想位置に対応する平行移動ベクトルをシグナリングするだけでよい。１つまたは複数の追加のワープ済みの参照の生成をサポートするために、例えばスライスヘッダで構文を追加することを提案する。表１に、提案されたスライスヘッダ構文の一実施形態が示されている。表２に、提案された仮想ビュー情報構文の一実施形態が示されている。表１のロジックによって示されるように（イタリックで示す）、表２に示される構文は、表１に指定される条件が満たされるときのみ存在する。これらの条件は、次の通りである。すなわち、現在のスライスがＥＰまたはＥＢスライスであり、プロファイルがマルチビュー映像プロファイルである。表２は、Ｐ、ＥＰ、Ｂ、及びＥＢのスライスについて「ｌ０」情報を含み、Ｂ及びＥＢのスライスについて「ｌ１」情報を更に含むことに留意されたい。適切な参照リスト配列構文を使用することによって、複数のワープ済みの参照を作成することができる。例えば、第１の参照ピクチャは、オリジナルの参照とすることができ、第２の参照ピクチャは、参照と現在のビューとの間のあるポイントにおけるワープ済みの参照とすることができ、第３の参照ピクチャは、現在のビュー位置におけるワープ済みの参照とすることができる。
【００５７】
【表１】
【００５８】
【表２】
【００５９】
通常ビットストリームに現れる表１及び表２に太字で示されている構文要素に留意されたい。更に、表１は、既存のＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）ＭＰＥＧ−４（Moving Picture Experts Group-4）Part10 AVC（Advanced Video Coding）標準／ITU-T（International Telecommunication Union,Telecommunication Sector）H.264 Recommendation（以下、「ＭＰＥＧ−４ ＡＶＣ標準」）スライスヘッダ構文の修正であるため、便宜上、変更されていない既存の構文の幾つかの部分は、省略記号で示されている。
【００６０】
この新しい構文のセマンティクスは、以下の通りである。
【００６１】
１に等しいｖｉｒｔｕａｌ＿ｖｉｅｗ＿ｆｌａｇ＿ｌ０は、リマッピングされるＬＩＳＴ０における参照ピクチャが生成する必要のある仮想参照ビューであることを示す。
０に等しいｖｉｒｔｕａｌ＿ｖｉｅｗ＿ｆｌａｇは、リマッピングされる参照ピクチャは仮想参照ビューではないことを示す。
【００６２】
ｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｘ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間の平行移動ベクトルの第１の成分を示す。
【００６３】
ｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｙ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間の平行移動ベクトルの第２の成分を示す。
【００６４】
ｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｚ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間の平行移動ベクトルの第３の成分を示す。
【００６５】
ｐａｎ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間の（ｙに沿った）パニングパラメータを示す。
【００６６】
ｔｉｌｔ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間の（ｘに沿った）傾きパラメータを示す。
【００６７】
ｒｏｔａｔｉｏｎ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間の（ｚに沿った）回転パラメータを示す。
【００６８】
ｚｏｏｍ＿ｌ０は、リストＬＩＳＴ０におけるａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１によってシグナリングされるビューと生成すべき仮想ビューとの間のズームパラメータを示す。
【００６９】
ｈｏｌｅ＿ｆｉｌｌｉｎｇ＿ｍｏｄｅ＿ｌ０は、ＬＩＳＴ０におけるワープ済みピクチャにおける穴をどうやって埋めるかを示す。様々な穴埋めモードをシグナリングすることができる。例えば、値０は、近隣において最も遠い（すなわち、最大の奥行きを有する）ピクセルをコピーすることを意味し、値１は、付近の背景を拡張することを意味し、値２は穴埋めなしを意味する。
【００７０】
ｄｅｐｔｈ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｌ０は、ＬＩＳＴ０における奥行き信号にどの種類のフィルタを使用するかを示す。様々なフィルタをシグナリングすることができる。一実施形態において、値０はフィルタなしを意味し、値１は中央フィルタを意味し、値２は両側フィルタを意味し、値３はガウスフィルタを意味する。
【００７１】
ｖｉｄｅｏ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｌ０は、リストＬＩＳＴ０における仮想映像信号にどの種類のフィルタを使用するかを示す。様々なフィルタをシグナリングすることができる。一実施形態において、値０はフィルタなしを意味し、値１はノイズ除去フィルタを意味する。
【００７２】
ｖｉｒｔｕａｌ＿ｖｉｅｗ＿ｆｌａｇ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｖｉｒｔｕａｌ＿ｖｉｅｗ＿ｆｌａｇ＿ｌ０と同一のセマンティクスを使用する。
【００７３】
ｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｘ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｘ＿ｌ０と同一のセマンティクスを使用する。
【００７４】
ｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｙ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｙ＿ｌ０と同一のセマンティクスを使用する。
【００７５】
ｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｚ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｔｒａｎｓｌａｔｉｏｎ＿ｏｆｆｓｅｔ＿ｚ＿ｌ０と同一のセマンティクスを使用する。
【００７６】
ｐａｎ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｐａｎ＿ｌ０と同一のセマンティクスを使用する。
【００７７】
ｔｉｌｔ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｔｉｌｔ＿ｌ０と同一のセマンティクスを使用する。
【００７８】
ｒｏｔａｔｉｏｎ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｒｏｔａｔｉｏｎ＿ｌ０と同一のセマンティクスを使用する。
【００７９】
ｚｏｏｍ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｚｏｏｍ＿ｌ０と同一のセマンティクスを使用する。
【００８０】
ｈｏｌｅ＿ｆｉｌｌｉｎｇ＿ｍｏｄｅ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｈｏｌｅ＿ｆｉｌｌｉｎｇ＿ｍｏｄｅ＿ｌ０と同一のセマンティクスを使用する。
【００８１】
ｄｅｐｔｈ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｄｅｐｔｈ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｌ０と同一のセマンティクスを使用する。
【００８２】
ｖｉｄｅｏ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｌ１は、ｌ０がｌ１と取り替えられた状態のｖｉｄｅｏ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｌ０と同一のセマンティクスを使用する。
【００８３】
図１１は、本原理の別の実施形態による、仮想参照ビューを符号化するための方法１１００のフロー図を示す。ステップ１１１０で、ビューｉについての符号器構成ファイルが読み取られる。ステップ１１１５で、位置「ｔ」において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１１２０に渡される。そうでない場合、制御はステップ１１２５に渡される。ステップ１１２０で、位置「ｔ」において、参照ビューからビュー合成が行われる。ステップ１１２５で、現在のビュー位置において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１１３０に渡される。そうでない場合、制御はステップ１１３５に渡される。ステップ１１３０で、現在のビュー位置でビュー合成が行われる。ステップ１１３５で、参照リストが生成される。ステップ１１４０で、現在のピクチャが符号化される。ステップ１１４５で、参照リスト再配列コマンドが送信される。ステップ１１５０で、仮想ビュー生成コマンドが送信される。ステップ１１５５で、現在のビューの符号化が行われるかどうかが判定される。符号化が行われる場合、方法が終了する。そうでない場合、制御はステップ１１６０に渡される。ステップ１１６０で、方法は、次のピクチャに進んで符号化を行い、ステップ１１０５に戻る。
【００８４】
したがって、図１１において、（ステップ１１１０で）符号器構成を読み取った後、（ステップ１１１５で）仮想ビューを位置「ｔ」において生成すべきかどうかが判定される。こうしたビューを生成する必要がある場合、穴埋め（図１１に明示的には図示せず）と共に（ステップ１１２０で）ビュー合成が行われ、この仮想ビューは、（ステップ１１３５で）参照として追加される。その後、現在のカメラの位置で（ステップ１１２５で）別の仮想ビューを生成し、参照リストに追加することもできる。次いで現在のビューの符号化は、これらのビューを追加の参照として続ける。
【００８５】
図１２は、本原理の別の実施形態による、仮想参照ビューを復号するための方法１２００のフロー図を示す。ステップ１２０５で、ビットストリームが構文解析される。ステップ１２１０で、参照リスト再配列コマンドが構文解析される。ステップ１２１５で、存在する場合、仮想ビュー情報が構文解析される。ステップ１２２０で、位置「ｔ」において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１２２５に渡される。そうでない場合、制御はステップ１２３０に渡される。ステップ１２２５で、位置「ｔ」において、参照ビューからビュー合成が行われる。ステップ１２３０で、現在のビュー位置において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１２３５に渡される。そうでない場合、制御はステップ１２４０に渡される。ステップ１２３５で、現在のビュー位置でビュー合成が行われる。ステップ１２４０で、参照リストが生成される。ステップ１２４５で、現在のピクチャが復号される。ステップ１２５０で、現在のビューの復号が行われるかどうかが判定される。復号が行われる場合、方法が終了する。そうでない場合、制御はステップ１０５５に渡される。ステップ１２５５で、方法は、次のピクチャに進んで復号を行い、ステップ１２０５に戻る。
【００８６】
したがって、図１２において、（ステップ１２１０で）参照リスト再配列構文要素を構文解析することによって、（ステップ１２２０で）位置「ｔ」において追加の参照として仮想ビューを生成する必要があるかどうかを判定することができる。この場合には、（ステップ１２２５で）ビュー合成及び穴埋め（図１２に明示的には図示せず）が実行されて、このビューが生成される。更に、ビットストリームで示される場合、（ステップ１２３０で）現在のビュー位置において別の仮想ビューが生成される。これらのビューはいずれも、（ステップ１２４０で）次いで追加の参照として参照リストに入れられ、復号が続行される。
【００８７】
実施形態２：
別の実施形態において、上記の構文を使用して内部パラメータ及び外部パラメータを送信する代わりに、それらを表３に示されるように送信することができる。表３は、別の実施形態による提案された仮想ビュー情報構文を示す。
【００８８】
【表３】
【００８９】
【表４】
【００９０】
【表５】
【００９１】
次いで構文要素は、以下のセマンティクスを有することになる。
【００９２】
１に等しいｉｎｔｒｉｎｓｉｃ＿ｐａｒａｍ＿ｆｌａｇ＿ｌ０は、ＬＩＳＴ＿０の内部カメラパラメータがあることを示す。０に等しいｉｎｔｒｉｎｓｉｃ＿ｐａｒａｍ＿ｆｌａｇ＿ｌ０は、ＬＩＳＴ＿０の内部カメラパラメータがないことを示す。
【００９３】
１に等しいｉｎｔｒｉｎｓｉｃ＿ｐａｒａｍｓ＿ｅｑｕａｌ＿ｌ０は、ＬＩＳＴ＿０の内部カメラパラメータがすべてのカメラについて等しく、１組の内部カメラパラメータのみが存在することを示す。０に等しいｉｎｔｒｉｎｓｉｃ＿ｐａｒａｍｓ＿ｅｑｕａｌ＿ｌ０は、ＬＩＳＴ＿１の内部カメラパラメータがカメラごとに異なり、カメラごとに１組の内部カメラパラメータが存在することを示す。
【００９４】
ｐｒｅｃ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０は、２-prec_focal_length_l0によって提供されるｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｘ［ｉ］及びｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｙ［ｉ］の最大許容打ち切り誤差の指数を指定する。
【００９５】
ｐｒｅｃ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０は、２-prec_principal_point_l0によって提供されるｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｘ［ｉ］及びｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｙ［ｉ］の最大許容打ち切り誤差の指数を指定する。
【００９６】
ｐｒｅｃ＿ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｌ０は、２-prec_radial_distortion_l0によって提供されるｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｌ０の最大許容打ち切り誤差の指数を指定する。
【００９７】
０に等しいｓｉｇｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｘ［ｉ］は、水平方向のＬＩＳＴ０におけるｉ番目のカメラの焦点距離の符号が正であることを示す。０に等しいｓｉｇｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｘ［ｉ］は、符号が負であることを示す。
【００９８】
ｅｘｐｏｎｅｎｔ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｘ［ｉ］は、水平方向のＬＩＳＴ０におけるｉ番目のカメラの焦点距離の指数部分を指定する。
【００９９】
ｍａｎｔｉｓｓａ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｘ［ｉ］は、水平方向のＬＩＳＴ０におけるｉ番目のカメラの焦点距離の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｘ［ｉ］構文要素のサイズは、以下で指定されるように決定される。
【０１００】
０に等しいｓｉｇｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｙ［ｉ］は、垂直方向のＬＩＳＴ０におけるｉ番目のカメラの焦点距離の符号が正であることを示す。０に等しいｓｉｇｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｙ［ｉ］は、符号が負であることを示す。
【０１０１】
ｅｘｐｏｎｅｎｔ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｙ［ｉ］は、垂直方向のＬＩＳＴ０におけるｉ番目のカメラの焦点距離の指数部分を指定する。
【０１０２】
ｍａｎｔｉｓｓａ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｙ［ｉ］は、垂直方向のＬＩＳＴ０におけるｉ番目のカメラの焦点距離の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ＿ｌ０＿ｙ［ｉ］構文要素のサイズは、以下で指定されるように決定される。
【０１０３】
０に等しいｓｉｇｎ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｘ［ｉ］は、水平方向のＬＩＳＴ０におけるｉ番目のカメラの主点の符号が正であることを示す。０に等しいｓｉｇｎ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｘ［ｉ］は、符号が負であることを示す。
【０１０４】
ｅｘｐｏｎｅｎｔ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｘ［ｉ］は、水平方向のＬＩＳＴ０におけるｉ番目のカメラの主点の指数部分を指定する。
【０１０５】
ｍａｎｔｉｓｓａ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｘ［ｉ］は、水平方向のＬＩＳＴ０におけるｉ番目のカメラの主点の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｘ［ｉ］構文要素のサイズは、以下で指定されるように決定される。
【０１０６】
０に等しいｓｉｇｎ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｙ［ｉ］は、垂直方向のＬＩＳＴ０におけるｉ番目のカメラの主点の符号が正であることを示す。０に等しいｓｉｇｎ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｙ［ｉ］は、符号が負であることを示す。
【０１０７】
ｅｘｐｏｎｅｎｔ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｙ［ｉ］は、垂直方向のＬＩＳＴ０におけるｉ番目のカメラの主点の指数部分を指定する。
【０１０８】
ｍａｎｔｉｓｓａ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｙ［ｉ］は、垂直方向のＬＩＳＴ０におけるｉ番目のカメラの主点の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ＿ｌ０＿ｙ［ｉ］構文要素のサイズは、以下で指定されるように決定される。
【０１０９】
０に等しいｓｉｇｎ＿ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｌ０［ｉ］は、ＬＩＳＴ０におけるｉ番目のカメラの半径方向歪み係数の符号が正であることを示す。０に等しいｓｉｇｎ＿ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｌ０［ｉ］は、符号が負であることを示す。
【０１１０】
ｅｘｐｏｎｅｎｔ＿ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｌ０［ｉ］は、ＬＩＳＴ０におけるｉ番目のカメラの半径方向歪み係数の指数部分を指定する。
【０１１１】
ｍａｎｔｉｓｓａ＿ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｌ０［ｉ］は、ＬＩＳＴ０におけるｉ番目のカメラの半径方向歪み係数の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｒａｄｉａｌ＿ｄｉｓｔｏｒｉｏｎ＿ｌ０［ｉ］構文要素のサイズは、以下で指定されるように決定される。
【０１１２】
表４は、ｉ番目のカメラの固有行列Ａ（ｉ）を示す。
【０１１３】
【表６】
【０１１４】
１に等しいｅｘｔｒｉｎｓｉｃ＿ｐａｒａｍ＿ｆｌａｇ＿ｌ０は、ＬＩＳＴ０における外部カメラパラメータがあることを示す。０に等しいｅｘｔｒｉｎｓｉｃ＿ｐａｒａｍ＿ｆｌａｇ＿ｌ０は、外部カメラパラメータがないことを示す。
【０１１５】
ｐｒｅｃ＿ｒｏｔａｔｉｏｎ＿ｐａｒａｍ＿ｌ０は、ＬＩＳＴ０について２-prec_rotation_param_l0によって提供されるｒ［ｉ］［ｊ］［ｋ］の最大許容打ち切り誤差の指数を指定する。
【０１１６】
ｐｒｅｃ＿ｔｒａｎｓｌａｔｉｏｎ＿ｐａｒａｍ＿ｌ０は、ＬＩＳＴ０について２-prec_translation_param_l0によって提供されるｔ［ｉ］［ｊ］の最大許容打ち切り誤差の指数を指定する。
【０１１７】
０に等しいｓｉｇｎ＿ｌ０＿ｒ［ｉ］［ｊ］［ｋ］は、ＬＩＳＴ０におけるｉ番目のカメラの回転行列の（ｊ，ｋ）成分の符号が正であることを示す。０に等しいｓｉｇｎ＿ｌ０＿ｒ［ｉ］［ｊ］［ｋ］は、符号が負であることを示す。
【０１１８】
ｅｘｐｏｎｅｎｔ＿ｌ０＿ｒ［ｉ］［ｊ］［ｋ］は、ＬＩＳＴ０におけるｉ番目のカメラの回転行列の（ｊ，ｋ）成分の指数部分を指定する。
【０１１９】
ｍａｎｔｉｓｓａ＿ｌ０＿ｒ［ｉ］［ｊ］［ｋ］は、ＬＩＳＴ０におけるｉ番目のカメラの回転行列の（ｊ，ｋ）成分の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｌ０＿ｒ［ｉ］［ｊ］［ｋ］構文要素のサイズは、以下で指定されるように決定される。
【０１２０】
表５は、ｉ番目のカメラの回転行列Ｒ（ｉ）を示す。
【０１２１】
【表７】
【０１２２】
０に等しいｓｉｇｎ＿ｌ０＿ｔ［ｉ］［ｊ］は、ＬＩＳＴ０におけるｉ番目のカメラの平行移動ベクトルのｊ番目の成分の符号が正であることを示す。０に等しいｓｉｇｎ＿ｌ０＿ｔ［ｉ］［ｊ］は、符号が負であることを示す。
【０１２３】
ｅｘｐｏｎｅｎｔ＿ｌ０＿ｔ［ｉ］［ｊ］は、ＬＩＳＴ０におけるｉ番目のカメラの平行移動ベクトルのｊ番目の成分の指数部分を指定する。
【０１２４】
ｍａｎｔｉｓｓａ＿ｌ０＿ｔ［ｉ］［ｊ］は、ＬＩＳＴ０におけるｉ番目のカメラの平行移動ベクトルのｊ番目の成分の仮数部分を指定する。ｍａｎｔｉｓｓａ＿ｌ０＿ｔ［ｉ］［ｊ］構文要素のサイズは、以下で指定されるように決定される。
【０１２５】
表６は、ｉ番目のカメラの平行移動ベクトルｔ（ｉ）を示す。
【０１２６】
【表８】
【０１２７】
内部行列及び回転行列の成分、及び平行移動ベクトルは、ＩＥＥＥ７５４標準に似た方法で次のように取得される。
【０１２８】
Ｉｆ Ｅ＝６３ ａｎｄ Ｍ ｉｓ ｎｏｎ−ｚｅｒｏ，ｔｈｅｎ Ｘ ｉｓ ｎｏｔ ａ ｎｕｍｂｅｒ．
Ｉｆ Ｅ＝６３ ａｎｄ Ｍ＝０，ｔｈｅｎ Ｘ＝（−１）S・∞．
Ｉｆ ０＜Ｅ＜６３，ｔｈｅｎ Ｘ＝（−１）S・２E-31・（１．Ｍ）．
Ｉｆ Ｅ＝０ ａｎｄ Ｍ ｉｓ ｎｏｎ−ｚｅｒｏ，ｔｈｅｎ Ｘ＝（−１）S・２-30・（０．Ｍ）．
Ｉｆ Ｅ＝０ ａｎｄ Ｍ＝０，ｔｈｅｎ Ｘ＝（−１）S・０．
式中、Ｍ＝ｂｉｎ２ｆｌｏａｔ（Ｎ）、０≦Ｍ＜１であり、Ｘ、ｓ、Ｎ及びＥのそれぞれが表７の第１の列、第２の列、第３の列、及び第４の列に対応する。分数の２値表現を対応する浮動小数点数に変換する関数ｂｉｎ２ｆｌｏａｔ（）のｃスタイルの記述については以下を参照されたい。
【０１２９】
【表９】
【０１３０】
表８に、分数Ｎ（０≦Ｎ＜１）の２値表現を対応する浮動小数点数Ｍに変換するＭ＝ｂｉｎ２ｆｌｏａｔ（Ｎ）のｃによる実装の一例が示されている。
【０１３１】
【表１０】
【０１３２】
仮数構文要素のサイズｖは、以下のように決定される。
【０１３３】
ｖ＝ｍａｘ（０，−３０＋Ｐｒｅｃｉｓｉｏｎ＿Ｓｙｎｔａｘ＿Ｅｌｅｍｅｎｔ），ｉｆ Ｅ＝０．
ｖ＝ｍａｘ（０，Ｅ−３１＋Ｐｒｅｃｉｓｉｏｎ＿Ｓｙｎｔａｘ＿Ｅｌｅｍｅｎｔ），ｉｆ ０＜Ｅ＜６３．
ｖ＝０，ｉｆ Ｅ＝３１，
仮数構文要素及びその対応するＥ及びＰｒｅｃｉｓｉｏｎ＿Ｓｙｎｔａｘ＿Ｅｌｅｍｅｎｔが表９に示されている。
【０１３４】
【表１１】
【０１３５】
「ｌ１」の構文要素については、「ｌ０」の構文のセマンティクスにおいて、ＬＩＳＴ０をＬＩＳＴ１に置き換える。
【０１３６】
実施形態３：
別の実施形態において、以下の通り仮想ビューを連続的に改良することができる。
【０１３７】
まず、ビュー１とビュー５との間にビュー１からのｔ１の距離で仮想ビューを生成する。３Ｄワーピング後、穴が埋められて、最終的な仮想ビューを位置Ｐ（ｔ１）に生成する。次いで、仮想カメラ位置Ｖ（ｔ１）においてビュー１の奥行き信号をワープし、奥行き信号の穴を埋め、任意の他の必要な後処理ステップを行うことができる。実装では、ワープ済みの奥行きデータを使用して、ワープ済みのビューを生成することもできる。
【０１３８】
この後、Ｖ（ｔ１）と同じ方法で、Ｖ（ｔ１）における仮想ビューとビュー５との間に、Ｖ（ｔ１）からｔ２の距離で別の仮想ビューを生成することができる。これは、図１３に示されている。図１３は、本原理の一実施形態による、本原理を適用することができる連続仮想ビュー生成器１３００の例を示す。仮想ビュー生成器１３００は、第１のビュー合成・穴埋め器１３１０及び第２のビュー合成・穴埋め器１３２０を含む。この例において、ビュー５は、符号化されるビューを表し、ビュー１は、（例えば、ビュー５または他の何らかのビューの符号化に使用される）使用可能な参照ビューを表す。この例において、２つのカメラの間の中間点を中間位置として使用することを選択した。したがって、第１のステップにおいて、ｔ１は、Ｄ／２として選択され、仮想ビューは、第１のビュー合成・穴埋め器１３１０による穴埋めの後、Ｖ（Ｄ／２）として生成される。その後、第２のビュー合成・穴埋め器１３２０によって、Ｖ（Ｄ／２）及びＶ５を使用して、別の中間ビューが位置３Ｄ／４に生成される。次いでこの仮想ビューＶ（３Ｄ／４）を参照リスト１３３０に追加することができる。
【０１３９】
同様に、品質基準が満たされるまで、必要に応じてより多くの仮想ビューを生成することができる。品質尺度の例は、仮想ビューと予測されるビュー、例えばビュー５との間の予測誤差とすることができる。次いで、最終的な仮想ビューを、ビュー５の参照として使用することができる。適当な参照リスト配列構文を使用することによって、すべての中間ビューを参照として追加することもできる。
【０１４０】
図１４は、本原理の更に別の実施形態による、仮想参照ビューを符号化するための方法１４００のフロー図を示す。ステップ１４１０で、ビューｉについての符号器構成ファイルが読み取られる。ステップ１４１５で、複数の位置において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１４２０に渡される。そうでない場合、制御はステップ１４２５に渡される。ステップ１４２０で、連続改良によって、参照ビューから複数の位置でビュー合成が行われる。ステップ１４２５で、現在のビュー位置において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１４３０に渡される。そうでない場合、制御はステップ１４３５に渡される。ステップ１４３０で、現在のビュー位置でビュー合成が行われる。ステップ１４３５で、参照リストが生成される。ステップ１４４０で、現在のピクチャが符号化される。ステップ１４４５で、参照リスト再配列コマンドが送信される。ステップ１４５０で、仮想ビュー生成コマンドが送信される。ステップ１４５５で、現在のビューの符号化が行われるかどうかが判定される。符号化が行われる場合、この方法は終了する。そうでない場合、制御はステップ１４６０に渡される。ステップ１４６０で、方法は、次のピクチャに進んで符号化を行い、ステップ１４０５に戻る。
【０１４１】
図１５は、本原理の更に別の実施形態による、仮想参照ビューを復号するための方法１５００のフロー図を示す。ステップ１５０５で、ビットストリームが構文解析される。ステップ１５１０で、参照リスト再配列コマンドが構文解析される。ステップ１５１５で、存在する場合、仮想ビュー情報が構文解析される。ステップ１５２０で、複数の位置において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１５２５に渡される。そうでない場合、制御はステップ１５３０に渡される。ステップ１５２５で、連続改良によって、参照ビューから複数の位置でビュー合成が行われる。ステップ１５３０で、現在のビュー位置において仮想参照を生成すべきかどうかが判定される。生成すべきである場合、制御はステップ１５３５に渡される。そうでない場合、制御はステップ１５４０に渡される。ステップ１５３５で、現在のビュー位置でビュー合成が行われる。ステップ１５４０で、参照リストが生成される。ステップ１５４５で、現在のピクチャが復号される。ステップ１５５０で、現在のビューの復号が行われるかどうかが判定される。復号が行われる場合、この方法は終了する。そうでない場合、制御はステップ１５５５に渡される。ステップ１５５５で、方法は、次のピクチャに進んで復号を行い、ステップ１５０５に戻る。
【０１４２】
理解できるように、この実施形態と実施形態１との間の相違は、符号器において、単に「ｔ」における単一の仮想ビューの代わりに、連続改良によって位置ｔ１、ｔ２、ｔ３で幾つかの仮想ビューを生成できることである。次いで、これらすべての仮想ビュー、または例えば最高の仮想ビューを最終的な参照リストに入れることができる。復号器において、参照リスト再配列構文は、仮想ビューを幾つの位置で生成する必要があるかを示す。これらは次いで、復号の前に参照リストに入れられる。
【０１４３】
このように様々な実装が提供される。これらの実装に含まれるのは、例えば、以下の利点／特徴のうちの１つまたは複数を含む実装である。
【０１４４】
１．少なくとも１つの他のビューから仮想ビューを生成し、仮想ビューを参照ビューとして符号化に使用する。
【０１４５】
２．少なくとも第１の仮想ビューから第２の仮想ビューを生成する。
【０１４６】
２ａ．（本明細書においてすぐ上に記載した項目２の）第２の仮想ビューを参照ビューとして符号化に使用する。
【０１４７】
２ｂ．３Ｄの応用分野における（２の）第２の仮想ビューを生成する。
【０１４８】
２ｅ．（２の）少なくとも第２の仮想ビューから第３の仮想ビューを生成する。
【０１４９】
２ｆ．カメラ位置（または既存の「ビュー」位置）で（２の）第２の仮想ビューを生成する。
【０１５０】
３．２つの既存のビューの間に複数の仮想ビューを生成し、複数の仮想ビューの前のものに基づいて複数の仮想ビューのうちの連続するものを生成する。
【０１５１】
３ａ．生成される連続ビューごとに品質基準が向上するように、（３の）連続仮想ビューを生成する。
【０１５２】
３ｂ．仮想ビューと予想されている２つの既存のビューのうちの一方との間の予測誤差（または残余）の尺度である（３における）品質基準を使用する。
【０１５３】
これらの実装のうちの幾つかは、復号が行われた後、ある応用分野（３Ｄの応用分野など）において仮想ビューを生成するのではなく（またはそれに加えて）、仮想ビューが符号器で生成されるという特徴を含む。更に、本明細書に記載した実装及び特徴は、ＭＰＥＧ−４ ＡＶＣ標準、ＭＰＥＧ−４ ＡＶＣ標準のＭＶＣ（マルチビュー映像符号化）拡張、またはＭＰＥＧ−４ ＡＶＣ標準のＳＶＣ（スケーラブル映像符号化）拡張の文脈で使用することができる。しかし、これらの実装及び特徴は、（既存のまたは将来の）別の標準及び／または勧告の文脈で、または標準及び／または勧告を伴わない文脈で使用することができる。したがって、特定の特徴及び態様を有する１つまたは複数の実装を提供する。しかし、記載した実装の特徴及び態様を、他の実装に適合させることもできる。
【０１５４】
実装は、それだけには限定されないが、スライスヘッダ、ＳＥＩメッセージ、他の高レベル構文、非高レベル構文、帯域外情報、データストリームデータ、及び黙示のシグナリングを含む様々な技術を使用して情報をシグナリングすることができる。したがって、本明細書に記載した実装は、特定の文脈で説明することができるが、こうした説明は、特徴及び概念を決してこうした実装または文脈に限定するものとみなされないものとする。
【０１５５】
したがって、特定の特徴及び態様を有する１つまたは複数の実装を提供する。しかし、記載した実装の特徴及び態様は、他の実装に適合させることもできる。実装は、それだけには限定されないが、ＳＥＩメッセージ、他の高レベル構文、非高レベル構文、帯域外情報、データストリームデータ、及び黙示のシグナリングを含む様々な技術を使用して情報をシグナリングすることができる。したがって、本明細書に記載した実装は、特定の文脈で説明することができるが、こうした説明は、特徴及び概念を決してこうした実装または文脈に限定するものとみなされないものとする。
【０１５６】
更に、多くの実装を、符号器及び復号器のいずれかまたは両方において実施することができる。
【０１５７】
特許請求の範囲を含めて、本明細書における「アクセスする」についての言及は、一般的であるものとする。例えば、１つのデータに「アクセスする」ことは、例えば、１つのデータを受信する、送信する、格納する、伝送する、または処理する過程において実行することができる。したがって、例えば、画像は通常、メモリに格納されるとき、メモリから取り出されるとき、符号化されるとき、復号されるとき、または新しい画像を合成するための基礎として使用されるときにアクセスされる。
【０１５８】
本明細書における基準画像が別の画像（例えば合成画像）に「基づく」についての言及によって、参照画像を（さらなる処理が行われることなく）他の画像と等しくする、または他の画像を処理することによって参照画像を作成することができる。例えば、参照画像は、第１の合成画像と等しくなるように設定し、更に、第１の合成画像に「基づかせる」ことができる。また、参照画像は、第１の合成画像のさらなる合成であることによって第１の合成画像に「基づかせる」ことができ、仮想位置を新しい位置に移動させることができる（上述したように、例えば、追加的な合成の実装において）。
【０１５９】
本明細書における本原理の「一実施形態」、または「一実装形態」、及びその他の変形についての言及は、実施形態との関連で記載した特定の特徴、構造、特性などが本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書にわたって様々な場所に記載される「一実施形態において」、または「一実装形態において」という句及び他の任意の変形の記載は、必ずしもすべてが同じ実施形態を指すとは限らない。
【０１６０】
例えば「Ａ／Ｂ」、「Ａ及び／またはＢ」並びに「Ａ及びＢのうちの少なくとも１つ」の場合など、次の「／」、「及び／または」並びに「のうちの少なくとも１つ」のうちの任意のものの使用は、最初に列挙された選択肢（Ａ）のみの選択、２番目に列挙された選択肢（Ｂ）のみの選択、または両方の選択肢（Ａ及びＢ）の選択を含むものとすることを理解されたい。別の例として、「Ａ、Ｂ、及び／またはＣ」並びに「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合において、こうした言い回しは、最初に列挙された選択肢（Ａ）のみの選択、２番目に列挙された選択肢（Ｂ）のみの選択、３番目に列挙された選択肢（Ｃ）のみの選択、最初及び２番目に列挙された選択肢（Ａ及びＢ）のみの選択、最初及び３番目に列挙された選択肢（Ａ及びＣ）のみの選択、２番目及び３番目に列挙された選択肢（Ｂ及びＣ）のみの選択、または３つすべての選択肢（Ａ、Ｂ及びＣ）の選択を含むものとする。これは、当業者によって容易に理解できるように、列挙された項目数だけ拡張することができる。
【０１６１】
本明細書に記載した実装は、例えば、方法またはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号において実施することができる。単一の形の実装の文脈でのみ説明されている場合でさえ（例えば、方法としてのみ説明される）、記載した特徴の実装は、他の形（例えば、装置またはプログラム）で実施することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアに実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理装置を含めて、例えば、一般的な処理装置を指す、例えば、プロセッサなどの装置において実施することができる。また、プロセッサは、例えば、コンピュータ、携帯電話、ＰＤＡ（ポータブル／パーソナルデジタルアシスタント）、及びエンドユーザ間の情報の通信を容易にする他の装置などの通信装置も含む。
【０１６２】
本明細書に記載した様々なプロセス及び特徴の実装は、特に、例えば、データ符号化及び復号に関連付けられる機器またはアプリケーションなど、異なる様々な機器またはアプリケーションに組み込むことができる。こうした機器の例には、符号器、復号器、復号器からの出力を処理する後処理機、符号器への入力を提供する前処理機、映像符号器、映像復号器、映像コーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信装置を含む。明らかであるように、機器は、モバイルであってもよく、自動車にインストールされていてもよい。
【０１６３】
更に、方法は、命令がプロセッサによって実行されることによって実施することができ、こうした命令（及び／又は実装によって生成されるデータ値）は、例えば、集積回路、ソフトウェア搬送波、又は他の記憶装置、例えば、ハードディスク、コンパクトディスク、「ＲＡＭ」（ランダムアクセスメモリ）、又は「ＲＯＭ」（読み取り専用メモリ）などのプロセッサ可読媒体に格納することができる。命令は、プロセッサ可読媒体に有形に組み込まれるアプリケーションプログラムを形成することができる。例えば、命令は、ハードウェア、ファームウェア、ソフトウェア、又はその組み合わせにあってもよい。命令は、例えば、オペレーティングシステム、個別のアプリケーション、又はその２つの組み合わせにおいて見つけることができる。したがって、プロセッサは、例えば、プロセスを実行するように構成された装置、及びプロセスを実行するための命令を有する（記憶装置など）プロセッサ可読媒体を含む装置の両方として特徴付けることができる。更に、プロセッサ可読媒体は、命令に加えてまたは命令に代えて、一実装によって生成されるデータ値を格納することができる。
【０１６４】
当業者には明らかなように、実装は、例えば格納または送信することができる情報を運ぶようにフォーマットされた様々な信号を生成することができる。情報は、例えば、記述した実装のうちの１つによって生成される方法またはデータを実行するための命令を含むことができる。例えば、信号は、記述した実施形態の文脈を書き込み、または読み出すためのルールをデータとして運ぶために、または記載した実施形態によって書かれる実際の構文値をデータとして運ぶためにフォーマットすることができる。こうした信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、または帯域幅信号としてフォーマットすることができる。フォーマットは、例えば、データストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含み得る。信号が運ぶ情報は、例えば、アナログまたはデジタルの情報とすることができる。信号は、知られているように、様々な異なる有線または無線のリンクを介して送信することができる。信号は、プロセッサ可読媒体に格納され得る。
【０１６５】
幾つかの実装について説明してきた。それにもかかわらず、様々な修正を加えることができることは理解されよう。例えば、異なる実装の要素を組み込み、補い、修正し、または削除して、他の実装を生成することができる。更に、他の構造及びプロセスを、開示されたものと置き換え、結果として得られた実装は、開示した実装と少なくとも実質的に同じ機能を少なくとも実質的に同じ方法で実行して、少なくとも実質的に同じ結果を達成することを当業者であれば理解されよう。したがって、これら及び他の実装は、本出願によって企図され、添付の特許請求の範囲内に含まれる。
【特許請求の範囲】
【請求項１】
第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスするステップと、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す参照画像にアクセスするステップであって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、ステップと、
第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスするステップであって、前記第２のビュー画像は、前記参照画像に基づいて符号化されている、ステップと、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するステップと
を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、さらに、
前記参照画像を合成するステップを含むことを特徴とする方法。
【請求項３】
請求項１に記載の方法において、さらに、
前記参照画像を符号化し送信するステップを含むことを特徴とする方法。
【請求項４】
請求項１に記載の方法において、さらに、
前記参照画像を受信するステップを含むことを特徴とする方法。
【請求項５】
請求項１に記載の方法において、
前記参照画像は、オリジナルの参照画像の再構築であることを特徴とする方法。
【請求項６】
請求項１に記載の方法において、さらに、
複数のビューのうちのどのビューが前記参照画像の前記仮想ビューの位置に対応するかを示す制御情報を受信するステップを含むことを特徴とする方法。
【請求項７】
請求項６に記載の方法において、さらに、
前記第１のビュー画像および前記第２のビュー画像を受信するステップを含むことを特徴とする方法。
【請求項８】
請求項１に記載の方法において、さらに、
前記第１のビュー画像および前記第２のビュー画像を送信するステップを含むことを特徴とする方法。
【請求項９】
請求項１に記載の方法において、
前記第１のビュー画像はオリジナルの第１のビュー画像の再構築されたバージョンを含むことを特徴とする方法。
【請求項１０】
請求項１に記載の方法において、
前記参照画像は前記第１のビュー画像から合成された仮想画像であることを特徴とする方法。
【請求項１１】
請求項１に記載の方法において、
前記参照画像は前記合成画像であることを特徴とする方法。
【請求項１２】
請求項１に記載の方法において、
前記参照画像は前記合成画像から合成された別の個別の合成画像であり、前記参照画像は、前記第１のビュー画像と前記第２のビュー画像との間の位置または前記第２のビュー画像のある位置にあることを特徴とする方法。
【請求項１３】
請求項１に記載の方法において、
前記参照画像は、まず前記第１のビュー位置と前記第２のビュー位置の間の位置において前記第１のビュー画像の合成を生成し、次いでその結果を使用して前記第２のビュー位置により近い別の画像を合成することによって追加的に合成されていることを特徴とする方法。
【請求項１４】
請求項１に記載の方法において、さらに、
前記復号された第２のビュー画像を使用して、次の画像を符号器で符号化するステップを含むことを特徴とする方法。
【請求項１５】
請求項１に記載の方法において、さらに、
前記復号された第２のビュー画像を使用して、次の画像を復号器で復号するステップを含むことを特徴とする方法。
【請求項１６】
第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスするための手段と、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す参照画像にアクセスするための手段であって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、手段と、
第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスするための手段であって、前記第２のビュー画像は、前記参照画像に基づいて符号化されている、手段と、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するための手段と
を備えたことを特徴とする装置。
【請求項１７】
請求項１６に記載の装置において、
映像符号器および映像復号器のうちの少なくとも一方に実装されることを特徴とする装置。
【請求項１８】
少なくとも、
第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスするステップと、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す参照画像にアクセスするステップであって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、ステップと、
第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスするステップであって、前記第２のビュー画像は、前記参照画像に基づいて符号化されている、ステップと、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するステップと
をプロセッサに実行させることを特徴とする命令を格納したプロセッサ可読媒体。
【請求項１９】
少なくとも、
第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスするステップと、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す参照画像にアクセスするステップであって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、ステップと、
第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスするステップであって、前記第２のビュー画像は、前記参照画像に基づいて符号化されている、ステップと、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するステップと
を実行するように構成されたプロセッサを備えたことを特徴とする装置。
【請求項２０】
（１）第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスし、（２）第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスするためのアクセスユニットであって、前記第２のビュー画像が参照画像に基づいて符号化されている、アクセスユニットと、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す参照画像にアクセスするための記憶装置であって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、記憶装置と、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するための復号ユニットと
を備えたことを特徴とする装置。
【請求項２１】
請求項２０に記載の装置において、
前記アクセスユニットは、符号化ユニット、ビットストリームパーサを備えたことを特徴とする装置。
【請求項２２】
第１のビュー位置に対応する第１のビュー画像についての符号化映像情報を含む第１のビュー部分と、
第２のビュー位置に対応する第２のビュー画像についての符号化映像情報を含む第２のビュー部分であって、前記第２のビュー画像は、参照画像に基づいて符号化されている、第２のビュー部分と、
前記参照画像を示す符号化情報を含む参照部分であって、前記参照画像は、前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表し、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、参照部分と、
を含むことを特徴とする情報を含むようにフォーマットされた映像信号。
【請求項２３】
請求項２２に記載の映像信号において、
前記参照画像を示す前記符号化情報は、前記参照画像を合成する際に復号器によって使用するための前記参照画像の前記仮想ビュー位置を示す制御情報を含むことを特徴とする映像信号。
【請求項２４】
請求項２２に記載の映像信号において、
前記参照画像を示す前記符号化情報は前記参照画像の符号化を含むことを特徴とする映像信号。
【請求項２５】
第１のビュー位置に対応する第１のビュー画像の符号化映像情報についての第１のビュー部分と、
第２のビュー位置に対応する第２のビュー画像の符号化映像情報についての第２のビュー部分であって、前記第２のビュー画像は、参照画像に基づいて符号化されている、第２のビュー部分と、
前記参照画像を示す符号化情報についての参照部分であって、前記参照画像は、前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表し、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、参照部分と、
を含むことを特徴とする映像信号構造。
【請求項２６】
請求項２５に記載の映像信号構造において、
前記参照部分は前記参照画像のビュー位置を示す符号化情報についてのものであることを特徴とする映像信号構造。
【請求項２７】
第１のビュー位置に対応する第１のビュー画像についての符号化映像情報を含む第１のビュー部分と、
第２のビュー位置に対応する第２のビュー画像についての符号化映像情報を含む第２のビュー部分であって、前記第２のビュー画像は、参照画像に基づいて符号化されている、第２のビュー部分と、
前記参照画像を示す符号化情報を含む参照部分であって、前記参照画像は、前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表し、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、参照部分と
を含むことを特徴とする映像信号構造を格納したプロセッサ可読媒体。
【請求項２８】
（１）第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスし、（２）第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスするためのアクセスユニットであって、前記第２のビュー画像が参照画像に基づいて符号化されている、アクセスユニットと、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す前記参照画像にアクセスするための記憶装置であって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、記憶装置と、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するための復号ユニットと、
前記第１のビュー画像および前記第２のビュー画像を含む信号を変調するための変調器と
を備えたことを特徴とする装置。
【請求項２９】
信号を受信し、復調するための復調器であって、前記信号は、第１のビュー位置に対応する第１のビュー画像についての符号化映像情報を含み、第２のビュー位置に対応する第２のビュー画像についての符号化映像情報を含み、前記第２のビュー画像が参照画像に基づいて符号化されている、復調器と、
前記第１のビュー画像についての前記符号化映像情報および前記第２のビュー画像についての前記符号化映像情報にアクセスするためのアクセスユニットと、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す前記参照画像にアクセスするための記憶装置であって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、記憶装置と、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するための復号ユニットと
を備えたことを特徴とする装置。
【請求項３０】
請求項２９に記載の装置において、さらに、
前記参照画像を合成するための映像合成器を備えたことを特徴とする装置。
【請求項３１】
第１のビュー位置に対応する第１のビュー画像にアクセスするステップと、
前記第１のビュー位置とは異なる仮想ビュー位置についての仮想画像を、前記第１のビュー画像に基づいて合成するステップと、
第２のビュー位置に対応する第２のビュー画像を前記仮想画像に基づく参照画像を使用して符号化するステップであって、前記第２のビュー位置は仮想ビュー位置とは異なり、前記符号化は符号化された第２のビュー画像を生成する、ステップと
を含むことを特徴とする方法。
【請求項３２】
請求項３１に記載の方法において、
前記参照画像は前記仮想画像であることを特徴とする方法。
【請求項３３】
第１のビュー位置に対応する第１のビュー画像にアクセスするための手段と、
前記第１のビュー位置とは異なる仮想ビュー位置についての仮想画像を、前記第１のビュー画像に基づいて合成するための手段と、
第２のビュー位置に対応する第２のビュー画像を仮想画像に基づく参照画像を使用して符号化するための手段であって、前記第２のビュー位置は仮想ビュー位置とは異なり、前記符号化は符号化された第２のビュー画像を生成する、手段と
を備えたことを特徴とする装置。
【請求項３４】
第１のビュー位置に対応する第１のビュー画像にアクセスし、第２のビュー位置に対応する第２のビュー画像を仮想画像に基づく参照画像を使用して符号化するための符号化ユニットであって、前記第２のビュー位置は仮想ビュー位置とは異なり、前記符号化は符号化された第２のビュー画像を生成する、符号化ユニットと、
前記第１のビュー画像に基づいて、前記第１のビュー位置および前記第２のビュー位置とは異なる仮想ビュー位置について前記仮想画像を合成するためのビュー合成器と
を備えたことを特徴とする装置。
【請求項３５】
第１のビュー位置に対応する第１のビュー画像にアクセスし、第２のビュー位置に対応する第２のビュー画像を仮想画像に基づく参照画像を使用して符号化するための符号化ユニットであって、前記第２のビュー位置は仮想ビュー位置とは異なり、前記符号化は符号化された第２のビュー画像を生成する、符号化ユニットと、
前記第１のビュー画像に基づいて、前記第１のビュー位置および前記第２のビュー位置とは異なる仮想ビュー位置について前記仮想画像を合成するためのビュー合成器と
前記符号化された第２のビュー画像を含む信号を変調するための変調器と
を備えたことを特徴とする装置。
【請求項１】
第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスするステップと、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す参照画像にアクセスするステップであって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、ステップと、
第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスするステップであって、前記第２のビュー画像は、前記参照画像に基づいて符号化されている、ステップと、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するステップと
を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、さらに、
前記参照画像を合成するステップを含むことを特徴とする方法。
【請求項３】
請求項１に記載の方法において、さらに、
前記参照画像を符号化し送信するステップを含むことを特徴とする方法。
【請求項４】
請求項１に記載の方法において、さらに、
前記参照画像を受信するステップを含むことを特徴とする方法。
【請求項５】
請求項１に記載の方法において、
前記参照画像は、オリジナルの参照画像の再構築であることを特徴とする方法。
【請求項６】
請求項１に記載の方法において、さらに、
複数のビューのうちのどのビューが前記参照画像の前記仮想ビューの位置に対応するかを示す制御情報を受信するステップを含むことを特徴とする方法。
【請求項７】
請求項６に記載の方法において、さらに、
前記第１のビュー画像および前記第２のビュー画像を受信するステップを含むことを特徴とする方法。
【請求項８】
請求項１に記載の方法において、さらに、
前記第１のビュー画像および前記第２のビュー画像を送信するステップを含むことを特徴とする方法。
【請求項９】
請求項１に記載の方法において、
前記第１のビュー画像はオリジナルの第１のビュー画像の再構築されたバージョンを含むことを特徴とする方法。
【請求項１０】
請求項１に記載の方法において、
前記参照画像は前記第１のビュー画像から合成された仮想画像であることを特徴とする方法。
【請求項１１】
請求項１に記載の方法において、
前記参照画像は前記合成画像であることを特徴とする方法。
【請求項１２】
請求項１に記載の方法において、
前記参照画像は前記合成画像から合成された別の個別の合成画像であり、前記参照画像は、前記第１のビュー画像と前記第２のビュー画像との間の位置または前記第２のビュー画像のある位置にあることを特徴とする方法。
【請求項１３】
請求項１に記載の方法において、
前記参照画像は、まず前記第１のビュー位置と前記第２のビュー位置の間の位置において前記第１のビュー画像の合成を生成し、次いでその結果を使用して前記第２のビュー位置により近い別の画像を合成することによって追加的に合成されていることを特徴とする方法。
【請求項１４】
請求項１に記載の方法において、さらに、
前記復号された第２のビュー画像を使用して、次の画像を符号器で符号化するステップを含むことを特徴とする方法。
【請求項１５】
請求項１に記載の方法において、さらに、
前記復号された第２のビュー画像を使用して、次の画像を復号器で復号するステップを含むことを特徴とする方法。
【請求項１６】
第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスするための手段と、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す参照画像にアクセスするための手段であって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、手段と、
第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスするための手段であって、前記第２のビュー画像は、前記参照画像に基づいて符号化されている、手段と、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するための手段と
を備えたことを特徴とする装置。
【請求項１７】
請求項１６に記載の装置において、
映像符号器および映像復号器のうちの少なくとも一方に実装されることを特徴とする装置。
【請求項１８】
少なくとも、
第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスするステップと、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す参照画像にアクセスするステップであって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、ステップと、
第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスするステップであって、前記第２のビュー画像は、前記参照画像に基づいて符号化されている、ステップと、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するステップと
をプロセッサに実行させることを特徴とする命令を格納したプロセッサ可読媒体。
【請求項１９】
少なくとも、
第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスするステップと、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す参照画像にアクセスするステップであって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、ステップと、
第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスするステップであって、前記第２のビュー画像は、前記参照画像に基づいて符号化されている、ステップと、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するステップと
を実行するように構成されたプロセッサを備えたことを特徴とする装置。
【請求項２０】
（１）第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスし、（２）第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスするためのアクセスユニットであって、前記第２のビュー画像が参照画像に基づいて符号化されている、アクセスユニットと、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す参照画像にアクセスするための記憶装置であって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、記憶装置と、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するための復号ユニットと
を備えたことを特徴とする装置。
【請求項２１】
請求項２０に記載の装置において、
前記アクセスユニットは、符号化ユニット、ビットストリームパーサを備えたことを特徴とする装置。
【請求項２２】
第１のビュー位置に対応する第１のビュー画像についての符号化映像情報を含む第１のビュー部分と、
第２のビュー位置に対応する第２のビュー画像についての符号化映像情報を含む第２のビュー部分であって、前記第２のビュー画像は、参照画像に基づいて符号化されている、第２のビュー部分と、
前記参照画像を示す符号化情報を含む参照部分であって、前記参照画像は、前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表し、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、参照部分と、
を含むことを特徴とする情報を含むようにフォーマットされた映像信号。
【請求項２３】
請求項２２に記載の映像信号において、
前記参照画像を示す前記符号化情報は、前記参照画像を合成する際に復号器によって使用するための前記参照画像の前記仮想ビュー位置を示す制御情報を含むことを特徴とする映像信号。
【請求項２４】
請求項２２に記載の映像信号において、
前記参照画像を示す前記符号化情報は前記参照画像の符号化を含むことを特徴とする映像信号。
【請求項２５】
第１のビュー位置に対応する第１のビュー画像の符号化映像情報についての第１のビュー部分と、
第２のビュー位置に対応する第２のビュー画像の符号化映像情報についての第２のビュー部分であって、前記第２のビュー画像は、参照画像に基づいて符号化されている、第２のビュー部分と、
前記参照画像を示す符号化情報についての参照部分であって、前記参照画像は、前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表し、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、参照部分と、
を含むことを特徴とする映像信号構造。
【請求項２６】
請求項２５に記載の映像信号構造において、
前記参照部分は前記参照画像のビュー位置を示す符号化情報についてのものであることを特徴とする映像信号構造。
【請求項２７】
第１のビュー位置に対応する第１のビュー画像についての符号化映像情報を含む第１のビュー部分と、
第２のビュー位置に対応する第２のビュー画像についての符号化映像情報を含む第２のビュー部分であって、前記第２のビュー画像は、参照画像に基づいて符号化されている、第２のビュー部分と、
前記参照画像を示す符号化情報を含む参照部分であって、前記参照画像は、前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表し、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、参照部分と
を含むことを特徴とする映像信号構造を格納したプロセッサ可読媒体。
【請求項２８】
（１）第１のビュー位置に対応する第１のビュー画像についての符号化映像情報にアクセスし、（２）第２のビュー位置に対応する第２のビュー画像についての符号化映像情報にアクセスするためのアクセスユニットであって、前記第２のビュー画像が参照画像に基づいて符号化されている、アクセスユニットと、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す前記参照画像にアクセスするための記憶装置であって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、記憶装置と、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するための復号ユニットと、
前記第１のビュー画像および前記第２のビュー画像を含む信号を変調するための変調器と
を備えたことを特徴とする装置。
【請求項２９】
信号を受信し、復調するための復調器であって、前記信号は、第１のビュー位置に対応する第１のビュー画像についての符号化映像情報を含み、第２のビュー位置に対応する第２のビュー画像についての符号化映像情報を含み、前記第２のビュー画像が参照画像に基づいて符号化されている、復調器と、
前記第１のビュー画像についての前記符号化映像情報および前記第２のビュー画像についての前記符号化映像情報にアクセスするためのアクセスユニットと、
前記第１のビュー位置とは異なる仮想ビュー位置からの前記第１のビュー画像を表す前記参照画像にアクセスするための記憶装置であって、前記参照画像は、前記第１のビュー位置と前記第２のビュー位置の間の位置についての合成画像に基づいている、記憶装置と、
前記第２のビュー画像および前記参照画像についての前記符号化映像情報を使用して前記第２のビュー画像を復号して、復号済みの第２のビュー画像を生成するための復号ユニットと
を備えたことを特徴とする装置。
【請求項３０】
請求項２９に記載の装置において、さらに、
前記参照画像を合成するための映像合成器を備えたことを特徴とする装置。
【請求項３１】
第１のビュー位置に対応する第１のビュー画像にアクセスするステップと、
前記第１のビュー位置とは異なる仮想ビュー位置についての仮想画像を、前記第１のビュー画像に基づいて合成するステップと、
第２のビュー位置に対応する第２のビュー画像を前記仮想画像に基づく参照画像を使用して符号化するステップであって、前記第２のビュー位置は仮想ビュー位置とは異なり、前記符号化は符号化された第２のビュー画像を生成する、ステップと
を含むことを特徴とする方法。
【請求項３２】
請求項３１に記載の方法において、
前記参照画像は前記仮想画像であることを特徴とする方法。
【請求項３３】
第１のビュー位置に対応する第１のビュー画像にアクセスするための手段と、
前記第１のビュー位置とは異なる仮想ビュー位置についての仮想画像を、前記第１のビュー画像に基づいて合成するための手段と、
第２のビュー位置に対応する第２のビュー画像を仮想画像に基づく参照画像を使用して符号化するための手段であって、前記第２のビュー位置は仮想ビュー位置とは異なり、前記符号化は符号化された第２のビュー画像を生成する、手段と
を備えたことを特徴とする装置。
【請求項３４】
第１のビュー位置に対応する第１のビュー画像にアクセスし、第２のビュー位置に対応する第２のビュー画像を仮想画像に基づく参照画像を使用して符号化するための符号化ユニットであって、前記第２のビュー位置は仮想ビュー位置とは異なり、前記符号化は符号化された第２のビュー画像を生成する、符号化ユニットと、
前記第１のビュー画像に基づいて、前記第１のビュー位置および前記第２のビュー位置とは異なる仮想ビュー位置について前記仮想画像を合成するためのビュー合成器と
を備えたことを特徴とする装置。
【請求項３５】
第１のビュー位置に対応する第１のビュー画像にアクセスし、第２のビュー位置に対応する第２のビュー画像を仮想画像に基づく参照画像を使用して符号化するための符号化ユニットであって、前記第２のビュー位置は仮想ビュー位置とは異なり、前記符号化は符号化された第２のビュー画像を生成する、符号化ユニットと、
前記第１のビュー画像に基づいて、前記第１のビュー位置および前記第２のビュー位置とは異なる仮想ビュー位置について前記仮想画像を合成するためのビュー合成器と
前記符号化された第２のビュー画像を含む信号を変調するための変調器と
を備えたことを特徴とする装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公表番号】特表２０１１−５１９０７８（Ｐ２０１１−５１９０７８Ａ）
【公表日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２０１０−５４９６５１（Ｐ２０１０−５４９６５１）
【出願日】平成２１年３月３日（２００９．３．３）
【国際出願番号】ＰＣＴ／ＵＳ２００９／００１３４７
【国際公開番号】ＷＯ２００９／１１１００７
【国際公開日】平成２１年９月１１日（２００９．９．１１）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公表日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年３月３日（２００９．３．３）
【国際出願番号】ＰＣＴ／ＵＳ２００９／００１３４７
【国際公開番号】ＷＯ２００９／１１１００７
【国際公開日】平成２１年９月１１日（２００９．９．１１）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]