多視点シーケンス符号化／復号化方法及びそのディスプレイ方法
【課題】多視点シーケンスデータを効率的に符号化及び復号化できる多視点シーケンス符号化／復号化方法及びそのディスプレイ方法を提供する。また、符号化されたデータを効率的に多視点シーケンスに復号化する装置及びその装置を用いたディスプレイ方法を提供する。
【解決手段】複数の視点から獲得した複数のピクチャーを符号化することで、ビットストリームを生成する段階を含み、前記ビットストリームは、複数のピクチャーそれぞれに対する視点情報を含み、前記視点情報は、対応するピクチャーが複数の視点のうち何れの視点に対応するかを指定する情報である多視点シーケンス符号化方法を構成する。
【解決手段】複数の視点から獲得した複数のピクチャーを符号化することで、ビットストリームを生成する段階を含み、前記ビットストリームは、複数のピクチャーそれぞれに対する視点情報を含み、前記視点情報は、対応するピクチャーが複数の視点のうち何れの視点に対応するかを指定する情報である多視点シーケンス符号化方法を構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点シーケンス符号化／復号化方法に関するもので、特に、多視点シーケンス符号化／復号化方法及びそのディスプレイ方法に関するものである。本発明は、広範囲な応用に適しており、特に、多視点シーケンスデータの符号化／復号化を行い、受信端によって要求された視点に対応する動映像を復号化するための視点選択が可能な応用に適している。
【背景技術】
【０００２】
一般的に、現在のメディアは、単純なテキスト及び２次元ビデオをディスプレイするだけでなく、人間の視覚、聴覚、触覚、嗅覚、味覚などの五感を統合的に認知し、事物や状況を正確かつ鮮明に把握できるようにする。このようなマルチメディアは、通信と結合して一層重要な意味を有するようになり、高速及び大容量の情報伝送技術が発達しながら画像電話、遠隔会議、遠隔ショッピングなどのマルチメディア通信が可能になった。
【０００３】
マルチメディア技術は、３次元信号処理技術として発展するとき、一層生動感のある力を発揮するはずである。このために、人間の生活空間を現実的かつ自然的に再現できる３次元映像処理及び通信技術の開発が必要である。
【０００４】
一方、私たちが生きている世界は、上下左右のみならず、深さ感も含む３次元世界である。したがって、人々は、平面のように感じられる２次元映像のみならず、深さ感までも感じられる立体感及び現実感のある３次元立体映像に対して多くの関心を示しており、現在、３次元映像処理技術は、通信、放送、仮想現実、教育、医療、娯楽などの多様な分野で応用されている。
【０００５】
２次元映像で３次元を表現する最も簡単な方式は、ステレオ方式である。ステレオ映像は、左右映像で構成されているので、データ量が膨大になるという問題点がある。したがって、ステレオ映像は、大容量の保存装置、ネットワーク及び高速のコンピュータシステムを要求する。また、ステレオ映像を独立的に符号化する場合、２次元映像を伝送するための帯域幅より約２倍の帯域幅が要求される。ステレオ映像を時間軸に拡張したステレオシーケンスや時間軸及び視点軸に拡張した多視点シーケンスの場合、視点数に比例してデータ量が増加し、要求される帯域幅も増加する。
【０００６】
３次元映像に対する関心が高まるにつれて、各機関、大学及び実験室などでは、３次元映像圧縮及び復元ディスプレイシステムに対する研究が行われている。
【０００７】
上記のような３次元映像システムの受信端では、多視点シーケンスを復号化してディスプレイできる３次元ディスプレイが必要である。現在開発されている３次元液晶表示装置（ＬＣＤ）モニターは、一人の観察者に立体感を提供するディスプレイであり、最近、多数の観察者に立体感及び事実感を提供できる３次元多視点ディスプレイモニターが開発中にある。
【０００８】
しかしながら、視点数が増加することで、３次元多視点シーケンスのデータ量及び演算量が増加するので、３次元多視点シーケンスを効率的に符号化及び復号化できる多視点シーケンス符号化／復号化器（ＣＯＤＥＣ）が要求される。また、使用者が保有しているディスプレイによって、受信端で特定の視点のみを復号化することも要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は上記の問題点を解決するためのもので、多視点シーケンス符号化／復号化方法及びそのディスプレイ方法に関するものである。
【００１０】
本発明の目的は、多視点シーケンスデータを効率的に符号化及び復号化できる多視点シーケンス符号化／復号化方法及びそのディスプレイ方法を提供することにある。
【００１１】
本発明の他の目的は、符号化されたデータを効率的に多視点シーケンスに復号化する装置及びその装置を用いたディスプレイ方法を提供することにある。
【００１２】
本発明の付加的な特徴及び長所は、後述する詳細な説明で明らかになるだろう。本発明の目的及び他の長所は、添付の図面のみならず、詳細な説明及び特許請求の範囲に記載された構造によって具現及び獲得される。
【課題を解決するための手段】
【００１３】
本発明の目的及び他の利点を達成するために、本発明に係る多視点シーケンス符号化方法は、複数の視点から獲得した複数のピクチャーを符号化することで、ビットストリームを生成する段階を含み、前記ビットストリームは、複数のピクチャーに対する視点情報を含み、前記視点情報は、対応するピクチャーが複数の視点のうち何れの視点に対応するかを指定する情報である。
【００１４】
本発明の目的及び他の利点を達成するために、本発明に係る多視点シーケンス符号化方法は、メーン視点に対する第１ピクチャータイプのピクチャーを符号化することで、メーンビットストリームを生成する段階と、一つ以上の補助視点に対する補助ビットストリームを生成する段階と、を含み、前記補助ビットストリームは、前記第１ピクチャータイプのピクチャーを用いて予測された第２ピクチャータイプのピクチャーを符号化することで生成され、前記補助ビットストリームは、前記第２ピクチャータイプのピクチャーに対する視点情報を含み、前記視点情報は、前記第２ピクチャータイプの対応するピクチャーが前記一つ以上の補助視点のうち何れの補助視点に対応するかを指定する情報である。
【００１５】
本発明の目的及び他の利点を達成するために、多視点シーケンス復号化方法は、複数の視点から獲得したピクチャーをそれぞれ符号化することで生成されたメーンビットストリームを受信する段階と、特定のピクチャーが前記複数の視点のうち何れに対応するかを指定する視点情報を確認する段階と、前記確認された視点情報によって、ディスプレイで特定の視点と関連したピクチャーを復号化する段階と、を含む。
【００１６】
本発明の目的及び他の利点を達成するために、多視点シーケンス復号化方法は、メーン視点から獲得したピクチャーを符号化することで生成されたメーンビットストリーム、及び複数の補助視点から獲得したピクチャーを符号化することで生成された補助ビットストリームを受信する段階と、前記メーンビットストリーム内のピクチャーを復元する段階と、前記補助ビットストリーム内に存在する視点情報によって前記メーンビットストリーム内の前記復元されたピクチャーを用いることで、ディスプレイで特定の補助視点と関連したピクチャーに対する予測復元を選択的に行う段階と、を含む。
【００１７】
本発明の目的及び他の利点を達成するために、多視点シーケンス復号化装置は、メーン視点から獲得したピクチャーを符号化することで生成されたメーンビットストリームを受信し、前記メーンビットストリーム内のピクチャーを復元するメーンビットストリーム復号化部と、複数の補助ビットストリームから獲得したピクチャーを符号化することで生成された補助ビットストリームを受信する補助ビットストリーム復号化部と、を含み、前記補助ビットストリーム復号化部は、前記補助ビットストリーム内に存在する視点情報によって前記メーンビットストリーム内の前記復元されたピクチャーを用いることで、特定の補助視点のピクチャーに対する予測復元を選択的に行う。
【００１８】
本発明の目的及び他の利点を達成するために、多視点シーケンスディスプレイ方法は、メーン視点に対応するピクチャーをディスプレイする第１ディスプレイモード、及び前記メーン視点に対応するピクチャー及び一つ以上の補助視点に対応するピクチャーを一緒にディスプレイする第２ディスプレイモードを含み、前記第１ディスプレイモードまたは前記第２ディスプレイモードが、前記ピクチャーを含むビットストリーム内に存在する視点情報によって選択される。
【００１９】
上述した説明及び後述する本発明の詳細な説明は、本発明の理解を助けるために提示された例示に過ぎなく、その範囲は、特許請求の範囲に記載された通りである。
【産業上の利用可能性】
【００２０】
本発明は、多視点シーケンスを効率的に符号化し、受信端で特定の視点のみを復号化するので、符号化／復号化を一層円滑にかつ効率的に行うことができる。
【００２１】
また、本発明は、３次元映像処理技術を採用した通信、放送、仮想現実、教育、医療及び娯楽などの多様の分野に適用される。
また、本発明の方法は、プログラムで具現され、コンピュータ可読の記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピーディスク、ハードディスク、光磁気ディスクなど）に保存される。
【図面の簡単な説明】
【００２２】
【図１】本発明に適用される多視点シーケンス符号化装置のブロック図である。
【図２】本発明によって生成された補助ビットストリームの一例を示す図である。
【図３Ａ】本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。
【図３Ｂ】本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。
【図３Ｃ】本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。
【図４Ａ】本発明に係る９視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。
【図４Ｂ】本発明に係る９視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。
【図５】本発明の一実施形態に係る多視点シーケンスディスプレイ方法の概念を説明するための概略図である。
【図６】本発明によって復号化を行うために伝送されるヘッダー情報を説明するためのビットストリームを示す図である。
【図７】本発明に係る多視点シーケンス復号化装置のブロック図である。
【図８Ａ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図８Ｂ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図８Ｃ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図８Ｄ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図８Ｅ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図９Ａ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図９Ｂ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図９Ｃ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図９Ｄ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図９Ｅ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図１０】図８Ａ乃至図８Ｅに示した５視点シーケンスの多様なビット率での符号化結果を説明するためのグラフである。
【図１１Ａ】図９Ａに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフである。
【図１１Ｂ】図９Ａに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフである。
【図１２Ａ】ベースラインの大きい映像をそれぞれ"Ｏｎｅ−Ｉ"タイプと"Ｔｗｏ−Ｉ"タイプで符号化した場合の結果映像を比較した図である。
【図１２Ｂ】ベースラインの大きい映像をそれぞれ"Ｏｎｅ−Ｉ"タイプと"Ｔｗｏ−Ｉ"タイプで符号化した場合の結果映像を比較した図である。
【図１３Ａ】本発明のＢｔ，ｓフレームの性能を説明するための結果映像を示す図である。
【図１３Ｂ】本発明のＢｔ，ｓフレームの性能を説明するための結果映像を示す図である。
【図１４Ａ】受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
【図１４Ｂ】受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
【図１４Ｃ】受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
【図１４Ｄ】受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の好適な実施形態について、添付の図面に基づいて詳細に説明する。
【００２４】
本発明では、可能な限り現在広く用いられる一般的な用語を選択したが、特定の場合に出願人が任意に選定した用語もあり、その場合、該当する発明の説明部分でその意味を詳細に記載した。そのため、本発明は、単純な用語の名称でなく、用語の持つ意味によって把握すべきである。
【００２５】
本発明で用いられる"多視点シーケンス”は、同一の事物に対して視点の異なる動映像が同時に獲得されることを意味する。例えば、"多視点シーケンス”は、複数の動映像撮影機構（例えば、カメラ）を用いて多様な角度及び多様な方向に同一の事物を撮影することで得られた動映像を意味する。
【００２６】
特に、本発明の"メーン視点"は、多視点のうち符号化の基準になる視点を意味する。"メーン視点"に対応する動映像は、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．６２３、Ｈ．２６４などの従来の動映像符号化方式によってビットストリームに符号化される。このビットストリームは、本発明の"メーンビットストリーム"と呼ばれる。説明の便宜上、本発明では、従来の動映像符号化方式の一例であるＭＰＥＧ−２が用いられる。
【００２７】
本発明の"補助視点"は、多視点のうちメーン視点でない視点を意味する。"補助視点"に対応する動映像は、後述する本発明の固有な符号化方式によってビットストリームに符号化される。このビットストリームは、本発明の"補助ビットストリーム"と呼ばれる。
【００２８】
また、本発明の"ビットストリーム"は、"メーンストリーム"または"補助ストリーム"として包括的に用いられる。
【００２９】
図１は、本発明に適用される多視点シーケンス符号化装置のブロック図である。
【００３０】
本発明に係る符号化方法で、ＭＰＥＧ−２との互換性のために基準となるシーケンスは、ＭＰＥＧ−２エンコーダーで符号化されてメーンビットストリームを生成し、補助視点シーケンスに対して補助ビットストリームを生成する。すなわち、メーンビットストリームは、"Ｉ（後述する）"ピクチャーを含むシーケンスに対するデータを含み、補助ビットストリームは、その他のシーケンスの変異推定及び動き推定を通して符号化した多様な種類の情報を含む。
【００３１】
図１を参照すると、本発明に適用される多視点符号化装置は、前処理部１１０、動き推定／補償部１２０，１３０、変異推定／補償部１４０、ビット率制御部１５０及び差映像符号化部１６０，１７０を含む。
【００３２】
多視点シーケンスデータＡが入力されると、前処理部１１０は、ノイズ除去及びインバランシング（ＩｍｂａｌａｎｃＩｎｇ）問題を解決しながら、前処理過程を通して多視点シーケンスデータ間の相関度を高めることで、変異推定及び動き推定から得られた各ベクターの信頼度を増加させ、前処理データを変異推定／補償部１４０、動き推定／補償部１２０，１３０及び差映像符号化部１６０，１７０に提供する。
【００３３】
したがって、インバランシング問題は、基準映像と補正すべき補正映像の平均及び分散を用いてインバランシングを補正し、メディアンフィルターを用いてノイズを簡単に除去することで解決される。
【００３４】
前処理部１１０は、補助ビットストリームに"視点情報"を挿入し、復号化器で特定の視点のみを復元できる情報を提供する。これを、図２を参照して説明する。
【００３５】
変異推定／補償部１４０及び動き推定／補償部１２０，１３０は、"Ｉ"ピクチャーを含むシーケンス軸を基準にして変異ベクター及び動きベクターを推定し、半画素補償方法を用いて補償する。
【００３６】
差映像符号化部１６０，１７０は、一層改善した映像画質及び立体感を提供するために、前処理部１１０から提供される元の映像と、変異推定／補償部１４０及び動き推定／補償部１２０，１３０で補償された復元映像との差情報に対して符号化を行い、提供される多視点シーケンスに対するビットストリームを生成することができる。
【００３７】
ビット率制御部１５０は、各ピクチャーにビットを効率的に割り当てるためのビット率を制御することができる。
【００３８】
図２は、本発明によって生成された補助ビットストリームの一例を示す図である。
【００３９】
図２を参照すると、本発明によって挿入された"視点情報"２１０は、例えば、補助ビットストリーム内のピクチャーヘッダーにｎビットで挿入される。このとき、ｎビットは、最大２ｎ個の視点まで支援することができる。
【００４０】
すなわち、"視点情報"は、特定のピクチャーが複数の補助視点のうち何れの補助視点に対応するかを指定する情報として用いられる。そのため、複数の視点に対する各ピクチャーが補助ビットストリーム内に混合された場合、"視点情報"は、特定の視点と結合されたピクチャーのみを選択的に復元する必要がある。
【００４１】
"視点情報”は、補助ビットストリームのみに限定されず、メーンビットストリームと補助ビットストリームの区分なしに、特定の視点と関連したピクチャーの意味として用いられる。
【００４２】
以下、本発明に係る多視点シーケンス符号化を行う特定の方法を説明する。
【００４３】
一般的な符号化方式、例えば、ＭＰＥＧ-２符号化方式で、符号化の基本単位はＧＯＰ（Ｇｒｏｕｐ Ｏｆ ＰＩｃｔｕｒｅｓ）である。ＧＯＰは、"Ｉ"ピクチャー、"Ｐ"ピクチャー及び"Ｂ"ピクチャーを含む。
【００４４】
"Ｉ"ピクチャーは、イントラ符号化を行うためのもので、シーケンスのランダムアクセスを可能にする。"Ｐ"ピクチャーは、以前に符号化された"Ｉ"ピクチャーや"Ｐ"ピクチャーを基準映像として動きベクターを単方向に推定し、"Ｂ"ピクチャーは、"Ｉ"ピクチャー及び"Ｐ"ピクチャーを用いて動きベクターを両方向に推定する。ＧＯＰの長さ、すなわち、"Ｎ"は、"Ｉ"ピクチャー間の距離を意味し、"Ｍ"は、"Ｉ"ピクチャーと"Ｐ"ピクチャーとの間の距離を意味する。
【００４５】
"Ｉ"ピクチャー、"Ｐ"ピクチャー及び"Ｂ"ピクチャーは、ＭＰＥＧ-２符号化方式に用いられるピクチャー用語である。符号化方式が互いに異なると、使用可能な用語も異なってくる。例えば、異なったＭＰＥＧ２方式によるメーンビットストリームで、任意の基準ピクチャーを参照せずに復号化されるピクチャーは"Ｌ"ピクチャーという。また、少なくとも一つまたは二つの基準ピクチャーを参照して復号化されるピクチャーは"Ｈ"ピクチャーという。
【００４６】
本発明では、多視点シーケンスを符号化するために、多視点シーケンス符号化の基本単位である"ＧＧＯＰ（Ｇｒｏｕｐ ｏｆ ＧＯＰ）構造を提案する。
【００４７】
本発明の"ＧＧＯＰ"は、ＭＰＥＧ-２のＧＯＰと異なって、時間軸及び視点軸に対応する各ピクチャーを含む。すなわち、"ＧＧＯＰ"構造を用いて空間上の相関性、時間軸上の相関性、視点間の相関性を除去し、多視点シーケンスを効率的に符号化することができる。
【００４８】
図３Ａ及び図３Ｂは、本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図で、それぞれ"Ｏｎｅ-Ｉ"タイプ（図３Ａ）、"Ｔｗｏ-Ｉ"タイプ（図３Ｂ）及び"Ｆｉｖｅ-Ｉ"（図３Ｃ）を意味する。説明の便宜上、"Ｎ＝６及びＭ＝３"である場合を例に挙げて説明する。ここで、本発明が"Ｎ＝６及びＭ＝３"である場合に限定されないことは、当業者にとって明らかである。
【００４９】
図３Ａを参照すると、本発明の"ＧＧＯＰ"構造のうち"Ｏｎｅ−Ｉ"タイプは、１個の"Ｉ"ピクチャー、１個の"Ｐｔ"ピクチャー、４個の"Ｂｔ"ピクチャー、４個の"Ｐｓ"ピクチャー及び２０個の"Ｂｔ，ｓ"ピクチャーを含む。
【００５０】
この場合、"Ｐｔ"ピクチャーは、ＭＰＥＧ−２で用いられる"Ｐ"ピクチャーと同様に、動きベクターをそれぞれ単方向に推定するピクチャータイプで、"Ｂｔ"ピクチャーは、ＭＰＥＧ−２で用いられる"Ｂ"ピクチャーと同様に、動きベクターを両方向に推定するピクチャータイプである。本発明において、"Ｉ"ピクチャー、"Ｐｔ"ピクチャー及び"Ｂｔ"ピクチャーは、メーンビットストリームを構成する第１タイプピクチャーという。
【００５１】
"Ｐｓ"ピクチャーは、視点間の相関、すなわち、変異推定を用いて復元する映像で、"Ｂｔ，ｓ"ピクチャーは、時間軸には動きベクター、視点軸には変異ベクターまたは二つのベクターの補間を用いて復元された映像を意味する。
【００５２】
図３Ａに示すように、"Ｎ＝６及びＭ＝３"である場合の"Ｏｎｅ−Ｉ"タイプで、基準となるシーケンス、すなわち、ＭＰＥＧ−２で符号化するシーケンスが１個含まれている。この場合、矢印は、変異ベクター及び動きベクターを予測するための方向を意味する。
【００５３】
"Ｉ"ピクチャーが含まれたメーン視点シーケンスである"…Ｂｔ、Ｂｔ、Ｉ、Ｂｔ、Ｂｔ、Ｐｔ、…”は、ＭＰＥＧ−２との互換性のためにＭＰＥＧ−２エンコーダーで符号化される。生成されたビットストリームは、ＭＰＥＧ−２のシンタックスと同一に設定される。上述したように、メーンシーケンスに対応するビットストリームは、メーンビットストリームとして定義され、補助視点に対応するシーケンスのデータは、補助ビットストリームとして定義される。したがって、図３Ａに示した５視点"Ｏｎｅ−Ｉ"タイプである場合、１個のメーンビットストリーム及び１個の補助ビットストリームを生成することができる。
【００５４】
多視点シーケンスを獲得するときのカメラ間の間隔、すなわち、ベースラインが大きい場合、視点間のエラーが増加する。そのため、メーン視点から遠く離れた視点軸に対応するシーケンスの画質が劣化する憂いがある。したがって、ベースラインの大きい多視点カメラから獲得した多視点シーケンスを符号化する場合、二つ以上のメーンシーケンスが必要である。
【００５５】
カメラ撮影角度によって多視点が指定される場合、カメラ間のカメラ撮影角度差がベースラインになる。また、カメラ撮影角度差が大きい場合、二つ以上のメーンシーケンスが設定されることが好ましい。
【００５６】
図３Ｂは、５視点"Ｔｗｏ−Ｉ"タイプを示すもので、ベースラインの大きい多視点カメラから獲得した多視点シーケンスを符号化するために提案されたものである。この場合、多視点シーケンスエンコーダーは、二つのメーンビットストリーム及び一つの補助ビットストリームを生成することができる。
【００５７】
３番目の視点における"Ｂｓ"ピクチャーは、互いに隣接する左右映像で予測された変異を用いたり、二つの変異の補間を用いて復元されたピクチャータイプを意味する。
【００５８】
本発明において、"Ｐｓ"ピクチャー、"Ｂｓ"ピクチャー及び"Ｂｔ，ｓ"ピクチャーは、補助ビットストリームを構成する第２タイプピクチャーという。
【００５９】
一方、図３Ｃに示した"ＦＩｖｅ−Ｉ"タイプは、変異推定を行わず、多視点シーケンスをそれぞれＭＰＥＧ−２シーケンスと見なして独立的に符号化する場合を意味する。この場合、５個のメーンビットストリームが生成される。このとき、変異推定を行っていないため、補助ビットストリームは生成されない。
【００６０】
図３Ａ及び図３Ｃに基づいて説明した本発明の一実施形態では、５視点シーケンスに対応する"ＧＧＯＰ"構造を例に挙げたが、これは、視点数が増加しても拡張可能である。
【００６１】
図４Ａ及び図４Ｂは、本発明に係る９視点シーケンスを符号化するための"ＧＧＯＰ"の一例を示す図で、それぞれ"Ｔｗｏ−Ｉ"タイプ及び"Ｔｈｒｅｅ−Ｉ"タイプを示している。この場合も、ＭＰＥＧ−２との互換性のために、"Ｉ"ピクチャーが含まれている基準シーケンスは、ＭＰＥＧ−２エンコーダーによって符号化された後でメインストリームを生成する。これと同様に、他の視点シーケンスは、補助ビットストリームを生成する。
【００６２】
図４Ａは、"Ｎ＝６及びＭ＝３"である場合、"Ｔｗｏ−Ｉ"タイプに対する"ＧＧＯＰ"構造を示している。"ＧＧＯＰ"構造は、２個の"Ｉ"ピクチャー、２個の"Ｐｔ"ピクチャー、６個の"Ｐｓ"ピクチャー、６個の"Ｂｓ"ピクチャー及び３８個の"Ｂｔ，ｓ"ピクチャーを含む。
【００６３】
図４Ｂは、ベースラインが大きい場合、多視点カメラから獲得された９視点シーケンスに対する"ＧＧＯＰ"構造を示している。この場合、３個のメーンビットストリーム及び１個の補助ビットストリームが生成される。図３Ｃに示した５視点シーケンスのための"ＦＩｖｅ−Ｉ"タイプのような変異推定を用いる代りに、各視点に対応するシーケンスは、ＭＰＥＧ−２エンコーダーを用いて符号化される。
【００６４】
本発明は、受信端で保有しているディスプレイの特徴を考慮し、特定の視点に該当するシーケンスのみを復元可能にする概念を提案する。
【００６５】
図５は、本発明の一実施形態に係る多視点シーケンスディスプレイ方法の概念を説明するための概略図である。
【００６６】
図５を参照すると、本発明に係るディスプレイ方法で、受信された多視点シーケンスビットストリームは、受信端で保有しているディスプレイの種類によって特定の視点のみを選択することで復元される。
【００６７】
例えば、送信端で５視点シーケンスを符号化し、符号化されたシーケンスを受信端に伝送したとき、受信端で３視点シーケンスのみをディスプレイできる多視点モニターがある場合、使用者は、５視点だけでなく、３視点シーケンスも見られなくなる。このような問題点の発生は、送信端で多視点シーケンスを符号化するとき、視点に対する情報がないことに起因する。したがって、本発明は、このような問題点を解決しようとする。
【００６８】
すなわち、送信端で５視点シーケンスを符号化し、符号化されたシーケンスを受信端に伝送したとき、受信端で３視点シーケンスのみをディスプレイできる３次元多視点モニターがある場合、使用者は、５視点のうち所望の３個の視点のみを選択して復元することができる（モード２：これは、第２ディスプレイモードと呼ばれる）。選択的な復元が可能な情報は、上述した"視点情報"に対応する。
【００６９】
受信端が多視点モニターでない２次元シーケンスのみをディスプレイできるモニターを有する場合、メーンビットストリームのみを復元してディスプレイに伝送することができる（モード０：これは、第１ディスプレイモードと呼ばれる）。
【００７０】
特に、本発明に係るディスプレイ方法は、メーン視点に対応するピクチャーのみをディスプレイする第１ディスプレイモード、及びメーン視点に対応するピクチャー及び一つ以上の補助視点に対応する他のピクチャーをディスプレイする第２ディスプレイモードを有し、ディスプレイモードのうち一つが、各ピクチャーを含むビットストリーム内に存在する視点情報によってディスプレイされるように選択されることを特徴とする。
【００７１】
図６は、本発明によって復号化を行うために伝送されるヘッダー情報を説明するためのビットストリームを示す図である。
【００７２】
図６を参照すると、多視点シーケンスビットストリームを生成するとき、ピクチャーヘッダー情報に"視点情報"を挿入し、現在符号化しているピクチャーが何番目の視点のデータであるかを示す情報を提供する。視点に対する情報は、２ｎ視点のシーケンスを支援で
きるｎビットに設定される。
【００７３】
図６は、補助ビットストリームのみに"視点情報"が挿入されることを示しているが、用途によって、メーンビットストリーム内の一側に"視点情報"が挿入されることもある。
【００７４】
図７は、本発明が適用される多視点シーケンス復号化装置のブロック図である。
【００７５】
図７を参照すると、本発明が適用される復号化装置は、メーンビットストリーム復号化部７１０及び補助ビットストリーム復号化部７２０を含む。
【００７６】
メーンビットストリーム復号化部７１０は、ＭＰＥＧ−２デコーダーで復号化を行い、補助ビットストリーム復号化部７２０は、変異ベクター及び動きベクターを用いて復号化を行う。このとき、受信端で特定の視点のみを復号化するためにピクチャーヘッダー情報で"視点情報"を確認し、現在デコーディングするデータが何番目の視点に該当するかを確認する。すなわち、本発明では、特定の視点が復元されるので、デコーディング時間及び復号化部の計算量を減少させられる。
【００７７】
特に、メーンビットストリーム復号化部７１０は、メーン視点によって生成されたメーンビットストリームを受信し、メーンビットストリーム内のピクチャーを復元する。
【００７８】
補助ビットストリーム復号化部７２０は、複数の補助視点によって生成された補助ビットストリームを受信し、メーンビットストリーム復号化部７１０によって復元されたメーンビットストリーム内のピクチャーを用いることで、補助ビットストリーム内に存在する視点情報によって特定の補助視点のピクチャーに対する予測復元を選択的に行う。
【００７９】
図８Ａ乃至図８Ｅは、本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図で、５視点の場合を示している。
【００８０】
実験で用いた映像大きさは７２０×５７６である。マクロブロックの大きさは１６×１６である。変異推定のためのｘ方向の探索範囲は−１６〜１６に設定する。平行式カメラを仮定したので、ｙ方向の探索範囲は設定されない。動き推定のために、ｘ方向及びｙ方向の探索範囲は−１６〜１６に設定する。実験で用いたビデオフォーマットは、Ｙ：Ｕ：Ｖ＝４：２：０に設定する。
【００８１】
図１０は、図８Ａ〜図８Ｅに示した５視点シーケンスの多様なビット率での符号化結果を説明するためのグラフである。
【００８２】
図１０を参照すると、"Ｏｎｅ−Ｉ"タイプ及び"Ｔｗｏ−Ｉ"タイプと、変異推定を行っていない"ＦＩｖｅ−Ｉ"タイプとを比較したとき、類似したビット率で良好な効率を示すことを確認することができる。
【００８３】
一方、上述したように、本発明は、流動性のある"ＧＧＯＰ"構造を提案する。すなわち、ベースラインの大きい多視点シーケンスを符号化するためには、視点間の相関性を補完するための"Ｔｗｏ−Ｉ"タイプを適用し、ベースラインの小さい多視点シーケンスに対しては"Ｏｎｅ−Ｉ"タイプを適用することで、"Ｔｗｏ−Ｉ"タイプと比較するとき、"Ｉ"フレームを除いた残りのピクチャータイプにビット量をより多く割り当てる。
【００８４】
図１１Ａ及び図１１Ｂは、図９Ａに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフで、ベースラインの小さい場合及びベースラインの大きい場合を示している。
【００８５】
図１１Ａ及び図１１Ｂを参照すると、ベースラインの小さい多視点シーケンスでは、"Ｏｎｅ−Ｉ"タイプがＰＳＮＲ面で優れた効率を示し、ベースラインの大きい多視点シーケンスでは、"Ｔｗｏ−Ｉ"タイプがＰＳＮＲ面で"Ｏｎｅ−Ｉ"タイプより優れた性能を示すことを確認することができる。
【００８６】
図１２Ａ及び図１２Ｂは、ベースラインの大きい映像をそれぞれ"Ｏｎｅ−Ｉ"タイプ及び"Ｔｗｏ−Ｉ"タイプで符号化を行った場合の結果映像を比較した図である。
【００８７】
図１２Ａ及び図１２Ｂを参照すると、ベースラインの大きい多視点シーケンスである場合、視点間の相関性が減少する。これを補完するために、"Ｉ"フレームを増加させる。減少した相関性を補完するために"Ｉ"フレームを増加させた"Ｔｗｏ−Ｉ"タイプが、一層優れた効率を有する。したがって、本発明の"ＧＧＯＰ"構造が、多視点シーケンスに対するベースラインの大きさによって流動性を有することを知ることができる。
【００８８】
一方、本発明の"ＧＧＯＰ"構造で"Ｂｔ，ｓ"フレームは、変異ベクターまたは動きベクターのうち予測エラーの少ないベクターを選択したり、二つのベクターの平均合計を使用する。動きの大きい多視点シーケンスの場合、動きベクターよりも変異ベクターで復元することでエラーを一層減少させるので、変異ベクターのみを選択する。その反対に、時間軸に相関度が減少すると、動きベクターを用いて予測することが一層効率的であるので、動きベクターを選択する。
【００８９】
図１３Ａ及び図１３Ｂは、本発明のＢｔ，ｓフレームの性能を説明するための結果映像を示す図である。図１３Ａは、多視点シーケンスをＭＰＥＧ−２シーケンスと見なして独立的に符号化を行った場合の結果映像で、図１３Ｂは、本発明によって符号化を行った場合の結果映像である。
【００９０】
図１３Ａを参照すると、従来のＭＰＥＧ−２においては、変異ベクターを用いて動きの大きい領域を予測できないので、大きなエラーが発生した。しかし、本発明によると、変異ベクターを用いて動きの大きい領域を予測できるので、エラーを減少させることができる。
【００９１】
本発明において、送信端でメーンビットストリーム及び補助ビットストリームを受信端に伝送すると、受信端で特定の視点のみを復元することができる。
【００９２】
図１４Ａ及び図１４Ｂは、受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
【００９３】
すなわち、図１４Ａ及び図１４Ｂは、ＭＰＥＧ−２復号化器を用いて獲得した結果映像を示し、図１４Ｃ及び図１４Ｄは、本発明に係る復号化方法を用いて復号化した結果映像を示している。
【００９４】
図示したように、図１４Ｃ及び図１４Ｄの映像が、他のものより鮮明であることを確認することができる。図１４Ａ及び図１４Ｂの映像は、変異ベクターのみを用いて復元した結果であり、図１４Ｃ及び図１４Ｄの映像は、"Ｂｔ，ｓ"ピクチャーを含む。したがって
、動きベクターや変異ベクターが大きい場合、予測エラーを減少させることができる。
【００９５】
以上説明した本発明は、上述した実施形態及び添付の図面によって限定されるものではなく、本発明の技術的思想から逸脱しない範囲内で多様な置換、変形及び変更が可能であることは、本発明の属する技術分野で通常の知識を有する者にとって明らかである。
【符号の説明】
【００９６】
１１０：前処理部
１２０，１３０：動き推定／補償部
１４０：変異推定／補償部
１５０：ビット率制御部
１６０，１７０：差映像符号化部
【技術分野】
【０００１】
本発明は、多視点シーケンス符号化／復号化方法に関するもので、特に、多視点シーケンス符号化／復号化方法及びそのディスプレイ方法に関するものである。本発明は、広範囲な応用に適しており、特に、多視点シーケンスデータの符号化／復号化を行い、受信端によって要求された視点に対応する動映像を復号化するための視点選択が可能な応用に適している。
【背景技術】
【０００２】
一般的に、現在のメディアは、単純なテキスト及び２次元ビデオをディスプレイするだけでなく、人間の視覚、聴覚、触覚、嗅覚、味覚などの五感を統合的に認知し、事物や状況を正確かつ鮮明に把握できるようにする。このようなマルチメディアは、通信と結合して一層重要な意味を有するようになり、高速及び大容量の情報伝送技術が発達しながら画像電話、遠隔会議、遠隔ショッピングなどのマルチメディア通信が可能になった。
【０００３】
マルチメディア技術は、３次元信号処理技術として発展するとき、一層生動感のある力を発揮するはずである。このために、人間の生活空間を現実的かつ自然的に再現できる３次元映像処理及び通信技術の開発が必要である。
【０００４】
一方、私たちが生きている世界は、上下左右のみならず、深さ感も含む３次元世界である。したがって、人々は、平面のように感じられる２次元映像のみならず、深さ感までも感じられる立体感及び現実感のある３次元立体映像に対して多くの関心を示しており、現在、３次元映像処理技術は、通信、放送、仮想現実、教育、医療、娯楽などの多様な分野で応用されている。
【０００５】
２次元映像で３次元を表現する最も簡単な方式は、ステレオ方式である。ステレオ映像は、左右映像で構成されているので、データ量が膨大になるという問題点がある。したがって、ステレオ映像は、大容量の保存装置、ネットワーク及び高速のコンピュータシステムを要求する。また、ステレオ映像を独立的に符号化する場合、２次元映像を伝送するための帯域幅より約２倍の帯域幅が要求される。ステレオ映像を時間軸に拡張したステレオシーケンスや時間軸及び視点軸に拡張した多視点シーケンスの場合、視点数に比例してデータ量が増加し、要求される帯域幅も増加する。
【０００６】
３次元映像に対する関心が高まるにつれて、各機関、大学及び実験室などでは、３次元映像圧縮及び復元ディスプレイシステムに対する研究が行われている。
【０００７】
上記のような３次元映像システムの受信端では、多視点シーケンスを復号化してディスプレイできる３次元ディスプレイが必要である。現在開発されている３次元液晶表示装置（ＬＣＤ）モニターは、一人の観察者に立体感を提供するディスプレイであり、最近、多数の観察者に立体感及び事実感を提供できる３次元多視点ディスプレイモニターが開発中にある。
【０００８】
しかしながら、視点数が増加することで、３次元多視点シーケンスのデータ量及び演算量が増加するので、３次元多視点シーケンスを効率的に符号化及び復号化できる多視点シーケンス符号化／復号化器（ＣＯＤＥＣ）が要求される。また、使用者が保有しているディスプレイによって、受信端で特定の視点のみを復号化することも要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は上記の問題点を解決するためのもので、多視点シーケンス符号化／復号化方法及びそのディスプレイ方法に関するものである。
【００１０】
本発明の目的は、多視点シーケンスデータを効率的に符号化及び復号化できる多視点シーケンス符号化／復号化方法及びそのディスプレイ方法を提供することにある。
【００１１】
本発明の他の目的は、符号化されたデータを効率的に多視点シーケンスに復号化する装置及びその装置を用いたディスプレイ方法を提供することにある。
【００１２】
本発明の付加的な特徴及び長所は、後述する詳細な説明で明らかになるだろう。本発明の目的及び他の長所は、添付の図面のみならず、詳細な説明及び特許請求の範囲に記載された構造によって具現及び獲得される。
【課題を解決するための手段】
【００１３】
本発明の目的及び他の利点を達成するために、本発明に係る多視点シーケンス符号化方法は、複数の視点から獲得した複数のピクチャーを符号化することで、ビットストリームを生成する段階を含み、前記ビットストリームは、複数のピクチャーに対する視点情報を含み、前記視点情報は、対応するピクチャーが複数の視点のうち何れの視点に対応するかを指定する情報である。
【００１４】
本発明の目的及び他の利点を達成するために、本発明に係る多視点シーケンス符号化方法は、メーン視点に対する第１ピクチャータイプのピクチャーを符号化することで、メーンビットストリームを生成する段階と、一つ以上の補助視点に対する補助ビットストリームを生成する段階と、を含み、前記補助ビットストリームは、前記第１ピクチャータイプのピクチャーを用いて予測された第２ピクチャータイプのピクチャーを符号化することで生成され、前記補助ビットストリームは、前記第２ピクチャータイプのピクチャーに対する視点情報を含み、前記視点情報は、前記第２ピクチャータイプの対応するピクチャーが前記一つ以上の補助視点のうち何れの補助視点に対応するかを指定する情報である。
【００１５】
本発明の目的及び他の利点を達成するために、多視点シーケンス復号化方法は、複数の視点から獲得したピクチャーをそれぞれ符号化することで生成されたメーンビットストリームを受信する段階と、特定のピクチャーが前記複数の視点のうち何れに対応するかを指定する視点情報を確認する段階と、前記確認された視点情報によって、ディスプレイで特定の視点と関連したピクチャーを復号化する段階と、を含む。
【００１６】
本発明の目的及び他の利点を達成するために、多視点シーケンス復号化方法は、メーン視点から獲得したピクチャーを符号化することで生成されたメーンビットストリーム、及び複数の補助視点から獲得したピクチャーを符号化することで生成された補助ビットストリームを受信する段階と、前記メーンビットストリーム内のピクチャーを復元する段階と、前記補助ビットストリーム内に存在する視点情報によって前記メーンビットストリーム内の前記復元されたピクチャーを用いることで、ディスプレイで特定の補助視点と関連したピクチャーに対する予測復元を選択的に行う段階と、を含む。
【００１７】
本発明の目的及び他の利点を達成するために、多視点シーケンス復号化装置は、メーン視点から獲得したピクチャーを符号化することで生成されたメーンビットストリームを受信し、前記メーンビットストリーム内のピクチャーを復元するメーンビットストリーム復号化部と、複数の補助ビットストリームから獲得したピクチャーを符号化することで生成された補助ビットストリームを受信する補助ビットストリーム復号化部と、を含み、前記補助ビットストリーム復号化部は、前記補助ビットストリーム内に存在する視点情報によって前記メーンビットストリーム内の前記復元されたピクチャーを用いることで、特定の補助視点のピクチャーに対する予測復元を選択的に行う。
【００１８】
本発明の目的及び他の利点を達成するために、多視点シーケンスディスプレイ方法は、メーン視点に対応するピクチャーをディスプレイする第１ディスプレイモード、及び前記メーン視点に対応するピクチャー及び一つ以上の補助視点に対応するピクチャーを一緒にディスプレイする第２ディスプレイモードを含み、前記第１ディスプレイモードまたは前記第２ディスプレイモードが、前記ピクチャーを含むビットストリーム内に存在する視点情報によって選択される。
【００１９】
上述した説明及び後述する本発明の詳細な説明は、本発明の理解を助けるために提示された例示に過ぎなく、その範囲は、特許請求の範囲に記載された通りである。
【産業上の利用可能性】
【００２０】
本発明は、多視点シーケンスを効率的に符号化し、受信端で特定の視点のみを復号化するので、符号化／復号化を一層円滑にかつ効率的に行うことができる。
【００２１】
また、本発明は、３次元映像処理技術を採用した通信、放送、仮想現実、教育、医療及び娯楽などの多様の分野に適用される。
また、本発明の方法は、プログラムで具現され、コンピュータ可読の記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピーディスク、ハードディスク、光磁気ディスクなど）に保存される。
【図面の簡単な説明】
【００２２】
【図１】本発明に適用される多視点シーケンス符号化装置のブロック図である。
【図２】本発明によって生成された補助ビットストリームの一例を示す図である。
【図３Ａ】本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。
【図３Ｂ】本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。
【図３Ｃ】本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。
【図４Ａ】本発明に係る９視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。
【図４Ｂ】本発明に係る９視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。
【図５】本発明の一実施形態に係る多視点シーケンスディスプレイ方法の概念を説明するための概略図である。
【図６】本発明によって復号化を行うために伝送されるヘッダー情報を説明するためのビットストリームを示す図である。
【図７】本発明に係る多視点シーケンス復号化装置のブロック図である。
【図８Ａ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図８Ｂ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図８Ｃ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図８Ｄ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図８Ｅ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図９Ａ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図９Ｂ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図９Ｃ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図９Ｄ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図９Ｅ】本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。
【図１０】図８Ａ乃至図８Ｅに示した５視点シーケンスの多様なビット率での符号化結果を説明するためのグラフである。
【図１１Ａ】図９Ａに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフである。
【図１１Ｂ】図９Ａに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフである。
【図１２Ａ】ベースラインの大きい映像をそれぞれ"Ｏｎｅ−Ｉ"タイプと"Ｔｗｏ−Ｉ"タイプで符号化した場合の結果映像を比較した図である。
【図１２Ｂ】ベースラインの大きい映像をそれぞれ"Ｏｎｅ−Ｉ"タイプと"Ｔｗｏ−Ｉ"タイプで符号化した場合の結果映像を比較した図である。
【図１３Ａ】本発明のＢｔ，ｓフレームの性能を説明するための結果映像を示す図である。
【図１３Ｂ】本発明のＢｔ，ｓフレームの性能を説明するための結果映像を示す図である。
【図１４Ａ】受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
【図１４Ｂ】受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
【図１４Ｃ】受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
【図１４Ｄ】受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の好適な実施形態について、添付の図面に基づいて詳細に説明する。
【００２４】
本発明では、可能な限り現在広く用いられる一般的な用語を選択したが、特定の場合に出願人が任意に選定した用語もあり、その場合、該当する発明の説明部分でその意味を詳細に記載した。そのため、本発明は、単純な用語の名称でなく、用語の持つ意味によって把握すべきである。
【００２５】
本発明で用いられる"多視点シーケンス”は、同一の事物に対して視点の異なる動映像が同時に獲得されることを意味する。例えば、"多視点シーケンス”は、複数の動映像撮影機構（例えば、カメラ）を用いて多様な角度及び多様な方向に同一の事物を撮影することで得られた動映像を意味する。
【００２６】
特に、本発明の"メーン視点"は、多視点のうち符号化の基準になる視点を意味する。"メーン視点"に対応する動映像は、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．６２３、Ｈ．２６４などの従来の動映像符号化方式によってビットストリームに符号化される。このビットストリームは、本発明の"メーンビットストリーム"と呼ばれる。説明の便宜上、本発明では、従来の動映像符号化方式の一例であるＭＰＥＧ−２が用いられる。
【００２７】
本発明の"補助視点"は、多視点のうちメーン視点でない視点を意味する。"補助視点"に対応する動映像は、後述する本発明の固有な符号化方式によってビットストリームに符号化される。このビットストリームは、本発明の"補助ビットストリーム"と呼ばれる。
【００２８】
また、本発明の"ビットストリーム"は、"メーンストリーム"または"補助ストリーム"として包括的に用いられる。
【００２９】
図１は、本発明に適用される多視点シーケンス符号化装置のブロック図である。
【００３０】
本発明に係る符号化方法で、ＭＰＥＧ−２との互換性のために基準となるシーケンスは、ＭＰＥＧ−２エンコーダーで符号化されてメーンビットストリームを生成し、補助視点シーケンスに対して補助ビットストリームを生成する。すなわち、メーンビットストリームは、"Ｉ（後述する）"ピクチャーを含むシーケンスに対するデータを含み、補助ビットストリームは、その他のシーケンスの変異推定及び動き推定を通して符号化した多様な種類の情報を含む。
【００３１】
図１を参照すると、本発明に適用される多視点符号化装置は、前処理部１１０、動き推定／補償部１２０，１３０、変異推定／補償部１４０、ビット率制御部１５０及び差映像符号化部１６０，１７０を含む。
【００３２】
多視点シーケンスデータＡが入力されると、前処理部１１０は、ノイズ除去及びインバランシング（ＩｍｂａｌａｎｃＩｎｇ）問題を解決しながら、前処理過程を通して多視点シーケンスデータ間の相関度を高めることで、変異推定及び動き推定から得られた各ベクターの信頼度を増加させ、前処理データを変異推定／補償部１４０、動き推定／補償部１２０，１３０及び差映像符号化部１６０，１７０に提供する。
【００３３】
したがって、インバランシング問題は、基準映像と補正すべき補正映像の平均及び分散を用いてインバランシングを補正し、メディアンフィルターを用いてノイズを簡単に除去することで解決される。
【００３４】
前処理部１１０は、補助ビットストリームに"視点情報"を挿入し、復号化器で特定の視点のみを復元できる情報を提供する。これを、図２を参照して説明する。
【００３５】
変異推定／補償部１４０及び動き推定／補償部１２０，１３０は、"Ｉ"ピクチャーを含むシーケンス軸を基準にして変異ベクター及び動きベクターを推定し、半画素補償方法を用いて補償する。
【００３６】
差映像符号化部１６０，１７０は、一層改善した映像画質及び立体感を提供するために、前処理部１１０から提供される元の映像と、変異推定／補償部１４０及び動き推定／補償部１２０，１３０で補償された復元映像との差情報に対して符号化を行い、提供される多視点シーケンスに対するビットストリームを生成することができる。
【００３７】
ビット率制御部１５０は、各ピクチャーにビットを効率的に割り当てるためのビット率を制御することができる。
【００３８】
図２は、本発明によって生成された補助ビットストリームの一例を示す図である。
【００３９】
図２を参照すると、本発明によって挿入された"視点情報"２１０は、例えば、補助ビットストリーム内のピクチャーヘッダーにｎビットで挿入される。このとき、ｎビットは、最大２ｎ個の視点まで支援することができる。
【００４０】
すなわち、"視点情報"は、特定のピクチャーが複数の補助視点のうち何れの補助視点に対応するかを指定する情報として用いられる。そのため、複数の視点に対する各ピクチャーが補助ビットストリーム内に混合された場合、"視点情報"は、特定の視点と結合されたピクチャーのみを選択的に復元する必要がある。
【００４１】
"視点情報”は、補助ビットストリームのみに限定されず、メーンビットストリームと補助ビットストリームの区分なしに、特定の視点と関連したピクチャーの意味として用いられる。
【００４２】
以下、本発明に係る多視点シーケンス符号化を行う特定の方法を説明する。
【００４３】
一般的な符号化方式、例えば、ＭＰＥＧ-２符号化方式で、符号化の基本単位はＧＯＰ（Ｇｒｏｕｐ Ｏｆ ＰＩｃｔｕｒｅｓ）である。ＧＯＰは、"Ｉ"ピクチャー、"Ｐ"ピクチャー及び"Ｂ"ピクチャーを含む。
【００４４】
"Ｉ"ピクチャーは、イントラ符号化を行うためのもので、シーケンスのランダムアクセスを可能にする。"Ｐ"ピクチャーは、以前に符号化された"Ｉ"ピクチャーや"Ｐ"ピクチャーを基準映像として動きベクターを単方向に推定し、"Ｂ"ピクチャーは、"Ｉ"ピクチャー及び"Ｐ"ピクチャーを用いて動きベクターを両方向に推定する。ＧＯＰの長さ、すなわち、"Ｎ"は、"Ｉ"ピクチャー間の距離を意味し、"Ｍ"は、"Ｉ"ピクチャーと"Ｐ"ピクチャーとの間の距離を意味する。
【００４５】
"Ｉ"ピクチャー、"Ｐ"ピクチャー及び"Ｂ"ピクチャーは、ＭＰＥＧ-２符号化方式に用いられるピクチャー用語である。符号化方式が互いに異なると、使用可能な用語も異なってくる。例えば、異なったＭＰＥＧ２方式によるメーンビットストリームで、任意の基準ピクチャーを参照せずに復号化されるピクチャーは"Ｌ"ピクチャーという。また、少なくとも一つまたは二つの基準ピクチャーを参照して復号化されるピクチャーは"Ｈ"ピクチャーという。
【００４６】
本発明では、多視点シーケンスを符号化するために、多視点シーケンス符号化の基本単位である"ＧＧＯＰ（Ｇｒｏｕｐ ｏｆ ＧＯＰ）構造を提案する。
【００４７】
本発明の"ＧＧＯＰ"は、ＭＰＥＧ-２のＧＯＰと異なって、時間軸及び視点軸に対応する各ピクチャーを含む。すなわち、"ＧＧＯＰ"構造を用いて空間上の相関性、時間軸上の相関性、視点間の相関性を除去し、多視点シーケンスを効率的に符号化することができる。
【００４８】
図３Ａ及び図３Ｂは、本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図で、それぞれ"Ｏｎｅ-Ｉ"タイプ（図３Ａ）、"Ｔｗｏ-Ｉ"タイプ（図３Ｂ）及び"Ｆｉｖｅ-Ｉ"（図３Ｃ）を意味する。説明の便宜上、"Ｎ＝６及びＭ＝３"である場合を例に挙げて説明する。ここで、本発明が"Ｎ＝６及びＭ＝３"である場合に限定されないことは、当業者にとって明らかである。
【００４９】
図３Ａを参照すると、本発明の"ＧＧＯＰ"構造のうち"Ｏｎｅ−Ｉ"タイプは、１個の"Ｉ"ピクチャー、１個の"Ｐｔ"ピクチャー、４個の"Ｂｔ"ピクチャー、４個の"Ｐｓ"ピクチャー及び２０個の"Ｂｔ，ｓ"ピクチャーを含む。
【００５０】
この場合、"Ｐｔ"ピクチャーは、ＭＰＥＧ−２で用いられる"Ｐ"ピクチャーと同様に、動きベクターをそれぞれ単方向に推定するピクチャータイプで、"Ｂｔ"ピクチャーは、ＭＰＥＧ−２で用いられる"Ｂ"ピクチャーと同様に、動きベクターを両方向に推定するピクチャータイプである。本発明において、"Ｉ"ピクチャー、"Ｐｔ"ピクチャー及び"Ｂｔ"ピクチャーは、メーンビットストリームを構成する第１タイプピクチャーという。
【００５１】
"Ｐｓ"ピクチャーは、視点間の相関、すなわち、変異推定を用いて復元する映像で、"Ｂｔ，ｓ"ピクチャーは、時間軸には動きベクター、視点軸には変異ベクターまたは二つのベクターの補間を用いて復元された映像を意味する。
【００５２】
図３Ａに示すように、"Ｎ＝６及びＭ＝３"である場合の"Ｏｎｅ−Ｉ"タイプで、基準となるシーケンス、すなわち、ＭＰＥＧ−２で符号化するシーケンスが１個含まれている。この場合、矢印は、変異ベクター及び動きベクターを予測するための方向を意味する。
【００５３】
"Ｉ"ピクチャーが含まれたメーン視点シーケンスである"…Ｂｔ、Ｂｔ、Ｉ、Ｂｔ、Ｂｔ、Ｐｔ、…”は、ＭＰＥＧ−２との互換性のためにＭＰＥＧ−２エンコーダーで符号化される。生成されたビットストリームは、ＭＰＥＧ−２のシンタックスと同一に設定される。上述したように、メーンシーケンスに対応するビットストリームは、メーンビットストリームとして定義され、補助視点に対応するシーケンスのデータは、補助ビットストリームとして定義される。したがって、図３Ａに示した５視点"Ｏｎｅ−Ｉ"タイプである場合、１個のメーンビットストリーム及び１個の補助ビットストリームを生成することができる。
【００５４】
多視点シーケンスを獲得するときのカメラ間の間隔、すなわち、ベースラインが大きい場合、視点間のエラーが増加する。そのため、メーン視点から遠く離れた視点軸に対応するシーケンスの画質が劣化する憂いがある。したがって、ベースラインの大きい多視点カメラから獲得した多視点シーケンスを符号化する場合、二つ以上のメーンシーケンスが必要である。
【００５５】
カメラ撮影角度によって多視点が指定される場合、カメラ間のカメラ撮影角度差がベースラインになる。また、カメラ撮影角度差が大きい場合、二つ以上のメーンシーケンスが設定されることが好ましい。
【００５６】
図３Ｂは、５視点"Ｔｗｏ−Ｉ"タイプを示すもので、ベースラインの大きい多視点カメラから獲得した多視点シーケンスを符号化するために提案されたものである。この場合、多視点シーケンスエンコーダーは、二つのメーンビットストリーム及び一つの補助ビットストリームを生成することができる。
【００５７】
３番目の視点における"Ｂｓ"ピクチャーは、互いに隣接する左右映像で予測された変異を用いたり、二つの変異の補間を用いて復元されたピクチャータイプを意味する。
【００５８】
本発明において、"Ｐｓ"ピクチャー、"Ｂｓ"ピクチャー及び"Ｂｔ，ｓ"ピクチャーは、補助ビットストリームを構成する第２タイプピクチャーという。
【００５９】
一方、図３Ｃに示した"ＦＩｖｅ−Ｉ"タイプは、変異推定を行わず、多視点シーケンスをそれぞれＭＰＥＧ−２シーケンスと見なして独立的に符号化する場合を意味する。この場合、５個のメーンビットストリームが生成される。このとき、変異推定を行っていないため、補助ビットストリームは生成されない。
【００６０】
図３Ａ及び図３Ｃに基づいて説明した本発明の一実施形態では、５視点シーケンスに対応する"ＧＧＯＰ"構造を例に挙げたが、これは、視点数が増加しても拡張可能である。
【００６１】
図４Ａ及び図４Ｂは、本発明に係る９視点シーケンスを符号化するための"ＧＧＯＰ"の一例を示す図で、それぞれ"Ｔｗｏ−Ｉ"タイプ及び"Ｔｈｒｅｅ−Ｉ"タイプを示している。この場合も、ＭＰＥＧ−２との互換性のために、"Ｉ"ピクチャーが含まれている基準シーケンスは、ＭＰＥＧ−２エンコーダーによって符号化された後でメインストリームを生成する。これと同様に、他の視点シーケンスは、補助ビットストリームを生成する。
【００６２】
図４Ａは、"Ｎ＝６及びＭ＝３"である場合、"Ｔｗｏ−Ｉ"タイプに対する"ＧＧＯＰ"構造を示している。"ＧＧＯＰ"構造は、２個の"Ｉ"ピクチャー、２個の"Ｐｔ"ピクチャー、６個の"Ｐｓ"ピクチャー、６個の"Ｂｓ"ピクチャー及び３８個の"Ｂｔ，ｓ"ピクチャーを含む。
【００６３】
図４Ｂは、ベースラインが大きい場合、多視点カメラから獲得された９視点シーケンスに対する"ＧＧＯＰ"構造を示している。この場合、３個のメーンビットストリーム及び１個の補助ビットストリームが生成される。図３Ｃに示した５視点シーケンスのための"ＦＩｖｅ−Ｉ"タイプのような変異推定を用いる代りに、各視点に対応するシーケンスは、ＭＰＥＧ−２エンコーダーを用いて符号化される。
【００６４】
本発明は、受信端で保有しているディスプレイの特徴を考慮し、特定の視点に該当するシーケンスのみを復元可能にする概念を提案する。
【００６５】
図５は、本発明の一実施形態に係る多視点シーケンスディスプレイ方法の概念を説明するための概略図である。
【００６６】
図５を参照すると、本発明に係るディスプレイ方法で、受信された多視点シーケンスビットストリームは、受信端で保有しているディスプレイの種類によって特定の視点のみを選択することで復元される。
【００６７】
例えば、送信端で５視点シーケンスを符号化し、符号化されたシーケンスを受信端に伝送したとき、受信端で３視点シーケンスのみをディスプレイできる多視点モニターがある場合、使用者は、５視点だけでなく、３視点シーケンスも見られなくなる。このような問題点の発生は、送信端で多視点シーケンスを符号化するとき、視点に対する情報がないことに起因する。したがって、本発明は、このような問題点を解決しようとする。
【００６８】
すなわち、送信端で５視点シーケンスを符号化し、符号化されたシーケンスを受信端に伝送したとき、受信端で３視点シーケンスのみをディスプレイできる３次元多視点モニターがある場合、使用者は、５視点のうち所望の３個の視点のみを選択して復元することができる（モード２：これは、第２ディスプレイモードと呼ばれる）。選択的な復元が可能な情報は、上述した"視点情報"に対応する。
【００６９】
受信端が多視点モニターでない２次元シーケンスのみをディスプレイできるモニターを有する場合、メーンビットストリームのみを復元してディスプレイに伝送することができる（モード０：これは、第１ディスプレイモードと呼ばれる）。
【００７０】
特に、本発明に係るディスプレイ方法は、メーン視点に対応するピクチャーのみをディスプレイする第１ディスプレイモード、及びメーン視点に対応するピクチャー及び一つ以上の補助視点に対応する他のピクチャーをディスプレイする第２ディスプレイモードを有し、ディスプレイモードのうち一つが、各ピクチャーを含むビットストリーム内に存在する視点情報によってディスプレイされるように選択されることを特徴とする。
【００７１】
図６は、本発明によって復号化を行うために伝送されるヘッダー情報を説明するためのビットストリームを示す図である。
【００７２】
図６を参照すると、多視点シーケンスビットストリームを生成するとき、ピクチャーヘッダー情報に"視点情報"を挿入し、現在符号化しているピクチャーが何番目の視点のデータであるかを示す情報を提供する。視点に対する情報は、２ｎ視点のシーケンスを支援で
きるｎビットに設定される。
【００７３】
図６は、補助ビットストリームのみに"視点情報"が挿入されることを示しているが、用途によって、メーンビットストリーム内の一側に"視点情報"が挿入されることもある。
【００７４】
図７は、本発明が適用される多視点シーケンス復号化装置のブロック図である。
【００７５】
図７を参照すると、本発明が適用される復号化装置は、メーンビットストリーム復号化部７１０及び補助ビットストリーム復号化部７２０を含む。
【００７６】
メーンビットストリーム復号化部７１０は、ＭＰＥＧ−２デコーダーで復号化を行い、補助ビットストリーム復号化部７２０は、変異ベクター及び動きベクターを用いて復号化を行う。このとき、受信端で特定の視点のみを復号化するためにピクチャーヘッダー情報で"視点情報"を確認し、現在デコーディングするデータが何番目の視点に該当するかを確認する。すなわち、本発明では、特定の視点が復元されるので、デコーディング時間及び復号化部の計算量を減少させられる。
【００７７】
特に、メーンビットストリーム復号化部７１０は、メーン視点によって生成されたメーンビットストリームを受信し、メーンビットストリーム内のピクチャーを復元する。
【００７８】
補助ビットストリーム復号化部７２０は、複数の補助視点によって生成された補助ビットストリームを受信し、メーンビットストリーム復号化部７１０によって復元されたメーンビットストリーム内のピクチャーを用いることで、補助ビットストリーム内に存在する視点情報によって特定の補助視点のピクチャーに対する予測復元を選択的に行う。
【００７９】
図８Ａ乃至図８Ｅは、本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図で、５視点の場合を示している。
【００８０】
実験で用いた映像大きさは７２０×５７６である。マクロブロックの大きさは１６×１６である。変異推定のためのｘ方向の探索範囲は−１６〜１６に設定する。平行式カメラを仮定したので、ｙ方向の探索範囲は設定されない。動き推定のために、ｘ方向及びｙ方向の探索範囲は−１６〜１６に設定する。実験で用いたビデオフォーマットは、Ｙ：Ｕ：Ｖ＝４：２：０に設定する。
【００８１】
図１０は、図８Ａ〜図８Ｅに示した５視点シーケンスの多様なビット率での符号化結果を説明するためのグラフである。
【００８２】
図１０を参照すると、"Ｏｎｅ−Ｉ"タイプ及び"Ｔｗｏ−Ｉ"タイプと、変異推定を行っていない"ＦＩｖｅ−Ｉ"タイプとを比較したとき、類似したビット率で良好な効率を示すことを確認することができる。
【００８３】
一方、上述したように、本発明は、流動性のある"ＧＧＯＰ"構造を提案する。すなわち、ベースラインの大きい多視点シーケンスを符号化するためには、視点間の相関性を補完するための"Ｔｗｏ−Ｉ"タイプを適用し、ベースラインの小さい多視点シーケンスに対しては"Ｏｎｅ−Ｉ"タイプを適用することで、"Ｔｗｏ−Ｉ"タイプと比較するとき、"Ｉ"フレームを除いた残りのピクチャータイプにビット量をより多く割り当てる。
【００８４】
図１１Ａ及び図１１Ｂは、図９Ａに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフで、ベースラインの小さい場合及びベースラインの大きい場合を示している。
【００８５】
図１１Ａ及び図１１Ｂを参照すると、ベースラインの小さい多視点シーケンスでは、"Ｏｎｅ−Ｉ"タイプがＰＳＮＲ面で優れた効率を示し、ベースラインの大きい多視点シーケンスでは、"Ｔｗｏ−Ｉ"タイプがＰＳＮＲ面で"Ｏｎｅ−Ｉ"タイプより優れた性能を示すことを確認することができる。
【００８６】
図１２Ａ及び図１２Ｂは、ベースラインの大きい映像をそれぞれ"Ｏｎｅ−Ｉ"タイプ及び"Ｔｗｏ−Ｉ"タイプで符号化を行った場合の結果映像を比較した図である。
【００８７】
図１２Ａ及び図１２Ｂを参照すると、ベースラインの大きい多視点シーケンスである場合、視点間の相関性が減少する。これを補完するために、"Ｉ"フレームを増加させる。減少した相関性を補完するために"Ｉ"フレームを増加させた"Ｔｗｏ−Ｉ"タイプが、一層優れた効率を有する。したがって、本発明の"ＧＧＯＰ"構造が、多視点シーケンスに対するベースラインの大きさによって流動性を有することを知ることができる。
【００８８】
一方、本発明の"ＧＧＯＰ"構造で"Ｂｔ，ｓ"フレームは、変異ベクターまたは動きベクターのうち予測エラーの少ないベクターを選択したり、二つのベクターの平均合計を使用する。動きの大きい多視点シーケンスの場合、動きベクターよりも変異ベクターで復元することでエラーを一層減少させるので、変異ベクターのみを選択する。その反対に、時間軸に相関度が減少すると、動きベクターを用いて予測することが一層効率的であるので、動きベクターを選択する。
【００８９】
図１３Ａ及び図１３Ｂは、本発明のＢｔ，ｓフレームの性能を説明するための結果映像を示す図である。図１３Ａは、多視点シーケンスをＭＰＥＧ−２シーケンスと見なして独立的に符号化を行った場合の結果映像で、図１３Ｂは、本発明によって符号化を行った場合の結果映像である。
【００９０】
図１３Ａを参照すると、従来のＭＰＥＧ−２においては、変異ベクターを用いて動きの大きい領域を予測できないので、大きなエラーが発生した。しかし、本発明によると、変異ベクターを用いて動きの大きい領域を予測できるので、エラーを減少させることができる。
【００９１】
本発明において、送信端でメーンビットストリーム及び補助ビットストリームを受信端に伝送すると、受信端で特定の視点のみを復元することができる。
【００９２】
図１４Ａ及び図１４Ｂは、受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
【００９３】
すなわち、図１４Ａ及び図１４Ｂは、ＭＰＥＧ−２復号化器を用いて獲得した結果映像を示し、図１４Ｃ及び図１４Ｄは、本発明に係る復号化方法を用いて復号化した結果映像を示している。
【００９４】
図示したように、図１４Ｃ及び図１４Ｄの映像が、他のものより鮮明であることを確認することができる。図１４Ａ及び図１４Ｂの映像は、変異ベクターのみを用いて復元した結果であり、図１４Ｃ及び図１４Ｄの映像は、"Ｂｔ，ｓ"ピクチャーを含む。したがって
、動きベクターや変異ベクターが大きい場合、予測エラーを減少させることができる。
【００９５】
以上説明した本発明は、上述した実施形態及び添付の図面によって限定されるものではなく、本発明の技術的思想から逸脱しない範囲内で多様な置換、変形及び変更が可能であることは、本発明の属する技術分野で通常の知識を有する者にとって明らかである。
【符号の説明】
【００９６】
１１０：前処理部
１２０，１３０：動き推定／補償部
１４０：変異推定／補償部
１５０：ビット率制御部
１６０，１７０：差映像符号化部
【特許請求の範囲】
【請求項１】
メインビットストリーム及び補助ビットストリームを含む多視点ビデオビットストリームを受信する段階（ここで、前記メインビットストリームは、メイン視点のピクチャーを符号化して生成され、前記補助ビットストリームは、補助視点のピクチャーを符号化して生成され、前記メイン視点は、前記補助視点と独立して複号化され、前記補助視点は、前記メイン視点以外の視点であり、前記メイン視点及び前記補助視点のそれぞれのピクチャーは、視点情報を含み、ピクチャーの前記視点情報は、前記ピクチャーが複数個の視点のうちいずれの視点に該当するかを示す。）と、
前記メイン視点の第１ピクチャーを複号化する段階と、
前記補助視点の第２ピクチャーの視点情報を前記多視点ビデオビットストリームから獲得する段階と、
前記第２ピクチャーの前記視点情報に基づいて、前記複号化された第１ピクチャーを用いて前記第２ピクチャーの予測復元を行う段階と、
を含むことを特徴とする多視点ビデオ複号化方法。
【請求項２】
前記第１ピクチャーは、イントラ方式でコーディングされたピクチャーであることを特徴とする、請求項１に記載の多視点ビデオ複号化方法。
【請求項３】
前記第１ピクチャー及び前記第２ピクチャーは、同一時間に獲得され、互いに異なる視点情報を有することを特徴とする、請求項１に記載の多視点ビデオ複号化方法。
【請求項４】
メイン視点の第１ピクチャーを複号化するメインビットストリーム複号化ユニットと、
補助視点の第２ピクチャーの視点情報を多視点ビデオビットストリームから獲得し、前記第２ピクチャーの前記視点情報に基づいて、前記複号化された第１ピクチャーを用いて前記第２ピクチャーの予測復元を行う補助ビットストリーム複号化ユニットと、
を含み、
前記多視点ビデオビットストリームは、メインビットストリーム及び補助ビットストリームを含み、前記メインビットストリームは、メイン視点のピクチャーを符号化して生成され、前記補助ビットストリームは、補助視点のピクチャーを符号化して生成され、前記メイン視点は、前記補助視点と独立して複号化され、前記補助視点は、前記メイン視点以外の視点であり、前記メイン視点及び前記補助視点のそれぞれのピクチャーは、視点情報を含み、ピクチャーの前記視点情報は、前記ピクチャーが複数個の視点のうちいずれの視点に該当するかを示すことを特徴とする多視点ビデオビットストリーム複号化装置。
【請求項１】
メインビットストリーム及び補助ビットストリームを含む多視点ビデオビットストリームを受信する段階（ここで、前記メインビットストリームは、メイン視点のピクチャーを符号化して生成され、前記補助ビットストリームは、補助視点のピクチャーを符号化して生成され、前記メイン視点は、前記補助視点と独立して複号化され、前記補助視点は、前記メイン視点以外の視点であり、前記メイン視点及び前記補助視点のそれぞれのピクチャーは、視点情報を含み、ピクチャーの前記視点情報は、前記ピクチャーが複数個の視点のうちいずれの視点に該当するかを示す。）と、
前記メイン視点の第１ピクチャーを複号化する段階と、
前記補助視点の第２ピクチャーの視点情報を前記多視点ビデオビットストリームから獲得する段階と、
前記第２ピクチャーの前記視点情報に基づいて、前記複号化された第１ピクチャーを用いて前記第２ピクチャーの予測復元を行う段階と、
を含むことを特徴とする多視点ビデオ複号化方法。
【請求項２】
前記第１ピクチャーは、イントラ方式でコーディングされたピクチャーであることを特徴とする、請求項１に記載の多視点ビデオ複号化方法。
【請求項３】
前記第１ピクチャー及び前記第２ピクチャーは、同一時間に獲得され、互いに異なる視点情報を有することを特徴とする、請求項１に記載の多視点ビデオ複号化方法。
【請求項４】
メイン視点の第１ピクチャーを複号化するメインビットストリーム複号化ユニットと、
補助視点の第２ピクチャーの視点情報を多視点ビデオビットストリームから獲得し、前記第２ピクチャーの前記視点情報に基づいて、前記複号化された第１ピクチャーを用いて前記第２ピクチャーの予測復元を行う補助ビットストリーム複号化ユニットと、
を含み、
前記多視点ビデオビットストリームは、メインビットストリーム及び補助ビットストリームを含み、前記メインビットストリームは、メイン視点のピクチャーを符号化して生成され、前記補助ビットストリームは、補助視点のピクチャーを符号化して生成され、前記メイン視点は、前記補助視点と独立して複号化され、前記補助視点は、前記メイン視点以外の視点であり、前記メイン視点及び前記補助視点のそれぞれのピクチャーは、視点情報を含み、ピクチャーの前記視点情報は、前記ピクチャーが複数個の視点のうちいずれの視点に該当するかを示すことを特徴とする多視点ビデオビットストリーム複号化装置。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図８Ｅ】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図９Ｅ】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１４Ｄ】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図８Ｅ】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図９Ｅ】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１４Ｄ】
【公開番号】特開２０１１−１０９６９０（Ｐ２０１１−１０９６９０Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２０１１−７５７（Ｐ２０１１−７５７）
【出願日】平成２３年１月５日（２０１１．１．５）
【分割の表示】特願２００７−５１７９６２（Ｐ２００７−５１７９６２）の分割
【原出願日】平成１７年６月２４日（２００５．６．２４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【出願人】（５０６１５７４２２）インダストリー‐アカデミック・コオペレイション・ファウンデイション，ヨンセイ・ユニバーシティ (8)
【氏名又は名称原語表記】ＩＮＤＵＳＴＲＹ‐ＡＣＡＤＥＭＩＣ ＣＯＯＰＥＲＡＴＩＯＮ ＦＯＵＮＤＡＴＩＯＮ， ＹＯＮＳＥＩ ＵＮＩＶＥＲＳＩＴＹ
【住所又は居所原語表記】ＹＯＮＳＥＩ ＵＮＩＶＥＲＳＩＴＹ， １３４， ＳＨＩＮＣＨＯＮ‐ＤＯＮＧ， ＳＥＯＤＡＥＭＵＮ‐ＧＵ， ＳＥＯＵＬ １２０‐７４９， ＫＯＲＥＡ
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２３年１月５日（２０１１．１．５）
【分割の表示】特願２００７−５１７９６２（Ｐ２００７−５１７９６２）の分割
【原出願日】平成１７年６月２４日（２００５．６．２４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【出願人】（５０６１５７４２２）インダストリー‐アカデミック・コオペレイション・ファウンデイション，ヨンセイ・ユニバーシティ (8)
【氏名又は名称原語表記】ＩＮＤＵＳＴＲＹ‐ＡＣＡＤＥＭＩＣ ＣＯＯＰＥＲＡＴＩＯＮ ＦＯＵＮＤＡＴＩＯＮ， ＹＯＮＳＥＩ ＵＮＩＶＥＲＳＩＴＹ
【住所又は居所原語表記】ＹＯＮＳＥＩ ＵＮＩＶＥＲＳＩＴＹ， １３４， ＳＨＩＮＣＨＯＮ‐ＤＯＮＧ， ＳＥＯＤＡＥＭＵＮ‐ＧＵ， ＳＥＯＵＬ １２０‐７４９， ＫＯＲＥＡ
【Ｆターム（参考）】
[ Back to top ]