カメラパラメータを利用した多視点画像の生成方法
【課題】カメラパラメータ情報を利用した多視点画像の生成方法を提供する。
【解決手段】本発明の多視点画像の生成方法は、入力ビットストリームから、所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップ、抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップとを含み、カメラパラメータ情報は、それぞれの画像におけるカメラ所定距離及び主点を含むカメラの固有特性を表すカメラパラメータの存在を表すフラグを含む。
【解決手段】本発明の多視点画像の生成方法は、入力ビットストリームから、所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップ、抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップとを含み、カメラパラメータ情報は、それぞれの画像におけるカメラ所定距離及び主点を含むカメラの固有特性を表すカメラパラメータの存在を表すフラグを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画符号化及び復号化に係り、さらに詳細には、カメラパラメータを利用した多視点画像の生成方法に関する。
【背景技術】
【０００２】
ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｌａｙｅｒ−４）及びＨ.２６４での動画符号化は、一つのカメラで撮った動画の符号化に係り、符号化効率の上昇に主に焦点が合わせられている。しかし、実感通信や仮想現実などの分野では、数台のカメラを使用して一つのシーンを撮ることによって、多視点を有する３次元動画を構成し、このように構成された多視点画像の効率的な圧縮符号化及び再生のための方法が必要である。
【０００３】
しかし、従来の圧縮符号化及び再生方法は、単一カメラで生成された画像の圧縮符号化及び再生に係り、本願発明で適用しようとする多視点画像に対しては、効率的に適用し難いという問題点があった。
【０００４】
従来の多視点エンコーディング方法は、米国特許公開第２００４／００２７４５２Ａ１号公報に開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、多視点画像に適用されるカメラパラメータを利用した多視点画像の効率的な符号化方法と生成方法、及びその装置を提供することである。
【０００６】
また、本発明が解決しようとする課題は、多視点画像に適用されるカメラパラメータを利用した多視点画像の効率的な符号化方法及び生成方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供することである。
【課題を解決するための手段】
【０００７】
前記課題は、本発明による多視点画像の符号化方法において、少なくとも一つ以上の多視点カメラから複数の画像データを入力されるステップと、入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するステップと、カメラパラメータの存否に基づいて、画像単位の複数の画像データそれぞれの符号化を適応的に行うステップと、を含む符号化方法によって達成される。
【０００８】
本発明による符号化方法は、カメラパラメータの存否を表す情報を、符号化された画像データに挿入するステップをさらに含むことが望ましい。
【０００９】
本発明による符号化方法は、カメラパラメータが存在する場合、カメラパラメータの信頼度を確認するステップをさらに含むことが望ましい。
【００１０】
本発明による符号化方法で、カメラパラメータは、カメラの固有特性を表す固有パラメータまたは非本質的な特性を表す非固有パラメータのうち少なくとも一つを含み、固有パラメータは、カメラ焦点距離、主点、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のうち少なくとも一つの値を含み、非固有パラメータは、カメラの位置情報を含むことが望ましい。
【００１１】
本発明による符号化方法において、カメラパラメータの信頼度判断は、該当カメラに対してズーミング、パニングが発生するか否かによって決定することが望ましい。
【００１２】
本発明による符号化方法において、複数の画像の適応的符号化時に、前記カメラパラメータが存在する画像のみを参照画像として使用することが望ましい。
【００１３】
本発明による符号化方法において、複数の画像の適応的符号化時に、カメラパラメータが存在し、カメラパラメータが信頼度があると確認された画像のみを参照画像として使用することが望ましい。
【００１４】
本発明による符号化方法において、所定の画像単位は、スライス単位であり、カメラパラメータの存在及び信頼度を表すカメラパラメータ情報は、スライスヘッダごとに２ビットのフラグで表示することが望ましい。
【００１５】
前記課題は、少なくとも一つ以上の多視点カメラから複数の画像データを入力されるステップと、入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するステップと、カメラパラメータの存否に基づいて、画像単位の複数の画像データそれぞれの符号化を適応的に行うステップと、を含む多視点画像の符号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体によっても達成される。
【００１６】
前記課題は、本発明による多視点画像の符号化装置において、少なくとも一つ以上の多視点カメラから複数の画像データを入力される入力部と、前記入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するカメラパラメータ探索部と、前記カメラパラメータの存否に基づいて、前記画像単位の複数の画像データそれぞれの符号化を適応的に行う符号化部と、を備える符号化装置によっても達成される。
【００１７】
前記課題は、本発明による多視点画像の符号化方法において、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索するステップと、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行うステップと、を含む符号化方法によっても達成される。
【００１８】
前記課題は、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索するステップと、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行うステップと、を含む多視点画像の符号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体によっても達成される。
【００１９】
前記課題は、多視点画像の符号化装置において、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索する探索部と、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行う符号化部と、を備える符号化装置によっても達成される。
【００２０】
前記課題は、カメラパラメータ情報を利用した多視点画像の生成方法において、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含む多視点画像の生成方法によっても達成される。
【００２１】
前記課題は、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含むカメラパラメータ情報を利用した多視点画像の生成方法を行うためのプログラムが記録された記録媒体によっても達成される。
【００２２】
前記課題は、カメラパラメータ情報を利用した多視点画像の生成装置において、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するカメラパラメータ情報抽出部と、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成する画像生成部と、を備える装置によっても達成される。
【発明の効果】
【００２３】
本発明によれば、カメラパラメータの存否及び信頼度如何に基づいて、適応的な符号化を行うことによって圧縮効率を高め、また、入力ビットストリームに挿入されたカメラパラメータ情報に基づいて、多視点中間画像を適応的に生成することによって、ディスプレイされる画像の画質を改善することが可能である。
【図面の簡単な説明】
【００２４】
【図１】多視点画像を得るためのカメラの位置を示す図である。
【図２】複数のカメラによってキャップチャされた画像を経時的に示す図である。
【図３】本発明に適用される視空間的予測の符号化方法を説明するための図である。
【図４】本発明の一実施形態による多視点画像の符号化装置を示す図である。
【図５】本発明の一実施形態による多視点画像の符号化方法を説明するためのフローチャートである。
【図６】本発明の一実施形態による多視点画像の符号化装置を示す図である。
【図７】本発明の一実施形態による多視点画像の符号化方法を説明するためのフローチャートである。
【図８】本発明の一実施形態による多視点画像の復号化装置を示す図である。
【図９】本発明の一実施形態による中間時点画像を生成するための方法を説明するための図である。
【図１０】本発明の一実施形態による中間時点画像を生成するための方法を説明するための図である。
【図１１】本発明の一実施形態による多視点画像の復号化装置で行われる復号化方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００２５】
以下、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
【００２６】
図１は、一列に位置しているカメラから複数の画像データを受けて符号化することを説明するための図である。図１を参照するに、数台のカメラが一次元的なライン上に一列に位置している。本発明では、ｉ軸とｊ軸とで構成される２次元上にカメラが存在すると仮定するが、優先的に一次元的にカメラが存在する場合を説明するために、ｉ＝０である場合を例として説明する。
【００２７】
図２は、複数のカメラが撮った画像を経時的に示す図である。ここで、カメラが撮った所定時間での画像をｆ（ｉ,ｊ,ｔ）とする。このとき、ｉ、ｊは、カメラの位置を意味し、ｔは、時間を意味する。図１及び図２で、カメラは、一次元的に一列に存在するので、ｉは、０である場合である。例えば、ｆ（０,０,０）は、最初に中心位置のカメラが撮った画像を意味する。
【００２８】
図３は、本発明で適用される視空間予測符号化方法を説明するための図である。図３を参照するに、中央位置に存在するカメラの画像のうち、ｆ（０,０,２）は、隣接カメラの画像、すなわち、ｆ（０,−１,２）、ｆ（０,−１,１）、ｆ（０,０,１）、ｆ（０,１,１）、ｆ（０,１,２）を参照画像として符号化が可能である。このような視空間符号化方法を適用する場合、より多くの参照画像を使用することが可能であるため、復元された画像の質が高まる。
【００２９】
図４は、本発明による多視点ビデオの符号化装置の一実施形態を示す図である。
【００３０】
本発明による多視点ビデオ符号化装置は、カメラパラメータ探索部４２０、多視点画像符号化部４４０、カメラパラメータ情報挿入部４６０を備える。
【００３１】
カメラパラメータ探索部４２０は、複数のカメラから入力されるデータから入力されたそれぞれの画像に対して、カメラの特性情報、例えば、カメラごとに存在するカメラパラメータについての情報を探索する。カメラパラメータには、カメラ固有のパラメータとカメラ固有の特性でない、非固有的なパラメータとがある。
【００３２】
カメラの固有パラメータは、カメラ焦点距離、主点、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のような値を含む。また、非固有的なパラメータは、世界座標系でのカメラの座標、ｘ、ｙ、ｚ座標上でのラジアンまたは角度のようなカメラの位置情報を含む。
【００３３】
カメラパラメータ探索部４２０は、入力される多視点画像のそれぞれに対して、このようなカメラパラメータが存在するか否かを探索し、探索結果を多視点画像符号化部４４０に伝送する。
【００３４】
多視点画像を生成する複数のカメラによって、カメラパラメータを送ることが可能でない場合があるため、このようなカメラパラメータが存在するか否かを確認することが必要になる。例えば、所定のカメラから入力された画像にカメラパラメータが存在しない場合、隣接画像の符号化時にカメラパラメータが存在しない該当画像を使用して、任意の多視点画像、すなわち、中間時点画像が補間できなくなる。
【００３５】
例えば、図３の場合、ｆ（０,０,１）画像に対してのみカメラパラメータが存在し、ｆ（０,−１,１）画像に対しては、カメラパラメータが存在しない場合、これらの二つの画像に基づいて、これらの二つの画像の間に存在する画像ｆ（０,−１／２,１）が補間できなくなる。この場合、例えば、ｆ（０,−２,１）画像に対してカメラパラメータが存在する場合、ｆ（０,０,１）画像及びｆ（０,−２,１）画像に基づいて、画像ｆ（０,−１／２,１）を補間せねばならない。
【００３６】
また、各画像に対してカメラパラメータが存在するか否かは、画像データの符号化時に有用に使われるが、これについては後述する。
【００３７】
このような点のため、多視点ビデオ画像を撮影するために使われるｎ台のカメラから入力される画像に対してカメラパラメータが存在するか否かを探索する過程が必要になる。
【００３８】
本実施形態では、カメラパラメータが入力ビデオ画像のスライス単位で、スライスヘッダに挿入されていると仮定し、該当ビデオ画像のスライスヘッダにカメラパラメータが挿入されているか否かを確認する。選択的に、カメラパラメータは、スライスヘッダではない他の位置に、スライス単位ではない他のサイズ、例えば、マクロブロック単位で挿入することも可能である。
【００３９】
多視点画像符号化部４４０では、入力されたそれぞれの画像に対して、カメラパラメータ情報の存否に基づいて符号化を行う。例えば、図３に示された画像のうち、ｆ（０,−１,１）、ｆ（０,０,１）、及びｆ（０,１,１）が何れもカメラパラメータを有する場合、ｆ（０,０,１）は、デコーダで隣接画像ｆ（０,−１,１）及びｆ（０,１,１）に基づいて補間することによって復元できるため、ｆ（０,０,１）画像の圧縮をスキップするか、圧縮後に伝送しないか、またはｆ（０,０,１）画像と、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）を利用して補間されたｆ’（０,０,１）との間の差分信号を圧縮して送ることが可能である。
【００４０】
本発明によれば、多視点ビデオ画像のうちデコーダで補間可能な画像の圧縮を選択的にスキップするか、圧縮された画像を伝送しないか、補間された画像の間の差分信号を圧縮して伝送させることによって、画質低下なしに画像圧縮の効率を顕著に向上させうる。
【００４１】
一方、本実施形態に付加的に含まれるカメラパラメータ情報挿入部４６０は、それぞれの画像について確認されたカメラパラメータの存否を表すカメラパラメータ情報を、多視点画像符号化部４４０で符号化されたビットストリームの所定の位置に挿入する。
【００４２】
本発明では、カメラパラメータ情報は、１ビットのＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇであって、各画像のスライスごとにスライスヘッドにシンタックスエレメントとして挿入する。カメラパラメータ情報の挿入された符号化されたビットストリームは、デコーダ（図示せず）に伝送される。
【００４３】
選択的にマクロブロック（Ｍａｃｒｏ Ｂｌｏｃｋ：ＭＢ）単位で挿入して伝送することも可能であり、また、画像情報とは別途の付加情報として伝送することも可能である。
【００４４】
図５は、図４に示された多視点画像の符号化装置で行われる多視点画像の符号化方法を示すフローチャートである。
【００４５】
ステップ５２０では、少なくとも一つ以上の多視点カメラから複数の画像データを入力される。
【００４６】
ステップ５４０では、現在画像及び隣接画像に対するカメラパラメータが存在するか否かを探索する。
【００４７】
ステップ５６０では、現在画像及び隣接画像に対するカメラパラメータの存否に基づいて適応的符号化を行う。
【００４８】
例えば、現在画像に対してカメラパラメータが存在しない場合、現在画像の圧縮のための符号化を進む。
【００４９】
一方、現在画像のカメラパラメータが存在する場合、現在画像の隣接画像に対してカメラパラメータが存在するか否かを判断する。隣接画像に対してカメラパラメータが存在する場合には、これらの隣接画像に基づいて、図４の多視点画像符号化部４４０で行われる適応的な符号化を行う。
【００５０】
本実施形態で付加的に含まれるステップ５８０では、カメラパラメータの存否を表す情報を符号化された画像データに挿入する。
【００５１】
以下では、図３を参照して、ステップ５６０及びステップ５８０で行われる手順を説明する。
【００５２】
現在画像のカメラパラメータが存在する場合、例えば、図３の場合、現在画像がｆ（０,０,１）である場合、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）がカメラパラメータを有する場合、現在画像ｆ（０,０,１）の符号化をスキップし、現在画像のカメラパラメータのみを伝送する。このとき、伝送されるビットストリーム、例えば、スライスヘッダに現在画像のカメラパラメータが存在するということを表すカメラパラメータフラグを挿入した後に伝送する。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）、これらの画像のカメラパラメータを利用して現在画像を復元する。
【００５３】
また、選択的に隣接画像ｆ（０,−１,１）及びｆ（０,１,１）がカメラパラメータを有する場合、現在画像と隣接画像とを利用して補間して得られた補間画像ｆ’（０,１,１）の間の差分データ、すなわち、ｆ（０,０,１）−ｆ’（０,０,１）及び現在画像のカメラパラメータのみを伝送する。このとき、伝送されるビットストリームに現在画像のカメラパラメータが存在するということを表すカメラパラメータフラグを挿入した後に伝送する。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、差分データ、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）、これらの隣接画像のカメラパラメータを利用して現在画像を復元する。
【００５４】
一方、最隣接画像のうち、一つのみがカメラパラメータを有する場合にも、現在画像の符号化をスキップし、現在画像のカメラパラメータのみを伝送せしめることも可能である。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、カメラパラメータを有する隣接画像、及びこの画像のカメラパラメータを利用して現在画像を復元する。また、カメラパラメータを有していない隣接画像に隣接した画像のうち、カメラパラメータを有する隣接画像、例えば、ｆ（０,−１,２）及びこれらの画像のカメラパラメータを利用して現在画像を復元することも可能である。ｆ（０,０,１）画像を復元するためにｆ（０,−１,２）を参照する場合には、ｆ（０,−１,２）がＰフレームであり、ｆ（０,０,１）画像がこれらを参照するＢフレームである場合に発生しうる。
【００５５】
図６は、本発明による多視点ビデオの符号化装置の他の実施形態を示す図である。
【００５６】
本発明による多視点ビデオ符号化装置は、カメラパラメータ探索部６２０、カメラパラメータ信頼度確認部６４０、多視点画像符号化部６６０、及びカメラパラメータ情報挿入部６８０を備える。
【００５７】
カメラパラメータ探索部６２０は、図４のカメラパラメータ探索部４２０と同じ機能を行うので、説明の便宜上、ここで詳細な説明は省略する。
【００５８】
カメラパラメータ信頼度確認部６４０は、カメラパラメータ探索部６２０でカメラパラメータが存在すると確認された画像に対して、該当カメラパラメータが信頼できる情報であるか否かを判断する。本実施形態では、該当画像の撮影時、カメラのズーミング及びパニングが発生した場合、カメラパラメータが信頼できないと判断する。選択的に、ズーミングまたはパニング以外に所定の条件、例えば、チルト、カメラの移動、カメラの焦点距離の変化によってカメラパラメータの信頼度を判断することも可能である。
【００５９】
例えば、図３に示された画像のうち、ｆ（０,−１,１）、ｆ（０,０,１）、及びｆ（０,１,１）が何れもカメラパラメータを有し、かつ信頼できる場合、ｆ（０,０,１）は、デコーダで隣接画像ｆ（０,−１,１）及びｆ（０,１,１）を利用して補間することによって求めるため、ｆ（０,０,１）画像の圧縮をスキップするか、圧縮後に伝送しないか、またはｆ（０,０,１）画像と、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）とを利用して補間されたｆ’（０,０,１）差分データを圧縮して送ることが可能である。この場合、ｆ（０,０,１）画像データを伝送しない場合にも、ｆ（０,０,１）画像の復元のためには、ｆ（０,０,１）画像のカメラパラメータは、デコーダに伝送されねばならない。
【００６０】
しかし、ｆ（０,−１,１）、ｆ（０,０,１）、及びｆ（０,１,１）が何れもカメラパラメータを有するが、ｆ（０,−１,１）画像の撮影時にズーミングまたはパニングが発生してカメラパラメータを信頼できない場合には、ｆ（０,０,１）は、デコーダで隣接画像ｆ（０,−１,１）及びｆ（０,１,１）から復元できないため、ｆ（０,０,１）画像を圧縮して伝送するか、またはｆ（０,０,１）画像と、隣接画像ｆ（０,１,１）及びｆ（０,−１,２）画像とを利用して補間されたｆ’（０,０,１）差分信号を圧縮して伝送せねばならない。それは、パニングが発生してカメラパラメータを信頼できなくなった画像に基づいて補間を行う場合、補間された画像に歪曲が発生する恐れがあるためである。
【００６１】
多視点画像符号化部６６０は、カメラパラメータ探索部６２０及びカメラパラメータ確認部６４０で得られたカメラパラメータの存在及び信頼度如何によって、入力画像に対して前述したような適応的な符号化を行う。
【００６２】
本実施形態で付加的に含まれるカメラパラメータ情報挿入部６８０は、それぞれの画像に対して探索及び確認されたカメラパラメータ情報を、２ビット情報、すなわち、カメラパラメータの存在を表すＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇ及びカメラパラメータの信頼度を表すＧｕａｒａｎｔｅｅｄＣａｍｅｒａＰａｒａｍｅｔｅｒＦｌａｇに対して、それぞれ１ビットずつ割当てられた情報で各画像のスライスごとにスライスヘッドにシンタックスエレメントとして挿入して伝送する。選択的にＭＢ単位で挿入して伝送するか、または画像情報とは別途の付加情報として伝送することも可能である。
【００６３】
図７は、図６に示された多視点画像符号化装置で行われる多視点画像符号化方法を説明するためのフローチャートである。
【００６４】
ステップ７１０では、少なくとも一つ以上の多視点カメラから複数の画像データを入力される。
【００６５】
ステップ７２０では、現在画像及び隣接画像についてのカメラパラメータが存在するか否かを探索する。
【００６６】
ステップ７３０では、現在画像及び隣接画像についてのカメラパラメータが何れも存在する場合には、ステップ７４０に進み、現在画像及び隣接画像のうち何れか一つのカメラパラメータが存在していない場合には、ステップ７５０に進む。
【００６７】
ステップ７４０では、現在画像及び隣接画像についてのカメラパラメータが信頼できるか否かを確認する。
【００６８】
ステップ７５０では、ステップ７２０及びステップ７４０でのカメラパラメータの存在及び信頼度確認結果に基づいて、現在画像に対する符号化を適応的に行う。
【００６９】
例えば、現在画像及び隣接画像のうち何れか一つに対してカメラパラメータが存在しない場合には、現在画像に対して符号化を進める。
【００７０】
一方、現在画像及び隣接画像に対してカメラパラメータが存在し、かつ信頼できる場合、例えば、図３を参照して、現在画像がｆ（０,０,１）である場合、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）がカメラパラメータを有する場合には、現在画像の符号化をスキップし、現在画像のカメラパラメータのみを伝送する。この場合、現在画像の復号化ステップでは、現在画像ｆ（０,０,１）のカメラパラメータ、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）、これらの画像のカメラパラメータを利用して現在画像を復元する。
【００７１】
また、ｆ（０,−１,１）、ｆ（０,０,１）、及びｆ（０,１,１）が何れもカメラパラメータを有するが、ｆ（０,−１,１）画像の撮影時にズーミングまたはパニングが発生してカメラパラメータが信頼できない場合には、ｆ（０,０,１）は、デコーダで隣接画像ｆ（０,−１,１）及びｆ（０,１,１）から復元できないため、ｆ（０,０,１）画像を圧縮して伝送するか、またはｆ（０,０,１）画像と、隣接画像ｆ（０,１,１）及びｆ（０,−１,２）画像を利用して補間されたｆ’（０,０,１）差分信号とを圧縮して送る。
【００７２】
本実施形態に付加的に含まれるステップ７６０では、カメラパラメータの存在及び信頼度を表すカメラパラメータ情報を符号化された画像データに挿入する。
【００７３】
例えば、現在画像の場合、ステップ７２０の探索結果、カメラパラメータが存在すると判断されたが、ステップ７４０での判断結果、カメラパラメータが信頼できないと確認された場合、符号化されたビットストリームのスライスヘッダにカメラパラメータが存在するが、信頼できないということを表すカメラパラメータフラグを挿入する。本実施形態では、カメラパラメータの存在及び信頼できるかを表すカメラパラメータ情報を２ビットのフラグとしてスライス単位でスライスヘッダに挿入する。
【００７４】
図８は、本発明の一実施形態による多視点画像復号化装置を示すブロック図である。
【００７５】
本発明による多視点画像復号化装置は、ビットストリームの復元及びカメラパラメータ抽出部８２０及び多視点画像生成部８４０を備える。
【００７６】
ビットストリーム復元及びカメラパラメータ抽出部８２０は、入力されたビットストリームを復元しつつ、それぞれの画像に対してカメラパラメータ情報が存在するか否かを検出する。本実施形態では、各画像のスライスヘッダに含まれた１ビットのカメラパラメータ情報、すなわち、Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇに基づいて、各画像に対するカメラパラメータの存否を確認する。ここで、Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇが１である場合には、カメラパラメータが存在することを表し、Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇが０である場合には、カメラパラメータが存在しないことを表す。
【００７７】
多視点画像生成部８４０は、カメラパラメータ抽出部８２０で検出されたカメラパラメータ情報に基づいて、多視点画像及び任意時点、例えば、中間時点での補間画像を生成する。
【００７８】
例えば、エンコーダで、図３のように、画像ｆ（０,−１,１）及びｆ（０,１,１）に対してカメラパラメータが存在し、ｆ（０,０,１）画像のデータが伝送されなかったか、または隣接画像ｆ（０,−１,１）及びｆ（０,１,１）を利用して補間された画像との差分信号のみが伝送された場合、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）、これらの画像のカメラパラメータ、及びｆ（０,０,１）画像のカメラパラメータに基づいて画像ｆ（０,０,１）を復元する。
【００７９】
以下では、図９を参照して、例えば、入力画像ｆ（０,０,０）、ｆ（０,０,１）、及びｆ（０,−１,０）のＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇが１であり、ｆ（０,−１,１）画像のＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇは０である場合、すなわち、ｆ（０,０,０）、ｆ（０,０,１）、及びｆ（０,−１,０）画像に対しては、カメラパラメータが存在するが、ｆ（０,−１,１）画像に対しては、カメラパラメータは存在しない場合、任意時点での補間画像の生成方法を説明する。
【００８０】
図９で、画像ｆ（０,０,１）とｆ（０,０,０）との中間時点画像であるｆ（０,０,１／２）を補間しようとする場合、多視点画像生成部８４０は、画像ｆ（０,０,１）及びｆ（０,０,０）のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが何れも１である場合にのみ、これらの画像に基づいて補間を行う。本実施形態では、これらの画像のカメラパラメータのフラグが１であるため、これらの画像に基づいて中間時点画像ｆ（０,０,１／２）を生成することが可能である。
【００８１】
一方、画像ｆ（０,−１,１）とｆ（０,−１,０）との中間時点画像であるｆ（０,−１,１／２）を補間しようとする場合、これらの画像のうち、画像ｆ（０,−１,１）のカメラパラメータのフラグが０、すなわち、画像ｆ（０,−１,１）のカメラパラメータが存在しないため、画像ｆ（０,−１,０）のみを参照して補間を行うか、または画像ｆ（０,−１,２）のカメラパラメータフラグが１である場合、画像ｆ（０,−１,０）及び画像ｆ（０,−１,２）に基づいて中間時点画像ｆ（０,−１,１／２）を生成する。
【００８２】
一方、画像ｆ（０,−１,１）、ｆ（０,０,１）、ｆ（０,０,０）、及びｆ（０,−１,０）の間の中間時点画像であるｆ（０,−１／２,１／２）を生成しようとする場合、多視点画像生成部８４０は、これらの画像のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが１である画像に基づいて補間を行う。本実施形態では、これらの画像のうち、画像ｆ（０,−１,１）のカメラパラメータのフラグが０、すなわち、画像ｆ（０,−１,１）のカメラパラメータが存在しないため、残りの画像、すなわち、ｆ（０,０,１）、ｆ（０,０,０）、及びｆ（０,−１,０）に基づいて補間を行う。
【００８３】
多視点画像生成部８４０で生成された多視点画像及び選択的に生成された中間時点画像は、ディスプレイ部（図示せず）に伝送されてディスプレイされる。
【００８４】
このように、入力画像のカメラパラメータの存否に基づいて、中間時点画像を適応的に生成することによって、生成される中間時点画像の画質を改善することが可能である。
【００８５】
以下では、図８を参照して、本発明のさらに他の実施形態による多視点画像復号化装置を説明する。
【００８６】
さらに他の実施形態によるビットストリーム復元及びカメラパラメータ抽出部８２０は、入力されたビットストリームを復元しつつ、それぞれの画像に対してカメラパラメータが存在するか否かを検出する。本実施形態では、各画像のスライスヘッダに含まれた２ビットのカメラパラメータフラグ、すなわち、Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇ及びＧｕａｒａｎｔｅｅｄ＿Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｆｌａｇに基づいて、各画像に対するカメラパラメータの存否及びカメラパラメータの信頼度を確認する。
【００８７】
また、多視点画像生成部８４０は、カメラパラメータ抽出部８２０から抽出されたカメラパラメータ情報に基づいて、多視点画像及び選択的に中間時点での補間画像を生成する。
【００８８】
例えば、エンコーダで図３のように、画像ｆ（０,−１,１）及びｆ（０,１,１）に対してカメラパラメータが存在し、カメラパラメータを信頼でき、ｆ（０,０,１）画像のデータが伝送されていない場合、隣接画像のうちカメラパラメータが存在し、信頼できる画像、例えば、ｆ（０,−１,１）及びｆ（０,１,１）、これらの画像のカメラパラメータ、及びｆ（０,０,１）画像のカメラパラメータに基づいて、画像ｆ（０,０,１）を復元する。
【００８９】
また、画像ｆ（０,−１,１）及びｆ（０,１,１）に対してカメラパラメータが存在するが、画像ｆ（０,−１,１）のカメラパラメータを信頼できず、ｆ（０,０,１）画像と、ｆ（０,−２,１）及びｆ（０,１,１）によって補間された画像との差分データが伝送された場合、伝送された差分データ、画像ｆ（０,−２,１）及びｆ（０,１,１）データ、これらの画像のカメラパラメータ、及びｆ（０,０,１）画像のカメラパラメータに基づいて、画像ｆ（０,０,１）を復元する。
【００９０】
以下では、図１０を参照して、例えば、入力画像ｆ（０,０,０）、ｆ（０,−１,０）、及びｆ（０,０,１）のＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇ及びＧｕａｒａｎｔｅｅｄ＿Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｆｌａｇが１１であり、ｆ（０,−１,１）画像のＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇ及びＧｕａｒａｎｔｅｅｄ＿Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｆｌａｇは１０である場合、すなわち、ｆ（０,０,０）、ｆ（０,−１,０）、及びｆ（０,０,１）画像については、カメラパラメータが存在し、かつ信頼できる場合、ｆ（０,−１,１）画像については、カメラパラメータは存在するが、信頼できない場合、任意時点での補間画像の生成方法を説明する。
【００９１】
図１０で、画像ｆ（０,０,１）とｆ（０,０,０）との中間時点画像であるｆ（０,０,１／２）を補間しようとする場合、多視点画像生成部８４０は、画像ｆ（０,０,１）及びｆ（０,０,０）のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが何れも１１である場合にのみ、これらの画像に基づいて補間を行う。本実施形態では、これらの画像のカメラパラメータのフラグが１１であるため、これらの画像に基づいて、中間時点画像ｆ（０,０,１／２）を生成することが可能である。
【００９２】
一方、画像ｆ（０,−１,１）とｆ（０,−１,０）との中間時点画像であるｆ（０,−１,１／２）を補間しようとする場合、これらの画像のうち、画像ｆ（０,−１,１）のカメラパラメータのフラグが１０、すなわち、画像ｆ（０,−１,１）のカメラパラメータが存在するが、信頼できないため、画像ｆ（０,−１,０）のみを参照して補間するか、または画像ｆ（０,−１,２）のカメラパラメータが１１である場合、画像ｆ（０,−１,０）及び画像ｆ（０,−１,２）に基づいて中間時点画像ｆ（０,−１,１／２）を生成する。
【００９３】
一方、画像ｆ（０,−１,１）、ｆ（０,０,１）、ｆ（０,０,０）、及びｆ（０,−１,０）の間の中間時点画像であるｆ（０,−１／２,１／２）を生成しようとする場合、多視点画像生成部８４０は、これらの画像のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが１１である画像に基づいて補間を行う。本実施形態では、これらの画像のうち、画像ｆ（０,−１,１）のカメラパラメータのフラグが１０、すなわち、画像ｆ（０,−１,１）のカメラパラメータが存在するが、信頼できないため、残りの画像、すなわち、ｆ（０,０,１）、ｆ（０,０,０）、及びｆ（０,−１,０）に基づいて補間を行う。
【００９４】
多視点画像生成部８４０で生成された多視点画像及び選択的に生成された中間時点画像は、ディスプレイ部（図示せず）に伝送されてディスプレイされる。
【００９５】
図１１は、図８に示された本発明の一実施形態による多視点画像の復号化装置で行われる復号化方法を説明するためのフローチャートである。
【００９６】
ステップ１１２０では、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出する。
【００９７】
ステップ１１４０では、ステップ１１２０で抽出されたカメラパラメータ情報に基づいて選択された所定画像を生成する。
【００９８】
本実施形態では、抽出されたカメラパラメータ情報に基づいて、所定画像の補間のために参照する画像を決定する。次いで、決定された参照画像に基づいて、図８の多視点画像生成部８４０で行われる所定画像の補間を行う。
【００９９】
本願の一実施形態では、前記カメラパラメータ情報が、画像のそれぞれに対するカメラパラメータの存否のみを表す場合には、前記補間しようとする所定画像の隣接画像のうち、カメラパラメータが存在する隣接画像のみを参照画像として決定する。
【０１００】
本願の他の実施形態では、前記カメラパラメータ情報が、画像のそれぞれに対するカメラパラメータの存在及び信頼度を表す場合には、前記補間しようとする所定画像の隣接画像のうち、カメラパラメータが存在し、かつ信頼できる隣接画像のみを参照画像として決定する。
【０１０１】
一方、前述した多視点画像の符号化及び復号化方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論される。また、前記プログラムは、コンピュータで読み取り可能な情報記録媒体に保存され、コンピュータによって読まれて実行されることによって、多視点画像の符号化及び復号化方法を具現する。前記情報記録媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。
【０１０２】
以上、本発明について、その望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されることが理解できるであろう。したがって、開示された実施形態は、限定的な観点でなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明でなく、特許請求範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【符号の説明】
【０１０３】
４２０：カメラパラメータ探索部
４４０：多視点画像符号化部
４６０：カメラパラメータ情報挿入部
６２０：カメラパラメータ探索部
６４０：カメラパラメータ信頼度確認部
６６０：多視点画像符号化部
６８０：カメラパラメータ情報挿入部
８２０：ビットストリーム復元及びカメラパラメータ情報抽出部
８４０：多視点画像生成部
【技術分野】
【０００１】
本発明は、動画符号化及び復号化に係り、さらに詳細には、カメラパラメータを利用した多視点画像の生成方法に関する。
【背景技術】
【０００２】
ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｌａｙｅｒ−４）及びＨ.２６４での動画符号化は、一つのカメラで撮った動画の符号化に係り、符号化効率の上昇に主に焦点が合わせられている。しかし、実感通信や仮想現実などの分野では、数台のカメラを使用して一つのシーンを撮ることによって、多視点を有する３次元動画を構成し、このように構成された多視点画像の効率的な圧縮符号化及び再生のための方法が必要である。
【０００３】
しかし、従来の圧縮符号化及び再生方法は、単一カメラで生成された画像の圧縮符号化及び再生に係り、本願発明で適用しようとする多視点画像に対しては、効率的に適用し難いという問題点があった。
【０００４】
従来の多視点エンコーディング方法は、米国特許公開第２００４／００２７４５２Ａ１号公報に開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、多視点画像に適用されるカメラパラメータを利用した多視点画像の効率的な符号化方法と生成方法、及びその装置を提供することである。
【０００６】
また、本発明が解決しようとする課題は、多視点画像に適用されるカメラパラメータを利用した多視点画像の効率的な符号化方法及び生成方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供することである。
【課題を解決するための手段】
【０００７】
前記課題は、本発明による多視点画像の符号化方法において、少なくとも一つ以上の多視点カメラから複数の画像データを入力されるステップと、入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するステップと、カメラパラメータの存否に基づいて、画像単位の複数の画像データそれぞれの符号化を適応的に行うステップと、を含む符号化方法によって達成される。
【０００８】
本発明による符号化方法は、カメラパラメータの存否を表す情報を、符号化された画像データに挿入するステップをさらに含むことが望ましい。
【０００９】
本発明による符号化方法は、カメラパラメータが存在する場合、カメラパラメータの信頼度を確認するステップをさらに含むことが望ましい。
【００１０】
本発明による符号化方法で、カメラパラメータは、カメラの固有特性を表す固有パラメータまたは非本質的な特性を表す非固有パラメータのうち少なくとも一つを含み、固有パラメータは、カメラ焦点距離、主点、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のうち少なくとも一つの値を含み、非固有パラメータは、カメラの位置情報を含むことが望ましい。
【００１１】
本発明による符号化方法において、カメラパラメータの信頼度判断は、該当カメラに対してズーミング、パニングが発生するか否かによって決定することが望ましい。
【００１２】
本発明による符号化方法において、複数の画像の適応的符号化時に、前記カメラパラメータが存在する画像のみを参照画像として使用することが望ましい。
【００１３】
本発明による符号化方法において、複数の画像の適応的符号化時に、カメラパラメータが存在し、カメラパラメータが信頼度があると確認された画像のみを参照画像として使用することが望ましい。
【００１４】
本発明による符号化方法において、所定の画像単位は、スライス単位であり、カメラパラメータの存在及び信頼度を表すカメラパラメータ情報は、スライスヘッダごとに２ビットのフラグで表示することが望ましい。
【００１５】
前記課題は、少なくとも一つ以上の多視点カメラから複数の画像データを入力されるステップと、入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するステップと、カメラパラメータの存否に基づいて、画像単位の複数の画像データそれぞれの符号化を適応的に行うステップと、を含む多視点画像の符号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体によっても達成される。
【００１６】
前記課題は、本発明による多視点画像の符号化装置において、少なくとも一つ以上の多視点カメラから複数の画像データを入力される入力部と、前記入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するカメラパラメータ探索部と、前記カメラパラメータの存否に基づいて、前記画像単位の複数の画像データそれぞれの符号化を適応的に行う符号化部と、を備える符号化装置によっても達成される。
【００１７】
前記課題は、本発明による多視点画像の符号化方法において、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索するステップと、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行うステップと、を含む符号化方法によっても達成される。
【００１８】
前記課題は、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索するステップと、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行うステップと、を含む多視点画像の符号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体によっても達成される。
【００１９】
前記課題は、多視点画像の符号化装置において、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索する探索部と、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行う符号化部と、を備える符号化装置によっても達成される。
【００２０】
前記課題は、カメラパラメータ情報を利用した多視点画像の生成方法において、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含む多視点画像の生成方法によっても達成される。
【００２１】
前記課題は、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含むカメラパラメータ情報を利用した多視点画像の生成方法を行うためのプログラムが記録された記録媒体によっても達成される。
【００２２】
前記課題は、カメラパラメータ情報を利用した多視点画像の生成装置において、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するカメラパラメータ情報抽出部と、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成する画像生成部と、を備える装置によっても達成される。
【発明の効果】
【００２３】
本発明によれば、カメラパラメータの存否及び信頼度如何に基づいて、適応的な符号化を行うことによって圧縮効率を高め、また、入力ビットストリームに挿入されたカメラパラメータ情報に基づいて、多視点中間画像を適応的に生成することによって、ディスプレイされる画像の画質を改善することが可能である。
【図面の簡単な説明】
【００２４】
【図１】多視点画像を得るためのカメラの位置を示す図である。
【図２】複数のカメラによってキャップチャされた画像を経時的に示す図である。
【図３】本発明に適用される視空間的予測の符号化方法を説明するための図である。
【図４】本発明の一実施形態による多視点画像の符号化装置を示す図である。
【図５】本発明の一実施形態による多視点画像の符号化方法を説明するためのフローチャートである。
【図６】本発明の一実施形態による多視点画像の符号化装置を示す図である。
【図７】本発明の一実施形態による多視点画像の符号化方法を説明するためのフローチャートである。
【図８】本発明の一実施形態による多視点画像の復号化装置を示す図である。
【図９】本発明の一実施形態による中間時点画像を生成するための方法を説明するための図である。
【図１０】本発明の一実施形態による中間時点画像を生成するための方法を説明するための図である。
【図１１】本発明の一実施形態による多視点画像の復号化装置で行われる復号化方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００２５】
以下、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
【００２６】
図１は、一列に位置しているカメラから複数の画像データを受けて符号化することを説明するための図である。図１を参照するに、数台のカメラが一次元的なライン上に一列に位置している。本発明では、ｉ軸とｊ軸とで構成される２次元上にカメラが存在すると仮定するが、優先的に一次元的にカメラが存在する場合を説明するために、ｉ＝０である場合を例として説明する。
【００２７】
図２は、複数のカメラが撮った画像を経時的に示す図である。ここで、カメラが撮った所定時間での画像をｆ（ｉ,ｊ,ｔ）とする。このとき、ｉ、ｊは、カメラの位置を意味し、ｔは、時間を意味する。図１及び図２で、カメラは、一次元的に一列に存在するので、ｉは、０である場合である。例えば、ｆ（０,０,０）は、最初に中心位置のカメラが撮った画像を意味する。
【００２８】
図３は、本発明で適用される視空間予測符号化方法を説明するための図である。図３を参照するに、中央位置に存在するカメラの画像のうち、ｆ（０,０,２）は、隣接カメラの画像、すなわち、ｆ（０,−１,２）、ｆ（０,−１,１）、ｆ（０,０,１）、ｆ（０,１,１）、ｆ（０,１,２）を参照画像として符号化が可能である。このような視空間符号化方法を適用する場合、より多くの参照画像を使用することが可能であるため、復元された画像の質が高まる。
【００２９】
図４は、本発明による多視点ビデオの符号化装置の一実施形態を示す図である。
【００３０】
本発明による多視点ビデオ符号化装置は、カメラパラメータ探索部４２０、多視点画像符号化部４４０、カメラパラメータ情報挿入部４６０を備える。
【００３１】
カメラパラメータ探索部４２０は、複数のカメラから入力されるデータから入力されたそれぞれの画像に対して、カメラの特性情報、例えば、カメラごとに存在するカメラパラメータについての情報を探索する。カメラパラメータには、カメラ固有のパラメータとカメラ固有の特性でない、非固有的なパラメータとがある。
【００３２】
カメラの固有パラメータは、カメラ焦点距離、主点、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のような値を含む。また、非固有的なパラメータは、世界座標系でのカメラの座標、ｘ、ｙ、ｚ座標上でのラジアンまたは角度のようなカメラの位置情報を含む。
【００３３】
カメラパラメータ探索部４２０は、入力される多視点画像のそれぞれに対して、このようなカメラパラメータが存在するか否かを探索し、探索結果を多視点画像符号化部４４０に伝送する。
【００３４】
多視点画像を生成する複数のカメラによって、カメラパラメータを送ることが可能でない場合があるため、このようなカメラパラメータが存在するか否かを確認することが必要になる。例えば、所定のカメラから入力された画像にカメラパラメータが存在しない場合、隣接画像の符号化時にカメラパラメータが存在しない該当画像を使用して、任意の多視点画像、すなわち、中間時点画像が補間できなくなる。
【００３５】
例えば、図３の場合、ｆ（０,０,１）画像に対してのみカメラパラメータが存在し、ｆ（０,−１,１）画像に対しては、カメラパラメータが存在しない場合、これらの二つの画像に基づいて、これらの二つの画像の間に存在する画像ｆ（０,−１／２,１）が補間できなくなる。この場合、例えば、ｆ（０,−２,１）画像に対してカメラパラメータが存在する場合、ｆ（０,０,１）画像及びｆ（０,−２,１）画像に基づいて、画像ｆ（０,−１／２,１）を補間せねばならない。
【００３６】
また、各画像に対してカメラパラメータが存在するか否かは、画像データの符号化時に有用に使われるが、これについては後述する。
【００３７】
このような点のため、多視点ビデオ画像を撮影するために使われるｎ台のカメラから入力される画像に対してカメラパラメータが存在するか否かを探索する過程が必要になる。
【００３８】
本実施形態では、カメラパラメータが入力ビデオ画像のスライス単位で、スライスヘッダに挿入されていると仮定し、該当ビデオ画像のスライスヘッダにカメラパラメータが挿入されているか否かを確認する。選択的に、カメラパラメータは、スライスヘッダではない他の位置に、スライス単位ではない他のサイズ、例えば、マクロブロック単位で挿入することも可能である。
【００３９】
多視点画像符号化部４４０では、入力されたそれぞれの画像に対して、カメラパラメータ情報の存否に基づいて符号化を行う。例えば、図３に示された画像のうち、ｆ（０,−１,１）、ｆ（０,０,１）、及びｆ（０,１,１）が何れもカメラパラメータを有する場合、ｆ（０,０,１）は、デコーダで隣接画像ｆ（０,−１,１）及びｆ（０,１,１）に基づいて補間することによって復元できるため、ｆ（０,０,１）画像の圧縮をスキップするか、圧縮後に伝送しないか、またはｆ（０,０,１）画像と、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）を利用して補間されたｆ’（０,０,１）との間の差分信号を圧縮して送ることが可能である。
【００４０】
本発明によれば、多視点ビデオ画像のうちデコーダで補間可能な画像の圧縮を選択的にスキップするか、圧縮された画像を伝送しないか、補間された画像の間の差分信号を圧縮して伝送させることによって、画質低下なしに画像圧縮の効率を顕著に向上させうる。
【００４１】
一方、本実施形態に付加的に含まれるカメラパラメータ情報挿入部４６０は、それぞれの画像について確認されたカメラパラメータの存否を表すカメラパラメータ情報を、多視点画像符号化部４４０で符号化されたビットストリームの所定の位置に挿入する。
【００４２】
本発明では、カメラパラメータ情報は、１ビットのＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇであって、各画像のスライスごとにスライスヘッドにシンタックスエレメントとして挿入する。カメラパラメータ情報の挿入された符号化されたビットストリームは、デコーダ（図示せず）に伝送される。
【００４３】
選択的にマクロブロック（Ｍａｃｒｏ Ｂｌｏｃｋ：ＭＢ）単位で挿入して伝送することも可能であり、また、画像情報とは別途の付加情報として伝送することも可能である。
【００４４】
図５は、図４に示された多視点画像の符号化装置で行われる多視点画像の符号化方法を示すフローチャートである。
【００４５】
ステップ５２０では、少なくとも一つ以上の多視点カメラから複数の画像データを入力される。
【００４６】
ステップ５４０では、現在画像及び隣接画像に対するカメラパラメータが存在するか否かを探索する。
【００４７】
ステップ５６０では、現在画像及び隣接画像に対するカメラパラメータの存否に基づいて適応的符号化を行う。
【００４８】
例えば、現在画像に対してカメラパラメータが存在しない場合、現在画像の圧縮のための符号化を進む。
【００４９】
一方、現在画像のカメラパラメータが存在する場合、現在画像の隣接画像に対してカメラパラメータが存在するか否かを判断する。隣接画像に対してカメラパラメータが存在する場合には、これらの隣接画像に基づいて、図４の多視点画像符号化部４４０で行われる適応的な符号化を行う。
【００５０】
本実施形態で付加的に含まれるステップ５８０では、カメラパラメータの存否を表す情報を符号化された画像データに挿入する。
【００５１】
以下では、図３を参照して、ステップ５６０及びステップ５８０で行われる手順を説明する。
【００５２】
現在画像のカメラパラメータが存在する場合、例えば、図３の場合、現在画像がｆ（０,０,１）である場合、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）がカメラパラメータを有する場合、現在画像ｆ（０,０,１）の符号化をスキップし、現在画像のカメラパラメータのみを伝送する。このとき、伝送されるビットストリーム、例えば、スライスヘッダに現在画像のカメラパラメータが存在するということを表すカメラパラメータフラグを挿入した後に伝送する。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）、これらの画像のカメラパラメータを利用して現在画像を復元する。
【００５３】
また、選択的に隣接画像ｆ（０,−１,１）及びｆ（０,１,１）がカメラパラメータを有する場合、現在画像と隣接画像とを利用して補間して得られた補間画像ｆ’（０,１,１）の間の差分データ、すなわち、ｆ（０,０,１）−ｆ’（０,０,１）及び現在画像のカメラパラメータのみを伝送する。このとき、伝送されるビットストリームに現在画像のカメラパラメータが存在するということを表すカメラパラメータフラグを挿入した後に伝送する。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、差分データ、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）、これらの隣接画像のカメラパラメータを利用して現在画像を復元する。
【００５４】
一方、最隣接画像のうち、一つのみがカメラパラメータを有する場合にも、現在画像の符号化をスキップし、現在画像のカメラパラメータのみを伝送せしめることも可能である。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、カメラパラメータを有する隣接画像、及びこの画像のカメラパラメータを利用して現在画像を復元する。また、カメラパラメータを有していない隣接画像に隣接した画像のうち、カメラパラメータを有する隣接画像、例えば、ｆ（０,−１,２）及びこれらの画像のカメラパラメータを利用して現在画像を復元することも可能である。ｆ（０,０,１）画像を復元するためにｆ（０,−１,２）を参照する場合には、ｆ（０,−１,２）がＰフレームであり、ｆ（０,０,１）画像がこれらを参照するＢフレームである場合に発生しうる。
【００５５】
図６は、本発明による多視点ビデオの符号化装置の他の実施形態を示す図である。
【００５６】
本発明による多視点ビデオ符号化装置は、カメラパラメータ探索部６２０、カメラパラメータ信頼度確認部６４０、多視点画像符号化部６６０、及びカメラパラメータ情報挿入部６８０を備える。
【００５７】
カメラパラメータ探索部６２０は、図４のカメラパラメータ探索部４２０と同じ機能を行うので、説明の便宜上、ここで詳細な説明は省略する。
【００５８】
カメラパラメータ信頼度確認部６４０は、カメラパラメータ探索部６２０でカメラパラメータが存在すると確認された画像に対して、該当カメラパラメータが信頼できる情報であるか否かを判断する。本実施形態では、該当画像の撮影時、カメラのズーミング及びパニングが発生した場合、カメラパラメータが信頼できないと判断する。選択的に、ズーミングまたはパニング以外に所定の条件、例えば、チルト、カメラの移動、カメラの焦点距離の変化によってカメラパラメータの信頼度を判断することも可能である。
【００５９】
例えば、図３に示された画像のうち、ｆ（０,−１,１）、ｆ（０,０,１）、及びｆ（０,１,１）が何れもカメラパラメータを有し、かつ信頼できる場合、ｆ（０,０,１）は、デコーダで隣接画像ｆ（０,−１,１）及びｆ（０,１,１）を利用して補間することによって求めるため、ｆ（０,０,１）画像の圧縮をスキップするか、圧縮後に伝送しないか、またはｆ（０,０,１）画像と、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）とを利用して補間されたｆ’（０,０,１）差分データを圧縮して送ることが可能である。この場合、ｆ（０,０,１）画像データを伝送しない場合にも、ｆ（０,０,１）画像の復元のためには、ｆ（０,０,１）画像のカメラパラメータは、デコーダに伝送されねばならない。
【００６０】
しかし、ｆ（０,−１,１）、ｆ（０,０,１）、及びｆ（０,１,１）が何れもカメラパラメータを有するが、ｆ（０,−１,１）画像の撮影時にズーミングまたはパニングが発生してカメラパラメータを信頼できない場合には、ｆ（０,０,１）は、デコーダで隣接画像ｆ（０,−１,１）及びｆ（０,１,１）から復元できないため、ｆ（０,０,１）画像を圧縮して伝送するか、またはｆ（０,０,１）画像と、隣接画像ｆ（０,１,１）及びｆ（０,−１,２）画像とを利用して補間されたｆ’（０,０,１）差分信号を圧縮して伝送せねばならない。それは、パニングが発生してカメラパラメータを信頼できなくなった画像に基づいて補間を行う場合、補間された画像に歪曲が発生する恐れがあるためである。
【００６１】
多視点画像符号化部６６０は、カメラパラメータ探索部６２０及びカメラパラメータ確認部６４０で得られたカメラパラメータの存在及び信頼度如何によって、入力画像に対して前述したような適応的な符号化を行う。
【００６２】
本実施形態で付加的に含まれるカメラパラメータ情報挿入部６８０は、それぞれの画像に対して探索及び確認されたカメラパラメータ情報を、２ビット情報、すなわち、カメラパラメータの存在を表すＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇ及びカメラパラメータの信頼度を表すＧｕａｒａｎｔｅｅｄＣａｍｅｒａＰａｒａｍｅｔｅｒＦｌａｇに対して、それぞれ１ビットずつ割当てられた情報で各画像のスライスごとにスライスヘッドにシンタックスエレメントとして挿入して伝送する。選択的にＭＢ単位で挿入して伝送するか、または画像情報とは別途の付加情報として伝送することも可能である。
【００６３】
図７は、図６に示された多視点画像符号化装置で行われる多視点画像符号化方法を説明するためのフローチャートである。
【００６４】
ステップ７１０では、少なくとも一つ以上の多視点カメラから複数の画像データを入力される。
【００６５】
ステップ７２０では、現在画像及び隣接画像についてのカメラパラメータが存在するか否かを探索する。
【００６６】
ステップ７３０では、現在画像及び隣接画像についてのカメラパラメータが何れも存在する場合には、ステップ７４０に進み、現在画像及び隣接画像のうち何れか一つのカメラパラメータが存在していない場合には、ステップ７５０に進む。
【００６７】
ステップ７４０では、現在画像及び隣接画像についてのカメラパラメータが信頼できるか否かを確認する。
【００６８】
ステップ７５０では、ステップ７２０及びステップ７４０でのカメラパラメータの存在及び信頼度確認結果に基づいて、現在画像に対する符号化を適応的に行う。
【００６９】
例えば、現在画像及び隣接画像のうち何れか一つに対してカメラパラメータが存在しない場合には、現在画像に対して符号化を進める。
【００７０】
一方、現在画像及び隣接画像に対してカメラパラメータが存在し、かつ信頼できる場合、例えば、図３を参照して、現在画像がｆ（０,０,１）である場合、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）がカメラパラメータを有する場合には、現在画像の符号化をスキップし、現在画像のカメラパラメータのみを伝送する。この場合、現在画像の復号化ステップでは、現在画像ｆ（０,０,１）のカメラパラメータ、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）、これらの画像のカメラパラメータを利用して現在画像を復元する。
【００７１】
また、ｆ（０,−１,１）、ｆ（０,０,１）、及びｆ（０,１,１）が何れもカメラパラメータを有するが、ｆ（０,−１,１）画像の撮影時にズーミングまたはパニングが発生してカメラパラメータが信頼できない場合には、ｆ（０,０,１）は、デコーダで隣接画像ｆ（０,−１,１）及びｆ（０,１,１）から復元できないため、ｆ（０,０,１）画像を圧縮して伝送するか、またはｆ（０,０,１）画像と、隣接画像ｆ（０,１,１）及びｆ（０,−１,２）画像を利用して補間されたｆ’（０,０,１）差分信号とを圧縮して送る。
【００７２】
本実施形態に付加的に含まれるステップ７６０では、カメラパラメータの存在及び信頼度を表すカメラパラメータ情報を符号化された画像データに挿入する。
【００７３】
例えば、現在画像の場合、ステップ７２０の探索結果、カメラパラメータが存在すると判断されたが、ステップ７４０での判断結果、カメラパラメータが信頼できないと確認された場合、符号化されたビットストリームのスライスヘッダにカメラパラメータが存在するが、信頼できないということを表すカメラパラメータフラグを挿入する。本実施形態では、カメラパラメータの存在及び信頼できるかを表すカメラパラメータ情報を２ビットのフラグとしてスライス単位でスライスヘッダに挿入する。
【００７４】
図８は、本発明の一実施形態による多視点画像復号化装置を示すブロック図である。
【００７５】
本発明による多視点画像復号化装置は、ビットストリームの復元及びカメラパラメータ抽出部８２０及び多視点画像生成部８４０を備える。
【００７６】
ビットストリーム復元及びカメラパラメータ抽出部８２０は、入力されたビットストリームを復元しつつ、それぞれの画像に対してカメラパラメータ情報が存在するか否かを検出する。本実施形態では、各画像のスライスヘッダに含まれた１ビットのカメラパラメータ情報、すなわち、Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇに基づいて、各画像に対するカメラパラメータの存否を確認する。ここで、Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇが１である場合には、カメラパラメータが存在することを表し、Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇが０である場合には、カメラパラメータが存在しないことを表す。
【００７７】
多視点画像生成部８４０は、カメラパラメータ抽出部８２０で検出されたカメラパラメータ情報に基づいて、多視点画像及び任意時点、例えば、中間時点での補間画像を生成する。
【００７８】
例えば、エンコーダで、図３のように、画像ｆ（０,−１,１）及びｆ（０,１,１）に対してカメラパラメータが存在し、ｆ（０,０,１）画像のデータが伝送されなかったか、または隣接画像ｆ（０,−１,１）及びｆ（０,１,１）を利用して補間された画像との差分信号のみが伝送された場合、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）、これらの画像のカメラパラメータ、及びｆ（０,０,１）画像のカメラパラメータに基づいて画像ｆ（０,０,１）を復元する。
【００７９】
以下では、図９を参照して、例えば、入力画像ｆ（０,０,０）、ｆ（０,０,１）、及びｆ（０,−１,０）のＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇが１であり、ｆ（０,−１,１）画像のＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇは０である場合、すなわち、ｆ（０,０,０）、ｆ（０,０,１）、及びｆ（０,−１,０）画像に対しては、カメラパラメータが存在するが、ｆ（０,−１,１）画像に対しては、カメラパラメータは存在しない場合、任意時点での補間画像の生成方法を説明する。
【００８０】
図９で、画像ｆ（０,０,１）とｆ（０,０,０）との中間時点画像であるｆ（０,０,１／２）を補間しようとする場合、多視点画像生成部８４０は、画像ｆ（０,０,１）及びｆ（０,０,０）のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが何れも１である場合にのみ、これらの画像に基づいて補間を行う。本実施形態では、これらの画像のカメラパラメータのフラグが１であるため、これらの画像に基づいて中間時点画像ｆ（０,０,１／２）を生成することが可能である。
【００８１】
一方、画像ｆ（０,−１,１）とｆ（０,−１,０）との中間時点画像であるｆ（０,−１,１／２）を補間しようとする場合、これらの画像のうち、画像ｆ（０,−１,１）のカメラパラメータのフラグが０、すなわち、画像ｆ（０,−１,１）のカメラパラメータが存在しないため、画像ｆ（０,−１,０）のみを参照して補間を行うか、または画像ｆ（０,−１,２）のカメラパラメータフラグが１である場合、画像ｆ（０,−１,０）及び画像ｆ（０,−１,２）に基づいて中間時点画像ｆ（０,−１,１／２）を生成する。
【００８２】
一方、画像ｆ（０,−１,１）、ｆ（０,０,１）、ｆ（０,０,０）、及びｆ（０,−１,０）の間の中間時点画像であるｆ（０,−１／２,１／２）を生成しようとする場合、多視点画像生成部８４０は、これらの画像のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが１である画像に基づいて補間を行う。本実施形態では、これらの画像のうち、画像ｆ（０,−１,１）のカメラパラメータのフラグが０、すなわち、画像ｆ（０,−１,１）のカメラパラメータが存在しないため、残りの画像、すなわち、ｆ（０,０,１）、ｆ（０,０,０）、及びｆ（０,−１,０）に基づいて補間を行う。
【００８３】
多視点画像生成部８４０で生成された多視点画像及び選択的に生成された中間時点画像は、ディスプレイ部（図示せず）に伝送されてディスプレイされる。
【００８４】
このように、入力画像のカメラパラメータの存否に基づいて、中間時点画像を適応的に生成することによって、生成される中間時点画像の画質を改善することが可能である。
【００８５】
以下では、図８を参照して、本発明のさらに他の実施形態による多視点画像復号化装置を説明する。
【００８６】
さらに他の実施形態によるビットストリーム復元及びカメラパラメータ抽出部８２０は、入力されたビットストリームを復元しつつ、それぞれの画像に対してカメラパラメータが存在するか否かを検出する。本実施形態では、各画像のスライスヘッダに含まれた２ビットのカメラパラメータフラグ、すなわち、Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇ及びＧｕａｒａｎｔｅｅｄ＿Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｆｌａｇに基づいて、各画像に対するカメラパラメータの存否及びカメラパラメータの信頼度を確認する。
【００８７】
また、多視点画像生成部８４０は、カメラパラメータ抽出部８２０から抽出されたカメラパラメータ情報に基づいて、多視点画像及び選択的に中間時点での補間画像を生成する。
【００８８】
例えば、エンコーダで図３のように、画像ｆ（０,−１,１）及びｆ（０,１,１）に対してカメラパラメータが存在し、カメラパラメータを信頼でき、ｆ（０,０,１）画像のデータが伝送されていない場合、隣接画像のうちカメラパラメータが存在し、信頼できる画像、例えば、ｆ（０,−１,１）及びｆ（０,１,１）、これらの画像のカメラパラメータ、及びｆ（０,０,１）画像のカメラパラメータに基づいて、画像ｆ（０,０,１）を復元する。
【００８９】
また、画像ｆ（０,−１,１）及びｆ（０,１,１）に対してカメラパラメータが存在するが、画像ｆ（０,−１,１）のカメラパラメータを信頼できず、ｆ（０,０,１）画像と、ｆ（０,−２,１）及びｆ（０,１,１）によって補間された画像との差分データが伝送された場合、伝送された差分データ、画像ｆ（０,−２,１）及びｆ（０,１,１）データ、これらの画像のカメラパラメータ、及びｆ（０,０,１）画像のカメラパラメータに基づいて、画像ｆ（０,０,１）を復元する。
【００９０】
以下では、図１０を参照して、例えば、入力画像ｆ（０,０,０）、ｆ（０,−１,０）、及びｆ（０,０,１）のＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇ及びＧｕａｒａｎｔｅｅｄ＿Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｆｌａｇが１１であり、ｆ（０,−１,１）画像のＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇ及びＧｕａｒａｎｔｅｅｄ＿Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｆｌａｇは１０である場合、すなわち、ｆ（０,０,０）、ｆ（０,−１,０）、及びｆ（０,０,１）画像については、カメラパラメータが存在し、かつ信頼できる場合、ｆ（０,−１,１）画像については、カメラパラメータは存在するが、信頼できない場合、任意時点での補間画像の生成方法を説明する。
【００９１】
図１０で、画像ｆ（０,０,１）とｆ（０,０,０）との中間時点画像であるｆ（０,０,１／２）を補間しようとする場合、多視点画像生成部８４０は、画像ｆ（０,０,１）及びｆ（０,０,０）のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが何れも１１である場合にのみ、これらの画像に基づいて補間を行う。本実施形態では、これらの画像のカメラパラメータのフラグが１１であるため、これらの画像に基づいて、中間時点画像ｆ（０,０,１／２）を生成することが可能である。
【００９２】
一方、画像ｆ（０,−１,１）とｆ（０,−１,０）との中間時点画像であるｆ（０,−１,１／２）を補間しようとする場合、これらの画像のうち、画像ｆ（０,−１,１）のカメラパラメータのフラグが１０、すなわち、画像ｆ（０,−１,１）のカメラパラメータが存在するが、信頼できないため、画像ｆ（０,−１,０）のみを参照して補間するか、または画像ｆ（０,−１,２）のカメラパラメータが１１である場合、画像ｆ（０,−１,０）及び画像ｆ（０,−１,２）に基づいて中間時点画像ｆ（０,−１,１／２）を生成する。
【００９３】
一方、画像ｆ（０,−１,１）、ｆ（０,０,１）、ｆ（０,０,０）、及びｆ（０,−１,０）の間の中間時点画像であるｆ（０,−１／２,１／２）を生成しようとする場合、多視点画像生成部８４０は、これらの画像のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが１１である画像に基づいて補間を行う。本実施形態では、これらの画像のうち、画像ｆ（０,−１,１）のカメラパラメータのフラグが１０、すなわち、画像ｆ（０,−１,１）のカメラパラメータが存在するが、信頼できないため、残りの画像、すなわち、ｆ（０,０,１）、ｆ（０,０,０）、及びｆ（０,−１,０）に基づいて補間を行う。
【００９４】
多視点画像生成部８４０で生成された多視点画像及び選択的に生成された中間時点画像は、ディスプレイ部（図示せず）に伝送されてディスプレイされる。
【００９５】
図１１は、図８に示された本発明の一実施形態による多視点画像の復号化装置で行われる復号化方法を説明するためのフローチャートである。
【００９６】
ステップ１１２０では、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出する。
【００９７】
ステップ１１４０では、ステップ１１２０で抽出されたカメラパラメータ情報に基づいて選択された所定画像を生成する。
【００９８】
本実施形態では、抽出されたカメラパラメータ情報に基づいて、所定画像の補間のために参照する画像を決定する。次いで、決定された参照画像に基づいて、図８の多視点画像生成部８４０で行われる所定画像の補間を行う。
【００９９】
本願の一実施形態では、前記カメラパラメータ情報が、画像のそれぞれに対するカメラパラメータの存否のみを表す場合には、前記補間しようとする所定画像の隣接画像のうち、カメラパラメータが存在する隣接画像のみを参照画像として決定する。
【０１００】
本願の他の実施形態では、前記カメラパラメータ情報が、画像のそれぞれに対するカメラパラメータの存在及び信頼度を表す場合には、前記補間しようとする所定画像の隣接画像のうち、カメラパラメータが存在し、かつ信頼できる隣接画像のみを参照画像として決定する。
【０１０１】
一方、前述した多視点画像の符号化及び復号化方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論される。また、前記プログラムは、コンピュータで読み取り可能な情報記録媒体に保存され、コンピュータによって読まれて実行されることによって、多視点画像の符号化及び復号化方法を具現する。前記情報記録媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。
【０１０２】
以上、本発明について、その望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されることが理解できるであろう。したがって、開示された実施形態は、限定的な観点でなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明でなく、特許請求範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【符号の説明】
【０１０３】
４２０：カメラパラメータ探索部
４４０：多視点画像符号化部
４６０：カメラパラメータ情報挿入部
６２０：カメラパラメータ探索部
６４０：カメラパラメータ信頼度確認部
６６０：多視点画像符号化部
６８０：カメラパラメータ情報挿入部
８２０：ビットストリーム復元及びカメラパラメータ情報抽出部
８４０：多視点画像生成部
【特許請求の範囲】
【請求項１】
カメラパラメータ情報を利用した多視点画像の生成方法において、
入力ビットストリームから、所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、
前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含み、
前記カメラパラメータ情報は、前記それぞれの画像におけるカメラの位置情報を含むカメラの非本質的特性に関する非固有カメラパラメータの存在を表すフラグを含む、
ことを特徴とする方法。
【請求項２】
前記所定画像を生成するステップは、前記抽出されたカメラパラメータ情報に基づいて、所定画像の生成のために参照する画像を決定するステップと、前記決定された参照画像に基づいて、所定画像を生成するステップとを含む、
ことを特徴とする請求項１記載の方法。
【請求項３】
前記カメラパラメータ情報は、カメラパラメータの信頼度を表すフラグをさらに含む、
ことを特徴とする請求項１記載の方法。
【請求項４】
前記カメラパラメータは、カメラの位置情報を含む、
ことを特徴とする請求項１記載の方法。
【請求項５】
前記入力ビットストリームには、前記それぞれの画像についてのカメラパラメータの信頼度を表すカメラパラメータ情報が挿入されている、
ことを特徴とする請求項１記載の方法。
【請求項６】
前記所定の画像単位は、スライス単位であり、前記カメラパラメータの信頼度を表すカメラパラメータ情報が、入力ビットストリームのスライスヘッダに２ビット情報として挿入されている、
ことを特徴とする請求項５記載の方法。
【請求項１】
カメラパラメータ情報を利用した多視点画像の生成方法において、
入力ビットストリームから、所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、
前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含み、
前記カメラパラメータ情報は、前記それぞれの画像におけるカメラの位置情報を含むカメラの非本質的特性に関する非固有カメラパラメータの存在を表すフラグを含む、
ことを特徴とする方法。
【請求項２】
前記所定画像を生成するステップは、前記抽出されたカメラパラメータ情報に基づいて、所定画像の生成のために参照する画像を決定するステップと、前記決定された参照画像に基づいて、所定画像を生成するステップとを含む、
ことを特徴とする請求項１記載の方法。
【請求項３】
前記カメラパラメータ情報は、カメラパラメータの信頼度を表すフラグをさらに含む、
ことを特徴とする請求項１記載の方法。
【請求項４】
前記カメラパラメータは、カメラの位置情報を含む、
ことを特徴とする請求項１記載の方法。
【請求項５】
前記入力ビットストリームには、前記それぞれの画像についてのカメラパラメータの信頼度を表すカメラパラメータ情報が挿入されている、
ことを特徴とする請求項１記載の方法。
【請求項６】
前記所定の画像単位は、スライス単位であり、前記カメラパラメータの信頼度を表すカメラパラメータ情報が、入力ビットストリームのスライスヘッダに２ビット情報として挿入されている、
ことを特徴とする請求項５記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１８６８３７（Ｐ２０１２−１８６８３７Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１２−１１０７８２（Ｐ２０１２−１１０７８２）
【出願日】平成２４年５月１４日（２０１２．５．１４）
【分割の表示】特願２００８−５０３９５１（Ｐ２００８−５０３９５１）の分割
【原出願日】平成１８年３月３０日（２００６．３．３０）
【出願人】（５０７３１４７５２）インダストリー−アカデミア コオペレーション グループ オブ セジョン ユニヴァーシティ (4)
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２４年５月１４日（２０１２．５．１４）
【分割の表示】特願２００８−５０３９５１（Ｐ２００８−５０３９５１）の分割
【原出願日】平成１８年３月３０日（２００６．３．３０）
【出願人】（５０７３１４７５２）インダストリー−アカデミア コオペレーション グループ オブ セジョン ユニヴァーシティ (4)
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
[ Back to top ]