カメラパラメータを利用した多視点画像の生成方法
【課題】カメラパラメータ情報を利用した多視点画像の生成方法を提供する。
【解決手段】本発明の多視点画像の生成方法は、入力ビットストリームから、所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップ、抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップとを含み、カメラパラメータ情報は、それぞれの画像におけるカメラ所定距離及び主点を含むカメラの固有特性を表すカメラパラメータの存在を表すフラグを含む。
【解決手段】本発明の多視点画像の生成方法は、入力ビットストリームから、所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップ、抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップとを含み、カメラパラメータ情報は、それぞれの画像におけるカメラ所定距離及び主点を含むカメラの固有特性を表すカメラパラメータの存在を表すフラグを含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画符号化及び復号化に係り、さらに詳細には、カメラパラメータを利用した多視点画像の生成方法に関する。
【背景技術】
【0002】
MPEG−4(Moving Picture Experts Group Layer−4)及びH.264での動画符号化は、一つのカメラで撮った動画の符号化に係り、符号化効率の上昇に主に焦点が合わせられている。しかし、実感通信や仮想現実などの分野では、数台のカメラを使用して一つのシーンを撮ることによって、多視点を有する3次元動画を構成し、このように構成された多視点画像の効率的な圧縮符号化及び再生のための方法が必要である。
【0003】
しかし、従来の圧縮符号化及び再生方法は、単一カメラで生成された画像の圧縮符号化及び再生に係り、本願発明で適用しようとする多視点画像に対しては、効率的に適用し難いという問題点があった。
【0004】
従来の多視点エンコーディング方法は、米国特許公開第2004/0027452A1号公報に開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、多視点画像に適用されるカメラパラメータを利用した多視点画像の効率的な符号化方法と生成方法、及びその装置を提供することである。
【0006】
また、本発明が解決しようとする課題は、多視点画像に適用されるカメラパラメータを利用した多視点画像の効率的な符号化方法及び生成方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供することである。
【課題を解決するための手段】
【0007】
前記課題は、本発明による多視点画像の符号化方法において、少なくとも一つ以上の多視点カメラから複数の画像データを入力されるステップと、入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するステップと、カメラパラメータの存否に基づいて、画像単位の複数の画像データそれぞれの符号化を適応的に行うステップと、を含む符号化方法によって達成される。
【0008】
本発明による符号化方法は、カメラパラメータの存否を表す情報を、符号化された画像データに挿入するステップをさらに含むことが望ましい。
【0009】
本発明による符号化方法は、カメラパラメータが存在する場合、カメラパラメータの信頼度を確認するステップをさらに含むことが望ましい。
【0010】
本発明による符号化方法で、カメラパラメータは、カメラの固有特性を表す固有パラメータまたは非本質的な特性を表す非固有パラメータのうち少なくとも一つを含み、固有パラメータは、カメラ焦点距離、主点、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のうち少なくとも一つの値を含み、非固有パラメータは、カメラの位置情報を含むことが望ましい。
【0011】
本発明による符号化方法において、カメラパラメータの信頼度判断は、該当カメラに対してズーミング、パニングが発生するか否かによって決定することが望ましい。
【0012】
本発明による符号化方法において、複数の画像の適応的符号化時に、前記カメラパラメータが存在する画像のみを参照画像として使用することが望ましい。
【0013】
本発明による符号化方法において、複数の画像の適応的符号化時に、カメラパラメータが存在し、カメラパラメータが信頼度があると確認された画像のみを参照画像として使用することが望ましい。
【0014】
本発明による符号化方法において、所定の画像単位は、スライス単位であり、カメラパラメータの存在及び信頼度を表すカメラパラメータ情報は、スライスヘッダごとに2ビットのフラグで表示することが望ましい。
【0015】
前記課題は、少なくとも一つ以上の多視点カメラから複数の画像データを入力されるステップと、入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するステップと、カメラパラメータの存否に基づいて、画像単位の複数の画像データそれぞれの符号化を適応的に行うステップと、を含む多視点画像の符号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体によっても達成される。
【0016】
前記課題は、本発明による多視点画像の符号化装置において、少なくとも一つ以上の多視点カメラから複数の画像データを入力される入力部と、前記入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するカメラパラメータ探索部と、前記カメラパラメータの存否に基づいて、前記画像単位の複数の画像データそれぞれの符号化を適応的に行う符号化部と、を備える符号化装置によっても達成される。
【0017】
前記課題は、本発明による多視点画像の符号化方法において、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索するステップと、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行うステップと、を含む符号化方法によっても達成される。
【0018】
前記課題は、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索するステップと、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行うステップと、を含む多視点画像の符号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体によっても達成される。
【0019】
前記課題は、多視点画像の符号化装置において、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索する探索部と、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行う符号化部と、を備える符号化装置によっても達成される。
【0020】
前記課題は、カメラパラメータ情報を利用した多視点画像の生成方法において、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含む多視点画像の生成方法によっても達成される。
【0021】
前記課題は、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含むカメラパラメータ情報を利用した多視点画像の生成方法を行うためのプログラムが記録された記録媒体によっても達成される。
【0022】
前記課題は、カメラパラメータ情報を利用した多視点画像の生成装置において、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するカメラパラメータ情報抽出部と、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成する画像生成部と、を備える装置によっても達成される。
【発明の効果】
【0023】
本発明によれば、カメラパラメータの存否及び信頼度如何に基づいて、適応的な符号化を行うことによって圧縮効率を高め、また、入力ビットストリームに挿入されたカメラパラメータ情報に基づいて、多視点中間画像を適応的に生成することによって、ディスプレイされる画像の画質を改善することが可能である。
【図面の簡単な説明】
【0024】
【図1】多視点画像を得るためのカメラの位置を示す図である。
【図2】複数のカメラによってキャップチャされた画像を経時的に示す図である。
【図3】本発明に適用される視空間的予測の符号化方法を説明するための図である。
【図4】本発明の一実施形態による多視点画像の符号化装置を示す図である。
【図5】本発明の一実施形態による多視点画像の符号化方法を説明するためのフローチャートである。
【図6】本発明の一実施形態による多視点画像の符号化装置を示す図である。
【図7】本発明の一実施形態による多視点画像の符号化方法を説明するためのフローチャートである。
【図8】本発明の一実施形態による多視点画像の復号化装置を示す図である。
【図9】本発明の一実施形態による中間時点画像を生成するための方法を説明するための図である。
【図10】本発明の一実施形態による中間時点画像を生成するための方法を説明するための図である。
【図11】本発明の一実施形態による多視点画像の復号化装置で行われる復号化方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0025】
以下、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
【0026】
図1は、一列に位置しているカメラから複数の画像データを受けて符号化することを説明するための図である。図1を参照するに、数台のカメラが一次元的なライン上に一列に位置している。本発明では、i軸とj軸とで構成される2次元上にカメラが存在すると仮定するが、優先的に一次元的にカメラが存在する場合を説明するために、i=0である場合を例として説明する。
【0027】
図2は、複数のカメラが撮った画像を経時的に示す図である。ここで、カメラが撮った所定時間での画像をf(i,j,t)とする。このとき、i、jは、カメラの位置を意味し、tは、時間を意味する。図1及び図2で、カメラは、一次元的に一列に存在するので、iは、0である場合である。例えば、f(0,0,0)は、最初に中心位置のカメラが撮った画像を意味する。
【0028】
図3は、本発明で適用される視空間予測符号化方法を説明するための図である。図3を参照するに、中央位置に存在するカメラの画像のうち、f(0,0,2)は、隣接カメラの画像、すなわち、f(0,−1,2)、f(0,−1,1)、f(0,0,1)、f(0,1,1)、f(0,1,2)を参照画像として符号化が可能である。このような視空間符号化方法を適用する場合、より多くの参照画像を使用することが可能であるため、復元された画像の質が高まる。
【0029】
図4は、本発明による多視点ビデオの符号化装置の一実施形態を示す図である。
【0030】
本発明による多視点ビデオ符号化装置は、カメラパラメータ探索部420、多視点画像符号化部440、カメラパラメータ情報挿入部460を備える。
【0031】
カメラパラメータ探索部420は、複数のカメラから入力されるデータから入力されたそれぞれの画像に対して、カメラの特性情報、例えば、カメラごとに存在するカメラパラメータについての情報を探索する。カメラパラメータには、カメラ固有のパラメータとカメラ固有の特性でない、非固有的なパラメータとがある。
【0032】
カメラの固有パラメータは、カメラ焦点距離、主点、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のような値を含む。また、非固有的なパラメータは、世界座標系でのカメラの座標、x、y、z座標上でのラジアンまたは角度のようなカメラの位置情報を含む。
【0033】
カメラパラメータ探索部420は、入力される多視点画像のそれぞれに対して、このようなカメラパラメータが存在するか否かを探索し、探索結果を多視点画像符号化部440に伝送する。
【0034】
多視点画像を生成する複数のカメラによって、カメラパラメータを送ることが可能でない場合があるため、このようなカメラパラメータが存在するか否かを確認することが必要になる。例えば、所定のカメラから入力された画像にカメラパラメータが存在しない場合、隣接画像の符号化時にカメラパラメータが存在しない該当画像を使用して、任意の多視点画像、すなわち、中間時点画像が補間できなくなる。
【0035】
例えば、図3の場合、f(0,0,1)画像に対してのみカメラパラメータが存在し、f(0,−1,1)画像に対しては、カメラパラメータが存在しない場合、これらの二つの画像に基づいて、これらの二つの画像の間に存在する画像f(0,−1/2,1)が補間できなくなる。この場合、例えば、f(0,−2,1)画像に対してカメラパラメータが存在する場合、f(0,0,1)画像及びf(0,−2,1)画像に基づいて、画像f(0,−1/2,1)を補間せねばならない。
【0036】
また、各画像に対してカメラパラメータが存在するか否かは、画像データの符号化時に有用に使われるが、これについては後述する。
【0037】
このような点のため、多視点ビデオ画像を撮影するために使われるn台のカメラから入力される画像に対してカメラパラメータが存在するか否かを探索する過程が必要になる。
【0038】
本実施形態では、カメラパラメータが入力ビデオ画像のスライス単位で、スライスヘッダに挿入されていると仮定し、該当ビデオ画像のスライスヘッダにカメラパラメータが挿入されているか否かを確認する。選択的に、カメラパラメータは、スライスヘッダではない他の位置に、スライス単位ではない他のサイズ、例えば、マクロブロック単位で挿入することも可能である。
【0039】
多視点画像符号化部440では、入力されたそれぞれの画像に対して、カメラパラメータ情報の存否に基づいて符号化を行う。例えば、図3に示された画像のうち、f(0,−1,1)、f(0,0,1)、及びf(0,1,1)が何れもカメラパラメータを有する場合、f(0,0,1)は、デコーダで隣接画像f(0,−1,1)及びf(0,1,1)に基づいて補間することによって復元できるため、f(0,0,1)画像の圧縮をスキップするか、圧縮後に伝送しないか、またはf(0,0,1)画像と、隣接画像f(0,−1,1)及びf(0,1,1)を利用して補間されたf’(0,0,1)との間の差分信号を圧縮して送ることが可能である。
【0040】
本発明によれば、多視点ビデオ画像のうちデコーダで補間可能な画像の圧縮を選択的にスキップするか、圧縮された画像を伝送しないか、補間された画像の間の差分信号を圧縮して伝送させることによって、画質低下なしに画像圧縮の効率を顕著に向上させうる。
【0041】
一方、本実施形態に付加的に含まれるカメラパラメータ情報挿入部460は、それぞれの画像について確認されたカメラパラメータの存否を表すカメラパラメータ情報を、多視点画像符号化部440で符号化されたビットストリームの所定の位置に挿入する。
【0042】
本発明では、カメラパラメータ情報は、1ビットのCamera_Parameter_Existing_Flagであって、各画像のスライスごとにスライスヘッドにシンタックスエレメントとして挿入する。カメラパラメータ情報の挿入された符号化されたビットストリームは、デコーダ(図示せず)に伝送される。
【0043】
選択的にマクロブロック(Macro Block:MB)単位で挿入して伝送することも可能であり、また、画像情報とは別途の付加情報として伝送することも可能である。
【0044】
図5は、図4に示された多視点画像の符号化装置で行われる多視点画像の符号化方法を示すフローチャートである。
【0045】
ステップ520では、少なくとも一つ以上の多視点カメラから複数の画像データを入力される。
【0046】
ステップ540では、現在画像及び隣接画像に対するカメラパラメータが存在するか否かを探索する。
【0047】
ステップ560では、現在画像及び隣接画像に対するカメラパラメータの存否に基づいて適応的符号化を行う。
【0048】
例えば、現在画像に対してカメラパラメータが存在しない場合、現在画像の圧縮のための符号化を進む。
【0049】
一方、現在画像のカメラパラメータが存在する場合、現在画像の隣接画像に対してカメラパラメータが存在するか否かを判断する。隣接画像に対してカメラパラメータが存在する場合には、これらの隣接画像に基づいて、図4の多視点画像符号化部440で行われる適応的な符号化を行う。
【0050】
本実施形態で付加的に含まれるステップ580では、カメラパラメータの存否を表す情報を符号化された画像データに挿入する。
【0051】
以下では、図3を参照して、ステップ560及びステップ580で行われる手順を説明する。
【0052】
現在画像のカメラパラメータが存在する場合、例えば、図3の場合、現在画像がf(0,0,1)である場合、隣接画像f(0,−1,1)及びf(0,1,1)がカメラパラメータを有する場合、現在画像f(0,0,1)の符号化をスキップし、現在画像のカメラパラメータのみを伝送する。このとき、伝送されるビットストリーム、例えば、スライスヘッダに現在画像のカメラパラメータが存在するということを表すカメラパラメータフラグを挿入した後に伝送する。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、隣接画像f(0,−1,1)及びf(0,1,1)、これらの画像のカメラパラメータを利用して現在画像を復元する。
【0053】
また、選択的に隣接画像f(0,−1,1)及びf(0,1,1)がカメラパラメータを有する場合、現在画像と隣接画像とを利用して補間して得られた補間画像f’(0,1,1)の間の差分データ、すなわち、f(0,0,1)−f’(0,0,1)及び現在画像のカメラパラメータのみを伝送する。このとき、伝送されるビットストリームに現在画像のカメラパラメータが存在するということを表すカメラパラメータフラグを挿入した後に伝送する。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、差分データ、隣接画像f(0,−1,1)及びf(0,1,1)、これらの隣接画像のカメラパラメータを利用して現在画像を復元する。
【0054】
一方、最隣接画像のうち、一つのみがカメラパラメータを有する場合にも、現在画像の符号化をスキップし、現在画像のカメラパラメータのみを伝送せしめることも可能である。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、カメラパラメータを有する隣接画像、及びこの画像のカメラパラメータを利用して現在画像を復元する。また、カメラパラメータを有していない隣接画像に隣接した画像のうち、カメラパラメータを有する隣接画像、例えば、f(0,−1,2)及びこれらの画像のカメラパラメータを利用して現在画像を復元することも可能である。f(0,0,1)画像を復元するためにf(0,−1,2)を参照する場合には、f(0,−1,2)がPフレームであり、f(0,0,1)画像がこれらを参照するBフレームである場合に発生しうる。
【0055】
図6は、本発明による多視点ビデオの符号化装置の他の実施形態を示す図である。
【0056】
本発明による多視点ビデオ符号化装置は、カメラパラメータ探索部620、カメラパラメータ信頼度確認部640、多視点画像符号化部660、及びカメラパラメータ情報挿入部680を備える。
【0057】
カメラパラメータ探索部620は、図4のカメラパラメータ探索部420と同じ機能を行うので、説明の便宜上、ここで詳細な説明は省略する。
【0058】
カメラパラメータ信頼度確認部640は、カメラパラメータ探索部620でカメラパラメータが存在すると確認された画像に対して、該当カメラパラメータが信頼できる情報であるか否かを判断する。本実施形態では、該当画像の撮影時、カメラのズーミング及びパニングが発生した場合、カメラパラメータが信頼できないと判断する。選択的に、ズーミングまたはパニング以外に所定の条件、例えば、チルト、カメラの移動、カメラの焦点距離の変化によってカメラパラメータの信頼度を判断することも可能である。
【0059】
例えば、図3に示された画像のうち、f(0,−1,1)、f(0,0,1)、及びf(0,1,1)が何れもカメラパラメータを有し、かつ信頼できる場合、f(0,0,1)は、デコーダで隣接画像f(0,−1,1)及びf(0,1,1)を利用して補間することによって求めるため、f(0,0,1)画像の圧縮をスキップするか、圧縮後に伝送しないか、またはf(0,0,1)画像と、隣接画像f(0,−1,1)及びf(0,1,1)とを利用して補間されたf’(0,0,1)差分データを圧縮して送ることが可能である。この場合、f(0,0,1)画像データを伝送しない場合にも、f(0,0,1)画像の復元のためには、f(0,0,1)画像のカメラパラメータは、デコーダに伝送されねばならない。
【0060】
しかし、f(0,−1,1)、f(0,0,1)、及びf(0,1,1)が何れもカメラパラメータを有するが、f(0,−1,1)画像の撮影時にズーミングまたはパニングが発生してカメラパラメータを信頼できない場合には、f(0,0,1)は、デコーダで隣接画像f(0,−1,1)及びf(0,1,1)から復元できないため、f(0,0,1)画像を圧縮して伝送するか、またはf(0,0,1)画像と、隣接画像f(0,1,1)及びf(0,−1,2)画像とを利用して補間されたf’(0,0,1)差分信号を圧縮して伝送せねばならない。それは、パニングが発生してカメラパラメータを信頼できなくなった画像に基づいて補間を行う場合、補間された画像に歪曲が発生する恐れがあるためである。
【0061】
多視点画像符号化部660は、カメラパラメータ探索部620及びカメラパラメータ確認部640で得られたカメラパラメータの存在及び信頼度如何によって、入力画像に対して前述したような適応的な符号化を行う。
【0062】
本実施形態で付加的に含まれるカメラパラメータ情報挿入部680は、それぞれの画像に対して探索及び確認されたカメラパラメータ情報を、2ビット情報、すなわち、カメラパラメータの存在を表すCamera_Parameter_Existing_Flag及びカメラパラメータの信頼度を表すGuaranteedCameraParameterFlagに対して、それぞれ1ビットずつ割当てられた情報で各画像のスライスごとにスライスヘッドにシンタックスエレメントとして挿入して伝送する。選択的にMB単位で挿入して伝送するか、または画像情報とは別途の付加情報として伝送することも可能である。
【0063】
図7は、図6に示された多視点画像符号化装置で行われる多視点画像符号化方法を説明するためのフローチャートである。
【0064】
ステップ710では、少なくとも一つ以上の多視点カメラから複数の画像データを入力される。
【0065】
ステップ720では、現在画像及び隣接画像についてのカメラパラメータが存在するか否かを探索する。
【0066】
ステップ730では、現在画像及び隣接画像についてのカメラパラメータが何れも存在する場合には、ステップ740に進み、現在画像及び隣接画像のうち何れか一つのカメラパラメータが存在していない場合には、ステップ750に進む。
【0067】
ステップ740では、現在画像及び隣接画像についてのカメラパラメータが信頼できるか否かを確認する。
【0068】
ステップ750では、ステップ720及びステップ740でのカメラパラメータの存在及び信頼度確認結果に基づいて、現在画像に対する符号化を適応的に行う。
【0069】
例えば、現在画像及び隣接画像のうち何れか一つに対してカメラパラメータが存在しない場合には、現在画像に対して符号化を進める。
【0070】
一方、現在画像及び隣接画像に対してカメラパラメータが存在し、かつ信頼できる場合、例えば、図3を参照して、現在画像がf(0,0,1)である場合、隣接画像f(0,−1,1)及びf(0,1,1)がカメラパラメータを有する場合には、現在画像の符号化をスキップし、現在画像のカメラパラメータのみを伝送する。この場合、現在画像の復号化ステップでは、現在画像f(0,0,1)のカメラパラメータ、隣接画像f(0,−1,1)及びf(0,1,1)、これらの画像のカメラパラメータを利用して現在画像を復元する。
【0071】
また、f(0,−1,1)、f(0,0,1)、及びf(0,1,1)が何れもカメラパラメータを有するが、f(0,−1,1)画像の撮影時にズーミングまたはパニングが発生してカメラパラメータが信頼できない場合には、f(0,0,1)は、デコーダで隣接画像f(0,−1,1)及びf(0,1,1)から復元できないため、f(0,0,1)画像を圧縮して伝送するか、またはf(0,0,1)画像と、隣接画像f(0,1,1)及びf(0,−1,2)画像を利用して補間されたf’(0,0,1)差分信号とを圧縮して送る。
【0072】
本実施形態に付加的に含まれるステップ760では、カメラパラメータの存在及び信頼度を表すカメラパラメータ情報を符号化された画像データに挿入する。
【0073】
例えば、現在画像の場合、ステップ720の探索結果、カメラパラメータが存在すると判断されたが、ステップ740での判断結果、カメラパラメータが信頼できないと確認された場合、符号化されたビットストリームのスライスヘッダにカメラパラメータが存在するが、信頼できないということを表すカメラパラメータフラグを挿入する。本実施形態では、カメラパラメータの存在及び信頼できるかを表すカメラパラメータ情報を2ビットのフラグとしてスライス単位でスライスヘッダに挿入する。
【0074】
図8は、本発明の一実施形態による多視点画像復号化装置を示すブロック図である。
【0075】
本発明による多視点画像復号化装置は、ビットストリームの復元及びカメラパラメータ抽出部820及び多視点画像生成部840を備える。
【0076】
ビットストリーム復元及びカメラパラメータ抽出部820は、入力されたビットストリームを復元しつつ、それぞれの画像に対してカメラパラメータ情報が存在するか否かを検出する。本実施形態では、各画像のスライスヘッダに含まれた1ビットのカメラパラメータ情報、すなわち、Camera_Parameter_Existing_Flagに基づいて、各画像に対するカメラパラメータの存否を確認する。ここで、Camera_Parameter_Existing_Flagが1である場合には、カメラパラメータが存在することを表し、Camera_Parameter_Existing_Flagが0である場合には、カメラパラメータが存在しないことを表す。
【0077】
多視点画像生成部840は、カメラパラメータ抽出部820で検出されたカメラパラメータ情報に基づいて、多視点画像及び任意時点、例えば、中間時点での補間画像を生成する。
【0078】
例えば、エンコーダで、図3のように、画像f(0,−1,1)及びf(0,1,1)に対してカメラパラメータが存在し、f(0,0,1)画像のデータが伝送されなかったか、または隣接画像f(0,−1,1)及びf(0,1,1)を利用して補間された画像との差分信号のみが伝送された場合、隣接画像f(0,−1,1)及びf(0,1,1)、これらの画像のカメラパラメータ、及びf(0,0,1)画像のカメラパラメータに基づいて画像f(0,0,1)を復元する。
【0079】
以下では、図9を参照して、例えば、入力画像f(0,0,0)、f(0,0,1)、及びf(0,−1,0)のCamera_Parameter_Existing_Flagが1であり、f(0,−1,1)画像のCamera_Parameter_Existing_Flagは0である場合、すなわち、f(0,0,0)、f(0,0,1)、及びf(0,−1,0)画像に対しては、カメラパラメータが存在するが、f(0,−1,1)画像に対しては、カメラパラメータは存在しない場合、任意時点での補間画像の生成方法を説明する。
【0080】
図9で、画像f(0,0,1)とf(0,0,0)との中間時点画像であるf(0,0,1/2)を補間しようとする場合、多視点画像生成部840は、画像f(0,0,1)及びf(0,0,0)のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが何れも1である場合にのみ、これらの画像に基づいて補間を行う。本実施形態では、これらの画像のカメラパラメータのフラグが1であるため、これらの画像に基づいて中間時点画像f(0,0,1/2)を生成することが可能である。
【0081】
一方、画像f(0,−1,1)とf(0,−1,0)との中間時点画像であるf(0,−1,1/2)を補間しようとする場合、これらの画像のうち、画像f(0,−1,1)のカメラパラメータのフラグが0、すなわち、画像f(0,−1,1)のカメラパラメータが存在しないため、画像f(0,−1,0)のみを参照して補間を行うか、または画像f(0,−1,2)のカメラパラメータフラグが1である場合、画像f(0,−1,0)及び画像f(0,−1,2)に基づいて中間時点画像f(0,−1,1/2)を生成する。
【0082】
一方、画像f(0,−1,1)、f(0,0,1)、f(0,0,0)、及びf(0,−1,0)の間の中間時点画像であるf(0,−1/2,1/2)を生成しようとする場合、多視点画像生成部840は、これらの画像のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが1である画像に基づいて補間を行う。本実施形態では、これらの画像のうち、画像f(0,−1,1)のカメラパラメータのフラグが0、すなわち、画像f(0,−1,1)のカメラパラメータが存在しないため、残りの画像、すなわち、f(0,0,1)、f(0,0,0)、及びf(0,−1,0)に基づいて補間を行う。
【0083】
多視点画像生成部840で生成された多視点画像及び選択的に生成された中間時点画像は、ディスプレイ部(図示せず)に伝送されてディスプレイされる。
【0084】
このように、入力画像のカメラパラメータの存否に基づいて、中間時点画像を適応的に生成することによって、生成される中間時点画像の画質を改善することが可能である。
【0085】
以下では、図8を参照して、本発明のさらに他の実施形態による多視点画像復号化装置を説明する。
【0086】
さらに他の実施形態によるビットストリーム復元及びカメラパラメータ抽出部820は、入力されたビットストリームを復元しつつ、それぞれの画像に対してカメラパラメータが存在するか否かを検出する。本実施形態では、各画像のスライスヘッダに含まれた2ビットのカメラパラメータフラグ、すなわち、Camera_Parameter_Existing_Flag及びGuaranteed_Camera_Parameter_Flagに基づいて、各画像に対するカメラパラメータの存否及びカメラパラメータの信頼度を確認する。
【0087】
また、多視点画像生成部840は、カメラパラメータ抽出部820から抽出されたカメラパラメータ情報に基づいて、多視点画像及び選択的に中間時点での補間画像を生成する。
【0088】
例えば、エンコーダで図3のように、画像f(0,−1,1)及びf(0,1,1)に対してカメラパラメータが存在し、カメラパラメータを信頼でき、f(0,0,1)画像のデータが伝送されていない場合、隣接画像のうちカメラパラメータが存在し、信頼できる画像、例えば、f(0,−1,1)及びf(0,1,1)、これらの画像のカメラパラメータ、及びf(0,0,1)画像のカメラパラメータに基づいて、画像f(0,0,1)を復元する。
【0089】
また、画像f(0,−1,1)及びf(0,1,1)に対してカメラパラメータが存在するが、画像f(0,−1,1)のカメラパラメータを信頼できず、f(0,0,1)画像と、f(0,−2,1)及びf(0,1,1)によって補間された画像との差分データが伝送された場合、伝送された差分データ、画像f(0,−2,1)及びf(0,1,1)データ、これらの画像のカメラパラメータ、及びf(0,0,1)画像のカメラパラメータに基づいて、画像f(0,0,1)を復元する。
【0090】
以下では、図10を参照して、例えば、入力画像f(0,0,0)、f(0,−1,0)、及びf(0,0,1)のCamera_Parameter_Existing_Flag及びGuaranteed_Camera_Parameter_Flagが11であり、f(0,−1,1)画像のCamera_Parameter_Existing_Flag及びGuaranteed_Camera_Parameter_Flagは10である場合、すなわち、f(0,0,0)、f(0,−1,0)、及びf(0,0,1)画像については、カメラパラメータが存在し、かつ信頼できる場合、f(0,−1,1)画像については、カメラパラメータは存在するが、信頼できない場合、任意時点での補間画像の生成方法を説明する。
【0091】
図10で、画像f(0,0,1)とf(0,0,0)との中間時点画像であるf(0,0,1/2)を補間しようとする場合、多視点画像生成部840は、画像f(0,0,1)及びf(0,0,0)のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが何れも11である場合にのみ、これらの画像に基づいて補間を行う。本実施形態では、これらの画像のカメラパラメータのフラグが11であるため、これらの画像に基づいて、中間時点画像f(0,0,1/2)を生成することが可能である。
【0092】
一方、画像f(0,−1,1)とf(0,−1,0)との中間時点画像であるf(0,−1,1/2)を補間しようとする場合、これらの画像のうち、画像f(0,−1,1)のカメラパラメータのフラグが10、すなわち、画像f(0,−1,1)のカメラパラメータが存在するが、信頼できないため、画像f(0,−1,0)のみを参照して補間するか、または画像f(0,−1,2)のカメラパラメータが11である場合、画像f(0,−1,0)及び画像f(0,−1,2)に基づいて中間時点画像f(0,−1,1/2)を生成する。
【0093】
一方、画像f(0,−1,1)、f(0,0,1)、f(0,0,0)、及びf(0,−1,0)の間の中間時点画像であるf(0,−1/2,1/2)を生成しようとする場合、多視点画像生成部840は、これらの画像のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが11である画像に基づいて補間を行う。本実施形態では、これらの画像のうち、画像f(0,−1,1)のカメラパラメータのフラグが10、すなわち、画像f(0,−1,1)のカメラパラメータが存在するが、信頼できないため、残りの画像、すなわち、f(0,0,1)、f(0,0,0)、及びf(0,−1,0)に基づいて補間を行う。
【0094】
多視点画像生成部840で生成された多視点画像及び選択的に生成された中間時点画像は、ディスプレイ部(図示せず)に伝送されてディスプレイされる。
【0095】
図11は、図8に示された本発明の一実施形態による多視点画像の復号化装置で行われる復号化方法を説明するためのフローチャートである。
【0096】
ステップ1120では、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出する。
【0097】
ステップ1140では、ステップ1120で抽出されたカメラパラメータ情報に基づいて選択された所定画像を生成する。
【0098】
本実施形態では、抽出されたカメラパラメータ情報に基づいて、所定画像の補間のために参照する画像を決定する。次いで、決定された参照画像に基づいて、図8の多視点画像生成部840で行われる所定画像の補間を行う。
【0099】
本願の一実施形態では、前記カメラパラメータ情報が、画像のそれぞれに対するカメラパラメータの存否のみを表す場合には、前記補間しようとする所定画像の隣接画像のうち、カメラパラメータが存在する隣接画像のみを参照画像として決定する。
【0100】
本願の他の実施形態では、前記カメラパラメータ情報が、画像のそれぞれに対するカメラパラメータの存在及び信頼度を表す場合には、前記補間しようとする所定画像の隣接画像のうち、カメラパラメータが存在し、かつ信頼できる隣接画像のみを参照画像として決定する。
【0101】
一方、前述した多視点画像の符号化及び復号化方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論される。また、前記プログラムは、コンピュータで読み取り可能な情報記録媒体に保存され、コンピュータによって読まれて実行されることによって、多視点画像の符号化及び復号化方法を具現する。前記情報記録媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。
【0102】
以上、本発明について、その望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されることが理解できるであろう。したがって、開示された実施形態は、限定的な観点でなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明でなく、特許請求範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【符号の説明】
【0103】
420:カメラパラメータ探索部
440:多視点画像符号化部
460:カメラパラメータ情報挿入部
620:カメラパラメータ探索部
640:カメラパラメータ信頼度確認部
660:多視点画像符号化部
680:カメラパラメータ情報挿入部
820:ビットストリーム復元及びカメラパラメータ情報抽出部
840:多視点画像生成部
【技術分野】
【0001】
本発明は、動画符号化及び復号化に係り、さらに詳細には、カメラパラメータを利用した多視点画像の生成方法に関する。
【背景技術】
【0002】
MPEG−4(Moving Picture Experts Group Layer−4)及びH.264での動画符号化は、一つのカメラで撮った動画の符号化に係り、符号化効率の上昇に主に焦点が合わせられている。しかし、実感通信や仮想現実などの分野では、数台のカメラを使用して一つのシーンを撮ることによって、多視点を有する3次元動画を構成し、このように構成された多視点画像の効率的な圧縮符号化及び再生のための方法が必要である。
【0003】
しかし、従来の圧縮符号化及び再生方法は、単一カメラで生成された画像の圧縮符号化及び再生に係り、本願発明で適用しようとする多視点画像に対しては、効率的に適用し難いという問題点があった。
【0004】
従来の多視点エンコーディング方法は、米国特許公開第2004/0027452A1号公報に開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、多視点画像に適用されるカメラパラメータを利用した多視点画像の効率的な符号化方法と生成方法、及びその装置を提供することである。
【0006】
また、本発明が解決しようとする課題は、多視点画像に適用されるカメラパラメータを利用した多視点画像の効率的な符号化方法及び生成方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供することである。
【課題を解決するための手段】
【0007】
前記課題は、本発明による多視点画像の符号化方法において、少なくとも一つ以上の多視点カメラから複数の画像データを入力されるステップと、入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するステップと、カメラパラメータの存否に基づいて、画像単位の複数の画像データそれぞれの符号化を適応的に行うステップと、を含む符号化方法によって達成される。
【0008】
本発明による符号化方法は、カメラパラメータの存否を表す情報を、符号化された画像データに挿入するステップをさらに含むことが望ましい。
【0009】
本発明による符号化方法は、カメラパラメータが存在する場合、カメラパラメータの信頼度を確認するステップをさらに含むことが望ましい。
【0010】
本発明による符号化方法で、カメラパラメータは、カメラの固有特性を表す固有パラメータまたは非本質的な特性を表す非固有パラメータのうち少なくとも一つを含み、固有パラメータは、カメラ焦点距離、主点、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のうち少なくとも一つの値を含み、非固有パラメータは、カメラの位置情報を含むことが望ましい。
【0011】
本発明による符号化方法において、カメラパラメータの信頼度判断は、該当カメラに対してズーミング、パニングが発生するか否かによって決定することが望ましい。
【0012】
本発明による符号化方法において、複数の画像の適応的符号化時に、前記カメラパラメータが存在する画像のみを参照画像として使用することが望ましい。
【0013】
本発明による符号化方法において、複数の画像の適応的符号化時に、カメラパラメータが存在し、カメラパラメータが信頼度があると確認された画像のみを参照画像として使用することが望ましい。
【0014】
本発明による符号化方法において、所定の画像単位は、スライス単位であり、カメラパラメータの存在及び信頼度を表すカメラパラメータ情報は、スライスヘッダごとに2ビットのフラグで表示することが望ましい。
【0015】
前記課題は、少なくとも一つ以上の多視点カメラから複数の画像データを入力されるステップと、入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するステップと、カメラパラメータの存否に基づいて、画像単位の複数の画像データそれぞれの符号化を適応的に行うステップと、を含む多視点画像の符号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体によっても達成される。
【0016】
前記課題は、本発明による多視点画像の符号化装置において、少なくとも一つ以上の多視点カメラから複数の画像データを入力される入力部と、前記入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するカメラパラメータ探索部と、前記カメラパラメータの存否に基づいて、前記画像単位の複数の画像データそれぞれの符号化を適応的に行う符号化部と、を備える符号化装置によっても達成される。
【0017】
前記課題は、本発明による多視点画像の符号化方法において、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索するステップと、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行うステップと、を含む符号化方法によっても達成される。
【0018】
前記課題は、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索するステップと、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行うステップと、を含む多視点画像の符号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体によっても達成される。
【0019】
前記課題は、多視点画像の符号化装置において、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索する探索部と、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行う符号化部と、を備える符号化装置によっても達成される。
【0020】
前記課題は、カメラパラメータ情報を利用した多視点画像の生成方法において、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含む多視点画像の生成方法によっても達成される。
【0021】
前記課題は、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含むカメラパラメータ情報を利用した多視点画像の生成方法を行うためのプログラムが記録された記録媒体によっても達成される。
【0022】
前記課題は、カメラパラメータ情報を利用した多視点画像の生成装置において、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するカメラパラメータ情報抽出部と、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成する画像生成部と、を備える装置によっても達成される。
【発明の効果】
【0023】
本発明によれば、カメラパラメータの存否及び信頼度如何に基づいて、適応的な符号化を行うことによって圧縮効率を高め、また、入力ビットストリームに挿入されたカメラパラメータ情報に基づいて、多視点中間画像を適応的に生成することによって、ディスプレイされる画像の画質を改善することが可能である。
【図面の簡単な説明】
【0024】
【図1】多視点画像を得るためのカメラの位置を示す図である。
【図2】複数のカメラによってキャップチャされた画像を経時的に示す図である。
【図3】本発明に適用される視空間的予測の符号化方法を説明するための図である。
【図4】本発明の一実施形態による多視点画像の符号化装置を示す図である。
【図5】本発明の一実施形態による多視点画像の符号化方法を説明するためのフローチャートである。
【図6】本発明の一実施形態による多視点画像の符号化装置を示す図である。
【図7】本発明の一実施形態による多視点画像の符号化方法を説明するためのフローチャートである。
【図8】本発明の一実施形態による多視点画像の復号化装置を示す図である。
【図9】本発明の一実施形態による中間時点画像を生成するための方法を説明するための図である。
【図10】本発明の一実施形態による中間時点画像を生成するための方法を説明するための図である。
【図11】本発明の一実施形態による多視点画像の復号化装置で行われる復号化方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0025】
以下、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
【0026】
図1は、一列に位置しているカメラから複数の画像データを受けて符号化することを説明するための図である。図1を参照するに、数台のカメラが一次元的なライン上に一列に位置している。本発明では、i軸とj軸とで構成される2次元上にカメラが存在すると仮定するが、優先的に一次元的にカメラが存在する場合を説明するために、i=0である場合を例として説明する。
【0027】
図2は、複数のカメラが撮った画像を経時的に示す図である。ここで、カメラが撮った所定時間での画像をf(i,j,t)とする。このとき、i、jは、カメラの位置を意味し、tは、時間を意味する。図1及び図2で、カメラは、一次元的に一列に存在するので、iは、0である場合である。例えば、f(0,0,0)は、最初に中心位置のカメラが撮った画像を意味する。
【0028】
図3は、本発明で適用される視空間予測符号化方法を説明するための図である。図3を参照するに、中央位置に存在するカメラの画像のうち、f(0,0,2)は、隣接カメラの画像、すなわち、f(0,−1,2)、f(0,−1,1)、f(0,0,1)、f(0,1,1)、f(0,1,2)を参照画像として符号化が可能である。このような視空間符号化方法を適用する場合、より多くの参照画像を使用することが可能であるため、復元された画像の質が高まる。
【0029】
図4は、本発明による多視点ビデオの符号化装置の一実施形態を示す図である。
【0030】
本発明による多視点ビデオ符号化装置は、カメラパラメータ探索部420、多視点画像符号化部440、カメラパラメータ情報挿入部460を備える。
【0031】
カメラパラメータ探索部420は、複数のカメラから入力されるデータから入力されたそれぞれの画像に対して、カメラの特性情報、例えば、カメラごとに存在するカメラパラメータについての情報を探索する。カメラパラメータには、カメラ固有のパラメータとカメラ固有の特性でない、非固有的なパラメータとがある。
【0032】
カメラの固有パラメータは、カメラ焦点距離、主点、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のような値を含む。また、非固有的なパラメータは、世界座標系でのカメラの座標、x、y、z座標上でのラジアンまたは角度のようなカメラの位置情報を含む。
【0033】
カメラパラメータ探索部420は、入力される多視点画像のそれぞれに対して、このようなカメラパラメータが存在するか否かを探索し、探索結果を多視点画像符号化部440に伝送する。
【0034】
多視点画像を生成する複数のカメラによって、カメラパラメータを送ることが可能でない場合があるため、このようなカメラパラメータが存在するか否かを確認することが必要になる。例えば、所定のカメラから入力された画像にカメラパラメータが存在しない場合、隣接画像の符号化時にカメラパラメータが存在しない該当画像を使用して、任意の多視点画像、すなわち、中間時点画像が補間できなくなる。
【0035】
例えば、図3の場合、f(0,0,1)画像に対してのみカメラパラメータが存在し、f(0,−1,1)画像に対しては、カメラパラメータが存在しない場合、これらの二つの画像に基づいて、これらの二つの画像の間に存在する画像f(0,−1/2,1)が補間できなくなる。この場合、例えば、f(0,−2,1)画像に対してカメラパラメータが存在する場合、f(0,0,1)画像及びf(0,−2,1)画像に基づいて、画像f(0,−1/2,1)を補間せねばならない。
【0036】
また、各画像に対してカメラパラメータが存在するか否かは、画像データの符号化時に有用に使われるが、これについては後述する。
【0037】
このような点のため、多視点ビデオ画像を撮影するために使われるn台のカメラから入力される画像に対してカメラパラメータが存在するか否かを探索する過程が必要になる。
【0038】
本実施形態では、カメラパラメータが入力ビデオ画像のスライス単位で、スライスヘッダに挿入されていると仮定し、該当ビデオ画像のスライスヘッダにカメラパラメータが挿入されているか否かを確認する。選択的に、カメラパラメータは、スライスヘッダではない他の位置に、スライス単位ではない他のサイズ、例えば、マクロブロック単位で挿入することも可能である。
【0039】
多視点画像符号化部440では、入力されたそれぞれの画像に対して、カメラパラメータ情報の存否に基づいて符号化を行う。例えば、図3に示された画像のうち、f(0,−1,1)、f(0,0,1)、及びf(0,1,1)が何れもカメラパラメータを有する場合、f(0,0,1)は、デコーダで隣接画像f(0,−1,1)及びf(0,1,1)に基づいて補間することによって復元できるため、f(0,0,1)画像の圧縮をスキップするか、圧縮後に伝送しないか、またはf(0,0,1)画像と、隣接画像f(0,−1,1)及びf(0,1,1)を利用して補間されたf’(0,0,1)との間の差分信号を圧縮して送ることが可能である。
【0040】
本発明によれば、多視点ビデオ画像のうちデコーダで補間可能な画像の圧縮を選択的にスキップするか、圧縮された画像を伝送しないか、補間された画像の間の差分信号を圧縮して伝送させることによって、画質低下なしに画像圧縮の効率を顕著に向上させうる。
【0041】
一方、本実施形態に付加的に含まれるカメラパラメータ情報挿入部460は、それぞれの画像について確認されたカメラパラメータの存否を表すカメラパラメータ情報を、多視点画像符号化部440で符号化されたビットストリームの所定の位置に挿入する。
【0042】
本発明では、カメラパラメータ情報は、1ビットのCamera_Parameter_Existing_Flagであって、各画像のスライスごとにスライスヘッドにシンタックスエレメントとして挿入する。カメラパラメータ情報の挿入された符号化されたビットストリームは、デコーダ(図示せず)に伝送される。
【0043】
選択的にマクロブロック(Macro Block:MB)単位で挿入して伝送することも可能であり、また、画像情報とは別途の付加情報として伝送することも可能である。
【0044】
図5は、図4に示された多視点画像の符号化装置で行われる多視点画像の符号化方法を示すフローチャートである。
【0045】
ステップ520では、少なくとも一つ以上の多視点カメラから複数の画像データを入力される。
【0046】
ステップ540では、現在画像及び隣接画像に対するカメラパラメータが存在するか否かを探索する。
【0047】
ステップ560では、現在画像及び隣接画像に対するカメラパラメータの存否に基づいて適応的符号化を行う。
【0048】
例えば、現在画像に対してカメラパラメータが存在しない場合、現在画像の圧縮のための符号化を進む。
【0049】
一方、現在画像のカメラパラメータが存在する場合、現在画像の隣接画像に対してカメラパラメータが存在するか否かを判断する。隣接画像に対してカメラパラメータが存在する場合には、これらの隣接画像に基づいて、図4の多視点画像符号化部440で行われる適応的な符号化を行う。
【0050】
本実施形態で付加的に含まれるステップ580では、カメラパラメータの存否を表す情報を符号化された画像データに挿入する。
【0051】
以下では、図3を参照して、ステップ560及びステップ580で行われる手順を説明する。
【0052】
現在画像のカメラパラメータが存在する場合、例えば、図3の場合、現在画像がf(0,0,1)である場合、隣接画像f(0,−1,1)及びf(0,1,1)がカメラパラメータを有する場合、現在画像f(0,0,1)の符号化をスキップし、現在画像のカメラパラメータのみを伝送する。このとき、伝送されるビットストリーム、例えば、スライスヘッダに現在画像のカメラパラメータが存在するということを表すカメラパラメータフラグを挿入した後に伝送する。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、隣接画像f(0,−1,1)及びf(0,1,1)、これらの画像のカメラパラメータを利用して現在画像を復元する。
【0053】
また、選択的に隣接画像f(0,−1,1)及びf(0,1,1)がカメラパラメータを有する場合、現在画像と隣接画像とを利用して補間して得られた補間画像f’(0,1,1)の間の差分データ、すなわち、f(0,0,1)−f’(0,0,1)及び現在画像のカメラパラメータのみを伝送する。このとき、伝送されるビットストリームに現在画像のカメラパラメータが存在するということを表すカメラパラメータフラグを挿入した後に伝送する。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、差分データ、隣接画像f(0,−1,1)及びf(0,1,1)、これらの隣接画像のカメラパラメータを利用して現在画像を復元する。
【0054】
一方、最隣接画像のうち、一つのみがカメラパラメータを有する場合にも、現在画像の符号化をスキップし、現在画像のカメラパラメータのみを伝送せしめることも可能である。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、カメラパラメータを有する隣接画像、及びこの画像のカメラパラメータを利用して現在画像を復元する。また、カメラパラメータを有していない隣接画像に隣接した画像のうち、カメラパラメータを有する隣接画像、例えば、f(0,−1,2)及びこれらの画像のカメラパラメータを利用して現在画像を復元することも可能である。f(0,0,1)画像を復元するためにf(0,−1,2)を参照する場合には、f(0,−1,2)がPフレームであり、f(0,0,1)画像がこれらを参照するBフレームである場合に発生しうる。
【0055】
図6は、本発明による多視点ビデオの符号化装置の他の実施形態を示す図である。
【0056】
本発明による多視点ビデオ符号化装置は、カメラパラメータ探索部620、カメラパラメータ信頼度確認部640、多視点画像符号化部660、及びカメラパラメータ情報挿入部680を備える。
【0057】
カメラパラメータ探索部620は、図4のカメラパラメータ探索部420と同じ機能を行うので、説明の便宜上、ここで詳細な説明は省略する。
【0058】
カメラパラメータ信頼度確認部640は、カメラパラメータ探索部620でカメラパラメータが存在すると確認された画像に対して、該当カメラパラメータが信頼できる情報であるか否かを判断する。本実施形態では、該当画像の撮影時、カメラのズーミング及びパニングが発生した場合、カメラパラメータが信頼できないと判断する。選択的に、ズーミングまたはパニング以外に所定の条件、例えば、チルト、カメラの移動、カメラの焦点距離の変化によってカメラパラメータの信頼度を判断することも可能である。
【0059】
例えば、図3に示された画像のうち、f(0,−1,1)、f(0,0,1)、及びf(0,1,1)が何れもカメラパラメータを有し、かつ信頼できる場合、f(0,0,1)は、デコーダで隣接画像f(0,−1,1)及びf(0,1,1)を利用して補間することによって求めるため、f(0,0,1)画像の圧縮をスキップするか、圧縮後に伝送しないか、またはf(0,0,1)画像と、隣接画像f(0,−1,1)及びf(0,1,1)とを利用して補間されたf’(0,0,1)差分データを圧縮して送ることが可能である。この場合、f(0,0,1)画像データを伝送しない場合にも、f(0,0,1)画像の復元のためには、f(0,0,1)画像のカメラパラメータは、デコーダに伝送されねばならない。
【0060】
しかし、f(0,−1,1)、f(0,0,1)、及びf(0,1,1)が何れもカメラパラメータを有するが、f(0,−1,1)画像の撮影時にズーミングまたはパニングが発生してカメラパラメータを信頼できない場合には、f(0,0,1)は、デコーダで隣接画像f(0,−1,1)及びf(0,1,1)から復元できないため、f(0,0,1)画像を圧縮して伝送するか、またはf(0,0,1)画像と、隣接画像f(0,1,1)及びf(0,−1,2)画像とを利用して補間されたf’(0,0,1)差分信号を圧縮して伝送せねばならない。それは、パニングが発生してカメラパラメータを信頼できなくなった画像に基づいて補間を行う場合、補間された画像に歪曲が発生する恐れがあるためである。
【0061】
多視点画像符号化部660は、カメラパラメータ探索部620及びカメラパラメータ確認部640で得られたカメラパラメータの存在及び信頼度如何によって、入力画像に対して前述したような適応的な符号化を行う。
【0062】
本実施形態で付加的に含まれるカメラパラメータ情報挿入部680は、それぞれの画像に対して探索及び確認されたカメラパラメータ情報を、2ビット情報、すなわち、カメラパラメータの存在を表すCamera_Parameter_Existing_Flag及びカメラパラメータの信頼度を表すGuaranteedCameraParameterFlagに対して、それぞれ1ビットずつ割当てられた情報で各画像のスライスごとにスライスヘッドにシンタックスエレメントとして挿入して伝送する。選択的にMB単位で挿入して伝送するか、または画像情報とは別途の付加情報として伝送することも可能である。
【0063】
図7は、図6に示された多視点画像符号化装置で行われる多視点画像符号化方法を説明するためのフローチャートである。
【0064】
ステップ710では、少なくとも一つ以上の多視点カメラから複数の画像データを入力される。
【0065】
ステップ720では、現在画像及び隣接画像についてのカメラパラメータが存在するか否かを探索する。
【0066】
ステップ730では、現在画像及び隣接画像についてのカメラパラメータが何れも存在する場合には、ステップ740に進み、現在画像及び隣接画像のうち何れか一つのカメラパラメータが存在していない場合には、ステップ750に進む。
【0067】
ステップ740では、現在画像及び隣接画像についてのカメラパラメータが信頼できるか否かを確認する。
【0068】
ステップ750では、ステップ720及びステップ740でのカメラパラメータの存在及び信頼度確認結果に基づいて、現在画像に対する符号化を適応的に行う。
【0069】
例えば、現在画像及び隣接画像のうち何れか一つに対してカメラパラメータが存在しない場合には、現在画像に対して符号化を進める。
【0070】
一方、現在画像及び隣接画像に対してカメラパラメータが存在し、かつ信頼できる場合、例えば、図3を参照して、現在画像がf(0,0,1)である場合、隣接画像f(0,−1,1)及びf(0,1,1)がカメラパラメータを有する場合には、現在画像の符号化をスキップし、現在画像のカメラパラメータのみを伝送する。この場合、現在画像の復号化ステップでは、現在画像f(0,0,1)のカメラパラメータ、隣接画像f(0,−1,1)及びf(0,1,1)、これらの画像のカメラパラメータを利用して現在画像を復元する。
【0071】
また、f(0,−1,1)、f(0,0,1)、及びf(0,1,1)が何れもカメラパラメータを有するが、f(0,−1,1)画像の撮影時にズーミングまたはパニングが発生してカメラパラメータが信頼できない場合には、f(0,0,1)は、デコーダで隣接画像f(0,−1,1)及びf(0,1,1)から復元できないため、f(0,0,1)画像を圧縮して伝送するか、またはf(0,0,1)画像と、隣接画像f(0,1,1)及びf(0,−1,2)画像を利用して補間されたf’(0,0,1)差分信号とを圧縮して送る。
【0072】
本実施形態に付加的に含まれるステップ760では、カメラパラメータの存在及び信頼度を表すカメラパラメータ情報を符号化された画像データに挿入する。
【0073】
例えば、現在画像の場合、ステップ720の探索結果、カメラパラメータが存在すると判断されたが、ステップ740での判断結果、カメラパラメータが信頼できないと確認された場合、符号化されたビットストリームのスライスヘッダにカメラパラメータが存在するが、信頼できないということを表すカメラパラメータフラグを挿入する。本実施形態では、カメラパラメータの存在及び信頼できるかを表すカメラパラメータ情報を2ビットのフラグとしてスライス単位でスライスヘッダに挿入する。
【0074】
図8は、本発明の一実施形態による多視点画像復号化装置を示すブロック図である。
【0075】
本発明による多視点画像復号化装置は、ビットストリームの復元及びカメラパラメータ抽出部820及び多視点画像生成部840を備える。
【0076】
ビットストリーム復元及びカメラパラメータ抽出部820は、入力されたビットストリームを復元しつつ、それぞれの画像に対してカメラパラメータ情報が存在するか否かを検出する。本実施形態では、各画像のスライスヘッダに含まれた1ビットのカメラパラメータ情報、すなわち、Camera_Parameter_Existing_Flagに基づいて、各画像に対するカメラパラメータの存否を確認する。ここで、Camera_Parameter_Existing_Flagが1である場合には、カメラパラメータが存在することを表し、Camera_Parameter_Existing_Flagが0である場合には、カメラパラメータが存在しないことを表す。
【0077】
多視点画像生成部840は、カメラパラメータ抽出部820で検出されたカメラパラメータ情報に基づいて、多視点画像及び任意時点、例えば、中間時点での補間画像を生成する。
【0078】
例えば、エンコーダで、図3のように、画像f(0,−1,1)及びf(0,1,1)に対してカメラパラメータが存在し、f(0,0,1)画像のデータが伝送されなかったか、または隣接画像f(0,−1,1)及びf(0,1,1)を利用して補間された画像との差分信号のみが伝送された場合、隣接画像f(0,−1,1)及びf(0,1,1)、これらの画像のカメラパラメータ、及びf(0,0,1)画像のカメラパラメータに基づいて画像f(0,0,1)を復元する。
【0079】
以下では、図9を参照して、例えば、入力画像f(0,0,0)、f(0,0,1)、及びf(0,−1,0)のCamera_Parameter_Existing_Flagが1であり、f(0,−1,1)画像のCamera_Parameter_Existing_Flagは0である場合、すなわち、f(0,0,0)、f(0,0,1)、及びf(0,−1,0)画像に対しては、カメラパラメータが存在するが、f(0,−1,1)画像に対しては、カメラパラメータは存在しない場合、任意時点での補間画像の生成方法を説明する。
【0080】
図9で、画像f(0,0,1)とf(0,0,0)との中間時点画像であるf(0,0,1/2)を補間しようとする場合、多視点画像生成部840は、画像f(0,0,1)及びf(0,0,0)のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが何れも1である場合にのみ、これらの画像に基づいて補間を行う。本実施形態では、これらの画像のカメラパラメータのフラグが1であるため、これらの画像に基づいて中間時点画像f(0,0,1/2)を生成することが可能である。
【0081】
一方、画像f(0,−1,1)とf(0,−1,0)との中間時点画像であるf(0,−1,1/2)を補間しようとする場合、これらの画像のうち、画像f(0,−1,1)のカメラパラメータのフラグが0、すなわち、画像f(0,−1,1)のカメラパラメータが存在しないため、画像f(0,−1,0)のみを参照して補間を行うか、または画像f(0,−1,2)のカメラパラメータフラグが1である場合、画像f(0,−1,0)及び画像f(0,−1,2)に基づいて中間時点画像f(0,−1,1/2)を生成する。
【0082】
一方、画像f(0,−1,1)、f(0,0,1)、f(0,0,0)、及びf(0,−1,0)の間の中間時点画像であるf(0,−1/2,1/2)を生成しようとする場合、多視点画像生成部840は、これらの画像のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが1である画像に基づいて補間を行う。本実施形態では、これらの画像のうち、画像f(0,−1,1)のカメラパラメータのフラグが0、すなわち、画像f(0,−1,1)のカメラパラメータが存在しないため、残りの画像、すなわち、f(0,0,1)、f(0,0,0)、及びf(0,−1,0)に基づいて補間を行う。
【0083】
多視点画像生成部840で生成された多視点画像及び選択的に生成された中間時点画像は、ディスプレイ部(図示せず)に伝送されてディスプレイされる。
【0084】
このように、入力画像のカメラパラメータの存否に基づいて、中間時点画像を適応的に生成することによって、生成される中間時点画像の画質を改善することが可能である。
【0085】
以下では、図8を参照して、本発明のさらに他の実施形態による多視点画像復号化装置を説明する。
【0086】
さらに他の実施形態によるビットストリーム復元及びカメラパラメータ抽出部820は、入力されたビットストリームを復元しつつ、それぞれの画像に対してカメラパラメータが存在するか否かを検出する。本実施形態では、各画像のスライスヘッダに含まれた2ビットのカメラパラメータフラグ、すなわち、Camera_Parameter_Existing_Flag及びGuaranteed_Camera_Parameter_Flagに基づいて、各画像に対するカメラパラメータの存否及びカメラパラメータの信頼度を確認する。
【0087】
また、多視点画像生成部840は、カメラパラメータ抽出部820から抽出されたカメラパラメータ情報に基づいて、多視点画像及び選択的に中間時点での補間画像を生成する。
【0088】
例えば、エンコーダで図3のように、画像f(0,−1,1)及びf(0,1,1)に対してカメラパラメータが存在し、カメラパラメータを信頼でき、f(0,0,1)画像のデータが伝送されていない場合、隣接画像のうちカメラパラメータが存在し、信頼できる画像、例えば、f(0,−1,1)及びf(0,1,1)、これらの画像のカメラパラメータ、及びf(0,0,1)画像のカメラパラメータに基づいて、画像f(0,0,1)を復元する。
【0089】
また、画像f(0,−1,1)及びf(0,1,1)に対してカメラパラメータが存在するが、画像f(0,−1,1)のカメラパラメータを信頼できず、f(0,0,1)画像と、f(0,−2,1)及びf(0,1,1)によって補間された画像との差分データが伝送された場合、伝送された差分データ、画像f(0,−2,1)及びf(0,1,1)データ、これらの画像のカメラパラメータ、及びf(0,0,1)画像のカメラパラメータに基づいて、画像f(0,0,1)を復元する。
【0090】
以下では、図10を参照して、例えば、入力画像f(0,0,0)、f(0,−1,0)、及びf(0,0,1)のCamera_Parameter_Existing_Flag及びGuaranteed_Camera_Parameter_Flagが11であり、f(0,−1,1)画像のCamera_Parameter_Existing_Flag及びGuaranteed_Camera_Parameter_Flagは10である場合、すなわち、f(0,0,0)、f(0,−1,0)、及びf(0,0,1)画像については、カメラパラメータが存在し、かつ信頼できる場合、f(0,−1,1)画像については、カメラパラメータは存在するが、信頼できない場合、任意時点での補間画像の生成方法を説明する。
【0091】
図10で、画像f(0,0,1)とf(0,0,0)との中間時点画像であるf(0,0,1/2)を補間しようとする場合、多視点画像生成部840は、画像f(0,0,1)及びf(0,0,0)のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが何れも11である場合にのみ、これらの画像に基づいて補間を行う。本実施形態では、これらの画像のカメラパラメータのフラグが11であるため、これらの画像に基づいて、中間時点画像f(0,0,1/2)を生成することが可能である。
【0092】
一方、画像f(0,−1,1)とf(0,−1,0)との中間時点画像であるf(0,−1,1/2)を補間しようとする場合、これらの画像のうち、画像f(0,−1,1)のカメラパラメータのフラグが10、すなわち、画像f(0,−1,1)のカメラパラメータが存在するが、信頼できないため、画像f(0,−1,0)のみを参照して補間するか、または画像f(0,−1,2)のカメラパラメータが11である場合、画像f(0,−1,0)及び画像f(0,−1,2)に基づいて中間時点画像f(0,−1,1/2)を生成する。
【0093】
一方、画像f(0,−1,1)、f(0,0,1)、f(0,0,0)、及びf(0,−1,0)の間の中間時点画像であるf(0,−1/2,1/2)を生成しようとする場合、多視点画像生成部840は、これらの画像のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが11である画像に基づいて補間を行う。本実施形態では、これらの画像のうち、画像f(0,−1,1)のカメラパラメータのフラグが10、すなわち、画像f(0,−1,1)のカメラパラメータが存在するが、信頼できないため、残りの画像、すなわち、f(0,0,1)、f(0,0,0)、及びf(0,−1,0)に基づいて補間を行う。
【0094】
多視点画像生成部840で生成された多視点画像及び選択的に生成された中間時点画像は、ディスプレイ部(図示せず)に伝送されてディスプレイされる。
【0095】
図11は、図8に示された本発明の一実施形態による多視点画像の復号化装置で行われる復号化方法を説明するためのフローチャートである。
【0096】
ステップ1120では、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出する。
【0097】
ステップ1140では、ステップ1120で抽出されたカメラパラメータ情報に基づいて選択された所定画像を生成する。
【0098】
本実施形態では、抽出されたカメラパラメータ情報に基づいて、所定画像の補間のために参照する画像を決定する。次いで、決定された参照画像に基づいて、図8の多視点画像生成部840で行われる所定画像の補間を行う。
【0099】
本願の一実施形態では、前記カメラパラメータ情報が、画像のそれぞれに対するカメラパラメータの存否のみを表す場合には、前記補間しようとする所定画像の隣接画像のうち、カメラパラメータが存在する隣接画像のみを参照画像として決定する。
【0100】
本願の他の実施形態では、前記カメラパラメータ情報が、画像のそれぞれに対するカメラパラメータの存在及び信頼度を表す場合には、前記補間しようとする所定画像の隣接画像のうち、カメラパラメータが存在し、かつ信頼できる隣接画像のみを参照画像として決定する。
【0101】
一方、前述した多視点画像の符号化及び復号化方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論される。また、前記プログラムは、コンピュータで読み取り可能な情報記録媒体に保存され、コンピュータによって読まれて実行されることによって、多視点画像の符号化及び復号化方法を具現する。前記情報記録媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。
【0102】
以上、本発明について、その望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されることが理解できるであろう。したがって、開示された実施形態は、限定的な観点でなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明でなく、特許請求範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【符号の説明】
【0103】
420:カメラパラメータ探索部
440:多視点画像符号化部
460:カメラパラメータ情報挿入部
620:カメラパラメータ探索部
640:カメラパラメータ信頼度確認部
660:多視点画像符号化部
680:カメラパラメータ情報挿入部
820:ビットストリーム復元及びカメラパラメータ情報抽出部
840:多視点画像生成部
【特許請求の範囲】
【請求項1】
カメラパラメータ情報を利用した多視点画像の生成方法において、
入力ビットストリームから、所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、
前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含み、
前記カメラパラメータ情報は、前記それぞれの画像におけるカメラ焦点距離及び主点を含むカメラの固有特性を表すカメラパラメータの存在を表すフラグを含む、
ことを特徴とする方法。
【請求項2】
前記所定画像を生成するステップは、前記抽出されたカメラパラメータ情報に基づいて、所定画像の生成のために参照する画像を決定するステップと、前記決定された参照画像に基づいて、所定画像を生成するステップとを含む、
ことを特徴とする請求項1記載の方法。
【請求項3】
前記カメラパラメータ情報は、カメラパラメータの信頼度を表すフラグをさらに含む、
ことを特徴とする請求項1記載の方法。
【請求項4】
前記カメラパラメータは、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のうち少なくとも一つの値をさらに含む、
ことを特徴とする請求項1記載の方法。
【請求項5】
前記入力ビットストリームには、前記それぞれの画像についてのカメラパラメータの信頼度を表すカメラパラメータ情報が挿入されている、
ことを特徴とする請求項1記載の方法。
【請求項6】
前記所定の画像単位は、スライス単位であり、前記カメラパラメータの信頼度を表すカメラパラメータ情報が、入力ビットストリームのスライスヘッダに2ビット情報として挿入されている、ことを特徴とする請求項5記載の方法。
【請求項1】
カメラパラメータ情報を利用した多視点画像の生成方法において、
入力ビットストリームから、所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、
前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含み、
前記カメラパラメータ情報は、前記それぞれの画像におけるカメラ焦点距離及び主点を含むカメラの固有特性を表すカメラパラメータの存在を表すフラグを含む、
ことを特徴とする方法。
【請求項2】
前記所定画像を生成するステップは、前記抽出されたカメラパラメータ情報に基づいて、所定画像の生成のために参照する画像を決定するステップと、前記決定された参照画像に基づいて、所定画像を生成するステップとを含む、
ことを特徴とする請求項1記載の方法。
【請求項3】
前記カメラパラメータ情報は、カメラパラメータの信頼度を表すフラグをさらに含む、
ことを特徴とする請求項1記載の方法。
【請求項4】
前記カメラパラメータは、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のうち少なくとも一つの値をさらに含む、
ことを特徴とする請求項1記載の方法。
【請求項5】
前記入力ビットストリームには、前記それぞれの画像についてのカメラパラメータの信頼度を表すカメラパラメータ情報が挿入されている、
ことを特徴とする請求項1記載の方法。
【請求項6】
前記所定の画像単位は、スライス単位であり、前記カメラパラメータの信頼度を表すカメラパラメータ情報が、入力ビットストリームのスライスヘッダに2ビット情報として挿入されている、ことを特徴とする請求項5記載の方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−186836(P2012−186836A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2012−110781(P2012−110781)
【出願日】平成24年5月14日(2012.5.14)
【分割の表示】特願2008−503951(P2008−503951)の分割
【原出願日】平成18年3月30日(2006.3.30)
【出願人】(507314752)インダストリー−アカデミア コオペレーション グループ オブ セジョン ユニヴァーシティ (4)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願日】平成24年5月14日(2012.5.14)
【分割の表示】特願2008−503951(P2008−503951)の分割
【原出願日】平成18年3月30日(2006.3.30)
【出願人】(507314752)インダストリー−アカデミア コオペレーション グループ オブ セジョン ユニヴァーシティ (4)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】
[ Back to top ]