多視点映像の符号化、復号化方法及び装置
【課題】 さらに速く、効率的に多視点映像の符号化、復号化を行える多視点映像の符号化、復号化方法及び装置を提供する。
【解決手段】 多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを決定し、決定結果によって視点間予測及び時間的予測のうち、少なくとも1つを利用して多視点映像シーケンスを符号化する。
【解決手段】 多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを決定し、決定結果によって視点間予測及び時間的予測のうち、少なくとも1つを利用して多視点映像シーケンスを符号化する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多視点映像の符号化、復号化方法及び装置に係り、さらに詳細には、多視点映像の符号化、復号化のために必要な視点間予測(inter−view predicition)及び時間的予測(temporal prediction)をさらに速く行うための多視点映像の符号化、復号化方法及び装置に関する。
【背景技術】
【0002】
多視点映像符号化では、多視点映像を提供する複数のカメラから入力された映像を同時に符号化する。多視点映像を時間的相関関係(temporal correlation)及びカメラ間(inter−view)の空間的相関関係(spatial correlation)を利用して圧縮符号化する。
【0003】
図1は、従来技術による多視点映像のシーケンスを示す。図1において、横軸は時間軸であり、縦軸は視点軸である。多視点映像の符号化では、基本視点の映像に対して周期的にイントラピクチャー(I picture)を生成し、該生成されたイントラピクチャーに基づいて時間的予測(temporal prediction)または視点間(inter−view prediction)予測を行って他のピクチャーを予測符号化する。
【0004】
時間的予測とは、同じ視点、すなわち、同じ行にある映像間に時間的な相関関係を利用する予測である。視点間予測は、同じ時間、すなわち、同じ列にある映像間に空間的な相関関係を利用する予測である。
【0005】
図1において、それぞれの行は多視点映像のそれぞれの視点に対する映像シーケンスを経時的に示す。それぞれの行は、上から順次に視点0、視点1、視点2、...の映像シーケンスとなる。ここで、視点0を基本視点とし、よって最初行の映像シーケンスは、基本視点の映像シーケンスとなる。基本視点の映像シーケンスに含まれたピクチャーは、時間的予測のみを行って予測符号化され、視点間予測は行わない。
【0006】
また、それぞれの列は、同じ時間での多視点映像を示す。示された列のうち、イントラピクチャーを含んでいる列110、120、130に含まれているピクチャーをアンカーピクチャーと称する。アンカーピクチャーは、視点間予測のみを利用して予測符号化する。
【0007】
イントラピクチャーを含んでいる列110、120、130を除外した残りの列140、150に含まれているピクチャーは、非アンカーピクチャー(non−anchor pictures)と称する。非アンカーピクチャーは、時間的予測及び視点間予測を利用して予測符号化する。
【0008】
図1に示されたシーケンスのうち、第2行の第5列に位置したピクチャー141を例として説明する。ピクチャー141に含まれたブロックを各々視点間予測及び時間的予測を利用して予測する。ブロック単位で予測方法が異なりうるために、ピクチャー141を予測するには、隣接した奇数行に含まれているピクチャー142、143及び時間的に前後のピクチャー111、121をいずれも参照せねばならない。
【0009】
同様に、非アンカーピクチャーは、視点間予測及び時間的予測のために4つのピクチャーを参照して予測符号化せねばならないので、従来技術によって多視点映像を符号化する場合、符号化の速度が遅い。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明が解決しようとする技術的課題は、多視点映像のシーケンスをさらに速く、効率的に符号化、復号化する多視点映像符号化、復号化方法及び装置を提供するところにあり、前記方法を実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体を提供するところにある。
【課題を解決するための手段】
【0011】
前記技術的課題を解決するための本発明による多視点映像の符号化方法は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを決定する段階と、前記決定に基づいて視点間予測及び時間的予測のうち、少なくとも1つを利用して、前記ピクチャーを符号化する段階を含む。
【0012】
本発明による望ましい実施例によれば、前記符号化する段階は、前記参照ピクチャーであるか否かを示す前記ピクチャー各々についてのパラメータを符号化する段階を含む。
【0013】
前記技術的課題を解決するための本発明による多視点映像の符号化装置は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを決定する決定部と、前記決定に基づいて視点間予測及び時間的予測のうち、少なくとも1つを利用して、前記ピクチャーを符号化する符号化部を含む。
【0014】
本発明によるさらに望ましい実施例によれば、前記符号化部は、前記決定に基づいて前記それぞれのピクチャーが視点間予測及び時間的予測のうち、少なくとも1つのために参照する参照ピクチャーについての情報を符号化することを特徴とする。
【0015】
前記技術的課題を解決するための本発明による多視点映像の復号化方法は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを示す情報及び前記シーケンスについてのデータを含むビットストリームを受信する段階と、前記受信されたビットストリームから前記情報及び前記シーケンスについてのデータを抽出する段階と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する段階を含む。
【0016】
本発明によるさらに望ましい実施例によれば、前記情報は、前記ピクチャー各々についてのパラメータに含まれていることを特徴とする。
【0017】
前記技術的課題を解決するための本発明による多視点映像の復号化装置は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを示す情報及び前記シーケンスについてのデータを含むビットストリームを受信し、前記受信されたビットストリームから前記情報及び前記シーケンスについてのデータを抽出する抽出部と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する復号化部を含む。
【0018】
前記技術的課題を解決するための本発明による多視点映像の符号化方法は、時間的レベルに基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを前記多視点映像のシーケンスから選択する段階と、前記選択されたピクチャーは、視点間予測及び時間的予測を利用して符号化して、前記シーケンスに含まれた残りのピクチャーは時間的予測または時間的予測を利用して符号化する段階と、を含む。
【0019】
本発明によるさらに望ましい実施例によれば、前記選択する段階は、前記シーケンスに含まれたピクチャーのうち、前記時間的レベルが所定値以下である非アンカーピクチャーを選択する段階を含む。
【0020】
本発明によるさらに望ましい実施例によれば、前記符号化する段階は、前記選択されたピクチャーについての情報を符号化する段階を含む。
【0021】
前記技術的課題を解決するための本発明による多視点映像の符号化装置は、時間的レベルに基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを前記多視点映像のシーケンスから選択する選択部と、前記選択されたピクチャーは、視点間予測及び時間的予測を利用して符号化し、前記シーケンスに含まれた残りのピクチャーは時間的予測または時間的予測を利用して符号化する符号化部と、を含む。
【0022】
前記技術的課題を解決するための本発明による多視点映像の復号化方法は、前記多視点映像のシーケンスのうち、視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報及び前記多視点映像のシーケンスについてのデータを含むビットストリームを受信する段階と、前記受信されたビットストリームから前記情報を抽出する段階と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する段階と、を含む。
【0023】
本発明によるさらに望ましい実施例によれば、前記情報は、シーケンスパラメータまたはSEIメッセージに含まれていることを特徴とする。
【0024】
前記技術的課題を解決するための本発明による多視点映像の復号化装置は、前記多視点映像のシーケンスのうち、視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報及び前記多視点映像のシーケンスについてのデータを含むビットストリームを受信し、前記受信されたビットストリームから前記情報を抽出する抽出部と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する復号化部、を含む。
【0025】
前記技術的課題を解決するための本発明は、前記多視点映像符号化及び復号化方法を実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体を提供する。
【発明の効果】
【0026】
本発明によれば、多視点映像符号化及び復号化過程で多視点映像シーケンスに含まれた一部にピクチャーのみ視点間予測を利用して予測符号化及び復号化できて、符号化及び復号化の速度が速くなる。
【0027】
また、視点間予測を利用しないピクチャーを予測する場合、参照せねばならないピクチャーの数が少ないので、予測符号化及び復号化過程で必要なメモリを効率よく利用しうる。
【図面の簡単な説明】
【0028】
【図1】従来技術による多視点映像のシーケンスを示す図面である。
【図2】本発明の一実施例による多視点映像の符号化装置を示す図面である。
【図3】多視点映像シーケンスの時間的レベルを示す図面である。
【図4A】本発明の一実施例による多視点映像シーケンスを示す図面である。
【図4B】本発明の一実施例による多視点映像シーケンス及び時間的レベルを示す図面である。
【図5】本発明の一実施例によるNAL(Network Abstraction Layer)単位ヘッダの構文を示す図面である。
【図6A】本発明の一実施例によるシーケンスパラメータセットの構文を示す図面である。
【図6B】本発明の一実施例によるシーケンスパラメータセットの構文を示す図面である。
【図6C】本発明の一実施例によるSEIメッセージを示す図面である。
【図6D】本発明の一実施例によるSEIメッセージを示す図面である。
【図7】本発明の一実施例による多視点映像の符号化方法を説明するためのフローチャートである。
【図8】本発明の他の実施例による多視点映像の符号化方法を説明するためのフローチャートである。
【図9】本発明の一実施例による多視点映像復号化装置を示す図面である。
【図10】本発明の一実施例による多視点映像の復号化方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0029】
以下、図面を参照して本発明の望ましい実施例を詳細に説明する。
【0030】
図2は、本発明の一実施例による多視点映像の符号化装置を示す。図2を参照すれば、本発明による多視点映像の符号化装置200は、制御部210及び符号化部220を含む。
【0031】
本発明の一実施例によれば、制御部210は、多視点映像シーケンスに含まれたピクチャーが視点間予測のために、シーケンスに含まれた他のピクチャーにより参照される参照ピクチャーであるか否かを決定する。
【0032】
多視点映像シーケンスは、時間的に隣接したピクチャー間に存在する時間的相関関係及び隣接した視点のピクチャー間に存在する空間的な相関関係を利用して予測符号化される。シーケンスによって、時間的相関関係は高く、一方、空間的相関関係は低いシーケンスがありえる。この場合、空間的相関関係を利用する視点間予測を、図1と同様に、あらゆる非アンカーピクチャーに対して行うのは、多視点映像の符号化に消耗される時間のみ大きくするだけで、圧縮率の向上には別に影響を及ぼさない。
【0033】
したがって、本発明による多視点映像符号化装置200は、非アンカーピクチャーをいずれも視点間予測で予測符号化するものではなく、一部の非アンカーピクチャーに対してのみ視点間予測を行う。このために、制御部210は、シーケンスに含まれたピクチャーが各々視点間予測の参照ピクチャーとして機能しているか否かを判断する。換言すれば、視点間予測を行って予測符号化される他のピクチャーによって参照されるか否かを決定する。
【0034】
本発明の他の実施例によれば、制御部210は、時間的レベル(temporal level)に基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを多視点映像のシーケンスから選択する。ピクチャー各々に対して、他のピクチャーにより視点間予測のために参照されるか否かを決定する代わりに、積極的にいかなるピクチャーを、視点間予測を用いて符号化するかを選択する。従来の技術によれば、あらゆる非アンカーピクチャーが視点間予測及び時間的予測を利用して予測符号化される。しかし、本発明によって一部の非アンカーピクチャーのみ視点間予測を利用して符号化するために、時間的レベルに基づいて視点間予測及び時間的予測を利用して、符号化するピクチャーを多視点映像のシーケンスから選択する。
【0035】
時間的レベルとは、映像シーケンスを複数のレベルに区分し、映像の復号化時に一部の時間的レベルのみを選択して復号化可能にすることによって、時間的スケーラビティを提供するためのパラメータである。図3を参照して詳細に説明する。
【0036】
図3は、多視点映像シーケンスの時間的レベルを示す。多視点映像シーケンスの最初映像処理単位を例として説明する。図3を参照すれば、多視点映像シーケンスでアンカーピクチャー310、312の時間的レベルは‘0’である。アンカーピクチャー310、312の間に位置したピクチャー314の時間的レベルは‘1’であり、時間的レベルが‘0’であるピクチャーと時間的レベルが‘1’であるピクチャーとの間に位置したピクチャー316、318の時間的レベルは‘2’である。残りのピクチャーの時間的レベルは‘3’である。
【0037】
図4Aは、本発明の一実施例による多視点映像シーケンスを示す。
【0038】
制御部210が多視点映像シーケンスに含まれたピクチャー各々に対して、視点間予測のための参照如何を決定するか、視点間予測及び時間的予測を利用して符号化するピクチャーを選択した結果によって生成される多視点映像シーケンスを示す。図4Aに図示された多視点映像シーケンスは、視点間予測が選択的に行われる図1に示された従来技術による多視点映像シーケンスとは異なる多視点映像シーケンスとなる。
【0039】
例えば、多視点映像シーケンスの第2行及び第2列に位置したピクチャー144は、図1に示された従来の技術によれば、最初行の第2列に位置したピクチャー145及び第3行及び第2列に位置したピクチャー146を視点間予測のために参照する。換言すれば、最初行の第2列に位置したピクチャー145及び第3行及び第2列に位置したピクチャー146は、視点間予測の参照ピクチャーとなる。
【0040】
しかし、本発明の一実施例による多視点映像シーケンスでは、第2行及び第2列に位置したピクチャー420は、最初行の第2列に位置したピクチャー422及び第3行の第2列に位置したピクチャー424を視点間予測のために参照しない。第2行の第3列のピクチャー426及び第2行の第3列のピクチャー428を時間的予測のために参照するだけである。
【0041】
図1に示されたような従来技術による多視点映像シーケンスの非アンカーピクチャーのうち、奇数行に含まれているピクチャーは、いずれも視点間予測のために他のピクチャーにより参照されたが、図4Aに示された本発明の一実施例による多視点映像シーケンスでは奇数行に含まれている非アンカーピクチャーの一部のみが視点間予測のために他のピクチャーにより参照される。換言すれば、図4Aに示された例では、奇数行に含まれている非アンカーピクチャーのうち、奇数列に位置した非アンカーピクチャーのみ視点間予測を利用して符号化する。
【0042】
図4Bは、本発明の一実施例による多視点映像シーケンス及び時間的レベルを示す。図4Bは、図4Aに示された多視点映像シーケンスのようにシーケンスに含まれた一部のピクチャーのみ視点間予測を利用して符号化する場合、この一部のピクチャーを選択する方法を説明する。
【0043】
図4Bは、時間的レベルに基づいて視点間予測のために参照されるピクチャーを決定した場合を例として説明する。図4Bでは、時間的レベルが3である非アンカーピクチャーは視点間予測を利用して符号化しないと決定する。換言すれば、非アンカーピクチャーのうち、時間的レベルが所定値以下である一部のピクチャーのみを、視点間予測及び時間的予測を利用して符号化するピクチャーとして選択する。
【0044】
制御部210の決定または選択基準になる時間的レベルは、多視点映像シーケンスの特徴によって異なり、図4Bに示された例に限定されない。例えば、多視点映像を撮影するカメラ間の距離が大きいために、視点間に存在する空間的相関関係が大きくない場合には、あらゆる非アンカーピクチャーを視点間予測を行って予測する必要がない。この場合、時間的レベルが‘1’以下であるピクチャーのみを視点間予測を利用して予測し、極端な場合には、視点間予測を利用せず、非アンカーピクチャーを予測するように実施例を構成しうる。
【0045】
また図2を参照すれば、本発明の一実施例によれば、符号化部220は、制御部210の決定または選択結果に基づいて多視点映像シーケンスを符号化する。換言すれば、決定部210の決定または選択結果に基づいて視点間予測及び時間的予測のうち、少なくとも1つを利用して多視点映像シーケンスを予測符号化する。
【0046】
多視点映像シーケンスに含まれているそれぞれのピクチャーを予測して、それぞれのピクチャーの予測値を原本ピクチャーから減算して多視点映像シーケンスの残差データを生成する。
【0047】
符号化部220の予測実行時、所定のメモリに参照ピクチャーを保存して参照して、視点間予測または時間的予測を行う。従来技術によれば、非アンカーピクチャーを予測する時視点間予測及び時間的予測のためのピクチャーをいずれもメモリに保存していなければならない。しかし、本発明によれば、制御部210で視点間予測を行わないと決定したピクチャーに対しては、視点間予測のための参照ピクチャーをメモリに保存しておく必要はない。
【0048】
例えば、図4Aに示された第2行及び第2列に位置したピクチャー420を符号化するに当たって、ピクチャー420の上部及び下部に隣接した視点に位置したピクチャー422、424は視点間予測の参照ピクチャーではないので、このピクチャー422、424をメモリに保存する必要はない。これにより、メモリをさらに効率よく利用できるようになる。
【0049】
制御部210で視点間予測に参照されないと決定されたピクチャーは、視点間予測のためには参照しないので、全体的な予測の速度も速くなる。
【0050】
また図2を参照すれば、本発明の一実施例によれば、符号化部220は、多視点映像シーケンスを予測符号化するに当たって、制御部210で決定された視点間予測の参照ピクチャーであるか否かを示すパラメータも符号化してビットストリームに挿入する。制御部210で各ピクチャーに対して視点間予測のために参照されるか否かを決定すれば、符号化部220は、制御部210で決定した結果についての情報を符号化する。
【0051】
視点間予測のために他のピクチャーによる参照如何はそれぞれのピクチャーごとに決定されるので、視点間予測のために、他のピクチャーによる参照如何を示す情報をそれぞれのピクチャーについてのパラメータに含める。
【0052】
図5は、本発明の一実施例によるNAL(Network Abstraction Layer)単位ヘッダの構文を示す。
【0053】
NAL単位は、映像データのパケット化単位である。一般的に1つのNAL単位には、1つのピクチャーについてのデータが含まれるので、NAL単位ヘッダにそれぞれのピクチャーが視点間予測のために、他のピクチャーによる参照如何を示す情報を含めて符号化する。
【0054】
図5を参照すれば、従来技術によるNAL単位ヘッダに‘nal_ref_idc_view’構文を追加し、他のピクチャーにより視点間予測のために参照されるか否かを示す。例えば、‘nal_ref_idc_view=1’であれば、視点間予測のために他のピクチャーにより参照されることを意味し、‘nal_ref_idc_view=0’であれば、視点間予測のために他のピクチャーにより参照されないことを意味する。
【0055】
‘nal_ref_idc_view’に新たビットを割当てられたので、‘reserved_zero_four_bits’構文も追加して余裕ビット(reserved bits)の個数を変える。
【0056】
再び図2を参照すれば、符号化部220が符号化を行う時には、それぞれのピクチャーが視点間予測及び時間的予測のために参照するピクチャーについての情報も符号化する。‘RefPicList’構文が、このような情報を示す。制御部210で、それぞれのピクチャーが視点間予測の参照ピクチャーとして機能しているか否かを決定した。したがって、符号化部220で多視点映像シーケンスが符号化される時、視点間予測の参照ピクチャーとして機能しないピクチャーは他のピクチャーにより参照されない。
【0057】
したがって、符号化部220がそれぞれのピクチャーに対して参照ピクチャーについての情報を符号化する時には、制御部210で視点間予測のために参照しないと決定されたピクチャーを除いては、‘RefPiclist’を生成しうる。
【0058】
例えば、図4Aに示されたピクチャー420を符号化するに当たって、従来技術によれば、上部及び下部の隣接した視点のピクチャー422、424も参照ピクチャーであり、これについての情報が‘RefPicList’に共に含まれた。しかし、本発明によれば、ピクチャー420の参照ピクチャーには、上部及び下部の隣接した視点のピクチャー422、424は、参照ピクチャーでないと制御部210で決定されたので、‘RefPicList’に含まれない。
【0059】
本発明による他の実施例によれば、符号化部220は、制御部210がいかなるピクチャーを視点間予測及び時間的予測を利用して符号化するために選択したピクチャーについての情報も共に符号化してビットストリームに挿入する。
【0060】
図6Aないし図6Bを参照して詳細に説明する。
【0061】
図6Aは、本発明の一実施例によるシーケンスパラメータセットの構文を示す。図6Aを参照すれば、符号化部220は、制御部210が選択したピクチャーを特定するための情報をシーケンスパラメータセットに含めて符号化しうる。本発明によるシーケンスパラメータセットは、‘temporal_level_max’及び‘use_interview_pred_temporal_level[i]’構文を含む。
【0062】
‘temporal_level_max’は、多視点映像符号化装置200により符号化される多視点映像シーケンスの時間的レベルが何段階であるかを示す情報である。図3Bに示された多視点映像シーケンスは‘0’から‘3’までの時間的レベルを有するので、‘temporal_level_max’は‘3’である。
【0063】
‘use_interview_pred_temporal_level[i]’は、視点間予測及び時間的予測を利用して予測符号化されたピクチャーを特定するための情報である。ここで、‘i’は時間的レベルを意味する。図4Bのように時間的レベルが‘1’及び‘2’であるピクチャーに対してのみ視点間予測を行う場合‘use_interview_pred_temporal_level[1]=1’、 ‘use_interview_pred_temporal_level[2]=1’、 ‘use_interview_pred_temporal_level[3]=0’に構文を設定しうる。値‘0’及び‘1’は、当該時間的レベルに含まれたピクチャーが視点間予測を利用して予測を行っているか否かを示すフラッグ(fag)情報である。
【0064】
時間的レベルが‘0’である場合、アンカーピクチャーであることを意味し、アンカーピクチャーの場合には視点間予測のみを利用して予測符号化するために、‘use_interview_pred_temporal_level[0]’は別途に設定しない。
【0065】
図6Bは、本発明のさらに他の実施例によるシーケンスパラメータセットの構文を示す。
【0066】
図4Bで、制御部210は、時間的レベルのみを基準として視点間予測及び時間的予測を利用して予測符号化するピクチャーを選択した。換言すれば、特定の時間的レベルに含まれているピクチャーは、いずれも時間的予測を行っていない。しかし、時間的レベルだけでなく、それぞれの視点を基準にピクチャーを選択しうる。
【0067】
例えば、視点1のシーケンスに含まれているピクチャーは、時間的レベルが1、2であるピクチャーに対して、視点間予測及び時間的予測を行い、視点3のシーケンスに含まれているピクチャーは、時間的レベルが1である場合にのみ視点間予測及び時間的予測を行える。換言すれば、視点ごとに個別的に視点間予測及び時間的予測を行うピクチャーを選択するものである。この場合、それぞれの視点ごとに選択されたピクチャーを特定するための構文が必要である。
【0068】
図4Bを参照すれば、シーケンスパラメータセットは、‘temporal_level_max’及び‘use_interview_pred_temporal_level[i][j]’構文を含む。
【0069】
‘temporal_level_max’は、図6Aと関連して‘temporal_level_max’と同一であるが、‘use_interview_pred_temporal_level[i][j]’は、図6Aと関連して前述した‘use_interview_pred_temporal_level[i]’と相異なる。
【0070】
‘use_interview_pred_temporal_level[i][j]’で、‘i’は視点を意味し、‘j’は時間的レベルを意味する。前述した例の通り、視点1のシーケンスに含まれたピクチャーは、時間的レベルが‘1’、 ‘2’であるピクチャーのみ視点間予測及び時間的予測を行い、視点3のシーケンスに含まれたピクチャーは、時間的レベルが‘1’であるピクチャーのみ視点間予測及び時間的予測を行う場合を例として説明する。
【0071】
この場合、‘use_interview_pred_temporal_level[1][1]=1’であり、
‘use_interview_pred_temporal_level[1][2]=1’であり、
‘use_interview_pred_temporal_level[1][3]=0’である。
【0072】
‘use_interview_pred_temporal_level[3][1]=1’であり、
‘use_interview_pred_temporal_level[3][2]=0’であり、
‘use_interview_pred_temporal_level[3][3]=0’である。
【0073】
ここで、値‘0’及び‘1’は、図6Aと同様に視点間予測を利用して予測を行っているか否かを示すフラッグ(fag)情報である。
【0074】
図6Cは、本発明の一実施例によるSEIメッセージ(supplemental enhancement information message)を示す。図6Cを参照すれば、符号化部220は、制御部210が選択したピクチャーを特定するための情報をSEIメッセージに含めて符号化しうる。
【0075】
SEIメッセージは、動映像符号化階層(video coding layer)の復号化過程で必要な付加的な情報を示すものであって、各ピクチャーのタイミング情報、パン/スキャン機能に関する情報、ランダムアクセスを行うために必要な情報などを含むことができる。SEIメッセージは、ユーザが独自に定義する情報も含みうるが、本発明の一実施例によるSEIメッセージは、制御部210が視点間予測を行うために選択したピクチャーを特定するための情報を含む。
【0076】
図6Cで、‘temporal_level_max’及び‘use_interview_prediction_temporal_level[i]’は、図6Aと関連して前述した構文と同一である。
【0077】
図6Dは、本発明の他の実施例によるSEIメッセージを示す。図6Dで、‘temporal_level_max’及び‘use_interview_prediction_temporal_level[i][j]’は、図6Bと関連して前述した構文と同一である。
【0078】
図7は、本発明の一実施例による多視点映像の符号化方法を説明するためのフローチャートである。図7を参照すれば、段階710で本発明による多視点映像符号化装置は、多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを決定する。それぞれのピクチャーが視点間予測のためにシーケンスに含まれた他のピクチャーにより参照されるか否かを決定する。
【0079】
本発明の一実施例による多視点映像符号化方法は非アンカーピクチャーをいずもれ視点間予測を利用して予測符号化せず、一部非アンカーピクチャーに対してのみ視点間予測を行う。したがって、視点間予測のために他のピクチャーにより参照されるピクチャーも一部に限定されるので、このために段階710ではそれぞれのピクチャーに対して視点間予測のために他のピクチャーにより参照されるか否かを決定する。望ましくは、時間的レベルに基づいて視点間予測の参照ピクチャーを決定する。
【0080】
段階720で本発明による多視点映像符号化装置は、段階710での決定に基づいて、視点間予測及び時間的予測のうち、少なくとも1つを利用して多視点映像シーケンスのピクチャーを符号化する。
【0081】
多視点映像シーケンスに含まれているそれぞれのピクチャーを視点間予測及び時間的予測のうち、少なくとも1つを利用して予測し、それぞれのピクチャーの予測値を原本ピクチャーから減算して、多視点映像シーケンスの残差データを生成する。
【0082】
視点間予測実行時、視点間予測の参照ピクチャーではないと段階710で決定されたピクチャーは参照せず、視点間予測を行えるために、予測の速度及びメモリ利用の効率性が向上する。
【0083】
多視点映像シーケンスを符号化するに当たって、段階710で視点間予測の参照ピクチャーとして決定されたピクチャーについての情報も共に符号化してビットストリームに挿入する。多視点映像シーケンスのピクチャー各々についてのパラメータに視点間予測の参照ピクチャーであるか否かを示す情報を挿入する。NAL単位ヘッダに含めて符号化することは前述した。
【0084】
図8は、本発明の他の実施例による多視点映像の符号化方法を説明するためのフローチャートである。図8を参照すれば、段階810で本発明による多視点映像符号化装置は、時間的レベルに基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを選択する。多視点映像の視点ごとに個別的に視点間予測及び時間的予測を利用して符号化するピクチャーをも選択しうる。時間的レベルが所定値以下である非アンカーピクチャーを選択することによって、視点間予測及び時間的予測を行うピクチャーを選択する。
【0085】
段階820で、多視点映像符号化装置は、段階810での選択結果に基づいて多視点映像シーケンスを符号化する。段階810で選択されたピクチャーは、視点間予測及び時間的予測を利用して予測符号化し、選択されたピクチャーを除外した残りのピクチャーは視点間予測または時間的予測を利用して予測符号化する。従来技術によれば、多視点映像シーケンスに含まれたあらゆる非アンカーピクチャーを視点間予測及び時間的予測を利用して予測符号化したが、本発明の一実施例によれば、非アンカーピクチャーのうち、一部のピクチャーのみ視点間予測及び時間的予測を利用して予測符号化することによって、多視点映像の符号化速度が速くなる。
【0086】
多視点映像シーケンスの符号化時、段階810で視点間予測を行うために選択されたピクチャーについての情報も共に符号化してビットストリームに挿入する。シーケンスパラメータセットまたはSEIメッセージの形で情報を符号化してビットストリームに挿入できるということは前述した。
【0087】
図9は、本発明の一実施例による多視点映像復号化装置を示す。図9を参照すれば、本発明による多視点映像復号化装置900は、抽出部910及び復号化部920を含む。
【0088】
抽出部910は、本発明による多視点映像符号化方法により符号化された多視点映像シーケンスについてのデータを含んでいるビットストリームを受信する。ここで、多視点映像シーケンスについてのデータは、多視点映像シーケンスの残差データであり、ビットストリームには多視点映像シーケンスのそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かについての情報または視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報を含んでいる。
【0089】
ビットストリームを受信した抽出部910は、受信されたビットストリームから情報を抽出する。視点間予測の参照ピクチャーであるか否かについてのそれぞれのピクチャーについてのパラメータまたは視点間予測及び時間的予測を利用して符号化されたピクチャーであることを示すパラメータを抽出する。NAL単位ヘッダまたはシーケンスパラメータまたはSEIメッセージに含まれている情報を抽出する。
【0090】
復号化部920は、抽出部910で抽出された情報に基づいて多視点映像シーケンスについてのデータを復号化する。ビットストリームに含まれている多視点映像シーケンスについてのデータは残差データである。
【0091】
したがって、復号化部920は、抽出部910で抽出された情報に基づいて視点間予測及び時間的予測のうち、少なくとも1つを利用して、多視点映像シーケンスのそれぞれのピクチャーを予測し、予測結果を多視点映像シーケンスの残差データと加算して多視点映像シーケンスを復元する。
【0092】
復号化部920で予測実行時、所定のメモリに参照ピクチャーを保存して予測を行う。しかし、本発明による多視点映像復号化装置900は、視点間予測の実行時、抽出部910で抽出された情報によって視点間予測の参照ピクチャーではないピクチャーはメモリに保存しない。したがって、予測実行時、メモリに保存せねばならない参照ピクチャーの数が減るので、メモリをさらに効率的に利用しうる。
【0093】
また、あらゆる非アンカーピクチャーに対して視点間予測を行わないので、予測速度が向上する。ランダムアクセスの場合にも、早いアクセスが可能となる。例えば、図4Aに示された第2行及び第2列に位置したピクチャー420をランダムアクセスする場合を説明すれば、上部及び下部に隣接した視点に位置するピクチャー422、424は、視点間予測の参照ピクチャーではないものと既に決定されているので、視点間予測のために復号化する必要がない。したがって、早い予測が可能となって、早いアクセスも可能となる。
【0094】
図10は、本発明の一実施例による多視点映像の復号化方法を説明するためのフローチャートである。図10を参照すれば、段階1010で本発明による多視点映像復号化装置は、多視点映像のシーケンスについてのデータを含むビットストリームを受信する。シーケンスについてのデータは、多視点映像シーケンスの残差データである。
【0095】
段階1020で、多視点映像復号化装置は、段階1010で受信したビットストリームからシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを示す情報または視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報を抽出する。シーケンスについてのデータ、すなわち、残差データも抽出する。多視点映像シーケンスのNAL単位ヘッダまたはシーケンスパラメータまたはSEIメッセージに含まれている情報を抽出する。
【0096】
段階1030で、多視点映像復号化装置は、段階1020で抽出された情報に基づいて多視点映像シーケンスを復号化する。抽出された情報に基づいて視点間予測及び時間的予測のうち、少なくとも1つを利用して予測し、予測結果に段階1020で抽出した残差データを加算して多視点映像シーケンスを復元する。
【0097】
予測実行時、抽出された情報によって、視点間予測の参照ピクチャーではないと決定されたピクチャーは、視点間予測で参照しない。視点間予測をさらに速く効率よく行えるために、多視点映像の復号化速度も速くなる。
【0098】
前述したように、本発明は、たとえ限定された実施例と図面により説明されたとしても、本発明が前記の実施例に限定されるものではなく、本発明が属する技術分野で当業者ならば、このような記載から多様な修正及び変形が可能である。したがって、本発明の思想は、特許請求の範囲によってのみ把握され、これと均等であるか、等価的な変形は、いずれも本発明の思想の範ちゅうに属するものである。また、本発明によるシステムは、コンピュータで読取り可能な記録媒体にコンピュータで読取り可能なコードとして具現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取り可能なデータが保存されるあらゆる種類の記録装置または伝送媒体を含む。記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがある。伝送媒体は、キャリアウェーブ(例えば、インターネットを介した伝送)を含みうる。またコンピュータで読取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式によってコンピュータで読取り可能なコードが保存され、実行されうる。
【技術分野】
【0001】
本発明は、多視点映像の符号化、復号化方法及び装置に係り、さらに詳細には、多視点映像の符号化、復号化のために必要な視点間予測(inter−view predicition)及び時間的予測(temporal prediction)をさらに速く行うための多視点映像の符号化、復号化方法及び装置に関する。
【背景技術】
【0002】
多視点映像符号化では、多視点映像を提供する複数のカメラから入力された映像を同時に符号化する。多視点映像を時間的相関関係(temporal correlation)及びカメラ間(inter−view)の空間的相関関係(spatial correlation)を利用して圧縮符号化する。
【0003】
図1は、従来技術による多視点映像のシーケンスを示す。図1において、横軸は時間軸であり、縦軸は視点軸である。多視点映像の符号化では、基本視点の映像に対して周期的にイントラピクチャー(I picture)を生成し、該生成されたイントラピクチャーに基づいて時間的予測(temporal prediction)または視点間(inter−view prediction)予測を行って他のピクチャーを予測符号化する。
【0004】
時間的予測とは、同じ視点、すなわち、同じ行にある映像間に時間的な相関関係を利用する予測である。視点間予測は、同じ時間、すなわち、同じ列にある映像間に空間的な相関関係を利用する予測である。
【0005】
図1において、それぞれの行は多視点映像のそれぞれの視点に対する映像シーケンスを経時的に示す。それぞれの行は、上から順次に視点0、視点1、視点2、...の映像シーケンスとなる。ここで、視点0を基本視点とし、よって最初行の映像シーケンスは、基本視点の映像シーケンスとなる。基本視点の映像シーケンスに含まれたピクチャーは、時間的予測のみを行って予測符号化され、視点間予測は行わない。
【0006】
また、それぞれの列は、同じ時間での多視点映像を示す。示された列のうち、イントラピクチャーを含んでいる列110、120、130に含まれているピクチャーをアンカーピクチャーと称する。アンカーピクチャーは、視点間予測のみを利用して予測符号化する。
【0007】
イントラピクチャーを含んでいる列110、120、130を除外した残りの列140、150に含まれているピクチャーは、非アンカーピクチャー(non−anchor pictures)と称する。非アンカーピクチャーは、時間的予測及び視点間予測を利用して予測符号化する。
【0008】
図1に示されたシーケンスのうち、第2行の第5列に位置したピクチャー141を例として説明する。ピクチャー141に含まれたブロックを各々視点間予測及び時間的予測を利用して予測する。ブロック単位で予測方法が異なりうるために、ピクチャー141を予測するには、隣接した奇数行に含まれているピクチャー142、143及び時間的に前後のピクチャー111、121をいずれも参照せねばならない。
【0009】
同様に、非アンカーピクチャーは、視点間予測及び時間的予測のために4つのピクチャーを参照して予測符号化せねばならないので、従来技術によって多視点映像を符号化する場合、符号化の速度が遅い。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明が解決しようとする技術的課題は、多視点映像のシーケンスをさらに速く、効率的に符号化、復号化する多視点映像符号化、復号化方法及び装置を提供するところにあり、前記方法を実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体を提供するところにある。
【課題を解決するための手段】
【0011】
前記技術的課題を解決するための本発明による多視点映像の符号化方法は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを決定する段階と、前記決定に基づいて視点間予測及び時間的予測のうち、少なくとも1つを利用して、前記ピクチャーを符号化する段階を含む。
【0012】
本発明による望ましい実施例によれば、前記符号化する段階は、前記参照ピクチャーであるか否かを示す前記ピクチャー各々についてのパラメータを符号化する段階を含む。
【0013】
前記技術的課題を解決するための本発明による多視点映像の符号化装置は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを決定する決定部と、前記決定に基づいて視点間予測及び時間的予測のうち、少なくとも1つを利用して、前記ピクチャーを符号化する符号化部を含む。
【0014】
本発明によるさらに望ましい実施例によれば、前記符号化部は、前記決定に基づいて前記それぞれのピクチャーが視点間予測及び時間的予測のうち、少なくとも1つのために参照する参照ピクチャーについての情報を符号化することを特徴とする。
【0015】
前記技術的課題を解決するための本発明による多視点映像の復号化方法は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを示す情報及び前記シーケンスについてのデータを含むビットストリームを受信する段階と、前記受信されたビットストリームから前記情報及び前記シーケンスについてのデータを抽出する段階と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する段階を含む。
【0016】
本発明によるさらに望ましい実施例によれば、前記情報は、前記ピクチャー各々についてのパラメータに含まれていることを特徴とする。
【0017】
前記技術的課題を解決するための本発明による多視点映像の復号化装置は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを示す情報及び前記シーケンスについてのデータを含むビットストリームを受信し、前記受信されたビットストリームから前記情報及び前記シーケンスについてのデータを抽出する抽出部と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する復号化部を含む。
【0018】
前記技術的課題を解決するための本発明による多視点映像の符号化方法は、時間的レベルに基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを前記多視点映像のシーケンスから選択する段階と、前記選択されたピクチャーは、視点間予測及び時間的予測を利用して符号化して、前記シーケンスに含まれた残りのピクチャーは時間的予測または時間的予測を利用して符号化する段階と、を含む。
【0019】
本発明によるさらに望ましい実施例によれば、前記選択する段階は、前記シーケンスに含まれたピクチャーのうち、前記時間的レベルが所定値以下である非アンカーピクチャーを選択する段階を含む。
【0020】
本発明によるさらに望ましい実施例によれば、前記符号化する段階は、前記選択されたピクチャーについての情報を符号化する段階を含む。
【0021】
前記技術的課題を解決するための本発明による多視点映像の符号化装置は、時間的レベルに基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを前記多視点映像のシーケンスから選択する選択部と、前記選択されたピクチャーは、視点間予測及び時間的予測を利用して符号化し、前記シーケンスに含まれた残りのピクチャーは時間的予測または時間的予測を利用して符号化する符号化部と、を含む。
【0022】
前記技術的課題を解決するための本発明による多視点映像の復号化方法は、前記多視点映像のシーケンスのうち、視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報及び前記多視点映像のシーケンスについてのデータを含むビットストリームを受信する段階と、前記受信されたビットストリームから前記情報を抽出する段階と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する段階と、を含む。
【0023】
本発明によるさらに望ましい実施例によれば、前記情報は、シーケンスパラメータまたはSEIメッセージに含まれていることを特徴とする。
【0024】
前記技術的課題を解決するための本発明による多視点映像の復号化装置は、前記多視点映像のシーケンスのうち、視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報及び前記多視点映像のシーケンスについてのデータを含むビットストリームを受信し、前記受信されたビットストリームから前記情報を抽出する抽出部と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する復号化部、を含む。
【0025】
前記技術的課題を解決するための本発明は、前記多視点映像符号化及び復号化方法を実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体を提供する。
【発明の効果】
【0026】
本発明によれば、多視点映像符号化及び復号化過程で多視点映像シーケンスに含まれた一部にピクチャーのみ視点間予測を利用して予測符号化及び復号化できて、符号化及び復号化の速度が速くなる。
【0027】
また、視点間予測を利用しないピクチャーを予測する場合、参照せねばならないピクチャーの数が少ないので、予測符号化及び復号化過程で必要なメモリを効率よく利用しうる。
【図面の簡単な説明】
【0028】
【図1】従来技術による多視点映像のシーケンスを示す図面である。
【図2】本発明の一実施例による多視点映像の符号化装置を示す図面である。
【図3】多視点映像シーケンスの時間的レベルを示す図面である。
【図4A】本発明の一実施例による多視点映像シーケンスを示す図面である。
【図4B】本発明の一実施例による多視点映像シーケンス及び時間的レベルを示す図面である。
【図5】本発明の一実施例によるNAL(Network Abstraction Layer)単位ヘッダの構文を示す図面である。
【図6A】本発明の一実施例によるシーケンスパラメータセットの構文を示す図面である。
【図6B】本発明の一実施例によるシーケンスパラメータセットの構文を示す図面である。
【図6C】本発明の一実施例によるSEIメッセージを示す図面である。
【図6D】本発明の一実施例によるSEIメッセージを示す図面である。
【図7】本発明の一実施例による多視点映像の符号化方法を説明するためのフローチャートである。
【図8】本発明の他の実施例による多視点映像の符号化方法を説明するためのフローチャートである。
【図9】本発明の一実施例による多視点映像復号化装置を示す図面である。
【図10】本発明の一実施例による多視点映像の復号化方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0029】
以下、図面を参照して本発明の望ましい実施例を詳細に説明する。
【0030】
図2は、本発明の一実施例による多視点映像の符号化装置を示す。図2を参照すれば、本発明による多視点映像の符号化装置200は、制御部210及び符号化部220を含む。
【0031】
本発明の一実施例によれば、制御部210は、多視点映像シーケンスに含まれたピクチャーが視点間予測のために、シーケンスに含まれた他のピクチャーにより参照される参照ピクチャーであるか否かを決定する。
【0032】
多視点映像シーケンスは、時間的に隣接したピクチャー間に存在する時間的相関関係及び隣接した視点のピクチャー間に存在する空間的な相関関係を利用して予測符号化される。シーケンスによって、時間的相関関係は高く、一方、空間的相関関係は低いシーケンスがありえる。この場合、空間的相関関係を利用する視点間予測を、図1と同様に、あらゆる非アンカーピクチャーに対して行うのは、多視点映像の符号化に消耗される時間のみ大きくするだけで、圧縮率の向上には別に影響を及ぼさない。
【0033】
したがって、本発明による多視点映像符号化装置200は、非アンカーピクチャーをいずれも視点間予測で予測符号化するものではなく、一部の非アンカーピクチャーに対してのみ視点間予測を行う。このために、制御部210は、シーケンスに含まれたピクチャーが各々視点間予測の参照ピクチャーとして機能しているか否かを判断する。換言すれば、視点間予測を行って予測符号化される他のピクチャーによって参照されるか否かを決定する。
【0034】
本発明の他の実施例によれば、制御部210は、時間的レベル(temporal level)に基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを多視点映像のシーケンスから選択する。ピクチャー各々に対して、他のピクチャーにより視点間予測のために参照されるか否かを決定する代わりに、積極的にいかなるピクチャーを、視点間予測を用いて符号化するかを選択する。従来の技術によれば、あらゆる非アンカーピクチャーが視点間予測及び時間的予測を利用して予測符号化される。しかし、本発明によって一部の非アンカーピクチャーのみ視点間予測を利用して符号化するために、時間的レベルに基づいて視点間予測及び時間的予測を利用して、符号化するピクチャーを多視点映像のシーケンスから選択する。
【0035】
時間的レベルとは、映像シーケンスを複数のレベルに区分し、映像の復号化時に一部の時間的レベルのみを選択して復号化可能にすることによって、時間的スケーラビティを提供するためのパラメータである。図3を参照して詳細に説明する。
【0036】
図3は、多視点映像シーケンスの時間的レベルを示す。多視点映像シーケンスの最初映像処理単位を例として説明する。図3を参照すれば、多視点映像シーケンスでアンカーピクチャー310、312の時間的レベルは‘0’である。アンカーピクチャー310、312の間に位置したピクチャー314の時間的レベルは‘1’であり、時間的レベルが‘0’であるピクチャーと時間的レベルが‘1’であるピクチャーとの間に位置したピクチャー316、318の時間的レベルは‘2’である。残りのピクチャーの時間的レベルは‘3’である。
【0037】
図4Aは、本発明の一実施例による多視点映像シーケンスを示す。
【0038】
制御部210が多視点映像シーケンスに含まれたピクチャー各々に対して、視点間予測のための参照如何を決定するか、視点間予測及び時間的予測を利用して符号化するピクチャーを選択した結果によって生成される多視点映像シーケンスを示す。図4Aに図示された多視点映像シーケンスは、視点間予測が選択的に行われる図1に示された従来技術による多視点映像シーケンスとは異なる多視点映像シーケンスとなる。
【0039】
例えば、多視点映像シーケンスの第2行及び第2列に位置したピクチャー144は、図1に示された従来の技術によれば、最初行の第2列に位置したピクチャー145及び第3行及び第2列に位置したピクチャー146を視点間予測のために参照する。換言すれば、最初行の第2列に位置したピクチャー145及び第3行及び第2列に位置したピクチャー146は、視点間予測の参照ピクチャーとなる。
【0040】
しかし、本発明の一実施例による多視点映像シーケンスでは、第2行及び第2列に位置したピクチャー420は、最初行の第2列に位置したピクチャー422及び第3行の第2列に位置したピクチャー424を視点間予測のために参照しない。第2行の第3列のピクチャー426及び第2行の第3列のピクチャー428を時間的予測のために参照するだけである。
【0041】
図1に示されたような従来技術による多視点映像シーケンスの非アンカーピクチャーのうち、奇数行に含まれているピクチャーは、いずれも視点間予測のために他のピクチャーにより参照されたが、図4Aに示された本発明の一実施例による多視点映像シーケンスでは奇数行に含まれている非アンカーピクチャーの一部のみが視点間予測のために他のピクチャーにより参照される。換言すれば、図4Aに示された例では、奇数行に含まれている非アンカーピクチャーのうち、奇数列に位置した非アンカーピクチャーのみ視点間予測を利用して符号化する。
【0042】
図4Bは、本発明の一実施例による多視点映像シーケンス及び時間的レベルを示す。図4Bは、図4Aに示された多視点映像シーケンスのようにシーケンスに含まれた一部のピクチャーのみ視点間予測を利用して符号化する場合、この一部のピクチャーを選択する方法を説明する。
【0043】
図4Bは、時間的レベルに基づいて視点間予測のために参照されるピクチャーを決定した場合を例として説明する。図4Bでは、時間的レベルが3である非アンカーピクチャーは視点間予測を利用して符号化しないと決定する。換言すれば、非アンカーピクチャーのうち、時間的レベルが所定値以下である一部のピクチャーのみを、視点間予測及び時間的予測を利用して符号化するピクチャーとして選択する。
【0044】
制御部210の決定または選択基準になる時間的レベルは、多視点映像シーケンスの特徴によって異なり、図4Bに示された例に限定されない。例えば、多視点映像を撮影するカメラ間の距離が大きいために、視点間に存在する空間的相関関係が大きくない場合には、あらゆる非アンカーピクチャーを視点間予測を行って予測する必要がない。この場合、時間的レベルが‘1’以下であるピクチャーのみを視点間予測を利用して予測し、極端な場合には、視点間予測を利用せず、非アンカーピクチャーを予測するように実施例を構成しうる。
【0045】
また図2を参照すれば、本発明の一実施例によれば、符号化部220は、制御部210の決定または選択結果に基づいて多視点映像シーケンスを符号化する。換言すれば、決定部210の決定または選択結果に基づいて視点間予測及び時間的予測のうち、少なくとも1つを利用して多視点映像シーケンスを予測符号化する。
【0046】
多視点映像シーケンスに含まれているそれぞれのピクチャーを予測して、それぞれのピクチャーの予測値を原本ピクチャーから減算して多視点映像シーケンスの残差データを生成する。
【0047】
符号化部220の予測実行時、所定のメモリに参照ピクチャーを保存して参照して、視点間予測または時間的予測を行う。従来技術によれば、非アンカーピクチャーを予測する時視点間予測及び時間的予測のためのピクチャーをいずれもメモリに保存していなければならない。しかし、本発明によれば、制御部210で視点間予測を行わないと決定したピクチャーに対しては、視点間予測のための参照ピクチャーをメモリに保存しておく必要はない。
【0048】
例えば、図4Aに示された第2行及び第2列に位置したピクチャー420を符号化するに当たって、ピクチャー420の上部及び下部に隣接した視点に位置したピクチャー422、424は視点間予測の参照ピクチャーではないので、このピクチャー422、424をメモリに保存する必要はない。これにより、メモリをさらに効率よく利用できるようになる。
【0049】
制御部210で視点間予測に参照されないと決定されたピクチャーは、視点間予測のためには参照しないので、全体的な予測の速度も速くなる。
【0050】
また図2を参照すれば、本発明の一実施例によれば、符号化部220は、多視点映像シーケンスを予測符号化するに当たって、制御部210で決定された視点間予測の参照ピクチャーであるか否かを示すパラメータも符号化してビットストリームに挿入する。制御部210で各ピクチャーに対して視点間予測のために参照されるか否かを決定すれば、符号化部220は、制御部210で決定した結果についての情報を符号化する。
【0051】
視点間予測のために他のピクチャーによる参照如何はそれぞれのピクチャーごとに決定されるので、視点間予測のために、他のピクチャーによる参照如何を示す情報をそれぞれのピクチャーについてのパラメータに含める。
【0052】
図5は、本発明の一実施例によるNAL(Network Abstraction Layer)単位ヘッダの構文を示す。
【0053】
NAL単位は、映像データのパケット化単位である。一般的に1つのNAL単位には、1つのピクチャーについてのデータが含まれるので、NAL単位ヘッダにそれぞれのピクチャーが視点間予測のために、他のピクチャーによる参照如何を示す情報を含めて符号化する。
【0054】
図5を参照すれば、従来技術によるNAL単位ヘッダに‘nal_ref_idc_view’構文を追加し、他のピクチャーにより視点間予測のために参照されるか否かを示す。例えば、‘nal_ref_idc_view=1’であれば、視点間予測のために他のピクチャーにより参照されることを意味し、‘nal_ref_idc_view=0’であれば、視点間予測のために他のピクチャーにより参照されないことを意味する。
【0055】
‘nal_ref_idc_view’に新たビットを割当てられたので、‘reserved_zero_four_bits’構文も追加して余裕ビット(reserved bits)の個数を変える。
【0056】
再び図2を参照すれば、符号化部220が符号化を行う時には、それぞれのピクチャーが視点間予測及び時間的予測のために参照するピクチャーについての情報も符号化する。‘RefPicList’構文が、このような情報を示す。制御部210で、それぞれのピクチャーが視点間予測の参照ピクチャーとして機能しているか否かを決定した。したがって、符号化部220で多視点映像シーケンスが符号化される時、視点間予測の参照ピクチャーとして機能しないピクチャーは他のピクチャーにより参照されない。
【0057】
したがって、符号化部220がそれぞれのピクチャーに対して参照ピクチャーについての情報を符号化する時には、制御部210で視点間予測のために参照しないと決定されたピクチャーを除いては、‘RefPiclist’を生成しうる。
【0058】
例えば、図4Aに示されたピクチャー420を符号化するに当たって、従来技術によれば、上部及び下部の隣接した視点のピクチャー422、424も参照ピクチャーであり、これについての情報が‘RefPicList’に共に含まれた。しかし、本発明によれば、ピクチャー420の参照ピクチャーには、上部及び下部の隣接した視点のピクチャー422、424は、参照ピクチャーでないと制御部210で決定されたので、‘RefPicList’に含まれない。
【0059】
本発明による他の実施例によれば、符号化部220は、制御部210がいかなるピクチャーを視点間予測及び時間的予測を利用して符号化するために選択したピクチャーについての情報も共に符号化してビットストリームに挿入する。
【0060】
図6Aないし図6Bを参照して詳細に説明する。
【0061】
図6Aは、本発明の一実施例によるシーケンスパラメータセットの構文を示す。図6Aを参照すれば、符号化部220は、制御部210が選択したピクチャーを特定するための情報をシーケンスパラメータセットに含めて符号化しうる。本発明によるシーケンスパラメータセットは、‘temporal_level_max’及び‘use_interview_pred_temporal_level[i]’構文を含む。
【0062】
‘temporal_level_max’は、多視点映像符号化装置200により符号化される多視点映像シーケンスの時間的レベルが何段階であるかを示す情報である。図3Bに示された多視点映像シーケンスは‘0’から‘3’までの時間的レベルを有するので、‘temporal_level_max’は‘3’である。
【0063】
‘use_interview_pred_temporal_level[i]’は、視点間予測及び時間的予測を利用して予測符号化されたピクチャーを特定するための情報である。ここで、‘i’は時間的レベルを意味する。図4Bのように時間的レベルが‘1’及び‘2’であるピクチャーに対してのみ視点間予測を行う場合‘use_interview_pred_temporal_level[1]=1’、 ‘use_interview_pred_temporal_level[2]=1’、 ‘use_interview_pred_temporal_level[3]=0’に構文を設定しうる。値‘0’及び‘1’は、当該時間的レベルに含まれたピクチャーが視点間予測を利用して予測を行っているか否かを示すフラッグ(fag)情報である。
【0064】
時間的レベルが‘0’である場合、アンカーピクチャーであることを意味し、アンカーピクチャーの場合には視点間予測のみを利用して予測符号化するために、‘use_interview_pred_temporal_level[0]’は別途に設定しない。
【0065】
図6Bは、本発明のさらに他の実施例によるシーケンスパラメータセットの構文を示す。
【0066】
図4Bで、制御部210は、時間的レベルのみを基準として視点間予測及び時間的予測を利用して予測符号化するピクチャーを選択した。換言すれば、特定の時間的レベルに含まれているピクチャーは、いずれも時間的予測を行っていない。しかし、時間的レベルだけでなく、それぞれの視点を基準にピクチャーを選択しうる。
【0067】
例えば、視点1のシーケンスに含まれているピクチャーは、時間的レベルが1、2であるピクチャーに対して、視点間予測及び時間的予測を行い、視点3のシーケンスに含まれているピクチャーは、時間的レベルが1である場合にのみ視点間予測及び時間的予測を行える。換言すれば、視点ごとに個別的に視点間予測及び時間的予測を行うピクチャーを選択するものである。この場合、それぞれの視点ごとに選択されたピクチャーを特定するための構文が必要である。
【0068】
図4Bを参照すれば、シーケンスパラメータセットは、‘temporal_level_max’及び‘use_interview_pred_temporal_level[i][j]’構文を含む。
【0069】
‘temporal_level_max’は、図6Aと関連して‘temporal_level_max’と同一であるが、‘use_interview_pred_temporal_level[i][j]’は、図6Aと関連して前述した‘use_interview_pred_temporal_level[i]’と相異なる。
【0070】
‘use_interview_pred_temporal_level[i][j]’で、‘i’は視点を意味し、‘j’は時間的レベルを意味する。前述した例の通り、視点1のシーケンスに含まれたピクチャーは、時間的レベルが‘1’、 ‘2’であるピクチャーのみ視点間予測及び時間的予測を行い、視点3のシーケンスに含まれたピクチャーは、時間的レベルが‘1’であるピクチャーのみ視点間予測及び時間的予測を行う場合を例として説明する。
【0071】
この場合、‘use_interview_pred_temporal_level[1][1]=1’であり、
‘use_interview_pred_temporal_level[1][2]=1’であり、
‘use_interview_pred_temporal_level[1][3]=0’である。
【0072】
‘use_interview_pred_temporal_level[3][1]=1’であり、
‘use_interview_pred_temporal_level[3][2]=0’であり、
‘use_interview_pred_temporal_level[3][3]=0’である。
【0073】
ここで、値‘0’及び‘1’は、図6Aと同様に視点間予測を利用して予測を行っているか否かを示すフラッグ(fag)情報である。
【0074】
図6Cは、本発明の一実施例によるSEIメッセージ(supplemental enhancement information message)を示す。図6Cを参照すれば、符号化部220は、制御部210が選択したピクチャーを特定するための情報をSEIメッセージに含めて符号化しうる。
【0075】
SEIメッセージは、動映像符号化階層(video coding layer)の復号化過程で必要な付加的な情報を示すものであって、各ピクチャーのタイミング情報、パン/スキャン機能に関する情報、ランダムアクセスを行うために必要な情報などを含むことができる。SEIメッセージは、ユーザが独自に定義する情報も含みうるが、本発明の一実施例によるSEIメッセージは、制御部210が視点間予測を行うために選択したピクチャーを特定するための情報を含む。
【0076】
図6Cで、‘temporal_level_max’及び‘use_interview_prediction_temporal_level[i]’は、図6Aと関連して前述した構文と同一である。
【0077】
図6Dは、本発明の他の実施例によるSEIメッセージを示す。図6Dで、‘temporal_level_max’及び‘use_interview_prediction_temporal_level[i][j]’は、図6Bと関連して前述した構文と同一である。
【0078】
図7は、本発明の一実施例による多視点映像の符号化方法を説明するためのフローチャートである。図7を参照すれば、段階710で本発明による多視点映像符号化装置は、多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを決定する。それぞれのピクチャーが視点間予測のためにシーケンスに含まれた他のピクチャーにより参照されるか否かを決定する。
【0079】
本発明の一実施例による多視点映像符号化方法は非アンカーピクチャーをいずもれ視点間予測を利用して予測符号化せず、一部非アンカーピクチャーに対してのみ視点間予測を行う。したがって、視点間予測のために他のピクチャーにより参照されるピクチャーも一部に限定されるので、このために段階710ではそれぞれのピクチャーに対して視点間予測のために他のピクチャーにより参照されるか否かを決定する。望ましくは、時間的レベルに基づいて視点間予測の参照ピクチャーを決定する。
【0080】
段階720で本発明による多視点映像符号化装置は、段階710での決定に基づいて、視点間予測及び時間的予測のうち、少なくとも1つを利用して多視点映像シーケンスのピクチャーを符号化する。
【0081】
多視点映像シーケンスに含まれているそれぞれのピクチャーを視点間予測及び時間的予測のうち、少なくとも1つを利用して予測し、それぞれのピクチャーの予測値を原本ピクチャーから減算して、多視点映像シーケンスの残差データを生成する。
【0082】
視点間予測実行時、視点間予測の参照ピクチャーではないと段階710で決定されたピクチャーは参照せず、視点間予測を行えるために、予測の速度及びメモリ利用の効率性が向上する。
【0083】
多視点映像シーケンスを符号化するに当たって、段階710で視点間予測の参照ピクチャーとして決定されたピクチャーについての情報も共に符号化してビットストリームに挿入する。多視点映像シーケンスのピクチャー各々についてのパラメータに視点間予測の参照ピクチャーであるか否かを示す情報を挿入する。NAL単位ヘッダに含めて符号化することは前述した。
【0084】
図8は、本発明の他の実施例による多視点映像の符号化方法を説明するためのフローチャートである。図8を参照すれば、段階810で本発明による多視点映像符号化装置は、時間的レベルに基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを選択する。多視点映像の視点ごとに個別的に視点間予測及び時間的予測を利用して符号化するピクチャーをも選択しうる。時間的レベルが所定値以下である非アンカーピクチャーを選択することによって、視点間予測及び時間的予測を行うピクチャーを選択する。
【0085】
段階820で、多視点映像符号化装置は、段階810での選択結果に基づいて多視点映像シーケンスを符号化する。段階810で選択されたピクチャーは、視点間予測及び時間的予測を利用して予測符号化し、選択されたピクチャーを除外した残りのピクチャーは視点間予測または時間的予測を利用して予測符号化する。従来技術によれば、多視点映像シーケンスに含まれたあらゆる非アンカーピクチャーを視点間予測及び時間的予測を利用して予測符号化したが、本発明の一実施例によれば、非アンカーピクチャーのうち、一部のピクチャーのみ視点間予測及び時間的予測を利用して予測符号化することによって、多視点映像の符号化速度が速くなる。
【0086】
多視点映像シーケンスの符号化時、段階810で視点間予測を行うために選択されたピクチャーについての情報も共に符号化してビットストリームに挿入する。シーケンスパラメータセットまたはSEIメッセージの形で情報を符号化してビットストリームに挿入できるということは前述した。
【0087】
図9は、本発明の一実施例による多視点映像復号化装置を示す。図9を参照すれば、本発明による多視点映像復号化装置900は、抽出部910及び復号化部920を含む。
【0088】
抽出部910は、本発明による多視点映像符号化方法により符号化された多視点映像シーケンスについてのデータを含んでいるビットストリームを受信する。ここで、多視点映像シーケンスについてのデータは、多視点映像シーケンスの残差データであり、ビットストリームには多視点映像シーケンスのそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かについての情報または視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報を含んでいる。
【0089】
ビットストリームを受信した抽出部910は、受信されたビットストリームから情報を抽出する。視点間予測の参照ピクチャーであるか否かについてのそれぞれのピクチャーについてのパラメータまたは視点間予測及び時間的予測を利用して符号化されたピクチャーであることを示すパラメータを抽出する。NAL単位ヘッダまたはシーケンスパラメータまたはSEIメッセージに含まれている情報を抽出する。
【0090】
復号化部920は、抽出部910で抽出された情報に基づいて多視点映像シーケンスについてのデータを復号化する。ビットストリームに含まれている多視点映像シーケンスについてのデータは残差データである。
【0091】
したがって、復号化部920は、抽出部910で抽出された情報に基づいて視点間予測及び時間的予測のうち、少なくとも1つを利用して、多視点映像シーケンスのそれぞれのピクチャーを予測し、予測結果を多視点映像シーケンスの残差データと加算して多視点映像シーケンスを復元する。
【0092】
復号化部920で予測実行時、所定のメモリに参照ピクチャーを保存して予測を行う。しかし、本発明による多視点映像復号化装置900は、視点間予測の実行時、抽出部910で抽出された情報によって視点間予測の参照ピクチャーではないピクチャーはメモリに保存しない。したがって、予測実行時、メモリに保存せねばならない参照ピクチャーの数が減るので、メモリをさらに効率的に利用しうる。
【0093】
また、あらゆる非アンカーピクチャーに対して視点間予測を行わないので、予測速度が向上する。ランダムアクセスの場合にも、早いアクセスが可能となる。例えば、図4Aに示された第2行及び第2列に位置したピクチャー420をランダムアクセスする場合を説明すれば、上部及び下部に隣接した視点に位置するピクチャー422、424は、視点間予測の参照ピクチャーではないものと既に決定されているので、視点間予測のために復号化する必要がない。したがって、早い予測が可能となって、早いアクセスも可能となる。
【0094】
図10は、本発明の一実施例による多視点映像の復号化方法を説明するためのフローチャートである。図10を参照すれば、段階1010で本発明による多視点映像復号化装置は、多視点映像のシーケンスについてのデータを含むビットストリームを受信する。シーケンスについてのデータは、多視点映像シーケンスの残差データである。
【0095】
段階1020で、多視点映像復号化装置は、段階1010で受信したビットストリームからシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを示す情報または視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報を抽出する。シーケンスについてのデータ、すなわち、残差データも抽出する。多視点映像シーケンスのNAL単位ヘッダまたはシーケンスパラメータまたはSEIメッセージに含まれている情報を抽出する。
【0096】
段階1030で、多視点映像復号化装置は、段階1020で抽出された情報に基づいて多視点映像シーケンスを復号化する。抽出された情報に基づいて視点間予測及び時間的予測のうち、少なくとも1つを利用して予測し、予測結果に段階1020で抽出した残差データを加算して多視点映像シーケンスを復元する。
【0097】
予測実行時、抽出された情報によって、視点間予測の参照ピクチャーではないと決定されたピクチャーは、視点間予測で参照しない。視点間予測をさらに速く効率よく行えるために、多視点映像の復号化速度も速くなる。
【0098】
前述したように、本発明は、たとえ限定された実施例と図面により説明されたとしても、本発明が前記の実施例に限定されるものではなく、本発明が属する技術分野で当業者ならば、このような記載から多様な修正及び変形が可能である。したがって、本発明の思想は、特許請求の範囲によってのみ把握され、これと均等であるか、等価的な変形は、いずれも本発明の思想の範ちゅうに属するものである。また、本発明によるシステムは、コンピュータで読取り可能な記録媒体にコンピュータで読取り可能なコードとして具現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取り可能なデータが保存されるあらゆる種類の記録装置または伝送媒体を含む。記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがある。伝送媒体は、キャリアウェーブ(例えば、インターネットを介した伝送)を含みうる。またコンピュータで読取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式によってコンピュータで読取り可能なコードが保存され、実行されうる。
【特許請求の範囲】
【請求項1】
多視点(multi-view)映像の符号化方法において、
時間的レベル(temporal level)に基づいて視点間予測(inter-view prediction)及び時間的予測(temporal prediction)を利用して符号化するピクチャーを前記多視点映像のシーケンスから選択する段階と、
前記選択されたピクチャーは、視点間予測及び時間的予測を利用して符号化し、前記シーケンスに含まれた残りのピクチャーは、視点間予測または時間的予測を利用して符号化する段階と、を含むことを特徴とする多視点映像符号化方法。
【請求項2】
前記選択する段階は、
前記シーケンスに含まれたピクチャーのうち、前記時間的レベルが所定値以下である非アンカーピクチャー(non-anchor)を選択する段階を含むことを特徴とする請求項1に記載の多視点映像符号化方法。
【請求項3】
前記選択する段階は、
前記時間的レベルに基づいて前記シーケンスの視点ごとに視点間予測及び時間的予測を利用して符号化するピクチャーを選択する段階を含むことを特徴とする請求項1に記載の多視点映像符号化方法。
【請求項4】
前記符号化する段階は、
前記選択されたピクチャーについての情報を符号化する段階を含むことを特徴とする請求項1に記載の多視点映像符号化方法。
【請求項5】
前記符号化する段階は、
前記情報を含むシーケンスパラメータ(sequence parameter)またはSEIメッセージ(Supplemental Enhancement Information message)を符号化する段階を含むことを特徴とする請求項4に記載の多視点映像符号化方法。
【請求項6】
請求項1ないし5のうち、いずれか一項に記載の方法を実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体。
【請求項1】
多視点(multi-view)映像の符号化方法において、
時間的レベル(temporal level)に基づいて視点間予測(inter-view prediction)及び時間的予測(temporal prediction)を利用して符号化するピクチャーを前記多視点映像のシーケンスから選択する段階と、
前記選択されたピクチャーは、視点間予測及び時間的予測を利用して符号化し、前記シーケンスに含まれた残りのピクチャーは、視点間予測または時間的予測を利用して符号化する段階と、を含むことを特徴とする多視点映像符号化方法。
【請求項2】
前記選択する段階は、
前記シーケンスに含まれたピクチャーのうち、前記時間的レベルが所定値以下である非アンカーピクチャー(non-anchor)を選択する段階を含むことを特徴とする請求項1に記載の多視点映像符号化方法。
【請求項3】
前記選択する段階は、
前記時間的レベルに基づいて前記シーケンスの視点ごとに視点間予測及び時間的予測を利用して符号化するピクチャーを選択する段階を含むことを特徴とする請求項1に記載の多視点映像符号化方法。
【請求項4】
前記符号化する段階は、
前記選択されたピクチャーについての情報を符号化する段階を含むことを特徴とする請求項1に記載の多視点映像符号化方法。
【請求項5】
前記符号化する段階は、
前記情報を含むシーケンスパラメータ(sequence parameter)またはSEIメッセージ(Supplemental Enhancement Information message)を符号化する段階を含むことを特徴とする請求項4に記載の多視点映像符号化方法。
【請求項6】
請求項1ないし5のうち、いずれか一項に記載の方法を実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2012−147470(P2012−147470A)
【公開日】平成24年8月2日(2012.8.2)
【国際特許分類】
【出願番号】特願2012−57571(P2012−57571)
【出願日】平成24年3月14日(2012.3.14)
【分割の表示】特願2010−502926(P2010−502926)の分割
【原出願日】平成20年3月6日(2008.3.6)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】
【公開日】平成24年8月2日(2012.8.2)
【国際特許分類】
【出願日】平成24年3月14日(2012.3.14)
【分割の表示】特願2010−502926(P2010−502926)の分割
【原出願日】平成20年3月6日(2008.3.6)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】
[ Back to top ]