環状映像の参照画素補間方法、その装置、環状映像符号化方法、その装置及び環状映像復号化方法ならびにその装置
本発明によって環状映像の参照画素補間方法、その装置、環状映像符号化方法、その装置及び環状映像復号化方法ならびにその装置が開示される。
本発明による環状映像の参照画素を補間する方法は、環状映像の歪曲方向に配列された複数の参照画素を選択するステップと、選択された複数の参照画素の値に基づいて補間しようとする対象参照画素の値を補間するステップと、を含む。このような本発明によれば、環状映像の歪曲特性を考慮して環状映像の空間的相関関係を利用して補間を行うことによって、環状映像の画面間予測を効果的に行える。
本発明による環状映像の参照画素を補間する方法は、環状映像の歪曲方向に配列された複数の参照画素を選択するステップと、選択された複数の参照画素の値に基づいて補間しようとする対象参照画素の値を補間するステップと、を含む。このような本発明によれば、環状映像の歪曲特性を考慮して環状映像の空間的相関関係を利用して補間を行うことによって、環状映像の画面間予測を効果的に行える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、環状映像の参照画素補間方法、その装置、環状映像符号化方法、その装置、環状映像復号化方法ならびにその装置に関する。
【背景技術】
【０００２】
２１世紀になってハードウェアとソフトウェアにまたがるデジタル技術の総体的な発達につれて、各通信媒体が独立的に領域を守ってきた時代がすぎて、いつでもどこでもオンラインでサービスを受けられるユビキタス（Ｕｂｉｑｕｉｔｏｕｓ）の時代を迎えようとしている。ユビキタスの時代のユーザは、身体の一部のように情報の取得及び使用を望んでいる。その始まりとして、対話形放送と３次元実感放送についての研究開発がいつよりも活発に行われているようになっている。対話形放送及び３次元実感放送を構成するためには、立体（ｓｔｅｒｅｏｓｃｏｐｉｃ）カメラシステムや全方向ビデオシステム、多視点カメラシステムのような３次元ビデオカメラシステムが要求される。
【０００３】
また、３次元ビデオカメラシステムから得られた３次元実感映像の圧縮を標準化するために、ＭＰＥＧでは３ＤＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ） ＥＥ（Ｅｘｐｌｏｒａｔｉｏｎ Ｅｘｐｅｒｉｍｅｎｔｓ）−１からＥＥ−４までが新設され、それらは研究中である。このうち、ＥＥ−１では全方向ビデオの圧縮に関する研究が進められているが、まだ映像自体の変換に関する主題のみが取り扱われているのが実情である。
【０００４】
従来のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４などのビデオ圧縮方法は２次元映像に好適に設計され、３次元、特に全方向ビデオ圧縮には適していない。特に、双曲面鏡を利用して生成した環状映像の場合には、一般映像と異なる３６０°全方向についての情報が含まれており、円形の独特の歪曲を持っている。このような環状映像の特徴により既存の２次元映像に適したビデオコーディングアルゴリズムをそのまま使用すると、当然のこととして予測及び圧縮効率が低下する。
【０００５】
環状映像（Ａｎｎｕｌａｒ Ｉｍａｇｅ）は、全方向カメラのうち鏡基盤カメラシステムで鏡に反射されてカメラに撮られた映像をいい、３６０°全景情報を含んでいる。図１に、このような環状映像の一例を表す。このような環状映像は、可視領域（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）が制限されている典型的な従来のイメージセンサーと異なって、投射の中心から３６０°全方向の状況を入力されうる全方向イメージセンサーにより撮影されうる。
【０００６】
環状映像に一般的２次元平面映像コーデックを適用すれば、映像の特性上空間的歪曲によって空間及び時間的相関関係をもって予測をする画面内及び画面間の予測のような予測アルゴリズムの効率が落ちる。その理由は、２次元平面映像と比較して環状映像の歪曲の程度が大きいためである。例えば、図２Ａ及び図２Ｂに図示したように、客体(object)が上下運動を行うと、２次元平面映像ではカメラと客体との距離が一定ならば、ある程度の客体移動がおきても、その形態(shape)は歪曲されないが、全方向性カメラでは双曲面鏡の特性によって客体の形態が容易に歪曲されることを表す。
【０００７】
ここで、空間的相関関係が落ちる理由は、環状映像が空間的に円周率と類似した歪曲率を持つためである。これは、画面間予測をする時に効率を大きく落とす原因となる。そして、時間的相関関係が落ちる理由は、図２Ａ及び図２Ｂに図示したように時間的移動によって客体の形態がある程度一定に維持されるものではなく、歪曲が激しく現れるためである。このような理由によって、動きベクトルの正確なマッチングを困難にし、１／２ｐｅｌ補間(1/2 pixel-base interpolation)及び１／４ｐｅｌ補間(1/4 pixel-base interpolation)時に空間的相関関係の少ない参照画素を参照するので、コーディング効率の低下を引き起こす。
【０００８】
さらに、２次元動画コーディング技法のうちの一つであるＨ．２６４を中心に現在の予測方法を紹介する。
画面間予測（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）は、ブロック基盤動き補償（ｂｌｏｃｋ−ｂａｓｅｄ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を使用して、一つまたはそれ以上の以前に符号化されたビデオフレームまたはフィールドから予測モデルを生成する。
【０００９】
画面間コーディングされたマクロブロックでの各パーティション及びサブ・パーティションは、参照映像のような大きさの位置から予測される。位置に関して、輝度成分に対しては１／４ｐｅｌ解像度を持ち、色度成分に対しては１／８ｐｅｌ解像度を持つ。サブサンプル位置での明度及び色度成分サンプルは、参照映像で対応するサンプルが存在しないので、コーディングされた周囲サンプルから補間する方法を使用する。
【００１０】
図３Ａは、現在フレームの４×４ブロックは、参照映像で対応するブロックの隣接領域から予測される。動きベクトルの水平と垂直の成分いずれも整数（１，−１）ならば、図３Ｂに図示したように、参照ブロックの適切なサンプルは、実際に参照映像で灰色点(gray dots)で存在する。もし、動きベクトルの一つまたは二つのベクトル成分が、図３Ｃに図示したように小数値（０．７５，−０．５）ならば、灰色点で表示された予測サンプルは、参照フレームでの隣接サンプル、すなわち、白色点(white dots)により補間を行うようになる。
【００１１】
１／４ｐｅｌ単位の輝度成分補間は、（１，−５，２０，２０，−５，１）の係数を持つ６タップフィルターを整数位置の輝度画素の水平方向および垂直方向に適用して１／２ｐｅｌ位置の輝度成分値を求めた後、整数位置と１／２ｐｅｌ位置のサンプル値とを平均して１／４ｐｅｌ単位の輝度サンプルを求める。また、色度成分は、輝度成分の解像度の１／２解像度を持っているために、１／４ｐｅｌ単位の輝度成分動きベクトルが色度成分の動き補償のために使われる場合には、１／８ｐｅｌ単位の動きベクトルと解釈される。したがって、色度成分１／８ｐｅｌ単位の補間を必要とする。
補間は、次の数式を利用して画素値を求めるが、図４でｂの画素値を求めるためには数式１を利用する。
【００１２】
（数式１）
ｂ＝ｒｏｕｎｄ（（Ｅ−５Ｆ＋２０Ｇ＋２０Ｈ−５Ｉ＋Ｊ）／３２）
【００１３】
６タップフィルターを利用した１／２ｐｅｌ実行後に図５Ａないし図５Ｃに図示したような方法で下の式を使用して行う。数式２は、１／４ｐｅｌのａという画素値を求める数式である。
【００１４】
（数式２）
ａ＝ｒｏｕｎｄ（（Ｇ＋ｂ＋１）／２）
【００１５】
すなわち、図５Ａを参照すれば、例えば、画素ａは、画素Ｇと画素ｂとを利用して求め、図５Ｂを参照すれば、画素ｄは、画素Ｇと画素ｈとを利用して求め、図５Ｃを参照すれば、画素ｅは、画素ｂと画素ｈとを利用して求める。
【００１６】
このように、従来技術による補間方法は、映像の歪曲特性を考慮せずに水平方向または垂直方向の参照画素を利用して補間を行う。しかし、環状映像の場合にも、このような従来の水平方向または垂直方向の参照画素を利用して補間を行う場合には、空間的相関関係が落ちて画素値予測が正常になされない。例えば、図６Ａ及び図６Ｂに図示したようにブロッキング現象が発生する。
【００１７】
図６Ａ及び図６Ｂは、従来技術によって環状映像の画面間の予測を行う時のブロッキング現象を説明するための参考図である。
あらゆる動画コーデックの基本処理単位の形態が２次元平面方形のブロックまたはマクロブロックであるために、円形の歪曲を持つ環状映像を処理するには図６Ａ及び図６Ｂに図示したようなエラーが発生する。図６Ａ及び図６Ｂは、環状映像をＨ．２６４ベースラインプロファイルから選んだ画面間予測データである。図６Ｂを参照すれば、人の顔の形態の一部が空いている状態にある。図６Ａ及び図６Ｂに図示したようなブロッキング現象が現れる理由は、画面間予測実行時に利用される１／２ｐｅｌ及び１／４ｐｅｌの６タップフィルターの参照画素を参照する座標の空間的相関関係が相対的に低いためである。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明は、前記のような問題点を解決して環状映像の歪曲特性を考慮して、環状映像の空間的相関関係を利用して補間を行うことによって、環状映像の画面間予測を効果的に行えるようにする環状映像の参照画素補間方法、その装置、環状映像符号化方法、その装置及び環状映像復号化方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
前記のような課題を解決するための本発明の一つの特徴は、環状映像の参照画素を補間する方法において、前記環状映像の歪曲方向に配列された複数の参照画素を選択するステップと、前記選択された複数の参照画素の値に基づいて前記補間しようとする対象参照画素の値を補間するステップと、を含むことである。
前記配列された複数の参照画素は、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列されており、前記対象参照画素から前記円周上の所定距離以内に位置する参照画素を含むことが望ましい。
【００２０】
前記複数の参照画素選択ステップは、所定の数式により決定された前記複数の参照画素に対する位置を利用して、前記複数の参照画素を選択するステップ、または、前記円の円周方向に配列された複数の参照画素の位置を保存しているテーブルを利用して、前記複数の参照画素を選択するステップを含むことが望ましい。
前記補間ステップは、前記複数の参照画素の各画素値にそれぞれ所定の加重値を乗算するステップと、前記所定の加重値がそれぞれ乗算された参照画素の値をいずれも加算して対象参照画素の値を獲得するステップと、を含むことが望ましい。
【００２１】
本発明の他の特徴は、環状映像の参照画素を補間する装置において、前記環状映像の歪曲方向に配列された複数の参照画素を選択する参照画素選択部と、前記選択された複数の参照画素の値に基づいて前記補間しようとする対象参照画素の値を補間する補間部と、を備えることである。
【００２２】
本発明のさらに他の特徴は、環状映像を符号化する方法において、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間し、前記環状映像の動きを推定することによって現在マクロブロックの予測された予測マクロブロックを決定するステップと、前記予測されたマクロブロックと原マクロブロックとの差をＤＣＴ変換し、前記変換されたＤＣＴ係数を量子化し、前記量子化されたＤＣＴ変換係数を再配置し、前記再配置されたＤＣＴ変換係数をエントロピー符号化するステップと、を含むことである。
【００２３】
本発明のさらに他の特徴は、環状映像を符号化する装置において、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間して、前記環状映像の動きを推定することによって現在マクロブロックの予測された予測マクロブロックを決定する動き推定及び補償部と、前記予測されたマクロブロックと原マクロブロックとの差をＤＣＴ変換するＤＣＴ変換部と、前記変換されたＤＣＴ係数を量子化する量子化部と、前記量子化されたＤＣＴ変換係数を再配置する再配置部と、前記再配置されたＤＣＴ変換係数をエントロピー符号化するエントロピー符号化部と、を備えることである。
【００２４】
本発明のさらに他の特徴は、環状映像復号化方法において、受信された符号化されたビットストリームをエントロピー復号化し、エントロピー復号化されたデータサンプルを再配置し、前記再配置されたデータサンプルを逆量子化し、前記逆量子化されたデータサンプルを逆ＤＣＴ変換して逆ＤＣＴ係数を生成するステップと、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間して、現在マクロブロックの予測された予測マクロブロックを決定するステップと、前記逆ＤＣＴ係数からなるマクロブロックと前記予測マクロブロックとを加算するステップと、を含むことである。
【００２５】
本発明のさらに他の特徴は、環状映像復号化装置において、符号化装置から受信されたビットストリームをエントロピー復号化するエントロピー復号化部と、エントロピー復号化されたデータサンプルを再配置する再配置部と、前記再配置されたデータサンプルを逆量子化する逆量子化部と、前記逆量子化されたデータサンプルを逆ＤＣＴ変換して逆ＤＣＴ係数を生成する逆ＤＣＴ変換部と、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間して、現在マクロブロックの予測された予測マクロブロックを決定する動き補償部と、前記逆ＤＣＴ係数からなるマクロブロックと前記予測マクロブロックとを加算する加算部と、を備えることである。
【発明の効果】
【００２６】
本発明による符号化／復号化システムでは、環状映像の符号化及び復号化過程に含まれる画素補間方法を、従来の垂直、水平概念ではなく環状映像の歪曲形態による参照画素を利用して補間を行うことによって、環状映像の特徴を最大限反映して予測を効果的に行える。
【発明を実施するための最良の形態】
【００２７】
以下、添付された図面を参照して本発明を詳細に説明する。
図７は、本発明による符号化／復号化システムの概略図である。
本発明による符号化装置１００は、環状映像を受信して環状映像の歪曲方向を考慮して画面間予測時補間を行って、環状映像を符号化する。符号化された環状映像は、ネットワークなどを通じて復号化装置２００に受信され、復号化装置２００では同様に環状映像の歪曲方向を考慮して画面間予測時補間を行って符号化された環状映像を復号化する。このように復号化された環状映像は、平面映像変換装置３００により平面映像に変換されてユーザに出力されうる。
【００２８】
このように本発明による符号化／復号化システムでは、環状映像の符号化及び復号化過程に含まれる画素補間方法を、従来の垂直、水平方向にある参照画素を利用するものではなく、環状映像の歪曲形態による参照画素を利用して補間を行うことによって、環状映像の特徴を最大限反映して予測を効果的に行える。
【００２９】
図８は、本発明による符号化装置の具体的なブロック図である。
図８を参照すれば、符号化装置は、動き推定部１と、動き補償部２と、加算部３と、ＤＣＴ変換部４と、量子化部５と、再配置部６と、エントロピー符号化部７と、逆量子化部９と、逆ＤＣＴ変換部８と、加算部１２とを備える。
符号化装置は、二つのデータフロー経路を備える。一つは、左側から右側に進行するフォワード経路であり、他の一つは、右側から左側に進行する再構成経路である。
【００３０】
まず、フォワード経路を説明する。
符号化のための入力映像フレームＦｎは、（１６ｘ１６の輝度領域とこれと関連した色差サンプルに該当する）マクロブロック単位で処理される。
動き推定部１は、現在入力フレームＦｎと以前に符号化された参照フレームＦ’ｎ−１とを比較して、動き推定部分がＦ’ｎ−１内でＦｎ内の現在のマクロブロックと一致するまたは類似していると判断される１６ｘ１６領域を探す。現在マクロブロックの位置と選択された参照領域との間の差が動きベクトルとなる。
【００３１】
動き推定部１は、参照画素補間部１０と動きベクトル予測部１１とを備える。現在フレームのマクロブロックは、参照フレームで現在マクロブロックの位置と隣接した領域から予測される。この時、水平と垂直の動きベクトルが整数ならば、関連したサンプルが参照マクロブロックに実際に存在するが、一つまたは二つのベクトルが小数ならば、参照画素補間部１０は予測サンプルを、参照フレーム内の隣接したサンプル間を補間して生成する。特に、参照画素補間部１０は本発明によって、入力映像が環状映像であることに鑑みて、環状映像の歪曲を考慮して参照画素を補間する。すなわち、参照画素補間部１０は、参照画素を補間する時に従来のように水平方向や垂直方向の参照画素を利用して補間するものではなく、環状映像の歪曲方向に配列された参照画素を利用して補間を行う。ここで、“環状映像の歪曲方向に配列された参照画素”とは、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列され、前記対象参照画素に隣接した複数個の画素をいう。これについては詳細に後述する。
【００３２】
動きベクトル予測部１１は、参照画素補間部１０により補間された画素を含めて、参照フレームＦ’ｎ−１内で現在のマクロブロックと最も類似していると判断される領域を選択して、現在マクロブロックの位置と選択された参照領域との差を動きベクトルとして予測する。
【００３３】
動き補償部２は、選択された動きベクトルによって動き補償された予測マクロブロックＰ（すなわち、動き推定により選択された１６ｘ１６領域）を生成する。
加算部３は、現在マクロブロックから予測マクロブロックＰを引いて差マクロブロックＤｎを生成する。
【００３４】
このような差マクロブロックＤｎは、ＤＣＴ変換部４によりＤＣＴ変換され、量子化部５により量子化されて、量子化された変換係数Ｘを生成する。このような係数は、再配置部６により再配置されてランレベルコーディングされ、エントロピー符号化部７によりエントロピー符号化される。エントロピー符号化された係数は、マクロブロックのデコーディングに要求される付加情報と共に圧縮されたビットストリームを生成する。このような付加情報としては、動きベクトル情報やヘッダ情報などを含む。このように圧縮されたビットストリームは、伝送または保存のためにＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）に伝えられる。
【００３５】
再構成経路は次の通りである。
符号化されたマクロブロック係数Ｘは、他のマクロブロックの符号化のためのフレームを再構成するためにデコーディングされる。すなわち、係数Ｘは、逆量子化部９により逆量子化され、逆ＤＣＴ変換部８により逆ＤＣＴ変換されて差マクロブロックＤｎ’を生成する。これは、信号損失による影響で元来の差マクロブロックＤｎと同一ではない。
【００３６】
予測マクロブロックＰは、加算部１２によりＤｎ’に加えられて再構成されたマクロブロックを生成する。このように再構成されたマクロブロックは、元来のマクロブロックの歪曲されたバージョンである。このような歪曲の影響を低減するためにフィルター（図示せず）が付加されて、再構成された参照フレームは一連のマクロブロックＦ’ｎから生成されうる。
【００３７】
図９は、図８に図示した符号化装置のフローチャートである。
図９を参照すれば、動き推定部１により、入力映像である環状映像の中心を円の中心とする円の円周方向に配列された複数の参照画素に基づいて補間を行って、環状映像の動きが推定される（９１０）。
【００３８】
次いで、動き補償部２により、動き推定結果である動きベクトルを利用して動き補償が行われて（９２０）予測マクロブロックが生成され、予測マクロブロックと現在マクロブロックとの差マクロブロックがＤＣＴ変換部４によりＤＣＴ変換され（９３０）、ＤＣＴ変換されたサンプルは量子化部５により量子化される（９４０）。次いで、量子化されたサンプルは、再配置部６により再配置されてランレベルコーディングされて（９５０）、エントロピー符号化部７によりエントロピー符号化される（９６０）。
【００３９】
図１０は、本発明による復号化装置の具体的なブロック図である。
図１０を参照すれば、復号化装置は、エントロピー復号化部２１と、再配置部２２と、逆量子化部２３と、逆ＤＣＴ変換部２４と、加算部２５と、動き補償部２６とを備える。
復号化装置のエントロピー復号化部２１は、ＮＡＬから圧縮されたビットストリームを受信して、ビットストリームをエントロピー復号化して各マクロブロックの係数、動きベクトル、そしてヘッダを抽出する。
【００４０】
再配置部２２は、符号化装置で行なわれたランレベル符号化と再配置過程の逆過程を行って変換されたマクロブロックＸを生成する。逆量子化部２３は、マクロブロックＸを逆量子化し、逆ＤＣＴ変換部２４は、逆量子化されたＸを逆ＤＣＴ変換して差マクロブロックＤ’ｎを生成する。
【００４１】
動き補償部２６は、復号化装置が持っている以前参照フレーム内で参照領域の位置を探すために動きベクトルを使用して、動き補償された予測マクロブロックＰを決定する。
動き補償部２６は、参照画素補間部２７と予測マクロブロック決定部２８とを備える。参照画素補間部２７は、符号化装置の参照画素補間部１０のような機能を行う。すなわち、参照画素補間部２７は、本発明によって、入力映像が環状映像であることに鑑みて、環状映像の歪曲を考慮して参照画素を補間する。すなわち、参照画素補間部２７は、参照画素を補間する時に、従来のように水平方向や垂直方向の参照画素を利用して補間するものではなく、環状映像の歪曲方向に配列された参照画素を利用して補間を行う。ここで、“環状映像の歪曲方向に配列された参照画素”とは、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列され、前記対象参照画素に隣接した複数個の画素をいう。これについては、詳細に後述する。予測マクロブロック決定部２８は、補間された参照画素に対して動きベクトルを利用して予測マクロブロックＰを決定する。
【００４２】
加算部２５は、予測マクロブロックＰに差マクロブロックＤ’ｎを加えて復元されたマクロブロックを生成し、復元されたマクロブロックは、復号化されたフレームＦ’ｎを生成するために保存される。
【００４３】
図１１は、図１０に図示された復号化装置のフローチャートである。
図１１を参照すれば、復号化装置により受信された圧縮ビットストリームは、エントロピー復号化部２１によりエントロピー復号化され（１１１０）、エントロピー復号化されたデータサンプルは、再配置部２２によりランレベルコーディングと再配置の逆過程が行われ（１１２０）、再配置されたデータサンプルは、逆量子化部２３により逆量子化され（１１３０）、逆量子化されたデータサンプルは、逆ＤＣＴ変換部２４により逆ＤＣＴ変換されて（１１４０）、差マクロブロックＤ’ｎとして生成される。
【００４４】
動き補償部２６により環状映像の中心を円の中心とする円の円周方向に配列された複数の参照画素に基づいて補間を行って、現在マクロブロックの予測マクロブロックが決定され（１１５０）、このような予測マクロブロックと差マクロブロックとが加算部２５により加えられて復元されたマクロブロックが生成される（１１６０）。
【００４５】
以下では、本発明によって環状映像の歪曲特性を考慮した補間方法を具体的に説明する。本発明によって参照画素を補間する方法は、単純に水平及び垂直方向にある参照画素を利用するものではなく、環状映像の歪曲方向にある参照画素を利用するものであるために、所定の曲面に沿って配列された参照画素の位置を捜し出さねばならないので、参照画素の位置に関して２次元極座標系を利用することが望ましい。
【００４６】
図１２Ａは、２次元極座標系を示す。
図１２Ａに図示したように、２次元極座標系（平面極座標系、ｐｌａｎｅ ｐｏｌａｒ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）は原点からの距離と方位角により定義される。図１２Ａでｒは、原点から点Ｐまでの距離を、θは、水平軸から逆時計回り方向に測定した方位角を表す。したがって、点Ｐの位置は（ｒ，θ）で表示できるが、ｒ及びθを２次元極座標と呼ぶ。
【００４７】
極座標系は、人体分節の運動を表現するのに有用に使われうるが、これは、人体運動の根源が関節運動であるためである。関節運動のうち各人体分節は関節を中心に回転するために、方位角を使用することが直角座標を使用することより有利である。しかし、ここで一つ注意せねばならない点は、ｒ（距離）とθ（角度）とが互いに同じ種類の座標ではないという点である。
２次元極座標と２次元直角座標との関係は次のように整理できる。
【００４８】
【数１】
【００４９】
場合によっては、直角座標を極座標と類似して使用できる。図１２Ｂに表示されたＸｒ軸は半径軸、Ｘθ軸はこれに直交する軸である。二本の軸は互いに直交するために一種の直角座標系を構成する。場合によっては、直角座標系を使用することより便利であるが、これは両座標系の長所をいずれも取れるためである。Ｘｒ軸方向の運動は半径方向の運動を、Ｘθ軸方向の運動は回転運動を意味する。
【００５０】
本発明による環状映像の補間方法は、環状映像の歪曲特性を利用して２次元平面映像のような垂直と水平方向ではない、同一角度及び同一半径を利用して垂直と水平概念を代替することである。
図１２Ｃに図示したような２次元平面映像の水平概念は、図１２Ｄに図示したような円周率を適用した曲線の概念に変わる。
ここでの条件は、２次元極座標系の数式の半径ｒが同じであるという条件を満たせねばならない。
また図１２Ｅに図示したような２次元平面映像の垂直概念は、図１２Ｆに図示したような同一角を持って半径値のｒ増減で直線を描けなければならない。
【００５１】
このような概念を適用した各四分面の１／２ｐｅｌ補間の例を挙げて説明する。
図１３Ａに図示したような環状映像の１四分面では、歪曲された形態に沿って大きい矢印のような形態に動きが発生する。
図１３Ｂは、図１３Ａに図示された環状映像の１四分面内に存在する領域１３００の一部を表す。例えば、画素ｊ値を補間しようとすれば、従来には水平方向のｃｃ、ｄｄ、ｈ、ｍ、ｅｅ、ｆｆに加重分値を適用して補間したが、本発明によれば、図１３Ｂに図示された矢印方向に配列された画素値を利用して補間を行う。すなわち、本発明によれば、画素ｊ値は、画素１３０１、画素１３０２、画素１３０３、画素１３０４、画素１３０５、画素１３０６の値に加重値を適用して補間する。画素ｊ値だけでなく画素ｂ、ｈ、ｍ、ｓも同様に環状映像の歪曲方向に配列された画素値を参照して補間を行う。従来に垂直や水平方向から参照せねばならない画素値を、図１３Ｂの黒色方形のように参照画素の位置を変化させて画素値を参照する。また、マクロブロックの位置による２次元極座標変換でθを探して垂直方向に勾配を変化させて、図１３Ｂに図示した参照画素の値を取る。
【００５２】
図１４Ａに図示したような環状映像の２四分面では、歪曲された形態に沿って大きい矢印のような形態で動きが発生する。
図１４Ｂは、図１４Ａに図示された環状映像の２四分面内に存在する領域１４００の一部を表す。例えば、画素ｊ値を補間しようとすれば、従来には水平方向のｃｃ、ｄｄ、ｈ、ｍ、ｅｅ、ｆｆに加重分値を適用して補間したが、本発明によれば、図１４Ｂに図示された矢印方向に配列された画素値を利用して補間を行う。すなわち、本発明によれば、画素ｊ値は、画素１４０１、画素１４０２、画素１４０３、画素１４０４、画素１４０５、画素１４０６の値に加重値を適用して補間する。画素ｊ値だけでなく画素ｂ、ｈ、ｍ、ｓも同様に環状映像の歪曲方向に配列された画素値を参照して補間を行う。
【００５３】
図面には環状映像の１四分面と２四分面だけを例として挙げたが、当業者ならば本発明によって環状映像の歪曲方向に配列された画素を利用して副画素を補間する方法が、３四分面と４四分面にも同一に適用されうるということを十分に理解できるであろう。
図１５Ａに図示したような環状映像の１四分面と４四分面との境界にある領域１５００では、図１５Ｂに図示された矢印のような方向の画素を参照して補間を行う。
【００５４】
図１５Ｂは、図１５Ａに図示された環状映像の１四分面と４四分面との境界にある領域１５００を表す。例えば、画素ｂ値を補間しようとすれば、従来には水平方向のＥ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊに加重分値を適用して補間したが、本発明によれば、図１５Ｂに図示された矢印方向に配列された画素値を利用して補間を行う。すなわち、本発明によれば、画素ｂ値は、画素Ａ １５０１、画素ｂｂ １５０２、画素Ｓ １５０３、画素ｇｇ １４０４、画素Ｔ １５０５の値に加重値を適用して補間する。画素ｂ値だけでなく画素ｈ、ｍ、ｓも同様に、環状映像の歪曲方向に配列された画素値を参照して補間を行う。
【００５５】
本発明による半画素補間法は、環状映像の歪曲方向に配列された所定数の画素値を利用して次のように表現できる。
１／２ｐｅｌ値＝ｒｏｕｎｄ（（ａＡ＋ｂＢ＋ｃＣ＋ｄＤ＋ｅＥ＋ｆＦ）／Ｋ）
６タップフィルターを使用する場合に、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆは、環状映像の歪曲方向に配列されており、補間しようとする対象画素に隣接した６個の画素を表す。
【００５６】
ａ、ｂ、ｃ、ｄ、ｅ、ｆは、それぞれ６個の画素にそれぞれ乗算される加重値を表す。
ここで、補間に利用される周辺画素ＡないしＦの位置は、あらかじめシステムで適切な位置を決定して計算した後、テーブル形態を記憶していて、補間を行う時にこのようなテーブルから対象画素の周辺画素を検索して利用してもよく、または、補間する度に所定の数式を利用して対象画素の補間に利用される周辺画素の位置を計算してもよい。
１／４ｐｅｌの場合にも、１／２ｐｅｌに適用された補間方法を同一に適用できる。
【００５７】
図１６Ａは、従来技術によるＨ．２６４の予測結果を表し、図１６Ｂは、本発明を適用したＨ．２６４の予測結果を表す。
従来技術によるＨ．２６４の場合には、環状映像の歪曲された部分を正常に参照できずに、映像の一部分にブロッキング現象が現れたことを観察できる一方、本発明によって環状映像の歪曲方向を考慮して補間を行ったＨ．２６４の場合には、映像のブロッキング現象なしに映像予測されたことが分かる。
【００５８】
以上、説明したような符号化、復号化方法はまたコンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。そして、前記符号化方法、復号化方法を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーにより容易に推論されうる。
【００５９】
これまで本発明についてその望ましい実施形態を中心に説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されうるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明ではなく特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。
【図面の簡単な説明】
【００６０】
【図１】環状映像の一例を示す図面である。
【図２Ａ】客体の上下運動による歪曲現象を説明するための参考図である。
【図２Ｂ】客体の上下運動による歪曲現象を説明するための参考図である。
【図３Ａ】整数画素及び副画素予測を説明するための参考図である。
【図３Ｂ】整数画素及び副画素予測を説明するための参考図である。
【図３Ｃ】整数画素及び副画素予測を説明するための参考図である。
【図４】従来技術によって、１／２ｐｅｌ参照ピクセルの方向を説明するための参考図である。
【図５Ａ】従来技術によって、１／４ｐｅｌ位置の補間を説明するための参考図である。
【図５Ｂ】従来技術によって、１／４ｐｅｌ位置の補間を説明するための参考図である。
【図５Ｃ】従来技術によって、１／４ｐｅｌ位置の補間を説明するための参考図である。
【図６Ａ】従来技術によって環状映像の画面間の予測を行う時のブロッキング現象を説明するための参考図である。
【図６Ｂ】従来技術によって環状映像の画面間の予測を行う時のブロッキング現象を説明するための参考図である。
【図７】本発明による符号化／復号化システムの概略図である。
【図８】本発明による符号化装置の具体的なブロック図である。
【図９】図８に図示された符号化装置のフローチャートである。
【図１０】本発明による復号化装置の具体的なブロック図である。
【図１１】図１０に図示された復号化装置のフローチャートである。
【図１２Ａ】２次元極座標系を示す図面である。
【図１２Ｂ】点（Ｐ）の動きによる方向性を示す図面である。
【図１２Ｃ】２次元平面の水平及び３次元環状映像での円周率曲線概念図である。
【図１２Ｄ】２次元平面の水平及び３次元環状映像での円周率曲線概念図である。
【図１２Ｅ】２次元平面の垂直及び３次元環状映像での角の概念図である。
【図１２Ｆ】２次元平面の垂直及び３次元環状映像での角の概念図である。
【図１３Ａ】環状映像での１四分面方向性の例を示す図面である。
【図１３Ｂ】図１３Ａに図示された歪曲による１／２ｐｅｌ補間時に、参照画素の位置を示す図面である。
【図１４Ａ】環状映像での２四分面方向性の例を示す図面である。
【図１４Ｂ】図１４Ａに図示された歪曲による１／２ｐｅｌ補間時に、参照画素の位置を示す図面である。
【図１５Ａ】環状映像での水平方向の方向性の例を示す図面である。
【図１５Ｂ】図１５Ａに図示された歪曲による１／２ｐｅｌ補間時に、参照画素の位置を示す図面である。
【図１６Ａ】従来技術によるＨ．２６４の予測結果を示す図面である。
【図１６Ｂ】本発明を適用したＨ．２６４の予測結果を示す図面である。
【符号の説明】
【００６１】
１００；符号化装置
２００；複合化装置
３００；平面映像変換装置
【技術分野】
【０００１】
本発明は、環状映像の参照画素補間方法、その装置、環状映像符号化方法、その装置、環状映像復号化方法ならびにその装置に関する。
【背景技術】
【０００２】
２１世紀になってハードウェアとソフトウェアにまたがるデジタル技術の総体的な発達につれて、各通信媒体が独立的に領域を守ってきた時代がすぎて、いつでもどこでもオンラインでサービスを受けられるユビキタス（Ｕｂｉｑｕｉｔｏｕｓ）の時代を迎えようとしている。ユビキタスの時代のユーザは、身体の一部のように情報の取得及び使用を望んでいる。その始まりとして、対話形放送と３次元実感放送についての研究開発がいつよりも活発に行われているようになっている。対話形放送及び３次元実感放送を構成するためには、立体（ｓｔｅｒｅｏｓｃｏｐｉｃ）カメラシステムや全方向ビデオシステム、多視点カメラシステムのような３次元ビデオカメラシステムが要求される。
【０００３】
また、３次元ビデオカメラシステムから得られた３次元実感映像の圧縮を標準化するために、ＭＰＥＧでは３ＤＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ） ＥＥ（Ｅｘｐｌｏｒａｔｉｏｎ Ｅｘｐｅｒｉｍｅｎｔｓ）−１からＥＥ−４までが新設され、それらは研究中である。このうち、ＥＥ−１では全方向ビデオの圧縮に関する研究が進められているが、まだ映像自体の変換に関する主題のみが取り扱われているのが実情である。
【０００４】
従来のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４などのビデオ圧縮方法は２次元映像に好適に設計され、３次元、特に全方向ビデオ圧縮には適していない。特に、双曲面鏡を利用して生成した環状映像の場合には、一般映像と異なる３６０°全方向についての情報が含まれており、円形の独特の歪曲を持っている。このような環状映像の特徴により既存の２次元映像に適したビデオコーディングアルゴリズムをそのまま使用すると、当然のこととして予測及び圧縮効率が低下する。
【０００５】
環状映像（Ａｎｎｕｌａｒ Ｉｍａｇｅ）は、全方向カメラのうち鏡基盤カメラシステムで鏡に反射されてカメラに撮られた映像をいい、３６０°全景情報を含んでいる。図１に、このような環状映像の一例を表す。このような環状映像は、可視領域（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）が制限されている典型的な従来のイメージセンサーと異なって、投射の中心から３６０°全方向の状況を入力されうる全方向イメージセンサーにより撮影されうる。
【０００６】
環状映像に一般的２次元平面映像コーデックを適用すれば、映像の特性上空間的歪曲によって空間及び時間的相関関係をもって予測をする画面内及び画面間の予測のような予測アルゴリズムの効率が落ちる。その理由は、２次元平面映像と比較して環状映像の歪曲の程度が大きいためである。例えば、図２Ａ及び図２Ｂに図示したように、客体(object)が上下運動を行うと、２次元平面映像ではカメラと客体との距離が一定ならば、ある程度の客体移動がおきても、その形態(shape)は歪曲されないが、全方向性カメラでは双曲面鏡の特性によって客体の形態が容易に歪曲されることを表す。
【０００７】
ここで、空間的相関関係が落ちる理由は、環状映像が空間的に円周率と類似した歪曲率を持つためである。これは、画面間予測をする時に効率を大きく落とす原因となる。そして、時間的相関関係が落ちる理由は、図２Ａ及び図２Ｂに図示したように時間的移動によって客体の形態がある程度一定に維持されるものではなく、歪曲が激しく現れるためである。このような理由によって、動きベクトルの正確なマッチングを困難にし、１／２ｐｅｌ補間(1/2 pixel-base interpolation)及び１／４ｐｅｌ補間(1/4 pixel-base interpolation)時に空間的相関関係の少ない参照画素を参照するので、コーディング効率の低下を引き起こす。
【０００８】
さらに、２次元動画コーディング技法のうちの一つであるＨ．２６４を中心に現在の予測方法を紹介する。
画面間予測（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）は、ブロック基盤動き補償（ｂｌｏｃｋ−ｂａｓｅｄ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を使用して、一つまたはそれ以上の以前に符号化されたビデオフレームまたはフィールドから予測モデルを生成する。
【０００９】
画面間コーディングされたマクロブロックでの各パーティション及びサブ・パーティションは、参照映像のような大きさの位置から予測される。位置に関して、輝度成分に対しては１／４ｐｅｌ解像度を持ち、色度成分に対しては１／８ｐｅｌ解像度を持つ。サブサンプル位置での明度及び色度成分サンプルは、参照映像で対応するサンプルが存在しないので、コーディングされた周囲サンプルから補間する方法を使用する。
【００１０】
図３Ａは、現在フレームの４×４ブロックは、参照映像で対応するブロックの隣接領域から予測される。動きベクトルの水平と垂直の成分いずれも整数（１，−１）ならば、図３Ｂに図示したように、参照ブロックの適切なサンプルは、実際に参照映像で灰色点(gray dots)で存在する。もし、動きベクトルの一つまたは二つのベクトル成分が、図３Ｃに図示したように小数値（０．７５，−０．５）ならば、灰色点で表示された予測サンプルは、参照フレームでの隣接サンプル、すなわち、白色点(white dots)により補間を行うようになる。
【００１１】
１／４ｐｅｌ単位の輝度成分補間は、（１，−５，２０，２０，−５，１）の係数を持つ６タップフィルターを整数位置の輝度画素の水平方向および垂直方向に適用して１／２ｐｅｌ位置の輝度成分値を求めた後、整数位置と１／２ｐｅｌ位置のサンプル値とを平均して１／４ｐｅｌ単位の輝度サンプルを求める。また、色度成分は、輝度成分の解像度の１／２解像度を持っているために、１／４ｐｅｌ単位の輝度成分動きベクトルが色度成分の動き補償のために使われる場合には、１／８ｐｅｌ単位の動きベクトルと解釈される。したがって、色度成分１／８ｐｅｌ単位の補間を必要とする。
補間は、次の数式を利用して画素値を求めるが、図４でｂの画素値を求めるためには数式１を利用する。
【００１２】
（数式１）
ｂ＝ｒｏｕｎｄ（（Ｅ−５Ｆ＋２０Ｇ＋２０Ｈ−５Ｉ＋Ｊ）／３２）
【００１３】
６タップフィルターを利用した１／２ｐｅｌ実行後に図５Ａないし図５Ｃに図示したような方法で下の式を使用して行う。数式２は、１／４ｐｅｌのａという画素値を求める数式である。
【００１４】
（数式２）
ａ＝ｒｏｕｎｄ（（Ｇ＋ｂ＋１）／２）
【００１５】
すなわち、図５Ａを参照すれば、例えば、画素ａは、画素Ｇと画素ｂとを利用して求め、図５Ｂを参照すれば、画素ｄは、画素Ｇと画素ｈとを利用して求め、図５Ｃを参照すれば、画素ｅは、画素ｂと画素ｈとを利用して求める。
【００１６】
このように、従来技術による補間方法は、映像の歪曲特性を考慮せずに水平方向または垂直方向の参照画素を利用して補間を行う。しかし、環状映像の場合にも、このような従来の水平方向または垂直方向の参照画素を利用して補間を行う場合には、空間的相関関係が落ちて画素値予測が正常になされない。例えば、図６Ａ及び図６Ｂに図示したようにブロッキング現象が発生する。
【００１７】
図６Ａ及び図６Ｂは、従来技術によって環状映像の画面間の予測を行う時のブロッキング現象を説明するための参考図である。
あらゆる動画コーデックの基本処理単位の形態が２次元平面方形のブロックまたはマクロブロックであるために、円形の歪曲を持つ環状映像を処理するには図６Ａ及び図６Ｂに図示したようなエラーが発生する。図６Ａ及び図６Ｂは、環状映像をＨ．２６４ベースラインプロファイルから選んだ画面間予測データである。図６Ｂを参照すれば、人の顔の形態の一部が空いている状態にある。図６Ａ及び図６Ｂに図示したようなブロッキング現象が現れる理由は、画面間予測実行時に利用される１／２ｐｅｌ及び１／４ｐｅｌの６タップフィルターの参照画素を参照する座標の空間的相関関係が相対的に低いためである。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明は、前記のような問題点を解決して環状映像の歪曲特性を考慮して、環状映像の空間的相関関係を利用して補間を行うことによって、環状映像の画面間予測を効果的に行えるようにする環状映像の参照画素補間方法、その装置、環状映像符号化方法、その装置及び環状映像復号化方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
前記のような課題を解決するための本発明の一つの特徴は、環状映像の参照画素を補間する方法において、前記環状映像の歪曲方向に配列された複数の参照画素を選択するステップと、前記選択された複数の参照画素の値に基づいて前記補間しようとする対象参照画素の値を補間するステップと、を含むことである。
前記配列された複数の参照画素は、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列されており、前記対象参照画素から前記円周上の所定距離以内に位置する参照画素を含むことが望ましい。
【００２０】
前記複数の参照画素選択ステップは、所定の数式により決定された前記複数の参照画素に対する位置を利用して、前記複数の参照画素を選択するステップ、または、前記円の円周方向に配列された複数の参照画素の位置を保存しているテーブルを利用して、前記複数の参照画素を選択するステップを含むことが望ましい。
前記補間ステップは、前記複数の参照画素の各画素値にそれぞれ所定の加重値を乗算するステップと、前記所定の加重値がそれぞれ乗算された参照画素の値をいずれも加算して対象参照画素の値を獲得するステップと、を含むことが望ましい。
【００２１】
本発明の他の特徴は、環状映像の参照画素を補間する装置において、前記環状映像の歪曲方向に配列された複数の参照画素を選択する参照画素選択部と、前記選択された複数の参照画素の値に基づいて前記補間しようとする対象参照画素の値を補間する補間部と、を備えることである。
【００２２】
本発明のさらに他の特徴は、環状映像を符号化する方法において、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間し、前記環状映像の動きを推定することによって現在マクロブロックの予測された予測マクロブロックを決定するステップと、前記予測されたマクロブロックと原マクロブロックとの差をＤＣＴ変換し、前記変換されたＤＣＴ係数を量子化し、前記量子化されたＤＣＴ変換係数を再配置し、前記再配置されたＤＣＴ変換係数をエントロピー符号化するステップと、を含むことである。
【００２３】
本発明のさらに他の特徴は、環状映像を符号化する装置において、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間して、前記環状映像の動きを推定することによって現在マクロブロックの予測された予測マクロブロックを決定する動き推定及び補償部と、前記予測されたマクロブロックと原マクロブロックとの差をＤＣＴ変換するＤＣＴ変換部と、前記変換されたＤＣＴ係数を量子化する量子化部と、前記量子化されたＤＣＴ変換係数を再配置する再配置部と、前記再配置されたＤＣＴ変換係数をエントロピー符号化するエントロピー符号化部と、を備えることである。
【００２４】
本発明のさらに他の特徴は、環状映像復号化方法において、受信された符号化されたビットストリームをエントロピー復号化し、エントロピー復号化されたデータサンプルを再配置し、前記再配置されたデータサンプルを逆量子化し、前記逆量子化されたデータサンプルを逆ＤＣＴ変換して逆ＤＣＴ係数を生成するステップと、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間して、現在マクロブロックの予測された予測マクロブロックを決定するステップと、前記逆ＤＣＴ係数からなるマクロブロックと前記予測マクロブロックとを加算するステップと、を含むことである。
【００２５】
本発明のさらに他の特徴は、環状映像復号化装置において、符号化装置から受信されたビットストリームをエントロピー復号化するエントロピー復号化部と、エントロピー復号化されたデータサンプルを再配置する再配置部と、前記再配置されたデータサンプルを逆量子化する逆量子化部と、前記逆量子化されたデータサンプルを逆ＤＣＴ変換して逆ＤＣＴ係数を生成する逆ＤＣＴ変換部と、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間して、現在マクロブロックの予測された予測マクロブロックを決定する動き補償部と、前記逆ＤＣＴ係数からなるマクロブロックと前記予測マクロブロックとを加算する加算部と、を備えることである。
【発明の効果】
【００２６】
本発明による符号化／復号化システムでは、環状映像の符号化及び復号化過程に含まれる画素補間方法を、従来の垂直、水平概念ではなく環状映像の歪曲形態による参照画素を利用して補間を行うことによって、環状映像の特徴を最大限反映して予測を効果的に行える。
【発明を実施するための最良の形態】
【００２７】
以下、添付された図面を参照して本発明を詳細に説明する。
図７は、本発明による符号化／復号化システムの概略図である。
本発明による符号化装置１００は、環状映像を受信して環状映像の歪曲方向を考慮して画面間予測時補間を行って、環状映像を符号化する。符号化された環状映像は、ネットワークなどを通じて復号化装置２００に受信され、復号化装置２００では同様に環状映像の歪曲方向を考慮して画面間予測時補間を行って符号化された環状映像を復号化する。このように復号化された環状映像は、平面映像変換装置３００により平面映像に変換されてユーザに出力されうる。
【００２８】
このように本発明による符号化／復号化システムでは、環状映像の符号化及び復号化過程に含まれる画素補間方法を、従来の垂直、水平方向にある参照画素を利用するものではなく、環状映像の歪曲形態による参照画素を利用して補間を行うことによって、環状映像の特徴を最大限反映して予測を効果的に行える。
【００２９】
図８は、本発明による符号化装置の具体的なブロック図である。
図８を参照すれば、符号化装置は、動き推定部１と、動き補償部２と、加算部３と、ＤＣＴ変換部４と、量子化部５と、再配置部６と、エントロピー符号化部７と、逆量子化部９と、逆ＤＣＴ変換部８と、加算部１２とを備える。
符号化装置は、二つのデータフロー経路を備える。一つは、左側から右側に進行するフォワード経路であり、他の一つは、右側から左側に進行する再構成経路である。
【００３０】
まず、フォワード経路を説明する。
符号化のための入力映像フレームＦｎは、（１６ｘ１６の輝度領域とこれと関連した色差サンプルに該当する）マクロブロック単位で処理される。
動き推定部１は、現在入力フレームＦｎと以前に符号化された参照フレームＦ’ｎ−１とを比較して、動き推定部分がＦ’ｎ−１内でＦｎ内の現在のマクロブロックと一致するまたは類似していると判断される１６ｘ１６領域を探す。現在マクロブロックの位置と選択された参照領域との間の差が動きベクトルとなる。
【００３１】
動き推定部１は、参照画素補間部１０と動きベクトル予測部１１とを備える。現在フレームのマクロブロックは、参照フレームで現在マクロブロックの位置と隣接した領域から予測される。この時、水平と垂直の動きベクトルが整数ならば、関連したサンプルが参照マクロブロックに実際に存在するが、一つまたは二つのベクトルが小数ならば、参照画素補間部１０は予測サンプルを、参照フレーム内の隣接したサンプル間を補間して生成する。特に、参照画素補間部１０は本発明によって、入力映像が環状映像であることに鑑みて、環状映像の歪曲を考慮して参照画素を補間する。すなわち、参照画素補間部１０は、参照画素を補間する時に従来のように水平方向や垂直方向の参照画素を利用して補間するものではなく、環状映像の歪曲方向に配列された参照画素を利用して補間を行う。ここで、“環状映像の歪曲方向に配列された参照画素”とは、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列され、前記対象参照画素に隣接した複数個の画素をいう。これについては詳細に後述する。
【００３２】
動きベクトル予測部１１は、参照画素補間部１０により補間された画素を含めて、参照フレームＦ’ｎ−１内で現在のマクロブロックと最も類似していると判断される領域を選択して、現在マクロブロックの位置と選択された参照領域との差を動きベクトルとして予測する。
【００３３】
動き補償部２は、選択された動きベクトルによって動き補償された予測マクロブロックＰ（すなわち、動き推定により選択された１６ｘ１６領域）を生成する。
加算部３は、現在マクロブロックから予測マクロブロックＰを引いて差マクロブロックＤｎを生成する。
【００３４】
このような差マクロブロックＤｎは、ＤＣＴ変換部４によりＤＣＴ変換され、量子化部５により量子化されて、量子化された変換係数Ｘを生成する。このような係数は、再配置部６により再配置されてランレベルコーディングされ、エントロピー符号化部７によりエントロピー符号化される。エントロピー符号化された係数は、マクロブロックのデコーディングに要求される付加情報と共に圧縮されたビットストリームを生成する。このような付加情報としては、動きベクトル情報やヘッダ情報などを含む。このように圧縮されたビットストリームは、伝送または保存のためにＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）に伝えられる。
【００３５】
再構成経路は次の通りである。
符号化されたマクロブロック係数Ｘは、他のマクロブロックの符号化のためのフレームを再構成するためにデコーディングされる。すなわち、係数Ｘは、逆量子化部９により逆量子化され、逆ＤＣＴ変換部８により逆ＤＣＴ変換されて差マクロブロックＤｎ’を生成する。これは、信号損失による影響で元来の差マクロブロックＤｎと同一ではない。
【００３６】
予測マクロブロックＰは、加算部１２によりＤｎ’に加えられて再構成されたマクロブロックを生成する。このように再構成されたマクロブロックは、元来のマクロブロックの歪曲されたバージョンである。このような歪曲の影響を低減するためにフィルター（図示せず）が付加されて、再構成された参照フレームは一連のマクロブロックＦ’ｎから生成されうる。
【００３７】
図９は、図８に図示した符号化装置のフローチャートである。
図９を参照すれば、動き推定部１により、入力映像である環状映像の中心を円の中心とする円の円周方向に配列された複数の参照画素に基づいて補間を行って、環状映像の動きが推定される（９１０）。
【００３８】
次いで、動き補償部２により、動き推定結果である動きベクトルを利用して動き補償が行われて（９２０）予測マクロブロックが生成され、予測マクロブロックと現在マクロブロックとの差マクロブロックがＤＣＴ変換部４によりＤＣＴ変換され（９３０）、ＤＣＴ変換されたサンプルは量子化部５により量子化される（９４０）。次いで、量子化されたサンプルは、再配置部６により再配置されてランレベルコーディングされて（９５０）、エントロピー符号化部７によりエントロピー符号化される（９６０）。
【００３９】
図１０は、本発明による復号化装置の具体的なブロック図である。
図１０を参照すれば、復号化装置は、エントロピー復号化部２１と、再配置部２２と、逆量子化部２３と、逆ＤＣＴ変換部２４と、加算部２５と、動き補償部２６とを備える。
復号化装置のエントロピー復号化部２１は、ＮＡＬから圧縮されたビットストリームを受信して、ビットストリームをエントロピー復号化して各マクロブロックの係数、動きベクトル、そしてヘッダを抽出する。
【００４０】
再配置部２２は、符号化装置で行なわれたランレベル符号化と再配置過程の逆過程を行って変換されたマクロブロックＸを生成する。逆量子化部２３は、マクロブロックＸを逆量子化し、逆ＤＣＴ変換部２４は、逆量子化されたＸを逆ＤＣＴ変換して差マクロブロックＤ’ｎを生成する。
【００４１】
動き補償部２６は、復号化装置が持っている以前参照フレーム内で参照領域の位置を探すために動きベクトルを使用して、動き補償された予測マクロブロックＰを決定する。
動き補償部２６は、参照画素補間部２７と予測マクロブロック決定部２８とを備える。参照画素補間部２７は、符号化装置の参照画素補間部１０のような機能を行う。すなわち、参照画素補間部２７は、本発明によって、入力映像が環状映像であることに鑑みて、環状映像の歪曲を考慮して参照画素を補間する。すなわち、参照画素補間部２７は、参照画素を補間する時に、従来のように水平方向や垂直方向の参照画素を利用して補間するものではなく、環状映像の歪曲方向に配列された参照画素を利用して補間を行う。ここで、“環状映像の歪曲方向に配列された参照画素”とは、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列され、前記対象参照画素に隣接した複数個の画素をいう。これについては、詳細に後述する。予測マクロブロック決定部２８は、補間された参照画素に対して動きベクトルを利用して予測マクロブロックＰを決定する。
【００４２】
加算部２５は、予測マクロブロックＰに差マクロブロックＤ’ｎを加えて復元されたマクロブロックを生成し、復元されたマクロブロックは、復号化されたフレームＦ’ｎを生成するために保存される。
【００４３】
図１１は、図１０に図示された復号化装置のフローチャートである。
図１１を参照すれば、復号化装置により受信された圧縮ビットストリームは、エントロピー復号化部２１によりエントロピー復号化され（１１１０）、エントロピー復号化されたデータサンプルは、再配置部２２によりランレベルコーディングと再配置の逆過程が行われ（１１２０）、再配置されたデータサンプルは、逆量子化部２３により逆量子化され（１１３０）、逆量子化されたデータサンプルは、逆ＤＣＴ変換部２４により逆ＤＣＴ変換されて（１１４０）、差マクロブロックＤ’ｎとして生成される。
【００４４】
動き補償部２６により環状映像の中心を円の中心とする円の円周方向に配列された複数の参照画素に基づいて補間を行って、現在マクロブロックの予測マクロブロックが決定され（１１５０）、このような予測マクロブロックと差マクロブロックとが加算部２５により加えられて復元されたマクロブロックが生成される（１１６０）。
【００４５】
以下では、本発明によって環状映像の歪曲特性を考慮した補間方法を具体的に説明する。本発明によって参照画素を補間する方法は、単純に水平及び垂直方向にある参照画素を利用するものではなく、環状映像の歪曲方向にある参照画素を利用するものであるために、所定の曲面に沿って配列された参照画素の位置を捜し出さねばならないので、参照画素の位置に関して２次元極座標系を利用することが望ましい。
【００４６】
図１２Ａは、２次元極座標系を示す。
図１２Ａに図示したように、２次元極座標系（平面極座標系、ｐｌａｎｅ ｐｏｌａｒ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）は原点からの距離と方位角により定義される。図１２Ａでｒは、原点から点Ｐまでの距離を、θは、水平軸から逆時計回り方向に測定した方位角を表す。したがって、点Ｐの位置は（ｒ，θ）で表示できるが、ｒ及びθを２次元極座標と呼ぶ。
【００４７】
極座標系は、人体分節の運動を表現するのに有用に使われうるが、これは、人体運動の根源が関節運動であるためである。関節運動のうち各人体分節は関節を中心に回転するために、方位角を使用することが直角座標を使用することより有利である。しかし、ここで一つ注意せねばならない点は、ｒ（距離）とθ（角度）とが互いに同じ種類の座標ではないという点である。
２次元極座標と２次元直角座標との関係は次のように整理できる。
【００４８】
【数１】
【００４９】
場合によっては、直角座標を極座標と類似して使用できる。図１２Ｂに表示されたＸｒ軸は半径軸、Ｘθ軸はこれに直交する軸である。二本の軸は互いに直交するために一種の直角座標系を構成する。場合によっては、直角座標系を使用することより便利であるが、これは両座標系の長所をいずれも取れるためである。Ｘｒ軸方向の運動は半径方向の運動を、Ｘθ軸方向の運動は回転運動を意味する。
【００５０】
本発明による環状映像の補間方法は、環状映像の歪曲特性を利用して２次元平面映像のような垂直と水平方向ではない、同一角度及び同一半径を利用して垂直と水平概念を代替することである。
図１２Ｃに図示したような２次元平面映像の水平概念は、図１２Ｄに図示したような円周率を適用した曲線の概念に変わる。
ここでの条件は、２次元極座標系の数式の半径ｒが同じであるという条件を満たせねばならない。
また図１２Ｅに図示したような２次元平面映像の垂直概念は、図１２Ｆに図示したような同一角を持って半径値のｒ増減で直線を描けなければならない。
【００５１】
このような概念を適用した各四分面の１／２ｐｅｌ補間の例を挙げて説明する。
図１３Ａに図示したような環状映像の１四分面では、歪曲された形態に沿って大きい矢印のような形態に動きが発生する。
図１３Ｂは、図１３Ａに図示された環状映像の１四分面内に存在する領域１３００の一部を表す。例えば、画素ｊ値を補間しようとすれば、従来には水平方向のｃｃ、ｄｄ、ｈ、ｍ、ｅｅ、ｆｆに加重分値を適用して補間したが、本発明によれば、図１３Ｂに図示された矢印方向に配列された画素値を利用して補間を行う。すなわち、本発明によれば、画素ｊ値は、画素１３０１、画素１３０２、画素１３０３、画素１３０４、画素１３０５、画素１３０６の値に加重値を適用して補間する。画素ｊ値だけでなく画素ｂ、ｈ、ｍ、ｓも同様に環状映像の歪曲方向に配列された画素値を参照して補間を行う。従来に垂直や水平方向から参照せねばならない画素値を、図１３Ｂの黒色方形のように参照画素の位置を変化させて画素値を参照する。また、マクロブロックの位置による２次元極座標変換でθを探して垂直方向に勾配を変化させて、図１３Ｂに図示した参照画素の値を取る。
【００５２】
図１４Ａに図示したような環状映像の２四分面では、歪曲された形態に沿って大きい矢印のような形態で動きが発生する。
図１４Ｂは、図１４Ａに図示された環状映像の２四分面内に存在する領域１４００の一部を表す。例えば、画素ｊ値を補間しようとすれば、従来には水平方向のｃｃ、ｄｄ、ｈ、ｍ、ｅｅ、ｆｆに加重分値を適用して補間したが、本発明によれば、図１４Ｂに図示された矢印方向に配列された画素値を利用して補間を行う。すなわち、本発明によれば、画素ｊ値は、画素１４０１、画素１４０２、画素１４０３、画素１４０４、画素１４０５、画素１４０６の値に加重値を適用して補間する。画素ｊ値だけでなく画素ｂ、ｈ、ｍ、ｓも同様に環状映像の歪曲方向に配列された画素値を参照して補間を行う。
【００５３】
図面には環状映像の１四分面と２四分面だけを例として挙げたが、当業者ならば本発明によって環状映像の歪曲方向に配列された画素を利用して副画素を補間する方法が、３四分面と４四分面にも同一に適用されうるということを十分に理解できるであろう。
図１５Ａに図示したような環状映像の１四分面と４四分面との境界にある領域１５００では、図１５Ｂに図示された矢印のような方向の画素を参照して補間を行う。
【００５４】
図１５Ｂは、図１５Ａに図示された環状映像の１四分面と４四分面との境界にある領域１５００を表す。例えば、画素ｂ値を補間しようとすれば、従来には水平方向のＥ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊに加重分値を適用して補間したが、本発明によれば、図１５Ｂに図示された矢印方向に配列された画素値を利用して補間を行う。すなわち、本発明によれば、画素ｂ値は、画素Ａ １５０１、画素ｂｂ １５０２、画素Ｓ １５０３、画素ｇｇ １４０４、画素Ｔ １５０５の値に加重値を適用して補間する。画素ｂ値だけでなく画素ｈ、ｍ、ｓも同様に、環状映像の歪曲方向に配列された画素値を参照して補間を行う。
【００５５】
本発明による半画素補間法は、環状映像の歪曲方向に配列された所定数の画素値を利用して次のように表現できる。
１／２ｐｅｌ値＝ｒｏｕｎｄ（（ａＡ＋ｂＢ＋ｃＣ＋ｄＤ＋ｅＥ＋ｆＦ）／Ｋ）
６タップフィルターを使用する場合に、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆは、環状映像の歪曲方向に配列されており、補間しようとする対象画素に隣接した６個の画素を表す。
【００５６】
ａ、ｂ、ｃ、ｄ、ｅ、ｆは、それぞれ６個の画素にそれぞれ乗算される加重値を表す。
ここで、補間に利用される周辺画素ＡないしＦの位置は、あらかじめシステムで適切な位置を決定して計算した後、テーブル形態を記憶していて、補間を行う時にこのようなテーブルから対象画素の周辺画素を検索して利用してもよく、または、補間する度に所定の数式を利用して対象画素の補間に利用される周辺画素の位置を計算してもよい。
１／４ｐｅｌの場合にも、１／２ｐｅｌに適用された補間方法を同一に適用できる。
【００５７】
図１６Ａは、従来技術によるＨ．２６４の予測結果を表し、図１６Ｂは、本発明を適用したＨ．２６４の予測結果を表す。
従来技術によるＨ．２６４の場合には、環状映像の歪曲された部分を正常に参照できずに、映像の一部分にブロッキング現象が現れたことを観察できる一方、本発明によって環状映像の歪曲方向を考慮して補間を行ったＨ．２６４の場合には、映像のブロッキング現象なしに映像予測されたことが分かる。
【００５８】
以上、説明したような符号化、復号化方法はまたコンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。そして、前記符号化方法、復号化方法を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーにより容易に推論されうる。
【００５９】
これまで本発明についてその望ましい実施形態を中心に説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されうるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明ではなく特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。
【図面の簡単な説明】
【００６０】
【図１】環状映像の一例を示す図面である。
【図２Ａ】客体の上下運動による歪曲現象を説明するための参考図である。
【図２Ｂ】客体の上下運動による歪曲現象を説明するための参考図である。
【図３Ａ】整数画素及び副画素予測を説明するための参考図である。
【図３Ｂ】整数画素及び副画素予測を説明するための参考図である。
【図３Ｃ】整数画素及び副画素予測を説明するための参考図である。
【図４】従来技術によって、１／２ｐｅｌ参照ピクセルの方向を説明するための参考図である。
【図５Ａ】従来技術によって、１／４ｐｅｌ位置の補間を説明するための参考図である。
【図５Ｂ】従来技術によって、１／４ｐｅｌ位置の補間を説明するための参考図である。
【図５Ｃ】従来技術によって、１／４ｐｅｌ位置の補間を説明するための参考図である。
【図６Ａ】従来技術によって環状映像の画面間の予測を行う時のブロッキング現象を説明するための参考図である。
【図６Ｂ】従来技術によって環状映像の画面間の予測を行う時のブロッキング現象を説明するための参考図である。
【図７】本発明による符号化／復号化システムの概略図である。
【図８】本発明による符号化装置の具体的なブロック図である。
【図９】図８に図示された符号化装置のフローチャートである。
【図１０】本発明による復号化装置の具体的なブロック図である。
【図１１】図１０に図示された復号化装置のフローチャートである。
【図１２Ａ】２次元極座標系を示す図面である。
【図１２Ｂ】点（Ｐ）の動きによる方向性を示す図面である。
【図１２Ｃ】２次元平面の水平及び３次元環状映像での円周率曲線概念図である。
【図１２Ｄ】２次元平面の水平及び３次元環状映像での円周率曲線概念図である。
【図１２Ｅ】２次元平面の垂直及び３次元環状映像での角の概念図である。
【図１２Ｆ】２次元平面の垂直及び３次元環状映像での角の概念図である。
【図１３Ａ】環状映像での１四分面方向性の例を示す図面である。
【図１３Ｂ】図１３Ａに図示された歪曲による１／２ｐｅｌ補間時に、参照画素の位置を示す図面である。
【図１４Ａ】環状映像での２四分面方向性の例を示す図面である。
【図１４Ｂ】図１４Ａに図示された歪曲による１／２ｐｅｌ補間時に、参照画素の位置を示す図面である。
【図１５Ａ】環状映像での水平方向の方向性の例を示す図面である。
【図１５Ｂ】図１５Ａに図示された歪曲による１／２ｐｅｌ補間時に、参照画素の位置を示す図面である。
【図１６Ａ】従来技術によるＨ．２６４の予測結果を示す図面である。
【図１６Ｂ】本発明を適用したＨ．２６４の予測結果を示す図面である。
【符号の説明】
【００６１】
１００；符号化装置
２００；複合化装置
３００；平面映像変換装置
【特許請求の範囲】
【請求項１】
環状映像の参照画素を補間する方法において、
前記環状映像の歪曲方向に配列された複数の参照画素を選択するステップと、
前記選択された複数の参照画素の値に基づいて前記補間しようとする対象参照画素の値を補間するステップと、を含むことを特徴とする補間方法。
【請求項２】
前記配列された複数の参照画素は、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列されており、前記対象参照画素から前記円周上の所定距離以内に位置する参照画素を含むことを特徴とする請求項１に記載の補間方法。
【請求項３】
前記複数の参照画素選択ステップは、
所定の数式により決定された前記複数の参照画素に対する位置を利用して、前記複数の参照画素を選択するステップを含むことを特徴とする請求項１に記載の補間方法。
【請求項４】
前記複数の参照画素選択ステップは、
前記円の円周方向に配列された複数の参照画素の位置を保存しているテーブルを利用して、前記複数の参照画素を選択するステップを含むことを特徴とする請求項１に記載の補間方法。
【請求項５】
前記対象参照画素は、１／２ｐｅｌまたは１／４ｐｅｌであることを特徴とする請求項１に記載の補間方法。
【請求項６】
前記補間ステップは、
前記複数の参照画素の各画素値にそれぞれ所定の加重値を乗算するステップと、
前記所定の加重値がそれぞれ乗算された参照画素の値をいずれも加算して対象参照画素の値を獲得するステップと、を含むことを特徴とする請求項１に記載の補間方法。
【請求項７】
環状映像の参照画素を補間する装置において、
前記環状映像の歪曲方向に配列された複数の参照画素を選択する参照画素選択部と、
前記選択された複数の参照画素の値に基づいて前記補間しようとする対象参照画素の値を補間する補間部と、を備えることを特徴とする補間装置。
【請求項８】
前記配列された複数の参照画素は、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列されており、前記対象参照画素から前記円周上の所定距離以内に位置する参照画素を含むことを特徴とする請求項７に記載の補間装置。
【請求項９】
前記参照画素選択部は、
所定の数式により決定された前記複数の参照画素に対する位置を利用して、前記複数の参照画素を選択することを特徴とする請求項７に記載の補間装置。
【請求項１０】
前記参照画素選択部は、
前記円の円周方向に配列された複数の参照画素の位置を保存しているテーブルを利用して、前記複数の参照画素を選択することを特徴とする請求項７に記載の補間装置。
【請求項１１】
前記対象参照画素は、１／２ｐｅｌまたは１／４ｐｅｌであることを特徴とする請求項７に記載の補間装置。
【請求項１２】
前記補間部は、
前記複数の参照画素の各画素値にそれぞれ所定の加重値を乗算して、前記所定の加重値がそれぞれ乗算された参照画素の値をいずれも加算して対象参照画素の値を獲得することを特徴とする請求項７に記載の補間装置。
【請求項１３】
環状映像を符号化する方法において、
前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間し、前記環状映像の動きを推定することによって現在マクロブロックの予測された予測マクロブロックを決定するステップと、
前記予測されたマクロブロックと原マクロブロックとの差をＤＣＴ変換し、前記変換されたＤＣＴ係数を量子化し、前記量子化されたＤＣＴ変換係数を再配置し、前記再配置されたＤＣＴ変換係数をエントロピー符号化するステップと、を含むことを特徴とする環状映像符号化方法。
【請求項１４】
環状映像を符号化する装置において、
前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間して、前記環状映像の動きを推定することによって現在マクロブロックの予測された予測マクロブロックを決定する動き推定及び補償部と、
前記予測されたマクロブロックと原マクロブロックとの差をＤＣＴ変換するＤＣＴ変換部と、
前記変換されたＤＣＴ係数を量子化する量子化部と、
前記量子化されたＤＣＴ変換係数を再配置する再配置部と、
前記再配置されたＤＣＴ変換係数をエントロピー符号化するエントロピー符号化部と、を備えることを特徴とする環状映像符号化装置。
【請求項１５】
環状映像復号化方法において、
受信された符号化されたビットストリームをエントロピー復号化し、エントロピー復号化されたデータサンプルを再配置し、前記再配置されたデータサンプルを逆量子化し、前記逆量子化されたデータサンプルを逆ＤＣＴ変換して逆ＤＣＴ係数を生成するステップと、
前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間して、現在マクロブロックの予測された予測マクロブロックを決定するステップと、
前記逆ＤＣＴ係数からなるマクロブロックと前記予測マクロブロックとを加算するステップと、を含むことを特徴とする環状映像復号化方法。
【請求項１６】
環状映像復号化装置において、
符号化装置から受信されたビットストリームをエントロピー復号化するエントロピー復号化部と、
エントロピー復号化されたデータサンプルを再配置する再配置部と、
前記再配置されたデータサンプルを逆量子化する逆量子化部と、
前記逆量子化されたデータサンプルを逆ＤＣＴ変換して逆ＤＣＴ係数を生成する逆ＤＣＴ変換部と、
前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間して、現在マクロブロックの予測された予測マクロブロックを決定する動き補償部と、
前記逆ＤＣＴ係数からなるマクロブロックと前記予測マクロブロックとを加算する加算部と、を備えることを特徴とする環状映像復号化装置。
【請求項１】
環状映像の参照画素を補間する方法において、
前記環状映像の歪曲方向に配列された複数の参照画素を選択するステップと、
前記選択された複数の参照画素の値に基づいて前記補間しようとする対象参照画素の値を補間するステップと、を含むことを特徴とする補間方法。
【請求項２】
前記配列された複数の参照画素は、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列されており、前記対象参照画素から前記円周上の所定距離以内に位置する参照画素を含むことを特徴とする請求項１に記載の補間方法。
【請求項３】
前記複数の参照画素選択ステップは、
所定の数式により決定された前記複数の参照画素に対する位置を利用して、前記複数の参照画素を選択するステップを含むことを特徴とする請求項１に記載の補間方法。
【請求項４】
前記複数の参照画素選択ステップは、
前記円の円周方向に配列された複数の参照画素の位置を保存しているテーブルを利用して、前記複数の参照画素を選択するステップを含むことを特徴とする請求項１に記載の補間方法。
【請求項５】
前記対象参照画素は、１／２ｐｅｌまたは１／４ｐｅｌであることを特徴とする請求項１に記載の補間方法。
【請求項６】
前記補間ステップは、
前記複数の参照画素の各画素値にそれぞれ所定の加重値を乗算するステップと、
前記所定の加重値がそれぞれ乗算された参照画素の値をいずれも加算して対象参照画素の値を獲得するステップと、を含むことを特徴とする請求項１に記載の補間方法。
【請求項７】
環状映像の参照画素を補間する装置において、
前記環状映像の歪曲方向に配列された複数の参照画素を選択する参照画素選択部と、
前記選択された複数の参照画素の値に基づいて前記補間しようとする対象参照画素の値を補間する補間部と、を備えることを特徴とする補間装置。
【請求項８】
前記配列された複数の参照画素は、前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列されており、前記対象参照画素から前記円周上の所定距離以内に位置する参照画素を含むことを特徴とする請求項７に記載の補間装置。
【請求項９】
前記参照画素選択部は、
所定の数式により決定された前記複数の参照画素に対する位置を利用して、前記複数の参照画素を選択することを特徴とする請求項７に記載の補間装置。
【請求項１０】
前記参照画素選択部は、
前記円の円周方向に配列された複数の参照画素の位置を保存しているテーブルを利用して、前記複数の参照画素を選択することを特徴とする請求項７に記載の補間装置。
【請求項１１】
前記対象参照画素は、１／２ｐｅｌまたは１／４ｐｅｌであることを特徴とする請求項７に記載の補間装置。
【請求項１２】
前記補間部は、
前記複数の参照画素の各画素値にそれぞれ所定の加重値を乗算して、前記所定の加重値がそれぞれ乗算された参照画素の値をいずれも加算して対象参照画素の値を獲得することを特徴とする請求項７に記載の補間装置。
【請求項１３】
環状映像を符号化する方法において、
前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間し、前記環状映像の動きを推定することによって現在マクロブロックの予測された予測マクロブロックを決定するステップと、
前記予測されたマクロブロックと原マクロブロックとの差をＤＣＴ変換し、前記変換されたＤＣＴ係数を量子化し、前記量子化されたＤＣＴ変換係数を再配置し、前記再配置されたＤＣＴ変換係数をエントロピー符号化するステップと、を含むことを特徴とする環状映像符号化方法。
【請求項１４】
環状映像を符号化する装置において、
前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間して、前記環状映像の動きを推定することによって現在マクロブロックの予測された予測マクロブロックを決定する動き推定及び補償部と、
前記予測されたマクロブロックと原マクロブロックとの差をＤＣＴ変換するＤＣＴ変換部と、
前記変換されたＤＣＴ係数を量子化する量子化部と、
前記量子化されたＤＣＴ変換係数を再配置する再配置部と、
前記再配置されたＤＣＴ変換係数をエントロピー符号化するエントロピー符号化部と、を備えることを特徴とする環状映像符号化装置。
【請求項１５】
環状映像復号化方法において、
受信された符号化されたビットストリームをエントロピー復号化し、エントロピー復号化されたデータサンプルを再配置し、前記再配置されたデータサンプルを逆量子化し、前記逆量子化されたデータサンプルを逆ＤＣＴ変換して逆ＤＣＴ係数を生成するステップと、
前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間して、現在マクロブロックの予測された予測マクロブロックを決定するステップと、
前記逆ＤＣＴ係数からなるマクロブロックと前記予測マクロブロックとを加算するステップと、を含むことを特徴とする環状映像復号化方法。
【請求項１６】
環状映像復号化装置において、
符号化装置から受信されたビットストリームをエントロピー復号化するエントロピー復号化部と、
エントロピー復号化されたデータサンプルを再配置する再配置部と、
前記再配置されたデータサンプルを逆量子化する逆量子化部と、
前記逆量子化されたデータサンプルを逆ＤＣＴ変換して逆ＤＣＴ係数を生成する逆ＤＣＴ変換部と、
前記環状映像の中心から補間しようとする対象参照画素の位置までを半径とする円の円周方向に配列された複数の参照画素の値に基づいて、前記補間しようとする対象参照画素の値を補間して、現在マクロブロックの予測された予測マクロブロックを決定する動き補償部と、
前記逆ＤＣＴ係数からなるマクロブロックと前記予測マクロブロックとを加算する加算部と、を備えることを特徴とする環状映像復号化装置。
【図１】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１２Ｄ】
【図１２Ｅ】
【図１２Ｆ】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１６Ａ】
【図７】
【図１６Ｂ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１２Ｄ】
【図１２Ｅ】
【図１２Ｆ】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１６Ａ】
【図７】
【図１６Ｂ】
【公表番号】特表２００８−５１０３５６（Ｐ２００８−５１０３５６Ａ）
【公表日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願番号】特願２００７−５２５５４５（Ｐ２００７−５２５５４５）
【出願日】平成１７年８月１３日（２００５．８．１３）
【国際出願番号】ＰＣＴ／ＫＲ２００５／００２６３５
【国際公開番号】ＷＯ２００６／０１６７８０
【国際公開日】平成１８年２月１６日（２００６．２．１６）
【出願人】（５０７０４３２８７）インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ (7)
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
【公表日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願日】平成１７年８月１３日（２００５．８．１３）
【国際出願番号】ＰＣＴ／ＫＲ２００５／００２６３５
【国際公開番号】ＷＯ２００６／０１６７８０
【国際公開日】平成１８年２月１６日（２００６．２．１６）
【出願人】（５０７０４３２８７）インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ (7)
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
[ Back to top ]