説明

イントラ予測装置、符号化装置、復号装置、及びプログラム

【課題】予測対象ブロックと該予測対象ブロックに隣接する参照画素との相関を考慮した予測式を用いることにより、イントラ予測の確度を向上させる。
【解決手段】イントラ予測装置1は、プライマリ予測モードに基づいてプライマリコンポーネント信号の予測画像を生成するプライマリ予測画像生成部10と、プライマリ予測モードが示す予測方向に応じて、予測式の係数導出に用いる参照画素の位置を決定し、該参照画素の位置を示す参照画素位置情報を生成する参照画素選択部11と、前記参照画素位置情報が示す、プライマコンポーネント信号の画素及びセカンダリコンポーネント信号の画素から予測式の係数を導出する係数導出部14と、前記係数を代入した予測式を用いてセカンダリコンポーネント信号のイントラ予測を行い、セカンダリコンポーネント信号の予測画像を生成する第1セカンダリ予測画像生成部15と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ブロック単位でイントラ予測(画面内予測)を行い、予測対称ブロックの予測画像を生成するイントラ予測装置、符号化装置、復号装置、及びプログラムに関するものである。
【背景技術】
【0002】
MPEG−4 AVC/H.264方式(ISO/IEC 14496−10/ITU−T Rec.H.264)においては、予測対象ブロック(符号化対象ブロック)をイントラ予測により符号化する場合は、復号済みの周囲のブロックを用いてイントラ予測を行って予測画像を生成し、原画像と予測画像との差分を符号化することが知られている(例えば、非特許文献1参照)。イントラ予測にあたっては、予め設定された予測方向のうち、最適なものを選択して予測を行うとともに、選択された予測方向を示すイントラ予測モード(以下、単に「予測モード」ともいう)を符号化して伝送する。
【0003】
MPEG−4 AVC/H.264方式におけるイントラ予測は、4×4画素単位、8×8画素単位、又は16×16画素単位で行われ、予め設定された複数種類の予測モードの中から最適な予測モードを選択する。図8は、MPEG−4 AVC/H.264方式において、8×8画素単位でイントラ予測する場合のイントラ予測モードを示す図である。図中の斜線付きの丸は復号済みの画素を示し、白丸は予測対象の画素を示し、矢印は予測方向を示している。図8(a)の予測モード0では垂直方向予測、図8(b)の予測モード1では水平方向予測、図8(c)の予測モード2ではDC予測、図8(d)の予測モード3では対角左下方向予測、図8(e)の予測モード4では対角右下方向予測、図8(f)の予測モード5では垂直右方向予測、図8(g)の予測モード6では水平下方向予測、図8(h)の予測モード7では垂直左方向予測、図8(i)の予測モード8では水平上方向予測を行う。このように、予測モードは予測方向に対応付けられている。なお、輝度信号のイントラ予測には上記の予測モード0〜8までが設定されているが、色差信号のイントラ予測には上記の予測モード0〜3のみが設定されている。
【0004】
次世代の圧縮符号化方式として規格化が進められているHEVC(High-Efficiency Video Coding)方式でもイントラ予測を行うことが知られている(例えば、非特許文献2参照)。図9は、非特許文献2に開示されている、HEVC方式におけるイントラ予測モードを示す図である。図面の便宜上、図8の矢印は予測方向を示しているが、図9の矢印は参照方向(予測方向と逆方向)を示している。また、図9中の数字は予測モードを表している。HEVC方式の予測モードは、MPEG−4 AVC/H.264方式の9種類に比べて、34種類に増加している。
【0005】
また、カラー画像(RGB画像やYCbCr画像)の符号化においては、例えばYCbCr画像を符号化する場合、1つの輝度信号(Y)及び2つの色差信号(Cb,Cr)を符号化する。このとき、上述したような同一画面内の同一コンポーネント信号を用いてイントラ予測する技法の他に、同一画面内の異なるコンポーネント信号(輝度信号と色差信号)を用いてイントラ予測する技法が知られている(例えば、非特許文献3参照)。非特許文献3に記載の技法では、輝度信号から色差信号を予測する予測式を導出し、導出した予測式を用いて、復号済みの輝度信号から色差信号を予測する。なお、予測式の復号側への伝送は不要である。
【0006】
図10は、異なるコンポーネント信号間における予測式を用いたイントラ予測を説明する図である。輝度信号の画像サイズと色差信号の画像サイズが異なる場合には、輝度信号を色差信号と同一の画像サイズとなるようにダウンサンプリングする。図10では、2N×2N画素の輝度信号RecをN×N画素の色差信号Recと同一の画像サイズとなるようにダウンサンプリングした信号Rec’を生成する。
【0007】
そして、色差信号の予測対象ブロックに隣接する復号済みの画素Rec(i)と、該画素に対応する位置(異なるコンポーネント信号間で同位置)にある輝度信号の復号済みの画素Rec’(i)とを用いて、次式(1)(2)により、予測式に用いられる係数α,βを導出する。次式(3)の予測式に導出した係数α,βを代入することにより、輝度信号から色差信号の予測値Predを算出することができる。ここで、Iは隣接画素(参照画素)の数を表し、iは隣接画素の番号を表す。図10に示すように予測対象ブロックのサイズが8×8画素の場合、I=16、i=0〜15である。なお、色差信号Cb,Crの各々について、式(1)〜(3)を用いてイントラ予測する。
【0008】
【数1】

【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】大久保 榮、他3名、「改訂三版 H.264/AVC教科書」、インプレスR&D、2008年12月26日
【非特許文献2】T.Wiegand, W-J Han, B Bross, J-R.Ohm, G.J.Sullivan, “WD3:Working Draft 3 of High-Efficiency Video Coding”, JCTVC-E603
【非特許文献3】JCT-VC E266 Chroma intra prediction by reconstructed luma samples (Samusung, LG)
【発明の概要】
【発明が解決しようとする課題】
【0010】
上述した、同一画面内で異なるコンポーネント信号間で予測式を用いてイントラ予測する技法では、予測対象ブロック(符号化対象ブロック)と該予測対象ブロックに隣接する隣接画素との相関が高いという前提でイントラ予測を行っている。しかし、一般に必ずしも予測対象ブロックと隣接画素との相関が高いとは限らず、両者の相関が低い場合には確度(信頼度)の高いイントラ予測を行うことができなかった。
【0011】
本発明の目的は、上記問題を解決するため、予測対象ブロックと該予測対象ブロックの隣接画素との相関を考慮した予測式を用いてイントラ予測を行うことにより、イントラ予測の確度を向上させることが可能なイントラ予測装置、符号化装置、復号装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【0012】
符号化済みのコンポーネント信号(例えば、輝度信号)をプライマリコンポーネント信号、予測対象とするその他の1以上のコンポーネント信号(例えば、色差信号)をセカンダリコンポーネント信号とする。上記課題を解決するため、本発明に係るイントラ予測装置は、プライマリコンポーネント信号のイントラ予測に用いられた隣接画素を用いて予測式を導出する。多くのイントラ予測においては特定の一方向に同じ値が続くという予測が用いられるため、選択されたイントラ予測の予測モードから予測対象ブロックに相関の高い隣接画素の位置を推定することができる。したがって、予測対象ブロックに対して予測方向の逆方向に存在する隣接画素だけを用いることにより、予測対象ブロックの予測に適した予測式を導出することができる。
【0013】
すなわち、本発明に係るイントラ予測装置は、プライマリコンポーネント信号(例えば、輝度信号)と、その他の1以上のコンポーネント信号からなるセカンダリコンポーネント信号(例えば、色差信号)とを有する映像信号について、符号化済みのプライマリコンポーネント信号及び係数で表される予測式を用いて、セカンダリコンポーネント信号のイントラ予測を行うイントラ予測装置であって、予め定められた複数のイントラ予測モードから決定されたプライマリ予測モードに基づいてプライマリコンポーネント信号の予測画像を生成するプライマリ予測画像生成部と、前記プライマリ予測モードが示す予測方向に応じて、前記予測式の係数導出に用いる参照画素の位置を決定し、該参照画素の位置を示す参照画素位置情報を生成する参照画素選択部と、前記参照画素位置情報が示す、前記プライマコンポーネント信号の画素及び前記セカンダリコンポーネント信号の画素から、前記予測式の係数を導出する係数導出部と、前記係数導出部により導出された係数を代入した予測式を用いて前記セカンダリコンポーネント信号のイントラ予測を行い、セカンダリコンポーネント信号の予測画像を生成する第1セカンダリ予測画像生成部と、を備えることを特徴とする。
【0014】
さらに、本発明に係るイントラ予測装置において、前記参照画素選択部は、前記プライマリ予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、0度を含む範囲である、第1の角度以上第2の角度未満である場合には、前記参照画素の位置を、予測対象ブロックの上側に隣接する一行の画素(後述する図2に示す例では、隣接画素a1〜a8)とし、前記プライマリ予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、45度を含む範囲である、前記第2の角度以上第3の角度未満である場合には、前記参照画素の位置を、前記一行の画素の一部、及び、予測対象ブロックの左側に隣接する一列の画素(後述する図2に示す例では、隣接画素b1〜b8)の一部とし、前記プライマリ予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、0度を含む範囲である、前記第3の角度以上第4の角度未満である場合には、前記参照画素の位置を、前記一列の画素とすることを特徴とする。
【0015】
さらに、本発明に係るイントラ予測装置において、予め定められた複数のイントラ予測モードから決定されたセカンダリ予測モードに基づいてセカンダリコンポーネント信号の予測画像を生成する第2セカンダリ予測画像生成部と、前記第1セカンダリ予測画像生成部により生成されたセカンダリコンポーネント信号の予測画像、及び前記第2セカンダリ予測画像生成部により生成されたセカンダリコンポーネント信号の予測画像のうち、いずれか一方を選択して出力するセカンダリ予測画像選択部と、を更に備えることを特徴とする。
【0016】
また、上記課題を解決するため、本発明に係る符号化装置は、上述したイントラ予測装置を備えることを特徴とする。
【0017】
また、上記課題を解決するため、本発明に係る復号装置は、上述したイントラ予測装置を備えることを特徴とする。
【0018】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上述したイントラ予測装置、符号化装置又は復号装置として機能させることを特徴とする。
【発明の効果】
【0019】
本発明によれば、予測対象ブロックと該予測対象ブロックに隣接する参照画素との相関を考慮した予測式を用いてイントラ予測を行うことにより、イントラ予測の確度を向上させることができるようになる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施例に係る符号化側のイントラ予測装置の第1の構成例を示すブロック図である。
【図2】予測式の係数を導出する際に用いる参照画素を示す図である。
【図3】本発明の一実施例に係る符号化側のイントラ予測装置の第2の構成例を示すブロック図である。
【図4】本発明の一実施例に係る符号化装置の構成例を示すブロック図である。
【図5】本発明の一実施例に係る復号側のイントラ予測装置の第1の構成例を示すブロック図である。
【図6】本発明の一実施例に係る復号側のイントラ予測装置の第2の構成例を示すブロック図である。
【図7】本発明の一実施例に係る復号装置の構成例を示すブロック図である。
【図8】MPEG4 AVC/H.264方式におけるイントラ予測モードを示す図である。
【図9】HEVC方式におけるイントラ予測モードを示す図である。
【図10】異なるコンポーネント信号間における予測式を用いたイントラ予測を説明する図である。
【発明を実施するための形態】
【0021】
本発明に係るイントラ予測装置は、プライマリコンポーネント信号と、その他の1以上のコンポーネント信号からなるセカンダリコンポーネント信号とを有する映像信号について、プライマリコンポーネント信号及び係数で表される予測式を用いて、セカンダリコンポーネント信号のイントラ予測を行う。以下に説明する本発明の実施例では、プライマリコンポーネント信号が輝度信号であり、セカンダリコンポーネント信号が色差信号である場合を例に説明する。なお、色差信号はCb信号及びCr信号からなり、色差信号Cb,Crの各々について予測式を用いてイントラ予測を行うが、以下の実施例では、色差信号Cb,Crのいずれに対しても適用可能であるため、両者を区別せずに色差信号と称する。
【0022】
[符号化側のイントラ予測装置]
図1は、本発明の一実施例に係る符号化側のイントラ予測装置の第1の構成例を示すブロック図である。図1に示すように、符号化側のイントラ予測装置1は、輝度予測画像生成部(プライマリ予測画像生成部)10と、参照画素選択部11と、ダウンサンプリング部12と、メモリ13と、係数導出部14と、第1色差予測画像生成部(第1セカンダリ予測画像生成部)15と、を備える。
【0023】
符号化側のイントラ予測装置1は、所定の単位ブロック(例えば、マクロブロック)ごとに、輝度信号についてイントラ予測を行った後に、色差信号についてイントラ予測を行う。この点を明示するために、図1(a)では、輝度信号についてイントラ予測を行う処理部のみ実線で示し、図1(b)では、色差信号についてイントラ予測を行う処理部のみ実線で示している。つまり、イントラ予測装置1は、図1(a)に示すように、入力される輝度信号について輝度予測画像生成部10によりブロック単位でイントラ予測を行い、輝度信号の予測モードである輝度予測モード、輝度信号の予測画像である輝度予測画像を生成する。その後、図1(b)に示すように、入力される色差信号について参照画素選択部11、ダウンサンプリング部12、メモリ13、係数導出部14、及び第1色差予測画像生成部15によりブロック単位でイントラ予測を行い、色差信号の予測画像である色差予測画像を生成する。なお、イントラ予測装置1が符号化装置に組み込まれた場合、後述するようにイントラ予測装置1には、輝度信号及び色差信号として、それぞれの局部復号画像が入力される。
【0024】
輝度予測画像生成部10は、輝度信号(プライマリコンポーネント信号)について、予測対象ブロックの周囲のブロックであって予測モードを決定済みのブロック(以下、「参照ブロック」という)の画像を参照し、予め定められた複数の予測モードから最適な予測モードである輝度予測モード(プライマリ予測モード)を決定し、決定した輝度予測モードを外部に出力する。輝度予測画像生成部10に入力される輝度信号及び輝度予測画像生成部10から出力される輝度予測モードは、その後に行われる色差信号のイントラ予測にも用いられる。
【0025】
輝度予測画像生成部10は、輝度予測モードを既知の手法により決定することができる。例えば、各予測モードに基づいて予測画像を求め、符号化コストを最小とする輝度予測モードをR−D最適化(Rate-Distortion Optimization)により決定する。MPEG4 AVC/H.264方式により8×8画素単位でイントラ予測する場合には、図8に示した予測モード0〜8の中から予測対象ブロックの輝度予測モードを決定し、HEVC方式によりイントラ予測する場合には、図9に示した予測モード0〜33の中から予測対象ブロックの輝度予測モードを決定する。
【0026】
また、輝度予測画像生成部10は、決定した輝度予測モードに基づく予測画像である輝度予測画像を生成し、生成した輝度予測画像を外部に出力する。例えば、輝度予測モードが図8に示した予測モード0であった場合、輝度予測画像生成部10は、予測対象ブロックの上側に隣接する画素をそれぞれ予測対象ブロックの同じ列の画素の予測値とした輝度予測画像を生成する。
【0027】
参照画素選択部11は、色差信号の予測対象ブロックと同一フレームの同一位置における輝度信号のブロックについて、輝度予測画像生成部10により生成された輝度予測モードを取得する。そして、取得した輝度予測モードが示す予測方向に応じて、予測式の係数α,βを導出する際に用いる参照画素の位置を決定し、決定した参照画素の位置を示す参照画素位置情報を生成して係数導出部14に出力する。
【0028】
図2は、予測式の係数α,βを導出する際に用いる参照画素を示す図である。ここでは、予測対象ブロックのブロックサイズが8×8画素の場合、すなわち8×8画素単位でイントラ予測する場合を示している。このとき、予測対象ブロックの上側に隣接する隣接画素をa1〜a8とし、予測対象ブロックの左側に隣接する隣接画素をb1〜b8とする。参照画素選択部11は、輝度予測画像生成部10から入力される輝度信号の予測モードが示す予測方向に応じて、係数α,βを導出する際に用いる参照画素の位置を、隣接画素a1〜a8及びb1〜b8の中から選択する。
【0029】
例えば、MPEG4 AVC/H.264方式において図8に示した予測モード0〜8が予め設定されている場合には、参照画素選択部11は、次のように参照画素の位置を決定する。なお、予測方向の垂直下方向に対して反時計回り方向の角度は、予測方向が左斜め下方向のとき−45度、下方向のとき0度、右斜め下方向のとき45度、右方向のとき90度となる。
・輝度信号の予測モードが、参照画素の平均値を予測値とする予測モード(予測モード2)である場合には、隣接画素a1〜a8及びb1〜b8の全てを参照画素と決定する。
・輝度信号の予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、0度を含む所定の範囲内(第1の角度以上第2の角度未満)である場合(予測モード3,7,0)には、隣接画素a1〜a8を参照画素と決定する。
・輝度信号の予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、45度を含む所定の範囲内(前記第2の角度以上第3の角度未満)である場合(予測モード5,4,6)には、隣接画素a1〜a4及びb1〜b4を参照画素と決定する。
・輝度信号の予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、90度を含む所定の範囲内(前記第3の角度以上第4の角度未満)である場合(予測モード1,8)には、隣接画素b1〜b8を参照画素と決定する。
【0030】
また、HEVC方式において図9に示した予測モード0〜33が予め設定されている場合には、MPEG4 AVC/H.264方式の場合と同様に、参照画素選択部11は次のように参照画素の位置を選択する。
・輝度信号の予測モードが、参照画素の平均値を予測値とする予測モードである場合(予測モード2)には、隣接画素a1〜a8及びb1〜b8の全てを参照画素と決定する。
・輝度信号の予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、0度を含む所定の範囲内(第1の角度以上第2の角度未満)である場合(予測モード6,25,13,24,5,23,12,22,0,21,11,20,4)には、隣接画素a1〜a8を参照画素と決定する。
・輝度信号の予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、45度を含む所定の範囲内(前記第2の角度以上第3の角度未満)である場合(予測モード19,10,18,3,26,14,27)には、隣接画素a1〜a4及びb1〜b4を参照画素と決定する。
・輝度信号の予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、90度を含む所定の範囲内(前記第3の角度以上第4の角度未満)である場合(予測モード7,28,15,29,1,30,16,31,8,32,17,33,9)には、隣接画素b1〜b8を参照画素と決定する。
【0031】
なお、方向性を持ったイントラ予測が用いられなかった場合(例えば、上述した参照画素の平均値を予測値とするイントラDC予測や、動き補償予測が用いられた場合)には、隣接画素a1〜a8及びb1〜b8の全てを参照画素と決定する。また、上述した例では輝度予測モードが示す予測方向の角度を、270度を含む所定の範囲、315度を含む所定の範囲、及び0度を含む所定の範囲の3つに分類したが、より細かく分類して参照画素の位置を決定するようにしてもよい。
【0032】
ダウンサンプリング部12は、外部から入力される輝度信号の画像サイズを色差信号と同一の画像サイズにダウンサンプリングし、ダウンサンプリングされた輝度信号をメモリ13に出力する。例えば、Y,Cb,Crのフォーマットが4:2:2である場合には、輝度信号の画像サイズを水平方向に1/2にダウンサンプリングする。Y,Cb,Crのフォーマットが4:1:1である場合には、輝度信号の画像サイズを水平方向に1/4にダウンサンプリングする。Y,Cb,Crのフォーマットが4:2:0である場合には、輝度信号の画像サイズを水平方向に1/2にダウンサンプリングし、垂直方向に1/2にダウンサンプリングする。なお、Y,Cb,Crのフォーマットが4:4:4である場合には、ダウンサンプリングを行わない。
【0033】
メモリ13は、外部から入力される色差信号、及びダウンサンプリング部12から入力されるダウンサンプリングされた輝度信号を記憶する。
【0034】
係数導出部14は、参照画素選択部11から入力される参照画素位置情報に基づいて、メモリ13から色差信号の予測対象ブロックに隣接する復号済みの画素Rec(i)と、該画素に対応する位置にある輝度信号の復号済みの画素Rec’(i)とを取得し、上記の式(1)(2)により係数α,βを導出し、導出した係数α,βを第1色差予測画像生成部15に出力する。
【0035】
予測式を用いてイントラ予測を行う従来の技法では、Rec(i)、Rec’(i)として予測対象ブロックの隣接画素a1〜a8及びb1〜b8の全てを用いて、上記の式(1)(2)により係数α,βを導出していた。しかし、本発明に係るイントラ予測装置1では、Rec(i)、Rec’(i)として、隣接画素a1〜a8及びb1〜b8のうち、参照画素選択部11によって選択された参照画素のみを用いて、上記の式(1)(2)により係数α,βを導出するため、上記の予測式(3)を、予測対象ブロックと該予測対象ブロックの隣接画素との相関を考慮したものとすることができる。
【0036】
第1色差予測画像生成部15は、係数導出部14から入力される係数α,βと、メモリ13から取得したダウンサンプリングされた輝度信号Rec’[x,y]とを用いて、上記の式(3)の予測式により色差信号の予測画像である色差画像を生成し、生成した色差画像を外部に出力する。
【0037】
図3は、本発明の一実施例に係る符号化側のイントラ予測装置の第2の構成例を示すブロック図である。図3に示すように、符号化側のイントラ予測装置2は、輝度予測画像生成部10と、参照画素選択部11と、ダウンサンプリング部12と、メモリ13と、係数導出部14と、第1色差予測画像生成部15と、第2色差予測画像生成部(第2セカンダリ予測画像生成部)16と、色差予測画像選択部17と、を備える。第2の構成例のイントラ予測装置2は、図1に示した第1の構成例のイントラ予測装置1と比較して、第2色差予測画像生成部16、及び色差予測画像選択部17を更に備える点が相違するが、その他の点は同様である。よって、図1に示した第1の構成例のイントラ予測装置2と同じ構成要素には同一の参照番号を付して説明を省略する。なお、図3では各処理ブロックを全て実線で示しているが、所定の単位ブロック(例えば、マクロブロック)ごとに、輝度信号についてイントラ予測を行った後に、色差信号についてイントラ予測を行う点は、図1に示した第1の構成例のイントラ予測装置1と同様である。
【0038】
第1色差予測画像生成部15は、生成した色差予測画像を外部ではなく、色差予測画像選択部17に出力する。
【0039】
第2色差予測画像生成部16は、色差信号について、参照ブロックの画像を参照し、予め定められた複数の予測モードから最適な予測モードである色差予測モードを決定し、決定した色差予測モードを色差予測画像選択部17に出力する。第2色差予測画像生成部16は、色差予測モードを既知の手法により決定することができる。例えば、各予測モードに基づいて予測画像を求め、符号化コストを最小とする色差予測モードをR−D最適化により決定する。例えば、MPEG4 AVC/H.264方式により8×8画素単位でイントラ予測する場合には、図8に示した予測モードの中から予測対象ブロックの色差予測モードを決定し、HEVC方式によりイントラ予測する場合は図9に示した予測モードの中から予測対象ブロックの色差予測モードを決定する。
【0040】
また、第2色差予測画像生成部16は、決定した色差予測モードに基づく予測画像である色差予測画像を生成し、生成した色差予測画像を色差予測画像選択部17に出力する。
【0041】
色差予測画像選択部17は、第1色差予測画像生成部15から入力される色差予測画像と、第2色差予測画像生成部16から入力される色差予測画像のうち、いずれか一方、例えばR−D最適化により符号化コストが小さくなるほうの色差予測画像を選択し、選択した色差予測画像を外部に出力する。なお、従来のMPEG4 AVC/H.264方式やHEVC方式で予め設定されている予測モードの一つを予測式に基づく予測モードに差し替えることにより、従来の方式に対してモード数が増加しないようにしてもよい。
【0042】
このように、符号化側のイントラ予測装置1,2は、参照画素選択部11により、輝度予測画像生成部10が生成する輝度予測モードが示す予測方向に応じて参照画素位置情報を生成し、係数導出部14により、参照画素位置情報が示す輝度信号の画素及び色差信号の画素から予測式の係数α,βを導出し、第1色差予測画像生成部15により、係数α,βを代入した予測式を用いて色差信号のイントラ予測を行って色差予測画像を生成する。このため、イントラ予測装置1,2は、予測対象ブロックと該予測対象ブロックに隣接する参照画素との相関を考慮したイントラ予測を行うことができ、イントラ予測の確度を向上させることができるようになる。
【0043】
また、符号化側のイントラ予測装置2は、予め定められた複数の予測モードから決定された色差予測モードに基づいて色差予測画像を生成する第2色差予測画像生成部16と、第1色差予測画像生成部15により生成された色差予測画像、及び第2色差予測画像生成部16により生成された色差予測画像のうちいずれか一方を選択して出力する色差予測画像選択部17と、を更に備える。このため、イントラ予測装置2は、相関を考慮した予測式に基づく色差予測画像と、従来のMPEG4 AVC/H.264方式による色差予測画像のうち、適したほうを選択することができるので、よりイントラ予測の確度を向上させることができるようになる。
【0044】
なお、上述したイントラ予測装置1,2として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、イントラ予測装置1,2の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
【0045】
[符号化装置]
次に、上述したイントラ予測装置1又は2を備える符号化装置について説明する。図4は、本発明の一実施例に係る符号化装置の構成を示すブロック図であり、ここではMPEG−4 AVC/H.264方式の符号化装置にイントラ予測装置1又は2を適用した例を示している。図4に示すように、符号化装置20は、減算部21と、直交変換部22と、量子化部23と、逆量子化部24と、逆直交変換部25と、加算部26と、メモリ27と、イントラ予測装置1,2と、動き補償部28と、切替えスイッチ29と、可変長符号化部30とを備える。符号化装置20は、所定の単位ブロック(例えば、マクロブロック)ごとに、輝度信号について符号化を行った後に、色差信号について符号化を行う。よって、以下に説明する符号化装置20の各処理ブロックは、輝度信号について処理した後に、色差信号について処理する点に留意されたい。
【0046】
減算部21は、輝度信号及び色差信号からなる映像信号(輝度信号又は色差信号)と、切替えスイッチ29を介してイントラ予測装置1,2又は動き補償部28から入力される予測画像(輝度予測画像又は色差予測画像)とを差分し、差分画像を直交変換部22に出力する。
【0047】
直交変換部22は、減算部21から入力される差分画像に対してブロック単位で直交変換を施し、得られる直交変換係数を量子化部23に出力する。
【0048】
量子化部23は、直交変換部22から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、量子化された直交変換係数を逆量子化部24及び可変長符号化部30に出力する。
【0049】
逆量子化部24は、量子化部23から入力される量子化された直交変換係数に対して逆量子化処理を行い、得られる直交変換係数を逆直交変換部25に出力する。
【0050】
逆直交変換部25は、逆量子化部24から入力される直交変換係数に対して逆直交変換(例えば、IDCT;Inverse Discrete Cosine Transform)処理を施し、逆直交変換した画像を加算部26に出力する。
【0051】
加算部26は、逆直交変換部25から入力される逆直交変換した画像と、切替えスイッチ29を介してイントラ予測装置1,2又は動き補償部28から入力される予測画像(輝度予測画像又は色差予測画像)とを加算して局部復号画像を生成し、生成した局部復号画像をメモリ27に出力する。符号化装置20は、輝度信号について処理した後に色差信号について処理するので、色差信号のn番目のブロックを符号化する際には、メモリ27には、色差信号の(n−1)番目のブロックまでの局部復号画像、及び輝度信号のn番目のブロックまでの局部復号画像が記憶されている。
【0052】
イントラ予測装置1,2は、メモリ27に記憶された局部復号画像を参照し、上述したように輝度信号のイントラ予測画像を生成した後に、色差信号のイントラ予測画像を生成する。生成されたイントラ予測画像は切替えスイッチ29を介して減算部21及び加算部26に出力される。また、イントラ予測装置1は輝度予測モードを生成して可変長符号化部30に出力し、イントラ予測装置2は輝度予測モード及び色差予測モードを生成して可変長符号化部30に出力する。
【0053】
動き補償部28は、映像信号に対して、メモリ27に記憶された過去及び/又は未来のピクチャ(フレーム)を参照し、SSD(Sum of Squared Difference)法やSAD(Sum of Absolute intensity Difference)法を用いたブロックマッチングにより動きベクトルを生成し、生成した動きベクトルを可変長符号化部30に出力する。ブロックマッチングは、例えばパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。
【0054】
動き補償部28は、メモリ27に記憶された復号画像に対し、生成した動きベクトルを用いて動き補償を行ってインター予測(画面間予測)したインター予測画像を生成し、生成したインター予測画像を切替えスイッチ29を介してインター予測画像を減算部21及び加算部26に出力する。
【0055】
切替えスイッチ29は、イントラ予測装置1,2から入力されるイントラ予測画像と、動き補償部28から入力されるインター予測画像とを切替えて、減算部21及び加算部26に出力する。
【0056】
可変長符号化部30は、量子化部23から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施し、得られる符号化データを外部に出力する。また、可変長符号化部30は、イントラ予測装置1,2から入力される予測モード、及び動き補償部28から入力される動きベクトルの情報も可変長符号化処理を施し、得られる符号化データを外部に出力する。
【0057】
このように、符号化装置20はイントラ予測装置1又は2を備えるため、イントラ予測の確度を向上させることができ、それに伴い符号化効率を向上させることができるようになる。
【0058】
なお、上述した符号化装置20として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置20の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
【0059】
[復号側のイントラ予測装置]
次に、復号側のイントラ予測装置について説明する。図5は、本発明の一実施例に係る復号側のイントラ予測装置の第1の構成例を示すブロック図である。図5に示すように、復号側のイントラ予測装置3は、輝度予測画像生成部10と、参照画素選択部11と、ダウンサンプリング部12と、メモリ13と、係数導出部14と、第1色差予測画像生成部15と、を備える。
【0060】
復号側のイントラ予測装置3は、所定の単位ブロック(例えば、マクロブロック)ごとに、輝度信号についてイントラ予測を行った後に、色差信号についてイントラ予測を行う。この点を明示するために、図5(a)では、輝度信号についてイントラ予測を行う処理部のみ実線で示し、図5(b)では、色差信号についてイントラ予測を行う処理部のみ実線で示している。つまり、イントラ予測装置3は、図5(a)に示すように、入力される輝度信号について輝度予測画像生成部10によりブロック単位でイントラ予測を行い、輝度信号の予測画像である輝度予測画像を生成する。その後、図1(b)に示すように、入力される色差信号について参照画素選択部11、ダウンサンプリング部12、メモリ13、係数導出部14、及び第1色差予測画像生成部15によりブロック単位でイントラ予測を行い、色差信号の予測画像である色差予測画像を生成する。なお、イントラ予測装置3が復号装置に組み込まれた場合、後述するようにイントラ予測装置3には、輝度信号及び色差信号として、それぞれの復号画像が入力される。
【0061】
図5に示す復号側のイントラ予測装置3は、図1に示した符号化側のイントラ予測装置1と比較して、輝度予測画像生成部10が輝度予測モードを生成しない点、及び参照画素選択部11が外部から入力される輝度予測モードを用いて参照画素位置情報を生成する点が相違するが、他のブロックの機能は、符号化側のイントラ予測装置1と同様である。
【0062】
つまり、輝度予測画像生成部10は符号化側から取得した輝度予測モードに基づく輝度予測画像を生成し、生成した輝度予測画像を外部に出力する。輝度予測画像生成部10に入力される輝度信号及び輝度予測モードは、その後に行われる色差信号のイントラ予測にも用いられる。
【0063】
参照画素選択部11は、符号化側から取得した輝度予測モードに基づいて、予測式の係数α,βを導出する際に用いる参照画素の位置を選択し、参照画素の選択位置を示す参照画素位置情報を係数導出部14に出力する。
【0064】
ダウンサンプリング部12は、符号化側から取得した輝度信号の画像サイズを、符号化側から取得した色差信号と同一の画像サイズにダウンサンプリングし、ダウンサンプリングされた輝度信号をメモリ13に出力する。メモリ13は、色差信号、及びダウンサンプリング部12から入力されるダウンサンプリングされた輝度信号を記憶する。
【0065】
係数導出部14は、参照画素選択部11から入力される参照画素位置情報に基づいて、メモリ13から色差信号の予測対象ブロックに隣接する復号済みの画素Rec(i)と、該画素に対応する位置にある輝度信号の復号済みの画素Rec’(i)とを取得し、上記の式(1)(2)により係数α,βを導出し、導出した係数α,βを第1色差予測画像生成部15に出力する。色差予測画像生成部15は、係数導出部14から入力される係数α,βと、メモリ13から取得したダウンサンプリングされた輝度信号Rec’[x,y]とを用いて、上記の式(3)の予測式により色差予測画像を生成し、生成した色差予測画像を外部に出力する。
【0066】
図6は、本発明の一実施例に係る復号側のイントラ予測装置の第2の構成例を示すブロック図である。図6に示すように、復号側のイントラ予測装置4は、輝度予測画像生成部10と、参照画素選択部11と、ダウンサンプリング部12と、メモリ13と、係数導出部14と、第1色差予測画像生成部15と、第2色差予測画像生成部16と、色差予測画像選択部17と、を備える。第2の構成例の復号側のイントラ予測装置4は、図5に示した第1の構成例の復号側のイントラ予測装置3と比較して、第2色差予測画像生成部16、及び色差予測画像選択部17を更に備える点が相違するが、その他の点は同様である。よって、図5に示した第1の構成例の復号側のイントラ予測装置3と同じ構成要素には同一の参照番号を付して説明を省略する。なお、図6では各処理ブロックを全て実線で示しているが、所定の単位ブロック(例えば、マクロブロック)ごとに、輝度信号についてイントラ予測を行った後に、色差信号についてイントラ予測を行う点は、図5に示した復号側の第1の構成例のイントラ予測装置3と同様である。
【0067】
第1色差予測画像生成部15は、生成した色差予測画像を外部ではなく、色差予測画像選択部17に出力する。
【0068】
第2色差予測画像生成部16は、符号化側から取得した色差予測モードに基づいて色差予測画像を生成し、生成した色差予測画像を色差予測画像選択部17に出力する。
【0069】
色差予測画像選択部17は、第1色差予測画像生成部15から入力される色差予測画像と、第2色差予測画像生成部16から入力される色差予測画像のうち、符号化側から入力される色差予測モードに基づいていずれか一方を選択して外部に出力する。つまり、色差予測モードが、予測式を用いて色差予測画像を生成する予測モードであった場合には第1色差予測画像生成部15から入力される色差予測画像を選択し、それ以外の予測モードであった場合には第2色差予測画像生成部16から入力される色差予測画像を選択する。なお、色差予測モードが、予測式を用いて色差予測画像を生成する予測モードであった場合には第2色差予測画像生成部16による色差予測画像の生成を行わず、それ以外の予測モードであった場合には第1色差予測画像生成部15による色差予測画像の生成を行わないようにしてもよい。
【0070】
このように、復号側のイントラ予測装置3,4は、符号化側のイントラ予測装置1,2と同様に、参照画素選択部11により、輝度予測画像生成部10が生成する輝度予測モードが示す予測方向に応じて参照画素位置情報を生成し、係数導出部14により、参照画素位置情報が示す輝度信号の画素及び色差信号の画素から予測式の係数α,βを導出し、第1色差予測画像生成部15により、係数α,βを代入した予測式を用いて色差信号のイントラ予測を行って色差予測画像を生成する。このため、イントラ予測装置3,4は、予測対象ブロックと該予測対象ブロックに隣接する参照画素との相関を考慮したイントラ予測を行うことができ、イントラ予測の確度を向上させることができるようになる。
【0071】
また、復号側のイントラ予測装置4は、予め定められた複数のイントラ予測モードから決定された色差予測モードに基づいて色差予測画像を生成する第2色差予測画像生成部16と、第1色差予測画像生成部15により生成された色差予測画像、及び第2色差予測画像生成部16により生成された色差予測画像のうちいずれか一方を選択して出力する色差予測画像選択部17と、を更に備える。このため、イントラ予測装置4は、相関を考慮した予測式に基づく色差予測画像と、従来のMPEG4 AVC/H.264方式による色差予測画像のうち、適したほうを選択することができるので、よりイントラ予測の確度を向上させることができるようになる。
【0072】
なお、上述したイントラ予測装置3,4として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、イントラ予測装置3,4の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
【0073】
[復号装置]
次に、上述したイントラ予測装置3又は4を備える復号装置について説明する。図7は、本発明の一実施例の復号装置の構成を示すブロック図であり、ここではMPEG−4 AVC/H.264方式の復号装置にイントラ予測装置3又は4を適用した例を示している。図7に示すように、復号装置40は、可変長復号部41と、逆量子化部42と、逆直交変換部43と、加算部44と、メモリ45と、イントラ予測装置3,4と、動き補償部46と、切替えスイッチ47とを備える。復号装置40は、所定の単位ブロック(例えば、マクロブロック)ごとに、輝度信号について復号を行った後に、色差信号について復号を行う。よって、以下に説明する復号装置40の各処理ブロックは、輝度信号について処理した後に、色差信号について処理する点に留意されたい。
【0074】
可変長復号部41は、符号化された直交変換係数に対して可変長復号処理を施して逆量子化部42に出力し、符号化された予測モードに対して可変長復号処理を施してイントラ予測装置3,4に出力し、符号化された動きベクトルに対して可変長復号処理を施し、動き補償部46に出力する。
【0075】
逆量子化部42は、可変長復号部41から入力される量子化された直交変換係数に対して逆量子化処理を施し、得られる差分画像の直交変換係数を逆直交変換部43に出力する。
【0076】
逆直交変換部43は、逆量子化部42から入力される差分画像の直交変換係数に対して、逆直交変換(例えば、IDCT)を施し、得られる差分画像を加算部44に出力する。
【0077】
加算部44は、逆直交変換部43から得られる差分画像と、切替えスイッチ47を介してイントラ予測装置3,4又は動き補償部46から入力される予測画像とを加算し、復号画像をメモリ45及び外部に出力する。メモリ45には、輝度信号のあるブロックを復号する際には、輝度信号の一つ前のブロックまでの復号画像が記憶されている。また、色差信号のあるブロックを復号する際には、色差信号の一つ前のブロックまでの復号画像、及び同一フレームの輝度信号の復号画像が記憶されている。
【0078】
イントラ予測装置3,4は、メモリ45に記憶された復号画像を入力し、可変長復号部41から入力される予測モードに基づいて輝度信号のイントラ予測画像を生成した後に、色差信号のイントラ予測画像を生成する。生成されたイントラ予測画像は、切替えスイッチ47を介して加算部44に出力される。
【0079】
動き補償部46は、メモリ45に記憶された復号フレーム画像を参照し、可変長復号部41から得られる動きベクトルを用いてインター予測画像を生成し、生成したインター予測画像を切替えスイッチ47を介して加算部44に出力する。
【0080】
切替えスイッチ47は、イントラ予測装置3,4から入力されるイントラ予測画像と、動き補償部46から入力されるインター予測画像とを切替えて加算部44に出力する。
【0081】
このように、復号装置40はイントラ予測装置3又は4を備えるため、イントラ予測の確度を向上させることができ、それに伴い復号画像の画質を向上させことができるようになる。
【0082】
なお、上述した復号装置40として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、復号装置40の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
【0083】
上述の実施例は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【0084】
例えば、上述の実施例では、プライマリコンポーネント信号が輝度信号であり、セカンダリコンポーネント信号が色差信号である場合を例に説明したが、入力される映像信号がRGB信号である場合には、プライマリコンポーネント信号をG信号とし、セカンダリコンポーネント信号をR信号及びB信号として、同様に予測式を用いてG信号からR信号及びB信号のイントラ予測を行うことができる。また、入力される映像がマルチスペクトル信号のように多数のコンポーネント信号からなる場合でも、同様に予測式を用いてプライマリコンポーネント信号からセカンダリコンポーネント信号のイントラ予測を行うことができる。
【0085】
また、上述の実施例ではプライマリコンポーネント信号がセカンダリコンポーネント信号より解像度が高い(画素数が多い)場合を例にしたためダウンサンプリング部12を備えたが、プライマリコンポーネント信号がセカンダリコンポーネント信号より解像度が低い(画素数が少ない)場合はダウンサンプリング部12の代わりにアップサンプル部を備えることで、同様に予測式を用いてプライマリコンポーネント信号からセカンダリコンポーネント信号のイントラ予測を行うことができる。
【産業上の利用可能性】
【0086】
このように、本発明によれば、イントラ予測確度の確度を向上させることが可能となるので、映像信号をイントラ予測して符号化又は復号する任意の用途に有用である。
【符号の説明】
【0087】
1,2 符号化側のイントラ予測装置
3,4 復号側のイントラ予測装置
10 輝度予測画像生成部(プライマリ予測画像生成部)
11 参照画素選択部
12 ダウンサンプリング部
13 メモリ
14 係数導出部
15 第1色差予測画像生成部(第1セカンダリ予測画像生成部)
16 第2色差予測画像生成部(第2セカンダリ予測画像生成部)
17 色差予測画像選択部
20 符号化装置
21 減算部
22 直交変換部
23 量子化部
24,42 逆量子化部
25,43 逆直交変換部
26,44 加算部
27,45 メモリ
28,46 動き補償部
29,47 切替えスイッチ
30 可変長符号化部
40 復号装置
41 可変長復号部

【特許請求の範囲】
【請求項1】
プライマリコンポーネント信号と、その他の1以上のコンポーネント信号からなるセカンダリコンポーネント信号とを有する映像信号について、符号化済みのプライマリコンポーネント信号及び係数で表される予測式を用いて、セカンダリコンポーネント信号のイントラ予測を行うイントラ予測装置であって、
予め定められた複数のイントラ予測モードから決定されたプライマリ予測モードに基づいてプライマリコンポーネント信号の予測画像を生成するプライマリ予測画像生成部と、
前記プライマリ予測モードが示す予測方向に応じて、前記予測式の係数導出に用いる参照画素の位置を決定し、該参照画素の位置を示す参照画素位置情報を生成する参照画素選択部と、
前記参照画素位置情報が示す、前記プライマコンポーネント信号の画素及び前記セカンダリコンポーネント信号の画素から、前記予測式の係数を導出する係数導出部と、
前記係数導出部により導出された係数を代入した予測式を用いて前記セカンダリコンポーネント信号のイントラ予測を行い、セカンダリコンポーネント信号の予測画像を生成する第1セカンダリ予測画像生成部と、
を備えることを特徴とするイントラ予測装置。
【請求項2】
前記参照画素選択部は、
前記プライマリ予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、0度を含む範囲である、第1の角度以上第2の角度未満である場合には、前記参照画素の位置を、予測対象ブロックの上側に隣接する一行の画素とし、
前記プライマリ予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、45度を含む範囲である、前記第2の角度以上第3の角度未満である場合には、前記参照画素の位置を、前記一行の画素の一部、及び、予測対象ブロックの左側に隣接する一列の画素の一部とし、
前記プライマリ予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、90度を含む範囲である、前記第3の角度以上第4の角度未満である場合には、前記参照画素の位置を、前記一列の画素とする
ことを特徴とする、請求項1に記載のイントラ予測装置。
【請求項3】
予め定められた複数のイントラ予測モードから決定されたセカンダリ予測モードに基づいてセカンダリコンポーネント信号の予測画像を生成する第2セカンダリ予測画像生成部と、
前記第1セカンダリ予測画像生成部により生成されたセカンダリコンポーネント信号の予測画像、及び前記第2セカンダリ予測画像生成部により生成されたセカンダリコンポーネント信号の予測画像のうち、いずれか一方を選択して出力するセカンダリ予測画像選択部と、
を更に備えることを特徴とする、請求項1又は2に記載のイントラ予測装置。
【請求項4】
請求項1から3のいずれか一項に記載のイントラ予測装置を備えることを特徴とする符号化装置。
【請求項5】
請求項1から3のいずれか一項に記載のイントラ予測装置を備えることを特徴とする復号装置。
【請求項6】
コンピュータを、請求項1から3のいずれか一項に記載のイントラ予測装置として機能させるためのイントラ予測プログラム。
【請求項7】
コンピュータを、請求項4に記載の符号化装置として機能させるための符号化プログラム。
【請求項8】
コンピュータを、請求項5に記載の復号装置として機能させるための復号プログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−90015(P2013−90015A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−226230(P2011−226230)
【出願日】平成23年10月13日(2011.10.13)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】