画像処理装置及び画像処理方法
【課題】動的に構築される予測関数に基づくイントラ予測が行われる場合に、予測関数の構築に要する処理コストの増加を回避し又は緩和すること。
【解決手段】復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、を備える画像処理装置を提供する。
【解決手段】復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、を備える画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
従来、デジタル画像を効率的に伝送し又は蓄積することを目的とし、画像に特有の冗長性を利用して、例えば離散コサイン変換などの直交変換と動き補償とにより画像の情報量を圧縮する圧縮技術が普及している。例えば、ITU−Tの策定したH.26x標準又はMPEG(Moving Picture Experts Group)の策定したMPEG−y標準などの標準技術に準拠した画像符号化装置及び画像復号装置は、放送局による画像の蓄積及び配信、並びに一般ユーザによる画像の受信及び蓄積など、様々な場面で広く利用されている。
【0003】
H.26x標準(ITU-T Q6/16 VCEG)は、当初、テレビ電話又はテレビ会議などの通信の用途に適合する符号化を目的として策定された標準規格である。H.26x標準は、MPEG−y標準と比較して、符号化及び復号により多くの演算量を要する一方、より高い圧縮率を実現できることが知られている。また、MPEG4の活動の一環としてのJoint Model of Enhanced-Compression Video Codingでは、H.26x標準をベースとしながら新たな機能をも取り入れることで、より高い圧縮率を実現可能な標準規格が策定された。この標準規格は、2003年3月に、H.264及びMPEG−4 Part10(Advanced Video Coding;AVC)という名称で国際標準となった。
【0004】
上述した画像符号化方式において重要な技術の1つは、画面内予測、即ちイントラ予測である。イントラ予測は、画像内の隣り合うブロック間の相関を利用し、あるブロック内の画素値を隣り合う他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。MPEG4以前の画像符号化方式では、直交変換係数の直流成分及び低周波成分のみがイントラ予測の対象とされていたが、H.264/AVCでは、全ての画素値についてイントラ予測が可能となった。イントラ予測を用いることで、例えば青空の画像のように、画素値の変化の緩やかな画像については、圧縮率の大幅な向上が見込まれる。
【0005】
H.264/AVCでは、例えば、4×4画素、8×8画素又は16×16画素のブロックを1つの処理単位(即ち、予測単位(Prediction Unit:PU))として、イントラ予測が行われ得る。また、H.264/AVCに続く次世代の画像符号化方式として標準化が進められているHEVC(High Efficiency Video Coding)では、予測単位のサイズは、32×32画素及び64×64画素にまで拡張されようとしている(下記非特許文献1参照)。
【0006】
イントラ予測に際しては、通常、予測対象のブロックの画素値を予測するために最適な予測モードが、複数の予測モードから選択される。予測モードは、典型的には、参照画素から予測対象画素への予測方向によって区別され得る。例えば、H.264/AVCにおいて、色差成分の予測に際しては、平均値予測、水平予測、垂直予測及び平面予測という4つの予測モードが選択可能である。さらに、HEVCでは、動的に構築される輝度成分の線型関数を予測関数として用いて色差成分の画素値を予測する、線型モデル(LM:Linear Model)モードと呼ばれる追加的な予測モードが採用される見込みである(下記非特許文献2参照)。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】Sung-Chang Lim, Hahyun Lee, et al. “Intra coding using extended block size”(VCEG-AL28,2009年7月)
【非特許文献2】Jianle Chen, et al. “CE6.a.4: Chroma intra prediction by reconstructed luma samples”(JCTVC-E266,2011年3月)
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、上記非特許文献2に記載されている手法では、LMモードの予測関数を構築するために要する処理コストが、参照画素が多くなるに従って増加する。そのため、予測単位のサイズが最大で64×64画素にまで拡張されるHEVCでは、LMモードの採用により増加する処理コストが、符号化及び復号のパフォーマンスを低下させる恐れがある。
【0009】
従って、LMモードのように、動的に構築される予測関数に基づくイントラ予測が行われる場合に、予測関数の構築に要する処理コストの増加を回避し又は緩和することのできる手法が提供されることが望ましい。
【課題を解決するための手段】
【0010】
本開示によれば、復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、を備える画像処理装置が提供される。
【0011】
上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。
【0012】
また、本開示によれば、復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、を含む画像処理方法が提供される。
【0013】
また、本開示によれば、符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、を備える画像処理装置が提供される。
【0014】
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。
【0015】
また、本開示によれば、符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、を含む画像処理方法が提供される。
【0016】
また、本開示によれば、復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行う予測部と、前記予測部によりイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第1の比率で間引く間引き部と、を備える画像処理装置が提供される。
【0017】
上記画像処理装置は、画像を符号化する画像符号化装置として実現されてもよく、画像を復号する画像復号装置として実現されてもよい。
【0018】
また、本開示によれば、復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行うことと、前記色差成分のイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第1の比率で間引くことと、を含む画像処理方法が提供される。
【発明の効果】
【0019】
本開示に係る技術によれば、動的に構築される予測関数に基づくイントラ予測が行われる場合に、予測関数の構築に要する処理コストの増加を回避し又は緩和することができる。
【図面の簡単な説明】
【0020】
【図1】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図2】一実施形態に係る画像符号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図3】4×4画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図4】図3の例に関連する予測方向について説明するための説明図である。
【図5】図3の例に関連する参照画素について説明するための説明図である。
【図6】8×8画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図7】16×16画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図8】色差成分についての予測モードの候補の例を説明するための説明図である。
【図9A】LMモードにおける参照画素について説明するための第1の説明図である。
【図9B】LMモードにおける参照画素について説明するための第2の説明図である。
【図10】第1のシナリオにおける参照比の定義の一例を示す説明図である。
【図11A】第1のシナリオに従って制御される参照画素数の第1の例を示す説明図である。
【図11B】第1のシナリオに従って制御される参照画素数の第2の例を示す説明図である。
【図12】第2のシナリオにおける参照比の定義の一例を示す説明図である。
【図13A】第2のシナリオに従って制御される参照画素数の第1の例を示す説明図である。
【図13B】第2のシナリオに従って制御される参照画素数の第2の例を示す説明図である。
【図13C】第2のシナリオに従って制御される参照画素数の第3の例を示す説明図である。
【図13D】第2のシナリオに従って制御される参照画素数の第4の例を示す説明図である。
【図14】第3のシナリオにおける参照比の定義の一例を示す説明図である。
【図15A】第3のシナリオに従って制御される参照画素数の第1の例を示す説明図である。
【図15B】第3のシナリオに従って制御される参照画素数の第2の例を示す説明図である。
【図16】第4のシナリオにおける参照比の定義の一例を示す説明図である。
【図17A】第4のシナリオに従って制御される参照画素数の第1の例を示す説明図である。
【図17B】第4のシナリオに従って制御される参照画素数の第2の例を示す説明図である。
【図18A】第5のシナリオに従って制御される参照画素数の第1の例を示す説明図である。
【図18B】第5のシナリオに従って制御される参照画素数の第2の例を示す説明図である。
【図19】一実施形態に係る符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【図20】図19のLMモード予測処理の詳細な流れの一例を示すフローチャートである。
【図21】一実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図22】一実施形態に係る画像復号装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図23】一実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【図24】輝度成分のリサンプリング後の画素値を保持するメモリのサイズについて説明するための説明図である。
【図25】第1の変形例に係る間引き処理の一例について説明するための説明図である。
【図26A】図25の例とは異なる間引き率について説明するための第1の説明図である。
【図26B】図25の例とは異なる間引き率について説明するための第2の説明図である。
【図26C】図25の例とは異なる間引き率について説明するための第3の説明図である。
【図27A】参照画素の間引き位置と輝度成分の間引き位置との対応の第1の例について説明するための説明図である。
【図27B】参照画素の間引き位置と輝度成分の間引き位置との対応の第2の例について説明するための説明図である。
【図28】第2の変形例において採用される新たな処理の順序について説明するための説明図である。
【図29】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図30】携帯電話機の概略的な構成の一例を示すブロック図である。
【図31】記録再生装置の概略的な構成の一例を示すブロック図である。
【図32】撮像装置の概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【0021】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0022】
また、以下の順序で説明を行う。
1.一実施形態に係る画像符号化装置の構成例
2.一実施形態に係る符号化時の処理の流れ
3.一実施形態に係る画像復号装置の構成例
4.一実施形態に係る復号時の処理の流れ
5.変形例
6.応用例
7.まとめ
【0023】
<1.一実施形態に係る画像符号化装置の構成例>
[1−1.全体的な構成例]
図1は、一実施形態に係る画像符号化装置10の構成の一例を示すブロック図である。図1を参照すると、画像符号化装置10は、A/D(Analogue to Digital)変換部11、並べ替えバッファ12、減算部13、直交変換部14、量子化部15、可逆符号化部16、蓄積バッファ17、レート制御部18、逆量子化部21、逆直交変換部22、加算部23、デブロックフィルタ24、フレームメモリ25、セレクタ26及び27、動き探索部30、並びにイントラ予測部40を備える。
【0024】
A/D変換部11は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ12へ出力する。
【0025】
並べ替えバッファ12は、A/D変換部11から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ12は、符号化処理に係るGOP(Group of Pictures)構造に応じて画像を並べ替えた後、並べ替え後の画像データを減算部13、動き探索部30及びイントラ予測部40へ出力する。
【0026】
減算部13には、並べ替えバッファ12から入力される画像データ、及び後に説明する動き探索部30又はイントラ予測部40から入力される予測画像データが供給される。減算部13は、並べ替えバッファ12から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部14へ出力する。
【0027】
直交変換部14は、減算部13から入力される予測誤差データについて直交変換を行う。直交変換部14により実行される直交変換は、例えば、離散コサイン変換(Discrete Cosine Transform:DCT)又はカルーネン・レーベ変換などであってよい。直交変換部14は、直交変換処理により取得される変換係数データを量子化部15へ出力する。
【0028】
量子化部15には、直交変換部14から入力される変換係数データ、及び後に説明するレート制御部18からのレート制御信号が供給される。量子化部15は、変換係数データを量子化し、量子化後の変換係数データ(以下、量子化データという)を可逆符号化部16及び逆量子化部21へ出力する。また、量子化部15は、レート制御部18からのレート制御信号に基づいて量子化パラメータ(量子化スケール)を切り替えることにより、可逆符号化部16に入力される量子化データのビットレートを変化させる。
【0029】
可逆符号化部16は、量子化部15から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部16による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部16は、セレクタ27から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部16は、生成した符号化ストリームを蓄積バッファ17へ出力する。
【0030】
蓄積バッファ17は、可逆符号化部16から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ17は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部(例えば、通信インタフェース又は周辺機器との接続インタフェースなど)へ出力する。
【0031】
レート制御部18は、蓄積バッファ17の空き容量を監視する。そして、レート制御部18は、蓄積バッファ17の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部15へ出力する。例えば、レート制御部18は、蓄積バッファ17の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部18は、蓄積バッファ17の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【0032】
逆量子化部21は、量子化部15から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部21は、逆量子化処理により取得される変換係数データを、逆直交変換部22へ出力する。
【0033】
逆直交変換部22は、逆量子化部21から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部22は、復元した予測誤差データを加算部23へ出力する。
【0034】
加算部23は、逆直交変換部22から入力される復元された予測誤差データと動き探索部30又はイントラ予測部40から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部23は、生成した復号画像データをデブロックフィルタ24及びフレームメモリ25へ出力する。
【0035】
デブロックフィルタ24は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ24は、加算部23から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ25へ出力する。
【0036】
フレームメモリ25は、加算部23から入力される復号画像データ、及びデブロックフィルタ24から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【0037】
セレクタ26は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ25から読み出し、読み出した復号画像データを参照画像データとして動き探索部30に供給する。また、セレクタ26は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ25から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部40に供給する。
【0038】
セレクタ27は、インター予測モードにおいて、動き探索部30から出力されるインター予測の結果としての予測画像データを減算部13へ出力すると共に、インター予測に関する情報を可逆符号化部16へ出力する。また、セレクタ27は、イントラ予測モードにおいて、イントラ予測部40から出力されるイントラ予測の結果としての予測画像データを減算部13へ出力すると共に、イントラ予測に関する情報を可逆符号化部16へ出力する。セレクタ27は、インター予測モードとイントラ予測モードとを、動き探索部30及びイントラ予測部40から出力されるコスト関数値の大きさに応じて切り替える。
【0039】
動き探索部30は、並べ替えバッファ12から入力される符号化対象の画像データ(原画像データ)、及びセレクタ26を介して供給される復号画像データに基づいて、インター予測処理(フレーム間予測処理)を行う。例えば、動き探索部30は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部30は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部30は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部30は、選択した最適な予測モードを表す予測モード情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ27へ出力する。
【0040】
イントラ予測部40は、並べ替えバッファ12から入力される原画像データ、及びフレームメモリ25から供給される参照画像データとしての復号画像データに基づいて、画像内に設定されるブロックごとにイントラ予測処理を行う。そして、イントラ予測部40は、最適な予測モードを表す予測モード情報及びサイズ関連情報を含むイントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ27へ出力する。イントラ予測部40により選択可能な予測モードは、既存のイントラ予測モードに加えて、色差成分についての線型モデル(LM)モードを含む。本実施形態におけるLMモードは、上記非特許文献2に記載されているLMモードとは異なり、ブロックサイズに対する参照画素数の比率が変化し得るという特徴を有する。このようなイントラ予測部40によるイントラ予測処理について、後により詳細に説明する。
【0041】
[1−2.イントラ予測部の構成例]
図2は、図1に示した画像符号化装置10のイントラ予測部40の詳細な構成の一例を示すブロック図である。図2を参照すると、イントラ予測部40は、予測制御部42、係数算出部44、予測部46及びモード判定部48を有する。
【0042】
予測制御部42は、イントラ予測部40におけるイントラ予測処理を制御する。例えば、予測制御部42は、符号化単位(CU:Coding Unit)ごとに、輝度成分(Y)についてのイントラ予測処理を実行した後、色差成分(Cb、Cr)についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部42は、複数の予測モードで予測部46に各画素の予測画素値を生成させ、モード判定部48に輝度成分の最適な予測モードを判定させる。その結果、符号化単位内の予測単位の配置も決定される。色差成分についてのイントラ予測処理では、予測制御部42は、各予測単位について複数の予測モードで予測部46に各画素の予測画素値を生成させ、モード判定部48に色差成分の最適な予測モードを判定させる。
【0043】
輝度成分についての予測モードの候補は、H.264/AVCなどの既存の画像符号化方式において採用されている予測モードであってよく、他の予測モードを含んでもよい。色差成分についての予測モードの候補もまた、既存の画像符号化方式において採用されている予測モードを含み得る。さらに、色差成分についての予測モードの候補は、上述したLMモードを含む。上記非特許文献2に記載された手法では、LMモードの予測関数の係数を算出する際の参照画素数のブロックサイズに対する比率は一定である。従って、ブロックサイズが大きくなれば、それに応じて参照画素数は増大する。一方、本実施形態において、予測制御部42は、上記比率を可変的に制御する。ここでのブロックサイズとは、原則として予測単位のサイズをいう。本明細書では、予測制御部42により制御される上述した比率、即ちブロックサイズに対する参照画素数の比率を、「参照比」と呼ぶものとする。予測制御部42による参照比の制御は、典型的には、ブロックサイズに応じて行われ得る。さらに、予測制御部42は、予測単位に対応する色差成分のブロックサイズを左右するクロマフォーマットに応じて、参照比を制御してもよい。また、予測制御部42は、画像の符号化及び復号に関する装置のケイパビリティを定義付けるパラメータ(例えば、プロファイル又はレベル)に応じて、参照比を制御してもよい。予測制御部42による参照比の制御の複数のシナリオについて、後により詳細に説明する。
【0044】
係数算出部44は、LMモードにおいて予測部46により使用される予測関数の係数を、予測対象の画素が属する予測単位の周辺の画素、即ち参照画素を参照して算出する。予測部46により使用される予測関数は、典型的には、輝度成分の値の線型関数である。予測関数の係数の算出に際して係数算出部44により参照される参照画素の数は、上述したように、予測制御部42により制御される。
【0045】
予測部46は、予測制御部42による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、様々な予測モードの候補に従って予測する。予測部46により使用される予測モードの候補の例について、後により詳細に説明する。予測部46による予測の結果として生成される予測画像データは、予測モードごとにモード判定部48へ出力される。
【0046】
モード判定部48は、並べ替えバッファ12から入力される原画像データと予測部46から入力される予測画像データとに基づいて、各予測モードのコスト関数値を算出する。そして、モード判定部48は、算出したコスト関数値に基づき、輝度成分についての最適な予測モードと符号化単位内の予測単位の配置とを決定する。同様に、モード判定部48は、色差成分についてのコスト関数値に基づき、色差成分についての最適な予測モードを決定する。そして、モード判定部48は、決定した最適な予測モードを表す予測モード情報及びサイズ関連情報などを含むイントラ予測に関する情報、コスト関数値、並びに輝度成分及び色差成分の予測画素値を含む予測画像データを、セレクタ27へ出力する。モード判定部48から出力されるサイズ関連情報は、各予測単位のサイズを特定するための情報に加えて、クロマフォーマットを指定する情報を含んでもよい。
【0047】
[1−3.予測モードの候補]
次に、イントラ予測部40の予測部46により使用され得る予測モードの候補について説明する。
【0048】
(1)輝度成分についての予測モードの候補
輝度成分についての予測モードの候補は、H.264/AVCなどの既存の画像符号化方式において採用されている予測モードであってよい。図3〜図5は、予測単位のサイズが4×4画素である場合のそうした予測モードの候補について説明するための説明図である。
【0049】
図3を参照すると、4×4画素の予測単位において使用され得る9種類の予測モード(モード0〜モード8)が示されている。図4には、各モード番号にそれぞれ対応する予測方向が概略的に示されている。図5において、小文字のアルファベットa〜pは、4×4画素の予測単位内の各画素(即ち、予測対象画素)の画素値を表す。予測単位の周囲のRz(z=a,b,…,m)は、符号化済みの参照画素の画素値を表す。
【0050】
例えば、モード0における予測方向は垂直方向であり、各予測画素値は、次のように計算される:
a=e=i=m=Ra
b=f=j=n=Rb
c=g=k=o=Rc
d=h=l=p=Rd
【0051】
モード1における予測方向は水平方向であり、各予測画素値は、次のように計算される:
a=b=c=d=Ri
e=f=g=h=Rj
i=j=k=l=Rk
m=n=o=p=Rl
【0052】
モード2はDC予測(平均値予測)を表し、各予測画素値は、いずれの参照画素が利用可能かに応じて、次の4つの式のいずれかに従って計算される:
a=b=…=p=(Ra+Rb+Rc+Rd+Ri+Rj+Rk+Rl+4)>>3
a=b=…=p=(Ra+Rb+Rc+Rd+2)>>2
a=b=…=p=(Ri+Rj+Rk+Rl+2)>>2
a=b=…=p=128
【0053】
モード3における予測方向は斜め左下であり、各予測画素値は、次のように計算される:
a=(Ra+2Rb+Rc+2)>>2
b=e=(Rb+2Rc+Rd+2)>>2
c=f=i=(Rc+2Rd+Re+2)>>2
d=g=j=m=(Rd+2Re+Rf+2)>>2
h=k=n=(Re+2Rf+Rg+2)>>2
l=o=(Rf+2Rg+Rh+2)>>2
p=(Rg+3Rh+2)>>2
【0054】
モード4における予測方向は斜め右下であり、各予測画素値は、次のように計算される:
m=(Rj+2Rk+Rl+2)>>2
i=n=(Ri+2Rj+Rk+2)>>2
e=j=o=(Rm+2Ri+Rj+2)>>2
a=f=k=p=(Ra+2Rm+Ri+2)>>2
b=g=l=(Rm+2Ra+Rb+2)>>2
c=h=(Ra+2Rb+Rc+2)>>2
d=(Rb+2Rc+Rd+2)>>2
【0055】
モード5における予測方向は垂直右であり、各予測画素値は、次のように計算される:
a=j=(Rm+Ra+1)>>1
b=k=(Ra+Rb+1)>>1
c=l=(Rb+Rc+1)>>1
d=(Rc+Rd+1)>>1
e=n=(Ri+2Rm+Ra+2)>>2
f=o=(Rm+2Ra+Rb+2)>>2
g=p=(Ra+2Rb+Rc+2)>>2
h=(Rb+2Rc+Rd+2)>>2
i=(Rm+2Ri+Rj+2)>>2
m=(Ri+2Rj+Rk+2)>>2
【0056】
モード6における予測方向は水平下であり、各予測画素値は、次のように計算される:
a=g=(Rm+Ri+1)>>1
b=h=(Ri+2Rm+Ra+2)>>2
c=(Rm+2Ra+Rb+2)>>2
d=(Ra+2Rb+Rc+2)>>2
e=k=(Ri+Rj+1)>>1
f=l=(Rm+2Ri+Rj+2)>>2
i=o=(Rj+Rk+1)>>1
j=p=(Ri+2Rj+Rk+2)>>2
m=(Rk+Rl+1)>>1
n=(Rj+2Rk+Rl+2)>>2
【0057】
モード7における予測方向は垂直左であり、各予測画素値は、次のように計算される:
a=(Ra+Rb+1)>>1
b=i=(Rb+Rc+1)>>1
c=j=(Rc+Rd+1)>>1
d=k=(Rd+Re+1)>>1
l=(Re+Rf+1)>>1
e=(Ra+2Rb+Rc+2)>>2
f=m=(Rb+2Rc+Rd+2)>>2
g=n=(Rc+2Rd+Re+2)>>2
h=o=(Rd+2Re+Rf+2)>>2
p=(Re+2Rf+Rg+2)>>2
【0058】
モード8における予測方向は水平上であり、各予測画素値は、次のように計算される:
a=(Ri+Rj+1)>>1
b=(Ri+2Rj+Rk+2)>>2
c=e=(Rj+Rk+1)>>1
d=f=(Rj+2Rk+Rl+2)>>2
g=i=(Rk+Rl+1)>>1
h=j=(Rk+3Rl+2)>>2
k=l=m=n=o=p=Rl
【0059】
図6を参照すると、8×8画素の予測単位において使用され得る9種類の予測モード(モード0〜モード8)が示されている。モード0における予測方向は、垂直方向である。モード1における予測方向は、水平方向である。モード2は、DC予測(平均値予測)を表す。モード3における予測方向は、斜め左下である。モード4における予測方向は、斜め右下である。モード5における予測方向は、垂直右である。モード6における予測方向は、水平下である。モード7における予測方向は、垂直左である。モード8における予測方向は、水平上である。
【0060】
図7を参照すると、16×16画素の予測単位において使用され得る4種類の予測モード(モード0〜モード3)が示されている。モード0における予測方向は、垂直方向である。モード1における予測方向は、水平方向である。モード2は、DC予測(平均値予測)を表す。モード3は、平面予測を表す。
【0061】
(2)色差成分についての予測モードの候補
色差成分についての予測モードは、輝度成分についての予測モードとは独立して選択され得る。図8には、色差成分のブロックサイズが8×8画素である場合に使用され得る予測モードの候補のうち、H.264/AVCなどの既存の画像符号化方式において採用されている4つの予測モード(モード0〜モード3)が示されている。
【0062】
モード0はDC予測(平均値予測)を表す。ここで、画素位置(x,y)の予測画素値をPrC(x,y)、左の8つの参照画素値をReC(−1,n)、上の8つの参照画素値をReC(n,−1)とする。下付き文字のCは、色差成分を意味する。nは0以上7以下の整数である。すると、予測画素値PrC(x,y)は、いずれの参照画素が利用可能かに応じて、次の3つの式のいずれかに従って計算される:
【0063】
【数1】
【0064】
モード1における予測方向は水平方向であり、予測画素値PrC(x,y)は、次のように計算される:
【0065】
【数2】
【0066】
モード2における予測方向は垂直方向であり、予測画素値PrC(x,y)は、次のように計算される:
【0067】
【数3】
【0068】
モード3は、平面予測を表す。予測画素値PrC(x,y)は、次のように計算される:
【0069】
【数4】
【0070】
さらに、本実施形態では、色差成分について、次項で説明するLMモードが(例えばモード4として)選択可能である。
【0071】
[1−4.LMモードの詳細]
LMモードでは、色差成分についての予測画素値は、対応する輝度成分の値の線型関数を用いて計算される。例えば、LMモードにおいて使用される予測関数は、上記非特許文献2に記載されている次のような線型一次関数であってよい:
【0072】
【数5】
【0073】
式(1)において、ReL´(x,y)は、復号画像(いわゆるリコンストラクト画像)の輝度成分のリサンプリング後の画素位置(x,y)の値を表す。画像の符号化の際には、復号画像の代わりに原画像が用いられる。輝度成分のリサンプリングは、クロマフォーマットに依存して色差成分の解像度が輝度成分の解像度と異なる場合に行われる。例えば、クロマフォーマットが4:2:0である場合には、水平方向及び垂直方向の双方について画素数が1/2となるように、次式に従って輝度成分のリサンプリングが行われる。なお、ReL(u,v)は、リサンプリング前の画素位置(u,v)の輝度成分の値を表す。
【0074】
【数6】
【0075】
クロマフォーマットが4:2:2である場合には、水平方向について画素数が1/2となるように、輝度成分のリサンプリングが行われる。クロマフォーマットが4:4:4である場合には、輝度成分のリサンプリングは行われない。
【0076】
式(1)の係数αは、次の式(3)に従って算出される。また、式(1)の係数βは、次の式(4)に従って算出され得る。
【0077】
【数7】
【0078】
式(3)及び式(4)において、Iは参照画素数を表す。例えば、色差成分のブロックサイズが8×8画素であって、左の8つの参照画素及び上の8つの参照画素が共に利用可能であれば、I=8+8=16である。
【0079】
上述した式(1)〜式(4)は、上記非特許文献2に記載されている式と同様である。図9A及び図9Bは、このような線型モデルにおける参照画素についてさらに説明するための説明図である。
【0080】
図9Aの例において、予測単位(PU)のサイズは16×16画素、クロマフォーマットは4:2:0である。この場合、色差成分のブロックサイズは8×8画素である。色差成分の参照画素ReC(i)の数は、(左及び上の双方の参照画素が利用可能であるとして)8+8=16である。輝度成分の参照画素ReL´(i)の数もまた、リサンプリングの結果として8+8=16である。
【0081】
図9Bの例において、予測単位(PU)のサイズは8×8画素、クロマフォーマットは4:2:0である。この場合、色差成分のブロックサイズは4×4画素である。色差成分の参照画素ReC(i)の数は、4+4=8である。輝度成分の参照画素ReL´(i)の数もまた、リサンプリングの結果として4+4=8である。
【0082】
図9A及び図9Bの2つの例を比較すると、クロマフォーマットなどの他の条件が同じであるとすれば、ブロックサイズに対する参照画素数の比率は変わっていない。即ち、図9Aの例では予測単位の一辺のサイズが16画素であって参照画素数Iが16であるのに対し、図9Bの例では予測単位の一辺のサイズが8画素であって参照画素数Iが8である。このように、ブロックサイズが大きくなるにつれて参照画素数Iが増えれば、上記式(3)及び式(4)を用いた係数α及び係数βの算出に要する処理コストも増加する。特に式(3)に着目すれば理解されるように、画素値の乗算の回数は、参照画素数Iの二乗のオーダで増加する。従って、係数α及び係数βの算出に際して参照画素数を適切に制御しなければ、ブロックサイズが大きい場合に符号化及び復号のパフォーマンスが低下してしまう可能性が高い。
【0083】
そこで、予測制御部42は、係数算出部44がLMモードにおいて予測関数の係数α及び係数βを算出する際の参照画素数を、次項で説明するように可変的に制御する。
【0084】
[1−5.参照画素数の制御]
典型的には、予測制御部42は、ブロックサイズに対する参照画素数の比率である参照比を、ブロックサイズがより大きいほどより小さくなるように制御する。それにより、ブロックサイズが拡大する場合の処理コストの増加が抑制される。予測制御部42は、処理コストが問題とならない程度にブロックサイズが小さい場合には、ブロックサイズが異なっても参照比を変化させなくてもよい。以下、図10〜図18Bを用いて、参照比の制御の例示的な5つのシナリオについて説明する。
【0085】
(1)第1のシナリオ
図10は、第1のシナリオにおける参照比の定義の一例を示す説明図である。
【0086】
第1のシナリオにおいて、予測単位(PU)のサイズが4×4画素である場合には、参照比は「1:1」である。参照比「1:1」は、図9A又は図9Bに示したような参照画素が全て使用されることを意味する。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、2(垂直方向Iv)+2(水平方向Ih)=4となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、4+2=6となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、4+4=8となる。
【0087】
同様に、予測単位のサイズが8×8画素である場合にも、参照比は「1:1」である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、4+4=8となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、8+4=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、8+8=16となる。
【0088】
これに対し、予測単位のサイズが16×16画素である場合には、参照比は「2:1」である。参照比「2:1」は、図9A又は図9Bに示したような参照画素のうち半分の参照画素のみが使用されることを意味する。即ち、係数算出部44は、係数α及び係数βの算出の際に、半分の参照画素を間引いた上で、残りの参照画素のみを使用する。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、(8/2)+(8/2)=8となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、(16/2)+(8/2)=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、(16/2)+(16/2)=16となる。
【0089】
図11Aに、PUサイズが16×16画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図11Aの例では、色差成分の参照画素及び輝度成分の参照画素が、それぞれ1つおきに間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0090】
さらに、予測単位のサイズが32×32画素である場合には、参照比は「4:1」である。参照比「4:1」は、図9A又は図9Bに示したような参照画素のうち4分の1の参照画素のみが使用されることを意味する。即ち、係数算出部44は、係数α及び係数βの算出の際に、4分の3の参照画素を間引いた上で、残りの参照画素のみを使用する。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、(16/4)+(16/4)=8となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、(32/4)+(16/4)=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、(32/4)+(32/4)=16となる。
【0091】
図11Bに、PUサイズが32×32画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図11Bの例では、色差成分の参照画素及び輝度成分の参照画素が、それぞれ、連続する4つにつき3つずつ間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0092】
第1のシナリオのようなブロックサイズと参照比との間のマッピングによれば、ブロックサイズが8×8画素以上である場合には、クロマフォーマットが同一である限り参照画素数Iは一定となる。従って、ブロックサイズが拡大する場合の処理コストの増加が抑制される。また、このようにブロックサイズが所定のサイズを上回る場合に参照画素数が一定となるように参照比を制御することにより、係数算出部44における係数算出処理を小規模の共通的な回路又はロジックを用いて行うことが可能となる。それにより、回路規模又はロジックの規模の増大をも抑制することができる。
【0093】
また、ブロックサイズが所定のサイズを下回る場合に間引かれる参照画素の数をゼロとすることで、参照画素数が不足することによるLMモードの予測精度の低下が防がれる。特に、画像の内容が複雑である(即ち画素値の空間的な変動が激しい)ことに起因してイントラ予測が比較的困難な場合には、より小さい予測単位が画像内に設定されやすい。そうした場合に十分な参照画素数を確保することで、LMモードの予測精度の低下を防ぐことができる。
【0094】
なお、ここでは、係数算出部44による係数の算出の際に間引かれる参照画素の数が参照比に応じて変化する、というように説明した。即ち、係数算出部44は、LMモードでのイントラ予測が行われる際に参照される参照画素を、予測対象のブロックサイズに応じた参照比で間引く間引き部としての役割をも有する。後に説明する画像復号装置60の係数算出部94についても同様である。しかしながら、参照画素数は、参照画素を間引く代わりに、複数の参照画素値から1つの代表値を導くことにより可変的に制御されてもよい。例えば、参照比が「4:1」であれば、連続する4つの参照画素の画素値の平均値又は中央値が1つの代表値として用いられてもよい。これは、本明細書で説明する他のシナリオにおいても同様である。参照画素を間引く処理は実装が極めて容易である一方、上述した代表値を使用すれば予測精度を向上させることができる。
【0095】
(2)第2のシナリオ
図12は、第2のシナリオにおける参照比の定義の一例を示す説明図である。第2のシナリオでは、予測制御部42は、予測単位のサイズに加えてクロマフォーマットに応じて、参照比を制御する。また、予測制御部42は、垂直方向のサイズに対する左の参照画素数の比率である第1の参照比と、水平方向のサイズに対する上の参照画素数の比率である第2の参照比とを別々に制御する。
【0096】
第2のシナリオにおいて、予測単位のサイズが4×4画素、クロマフォーマットが4:2:0である場合には、垂直方向の参照比及び水平方向の参照比は共に「1:1」である。この場合、参照画素は間引かれず、参照画素数Iは、2+2=4となる。予測単位のサイズが4×4画素、クロマフォーマットが4:2:2である場合には、垂直方向の参照比は「2:1」、水平方向の参照比は「1:1」である。この場合、垂直方向の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Iは、(4/2)+2=4となる。予測単位のサイズが4×4画素、クロマフォーマットが4:4:4である場合には、垂直方向の参照比及び水平方向の参照比は共に「2:1」である。この場合、垂直方向及び水平方向の双方の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Iは、(4/2)+(4/2)=4となる。
【0097】
予測単位のサイズが8×8画素、クロマフォーマットが4:2:0である場合には、垂直方向の参照比及び水平方向の参照比は共に「1:1」である。この場合、参照画素は間引かれず、参照画素数Iは、4+4=8となる。予測単位のサイズが8×8画素、クロマフォーマットが4:2:2である場合には、垂直方向の参照比は「2:1」、水平方向の参照比は「1:1」である。この場合、垂直方向の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Iは、(8/2)+4=8となる。予測単位のサイズが8×8画素、クロマフォーマットが4:4:4である場合には、垂直方向の参照比及び水平方向の参照比は共に「2:1」である。この場合、垂直方向及び水平方向の双方の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Iは、(8/2)+(8/2)=8となる。
【0098】
図13Aに、PUサイズが8×8画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図13Aの例では、色差成分の参照画素及び輝度成分の参照画素は、共に間引かれていない。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0099】
また、図13Bに、PUサイズが8×8画素、クロマフォーマットが4:2:2である場合の参照画素の設定の一例を示している。図13Bの例では、色差成分及び輝度成分の垂直方向の参照画素が1つおきに間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0100】
さらに、図13Cに、PUサイズが8×8画素、クロマフォーマットが4:4:4である場合の参照画素の設定の一例を示している。図13Cの例では、色差成分及び輝度成分の垂直方向及び水平方向の参照画素が1つおきに間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0101】
予測単位のサイズが16×16画素、クロマフォーマットが4:2:0である場合には、垂直方向の参照比及び水平方向の参照比は共に「2:1」である。この場合、参照画素数Iは、(8/2)+(8/2)=8となる。予測単位のサイズが16×16画素、クロマフォーマットが4:2:2である場合には、垂直方向の参照比は「4:1」、水平方向の参照比は「2:1」である。この場合、参照画素数Iは、(16/4)+(8/2)=8となる。予測単位のサイズが16×16画素、クロマフォーマットが4:4:4である場合には、垂直方向の参照比及び水平方向の参照比は共に「4:1」である。この場合、参照画素数Iは、(16/4)+(16/4)=8となる。
【0102】
図13Dに、PUサイズが16×16画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図13Dの例では、色差成分及び輝度成分の垂直方向及び水平方向の参照画素が1つおきに間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0103】
予測単位のサイズが32×32画素、クロマフォーマットが4:2:0である場合には、垂直方向の参照比及び水平方向の参照比は共に「4:1」である。この場合、参照画素数Iは、(16/4)+(16/4)=8となる。予測単位のサイズが32×32画素、クロマフォーマットが4:2:2である場合には、垂直方向の参照比は「8:1」、水平方向の参照比は「4:1」である。この場合、参照画素数Iは、(32/8)+(16/4)=8となる。予測単位のサイズが32×32画素、クロマフォーマットが4:4:4である場合には、垂直方向の参照比及び水平方向の参照比は共に「8:1」である。この場合、参照画素数Iは、(32/8)+(32/8)=8となる。
【0104】
上述した説明から理解されるように、第2のシナリオでは、予測制御部42は、クロマフォーマットにより表される色差成分の解像度がより高いほど参照比がより小さくなるように、参照比を制御する。それにより、色差成分のブロックサイズの拡大に伴う処理コストの増加が抑制される。また、第2のシナリオでは、予測制御部42は、クロマフォーマットが4:2:2である場合に、ブロックの左の参照画素数がブロックの上の参照画素数と等しくなるように、垂直方向の参照比と水平方向の参照比とを別々に制御する。それにより、クロマフォーマットが互いに異なる複数のケースで参照画素数を同一にすることが可能となる。結果として、係数算出部44における係数算出処理をクロマフォーマットによらず共通的な回路又はロジックを用いて行うことが可能となる。従って、第2のシナリオによれば、回路又はロジックの効率的な実装が促進される。
【0105】
(3)第3のシナリオ
図14は、第3のシナリオにおける参照比の定義の一例を示す説明図である。第3のシナリオにおいても、予測制御部42は、垂直方向のサイズに対する左の参照画素数の比率である第1の参照比と、水平方向のサイズに対する上の参照画素数の比率である第2の参照比とを別々に制御する。また、第3のシナリオでは、予測制御部42は、同じブロックサイズについて垂直方向の参照比が水平方向の参照比以下となるように、これら参照比を制御する。
【0106】
第3のシナリオにおいて、予測単位のサイズが4×4画素である場合には、垂直方向及び水平方向の参照比は、共に「1:1」である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、2+2=4となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、4+2=6となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、4+4=8となる。
【0107】
予測単位のサイズが8×8画素である場合には、垂直方向の参照比は「2:1」、水平方向の参照比は「1:1」である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、(4/2)+4=6となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、(8/2)+4=8となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、(8/2)+8=12となる。
【0108】
図15Aに、PUサイズが8×8画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図15Aの例では、色差成分の参照画素及び輝度成分の参照画素のうち、垂直方向の下半分の参照画素が間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に6つとなっている。
【0109】
予測単位のサイズが16×16画素である場合には、垂直方向の参照比は「4:1」、水平方向の参照比は「1:1」である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、(8/4)+8=10となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、(16/4)+8=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、(16/4)+16=20となる。
【0110】
図15Bに、PUサイズが16×16画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図15Bの例では、色差成分の参照画素及び輝度成分の参照画素のうち、垂直方向の下側4分の3の参照画素が間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に10個となっている。
【0111】
予測単位のサイズが32×32画素である場合には、垂直方向の参照比は「8:1」、水平方向の参照比は「2:1」である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、(16/8)+(16/2)=10となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、(32/8)+(16/2)=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、(32/8)+(32/2)=20となる。
【0112】
画像を符号化又は復号する装置において、参照画素値は、多くの場合フレームメモリ又はラインメモリに格納され、水平方向のライン単位でアクセスされる。従って、第3のシナリオのように垂直方向の参照比を水平方向の参照比よりも低くすれば、使用される参照画素の数が同じであっても、メモリへのアクセス回数をより少なくすることができる。それにより、係数算出部44における係数算出処理を高速に実行することが可能となる。また、第3のシナリオのように、よりブロックの上方のラインの参照画素を優先的に使用することで、メモリへの連続的なアクセスを通じて参照画素値を短時間で取得することができる。
【0113】
(4)第4のシナリオ
図16は、第4のシナリオにおける参照比の定義の一例を示す説明図である。第4のシナリオにおいて、予測制御部42は、画像の符号化及び復号に関する装置のケイパビリティがより低い場合に参照比がより小さくなるように、参照比を制御する。HEVCでは、装置のケイパビリティを表すパラメータとして、例えばプロファイル若しくはレベル又はその双方を用いることができる。プロファイル及びレベルは、通常、符号化ストリームのシーケンスパラメータセット内で指定される。
【0114】
図16を参照すると、第4のシナリオにおいて、装置のケイパビリティが「高」及び「低」の2段階に区分されている。4×4画素のサイズを有する予測単位については、装置のケイパビリティに関わらず、参照比は「1:1」である。これに対し、8×8画素以上のサイズを有する予測単位については、ケイパビリティが「低」である場合の参照比は、ケイパビリティが「高」である場合の参照比の半分である。
【0115】
例えば、8×8画素の予測単位については、ケイパビリティが「高」であれば参照比は「1:1」である一方、ケイパビリティが「低」であれば参照比は「2:1」である。16×16画素の予測単位については、ケイパビリティが「高」であれば参照比は「2:1」である一方、ケイパビリティが「低」であれば参照比は「4:1」である。32×32画素の予測単位については、ケイパビリティが「高」であれば参照比は「4:1」である一方、ケイパビリティが「低」であれば参照比は「8:1」である。
【0116】
図17Aに、PUサイズが16×16画素、クロマフォーマットが4:2:0、ケイパビリティが「高」であって、参照比が「2:1」である場合の参照画素の設定の一例を示している。図17Aの例では、色差成分の参照画素及び輝度成分の参照画素のうち半分の参照画素が間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0117】
また、図17Bに、PUサイズが16×16画素、クロマフォーマットが4:2:0、ケイパビリティが「低」であって、参照比が「4:1」である場合の参照画素の設定の一例を示している。図17Bの例では、色差成分の参照画素及び輝度成分の参照画素のうち4分の3の参照画素が間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に4つとなっている。
【0118】
第4のシナリオのように、装置のケイパビリティ(例えばデコーダの処理能力)の高さに応じて参照比を制御することで、ケイパビリティのより低い装置の使用が想定される場合に、参照画素数をより少なくすることができる。それにより、装置の処理能力を超える処理コストがLMモードでの係数算出処理において生じることを防ぐことができる。
【0119】
(5)第5のシナリオ
Xiaoran Cao Tsinghuaらは、“CE6.b1 Report on Short Distance Intra Prediction Method”(JCTVC-E278,2011年3月)において、サイズの小さい非正方形の予測単位を使用して符号化効率を向上させる、短距離イントラ予測法(Short Distance Intra Prediction Method)を提案している。短距離イントラ予測法では、例えば1×4画素、2×8画素、4×16画素、4×1画素、8×2画素、16×4画素などの様々なサイズの予測単位が画像内に設定され得る。この場合、予測単位の垂直方向のサイズ及び水平方向のサイズのうちいずれのサイズがより大きいかは、予測単位の設定に依存する。そこで、第5のシナリオでは、予測制御部42は、短距離イントラ予測法が用いられる場合に、垂直方向の参照比及び水平方向の参照比のうちサイズのより大きい方向に対応する参照比を動的に選択し、選択した参照比を制御する。
【0120】
図18Aに、PUサイズが2×8画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図18Aの例では、水平方向のサイズが垂直方向のサイズよりも大きいため、垂直方向の参照比が「1:1」であるのに対し、水平方向の参照比は「2:1」とされている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に1+(4/2)=3つとなっている。
【0121】
また、図18Bに、PUサイズが16×4画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図18Bの例では、垂直方向のサイズが水平方向のサイズよりも大きいため、水平方向の参照比が「1:1」であるのに対し、垂直方向の参照比は「4:1」とされている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に(8/4)+2=4つとなっている。
【0122】
第5のシナリオのように、短距離イントラ予測法が用いられる場合に、サイズのより大きい方向に対応する参照比を動的に選択してこれを制御することで、参照画素がより少ない方向について参照画素数の削減を回避し、予測精度の低下を防ぐことができる。
【0123】
ここまで、予測制御部42による参照比の制御の特徴的な5つのシナリオについて詳細に説明した。これらシナリオに沿った予測制御部42による参照比の制御は、例えば画像符号化方式の標準仕様において予め定義されるブロックサイズと参照比との間のマッピングに従って行われてよい。かかるマッピングを予め画一的に定義しておくことで、数多くの参照画素の設定パターンをサポートする必要性がなくなり、デコーダにおける回路又はロジックの共通化が容易となる。
【0124】
なお、多くの用途において利用される画像データのビット深度は8ビットである一方、10ビット又は12ビットなど、より大きいビット深度が一部の用途向けの画像データにおいて利用され得る。そこで、係数算出部44は、ビット深度が所定のビット数(例えば8ビット)を上回る場合に、参照画素値を上記所定のビット数に削減した上で、削減した参照画素値を用いて予測関数の係数α及び係数βを算出してもよい。それにより、ビット深度に関わらず共通的な小規模の回路又はロジックを用いて係数α及び係数βを算出することが可能となる。
【0125】
また、ここでは予測制御部42がブロックサイズに対する参照画素数の比率である「参照比」を制御する例について主に説明している。しかしながら、参照比と実質的に同等の概念が、例えば、削減される参照画素の比率を意味する「削減比」などの他の用語で表現されてもよい。「参照比」又は「削減比」は、“1:1”、“2:1”、“4:1”などの上述した形式で記述される代わりに、“100%(0%)”、“50%(50%)”若しくは“25%(75%)”などのパーセンテージ形式、又は0から1までの範囲内の数値形式で記述されてもよい。
【0126】
上述した5つのシナリオは、説明のための例に過ぎない。例えば、上述した5つのシナリオのうち2つ以上のシナリオが組み合わされてもよい。各シナリオにおいて示したようなブロックサイズと参照比(又は削減比)との間のマッピングは、予め定義される代わりに、適応的に選択されてもよい。その場合、選択されたマッピングを指定する情報が、符号化ストリームのパラメータセット又はヘッダ領域内で符号化側から復号側へ伝送され得る。
【0127】
<2.一実施形態に係る符号化時の処理の流れ>
次に、図19及び図20を用いて、符号化時の処理の流れを説明する。図19は、図2に例示した構成を有するイントラ予測部40による符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【0128】
図19を参照すると、まず、処理対象の符号化単位の輝度成分について、予測部46により様々な予測モードで予測画像データが生成され、モード判定部48により最適な予測モード及び予測単位の配置が決定される(ステップS100)。
【0129】
次に、係数算出部44及び予測部46により、色差成分についてLMモードでの予測処理が実行される(ステップS110)。また、係数算出部44及び予測部46により、色差成分について非LMモード(例えば、図8に例示したモード0〜モード3)でのイントラ予測処理が実行される(ステップS120)。ステップS110及びステップS120の処理は、予測制御部42による制御の下、各予測単位について実行され得る。
【0130】
次に、モード判定部48は、色差成分の予測モードの各々について、原画像データと予測画像データとに基づきコスト関数値を算出する(ステップS130)。そして、モード判定部48は、コスト関数値を互いに比較することにより、色差成分について最適な予測モードを決定する(ステップS140)。
【0131】
図20は、図19のステップS110におけるLMモード予測処理の詳細な流れの一例を示すフローチャートである。
【0132】
図20を参照すると、まず、予測制御部42は、各予測単位について、予測単位のサイズ及びその他のパラメータ(例えば、クロマフォーマット、プロファイル又はレベルなど)に応じた参照比を取得する(ステップS111)。
【0133】
次に、係数算出部44は、予測関数の係数を算出するための算出式(例えば、上記式(3)及び式(4))において参照される参照画素を、予測制御部42により指示される参照比に従って設定する(ステップS112)。ここで設定される参照画素の数は、参照比に応じて削減され得る。また、参照画素の輝度成分は、クロマフォーマットに依存してリサンプリングされ得る。
【0134】
次に、係数算出部44は、例えば上記式(3)に従い、設定した参照画素の画素値を用いて、予測関数の係数αを算出する(ステップS113)。さらに、係数算出部44は、例えば上記式(4)に従い、設定した参照画素の画素値を用いて、予測関数の係数βを算出する(ステップS114)。
【0135】
そして、予測部46は、対応する輝度成分の値を係数α及び係数βを用いて構築される予測関数(例えば、上記式(1))に代入することにより、各予測対象画素の予測画素値を算出する(ステップS115)。
【0136】
<3.一実施形態に係る画像復号装置の構成例>
本節では、図21及び図22を用いて、一実施形態に係る画像復号装置の構成例について説明する。
【0137】
[3−1.全体的な構成例]
図21は、一実施形態に係る画像復号装置60の構成の一例を示すブロック図である。図21を参照すると、画像復号装置60は、蓄積バッファ61、可逆復号部62、逆量子化部63、逆直交変換部64、加算部65、デブロックフィルタ66、並べ替えバッファ67、D/A(Digital to Analogue)変換部68、フレームメモリ69、セレクタ70及び71、動き補償部80、並びにイントラ予測部90を備える。
【0138】
蓄積バッファ61は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【0139】
可逆復号部62は、蓄積バッファ61から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部62は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、シーケンスパラメータセット内のプロファイル及びレベル、並びにブロックヘッダ内のインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部62は、インター予測に関する情報を動き補償部80へ出力する。また、可逆復号部62は、イントラ予測に関する情報をイントラ予測部90へ出力する。
【0140】
逆量子化部63は、可逆復号部62による復号後の量子化データを逆量子化する。逆直交変換部64は、符号化の際に使用された直交変換方式に従い、逆量子化部63から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部64は、生成した予測誤差データを加算部65へ出力する。
【0141】
加算部65は、逆直交変換部64から入力される予測誤差データと、セレクタ71から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部65は、生成した復号画像データをデブロックフィルタ66及びフレームメモリ69へ出力する。
【0142】
デブロックフィルタ66は、加算部65から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並べ替えバッファ67及びフレームメモリ69へ出力する。
【0143】
並べ替えバッファ67は、デブロックフィルタ66から入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ67は、生成した画像データをD/A変換部68へ出力する。
【0144】
D/A変換部68は、並べ替えバッファ67から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、D/A変換部68は、例えば、画像復号装置60と接続されるディスプレイ(図示せず)にアナログ画像信号を出力することにより、画像を表示させる。
【0145】
フレームメモリ69は、加算部65から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ66から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【0146】
セレクタ70は、可逆復号部62により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ69からの画像データの出力先を動き補償部80とイントラ予測部90との間で切り替える。例えば、セレクタ70は、インター予測モードが指定された場合には、フレームメモリ69から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部80へ出力する。また、セレクタ70は、イントラ予測モードが指定された場合には、フレームメモリ69から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部90へ出力する。
【0147】
セレクタ71は、可逆復号部62により取得されるモード情報に応じて、加算部65へ供給すべき予測画像データの出力元を動き補償部80とイントラ予測部90との間で切り替える。例えば、セレクタ71は、インター予測モードが指定された場合には、動き補償部80から出力される予測画像データを加算部65へ供給する。また、セレクタ71は、イントラ予測モードが指定された場合には、イントラ予測部90から出力される予測画像データを加算部65へ供給する。
【0148】
動き補償部80は、可逆復号部62から入力されるインター予測に関する情報とフレームメモリ69からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部80は、生成した予測画像データをセレクタ71へ出力する。
【0149】
イントラ予測部90は、可逆復号部62から入力されるイントラ予測に関する情報とフレームメモリ69からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部90は、生成した予測画像データをセレクタ71へ出力する。このようなイントラ予測部90によるイントラ予測処理について、後により詳細に説明する。
【0150】
[3−2.イントラ予測部の構成例]
図22は、図21に示した画像復号装置60のイントラ予測部90の詳細な構成の一例を示すブロック図である。図22を参照すると、イントラ予測部90は、予測制御部92、係数算出部94及び予測部96を有する。
【0151】
予測制御部92は、イントラ予測部90におけるイントラ予測処理を制御する。例えば、予測制御部92は、イントラ予測に関する情報に含まれる予測モード情報に基づいて、各符号化単位に1つ以上の予測単位を設定する。そして、予測制御部92は、まず輝度成分(Y)についてのイントラ予測処理を実行した後、色差成分(Cb、Cr)についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部92は、予測モード情報により指定される予測モードで予測部96に各画素の輝度成分の予測画素値を生成させる。同様に、色差成分についてのイントラ予測処理において、予測制御部92は、予測モード情報により指定される予測モードで予測部96に各画素の色差成分の予測画素値を生成させる。
【0152】
本実施形態では、色差成分についての予測モードの候補は、上述したLMモードを含む。そして、予測制御部92は、LMモードの予測関数の係数を算出する際の参照画素数のブロックサイズに対する比率、即ち参照比を、可変的に制御する。予測制御部92による参照比の制御は、典型的には、ブロックサイズに応じて行われ得る。例えば、予測制御部92は、ブロックサイズが所定のサイズを上回る場合に、予測関数の係数を算出する際の参照画素数が一定となるように、参照比を制御してもよい。ブロックサイズと参照比との間のマッピングは、予め定義され画像復号装置60の記憶媒体により記憶されていてもよく、又は符号化ストリームのヘッダ領域内で動的に指定されてもよい。さらに、予測制御部92は、クロマフォーマットに応じて、参照比を制御してもよい。また、予測制御部92は、装置のケイパビリティを定義付けるプロファイル又はレベルに応じて、参照比を制御してもよい。予測制御部92による参照比の制御は、上述した5つのシナリオのいずれか、それらの任意の組合せ、又は他のシナリオに従って行われ得る。
【0153】
係数算出部94は、色差成分についてLMモードが指定された場合に予測部96により使用される予測関数の係数を、予測対象の画素が属する予測単位の周辺の画素、即ち参照画素を参照して算出する。予測部96により使用される予測関数は、典型的には輝度成分の値の線型関数であり、例えば上記式(1)により表される。予測関数の係数の算出に際して係数算出部94により参照される参照画素の数は、上述したように、予測制御部92により制御される。係数算出部94は、参照比が「1:1」でない場合には、例えば参照比に応じた数の参照画素を間引いた上で、残りの参照画素のみを用いて予測関数の係数を算出し得る。係数算出部94は、例えば、所定のサイズを上回る複数のブロックサイズについて共通的な回路又はロジックを用いて予測関数の係数を算出してもよい。また、係数算出部94は、画素値のビット深度が所定のビット数を上回る場合に、参照画素値を当該所定のビット数に削減した上で、削減した参照画素値を用いて予測関数の係数を算出してもよい。
【0154】
予測部96は、予測制御部92による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、フレームメモリ69からの参照画像データを用いて、指定された予測モードに従って生成する。予測部96により色差成分について使用される予測モードの候補は、上述したLMモードを含み得る。LMモードが指定された場合には、予測部96は、係数算出部94により算出される係数α及び係数βを用いて構築される予測関数に、対応する輝度成分の(必要に応じてリサンプリングされた)値を代入することにより、色差成分の予測画素値を生成する。予測部96は、予測の結果として生成される予測画像データを、セレクタ71を介して加算部65へ出力する。
【0155】
<4.一実施形態に係る復号時の処理の流れ>
次に、図23を用いて、復号時の処理の流れを説明する。図23は、図22に例示した構成を有するイントラ予測部90による復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【0156】
図23を参照すると、まず、予測制御部92は、各符号化単位に1つ以上の予測単位を設定する(ステップS200)。その後のステップS210〜S260の処理は、予測制御部42による制御の下、各予測単位について実行され得る。
【0157】
次に、予測制御部92は、予測モード情報により指定されている輝度成分の予測モードを認識する(ステップS210)。そして、予測部96は、予測単位内の各画素の輝度成分の予測画素値を、フレームメモリ69からの参照画像データを用いて、指定された予測モードに従って生成する(ステップS220)。
【0158】
次に、予測制御部92は、予測モード情報により指定されている色差成分の予測モードを認識する(ステップS230)。そして、予測制御部92は、LMモードが指定されているか否かを判定する(ステップS240)。ここで、LMモードが指定されている場合には、予測制御部92は、係数算出部94及び予測部96に色差成分についてLMモードでの予測処理を実行させる(ステップS250)。ステップS250におけるLMモード予測処理は、図20を用いて説明したLMモード予測処理と同様であってよい。一方、LMモードが指定されていない場合には、予測制御部92は、予測部96に色差成分について非LMモードでのイントラ予測処理を実行させる(ステップS260)。
【0159】
<5.変形例>
上述した実施形態において、画像符号化装置10のイントラ予測部40の予測部46は、LMモードでの色差成分についての予測画素値を、上記式(1)に従って計算する。同様に、画像復号装置60のイントラ予測部90の予測部96もまた、LMモードでの色差成分についての予測画素値を、上記式(1)に従って計算する。式(1)の右辺のReL´(x,y)は、復号画像の輝度成分のリサンプリング後の画素位置(x,y)の値を表す。従って、予測画素値の計算がブロック単位で行われる場合には、色差成分についての予測画素値の計算が行われるまで、ブロック単位で輝度成分のリサンプリング後の画素値が保持されることになる。
【0160】
例えば、図24の左に示したLCU1は、10個の符号化単位CU0〜CU9に分割される。一例として、LCU1のサイズは128×128画素、符号化単位CU0及びCU5のサイズは64×64画素、符号化単位CU1〜CU4及びCU6〜CU9のサイズは32×32画素である。通常はこれら符号化単位ごとに予測画素値の計算が行われることから、この場合、クロマフォーマットが4:2:0であれば、輝度成分のリサンプリング後の画素値を保持しておくために、(特に符号化単位CU0及びCU5について)32×32画素のメモリが用意され得る。一方、図24の右に示したLCU2のサイズは128×128画素であり、LCU2内には1つのCU10のみが含まれる。この場合、クロマフォーマットが4:2:0であれば、輝度成分のリサンプリング後の画素値を保持しておくために、64×64画素のメモリが用意され得る。画素のビット深度がより大きければ、メモリリソースの消費量もより多くなる。
【0161】
上述したメモリリソースの消費量の増大は、メモリリソースに制約のある装置にとっては好ましくない。そこで、本節では、LMモードの導入に関連してメモリリソースの消費量を削減するための2つの変形例を説明する。
【0162】
[5−1.第1の変形例]
第1の変形例において、画像符号化装置10の予測部46及び画像復号装置60の予測部96は、各色差成分に対応する輝度成分をある間引き率で間引く。各色差成分に対応する輝度成分とは、例えば上記式(2)に従ったリサンプリングの後の各輝度成分に相当する。そして、予測部46及び予測部96は、間引かれた輝度成分に対応する各色差成分の予測値を、間引かれていない輝度成分の値を用いて生成する。
【0163】
図25は、本変形例に係る間引き処理の一例について説明するための説明図である。図25を参照すると、一例として、8×8画素の予測単位(PU)が示されている。クロマフォーマットは4:2:0、間引き率は25%であるものとする。なお、ここでの間引き率は、間引き前の画素数に対する間引き後の画素数の割合を示す。図25の例において、1つのPUに含まれる色差成分の数は4×4個である。各色差成分に対応する輝度成分の数もまた、リサンプリングによって4×4個となる。これらリサンプリング後の輝度成分が間引き率25%で間引かれる結果、LMモードでの色差成分の予測に用いられる輝度成分の数は、2×2個となる。より具体的には、図25の右下の例において、4つの輝度成分Lu1〜Lu4のうち、輝度成分Lu1以外の輝度成分Lu2、Lu3及びLu4が間引かれている。同様に、4つの輝度成分Lu5〜Lu8のうち、輝度成分Lu5以外の輝度成分Lu6、Lu7及びLu8が間引かれている。図25の左下の色差成分Cu1は、間引かれていない輝度成分Lu1に対応する。従って、予測部46及び予測部96は、色差成分Cu1の予測値を、上記式(1)の右辺に輝度成分Lu1の値を代入することにより生成することができる。一方、例えば色差成分Cu2は、間引かれた輝度成分Lu2に対応する。この場合、予測部46及び予測部96は、色差成分Cu2の予測値を、間引かれていないいずれかの輝度成分の値を用いて生成する。例えば、色差成分Cu2の予測値は、色差成分Cu1の予測値の複製であってもよく、又は色差成分Cu1及びCu5の2つの予測値から線型補間された値であってもよい。
【0164】
より一般的には、例えば、間引き率25%の場合の色差成分の予測画素値PrC(x,y)は、次の式(5)又は式(6)により表される手法に従って計算されてよい。式(5)は、隣接する画素からの予測値の複製を表現している。
【0165】
【数8】
【0166】
式(6)は、予測値の線形補間を表現している。
【0167】
【数9】
【0168】
なお、式(5)及び式(6)は一例に過ぎず、他の式が使用されてもよい。
【0169】
上述した間引き率は、輝度成分のリサンプリング後の画素値を保持しておくためのメモリリソースの量を左右する。間引かれる輝度成分の数が多いほど、メモリリソースの消費量は少なくなる。しかしながら、間引かれる輝度成分の数が多ければ、色差成分の予測の精度が低下する可能性がある。そこで、間引き率を指定するためのパラメータが、符号化ストリームのヘッダ(例えばシーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダ)において指定されてもよい。この場合、画像復号装置60の予測部96は、上記ヘッダから取得されるパラメータに基づいて、間引き率を決定する。それにより、装置ごとの要件(例えばメモリリソースの節約及び符号化効率のいずれを優先するか、など)に応じて、柔軟に間引き率を変更することが可能となる。
【0170】
図26A〜図26Cを参照すると、図25の例とは異なり、間引き率はそれぞれ50%である。これらの例においては、リサンプリング後の輝度成分のうち、半分の輝度成分が間引かれる。但し、間引き率が同じであっても、間引かれる輝度成分の位置のパターン(以下、間引きパターンという)は互いに異なる。
【0171】
図26Aの例において、4つの輝度成分Lu1〜Lu4のうち、輝度成分Lu2及びLu4が間引かれている。同様に、4つの輝度成分Lu5〜Lu8のうち、輝度成分Lu6及びLu8が間引かれている。この場合にも、例えば、間引かれた輝度成分Lu2に対応する色差成分Cu2の予測値は、色差成分Cu1の予測値の複製であってもよく、又は色差成分Cu1及びCu5の2つの予測値から線型補間された値であってもよい。図26Aの間引きパターンでは、間引かれる輝度成分がPU内で均一に分散している。そのため、図26Aの間引きパターンは、間引き率の等しい他の間引きパターンと比較して、より高い予測精度を実現し得る。
【0172】
図26Bの例においては、行単位で1行おきに輝度成分が間引かれている。このような間引きパターンは、例えばラインメモリによって画素値が保持される装置において、1回のメモリアクセスでより多くの輝度成分の値にアクセスできる点で有益である。一方、図26Cの例においては、列単位で1列おきに輝度成分が間引かれている。このような間引きパターンは、例えばクロマフォーマットが4:2:2であって垂直方向の画素数がより多い場合に、列方向の周波数成分をより多く維持できる点で有益である。
【0173】
これら複数の間引きパターンの候補からいずれかの間引きパターンを指定するためのパラメータが、符号化ストリームのヘッダにおいて指定されてよい。この場合、画像復号装置60の予測部96は、上記ヘッダから取得されるパラメータに基づいて、間引かれる輝度成分の位置を決定する。それにより、装置ごとの要件に応じて柔軟に間引きパターンを変更することが可能となる。
【0174】
また、予測部46及び予測部96は、上述した参照比に応じて間引き率を決定してもよい。例えば、予測関数の係数の算出の際に参照される参照画素数がより少なければ、より多くの輝度成分が間引かれ得る。その際、予測部46及び予測部96は、参照画素の間引き位置に対応する位置の輝度成分を間引いてよい。
【0175】
図27A及び図27Bは、それぞれ参照画素の間引き位置と輝度成分の間引き位置との対応の例を示している。図27Aの例において、PUサイズは16×16画素、クロマフォーマットは4:2:0、参照比は2:1である。この場合、例えば間引き率は25%に決定され、図25の例と同様の間引きパターンが選択され得る。一方、図27Bの例において、PUサイズは16×16画素、クロマフォーマットは4:2:0、垂直方向の参照比は2:1、水平方向の参照比は1:1である。この場合、例えば間引き率は50%に決定され、図26Bの例と同様の間引きパターンが選択され得る。
【0176】
図27Aの例においては、参照画素が間引かれる行について、予測対象ブロックの全ての輝度成分が間引かれている。参照画素が間引かれる列についても、予測対象ブロックの全ての輝度成分が間引かれている。このように間引き位置を決定することにより、間引き位置の判定が単純化されるため、本変形例に係る間引き処理の実装をより容易にすることができる。図27Bの例においても、参照画素が間引かれる行について、予測対象ブロックの全ての輝度成分が間引かれている。このように間引き位置を決定することにより、間引き位置に相当する行について、参照画素か予測対象画素かを問わず輝度成分へのアクセスを完全にスキップすることができる。それにより、間引き処理の実装がより容易になると共に、メモリアクセスの回数を減らして処理速度を高めることができる。
【0177】
[5−2.第2の変形例]
第2の変形例では、画像符号化装置10のイントラ予測部40及び画像復号装置60のイントラ予測部90による新たな処理の順序が採用される。
【0178】
図28は、本変形例において採用される新たな処理の順序について説明するための説明図である。図28を参照すると、一例として、符号化単位CU0、CU1、CU2及びその他の符号化単位を含むLCUが示されている。さらに、符号化単位CU0は、4つの予測単位PU00、PU01、PU02及びPU03に分割されている。符号化単位CU1は、4つの予測単位PU10、PU11、PU12及びPU13に分割されている。符号化単位CU2は、4つの予測単位PU20、PU21、PU22及びPU23に分割されている。既存の手法では、このようなLCUについてのイントラ予測処理は、Y00→Y01→Y02→Y03→Cb00→Cb01→Cb02→Cb03→Cr00→Cr01→Cr02→Cr03→Y10→…のように行われる。ここで、YNNは予測単位PUNNの輝度成分のイントラ予測、CbNN及びCrNNは予測単位PUNNの色差成分のイントラ予測をそれぞれ表す。即ち、既存の手法では、各符号化単位について、成分ごとにイントラ予測処理が行われる。このような処理の順序を、ここでは「成分別順序」という。一方、本変形例において、例えば画像符号化装置10のイントラ予測部40の予測制御部42及び画像復号装置60のイントラ予測部90の予測制御部92は、各符号化単位について、予測単位ごとにイントラ予測処理が行われるように各部の処理を制御する。このような新たな処理の順序を、ここでは「PU別順序」という。例えば、図28のLCUにPU別順序が適用される場合、まず予測単位PU00についての輝度成分Y00並びに2つの色差成分Cb00及びCr00のイントラ予測処理が行われる。次に、予測単位PU01についての輝度成分Y01並びに2つの色差成分Cb01及びCr01のイントラ予測処理が行われる。その後、予測単位PU02、PU03、PU10…の順に、3つの成分のイントラ予測処理が繰り返される。
【0179】
既存の手法である成分別順序では、LMモードでのイントラ予測において参照される輝度成分の値を保持しておくためのメモリリソースの量は、最大の符号化単位のサイズに左右される。例えば、最大の符号化単位のサイズが128×128画素、クロマフォーマットが4:2:0、ビット深度が10ビットであれば、64×64×10ビットのメモリリソースを要する。一方、上述したPU別順序では、LMモードでのイントラ予測において参照される輝度成分の値を保持しておくためのメモリリソースの量は、最大の予測単位のサイズに左右される。例えば、符号化単位が4つ以上の予測単位に分割される場合には、PU別順序の場合に要するメモリリソースの量は、成分別順序の場合に要するメモリリソースの量の4分の1で済む。従って、上述したPU別順序を採用することで、メモリリソースの消費量を削減することができる。
【0180】
<6.応用例>
上述した実施形態に係る画像符号化装置10及び画像復号装置60は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。
【0181】
[6−1.第1の応用例]
図29は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。
【0182】
チューナ902は、アンテナ901を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ902は、復調により得られた符号化ビットストリームをデマルチプレクサ903へ出力する。即ち、チューナ902は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送手段としての役割を有する。
【0183】
デマルチプレクサ903は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ904へ出力する。また、デマルチプレクサ903は、符号化ビットストリームからEPG(Electronic Program Guide)などの補助的なデータを抽出し、抽出したデータを制御部910に供給する。なお、デマルチプレクサ903は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【0184】
デコーダ904は、デマルチプレクサ903から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ904は、復号処理により生成される映像データを映像信号処理部905へ出力する。また、デコーダ904は、復号処理により生成される音声データを音声信号処理部907へ出力する。
【0185】
映像信号処理部905は、デコーダ904から入力される映像データを再生し、表示部906に映像を表示させる。また、映像信号処理部905は、ネットワークを介して供給されるアプリケーション画面を表示部906に表示させてもよい。また、映像信号処理部905は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部905は、例えばメニュー、ボタン又はカーソルなどのGUI(Graphical User Interface)の画像を生成し、生成した画像を出力画像に重畳してもよい。
【0186】
表示部906は、映像信号処理部905から供給される駆動信号により駆動され、表示デバイス(例えば、液晶ディスプレイ、プラズマディスプレイ又はOLEDなど)の映像面上に映像又は画像を表示する。
【0187】
音声信号処理部907は、デコーダ904から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ908から音声を出力させる。また、音声信号処理部907は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【0188】
外部インタフェース909は、テレビジョン装置900と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース909を介して受信される映像ストリーム又は音声ストリームが、デコーダ904により復号されてもよい。即ち、外部インタフェース909もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送手段としての役割を有する。
【0189】
制御部910は、CPU(Central Processing Unit)などのプロセッサ、並びにRAM(Random Access Memory)及びROM(Read Only Memory)などのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置900の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース911から入力される操作信号に応じて、テレビジョン装置900の動作を制御する。
【0190】
ユーザインタフェース911は、制御部910と接続される。ユーザインタフェース911は、例えば、ユーザがテレビジョン装置900を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース911は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部910へ出力する。
【0191】
バス912は、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、音声信号処理部907、外部インタフェース909及び制御部910を相互に接続する。
【0192】
このように構成されたテレビジョン装置900において、デコーダ904は、上述した実施形態に係る画像復号装置60の機能を有する。それにより、テレビジョン装置900での画像の復号に際して、LMモードが採用される場合にも、ブロックサイズの拡大に伴う処理コストの増加を抑制することができる。
【0193】
[6−2.第2の応用例]
図30は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。
【0194】
アンテナ921は、通信部922に接続される。スピーカ924及びマイクロホン925は、音声コーデック923に接続される。操作部932は、制御部931に接続される。バス933は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、及び制御部931を相互に接続する。
【0195】
携帯電話機920は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【0196】
音声通話モードにおいて、マイクロホン925により生成されるアナログ音声信号は、音声コーデック923に供給される。音声コーデック923は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック923は、圧縮後の音声データを通信部922へ出力する。通信部922は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック923へ出力する。音声コーデック923は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。
【0197】
また、データ通信モードにおいて、例えば、制御部931は、操作部932を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部931は、文字を表示部930に表示させる。また、制御部931は、操作部932を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部922へ出力する。通信部922は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部931へ出力する。制御部931は、表示部930に電子メールの内容を表示させると共に、電子メールデータを記録再生部929の記憶媒体に記憶させる。
【0198】
記録再生部929は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【0199】
また、撮影モードにおいて、例えば、カメラ部926は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部927へ出力する。画像処理部927は、カメラ部926から入力される画像データを符号化し、符号化ストリームを記録再生部929の記憶媒体に記憶させる。
【0200】
また、テレビ電話モードにおいて、例えば、多重分離部928は、画像処理部927により符号化された映像ストリームと、音声コーデック923から入力される音声ストリームとを多重化し、多重化したストリームを通信部922へ出力する。通信部922は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部922は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部928へ出力する。多重分離部928は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部927、音声ストリームを音声コーデック923へ出力する。画像処理部927は、映像ストリームを復号し、映像データを生成する。映像データは、表示部930に供給され、表示部930により一連の画像が表示される。音声コーデック923は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。
【0201】
このように構成された携帯電話機920において、画像処理部927は、上述した実施形態に係る画像符号化装置10及び画像復号装置60の機能を有する。それにより、携帯電話機920での画像の符号化及び復号に際して、LMモードが採用される場合にも、ブロックサイズの拡大に伴う処理コストの増加を抑制することができる。
【0202】
[6−3.第3の応用例]
図31は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。
【0203】
記録再生装置940は、チューナ941、外部インタフェース942、エンコーダ943、HDD(Hard Disk Drive)944、ディスクドライブ945、セレクタ946、デコーダ947、OSD(On-Screen Display)948、制御部949、及びユーザインタフェース950を備える。
【0204】
チューナ941は、アンテナ(図示せず)を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ941は、復調により得られた符号化ビットストリームをセレクタ946へ出力する。即ち、チューナ941は、記録再生装置940における伝送手段としての役割を有する。
【0205】
外部インタフェース942は、記録再生装置940と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース942は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース942を介して受信される映像データ及び音声データは、エンコーダ943へ入力される。即ち、外部インタフェース942は、記録再生装置940における伝送手段としての役割を有する。
【0206】
エンコーダ943は、外部インタフェース942から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ943は、符号化ビットストリームをセレクタ946へ出力する。
【0207】
HDD944は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、HDD944は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【0208】
ディスクドライブ945は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ945に装着される記録媒体は、例えばDVDディスク(DVD−Video、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW等)又はBlu−ray(登録商標)ディスクなどであってよい。
【0209】
セレクタ946は、映像及び音声の記録時には、チューナ941又はエンコーダ943から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD944又はディスクドライブ945へ出力する。また、セレクタ946は、映像及び音声の再生時には、HDD944又はディスクドライブ945から入力される符号化ビットストリームをデコーダ947へ出力する。
【0210】
デコーダ947は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ947は、生成した映像データをOSD948へ出力する。また、デコーダ904は、生成した音声データを外部のスピーカへ出力する。
【0211】
OSD948は、デコーダ947から入力される映像データを再生し、映像を表示する。また、OSD948は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
【0212】
制御部949は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置940の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース950から入力される操作信号に応じて、記録再生装置940の動作を制御する。
【0213】
ユーザインタフェース950は、制御部949と接続される。ユーザインタフェース950は、例えば、ユーザが記録再生装置940を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース950は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部949へ出力する。
【0214】
このように構成された記録再生装置940において、エンコーダ943は、上述した実施形態に係る画像符号化装置10の機能を有する。また、デコーダ947は、上述した実施形態に係る画像復号装置60の機能を有する。それにより、記録再生装置940での画像の符号化及び復号に際して、LMモードが採用される場合にも、ブロックサイズの拡大に伴う処理コストの増加を抑制することができる。
【0215】
[6−4.第4の応用例]
図32は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【0216】
撮像装置960は、光学ブロック961、撮像部962、信号処理部963、画像処理部964、表示部965、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、制御部970、ユーザインタフェース971、及びバス972を備える。
【0217】
光学ブロック961は、撮像部962に接続される。撮像部962は、信号処理部963に接続される。表示部965は、画像処理部964に接続される。ユーザインタフェース971は、制御部970に接続される。バス972は、画像処理部964、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、及び制御部970を相互に接続する。
【0218】
光学ブロック961は、フォーカスレンズ及び絞り機構などを有する。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCD又はCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部962は、画像信号を信号処理部963へ出力する。
【0219】
信号処理部963は、撮像部962から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部963は、カメラ信号処理後の画像データを画像処理部964へ出力する。
【0220】
画像処理部964は、信号処理部963から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部964は、生成した符号化データを外部インタフェース966又はメディアドライブ968へ出力する。また、画像処理部964は、外部インタフェース966又はメディアドライブ968から入力される符号化データを復号し、画像データを生成する。そして、画像処理部964は、生成した画像データを表示部965へ出力する。また、画像処理部964は、信号処理部963から入力される画像データを表示部965へ出力して画像を表示させてもよい。また、画像処理部964は、OSD969から取得される表示用データを、表示部965へ出力する画像に重畳してもよい。
【0221】
OSD969は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部964へ出力する。
【0222】
外部インタフェース966は、例えばUSB入出力端子として構成される。外部インタフェース966は、例えば、画像の印刷時に、撮像装置960とプリンタとを接続する。また、外部インタフェース966には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置960にインストールされ得る。さらに、外部インタフェース966は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース966は、撮像装置960における伝送手段としての役割を有する。
【0223】
メディアドライブ968に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ968に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD(Solid State Drive)のような非可搬性の記憶部が構成されてもよい。
【0224】
制御部970は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置960の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース971から入力される操作信号に応じて、撮像装置960の動作を制御する。
【0225】
ユーザインタフェース971は、制御部970と接続される。ユーザインタフェース971は、例えば、ユーザが撮像装置960を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース971は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部970へ出力する。
【0226】
このように構成された撮像装置960において、画像処理部964は、上述した実施形態に係る画像符号化装置10及び画像復号装置60の機能を有する。それにより、撮像装置960での画像の符号化及び復号に際して、LMモードが採用される場合にも、ブロックサイズの拡大に伴う処理コストの増加を抑制することができる。
【0227】
<7.まとめ>
ここまで、図1〜図32を用いて、一実施形態に係る画像符号化装置10及び画像復号装置60について説明した。本実施形態によれば、画像の符号化及び復号における色差成分のイントラ予測にあたり、対応する輝度成分の値の関数を用いるLMモードが採用される場合に、関数の係数の算出の際に参照される参照画素の数のブロックサイズに対する比率が、可変的に制御される。従って、ブロックサイズの拡大に伴う参照画素数の増大を抑制して、処理コストの増加を回避し又は緩和することができる。
【0228】
また、本実施形態によれば、ブロックサイズが所定のサイズを上回る場合に参照画素数が一定となるように上記比率が制御され得る。かかる構成によれば、複数のブロックサイズについて共通的な回路又はロジックを用いて、上記関数の係数を算出することができる。従って、LMモードの採用に起因する回路規模又はロジックの規模の増大をも抑制することができる。
【0229】
また、本実施形態によれば、ブロックサイズが所定のサイズを下回る場合に参照画素が過剰に削減されることがない。従って、参照画素数の不足によってLMモードでの予測の精度が低下することが防がれる。なお、比較的大きいブロックサイズは、通常、ブロック内の画像が単調であって予測が容易である場合に設定され得る。従って、ブロックサイズがより大きい場合により多くの参照画素を削減したとしても、それにより予測の精度が著しく低下するリスクは小さい。
【0230】
また、本実施形態によれば、上記比率は、ブロックの垂直方向とブロックの水平方向とで別々に制御され得る。かかる構成によれば、クロマフォーマットに依存することなく、共通的な回路又はロジックを用いて上記関数の係数を算出することが可能となる。また、比較的少ないメモリアクセスで参照可能な水平方向に沿って並ぶ参照画素をより多く残し、垂直方向に沿って並ぶ参照画素をより多く削減することも可能となる。さらに、短距離イントラ予測法が用いられる場合に、ブロックの形状に応じて、削減すべき参照画素を適応的に変化させることも可能となる。
【0231】
また、上述した2つの変形例によれば、LMモードの導入に関連するメモリリソースの消費量を効果的に削減することができる。
【0232】
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像(スライス若しくはブロックなど、画像の一部であってもよい)と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像(又はビットストリーム)とは別の伝送路上で伝送されてもよい。また、情報は、画像(又はビットストリーム)とは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されてもよい。さらに、情報と画像(又はビットストリーム)とは、例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【0233】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0234】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、
前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、
前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、
を備える画像処理装置。
(2)
前記制御部は、前記ブロックサイズに応じて前記比率を制御する、前記(1)に記載の画像処理装置。
(3)
前記制御部は、前記ブロックサイズが第1のサイズである場合の前記比率を、前記ブロックサイズが前記第1のサイズよりも小さい第2のサイズである場合の前記比率よりも小さくなるように制御する、前記(2)に記載の画像処理装置。
(4)
前記制御部は、前記ブロックサイズが所定のサイズを上回る場合に前記参照画素数が一定となるように、前記比率を制御する、前記(3)に記載の画像処理装置。
(5)
前記係数算出部は、前記所定のサイズを上回る複数のブロックサイズについて共通的な回路又はロジックを用いて前記係数を算出する、前記(4)に記載の画像処理装置。
(6)
前記制御部は、ブロックサイズと前記比率との間の予め定義されるマッピングに従って、前記比率を制御する、前記(1)〜(5)のいずれか1項に記載の画像処理装置。
(7)
前記制御部は、前記係数の算出の際に間引かれる参照画素の数を変化させることにより、前記比率を制御する、前記(1)〜(6)のいずれか1項に記載の画像処理装置。
(8)
前記制御部は、前記ブロックサイズが所定のサイズを下回る場合には、間引かれる参照画素の数をゼロとする、前記(7)に記載の画像処理装置。
(9)
前記制御部は、前記ブロックの垂直方向のサイズに対する前記ブロックの左の参照画素数の比率である第1の比率と、前記ブロックの水平方向のサイズに対する前記ブロックの上の参照画素数の比率である第2の比率とを別々に制御する、前記(1)に記載の画像処理装置
(10)
前記制御部は、同じブロックサイズについて前記第1の比率が前記第2の比率以下となるように前記第1の比率又は前記第2の比率を制御する、前記(9)に記載の画像処理装置。
(11)
前記制御部は、短距離イントラ予測法が用いられる場合には、前記第1の比率及び前記第2の比率のうちサイズのより大きい方向に対応する比率のみを制御する、前記(9)に記載の画像処理装置。
(12)
前記制御部は、前記色差成分の解像度を表すクロマフォーマットが4:2:2である場合に、前記ブロックの左の参照画素数が前記ブロックの上の参照画素数と等しくなるように、前記第1の比率を制御する、前記(9)に記載の画像処理装置。
(13)
前記制御部は、前記色差成分の解像度を表すクロマフォーマットに応じて前記比率を制御する、前記(1)に記載の画像処理装置。
(14)
前記制御部は、前記クロマフォーマットが第1の解像度を表している場合の前記比率を、前記クロマフォーマットが前記第1の解像度よりも低い第2の解像度を表している場合の前記比率よりも小さくなるように制御する、前記(13)に記載の画像処理装置。
(15)
前記制御部は、装置のケイパビリティがより低い場合に前記比率がより小さくなるように、前記比率を制御する、前記(1)〜(14)のいずれか1項に記載の画像処理装置。
(16)
前記係数算出部は、画素値のビット深度が所定のビット数を上回る場合に、前記所定のビット数に削減された参照画素の画素値を用いて前記係数を算出する、前記(5)に記載の画像処理装置。
(17)
復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、
前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、
前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、
を含む画像処理方法。
(18)
符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、
前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、
前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、
を備える画像処理装置。
(19)
符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、
前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、
前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、
を含む画像処理方法。
(20)
復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行う予測部と、
前記予測部によりイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第1の比率で間引く間引き部と、
を備える画像処理装置。
(21)
前記予測部は、各色差成分に対応する輝度成分を第2の比率で間引き、間引かれた輝度成分に対応する各色差成分の予測値を、間引かれていない輝度成分の値を用いて生成する、前記(20)に記載の画像処理装置。
(22)
前記予測部は、前記第2の比率を前記第1の比率に応じて決定する、前記(21)に記載の画像処理装置。
(23)
前記予測部は、前記間引き部により間引かれる前記参照画素の位置に対応する位置の輝度成分を間引く、前記(22)に記載の画像処理装置。
(24)
前記予測部は、符号化ストリームのヘッダから取得されるパラメータに基づいて、前記第2の比率を決定する、前記(21)に記載の画像処理装置。
(25)
前記予測部は、符号化ストリームのヘッダから取得されるパラメータに基づいて、間引かれる輝度成分の位置を決定する、前記(21)に記載の画像処理装置。
(26)
復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行うことと、
前記色差成分のイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第1の比率で間引くことと、
を含む画像処理方法。
【符号の説明】
【0235】
10 画像符号化装置(画像処理装置)
42 予測制御部
44 係数算出部(間引き部)
46 予測部
60 画像復号装置(画像処理装置)
92 予測制御部
94 係数算出部(間引き部)
96 予測部
【技術分野】
【0001】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
従来、デジタル画像を効率的に伝送し又は蓄積することを目的とし、画像に特有の冗長性を利用して、例えば離散コサイン変換などの直交変換と動き補償とにより画像の情報量を圧縮する圧縮技術が普及している。例えば、ITU−Tの策定したH.26x標準又はMPEG(Moving Picture Experts Group)の策定したMPEG−y標準などの標準技術に準拠した画像符号化装置及び画像復号装置は、放送局による画像の蓄積及び配信、並びに一般ユーザによる画像の受信及び蓄積など、様々な場面で広く利用されている。
【0003】
H.26x標準(ITU-T Q6/16 VCEG)は、当初、テレビ電話又はテレビ会議などの通信の用途に適合する符号化を目的として策定された標準規格である。H.26x標準は、MPEG−y標準と比較して、符号化及び復号により多くの演算量を要する一方、より高い圧縮率を実現できることが知られている。また、MPEG4の活動の一環としてのJoint Model of Enhanced-Compression Video Codingでは、H.26x標準をベースとしながら新たな機能をも取り入れることで、より高い圧縮率を実現可能な標準規格が策定された。この標準規格は、2003年3月に、H.264及びMPEG−4 Part10(Advanced Video Coding;AVC)という名称で国際標準となった。
【0004】
上述した画像符号化方式において重要な技術の1つは、画面内予測、即ちイントラ予測である。イントラ予測は、画像内の隣り合うブロック間の相関を利用し、あるブロック内の画素値を隣り合う他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。MPEG4以前の画像符号化方式では、直交変換係数の直流成分及び低周波成分のみがイントラ予測の対象とされていたが、H.264/AVCでは、全ての画素値についてイントラ予測が可能となった。イントラ予測を用いることで、例えば青空の画像のように、画素値の変化の緩やかな画像については、圧縮率の大幅な向上が見込まれる。
【0005】
H.264/AVCでは、例えば、4×4画素、8×8画素又は16×16画素のブロックを1つの処理単位(即ち、予測単位(Prediction Unit:PU))として、イントラ予測が行われ得る。また、H.264/AVCに続く次世代の画像符号化方式として標準化が進められているHEVC(High Efficiency Video Coding)では、予測単位のサイズは、32×32画素及び64×64画素にまで拡張されようとしている(下記非特許文献1参照)。
【0006】
イントラ予測に際しては、通常、予測対象のブロックの画素値を予測するために最適な予測モードが、複数の予測モードから選択される。予測モードは、典型的には、参照画素から予測対象画素への予測方向によって区別され得る。例えば、H.264/AVCにおいて、色差成分の予測に際しては、平均値予測、水平予測、垂直予測及び平面予測という4つの予測モードが選択可能である。さらに、HEVCでは、動的に構築される輝度成分の線型関数を予測関数として用いて色差成分の画素値を予測する、線型モデル(LM:Linear Model)モードと呼ばれる追加的な予測モードが採用される見込みである(下記非特許文献2参照)。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】Sung-Chang Lim, Hahyun Lee, et al. “Intra coding using extended block size”(VCEG-AL28,2009年7月)
【非特許文献2】Jianle Chen, et al. “CE6.a.4: Chroma intra prediction by reconstructed luma samples”(JCTVC-E266,2011年3月)
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、上記非特許文献2に記載されている手法では、LMモードの予測関数を構築するために要する処理コストが、参照画素が多くなるに従って増加する。そのため、予測単位のサイズが最大で64×64画素にまで拡張されるHEVCでは、LMモードの採用により増加する処理コストが、符号化及び復号のパフォーマンスを低下させる恐れがある。
【0009】
従って、LMモードのように、動的に構築される予測関数に基づくイントラ予測が行われる場合に、予測関数の構築に要する処理コストの増加を回避し又は緩和することのできる手法が提供されることが望ましい。
【課題を解決するための手段】
【0010】
本開示によれば、復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、を備える画像処理装置が提供される。
【0011】
上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。
【0012】
また、本開示によれば、復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、を含む画像処理方法が提供される。
【0013】
また、本開示によれば、符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、を備える画像処理装置が提供される。
【0014】
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。
【0015】
また、本開示によれば、符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、を含む画像処理方法が提供される。
【0016】
また、本開示によれば、復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行う予測部と、前記予測部によりイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第1の比率で間引く間引き部と、を備える画像処理装置が提供される。
【0017】
上記画像処理装置は、画像を符号化する画像符号化装置として実現されてもよく、画像を復号する画像復号装置として実現されてもよい。
【0018】
また、本開示によれば、復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行うことと、前記色差成分のイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第1の比率で間引くことと、を含む画像処理方法が提供される。
【発明の効果】
【0019】
本開示に係る技術によれば、動的に構築される予測関数に基づくイントラ予測が行われる場合に、予測関数の構築に要する処理コストの増加を回避し又は緩和することができる。
【図面の簡単な説明】
【0020】
【図1】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図2】一実施形態に係る画像符号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図3】4×4画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図4】図3の例に関連する予測方向について説明するための説明図である。
【図5】図3の例に関連する参照画素について説明するための説明図である。
【図6】8×8画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図7】16×16画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図8】色差成分についての予測モードの候補の例を説明するための説明図である。
【図9A】LMモードにおける参照画素について説明するための第1の説明図である。
【図9B】LMモードにおける参照画素について説明するための第2の説明図である。
【図10】第1のシナリオにおける参照比の定義の一例を示す説明図である。
【図11A】第1のシナリオに従って制御される参照画素数の第1の例を示す説明図である。
【図11B】第1のシナリオに従って制御される参照画素数の第2の例を示す説明図である。
【図12】第2のシナリオにおける参照比の定義の一例を示す説明図である。
【図13A】第2のシナリオに従って制御される参照画素数の第1の例を示す説明図である。
【図13B】第2のシナリオに従って制御される参照画素数の第2の例を示す説明図である。
【図13C】第2のシナリオに従って制御される参照画素数の第3の例を示す説明図である。
【図13D】第2のシナリオに従って制御される参照画素数の第4の例を示す説明図である。
【図14】第3のシナリオにおける参照比の定義の一例を示す説明図である。
【図15A】第3のシナリオに従って制御される参照画素数の第1の例を示す説明図である。
【図15B】第3のシナリオに従って制御される参照画素数の第2の例を示す説明図である。
【図16】第4のシナリオにおける参照比の定義の一例を示す説明図である。
【図17A】第4のシナリオに従って制御される参照画素数の第1の例を示す説明図である。
【図17B】第4のシナリオに従って制御される参照画素数の第2の例を示す説明図である。
【図18A】第5のシナリオに従って制御される参照画素数の第1の例を示す説明図である。
【図18B】第5のシナリオに従って制御される参照画素数の第2の例を示す説明図である。
【図19】一実施形態に係る符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【図20】図19のLMモード予測処理の詳細な流れの一例を示すフローチャートである。
【図21】一実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図22】一実施形態に係る画像復号装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図23】一実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【図24】輝度成分のリサンプリング後の画素値を保持するメモリのサイズについて説明するための説明図である。
【図25】第1の変形例に係る間引き処理の一例について説明するための説明図である。
【図26A】図25の例とは異なる間引き率について説明するための第1の説明図である。
【図26B】図25の例とは異なる間引き率について説明するための第2の説明図である。
【図26C】図25の例とは異なる間引き率について説明するための第3の説明図である。
【図27A】参照画素の間引き位置と輝度成分の間引き位置との対応の第1の例について説明するための説明図である。
【図27B】参照画素の間引き位置と輝度成分の間引き位置との対応の第2の例について説明するための説明図である。
【図28】第2の変形例において採用される新たな処理の順序について説明するための説明図である。
【図29】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図30】携帯電話機の概略的な構成の一例を示すブロック図である。
【図31】記録再生装置の概略的な構成の一例を示すブロック図である。
【図32】撮像装置の概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【0021】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0022】
また、以下の順序で説明を行う。
1.一実施形態に係る画像符号化装置の構成例
2.一実施形態に係る符号化時の処理の流れ
3.一実施形態に係る画像復号装置の構成例
4.一実施形態に係る復号時の処理の流れ
5.変形例
6.応用例
7.まとめ
【0023】
<1.一実施形態に係る画像符号化装置の構成例>
[1−1.全体的な構成例]
図1は、一実施形態に係る画像符号化装置10の構成の一例を示すブロック図である。図1を参照すると、画像符号化装置10は、A/D(Analogue to Digital)変換部11、並べ替えバッファ12、減算部13、直交変換部14、量子化部15、可逆符号化部16、蓄積バッファ17、レート制御部18、逆量子化部21、逆直交変換部22、加算部23、デブロックフィルタ24、フレームメモリ25、セレクタ26及び27、動き探索部30、並びにイントラ予測部40を備える。
【0024】
A/D変換部11は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ12へ出力する。
【0025】
並べ替えバッファ12は、A/D変換部11から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ12は、符号化処理に係るGOP(Group of Pictures)構造に応じて画像を並べ替えた後、並べ替え後の画像データを減算部13、動き探索部30及びイントラ予測部40へ出力する。
【0026】
減算部13には、並べ替えバッファ12から入力される画像データ、及び後に説明する動き探索部30又はイントラ予測部40から入力される予測画像データが供給される。減算部13は、並べ替えバッファ12から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部14へ出力する。
【0027】
直交変換部14は、減算部13から入力される予測誤差データについて直交変換を行う。直交変換部14により実行される直交変換は、例えば、離散コサイン変換(Discrete Cosine Transform:DCT)又はカルーネン・レーベ変換などであってよい。直交変換部14は、直交変換処理により取得される変換係数データを量子化部15へ出力する。
【0028】
量子化部15には、直交変換部14から入力される変換係数データ、及び後に説明するレート制御部18からのレート制御信号が供給される。量子化部15は、変換係数データを量子化し、量子化後の変換係数データ(以下、量子化データという)を可逆符号化部16及び逆量子化部21へ出力する。また、量子化部15は、レート制御部18からのレート制御信号に基づいて量子化パラメータ(量子化スケール)を切り替えることにより、可逆符号化部16に入力される量子化データのビットレートを変化させる。
【0029】
可逆符号化部16は、量子化部15から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部16による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部16は、セレクタ27から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部16は、生成した符号化ストリームを蓄積バッファ17へ出力する。
【0030】
蓄積バッファ17は、可逆符号化部16から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ17は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部(例えば、通信インタフェース又は周辺機器との接続インタフェースなど)へ出力する。
【0031】
レート制御部18は、蓄積バッファ17の空き容量を監視する。そして、レート制御部18は、蓄積バッファ17の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部15へ出力する。例えば、レート制御部18は、蓄積バッファ17の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部18は、蓄積バッファ17の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【0032】
逆量子化部21は、量子化部15から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部21は、逆量子化処理により取得される変換係数データを、逆直交変換部22へ出力する。
【0033】
逆直交変換部22は、逆量子化部21から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部22は、復元した予測誤差データを加算部23へ出力する。
【0034】
加算部23は、逆直交変換部22から入力される復元された予測誤差データと動き探索部30又はイントラ予測部40から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部23は、生成した復号画像データをデブロックフィルタ24及びフレームメモリ25へ出力する。
【0035】
デブロックフィルタ24は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ24は、加算部23から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ25へ出力する。
【0036】
フレームメモリ25は、加算部23から入力される復号画像データ、及びデブロックフィルタ24から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【0037】
セレクタ26は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ25から読み出し、読み出した復号画像データを参照画像データとして動き探索部30に供給する。また、セレクタ26は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ25から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部40に供給する。
【0038】
セレクタ27は、インター予測モードにおいて、動き探索部30から出力されるインター予測の結果としての予測画像データを減算部13へ出力すると共に、インター予測に関する情報を可逆符号化部16へ出力する。また、セレクタ27は、イントラ予測モードにおいて、イントラ予測部40から出力されるイントラ予測の結果としての予測画像データを減算部13へ出力すると共に、イントラ予測に関する情報を可逆符号化部16へ出力する。セレクタ27は、インター予測モードとイントラ予測モードとを、動き探索部30及びイントラ予測部40から出力されるコスト関数値の大きさに応じて切り替える。
【0039】
動き探索部30は、並べ替えバッファ12から入力される符号化対象の画像データ(原画像データ)、及びセレクタ26を介して供給される復号画像データに基づいて、インター予測処理(フレーム間予測処理)を行う。例えば、動き探索部30は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部30は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部30は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部30は、選択した最適な予測モードを表す予測モード情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ27へ出力する。
【0040】
イントラ予測部40は、並べ替えバッファ12から入力される原画像データ、及びフレームメモリ25から供給される参照画像データとしての復号画像データに基づいて、画像内に設定されるブロックごとにイントラ予測処理を行う。そして、イントラ予測部40は、最適な予測モードを表す予測モード情報及びサイズ関連情報を含むイントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ27へ出力する。イントラ予測部40により選択可能な予測モードは、既存のイントラ予測モードに加えて、色差成分についての線型モデル(LM)モードを含む。本実施形態におけるLMモードは、上記非特許文献2に記載されているLMモードとは異なり、ブロックサイズに対する参照画素数の比率が変化し得るという特徴を有する。このようなイントラ予測部40によるイントラ予測処理について、後により詳細に説明する。
【0041】
[1−2.イントラ予測部の構成例]
図2は、図1に示した画像符号化装置10のイントラ予測部40の詳細な構成の一例を示すブロック図である。図2を参照すると、イントラ予測部40は、予測制御部42、係数算出部44、予測部46及びモード判定部48を有する。
【0042】
予測制御部42は、イントラ予測部40におけるイントラ予測処理を制御する。例えば、予測制御部42は、符号化単位(CU:Coding Unit)ごとに、輝度成分(Y)についてのイントラ予測処理を実行した後、色差成分(Cb、Cr)についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部42は、複数の予測モードで予測部46に各画素の予測画素値を生成させ、モード判定部48に輝度成分の最適な予測モードを判定させる。その結果、符号化単位内の予測単位の配置も決定される。色差成分についてのイントラ予測処理では、予測制御部42は、各予測単位について複数の予測モードで予測部46に各画素の予測画素値を生成させ、モード判定部48に色差成分の最適な予測モードを判定させる。
【0043】
輝度成分についての予測モードの候補は、H.264/AVCなどの既存の画像符号化方式において採用されている予測モードであってよく、他の予測モードを含んでもよい。色差成分についての予測モードの候補もまた、既存の画像符号化方式において採用されている予測モードを含み得る。さらに、色差成分についての予測モードの候補は、上述したLMモードを含む。上記非特許文献2に記載された手法では、LMモードの予測関数の係数を算出する際の参照画素数のブロックサイズに対する比率は一定である。従って、ブロックサイズが大きくなれば、それに応じて参照画素数は増大する。一方、本実施形態において、予測制御部42は、上記比率を可変的に制御する。ここでのブロックサイズとは、原則として予測単位のサイズをいう。本明細書では、予測制御部42により制御される上述した比率、即ちブロックサイズに対する参照画素数の比率を、「参照比」と呼ぶものとする。予測制御部42による参照比の制御は、典型的には、ブロックサイズに応じて行われ得る。さらに、予測制御部42は、予測単位に対応する色差成分のブロックサイズを左右するクロマフォーマットに応じて、参照比を制御してもよい。また、予測制御部42は、画像の符号化及び復号に関する装置のケイパビリティを定義付けるパラメータ(例えば、プロファイル又はレベル)に応じて、参照比を制御してもよい。予測制御部42による参照比の制御の複数のシナリオについて、後により詳細に説明する。
【0044】
係数算出部44は、LMモードにおいて予測部46により使用される予測関数の係数を、予測対象の画素が属する予測単位の周辺の画素、即ち参照画素を参照して算出する。予測部46により使用される予測関数は、典型的には、輝度成分の値の線型関数である。予測関数の係数の算出に際して係数算出部44により参照される参照画素の数は、上述したように、予測制御部42により制御される。
【0045】
予測部46は、予測制御部42による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、様々な予測モードの候補に従って予測する。予測部46により使用される予測モードの候補の例について、後により詳細に説明する。予測部46による予測の結果として生成される予測画像データは、予測モードごとにモード判定部48へ出力される。
【0046】
モード判定部48は、並べ替えバッファ12から入力される原画像データと予測部46から入力される予測画像データとに基づいて、各予測モードのコスト関数値を算出する。そして、モード判定部48は、算出したコスト関数値に基づき、輝度成分についての最適な予測モードと符号化単位内の予測単位の配置とを決定する。同様に、モード判定部48は、色差成分についてのコスト関数値に基づき、色差成分についての最適な予測モードを決定する。そして、モード判定部48は、決定した最適な予測モードを表す予測モード情報及びサイズ関連情報などを含むイントラ予測に関する情報、コスト関数値、並びに輝度成分及び色差成分の予測画素値を含む予測画像データを、セレクタ27へ出力する。モード判定部48から出力されるサイズ関連情報は、各予測単位のサイズを特定するための情報に加えて、クロマフォーマットを指定する情報を含んでもよい。
【0047】
[1−3.予測モードの候補]
次に、イントラ予測部40の予測部46により使用され得る予測モードの候補について説明する。
【0048】
(1)輝度成分についての予測モードの候補
輝度成分についての予測モードの候補は、H.264/AVCなどの既存の画像符号化方式において採用されている予測モードであってよい。図3〜図5は、予測単位のサイズが4×4画素である場合のそうした予測モードの候補について説明するための説明図である。
【0049】
図3を参照すると、4×4画素の予測単位において使用され得る9種類の予測モード(モード0〜モード8)が示されている。図4には、各モード番号にそれぞれ対応する予測方向が概略的に示されている。図5において、小文字のアルファベットa〜pは、4×4画素の予測単位内の各画素(即ち、予測対象画素)の画素値を表す。予測単位の周囲のRz(z=a,b,…,m)は、符号化済みの参照画素の画素値を表す。
【0050】
例えば、モード0における予測方向は垂直方向であり、各予測画素値は、次のように計算される:
a=e=i=m=Ra
b=f=j=n=Rb
c=g=k=o=Rc
d=h=l=p=Rd
【0051】
モード1における予測方向は水平方向であり、各予測画素値は、次のように計算される:
a=b=c=d=Ri
e=f=g=h=Rj
i=j=k=l=Rk
m=n=o=p=Rl
【0052】
モード2はDC予測(平均値予測)を表し、各予測画素値は、いずれの参照画素が利用可能かに応じて、次の4つの式のいずれかに従って計算される:
a=b=…=p=(Ra+Rb+Rc+Rd+Ri+Rj+Rk+Rl+4)>>3
a=b=…=p=(Ra+Rb+Rc+Rd+2)>>2
a=b=…=p=(Ri+Rj+Rk+Rl+2)>>2
a=b=…=p=128
【0053】
モード3における予測方向は斜め左下であり、各予測画素値は、次のように計算される:
a=(Ra+2Rb+Rc+2)>>2
b=e=(Rb+2Rc+Rd+2)>>2
c=f=i=(Rc+2Rd+Re+2)>>2
d=g=j=m=(Rd+2Re+Rf+2)>>2
h=k=n=(Re+2Rf+Rg+2)>>2
l=o=(Rf+2Rg+Rh+2)>>2
p=(Rg+3Rh+2)>>2
【0054】
モード4における予測方向は斜め右下であり、各予測画素値は、次のように計算される:
m=(Rj+2Rk+Rl+2)>>2
i=n=(Ri+2Rj+Rk+2)>>2
e=j=o=(Rm+2Ri+Rj+2)>>2
a=f=k=p=(Ra+2Rm+Ri+2)>>2
b=g=l=(Rm+2Ra+Rb+2)>>2
c=h=(Ra+2Rb+Rc+2)>>2
d=(Rb+2Rc+Rd+2)>>2
【0055】
モード5における予測方向は垂直右であり、各予測画素値は、次のように計算される:
a=j=(Rm+Ra+1)>>1
b=k=(Ra+Rb+1)>>1
c=l=(Rb+Rc+1)>>1
d=(Rc+Rd+1)>>1
e=n=(Ri+2Rm+Ra+2)>>2
f=o=(Rm+2Ra+Rb+2)>>2
g=p=(Ra+2Rb+Rc+2)>>2
h=(Rb+2Rc+Rd+2)>>2
i=(Rm+2Ri+Rj+2)>>2
m=(Ri+2Rj+Rk+2)>>2
【0056】
モード6における予測方向は水平下であり、各予測画素値は、次のように計算される:
a=g=(Rm+Ri+1)>>1
b=h=(Ri+2Rm+Ra+2)>>2
c=(Rm+2Ra+Rb+2)>>2
d=(Ra+2Rb+Rc+2)>>2
e=k=(Ri+Rj+1)>>1
f=l=(Rm+2Ri+Rj+2)>>2
i=o=(Rj+Rk+1)>>1
j=p=(Ri+2Rj+Rk+2)>>2
m=(Rk+Rl+1)>>1
n=(Rj+2Rk+Rl+2)>>2
【0057】
モード7における予測方向は垂直左であり、各予測画素値は、次のように計算される:
a=(Ra+Rb+1)>>1
b=i=(Rb+Rc+1)>>1
c=j=(Rc+Rd+1)>>1
d=k=(Rd+Re+1)>>1
l=(Re+Rf+1)>>1
e=(Ra+2Rb+Rc+2)>>2
f=m=(Rb+2Rc+Rd+2)>>2
g=n=(Rc+2Rd+Re+2)>>2
h=o=(Rd+2Re+Rf+2)>>2
p=(Re+2Rf+Rg+2)>>2
【0058】
モード8における予測方向は水平上であり、各予測画素値は、次のように計算される:
a=(Ri+Rj+1)>>1
b=(Ri+2Rj+Rk+2)>>2
c=e=(Rj+Rk+1)>>1
d=f=(Rj+2Rk+Rl+2)>>2
g=i=(Rk+Rl+1)>>1
h=j=(Rk+3Rl+2)>>2
k=l=m=n=o=p=Rl
【0059】
図6を参照すると、8×8画素の予測単位において使用され得る9種類の予測モード(モード0〜モード8)が示されている。モード0における予測方向は、垂直方向である。モード1における予測方向は、水平方向である。モード2は、DC予測(平均値予測)を表す。モード3における予測方向は、斜め左下である。モード4における予測方向は、斜め右下である。モード5における予測方向は、垂直右である。モード6における予測方向は、水平下である。モード7における予測方向は、垂直左である。モード8における予測方向は、水平上である。
【0060】
図7を参照すると、16×16画素の予測単位において使用され得る4種類の予測モード(モード0〜モード3)が示されている。モード0における予測方向は、垂直方向である。モード1における予測方向は、水平方向である。モード2は、DC予測(平均値予測)を表す。モード3は、平面予測を表す。
【0061】
(2)色差成分についての予測モードの候補
色差成分についての予測モードは、輝度成分についての予測モードとは独立して選択され得る。図8には、色差成分のブロックサイズが8×8画素である場合に使用され得る予測モードの候補のうち、H.264/AVCなどの既存の画像符号化方式において採用されている4つの予測モード(モード0〜モード3)が示されている。
【0062】
モード0はDC予測(平均値予測)を表す。ここで、画素位置(x,y)の予測画素値をPrC(x,y)、左の8つの参照画素値をReC(−1,n)、上の8つの参照画素値をReC(n,−1)とする。下付き文字のCは、色差成分を意味する。nは0以上7以下の整数である。すると、予測画素値PrC(x,y)は、いずれの参照画素が利用可能かに応じて、次の3つの式のいずれかに従って計算される:
【0063】
【数1】
【0064】
モード1における予測方向は水平方向であり、予測画素値PrC(x,y)は、次のように計算される:
【0065】
【数2】
【0066】
モード2における予測方向は垂直方向であり、予測画素値PrC(x,y)は、次のように計算される:
【0067】
【数3】
【0068】
モード3は、平面予測を表す。予測画素値PrC(x,y)は、次のように計算される:
【0069】
【数4】
【0070】
さらに、本実施形態では、色差成分について、次項で説明するLMモードが(例えばモード4として)選択可能である。
【0071】
[1−4.LMモードの詳細]
LMモードでは、色差成分についての予測画素値は、対応する輝度成分の値の線型関数を用いて計算される。例えば、LMモードにおいて使用される予測関数は、上記非特許文献2に記載されている次のような線型一次関数であってよい:
【0072】
【数5】
【0073】
式(1)において、ReL´(x,y)は、復号画像(いわゆるリコンストラクト画像)の輝度成分のリサンプリング後の画素位置(x,y)の値を表す。画像の符号化の際には、復号画像の代わりに原画像が用いられる。輝度成分のリサンプリングは、クロマフォーマットに依存して色差成分の解像度が輝度成分の解像度と異なる場合に行われる。例えば、クロマフォーマットが4:2:0である場合には、水平方向及び垂直方向の双方について画素数が1/2となるように、次式に従って輝度成分のリサンプリングが行われる。なお、ReL(u,v)は、リサンプリング前の画素位置(u,v)の輝度成分の値を表す。
【0074】
【数6】
【0075】
クロマフォーマットが4:2:2である場合には、水平方向について画素数が1/2となるように、輝度成分のリサンプリングが行われる。クロマフォーマットが4:4:4である場合には、輝度成分のリサンプリングは行われない。
【0076】
式(1)の係数αは、次の式(3)に従って算出される。また、式(1)の係数βは、次の式(4)に従って算出され得る。
【0077】
【数7】
【0078】
式(3)及び式(4)において、Iは参照画素数を表す。例えば、色差成分のブロックサイズが8×8画素であって、左の8つの参照画素及び上の8つの参照画素が共に利用可能であれば、I=8+8=16である。
【0079】
上述した式(1)〜式(4)は、上記非特許文献2に記載されている式と同様である。図9A及び図9Bは、このような線型モデルにおける参照画素についてさらに説明するための説明図である。
【0080】
図9Aの例において、予測単位(PU)のサイズは16×16画素、クロマフォーマットは4:2:0である。この場合、色差成分のブロックサイズは8×8画素である。色差成分の参照画素ReC(i)の数は、(左及び上の双方の参照画素が利用可能であるとして)8+8=16である。輝度成分の参照画素ReL´(i)の数もまた、リサンプリングの結果として8+8=16である。
【0081】
図9Bの例において、予測単位(PU)のサイズは8×8画素、クロマフォーマットは4:2:0である。この場合、色差成分のブロックサイズは4×4画素である。色差成分の参照画素ReC(i)の数は、4+4=8である。輝度成分の参照画素ReL´(i)の数もまた、リサンプリングの結果として4+4=8である。
【0082】
図9A及び図9Bの2つの例を比較すると、クロマフォーマットなどの他の条件が同じであるとすれば、ブロックサイズに対する参照画素数の比率は変わっていない。即ち、図9Aの例では予測単位の一辺のサイズが16画素であって参照画素数Iが16であるのに対し、図9Bの例では予測単位の一辺のサイズが8画素であって参照画素数Iが8である。このように、ブロックサイズが大きくなるにつれて参照画素数Iが増えれば、上記式(3)及び式(4)を用いた係数α及び係数βの算出に要する処理コストも増加する。特に式(3)に着目すれば理解されるように、画素値の乗算の回数は、参照画素数Iの二乗のオーダで増加する。従って、係数α及び係数βの算出に際して参照画素数を適切に制御しなければ、ブロックサイズが大きい場合に符号化及び復号のパフォーマンスが低下してしまう可能性が高い。
【0083】
そこで、予測制御部42は、係数算出部44がLMモードにおいて予測関数の係数α及び係数βを算出する際の参照画素数を、次項で説明するように可変的に制御する。
【0084】
[1−5.参照画素数の制御]
典型的には、予測制御部42は、ブロックサイズに対する参照画素数の比率である参照比を、ブロックサイズがより大きいほどより小さくなるように制御する。それにより、ブロックサイズが拡大する場合の処理コストの増加が抑制される。予測制御部42は、処理コストが問題とならない程度にブロックサイズが小さい場合には、ブロックサイズが異なっても参照比を変化させなくてもよい。以下、図10〜図18Bを用いて、参照比の制御の例示的な5つのシナリオについて説明する。
【0085】
(1)第1のシナリオ
図10は、第1のシナリオにおける参照比の定義の一例を示す説明図である。
【0086】
第1のシナリオにおいて、予測単位(PU)のサイズが4×4画素である場合には、参照比は「1:1」である。参照比「1:1」は、図9A又は図9Bに示したような参照画素が全て使用されることを意味する。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、2(垂直方向Iv)+2(水平方向Ih)=4となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、4+2=6となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、4+4=8となる。
【0087】
同様に、予測単位のサイズが8×8画素である場合にも、参照比は「1:1」である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、4+4=8となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、8+4=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、8+8=16となる。
【0088】
これに対し、予測単位のサイズが16×16画素である場合には、参照比は「2:1」である。参照比「2:1」は、図9A又は図9Bに示したような参照画素のうち半分の参照画素のみが使用されることを意味する。即ち、係数算出部44は、係数α及び係数βの算出の際に、半分の参照画素を間引いた上で、残りの参照画素のみを使用する。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、(8/2)+(8/2)=8となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、(16/2)+(8/2)=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、(16/2)+(16/2)=16となる。
【0089】
図11Aに、PUサイズが16×16画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図11Aの例では、色差成分の参照画素及び輝度成分の参照画素が、それぞれ1つおきに間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0090】
さらに、予測単位のサイズが32×32画素である場合には、参照比は「4:1」である。参照比「4:1」は、図9A又は図9Bに示したような参照画素のうち4分の1の参照画素のみが使用されることを意味する。即ち、係数算出部44は、係数α及び係数βの算出の際に、4分の3の参照画素を間引いた上で、残りの参照画素のみを使用する。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、(16/4)+(16/4)=8となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、(32/4)+(16/4)=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、(32/4)+(32/4)=16となる。
【0091】
図11Bに、PUサイズが32×32画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図11Bの例では、色差成分の参照画素及び輝度成分の参照画素が、それぞれ、連続する4つにつき3つずつ間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0092】
第1のシナリオのようなブロックサイズと参照比との間のマッピングによれば、ブロックサイズが8×8画素以上である場合には、クロマフォーマットが同一である限り参照画素数Iは一定となる。従って、ブロックサイズが拡大する場合の処理コストの増加が抑制される。また、このようにブロックサイズが所定のサイズを上回る場合に参照画素数が一定となるように参照比を制御することにより、係数算出部44における係数算出処理を小規模の共通的な回路又はロジックを用いて行うことが可能となる。それにより、回路規模又はロジックの規模の増大をも抑制することができる。
【0093】
また、ブロックサイズが所定のサイズを下回る場合に間引かれる参照画素の数をゼロとすることで、参照画素数が不足することによるLMモードの予測精度の低下が防がれる。特に、画像の内容が複雑である(即ち画素値の空間的な変動が激しい)ことに起因してイントラ予測が比較的困難な場合には、より小さい予測単位が画像内に設定されやすい。そうした場合に十分な参照画素数を確保することで、LMモードの予測精度の低下を防ぐことができる。
【0094】
なお、ここでは、係数算出部44による係数の算出の際に間引かれる参照画素の数が参照比に応じて変化する、というように説明した。即ち、係数算出部44は、LMモードでのイントラ予測が行われる際に参照される参照画素を、予測対象のブロックサイズに応じた参照比で間引く間引き部としての役割をも有する。後に説明する画像復号装置60の係数算出部94についても同様である。しかしながら、参照画素数は、参照画素を間引く代わりに、複数の参照画素値から1つの代表値を導くことにより可変的に制御されてもよい。例えば、参照比が「4:1」であれば、連続する4つの参照画素の画素値の平均値又は中央値が1つの代表値として用いられてもよい。これは、本明細書で説明する他のシナリオにおいても同様である。参照画素を間引く処理は実装が極めて容易である一方、上述した代表値を使用すれば予測精度を向上させることができる。
【0095】
(2)第2のシナリオ
図12は、第2のシナリオにおける参照比の定義の一例を示す説明図である。第2のシナリオでは、予測制御部42は、予測単位のサイズに加えてクロマフォーマットに応じて、参照比を制御する。また、予測制御部42は、垂直方向のサイズに対する左の参照画素数の比率である第1の参照比と、水平方向のサイズに対する上の参照画素数の比率である第2の参照比とを別々に制御する。
【0096】
第2のシナリオにおいて、予測単位のサイズが4×4画素、クロマフォーマットが4:2:0である場合には、垂直方向の参照比及び水平方向の参照比は共に「1:1」である。この場合、参照画素は間引かれず、参照画素数Iは、2+2=4となる。予測単位のサイズが4×4画素、クロマフォーマットが4:2:2である場合には、垂直方向の参照比は「2:1」、水平方向の参照比は「1:1」である。この場合、垂直方向の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Iは、(4/2)+2=4となる。予測単位のサイズが4×4画素、クロマフォーマットが4:4:4である場合には、垂直方向の参照比及び水平方向の参照比は共に「2:1」である。この場合、垂直方向及び水平方向の双方の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Iは、(4/2)+(4/2)=4となる。
【0097】
予測単位のサイズが8×8画素、クロマフォーマットが4:2:0である場合には、垂直方向の参照比及び水平方向の参照比は共に「1:1」である。この場合、参照画素は間引かれず、参照画素数Iは、4+4=8となる。予測単位のサイズが8×8画素、クロマフォーマットが4:2:2である場合には、垂直方向の参照比は「2:1」、水平方向の参照比は「1:1」である。この場合、垂直方向の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Iは、(8/2)+4=8となる。予測単位のサイズが8×8画素、クロマフォーマットが4:4:4である場合には、垂直方向の参照比及び水平方向の参照比は共に「2:1」である。この場合、垂直方向及び水平方向の双方の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Iは、(8/2)+(8/2)=8となる。
【0098】
図13Aに、PUサイズが8×8画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図13Aの例では、色差成分の参照画素及び輝度成分の参照画素は、共に間引かれていない。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0099】
また、図13Bに、PUサイズが8×8画素、クロマフォーマットが4:2:2である場合の参照画素の設定の一例を示している。図13Bの例では、色差成分及び輝度成分の垂直方向の参照画素が1つおきに間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0100】
さらに、図13Cに、PUサイズが8×8画素、クロマフォーマットが4:4:4である場合の参照画素の設定の一例を示している。図13Cの例では、色差成分及び輝度成分の垂直方向及び水平方向の参照画素が1つおきに間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0101】
予測単位のサイズが16×16画素、クロマフォーマットが4:2:0である場合には、垂直方向の参照比及び水平方向の参照比は共に「2:1」である。この場合、参照画素数Iは、(8/2)+(8/2)=8となる。予測単位のサイズが16×16画素、クロマフォーマットが4:2:2である場合には、垂直方向の参照比は「4:1」、水平方向の参照比は「2:1」である。この場合、参照画素数Iは、(16/4)+(8/2)=8となる。予測単位のサイズが16×16画素、クロマフォーマットが4:4:4である場合には、垂直方向の参照比及び水平方向の参照比は共に「4:1」である。この場合、参照画素数Iは、(16/4)+(16/4)=8となる。
【0102】
図13Dに、PUサイズが16×16画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図13Dの例では、色差成分及び輝度成分の垂直方向及び水平方向の参照画素が1つおきに間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0103】
予測単位のサイズが32×32画素、クロマフォーマットが4:2:0である場合には、垂直方向の参照比及び水平方向の参照比は共に「4:1」である。この場合、参照画素数Iは、(16/4)+(16/4)=8となる。予測単位のサイズが32×32画素、クロマフォーマットが4:2:2である場合には、垂直方向の参照比は「8:1」、水平方向の参照比は「4:1」である。この場合、参照画素数Iは、(32/8)+(16/4)=8となる。予測単位のサイズが32×32画素、クロマフォーマットが4:4:4である場合には、垂直方向の参照比及び水平方向の参照比は共に「8:1」である。この場合、参照画素数Iは、(32/8)+(32/8)=8となる。
【0104】
上述した説明から理解されるように、第2のシナリオでは、予測制御部42は、クロマフォーマットにより表される色差成分の解像度がより高いほど参照比がより小さくなるように、参照比を制御する。それにより、色差成分のブロックサイズの拡大に伴う処理コストの増加が抑制される。また、第2のシナリオでは、予測制御部42は、クロマフォーマットが4:2:2である場合に、ブロックの左の参照画素数がブロックの上の参照画素数と等しくなるように、垂直方向の参照比と水平方向の参照比とを別々に制御する。それにより、クロマフォーマットが互いに異なる複数のケースで参照画素数を同一にすることが可能となる。結果として、係数算出部44における係数算出処理をクロマフォーマットによらず共通的な回路又はロジックを用いて行うことが可能となる。従って、第2のシナリオによれば、回路又はロジックの効率的な実装が促進される。
【0105】
(3)第3のシナリオ
図14は、第3のシナリオにおける参照比の定義の一例を示す説明図である。第3のシナリオにおいても、予測制御部42は、垂直方向のサイズに対する左の参照画素数の比率である第1の参照比と、水平方向のサイズに対する上の参照画素数の比率である第2の参照比とを別々に制御する。また、第3のシナリオでは、予測制御部42は、同じブロックサイズについて垂直方向の参照比が水平方向の参照比以下となるように、これら参照比を制御する。
【0106】
第3のシナリオにおいて、予測単位のサイズが4×4画素である場合には、垂直方向及び水平方向の参照比は、共に「1:1」である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、2+2=4となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、4+2=6となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、4+4=8となる。
【0107】
予測単位のサイズが8×8画素である場合には、垂直方向の参照比は「2:1」、水平方向の参照比は「1:1」である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、(4/2)+4=6となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、(8/2)+4=8となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、(8/2)+8=12となる。
【0108】
図15Aに、PUサイズが8×8画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図15Aの例では、色差成分の参照画素及び輝度成分の参照画素のうち、垂直方向の下半分の参照画素が間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に6つとなっている。
【0109】
予測単位のサイズが16×16画素である場合には、垂直方向の参照比は「4:1」、水平方向の参照比は「1:1」である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、(8/4)+8=10となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、(16/4)+8=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、(16/4)+16=20となる。
【0110】
図15Bに、PUサイズが16×16画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図15Bの例では、色差成分の参照画素及び輝度成分の参照画素のうち、垂直方向の下側4分の3の参照画素が間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に10個となっている。
【0111】
予測単位のサイズが32×32画素である場合には、垂直方向の参照比は「8:1」、水平方向の参照比は「2:1」である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、(16/8)+(16/2)=10となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、(32/8)+(16/2)=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、(32/8)+(32/2)=20となる。
【0112】
画像を符号化又は復号する装置において、参照画素値は、多くの場合フレームメモリ又はラインメモリに格納され、水平方向のライン単位でアクセスされる。従って、第3のシナリオのように垂直方向の参照比を水平方向の参照比よりも低くすれば、使用される参照画素の数が同じであっても、メモリへのアクセス回数をより少なくすることができる。それにより、係数算出部44における係数算出処理を高速に実行することが可能となる。また、第3のシナリオのように、よりブロックの上方のラインの参照画素を優先的に使用することで、メモリへの連続的なアクセスを通じて参照画素値を短時間で取得することができる。
【0113】
(4)第4のシナリオ
図16は、第4のシナリオにおける参照比の定義の一例を示す説明図である。第4のシナリオにおいて、予測制御部42は、画像の符号化及び復号に関する装置のケイパビリティがより低い場合に参照比がより小さくなるように、参照比を制御する。HEVCでは、装置のケイパビリティを表すパラメータとして、例えばプロファイル若しくはレベル又はその双方を用いることができる。プロファイル及びレベルは、通常、符号化ストリームのシーケンスパラメータセット内で指定される。
【0114】
図16を参照すると、第4のシナリオにおいて、装置のケイパビリティが「高」及び「低」の2段階に区分されている。4×4画素のサイズを有する予測単位については、装置のケイパビリティに関わらず、参照比は「1:1」である。これに対し、8×8画素以上のサイズを有する予測単位については、ケイパビリティが「低」である場合の参照比は、ケイパビリティが「高」である場合の参照比の半分である。
【0115】
例えば、8×8画素の予測単位については、ケイパビリティが「高」であれば参照比は「1:1」である一方、ケイパビリティが「低」であれば参照比は「2:1」である。16×16画素の予測単位については、ケイパビリティが「高」であれば参照比は「2:1」である一方、ケイパビリティが「低」であれば参照比は「4:1」である。32×32画素の予測単位については、ケイパビリティが「高」であれば参照比は「4:1」である一方、ケイパビリティが「低」であれば参照比は「8:1」である。
【0116】
図17Aに、PUサイズが16×16画素、クロマフォーマットが4:2:0、ケイパビリティが「高」であって、参照比が「2:1」である場合の参照画素の設定の一例を示している。図17Aの例では、色差成分の参照画素及び輝度成分の参照画素のうち半分の参照画素が間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。
【0117】
また、図17Bに、PUサイズが16×16画素、クロマフォーマットが4:2:0、ケイパビリティが「低」であって、参照比が「4:1」である場合の参照画素の設定の一例を示している。図17Bの例では、色差成分の参照画素及び輝度成分の参照画素のうち4分の3の参照画素が間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に4つとなっている。
【0118】
第4のシナリオのように、装置のケイパビリティ(例えばデコーダの処理能力)の高さに応じて参照比を制御することで、ケイパビリティのより低い装置の使用が想定される場合に、参照画素数をより少なくすることができる。それにより、装置の処理能力を超える処理コストがLMモードでの係数算出処理において生じることを防ぐことができる。
【0119】
(5)第5のシナリオ
Xiaoran Cao Tsinghuaらは、“CE6.b1 Report on Short Distance Intra Prediction Method”(JCTVC-E278,2011年3月)において、サイズの小さい非正方形の予測単位を使用して符号化効率を向上させる、短距離イントラ予測法(Short Distance Intra Prediction Method)を提案している。短距離イントラ予測法では、例えば1×4画素、2×8画素、4×16画素、4×1画素、8×2画素、16×4画素などの様々なサイズの予測単位が画像内に設定され得る。この場合、予測単位の垂直方向のサイズ及び水平方向のサイズのうちいずれのサイズがより大きいかは、予測単位の設定に依存する。そこで、第5のシナリオでは、予測制御部42は、短距離イントラ予測法が用いられる場合に、垂直方向の参照比及び水平方向の参照比のうちサイズのより大きい方向に対応する参照比を動的に選択し、選択した参照比を制御する。
【0120】
図18Aに、PUサイズが2×8画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図18Aの例では、水平方向のサイズが垂直方向のサイズよりも大きいため、垂直方向の参照比が「1:1」であるのに対し、水平方向の参照比は「2:1」とされている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に1+(4/2)=3つとなっている。
【0121】
また、図18Bに、PUサイズが16×4画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図18Bの例では、垂直方向のサイズが水平方向のサイズよりも大きいため、水平方向の参照比が「1:1」であるのに対し、垂直方向の参照比は「4:1」とされている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に(8/4)+2=4つとなっている。
【0122】
第5のシナリオのように、短距離イントラ予測法が用いられる場合に、サイズのより大きい方向に対応する参照比を動的に選択してこれを制御することで、参照画素がより少ない方向について参照画素数の削減を回避し、予測精度の低下を防ぐことができる。
【0123】
ここまで、予測制御部42による参照比の制御の特徴的な5つのシナリオについて詳細に説明した。これらシナリオに沿った予測制御部42による参照比の制御は、例えば画像符号化方式の標準仕様において予め定義されるブロックサイズと参照比との間のマッピングに従って行われてよい。かかるマッピングを予め画一的に定義しておくことで、数多くの参照画素の設定パターンをサポートする必要性がなくなり、デコーダにおける回路又はロジックの共通化が容易となる。
【0124】
なお、多くの用途において利用される画像データのビット深度は8ビットである一方、10ビット又は12ビットなど、より大きいビット深度が一部の用途向けの画像データにおいて利用され得る。そこで、係数算出部44は、ビット深度が所定のビット数(例えば8ビット)を上回る場合に、参照画素値を上記所定のビット数に削減した上で、削減した参照画素値を用いて予測関数の係数α及び係数βを算出してもよい。それにより、ビット深度に関わらず共通的な小規模の回路又はロジックを用いて係数α及び係数βを算出することが可能となる。
【0125】
また、ここでは予測制御部42がブロックサイズに対する参照画素数の比率である「参照比」を制御する例について主に説明している。しかしながら、参照比と実質的に同等の概念が、例えば、削減される参照画素の比率を意味する「削減比」などの他の用語で表現されてもよい。「参照比」又は「削減比」は、“1:1”、“2:1”、“4:1”などの上述した形式で記述される代わりに、“100%(0%)”、“50%(50%)”若しくは“25%(75%)”などのパーセンテージ形式、又は0から1までの範囲内の数値形式で記述されてもよい。
【0126】
上述した5つのシナリオは、説明のための例に過ぎない。例えば、上述した5つのシナリオのうち2つ以上のシナリオが組み合わされてもよい。各シナリオにおいて示したようなブロックサイズと参照比(又は削減比)との間のマッピングは、予め定義される代わりに、適応的に選択されてもよい。その場合、選択されたマッピングを指定する情報が、符号化ストリームのパラメータセット又はヘッダ領域内で符号化側から復号側へ伝送され得る。
【0127】
<2.一実施形態に係る符号化時の処理の流れ>
次に、図19及び図20を用いて、符号化時の処理の流れを説明する。図19は、図2に例示した構成を有するイントラ予測部40による符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【0128】
図19を参照すると、まず、処理対象の符号化単位の輝度成分について、予測部46により様々な予測モードで予測画像データが生成され、モード判定部48により最適な予測モード及び予測単位の配置が決定される(ステップS100)。
【0129】
次に、係数算出部44及び予測部46により、色差成分についてLMモードでの予測処理が実行される(ステップS110)。また、係数算出部44及び予測部46により、色差成分について非LMモード(例えば、図8に例示したモード0〜モード3)でのイントラ予測処理が実行される(ステップS120)。ステップS110及びステップS120の処理は、予測制御部42による制御の下、各予測単位について実行され得る。
【0130】
次に、モード判定部48は、色差成分の予測モードの各々について、原画像データと予測画像データとに基づきコスト関数値を算出する(ステップS130)。そして、モード判定部48は、コスト関数値を互いに比較することにより、色差成分について最適な予測モードを決定する(ステップS140)。
【0131】
図20は、図19のステップS110におけるLMモード予測処理の詳細な流れの一例を示すフローチャートである。
【0132】
図20を参照すると、まず、予測制御部42は、各予測単位について、予測単位のサイズ及びその他のパラメータ(例えば、クロマフォーマット、プロファイル又はレベルなど)に応じた参照比を取得する(ステップS111)。
【0133】
次に、係数算出部44は、予測関数の係数を算出するための算出式(例えば、上記式(3)及び式(4))において参照される参照画素を、予測制御部42により指示される参照比に従って設定する(ステップS112)。ここで設定される参照画素の数は、参照比に応じて削減され得る。また、参照画素の輝度成分は、クロマフォーマットに依存してリサンプリングされ得る。
【0134】
次に、係数算出部44は、例えば上記式(3)に従い、設定した参照画素の画素値を用いて、予測関数の係数αを算出する(ステップS113)。さらに、係数算出部44は、例えば上記式(4)に従い、設定した参照画素の画素値を用いて、予測関数の係数βを算出する(ステップS114)。
【0135】
そして、予測部46は、対応する輝度成分の値を係数α及び係数βを用いて構築される予測関数(例えば、上記式(1))に代入することにより、各予測対象画素の予測画素値を算出する(ステップS115)。
【0136】
<3.一実施形態に係る画像復号装置の構成例>
本節では、図21及び図22を用いて、一実施形態に係る画像復号装置の構成例について説明する。
【0137】
[3−1.全体的な構成例]
図21は、一実施形態に係る画像復号装置60の構成の一例を示すブロック図である。図21を参照すると、画像復号装置60は、蓄積バッファ61、可逆復号部62、逆量子化部63、逆直交変換部64、加算部65、デブロックフィルタ66、並べ替えバッファ67、D/A(Digital to Analogue)変換部68、フレームメモリ69、セレクタ70及び71、動き補償部80、並びにイントラ予測部90を備える。
【0138】
蓄積バッファ61は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【0139】
可逆復号部62は、蓄積バッファ61から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部62は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、シーケンスパラメータセット内のプロファイル及びレベル、並びにブロックヘッダ内のインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部62は、インター予測に関する情報を動き補償部80へ出力する。また、可逆復号部62は、イントラ予測に関する情報をイントラ予測部90へ出力する。
【0140】
逆量子化部63は、可逆復号部62による復号後の量子化データを逆量子化する。逆直交変換部64は、符号化の際に使用された直交変換方式に従い、逆量子化部63から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部64は、生成した予測誤差データを加算部65へ出力する。
【0141】
加算部65は、逆直交変換部64から入力される予測誤差データと、セレクタ71から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部65は、生成した復号画像データをデブロックフィルタ66及びフレームメモリ69へ出力する。
【0142】
デブロックフィルタ66は、加算部65から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並べ替えバッファ67及びフレームメモリ69へ出力する。
【0143】
並べ替えバッファ67は、デブロックフィルタ66から入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ67は、生成した画像データをD/A変換部68へ出力する。
【0144】
D/A変換部68は、並べ替えバッファ67から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、D/A変換部68は、例えば、画像復号装置60と接続されるディスプレイ(図示せず)にアナログ画像信号を出力することにより、画像を表示させる。
【0145】
フレームメモリ69は、加算部65から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ66から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【0146】
セレクタ70は、可逆復号部62により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ69からの画像データの出力先を動き補償部80とイントラ予測部90との間で切り替える。例えば、セレクタ70は、インター予測モードが指定された場合には、フレームメモリ69から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部80へ出力する。また、セレクタ70は、イントラ予測モードが指定された場合には、フレームメモリ69から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部90へ出力する。
【0147】
セレクタ71は、可逆復号部62により取得されるモード情報に応じて、加算部65へ供給すべき予測画像データの出力元を動き補償部80とイントラ予測部90との間で切り替える。例えば、セレクタ71は、インター予測モードが指定された場合には、動き補償部80から出力される予測画像データを加算部65へ供給する。また、セレクタ71は、イントラ予測モードが指定された場合には、イントラ予測部90から出力される予測画像データを加算部65へ供給する。
【0148】
動き補償部80は、可逆復号部62から入力されるインター予測に関する情報とフレームメモリ69からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部80は、生成した予測画像データをセレクタ71へ出力する。
【0149】
イントラ予測部90は、可逆復号部62から入力されるイントラ予測に関する情報とフレームメモリ69からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部90は、生成した予測画像データをセレクタ71へ出力する。このようなイントラ予測部90によるイントラ予測処理について、後により詳細に説明する。
【0150】
[3−2.イントラ予測部の構成例]
図22は、図21に示した画像復号装置60のイントラ予測部90の詳細な構成の一例を示すブロック図である。図22を参照すると、イントラ予測部90は、予測制御部92、係数算出部94及び予測部96を有する。
【0151】
予測制御部92は、イントラ予測部90におけるイントラ予測処理を制御する。例えば、予測制御部92は、イントラ予測に関する情報に含まれる予測モード情報に基づいて、各符号化単位に1つ以上の予測単位を設定する。そして、予測制御部92は、まず輝度成分(Y)についてのイントラ予測処理を実行した後、色差成分(Cb、Cr)についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部92は、予測モード情報により指定される予測モードで予測部96に各画素の輝度成分の予測画素値を生成させる。同様に、色差成分についてのイントラ予測処理において、予測制御部92は、予測モード情報により指定される予測モードで予測部96に各画素の色差成分の予測画素値を生成させる。
【0152】
本実施形態では、色差成分についての予測モードの候補は、上述したLMモードを含む。そして、予測制御部92は、LMモードの予測関数の係数を算出する際の参照画素数のブロックサイズに対する比率、即ち参照比を、可変的に制御する。予測制御部92による参照比の制御は、典型的には、ブロックサイズに応じて行われ得る。例えば、予測制御部92は、ブロックサイズが所定のサイズを上回る場合に、予測関数の係数を算出する際の参照画素数が一定となるように、参照比を制御してもよい。ブロックサイズと参照比との間のマッピングは、予め定義され画像復号装置60の記憶媒体により記憶されていてもよく、又は符号化ストリームのヘッダ領域内で動的に指定されてもよい。さらに、予測制御部92は、クロマフォーマットに応じて、参照比を制御してもよい。また、予測制御部92は、装置のケイパビリティを定義付けるプロファイル又はレベルに応じて、参照比を制御してもよい。予測制御部92による参照比の制御は、上述した5つのシナリオのいずれか、それらの任意の組合せ、又は他のシナリオに従って行われ得る。
【0153】
係数算出部94は、色差成分についてLMモードが指定された場合に予測部96により使用される予測関数の係数を、予測対象の画素が属する予測単位の周辺の画素、即ち参照画素を参照して算出する。予測部96により使用される予測関数は、典型的には輝度成分の値の線型関数であり、例えば上記式(1)により表される。予測関数の係数の算出に際して係数算出部94により参照される参照画素の数は、上述したように、予測制御部92により制御される。係数算出部94は、参照比が「1:1」でない場合には、例えば参照比に応じた数の参照画素を間引いた上で、残りの参照画素のみを用いて予測関数の係数を算出し得る。係数算出部94は、例えば、所定のサイズを上回る複数のブロックサイズについて共通的な回路又はロジックを用いて予測関数の係数を算出してもよい。また、係数算出部94は、画素値のビット深度が所定のビット数を上回る場合に、参照画素値を当該所定のビット数に削減した上で、削減した参照画素値を用いて予測関数の係数を算出してもよい。
【0154】
予測部96は、予測制御部92による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、フレームメモリ69からの参照画像データを用いて、指定された予測モードに従って生成する。予測部96により色差成分について使用される予測モードの候補は、上述したLMモードを含み得る。LMモードが指定された場合には、予測部96は、係数算出部94により算出される係数α及び係数βを用いて構築される予測関数に、対応する輝度成分の(必要に応じてリサンプリングされた)値を代入することにより、色差成分の予測画素値を生成する。予測部96は、予測の結果として生成される予測画像データを、セレクタ71を介して加算部65へ出力する。
【0155】
<4.一実施形態に係る復号時の処理の流れ>
次に、図23を用いて、復号時の処理の流れを説明する。図23は、図22に例示した構成を有するイントラ予測部90による復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【0156】
図23を参照すると、まず、予測制御部92は、各符号化単位に1つ以上の予測単位を設定する(ステップS200)。その後のステップS210〜S260の処理は、予測制御部42による制御の下、各予測単位について実行され得る。
【0157】
次に、予測制御部92は、予測モード情報により指定されている輝度成分の予測モードを認識する(ステップS210)。そして、予測部96は、予測単位内の各画素の輝度成分の予測画素値を、フレームメモリ69からの参照画像データを用いて、指定された予測モードに従って生成する(ステップS220)。
【0158】
次に、予測制御部92は、予測モード情報により指定されている色差成分の予測モードを認識する(ステップS230)。そして、予測制御部92は、LMモードが指定されているか否かを判定する(ステップS240)。ここで、LMモードが指定されている場合には、予測制御部92は、係数算出部94及び予測部96に色差成分についてLMモードでの予測処理を実行させる(ステップS250)。ステップS250におけるLMモード予測処理は、図20を用いて説明したLMモード予測処理と同様であってよい。一方、LMモードが指定されていない場合には、予測制御部92は、予測部96に色差成分について非LMモードでのイントラ予測処理を実行させる(ステップS260)。
【0159】
<5.変形例>
上述した実施形態において、画像符号化装置10のイントラ予測部40の予測部46は、LMモードでの色差成分についての予測画素値を、上記式(1)に従って計算する。同様に、画像復号装置60のイントラ予測部90の予測部96もまた、LMモードでの色差成分についての予測画素値を、上記式(1)に従って計算する。式(1)の右辺のReL´(x,y)は、復号画像の輝度成分のリサンプリング後の画素位置(x,y)の値を表す。従って、予測画素値の計算がブロック単位で行われる場合には、色差成分についての予測画素値の計算が行われるまで、ブロック単位で輝度成分のリサンプリング後の画素値が保持されることになる。
【0160】
例えば、図24の左に示したLCU1は、10個の符号化単位CU0〜CU9に分割される。一例として、LCU1のサイズは128×128画素、符号化単位CU0及びCU5のサイズは64×64画素、符号化単位CU1〜CU4及びCU6〜CU9のサイズは32×32画素である。通常はこれら符号化単位ごとに予測画素値の計算が行われることから、この場合、クロマフォーマットが4:2:0であれば、輝度成分のリサンプリング後の画素値を保持しておくために、(特に符号化単位CU0及びCU5について)32×32画素のメモリが用意され得る。一方、図24の右に示したLCU2のサイズは128×128画素であり、LCU2内には1つのCU10のみが含まれる。この場合、クロマフォーマットが4:2:0であれば、輝度成分のリサンプリング後の画素値を保持しておくために、64×64画素のメモリが用意され得る。画素のビット深度がより大きければ、メモリリソースの消費量もより多くなる。
【0161】
上述したメモリリソースの消費量の増大は、メモリリソースに制約のある装置にとっては好ましくない。そこで、本節では、LMモードの導入に関連してメモリリソースの消費量を削減するための2つの変形例を説明する。
【0162】
[5−1.第1の変形例]
第1の変形例において、画像符号化装置10の予測部46及び画像復号装置60の予測部96は、各色差成分に対応する輝度成分をある間引き率で間引く。各色差成分に対応する輝度成分とは、例えば上記式(2)に従ったリサンプリングの後の各輝度成分に相当する。そして、予測部46及び予測部96は、間引かれた輝度成分に対応する各色差成分の予測値を、間引かれていない輝度成分の値を用いて生成する。
【0163】
図25は、本変形例に係る間引き処理の一例について説明するための説明図である。図25を参照すると、一例として、8×8画素の予測単位(PU)が示されている。クロマフォーマットは4:2:0、間引き率は25%であるものとする。なお、ここでの間引き率は、間引き前の画素数に対する間引き後の画素数の割合を示す。図25の例において、1つのPUに含まれる色差成分の数は4×4個である。各色差成分に対応する輝度成分の数もまた、リサンプリングによって4×4個となる。これらリサンプリング後の輝度成分が間引き率25%で間引かれる結果、LMモードでの色差成分の予測に用いられる輝度成分の数は、2×2個となる。より具体的には、図25の右下の例において、4つの輝度成分Lu1〜Lu4のうち、輝度成分Lu1以外の輝度成分Lu2、Lu3及びLu4が間引かれている。同様に、4つの輝度成分Lu5〜Lu8のうち、輝度成分Lu5以外の輝度成分Lu6、Lu7及びLu8が間引かれている。図25の左下の色差成分Cu1は、間引かれていない輝度成分Lu1に対応する。従って、予測部46及び予測部96は、色差成分Cu1の予測値を、上記式(1)の右辺に輝度成分Lu1の値を代入することにより生成することができる。一方、例えば色差成分Cu2は、間引かれた輝度成分Lu2に対応する。この場合、予測部46及び予測部96は、色差成分Cu2の予測値を、間引かれていないいずれかの輝度成分の値を用いて生成する。例えば、色差成分Cu2の予測値は、色差成分Cu1の予測値の複製であってもよく、又は色差成分Cu1及びCu5の2つの予測値から線型補間された値であってもよい。
【0164】
より一般的には、例えば、間引き率25%の場合の色差成分の予測画素値PrC(x,y)は、次の式(5)又は式(6)により表される手法に従って計算されてよい。式(5)は、隣接する画素からの予測値の複製を表現している。
【0165】
【数8】
【0166】
式(6)は、予測値の線形補間を表現している。
【0167】
【数9】
【0168】
なお、式(5)及び式(6)は一例に過ぎず、他の式が使用されてもよい。
【0169】
上述した間引き率は、輝度成分のリサンプリング後の画素値を保持しておくためのメモリリソースの量を左右する。間引かれる輝度成分の数が多いほど、メモリリソースの消費量は少なくなる。しかしながら、間引かれる輝度成分の数が多ければ、色差成分の予測の精度が低下する可能性がある。そこで、間引き率を指定するためのパラメータが、符号化ストリームのヘッダ(例えばシーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダ)において指定されてもよい。この場合、画像復号装置60の予測部96は、上記ヘッダから取得されるパラメータに基づいて、間引き率を決定する。それにより、装置ごとの要件(例えばメモリリソースの節約及び符号化効率のいずれを優先するか、など)に応じて、柔軟に間引き率を変更することが可能となる。
【0170】
図26A〜図26Cを参照すると、図25の例とは異なり、間引き率はそれぞれ50%である。これらの例においては、リサンプリング後の輝度成分のうち、半分の輝度成分が間引かれる。但し、間引き率が同じであっても、間引かれる輝度成分の位置のパターン(以下、間引きパターンという)は互いに異なる。
【0171】
図26Aの例において、4つの輝度成分Lu1〜Lu4のうち、輝度成分Lu2及びLu4が間引かれている。同様に、4つの輝度成分Lu5〜Lu8のうち、輝度成分Lu6及びLu8が間引かれている。この場合にも、例えば、間引かれた輝度成分Lu2に対応する色差成分Cu2の予測値は、色差成分Cu1の予測値の複製であってもよく、又は色差成分Cu1及びCu5の2つの予測値から線型補間された値であってもよい。図26Aの間引きパターンでは、間引かれる輝度成分がPU内で均一に分散している。そのため、図26Aの間引きパターンは、間引き率の等しい他の間引きパターンと比較して、より高い予測精度を実現し得る。
【0172】
図26Bの例においては、行単位で1行おきに輝度成分が間引かれている。このような間引きパターンは、例えばラインメモリによって画素値が保持される装置において、1回のメモリアクセスでより多くの輝度成分の値にアクセスできる点で有益である。一方、図26Cの例においては、列単位で1列おきに輝度成分が間引かれている。このような間引きパターンは、例えばクロマフォーマットが4:2:2であって垂直方向の画素数がより多い場合に、列方向の周波数成分をより多く維持できる点で有益である。
【0173】
これら複数の間引きパターンの候補からいずれかの間引きパターンを指定するためのパラメータが、符号化ストリームのヘッダにおいて指定されてよい。この場合、画像復号装置60の予測部96は、上記ヘッダから取得されるパラメータに基づいて、間引かれる輝度成分の位置を決定する。それにより、装置ごとの要件に応じて柔軟に間引きパターンを変更することが可能となる。
【0174】
また、予測部46及び予測部96は、上述した参照比に応じて間引き率を決定してもよい。例えば、予測関数の係数の算出の際に参照される参照画素数がより少なければ、より多くの輝度成分が間引かれ得る。その際、予測部46及び予測部96は、参照画素の間引き位置に対応する位置の輝度成分を間引いてよい。
【0175】
図27A及び図27Bは、それぞれ参照画素の間引き位置と輝度成分の間引き位置との対応の例を示している。図27Aの例において、PUサイズは16×16画素、クロマフォーマットは4:2:0、参照比は2:1である。この場合、例えば間引き率は25%に決定され、図25の例と同様の間引きパターンが選択され得る。一方、図27Bの例において、PUサイズは16×16画素、クロマフォーマットは4:2:0、垂直方向の参照比は2:1、水平方向の参照比は1:1である。この場合、例えば間引き率は50%に決定され、図26Bの例と同様の間引きパターンが選択され得る。
【0176】
図27Aの例においては、参照画素が間引かれる行について、予測対象ブロックの全ての輝度成分が間引かれている。参照画素が間引かれる列についても、予測対象ブロックの全ての輝度成分が間引かれている。このように間引き位置を決定することにより、間引き位置の判定が単純化されるため、本変形例に係る間引き処理の実装をより容易にすることができる。図27Bの例においても、参照画素が間引かれる行について、予測対象ブロックの全ての輝度成分が間引かれている。このように間引き位置を決定することにより、間引き位置に相当する行について、参照画素か予測対象画素かを問わず輝度成分へのアクセスを完全にスキップすることができる。それにより、間引き処理の実装がより容易になると共に、メモリアクセスの回数を減らして処理速度を高めることができる。
【0177】
[5−2.第2の変形例]
第2の変形例では、画像符号化装置10のイントラ予測部40及び画像復号装置60のイントラ予測部90による新たな処理の順序が採用される。
【0178】
図28は、本変形例において採用される新たな処理の順序について説明するための説明図である。図28を参照すると、一例として、符号化単位CU0、CU1、CU2及びその他の符号化単位を含むLCUが示されている。さらに、符号化単位CU0は、4つの予測単位PU00、PU01、PU02及びPU03に分割されている。符号化単位CU1は、4つの予測単位PU10、PU11、PU12及びPU13に分割されている。符号化単位CU2は、4つの予測単位PU20、PU21、PU22及びPU23に分割されている。既存の手法では、このようなLCUについてのイントラ予測処理は、Y00→Y01→Y02→Y03→Cb00→Cb01→Cb02→Cb03→Cr00→Cr01→Cr02→Cr03→Y10→…のように行われる。ここで、YNNは予測単位PUNNの輝度成分のイントラ予測、CbNN及びCrNNは予測単位PUNNの色差成分のイントラ予測をそれぞれ表す。即ち、既存の手法では、各符号化単位について、成分ごとにイントラ予測処理が行われる。このような処理の順序を、ここでは「成分別順序」という。一方、本変形例において、例えば画像符号化装置10のイントラ予測部40の予測制御部42及び画像復号装置60のイントラ予測部90の予測制御部92は、各符号化単位について、予測単位ごとにイントラ予測処理が行われるように各部の処理を制御する。このような新たな処理の順序を、ここでは「PU別順序」という。例えば、図28のLCUにPU別順序が適用される場合、まず予測単位PU00についての輝度成分Y00並びに2つの色差成分Cb00及びCr00のイントラ予測処理が行われる。次に、予測単位PU01についての輝度成分Y01並びに2つの色差成分Cb01及びCr01のイントラ予測処理が行われる。その後、予測単位PU02、PU03、PU10…の順に、3つの成分のイントラ予測処理が繰り返される。
【0179】
既存の手法である成分別順序では、LMモードでのイントラ予測において参照される輝度成分の値を保持しておくためのメモリリソースの量は、最大の符号化単位のサイズに左右される。例えば、最大の符号化単位のサイズが128×128画素、クロマフォーマットが4:2:0、ビット深度が10ビットであれば、64×64×10ビットのメモリリソースを要する。一方、上述したPU別順序では、LMモードでのイントラ予測において参照される輝度成分の値を保持しておくためのメモリリソースの量は、最大の予測単位のサイズに左右される。例えば、符号化単位が4つ以上の予測単位に分割される場合には、PU別順序の場合に要するメモリリソースの量は、成分別順序の場合に要するメモリリソースの量の4分の1で済む。従って、上述したPU別順序を採用することで、メモリリソースの消費量を削減することができる。
【0180】
<6.応用例>
上述した実施形態に係る画像符号化装置10及び画像復号装置60は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。
【0181】
[6−1.第1の応用例]
図29は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。
【0182】
チューナ902は、アンテナ901を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ902は、復調により得られた符号化ビットストリームをデマルチプレクサ903へ出力する。即ち、チューナ902は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送手段としての役割を有する。
【0183】
デマルチプレクサ903は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ904へ出力する。また、デマルチプレクサ903は、符号化ビットストリームからEPG(Electronic Program Guide)などの補助的なデータを抽出し、抽出したデータを制御部910に供給する。なお、デマルチプレクサ903は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【0184】
デコーダ904は、デマルチプレクサ903から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ904は、復号処理により生成される映像データを映像信号処理部905へ出力する。また、デコーダ904は、復号処理により生成される音声データを音声信号処理部907へ出力する。
【0185】
映像信号処理部905は、デコーダ904から入力される映像データを再生し、表示部906に映像を表示させる。また、映像信号処理部905は、ネットワークを介して供給されるアプリケーション画面を表示部906に表示させてもよい。また、映像信号処理部905は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部905は、例えばメニュー、ボタン又はカーソルなどのGUI(Graphical User Interface)の画像を生成し、生成した画像を出力画像に重畳してもよい。
【0186】
表示部906は、映像信号処理部905から供給される駆動信号により駆動され、表示デバイス(例えば、液晶ディスプレイ、プラズマディスプレイ又はOLEDなど)の映像面上に映像又は画像を表示する。
【0187】
音声信号処理部907は、デコーダ904から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ908から音声を出力させる。また、音声信号処理部907は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【0188】
外部インタフェース909は、テレビジョン装置900と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース909を介して受信される映像ストリーム又は音声ストリームが、デコーダ904により復号されてもよい。即ち、外部インタフェース909もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送手段としての役割を有する。
【0189】
制御部910は、CPU(Central Processing Unit)などのプロセッサ、並びにRAM(Random Access Memory)及びROM(Read Only Memory)などのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置900の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース911から入力される操作信号に応じて、テレビジョン装置900の動作を制御する。
【0190】
ユーザインタフェース911は、制御部910と接続される。ユーザインタフェース911は、例えば、ユーザがテレビジョン装置900を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース911は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部910へ出力する。
【0191】
バス912は、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、音声信号処理部907、外部インタフェース909及び制御部910を相互に接続する。
【0192】
このように構成されたテレビジョン装置900において、デコーダ904は、上述した実施形態に係る画像復号装置60の機能を有する。それにより、テレビジョン装置900での画像の復号に際して、LMモードが採用される場合にも、ブロックサイズの拡大に伴う処理コストの増加を抑制することができる。
【0193】
[6−2.第2の応用例]
図30は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。
【0194】
アンテナ921は、通信部922に接続される。スピーカ924及びマイクロホン925は、音声コーデック923に接続される。操作部932は、制御部931に接続される。バス933は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、及び制御部931を相互に接続する。
【0195】
携帯電話機920は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【0196】
音声通話モードにおいて、マイクロホン925により生成されるアナログ音声信号は、音声コーデック923に供給される。音声コーデック923は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック923は、圧縮後の音声データを通信部922へ出力する。通信部922は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック923へ出力する。音声コーデック923は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。
【0197】
また、データ通信モードにおいて、例えば、制御部931は、操作部932を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部931は、文字を表示部930に表示させる。また、制御部931は、操作部932を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部922へ出力する。通信部922は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部931へ出力する。制御部931は、表示部930に電子メールの内容を表示させると共に、電子メールデータを記録再生部929の記憶媒体に記憶させる。
【0198】
記録再生部929は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【0199】
また、撮影モードにおいて、例えば、カメラ部926は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部927へ出力する。画像処理部927は、カメラ部926から入力される画像データを符号化し、符号化ストリームを記録再生部929の記憶媒体に記憶させる。
【0200】
また、テレビ電話モードにおいて、例えば、多重分離部928は、画像処理部927により符号化された映像ストリームと、音声コーデック923から入力される音声ストリームとを多重化し、多重化したストリームを通信部922へ出力する。通信部922は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部922は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部928へ出力する。多重分離部928は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部927、音声ストリームを音声コーデック923へ出力する。画像処理部927は、映像ストリームを復号し、映像データを生成する。映像データは、表示部930に供給され、表示部930により一連の画像が表示される。音声コーデック923は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。
【0201】
このように構成された携帯電話機920において、画像処理部927は、上述した実施形態に係る画像符号化装置10及び画像復号装置60の機能を有する。それにより、携帯電話機920での画像の符号化及び復号に際して、LMモードが採用される場合にも、ブロックサイズの拡大に伴う処理コストの増加を抑制することができる。
【0202】
[6−3.第3の応用例]
図31は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。
【0203】
記録再生装置940は、チューナ941、外部インタフェース942、エンコーダ943、HDD(Hard Disk Drive)944、ディスクドライブ945、セレクタ946、デコーダ947、OSD(On-Screen Display)948、制御部949、及びユーザインタフェース950を備える。
【0204】
チューナ941は、アンテナ(図示せず)を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ941は、復調により得られた符号化ビットストリームをセレクタ946へ出力する。即ち、チューナ941は、記録再生装置940における伝送手段としての役割を有する。
【0205】
外部インタフェース942は、記録再生装置940と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース942は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース942を介して受信される映像データ及び音声データは、エンコーダ943へ入力される。即ち、外部インタフェース942は、記録再生装置940における伝送手段としての役割を有する。
【0206】
エンコーダ943は、外部インタフェース942から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ943は、符号化ビットストリームをセレクタ946へ出力する。
【0207】
HDD944は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、HDD944は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【0208】
ディスクドライブ945は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ945に装着される記録媒体は、例えばDVDディスク(DVD−Video、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW等)又はBlu−ray(登録商標)ディスクなどであってよい。
【0209】
セレクタ946は、映像及び音声の記録時には、チューナ941又はエンコーダ943から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD944又はディスクドライブ945へ出力する。また、セレクタ946は、映像及び音声の再生時には、HDD944又はディスクドライブ945から入力される符号化ビットストリームをデコーダ947へ出力する。
【0210】
デコーダ947は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ947は、生成した映像データをOSD948へ出力する。また、デコーダ904は、生成した音声データを外部のスピーカへ出力する。
【0211】
OSD948は、デコーダ947から入力される映像データを再生し、映像を表示する。また、OSD948は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
【0212】
制御部949は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置940の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース950から入力される操作信号に応じて、記録再生装置940の動作を制御する。
【0213】
ユーザインタフェース950は、制御部949と接続される。ユーザインタフェース950は、例えば、ユーザが記録再生装置940を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース950は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部949へ出力する。
【0214】
このように構成された記録再生装置940において、エンコーダ943は、上述した実施形態に係る画像符号化装置10の機能を有する。また、デコーダ947は、上述した実施形態に係る画像復号装置60の機能を有する。それにより、記録再生装置940での画像の符号化及び復号に際して、LMモードが採用される場合にも、ブロックサイズの拡大に伴う処理コストの増加を抑制することができる。
【0215】
[6−4.第4の応用例]
図32は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【0216】
撮像装置960は、光学ブロック961、撮像部962、信号処理部963、画像処理部964、表示部965、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、制御部970、ユーザインタフェース971、及びバス972を備える。
【0217】
光学ブロック961は、撮像部962に接続される。撮像部962は、信号処理部963に接続される。表示部965は、画像処理部964に接続される。ユーザインタフェース971は、制御部970に接続される。バス972は、画像処理部964、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、及び制御部970を相互に接続する。
【0218】
光学ブロック961は、フォーカスレンズ及び絞り機構などを有する。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCD又はCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部962は、画像信号を信号処理部963へ出力する。
【0219】
信号処理部963は、撮像部962から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部963は、カメラ信号処理後の画像データを画像処理部964へ出力する。
【0220】
画像処理部964は、信号処理部963から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部964は、生成した符号化データを外部インタフェース966又はメディアドライブ968へ出力する。また、画像処理部964は、外部インタフェース966又はメディアドライブ968から入力される符号化データを復号し、画像データを生成する。そして、画像処理部964は、生成した画像データを表示部965へ出力する。また、画像処理部964は、信号処理部963から入力される画像データを表示部965へ出力して画像を表示させてもよい。また、画像処理部964は、OSD969から取得される表示用データを、表示部965へ出力する画像に重畳してもよい。
【0221】
OSD969は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部964へ出力する。
【0222】
外部インタフェース966は、例えばUSB入出力端子として構成される。外部インタフェース966は、例えば、画像の印刷時に、撮像装置960とプリンタとを接続する。また、外部インタフェース966には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置960にインストールされ得る。さらに、外部インタフェース966は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース966は、撮像装置960における伝送手段としての役割を有する。
【0223】
メディアドライブ968に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ968に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD(Solid State Drive)のような非可搬性の記憶部が構成されてもよい。
【0224】
制御部970は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置960の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース971から入力される操作信号に応じて、撮像装置960の動作を制御する。
【0225】
ユーザインタフェース971は、制御部970と接続される。ユーザインタフェース971は、例えば、ユーザが撮像装置960を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース971は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部970へ出力する。
【0226】
このように構成された撮像装置960において、画像処理部964は、上述した実施形態に係る画像符号化装置10及び画像復号装置60の機能を有する。それにより、撮像装置960での画像の符号化及び復号に際して、LMモードが採用される場合にも、ブロックサイズの拡大に伴う処理コストの増加を抑制することができる。
【0227】
<7.まとめ>
ここまで、図1〜図32を用いて、一実施形態に係る画像符号化装置10及び画像復号装置60について説明した。本実施形態によれば、画像の符号化及び復号における色差成分のイントラ予測にあたり、対応する輝度成分の値の関数を用いるLMモードが採用される場合に、関数の係数の算出の際に参照される参照画素の数のブロックサイズに対する比率が、可変的に制御される。従って、ブロックサイズの拡大に伴う参照画素数の増大を抑制して、処理コストの増加を回避し又は緩和することができる。
【0228】
また、本実施形態によれば、ブロックサイズが所定のサイズを上回る場合に参照画素数が一定となるように上記比率が制御され得る。かかる構成によれば、複数のブロックサイズについて共通的な回路又はロジックを用いて、上記関数の係数を算出することができる。従って、LMモードの採用に起因する回路規模又はロジックの規模の増大をも抑制することができる。
【0229】
また、本実施形態によれば、ブロックサイズが所定のサイズを下回る場合に参照画素が過剰に削減されることがない。従って、参照画素数の不足によってLMモードでの予測の精度が低下することが防がれる。なお、比較的大きいブロックサイズは、通常、ブロック内の画像が単調であって予測が容易である場合に設定され得る。従って、ブロックサイズがより大きい場合により多くの参照画素を削減したとしても、それにより予測の精度が著しく低下するリスクは小さい。
【0230】
また、本実施形態によれば、上記比率は、ブロックの垂直方向とブロックの水平方向とで別々に制御され得る。かかる構成によれば、クロマフォーマットに依存することなく、共通的な回路又はロジックを用いて上記関数の係数を算出することが可能となる。また、比較的少ないメモリアクセスで参照可能な水平方向に沿って並ぶ参照画素をより多く残し、垂直方向に沿って並ぶ参照画素をより多く削減することも可能となる。さらに、短距離イントラ予測法が用いられる場合に、ブロックの形状に応じて、削減すべき参照画素を適応的に変化させることも可能となる。
【0231】
また、上述した2つの変形例によれば、LMモードの導入に関連するメモリリソースの消費量を効果的に削減することができる。
【0232】
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像(スライス若しくはブロックなど、画像の一部であってもよい)と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像(又はビットストリーム)とは別の伝送路上で伝送されてもよい。また、情報は、画像(又はビットストリーム)とは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されてもよい。さらに、情報と画像(又はビットストリーム)とは、例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【0233】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0234】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、
前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、
前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、
を備える画像処理装置。
(2)
前記制御部は、前記ブロックサイズに応じて前記比率を制御する、前記(1)に記載の画像処理装置。
(3)
前記制御部は、前記ブロックサイズが第1のサイズである場合の前記比率を、前記ブロックサイズが前記第1のサイズよりも小さい第2のサイズである場合の前記比率よりも小さくなるように制御する、前記(2)に記載の画像処理装置。
(4)
前記制御部は、前記ブロックサイズが所定のサイズを上回る場合に前記参照画素数が一定となるように、前記比率を制御する、前記(3)に記載の画像処理装置。
(5)
前記係数算出部は、前記所定のサイズを上回る複数のブロックサイズについて共通的な回路又はロジックを用いて前記係数を算出する、前記(4)に記載の画像処理装置。
(6)
前記制御部は、ブロックサイズと前記比率との間の予め定義されるマッピングに従って、前記比率を制御する、前記(1)〜(5)のいずれか1項に記載の画像処理装置。
(7)
前記制御部は、前記係数の算出の際に間引かれる参照画素の数を変化させることにより、前記比率を制御する、前記(1)〜(6)のいずれか1項に記載の画像処理装置。
(8)
前記制御部は、前記ブロックサイズが所定のサイズを下回る場合には、間引かれる参照画素の数をゼロとする、前記(7)に記載の画像処理装置。
(9)
前記制御部は、前記ブロックの垂直方向のサイズに対する前記ブロックの左の参照画素数の比率である第1の比率と、前記ブロックの水平方向のサイズに対する前記ブロックの上の参照画素数の比率である第2の比率とを別々に制御する、前記(1)に記載の画像処理装置
(10)
前記制御部は、同じブロックサイズについて前記第1の比率が前記第2の比率以下となるように前記第1の比率又は前記第2の比率を制御する、前記(9)に記載の画像処理装置。
(11)
前記制御部は、短距離イントラ予測法が用いられる場合には、前記第1の比率及び前記第2の比率のうちサイズのより大きい方向に対応する比率のみを制御する、前記(9)に記載の画像処理装置。
(12)
前記制御部は、前記色差成分の解像度を表すクロマフォーマットが4:2:2である場合に、前記ブロックの左の参照画素数が前記ブロックの上の参照画素数と等しくなるように、前記第1の比率を制御する、前記(9)に記載の画像処理装置。
(13)
前記制御部は、前記色差成分の解像度を表すクロマフォーマットに応じて前記比率を制御する、前記(1)に記載の画像処理装置。
(14)
前記制御部は、前記クロマフォーマットが第1の解像度を表している場合の前記比率を、前記クロマフォーマットが前記第1の解像度よりも低い第2の解像度を表している場合の前記比率よりも小さくなるように制御する、前記(13)に記載の画像処理装置。
(15)
前記制御部は、装置のケイパビリティがより低い場合に前記比率がより小さくなるように、前記比率を制御する、前記(1)〜(14)のいずれか1項に記載の画像処理装置。
(16)
前記係数算出部は、画素値のビット深度が所定のビット数を上回る場合に、前記所定のビット数に削減された参照画素の画素値を用いて前記係数を算出する、前記(5)に記載の画像処理装置。
(17)
復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、
前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、
前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、
を含む画像処理方法。
(18)
符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、
前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、
前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、
を備える画像処理装置。
(19)
符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、
前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、
前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、
を含む画像処理方法。
(20)
復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行う予測部と、
前記予測部によりイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第1の比率で間引く間引き部と、
を備える画像処理装置。
(21)
前記予測部は、各色差成分に対応する輝度成分を第2の比率で間引き、間引かれた輝度成分に対応する各色差成分の予測値を、間引かれていない輝度成分の値を用いて生成する、前記(20)に記載の画像処理装置。
(22)
前記予測部は、前記第2の比率を前記第1の比率に応じて決定する、前記(21)に記載の画像処理装置。
(23)
前記予測部は、前記間引き部により間引かれる前記参照画素の位置に対応する位置の輝度成分を間引く、前記(22)に記載の画像処理装置。
(24)
前記予測部は、符号化ストリームのヘッダから取得されるパラメータに基づいて、前記第2の比率を決定する、前記(21)に記載の画像処理装置。
(25)
前記予測部は、符号化ストリームのヘッダから取得されるパラメータに基づいて、間引かれる輝度成分の位置を決定する、前記(21)に記載の画像処理装置。
(26)
復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行うことと、
前記色差成分のイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第1の比率で間引くことと、
を含む画像処理方法。
【符号の説明】
【0235】
10 画像符号化装置(画像処理装置)
42 予測制御部
44 係数算出部(間引き部)
46 予測部
60 画像復号装置(画像処理装置)
92 予測制御部
94 係数算出部(間引き部)
96 予測部
【特許請求の範囲】
【請求項1】
復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、
前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、
前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、
を備える画像処理装置。
【請求項2】
前記制御部は、前記ブロックサイズに応じて前記比率を制御する、請求項1に記載の画像処理装置。
【請求項3】
前記制御部は、前記ブロックサイズが第1のサイズである場合の前記比率を、前記ブロックサイズが前記第1のサイズよりも小さい第2のサイズである場合の前記比率よりも小さくなるように制御する、請求項2に記載の画像処理装置。
【請求項4】
前記制御部は、前記ブロックサイズが所定のサイズを上回る場合に前記参照画素数が一定となるように、前記比率を制御する、請求項3に記載の画像処理装置。
【請求項5】
前記係数算出部は、前記所定のサイズを上回る複数のブロックサイズについて共通的な回路又はロジックを用いて前記係数を算出する、請求項4に記載の画像処理装置。
【請求項6】
前記制御部は、ブロックサイズと前記比率との間の予め定義されるマッピングに従って、前記比率を制御する、請求項1に記載の画像処理装置。
【請求項7】
前記制御部は、前記係数の算出の際に間引かれる参照画素の数を変化させることにより、前記比率を制御する、請求項1に記載の画像処理装置。
【請求項8】
前記制御部は、前記ブロックサイズが所定のサイズを下回る場合には、間引かれる参照画素の数をゼロとする、請求項7に記載の画像処理装置。
【請求項9】
前記制御部は、前記ブロックの垂直方向のサイズに対する前記ブロックの左の参照画素数の比率である第1の比率と、前記ブロックの水平方向のサイズに対する前記ブロックの上の参照画素数の比率である第2の比率とを別々に制御する、請求項1に記載の画像処理装置
【請求項10】
前記制御部は、同じブロックサイズについて前記第1の比率が前記第2の比率以下となるように前記第1の比率又は前記第2の比率を制御する、請求項9に記載の画像処理装置。
【請求項11】
前記制御部は、短距離イントラ予測法が用いられる場合には、前記第1の比率及び前記第2の比率のうちサイズのより大きい方向に対応する比率のみを制御する、請求項9に記載の画像処理装置。
【請求項12】
前記制御部は、前記色差成分の解像度を表すクロマフォーマットが4:2:2である場合に、前記ブロックの左の参照画素数が前記ブロックの上の参照画素数と等しくなるように、前記第1の比率を制御する、請求項9に記載の画像処理装置。
【請求項13】
前記制御部は、前記色差成分の解像度を表すクロマフォーマットに応じて前記比率を制御する、請求項1に記載の画像処理装置。
【請求項14】
前記制御部は、前記クロマフォーマットが第1の解像度を表している場合の前記比率を、前記クロマフォーマットが前記第1の解像度よりも低い第2の解像度を表している場合の前記比率よりも小さくなるように制御する、請求項13に記載の画像処理装置。
【請求項15】
前記制御部は、装置のケイパビリティがより低い場合に前記比率がより小さくなるように、前記比率を制御する、請求項1に記載の画像処理装置。
【請求項16】
前記係数算出部は、画素値のビット深度が所定のビット数を上回る場合に、前記所定のビット数に削減された参照画素の画素値を用いて前記係数を算出する、請求項5に記載の画像処理装置。
【請求項17】
復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、
前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、
前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、
を含む画像処理方法。
【請求項18】
符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、
前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、
前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、
を備える画像処理装置。
【請求項19】
符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、
前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、
前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、
を含む画像処理方法。
【請求項20】
復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行う予測部と、
前記予測部によりイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第1の比率で間引く間引き部と、
を備える画像処理装置。
【請求項21】
前記予測部は、各色差成分に対応する輝度成分を第2の比率で間引き、間引かれた輝度成分に対応する各色差成分の予測値を、間引かれていない輝度成分の値を用いて生成する、請求項20に記載の画像処理装置。
【請求項22】
前記予測部は、前記第2の比率を前記第1の比率に応じて決定する、請求項21に記載の画像処理装置。
【請求項23】
前記予測部は、前記間引き部により間引かれる前記参照画素の位置に対応する位置の輝度成分を間引く、請求項22に記載の画像処理装置。
【請求項24】
前記予測部は、符号化ストリームのヘッダから取得されるパラメータに基づいて、前記第2の比率を決定する、請求項21に記載の画像処理装置。
【請求項25】
前記予測部は、符号化ストリームのヘッダから取得されるパラメータに基づいて、間引かれる輝度成分の位置を決定する、請求項21に記載の画像処理装置。
【請求項26】
復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行うことと、
前記色差成分のイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第1の比率で間引くことと、
を含む画像処理方法。
【請求項1】
復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、
前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、
前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、
を備える画像処理装置。
【請求項2】
前記制御部は、前記ブロックサイズに応じて前記比率を制御する、請求項1に記載の画像処理装置。
【請求項3】
前記制御部は、前記ブロックサイズが第1のサイズである場合の前記比率を、前記ブロックサイズが前記第1のサイズよりも小さい第2のサイズである場合の前記比率よりも小さくなるように制御する、請求項2に記載の画像処理装置。
【請求項4】
前記制御部は、前記ブロックサイズが所定のサイズを上回る場合に前記参照画素数が一定となるように、前記比率を制御する、請求項3に記載の画像処理装置。
【請求項5】
前記係数算出部は、前記所定のサイズを上回る複数のブロックサイズについて共通的な回路又はロジックを用いて前記係数を算出する、請求項4に記載の画像処理装置。
【請求項6】
前記制御部は、ブロックサイズと前記比率との間の予め定義されるマッピングに従って、前記比率を制御する、請求項1に記載の画像処理装置。
【請求項7】
前記制御部は、前記係数の算出の際に間引かれる参照画素の数を変化させることにより、前記比率を制御する、請求項1に記載の画像処理装置。
【請求項8】
前記制御部は、前記ブロックサイズが所定のサイズを下回る場合には、間引かれる参照画素の数をゼロとする、請求項7に記載の画像処理装置。
【請求項9】
前記制御部は、前記ブロックの垂直方向のサイズに対する前記ブロックの左の参照画素数の比率である第1の比率と、前記ブロックの水平方向のサイズに対する前記ブロックの上の参照画素数の比率である第2の比率とを別々に制御する、請求項1に記載の画像処理装置
【請求項10】
前記制御部は、同じブロックサイズについて前記第1の比率が前記第2の比率以下となるように前記第1の比率又は前記第2の比率を制御する、請求項9に記載の画像処理装置。
【請求項11】
前記制御部は、短距離イントラ予測法が用いられる場合には、前記第1の比率及び前記第2の比率のうちサイズのより大きい方向に対応する比率のみを制御する、請求項9に記載の画像処理装置。
【請求項12】
前記制御部は、前記色差成分の解像度を表すクロマフォーマットが4:2:2である場合に、前記ブロックの左の参照画素数が前記ブロックの上の参照画素数と等しくなるように、前記第1の比率を制御する、請求項9に記載の画像処理装置。
【請求項13】
前記制御部は、前記色差成分の解像度を表すクロマフォーマットに応じて前記比率を制御する、請求項1に記載の画像処理装置。
【請求項14】
前記制御部は、前記クロマフォーマットが第1の解像度を表している場合の前記比率を、前記クロマフォーマットが前記第1の解像度よりも低い第2の解像度を表している場合の前記比率よりも小さくなるように制御する、請求項13に記載の画像処理装置。
【請求項15】
前記制御部は、装置のケイパビリティがより低い場合に前記比率がより小さくなるように、前記比率を制御する、請求項1に記載の画像処理装置。
【請求項16】
前記係数算出部は、画素値のビット深度が所定のビット数を上回る場合に、前記所定のビット数に削減された参照画素の画素値を用いて前記係数を算出する、請求項5に記載の画像処理装置。
【請求項17】
復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、
前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、
前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、
を含む画像処理方法。
【請求項18】
符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、
前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、
前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、
を備える画像処理装置。
【請求項19】
符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、
前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、
前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、
を含む画像処理方法。
【請求項20】
復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行う予測部と、
前記予測部によりイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第1の比率で間引く間引き部と、
を備える画像処理装置。
【請求項21】
前記予測部は、各色差成分に対応する輝度成分を第2の比率で間引き、間引かれた輝度成分に対応する各色差成分の予測値を、間引かれていない輝度成分の値を用いて生成する、請求項20に記載の画像処理装置。
【請求項22】
前記予測部は、前記第2の比率を前記第1の比率に応じて決定する、請求項21に記載の画像処理装置。
【請求項23】
前記予測部は、前記間引き部により間引かれる前記参照画素の位置に対応する位置の輝度成分を間引く、請求項22に記載の画像処理装置。
【請求項24】
前記予測部は、符号化ストリームのヘッダから取得されるパラメータに基づいて、前記第2の比率を決定する、請求項21に記載の画像処理装置。
【請求項25】
前記予測部は、符号化ストリームのヘッダから取得されるパラメータに基づいて、間引かれる輝度成分の位置を決定する、請求項21に記載の画像処理装置。
【請求項26】
復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行うことと、
前記色差成分のイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第1の比率で間引くことと、
を含む画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図14】
【図15A】
【図15B】
【図16】
【図17A】
【図17B】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26A】
【図26B】
【図26C】
【図27A】
【図27B】
【図28】
【図29】
【図30】
【図31】
【図32】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図14】
【図15A】
【図15B】
【図16】
【図17A】
【図17B】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26A】
【図26B】
【図26C】
【図27A】
【図27B】
【図28】
【図29】
【図30】
【図31】
【図32】
【公開番号】特開2013−34162(P2013−34162A)
【公開日】平成25年2月14日(2013.2.14)
【国際特許分類】
【出願番号】特願2011−210542(P2011−210542)
【出願日】平成23年9月27日(2011.9.27)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成25年2月14日(2013.2.14)
【国際特許分類】
【出願日】平成23年9月27日(2011.9.27)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]