カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
【課題】輝度信号と色差信号に適するブロックサイズで圧縮処理を実施して、輝度信号と色差信号の符号化効率を高めることができるようにする。
【解決手段】減算部６により生成された差分画像の色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
【解決手段】減算部６により生成された差分画像の色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カラー動画像を高効率で符号化を行うカラー動画像符号化装置及びカラー動画像符号化方法と、高効率で符号化されているカラー動画像を復号するカラー動画像復号装置及びカラー動画像復号方法とに関するものである。
【背景技術】
【０００２】
例えば、以下の非特許文献１に記載されている従来のカラー動画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
従来のカラー動画像符号化装置では、ＹＵＶ４：２：０信号の符号化を行う場合、色差信号の変換ブロックサイズを、輝度信号の変換ブロックサイズの縦横半分のサイズに固定することで、色差信号の変換ブロックサイズに係る情報を符号化する必要をなくして、色差信号の符号化効率を高めている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan and T. Wiegand, “WD4: Working Draft 4 of High-Efficiency Video Coding”, doc. JCTVC-F803, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 6th Meeting, 2011
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のカラー動画像符号化装置は以上のように構成されているので、色差信号の変換ブロックサイズに係る情報の符号化が不要になり、色差信号の符号化効率が高められるが、色差信号の変換ブロックサイズが輝度信号の変換ブロックサイズに応じて固定される。しかしながら、画像信号における色差信号は、一般的に輝度信号よりも、相対的に平坦な信号変化が多く、輝度信号の最適な変換ブロックサイズと色差信号の最適な変換ブロックサイズが異なる。このため、色差信号の変換ブロックサイズが輝度信号の変換ブロックサイズに応じて固定されると、色差信号の符号化効率が最適にならないことがある課題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、輝度信号と色差信号に適するブロックサイズで圧縮処理を実施して、輝度信号と色差信号の符号化効率を高めることができるカラー動画像符号化装置及びカラー動画像符号化方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができるカラー動画像復号装置及びカラー動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係るカラー動画像符号化装置は、画像圧縮手段が、差分画像生成手段により生成された差分画像の輝度信号を圧縮する場合、ブロック分割手段により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の圧縮処理を実施し、差分画像生成手段により生成された差分画像の色差信号を圧縮する場合、ブロック分割手段により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の圧縮処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の圧縮処理を実施し、可変長符号化手段が、画像圧縮手段による輝度信号に係るブロックの分割情報を可変長符号化して、その分割情報の符号化データをビットストリームに多重化するようにしたものである。
【発明の効果】
【０００７】
この発明によれば、画像圧縮手段が、差分画像生成手段により生成された差分画像の輝度信号を圧縮する場合、ブロック分割手段により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の圧縮処理を実施し、差分画像生成手段により生成された差分画像の色差信号を圧縮する場合、ブロック分割手段により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の圧縮処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の圧縮処理を実施し、可変長符号化手段が、画像圧縮手段による輝度信号に係るブロックの分割情報を可変長符号化して、その分割情報の符号化データをビットストリームに多重化するように構成したので、輝度信号と色差信号に対する圧縮処理のブロックサイズの適正化が図られて、輝度信号と色差信号の符号化効率を高めることができる効果がある。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１によるカラー動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１によるカラー動画像符号化装置の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１によるカラー動画像符号化装置のイントラ予測部４を示す構成図である。
【図４】この発明の実施の形態１によるカラー動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。
【図５】この発明の実施の形態１によるカラー動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。
【図６】この発明の実施の形態１によるカラー動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。
【図７】この発明の実施の形態１によるカラー動画像復号装置を示す構成図である。
【図８】この発明の実施の形態１によるカラー動画像復号装置の処理内容を示すフローチャートである。
【図９】最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
【図１０】符号化ブロックＢｎに属するパーティションＰｉｎを示す説明図である。
【図１１】分割後のパーティションの分布や、階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示す説明図である。
【図１２】符号化ブロックＢｎに属する各パーティションＰｉｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
【図１３】ｌｉｎ＝ｍｉｎ＝４の場合において、パーティションＰｉｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
【図１４】色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
【図１５】色差信号の予測ブロックと復号済輝度信号などを示す説明図である。
【図１６】縮小輝度参照画素Ｒｅｃ’Ｌの生成方法を示す説明図である。
【図１７】４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。
【図１８】４：２：２フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。
【図１９】色差成分のフレーム内予測を示す説明図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１はこの発明の実施の形態１によるカラー動画像符号化装置を示す構成図である。
この実施の形態１のカラー動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
【００１０】
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００１１】
図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
なお、符号化制御部１は符号化制御手段を構成している。
【００１２】
ここで、図１７は４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図１７に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
【００１３】
輝度信号については、例えば、図１７に示すように、予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。あるいは、正方形の変換ブロックに分割された後に、さらに下の階層で長方形の変換ブロックに分割されるように構成する。
一方、色差信号については、図１７に示すように、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロックが適用されるように構成する。
予測ブロックの形状が長方形である場合、予測ブロックが１階層だけ分割されるように構成する。
【００１４】
このように輝度信号については、階層的に最適な変換ブロックサイズに分割されて変換が行われ、色差信号については、分割形状が固定された大きいブロックで変換が行われるため、色差信号の変換ブロックの分割形状に関する情報をシグナリングすることなく、色差信号を効率的に圧縮することができる。
また、色差信号の変換ブロックの分割形状が、輝度信号の変換ブロックの分割形状と異なるため、輝度信号に対しては、輝度信号に最適な変換ブロックの分割形状を選択することができるため、輝度信号についても、効率的に圧縮することができる。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。
なお、予測ブロックの形状が正方形であっても、符号化ブロックを４分割して得られる正方形サイズの予測ブロックの場合には、色差信号の変換ブロックも１階層だけ分割されるように構成してもよい。
このようにすれば、正方形の変換ブロックが正方形の予測ブロックをまたがないように構成できるので、高周波成分の発生を抑制することができ効率よく圧縮できる。
【００１５】
ブロック分割部２は入力カラー画像（カレントピクチャ）を示すカラー画像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
【００１６】
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
【００１７】
動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。
【００１８】
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
【００１９】
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
即ち、変換・量子化部７は減算部６により生成された差分画像の輝度信号に対する変換・量子化処理（圧縮処理）を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、減算部６により生成された差分画像の色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
なお、変換・量子化部７は画像圧縮手段を構成している。
【００２０】
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
【００２１】
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２２】
ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２３】
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
【００２４】
図１では、カラー動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、カラー動画像符号化装置がコンピュータなどで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１によるカラー動画像符号化装置の処理内容を示すフローチャートである。
【００２５】
図３はこの発明の実施の形態１によるカラー動画像符号化装置のイントラ予測部４を示す構成図である。
図３において、輝度信号イントラ予測部２１はブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。
即ち、輝度信号イントラ予測部２１はイントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。
【００２６】
切替スイッチ２２は符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に出力する処理を実施する。
【００２７】
色差信号方向性イントラ予測部２３は切替スイッチ２２から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。
輝度相関利用色差信号予測部２４は切替スイッチ２２から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図５はこの発明の実施の形態１によるカラー動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。
【００２８】
図４はこの発明の実施の形態１によるカラー動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。
図４において、平滑化輝度参照画素縮小部３１はイントラ予測用メモリ１０により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’Ｌを生成する。
相関算出部３２はイントラ予測用メモリ１０により格納されている色差参照画素と平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’Ｌを用いて、輝度成分と色差成分の相関を示す相関パラメータα，βを算出する処理を実施する。
色差予測画像生成部３３は相関算出部３２により算出された相関パラメータα，βと平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’Ｌを用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図６はこの発明の実施の形態１によるカラー動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。
【００２９】
図７はこの発明の実施の形態１によるカラー動画像復号装置を示す構成図である。
図７において、可変長復号部４１はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する処理を実施する。なお、可変長復号部４１は可変長復号手段を構成している。
【００３０】
切替スイッチ４２は可変長復号部４１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する処理を実施する。
イントラ予測部４３はイントラ予測用メモリ４７により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ４２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
【００３１】
動き補償部４４は動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ４２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ４２、イントラ予測部４３及び動き補償部４４から予測画像生成手段が構成されている。
【００３２】
逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。
即ち、逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された輝度信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理・逆変換処理を行う。
色差信号については、図１７に示すように、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロック単位で逆量子化処理・逆変換処理を実施し、予測ブロックの形状が長方形である場合、予測ブロックを１階層だけ分割して、分割後のブロック単位で逆量子化処理・逆変換処理を実施する。
なお、逆量子化・逆変換部４５は差分画像生成手段を構成している。
【００３３】
加算部４６は逆量子化・逆変換部４５から出力された復号予測差分信号とイントラ予測部４３又は動き補償部４４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部４６は復号画像生成手段を構成している。
イントラ予測用メモリ４７はイントラ予測部４３により次回のイントラ予測処理で用いられる画像として、加算部４６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
【００３４】
ループフィルタ部４８は加算部４６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ４９は動き補償部４４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部４８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
【００３５】
図７では、カラー動画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、カラー動画像復号装置がコンピュータなどで構成される場合、可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図８はこの発明の実施の形態１によるカラー動画像復号装置の処理内容を示すフローチャートである。
【００３６】
この実施の形態１のカラー動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行い、色差信号については変換ブロックサイズを２階層のみに限定して一意に決定することを特徴としている。
一般に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有し、空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのように、比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画などでは、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
【００３７】
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーが小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測処理に用いる予測パラメータをできるだけ大きな画像信号領域に対して均一に適用することができれば、予測パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化が大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測誤りが増えてしまうため、予測差分信号の符号量を削減することができない。
したがって、時間的・空間的に変化が大きい領域では、予測対象の領域を小さくして、予測処理に用いる予測パラメータのデータ量を増やしても、予測差分信号の電力・エントロピーを低減する方が望ましい。
このような映像信号の一般的な性質に適応している符号化処理を行うため、この実施の形態１のカラー動画像符号化装置では、所定の最大ブロックサイズから映像信号の領域を階層的に分割し、分割領域毎に予測処理や予測差分の符号化処理を適応化する構成を採用している。
【００３８】
次に動作について説明する。
最初に、図１のカラー動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
【００３９】
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
【００４０】
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。予め用意されているＭ種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態１では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００４１】
また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。
【００４２】
ブロック分割部２は、入力カラー画像を示す映像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
ここで、図９は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図９の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
また、図９の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
【００４３】
深さｎにおいては、符号化ブロックＢｎはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは同じであってもよいし異なっていてもよいが、図９の例ではＬｎ＝Ｍｎのケースを示している。
以降、符号化ブロックＢｎのサイズは、符号化ブロックＢｎの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
【００４４】
ブロック分割部２では、４分木分割を行うため、常に（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌｎ／２，Ｍｎ／２）である。
以降、第ｎ階層の符号化ブロックＢｎで選択しうる符号化モードをｍ（Ｂｎ）と表記する。
【００４５】
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」）、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢｎに対して最も符号化効率がよい符号化モードを選択する。
【００４６】
符号化ブロックＢｎは、図９に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢｎに属するパーティションをＰｉｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。図１０は符号化ブロックＢｎに属するパーティションＰｉｎを示す説明図である。
符号化ブロックＢｎに属するパーティションＰｉｎの分割がどのようになされているかは符号化モードｍ（Ｂｎ）の中に情報として含まれる。
パーティションＰｉｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉｎ毎に、個別の予測パラメータを選択することができる。
【００４７】
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図１１に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
図１１（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図１１（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図１１（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
また、符号化制御部１は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
【００４８】
切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＲＡ）、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉｎをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＥＲ）、その符号化ブロックＢｎに属するパーティションＰｉｎを動き補償予測部５に出力する。
【００４９】
イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉｎを受けると（ステップＳＴ４）、具体的な処理内容は後述するが、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰｉｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉｎ）を生成する（ステップＳＴ５）。
以下、この明細書では、Ｐｉｎはパーティションを示し、（Ｐｉｎ）はパーティションＰｉｎの予測画像を示すものとする。
【００５０】
イントラ予測画像（Ｐｉｎ）の生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像（Ｐｉｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。
【００５１】
動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰｉｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉｎ）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉｎ）を生成する。
インター予測画像（Ｐｉｎ）の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像（Ｐｉｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
【００５２】
減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐｉｎ）を受けると、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉｎから、その予測画像（Ｐｉｎ）を減算することで、その差分画像を示す予測差分信号ｅｉｎを生成する（ステップＳＴ７）。
【００５３】
変換・量子化部７は、減算部６が予測差分信号ｅｉｎを生成すると、符号化制御部１で決定された変換ブロックサイズ単位で、その予測差分信号ｅｉｎに対する変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅｉｎの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
即ち、変換・量子化部７は、減算部６が予測差分信号ｅｉｎを生成すると、予測差分信号ｅｉｎの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、予測差分信号ｅｉｎの色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
なお、予測ブロックの形状が正方形であっても、符号化ブロックを４分割して得られる正方形サイズの予測ブロックの場合には、色差信号の変換ブロックも１階層だけ分割されるように構成してもよい。
このようにすれば、正方形の変換ブロックが正方形の予測ブロックをまたがないように構成できるので、このように構成された符号化装置の出力するビットストリームを好適に復号することができる。
【００５４】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
【００５５】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐｉｎ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。
【００５６】
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。
このようにすれば、不要な符号化歪補償を省略できるので、画質を保ちつつ演算量を削減することができる。また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するよう構成する。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。
【００５７】
ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢｎに属するパーティションＰｉｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。
【００５８】
次に、イントラ予測部４の処理内容を具体的に説明する。
図１２は符号化ブロックＢｎに属する各パーティションＰｉｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図１２の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
【００５９】
まず、イントラ予測部４の輝度信号イントラ予測部２１は、ブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する（図５のステップＳＴ２１）。
以下、輝度信号イントラ予測部２１の処理内容を具体的に説明する。
ここでは、イントラ予測部４の輝度信号イントラ予測部２１が、パーティションＰｉｎの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションＰｉｎのサイズをｌｉｎ×ｍｉｎ画素とする。
【００６０】
図１３はｌｉｎ＝ｍｉｎ＝４の場合において、パーティションＰｉｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図１３の例では、パーティションＰｉｎに隣接している符号化済みの上パーティションの画素（（２×ｌｉｎ＋１）個の画素）と、左パーティションの画素（（２×ｍｉｎ）個の画素）を予測に用いる参照画素としているが、予測に用いる画素は、図１３に示す画素より多くても少なくてもよい。
また、図１３の例では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列分の画素、あるいは、それ以上の画素を予測に用いてもよい。
【００６１】
輝度信号イントラ予測部２１は、例えば、パーティションＰｉｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉｎ内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰｉｎ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記に示すＬと、隣接画素の交点となる。
ただし、ｋは正のスカラ値である。
【００６２】
参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図１３の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値としている。
なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
【００６３】
輝度信号イントラ予測部２１は、同様の手順で、パーティションＰｉｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉｎ）を出力する。
イントラ予測画像（Ｐｉｎ）の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部１３に出力される。
【００６４】
イントラ予測部４の切替スイッチ２２は、符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定する（ステップＳＴ２２）。
切替スイッチ２２は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に与える。
【００６５】
ここで、図１４は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
図１４の例では、色差信号イントラ予測パラメータが“３４”である場合には、予測に用いる参照画素が輝度相関利用色差信号予測部２４に与えられ、色差信号イントラ予測パラメータが“３４”以外である場合には、予測に用いる参照画素が色差信号方向性イントラ予測部２３に与えられることになる。
【００６６】
色差信号方向性イントラ予測部２３は、切替スイッチ２２から予測に用いる参照画素を受けると、パーティションＰｉｎに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する（ステップＳＴ２３）。
色差信号方向性イントラ予測部２３におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部２１と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部２１と同様である。よって、方向性予測、水平予測、垂直予測、ＤＣ予測などを行うことにより、色差信号のイントラ予測画像が生成される。
【００６７】
輝度相関利用色差信号予測部２４は、切替スイッチ２２から予測に用いる参照画素を受けると、符号化ブロックであるパーティションＰｉｎに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションＰｉｎ内の復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰｉｎのイントラ予測画像（Ｐｉｎ）から得られた局所復号画像内の輝度参照画素）とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する（ステップＳＴ２４）。
以下、輝度相関利用色差信号予測部２４の処理内容を具体的に説明する。
【００６８】
輝度相関利用色差信号予測部２４の平滑化輝度参照画素縮小部３１は、イントラ予測用メモリ１０により格納されているパーティションＰｉｎを構成している復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰｉｎのイントラ予測画像（Ｐｉｎ）から得られた局所復号画像内の輝度参照画素）のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’Ｌを生成する（図６のステップＳＴ３１）。
即ち、平滑化輝度参照画素縮小部３１は、図１５に示すように、パーティションＰｉｎ内の色差信号の予測ブロック（図中、左側のＮ×Ｎのブロック）に対応するブロック（図中、右側の２Ｎ×２Ｎのブロック）内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’Ｌを生成する。
ここで、縮小輝度参照画素Ｒｅｃ’Ｌは、図１６に示すように、ＹＵＶ４：２：０信号において、色差信号画素と同位相になるように、輝度参照画素ＲｅｃＬに対して、横方向に１：２：１のローパスフィルタ、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。
【００６９】
輝度相関利用色差信号予測部２４の相関算出部３２は、平滑化輝度参照画素縮小部３１が縮小輝度参照画素Ｒｅｃ’Ｌを生成すると、その縮小輝度参照画素Ｒｅｃ’Ｌと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素ＲｅｃＣとを用いて、下記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα，βを算出する（ステップＳＴ３２）。
式（１），（２）において、Ｉは処理対象となる色差信号の予測ブロックの１辺の画素数の２倍の値である。
【００７０】
色差予測画像生成部３３は、相関算出部３２が相関パラメータα，βを算出すると、その相関パラメータα，βと縮小輝度参照画素Ｒｅｃ’Ｌを用いて、下記の式（３）に示すように、色差予測画像ＰｒｅｄＣを生成する（ステップＳＴ３３）。
【００７１】
なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。
この際、ＹＵＶ４：２：０信号では、輝度信号と色差信号の解像度が異なるため、輝度信号をサブサンプリングする必要があるが、ローパスフィルタを施すことによりエイリアシングの発生を抑えることができ、予測効率を向上させることができる。
【００７２】
可変長符号化部１３は、上述したように、イントラ予測部４から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するよう構成してもよい。
【００７３】
次に、図７のカラー動画像復号装置の処理内容を説明する。
可変長復号部４１は、図１のカラー動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図８のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１のカラー動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）をカラー動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。
【００７４】
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
【００７５】
可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢｎに属するパーティションＰｉｎの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰｉｎに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰｉｎに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。
【００７６】
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
【００７７】
切替スイッチ４２は、可変長復号部４１から出力された符号化ブロックＢｎに属するパーティションＰｉｎの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。
【００７８】
イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰｉｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉｎ）を生成する（ステップＳＴ４６）。
即ち、イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると、カラー動画像符号化装置の輝度信号イントラ予測部２１と同様に、例えば、パーティションＰｉｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉｎ内の画素の予測値を生成する。
イントラ予測部４３は、同様の手順で、パーティションＰｉｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉｎ）を出力する。
【００７９】
動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰｉｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉｎ）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰｉｎに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉｎ）を生成する。
【００８０】
逆量子化・逆変換部４５は、可変長復号部４１から変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。
【００８１】
加算部４６は、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐｉｎ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。
【００８２】
ループフィルタ部４８は、加算部４６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。
このようにすれば、不要な符号化歪補償を省略できるので画質を保ちつつ演算量を削減することができる。また、輝度信号と色差信号では変換ブロックの分割形状が異なるので、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するよう構成する。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢｎに属するパーティションＰｉｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。
【００８３】
以上で明らかなように、この実施の形態１によれば、変換・量子化部７が、減算部６により生成された差分画像の輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、減算部６により生成された差分画像の色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施するように構成したので、輝度信号と色差信号に対する変換・量子化処理のブロックサイズの適正化が図られて、輝度信号と色差信号の符号化効率を高めることができる効果を奏する。
【００８４】
即ち、カラー動画像符号化装置の色差信号における変換ブロックの分割形状が符号化ブロック及び予測モードに応じて、少ない階層数となる分割状態に一意に決定されるため、色差信号の変換ブロックの分割形状についての情報をシグナリングすることなく、輝度信号の変換ブロックサイズと比べて、画面サイズに対し相対的に大きいブロックサイズで色差信号の変換が行われるので、色差信号を効率よく圧縮することができる。
また、カラー動画像復号装置の色差信号における変換ブロックの分割形状が符号化ブロック及び予測モードに応じて一意に決定されるので、カラー動画像符号化装置で生成されるビットストリームを好適に復号することができる。
なお、同様に色差信号における変換ブロックの分割形状を予測ブロックの分割形状と同じサイズに構成してもよい。
このように構成することにより、色差信号の変換ブロックの分割形状が一意に決定されると共に、相対的に大きいブロックサイズで色差信号の変換が行われるので、同様の効果を得ることができる。
【００８５】
実施の形態２．
上記実施の形態１では、映像信号がＹＵＶ４：２：０フォーマットである例で説明をしたが、この実施の形態２では、映像信号がＹＵＶ４：２：２フォーマットである場合について説明する。
ＹＵＶ４：２：２フォーマットでは、色差成分の縦方向のサンプリング数が輝度信号と同数であり、横方向のサンプリング数が輝度信号の半分である。従って、ＹＵＶ４：２：０フォーマットの符号化・復号の処理に対し、色差成分の処理のみが異なるため、ここでは、主に色差成分の処理について説明する。
【００８６】
この実施の形態２のカラー動画像符号化装置における符号化制御部１は、上記実施の形態１と同様に、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
【００８７】
図１８は４：２：２フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図１８に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
【００８８】
輝度信号については、例えば、図１８に示すように、予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。あるいは、正方形の変換ブロックに分割された後に、さらに下の階層で長方形の変換ブロックに分割されるように構成する。
一方、色差信号については、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロックが適用されるように構成する。
予測ブロックの形状が長方形である場合、図１８に示すように、予測ブロックが１階層だけ分割されるように構成する。
【００８９】
このように輝度信号については、階層的に最適な変換ブロックサイズに分割されて変換が行われ、色差信号については、分割形状が固定された大きいブロックで変換が行われるため、色差信号の変換ブロックの分割形状に関する情報をシグナリングすることなく、色差信号を効率的に圧縮することができる。
また、色差信号の変換ブロックの分割形状が、輝度信号の変換ブロックの分割形状と異なるため、輝度信号に対しては、輝度信号に最適な変換ブロックの分割形状を選択することができるため、輝度信号についても、効率的に圧縮することができる。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。
【００９０】
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、上記実施の形態１と同様に、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
【００９１】
ここで、色差成分のフレーム内予測は、図１９に示すように、縦長のブロックに対して適用する。
方向性予測の場合、図１９に示すように、隣接局部復号画像を直線的に繰り返すことにより予測画像を得る。
平均値予測の場合、上に隣接する画素と左に隣接する画素の平均値を予測値として用いる。あるいは、左に隣接する画素の平均値である左平均値予測値と、上に隣接する画素の平均値である上平均値予測値を個別に算出し、左平均値予測値と上平均値予測値の平均値を平均値予測値としてもよい。
このようにすることで、演算回路において、割り算を用いずシフト演算で処理をすることができるため、回路規模を小さく抑えることができる。
また、左平均値予測値の３倍と上平均値予測値を加算して、２ビット右シフトするよう構成してもよい。
このようにすることで、予測ブロックの形状が縦長なので、より長い辺である左側の画素値により重みを加えた予測値とすることができ、かつ、シフト演算で実現が可能であるため、小さい回路規模で効率のよい予測を行うことができる。
【００９２】
動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
色差成分については、輝度成分の動きベクトルに対して横方向の動きベクトル成分のみ半分にした値を適用して動き補償予測処理を行う。
【００９３】
次に動作について説明する。
最初に、図１のカラー動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
【００９４】
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
【００９５】
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態２では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００９６】
また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグ含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。
【００９７】
ブロック分割部２は、入力カラー画像を示す映像信号を入力すると、上記実施の形態１と同様に、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
図９の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
また、図９の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
【００９８】
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図１１に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
図１１（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図１１（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図１１（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
また、符号化制御部１は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
【００９９】
切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＲＡ）、上記実施の形態１と同様に、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉｎをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＥＲ）、その符号化ブロックＢｎに属するパーティションＰｉｎを動き補償予測部５に出力する。
【０１００】
イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉｎを受けると（ステップＳＴ４）、上記実施の形態１と同様に、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰｉｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉｎ）を生成する（ステップＳＴ５）。
ただし、色差成分のフレーム内予測は、図１９に示すように、縦長のブロックに対して適用する。
イントラ予測画像（Ｐｉｎ）の生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像（Ｐｉｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
【０１０１】
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるよう構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。
【０１０２】
動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉｎを受けると（ステップＳＴ４）、上記実施の形態１と同様に、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰｉｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉｎ）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉｎ）を生成する。
インター予測画像（Ｐｉｎ）の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像（Ｐｉｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
【０１０３】
減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐｉｎ）を受けると、上記実施の形態１と同様に、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉｎから、その予測画像（Ｐｉｎ）を減算することで、その差分画像を示す予測差分信号ｅｉｎを生成する（ステップＳＴ７）。
【０１０４】
変換・量子化部７は、減算部６が予測差分信号ｅｉｎを生成すると、上記実施の形態１と同様に、符号化制御部１で決定された変換ブロックサイズ単位で、その予測差分信号ｅｉｎに対する変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅｉｎの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
即ち、変換・量子化部７は、減算部６が予測差分信号ｅｉｎを生成すると、予測差分信号ｅｉｎの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、予測差分信号ｅｉｎの色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
【０１０５】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、上記実施の形態１と同様に、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
【０１０６】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、上記実施の形態１と同様に、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐｉｎ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。
【０１０７】
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、上記実施の形態１と同様に、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。
【０１０８】
ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢｎに属するパーティションＰｉｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、上記実施の形態１と同様に、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロックサイズを示す変換ブロック分割フラグ含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。
なお、色差信号については変換ブロックが１：２の縦長形状となるため、２次元変換係数を１次元系列にスキャンする場合に、係数を縦２個に対して横１個の割合で斜め方向のラスタスキャンあるいは斜め方向のジグザグスキャンし、得られた１次元系列をエントロピー符号化するよう構成する。
【０１０９】
次に、図７のカラー動画像復号装置の処理内容を説明する。
可変長復号部４１は、図１のカラー動画像符号化装置により生成されたビットストリームを入力すると、上記実施の形態１と同様に、そのビットストリームに対する可変長復号処理を実施して（図８のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１のカラー動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）をカラー動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。
【０１１０】
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
【０１１１】
可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢｎに属するパーティションＰｉｎの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰｉｎに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰｉｎに係る符号化データから圧縮データ、変換ブロックサイズを示す変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。
なお、色差信号については変換ブロックが１：２の縦長形状となるため、１次元系列となっている復号された変換係数を２次元系列に逆スキャンする場合に、係数を縦２個に対して横１個の割合で斜め方向のラスタスキャンあるいは斜め方向のジグザグスキャンし、得られた２次元系列を変換ブロックの係数とするよう構成する。
【０１１２】
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
【０１１３】
切替スイッチ４２は、上記実施の形態１と同様に、可変長復号部４１から出力された符号化ブロックＢｎに属するパーティションＰｉｎの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。
【０１１４】
イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰｉｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉｎ）を生成する（ステップＳＴ４６）。
即ち、イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると、カラー動画像符号化装置の輝度信号イントラ予測部２１と同様に、例えば、パーティションＰｉｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉｎ内の画素の予測値として予測画像を生成する。
あるいは、左に隣接する画素の平均値である左平均値予測値と、上に隣接する画素の平均値である上平均値予測値を個別に算出し、左平均値予測値と上平均値予測値の平均値を平均値予測値としてもよい。
このようにすることで、演算回路において、割り算を用いずシフト演算で処理をすることができるため、回路規模を小さく抑えることができる。
また、左平均値予測値の３倍と上平均値予測値を加算して、２ビット右シフトするよう構成してもよい。
このようにすることで、予測ブロックの形状が縦長なので、より長い辺である左側の画素値により重みを加えた予測値とすることができ、かつ、シフト演算で実現が可能であるため、小さい回路規模で効率のよい予測を行うことができる。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉｎ内の画素の予測値を生成する。
イントラ予測部４３は、同様の手順で、パーティションＰｉｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉｎ）を出力する。
【０１１５】
動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰｉｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉｎ）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰｉｎに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉｎ）を生成する。
【０１１６】
逆量子化・逆変換部４５は、可変長復号部４１から変換ブロックサイズを示す変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。
【０１１７】
加算部４６は、上記実施の形態１と同様に、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐｉｎ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。
【０１１８】
ループフィルタ部４８は、加算部４６から復号画像信号を受けると、上記実施の形態１と同様に、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢｎに属するパーティションＰｉｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。
【０１１９】
以上で明らかなように、この実施の形態２によれば、映像信号がＹＵＶ４：２：２フォーマットであっても、上記実施の形態１と同様に、カラー動画像符号化装置の色差信号における変換ブロックの分割形状が、符号化ブロック及び予測モードに応じて少ない階層数となる分割状態に一意に決定されるため、色差信号を効率よく圧縮することができる。
また、カラー動画像復号装置の色差信号における変換ブロックの分割形状が、符号化ブロック及び予測モードに応じて一意に決定されるので、カラー動画像符号化装置で生成されたビットストリームを好適に復号することができる。
【０１２０】
実施の形態３．
この実施の形態３では、カラー動画像符号化装置及びカラー動画像復号装置が、ＹＵＶ４：２：２信号に対して、色差信号の変換ブロックの分割を輝度信号の変換ブロックの分割形状と共通にすることを特徴としている。その他の構成・処理は、上記実施の形態２と同様である。
【０１２１】
ＹＵＶ４：２：２画像では、色差成分の画素数が縦方向については輝度成分と同じであるため、ＹＵＶ４：２：０信号の色差成分と比べて高周波成分の比率が高いという特性がある。従って、ＹＵＶ４：２：２画像に対しては、変換ブロックの分割形状を輝度成分と色差成分で共通化しても符号化効率が低下しない場合がある。
そこで、この実施の形態３では、ＹＵＶ４：２：２画像における色差成分の変換ブロックの分割形状を輝度成分と共通化するために、輝度成分のブロックに対して、横方向のみ半分のサイズにした変換ブロックを適用する。
【０１２２】
即ち、例えば、輝度成分の変換ブロックサイズが縦３２×横３２画素の場合には、色差成分の変換ブロックサイズを縦３２×横１６画素、輝度成分の変換ブロックサイズが縦１６×横１６画素の場合には、色差成分の変換ブロックサイズを縦１６×横８画素、輝度成分の変換ブロックサイズが縦８×横８画素の場合には、色差成分の変換ブロックサイズを縦８×横４画素とする。
例えば、輝度成分の変換ブロックサイズの最小値を４画素としている場合には、輝度成分の変換ブロックサイズが縦４×横４画素であれば、それらを４つまとめた縦８画素×横８画素の領域に対応する色差成分に対して、変換ブロックサイズを縦８×横４画素としたものを適用する。
このように構成すれば、ＹＵＶ４：２：２画像に対して、色差成分のブロック分割形状の情報を符号化しなくても、効率よく符号化することができる。
【０１２３】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【０１２４】
１ 符号化制御部（符号化制御手段）、２ ブロック分割部（ブロック分割手段）、３ 切替スイッチ（予測画像生成手段）、４ イントラ予測部（予測画像生成手段）、５ 動き補償予測部（予測画像生成手段）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、２１ 輝度信号イントラ予測部、２２ 切替スイッチ、２３ 色差信号方向性イントラ予測部、２４ 輝度相関利用色差信号予測部、３１ 平滑化輝度参照画素縮小部、３２ 相関算出部、３３ 色差予測画像生成部、４１ 可変長復号部（可変長復号手段）、４２ 切替スイッチ（予測画像生成手段）、４３ イントラ予測部（予測画像生成手段）、４４ 動き補償部（予測画像生成手段）、４５ 逆量子化・逆変換部（差分画像生成手段）、４６ 加算部（復号画像生成手段）、４７ イントラ予測用メモリ、４８ ループフィルタ部、４９ 動き補償予測フレームメモリ。
【技術分野】
【０００１】
この発明は、カラー動画像を高効率で符号化を行うカラー動画像符号化装置及びカラー動画像符号化方法と、高効率で符号化されているカラー動画像を復号するカラー動画像復号装置及びカラー動画像復号方法とに関するものである。
【背景技術】
【０００２】
例えば、以下の非特許文献１に記載されている従来のカラー動画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
従来のカラー動画像符号化装置では、ＹＵＶ４：２：０信号の符号化を行う場合、色差信号の変換ブロックサイズを、輝度信号の変換ブロックサイズの縦横半分のサイズに固定することで、色差信号の変換ブロックサイズに係る情報を符号化する必要をなくして、色差信号の符号化効率を高めている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan and T. Wiegand, “WD4: Working Draft 4 of High-Efficiency Video Coding”, doc. JCTVC-F803, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 6th Meeting, 2011
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のカラー動画像符号化装置は以上のように構成されているので、色差信号の変換ブロックサイズに係る情報の符号化が不要になり、色差信号の符号化効率が高められるが、色差信号の変換ブロックサイズが輝度信号の変換ブロックサイズに応じて固定される。しかしながら、画像信号における色差信号は、一般的に輝度信号よりも、相対的に平坦な信号変化が多く、輝度信号の最適な変換ブロックサイズと色差信号の最適な変換ブロックサイズが異なる。このため、色差信号の変換ブロックサイズが輝度信号の変換ブロックサイズに応じて固定されると、色差信号の符号化効率が最適にならないことがある課題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、輝度信号と色差信号に適するブロックサイズで圧縮処理を実施して、輝度信号と色差信号の符号化効率を高めることができるカラー動画像符号化装置及びカラー動画像符号化方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができるカラー動画像復号装置及びカラー動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係るカラー動画像符号化装置は、画像圧縮手段が、差分画像生成手段により生成された差分画像の輝度信号を圧縮する場合、ブロック分割手段により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の圧縮処理を実施し、差分画像生成手段により生成された差分画像の色差信号を圧縮する場合、ブロック分割手段により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の圧縮処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の圧縮処理を実施し、可変長符号化手段が、画像圧縮手段による輝度信号に係るブロックの分割情報を可変長符号化して、その分割情報の符号化データをビットストリームに多重化するようにしたものである。
【発明の効果】
【０００７】
この発明によれば、画像圧縮手段が、差分画像生成手段により生成された差分画像の輝度信号を圧縮する場合、ブロック分割手段により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の圧縮処理を実施し、差分画像生成手段により生成された差分画像の色差信号を圧縮する場合、ブロック分割手段により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の圧縮処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の圧縮処理を実施し、可変長符号化手段が、画像圧縮手段による輝度信号に係るブロックの分割情報を可変長符号化して、その分割情報の符号化データをビットストリームに多重化するように構成したので、輝度信号と色差信号に対する圧縮処理のブロックサイズの適正化が図られて、輝度信号と色差信号の符号化効率を高めることができる効果がある。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１によるカラー動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１によるカラー動画像符号化装置の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１によるカラー動画像符号化装置のイントラ予測部４を示す構成図である。
【図４】この発明の実施の形態１によるカラー動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。
【図５】この発明の実施の形態１によるカラー動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。
【図６】この発明の実施の形態１によるカラー動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。
【図７】この発明の実施の形態１によるカラー動画像復号装置を示す構成図である。
【図８】この発明の実施の形態１によるカラー動画像復号装置の処理内容を示すフローチャートである。
【図９】最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
【図１０】符号化ブロックＢｎに属するパーティションＰｉｎを示す説明図である。
【図１１】分割後のパーティションの分布や、階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示す説明図である。
【図１２】符号化ブロックＢｎに属する各パーティションＰｉｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
【図１３】ｌｉｎ＝ｍｉｎ＝４の場合において、パーティションＰｉｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
【図１４】色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
【図１５】色差信号の予測ブロックと復号済輝度信号などを示す説明図である。
【図１６】縮小輝度参照画素Ｒｅｃ’Ｌの生成方法を示す説明図である。
【図１７】４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。
【図１８】４：２：２フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。
【図１９】色差成分のフレーム内予測を示す説明図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１はこの発明の実施の形態１によるカラー動画像符号化装置を示す構成図である。
この実施の形態１のカラー動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
【００１０】
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００１１】
図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
なお、符号化制御部１は符号化制御手段を構成している。
【００１２】
ここで、図１７は４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図１７に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
【００１３】
輝度信号については、例えば、図１７に示すように、予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。あるいは、正方形の変換ブロックに分割された後に、さらに下の階層で長方形の変換ブロックに分割されるように構成する。
一方、色差信号については、図１７に示すように、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロックが適用されるように構成する。
予測ブロックの形状が長方形である場合、予測ブロックが１階層だけ分割されるように構成する。
【００１４】
このように輝度信号については、階層的に最適な変換ブロックサイズに分割されて変換が行われ、色差信号については、分割形状が固定された大きいブロックで変換が行われるため、色差信号の変換ブロックの分割形状に関する情報をシグナリングすることなく、色差信号を効率的に圧縮することができる。
また、色差信号の変換ブロックの分割形状が、輝度信号の変換ブロックの分割形状と異なるため、輝度信号に対しては、輝度信号に最適な変換ブロックの分割形状を選択することができるため、輝度信号についても、効率的に圧縮することができる。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。
なお、予測ブロックの形状が正方形であっても、符号化ブロックを４分割して得られる正方形サイズの予測ブロックの場合には、色差信号の変換ブロックも１階層だけ分割されるように構成してもよい。
このようにすれば、正方形の変換ブロックが正方形の予測ブロックをまたがないように構成できるので、高周波成分の発生を抑制することができ効率よく圧縮できる。
【００１５】
ブロック分割部２は入力カラー画像（カレントピクチャ）を示すカラー画像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
【００１６】
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
【００１７】
動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。
【００１８】
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
【００１９】
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
即ち、変換・量子化部７は減算部６により生成された差分画像の輝度信号に対する変換・量子化処理（圧縮処理）を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、減算部６により生成された差分画像の色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
なお、変換・量子化部７は画像圧縮手段を構成している。
【００２０】
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
【００２１】
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２２】
ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２３】
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
【００２４】
図１では、カラー動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、カラー動画像符号化装置がコンピュータなどで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１によるカラー動画像符号化装置の処理内容を示すフローチャートである。
【００２５】
図３はこの発明の実施の形態１によるカラー動画像符号化装置のイントラ予測部４を示す構成図である。
図３において、輝度信号イントラ予測部２１はブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。
即ち、輝度信号イントラ予測部２１はイントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。
【００２６】
切替スイッチ２２は符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に出力する処理を実施する。
【００２７】
色差信号方向性イントラ予測部２３は切替スイッチ２２から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。
輝度相関利用色差信号予測部２４は切替スイッチ２２から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図５はこの発明の実施の形態１によるカラー動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。
【００２８】
図４はこの発明の実施の形態１によるカラー動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。
図４において、平滑化輝度参照画素縮小部３１はイントラ予測用メモリ１０により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’Ｌを生成する。
相関算出部３２はイントラ予測用メモリ１０により格納されている色差参照画素と平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’Ｌを用いて、輝度成分と色差成分の相関を示す相関パラメータα，βを算出する処理を実施する。
色差予測画像生成部３３は相関算出部３２により算出された相関パラメータα，βと平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’Ｌを用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図６はこの発明の実施の形態１によるカラー動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。
【００２９】
図７はこの発明の実施の形態１によるカラー動画像復号装置を示す構成図である。
図７において、可変長復号部４１はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する処理を実施する。なお、可変長復号部４１は可変長復号手段を構成している。
【００３０】
切替スイッチ４２は可変長復号部４１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する処理を実施する。
イントラ予測部４３はイントラ予測用メモリ４７により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ４２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
【００３１】
動き補償部４４は動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ４２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ４２、イントラ予測部４３及び動き補償部４４から予測画像生成手段が構成されている。
【００３２】
逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。
即ち、逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された輝度信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理・逆変換処理を行う。
色差信号については、図１７に示すように、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロック単位で逆量子化処理・逆変換処理を実施し、予測ブロックの形状が長方形である場合、予測ブロックを１階層だけ分割して、分割後のブロック単位で逆量子化処理・逆変換処理を実施する。
なお、逆量子化・逆変換部４５は差分画像生成手段を構成している。
【００３３】
加算部４６は逆量子化・逆変換部４５から出力された復号予測差分信号とイントラ予測部４３又は動き補償部４４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部４６は復号画像生成手段を構成している。
イントラ予測用メモリ４７はイントラ予測部４３により次回のイントラ予測処理で用いられる画像として、加算部４６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
【００３４】
ループフィルタ部４８は加算部４６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ４９は動き補償部４４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部４８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
【００３５】
図７では、カラー動画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、カラー動画像復号装置がコンピュータなどで構成される場合、可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図８はこの発明の実施の形態１によるカラー動画像復号装置の処理内容を示すフローチャートである。
【００３６】
この実施の形態１のカラー動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行い、色差信号については変換ブロックサイズを２階層のみに限定して一意に決定することを特徴としている。
一般に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有し、空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのように、比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画などでは、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
【００３７】
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーが小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測処理に用いる予測パラメータをできるだけ大きな画像信号領域に対して均一に適用することができれば、予測パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化が大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測誤りが増えてしまうため、予測差分信号の符号量を削減することができない。
したがって、時間的・空間的に変化が大きい領域では、予測対象の領域を小さくして、予測処理に用いる予測パラメータのデータ量を増やしても、予測差分信号の電力・エントロピーを低減する方が望ましい。
このような映像信号の一般的な性質に適応している符号化処理を行うため、この実施の形態１のカラー動画像符号化装置では、所定の最大ブロックサイズから映像信号の領域を階層的に分割し、分割領域毎に予測処理や予測差分の符号化処理を適応化する構成を採用している。
【００３８】
次に動作について説明する。
最初に、図１のカラー動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
【００３９】
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
【００４０】
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。予め用意されているＭ種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態１では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００４１】
また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。
【００４２】
ブロック分割部２は、入力カラー画像を示す映像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
ここで、図９は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図９の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
また、図９の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
【００４３】
深さｎにおいては、符号化ブロックＢｎはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは同じであってもよいし異なっていてもよいが、図９の例ではＬｎ＝Ｍｎのケースを示している。
以降、符号化ブロックＢｎのサイズは、符号化ブロックＢｎの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
【００４４】
ブロック分割部２では、４分木分割を行うため、常に（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌｎ／２，Ｍｎ／２）である。
以降、第ｎ階層の符号化ブロックＢｎで選択しうる符号化モードをｍ（Ｂｎ）と表記する。
【００４５】
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」）、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢｎに対して最も符号化効率がよい符号化モードを選択する。
【００４６】
符号化ブロックＢｎは、図９に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢｎに属するパーティションをＰｉｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。図１０は符号化ブロックＢｎに属するパーティションＰｉｎを示す説明図である。
符号化ブロックＢｎに属するパーティションＰｉｎの分割がどのようになされているかは符号化モードｍ（Ｂｎ）の中に情報として含まれる。
パーティションＰｉｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉｎ毎に、個別の予測パラメータを選択することができる。
【００４７】
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図１１に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
図１１（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図１１（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図１１（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
また、符号化制御部１は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
【００４８】
切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＲＡ）、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉｎをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＥＲ）、その符号化ブロックＢｎに属するパーティションＰｉｎを動き補償予測部５に出力する。
【００４９】
イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉｎを受けると（ステップＳＴ４）、具体的な処理内容は後述するが、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰｉｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉｎ）を生成する（ステップＳＴ５）。
以下、この明細書では、Ｐｉｎはパーティションを示し、（Ｐｉｎ）はパーティションＰｉｎの予測画像を示すものとする。
【００５０】
イントラ予測画像（Ｐｉｎ）の生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像（Ｐｉｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。
【００５１】
動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰｉｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉｎ）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉｎ）を生成する。
インター予測画像（Ｐｉｎ）の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像（Ｐｉｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
【００５２】
減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐｉｎ）を受けると、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉｎから、その予測画像（Ｐｉｎ）を減算することで、その差分画像を示す予測差分信号ｅｉｎを生成する（ステップＳＴ７）。
【００５３】
変換・量子化部７は、減算部６が予測差分信号ｅｉｎを生成すると、符号化制御部１で決定された変換ブロックサイズ単位で、その予測差分信号ｅｉｎに対する変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅｉｎの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
即ち、変換・量子化部７は、減算部６が予測差分信号ｅｉｎを生成すると、予測差分信号ｅｉｎの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、予測差分信号ｅｉｎの色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
なお、予測ブロックの形状が正方形であっても、符号化ブロックを４分割して得られる正方形サイズの予測ブロックの場合には、色差信号の変換ブロックも１階層だけ分割されるように構成してもよい。
このようにすれば、正方形の変換ブロックが正方形の予測ブロックをまたがないように構成できるので、このように構成された符号化装置の出力するビットストリームを好適に復号することができる。
【００５４】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
【００５５】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐｉｎ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。
【００５６】
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。
このようにすれば、不要な符号化歪補償を省略できるので、画質を保ちつつ演算量を削減することができる。また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するよう構成する。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。
【００５７】
ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢｎに属するパーティションＰｉｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。
【００５８】
次に、イントラ予測部４の処理内容を具体的に説明する。
図１２は符号化ブロックＢｎに属する各パーティションＰｉｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図１２の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
【００５９】
まず、イントラ予測部４の輝度信号イントラ予測部２１は、ブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する（図５のステップＳＴ２１）。
以下、輝度信号イントラ予測部２１の処理内容を具体的に説明する。
ここでは、イントラ予測部４の輝度信号イントラ予測部２１が、パーティションＰｉｎの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションＰｉｎのサイズをｌｉｎ×ｍｉｎ画素とする。
【００６０】
図１３はｌｉｎ＝ｍｉｎ＝４の場合において、パーティションＰｉｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図１３の例では、パーティションＰｉｎに隣接している符号化済みの上パーティションの画素（（２×ｌｉｎ＋１）個の画素）と、左パーティションの画素（（２×ｍｉｎ）個の画素）を予測に用いる参照画素としているが、予測に用いる画素は、図１３に示す画素より多くても少なくてもよい。
また、図１３の例では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列分の画素、あるいは、それ以上の画素を予測に用いてもよい。
【００６１】
輝度信号イントラ予測部２１は、例えば、パーティションＰｉｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉｎ内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰｉｎ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記に示すＬと、隣接画素の交点となる。
ただし、ｋは正のスカラ値である。
【００６２】
参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図１３の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値としている。
なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
【００６３】
輝度信号イントラ予測部２１は、同様の手順で、パーティションＰｉｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉｎ）を出力する。
イントラ予測画像（Ｐｉｎ）の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部１３に出力される。
【００６４】
イントラ予測部４の切替スイッチ２２は、符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定する（ステップＳＴ２２）。
切替スイッチ２２は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に与える。
【００６５】
ここで、図１４は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
図１４の例では、色差信号イントラ予測パラメータが“３４”である場合には、予測に用いる参照画素が輝度相関利用色差信号予測部２４に与えられ、色差信号イントラ予測パラメータが“３４”以外である場合には、予測に用いる参照画素が色差信号方向性イントラ予測部２３に与えられることになる。
【００６６】
色差信号方向性イントラ予測部２３は、切替スイッチ２２から予測に用いる参照画素を受けると、パーティションＰｉｎに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する（ステップＳＴ２３）。
色差信号方向性イントラ予測部２３におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部２１と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部２１と同様である。よって、方向性予測、水平予測、垂直予測、ＤＣ予測などを行うことにより、色差信号のイントラ予測画像が生成される。
【００６７】
輝度相関利用色差信号予測部２４は、切替スイッチ２２から予測に用いる参照画素を受けると、符号化ブロックであるパーティションＰｉｎに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションＰｉｎ内の復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰｉｎのイントラ予測画像（Ｐｉｎ）から得られた局所復号画像内の輝度参照画素）とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する（ステップＳＴ２４）。
以下、輝度相関利用色差信号予測部２４の処理内容を具体的に説明する。
【００６８】
輝度相関利用色差信号予測部２４の平滑化輝度参照画素縮小部３１は、イントラ予測用メモリ１０により格納されているパーティションＰｉｎを構成している復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰｉｎのイントラ予測画像（Ｐｉｎ）から得られた局所復号画像内の輝度参照画素）のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’Ｌを生成する（図６のステップＳＴ３１）。
即ち、平滑化輝度参照画素縮小部３１は、図１５に示すように、パーティションＰｉｎ内の色差信号の予測ブロック（図中、左側のＮ×Ｎのブロック）に対応するブロック（図中、右側の２Ｎ×２Ｎのブロック）内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’Ｌを生成する。
ここで、縮小輝度参照画素Ｒｅｃ’Ｌは、図１６に示すように、ＹＵＶ４：２：０信号において、色差信号画素と同位相になるように、輝度参照画素ＲｅｃＬに対して、横方向に１：２：１のローパスフィルタ、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。
【００６９】
輝度相関利用色差信号予測部２４の相関算出部３２は、平滑化輝度参照画素縮小部３１が縮小輝度参照画素Ｒｅｃ’Ｌを生成すると、その縮小輝度参照画素Ｒｅｃ’Ｌと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素ＲｅｃＣとを用いて、下記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα，βを算出する（ステップＳＴ３２）。
式（１），（２）において、Ｉは処理対象となる色差信号の予測ブロックの１辺の画素数の２倍の値である。
【００７０】
色差予測画像生成部３３は、相関算出部３２が相関パラメータα，βを算出すると、その相関パラメータα，βと縮小輝度参照画素Ｒｅｃ’Ｌを用いて、下記の式（３）に示すように、色差予測画像ＰｒｅｄＣを生成する（ステップＳＴ３３）。
【００７１】
なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。
この際、ＹＵＶ４：２：０信号では、輝度信号と色差信号の解像度が異なるため、輝度信号をサブサンプリングする必要があるが、ローパスフィルタを施すことによりエイリアシングの発生を抑えることができ、予測効率を向上させることができる。
【００７２】
可変長符号化部１３は、上述したように、イントラ予測部４から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するよう構成してもよい。
【００７３】
次に、図７のカラー動画像復号装置の処理内容を説明する。
可変長復号部４１は、図１のカラー動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図８のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１のカラー動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）をカラー動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。
【００７４】
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
【００７５】
可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢｎに属するパーティションＰｉｎの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰｉｎに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰｉｎに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。
【００７６】
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
【００７７】
切替スイッチ４２は、可変長復号部４１から出力された符号化ブロックＢｎに属するパーティションＰｉｎの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。
【００７８】
イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰｉｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉｎ）を生成する（ステップＳＴ４６）。
即ち、イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると、カラー動画像符号化装置の輝度信号イントラ予測部２１と同様に、例えば、パーティションＰｉｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉｎ内の画素の予測値を生成する。
イントラ予測部４３は、同様の手順で、パーティションＰｉｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉｎ）を出力する。
【００７９】
動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰｉｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉｎ）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰｉｎに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉｎ）を生成する。
【００８０】
逆量子化・逆変換部４５は、可変長復号部４１から変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。
【００８１】
加算部４６は、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐｉｎ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。
【００８２】
ループフィルタ部４８は、加算部４６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。
このようにすれば、不要な符号化歪補償を省略できるので画質を保ちつつ演算量を削減することができる。また、輝度信号と色差信号では変換ブロックの分割形状が異なるので、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するよう構成する。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢｎに属するパーティションＰｉｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。
【００８３】
以上で明らかなように、この実施の形態１によれば、変換・量子化部７が、減算部６により生成された差分画像の輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、減算部６により生成された差分画像の色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施するように構成したので、輝度信号と色差信号に対する変換・量子化処理のブロックサイズの適正化が図られて、輝度信号と色差信号の符号化効率を高めることができる効果を奏する。
【００８４】
即ち、カラー動画像符号化装置の色差信号における変換ブロックの分割形状が符号化ブロック及び予測モードに応じて、少ない階層数となる分割状態に一意に決定されるため、色差信号の変換ブロックの分割形状についての情報をシグナリングすることなく、輝度信号の変換ブロックサイズと比べて、画面サイズに対し相対的に大きいブロックサイズで色差信号の変換が行われるので、色差信号を効率よく圧縮することができる。
また、カラー動画像復号装置の色差信号における変換ブロックの分割形状が符号化ブロック及び予測モードに応じて一意に決定されるので、カラー動画像符号化装置で生成されるビットストリームを好適に復号することができる。
なお、同様に色差信号における変換ブロックの分割形状を予測ブロックの分割形状と同じサイズに構成してもよい。
このように構成することにより、色差信号の変換ブロックの分割形状が一意に決定されると共に、相対的に大きいブロックサイズで色差信号の変換が行われるので、同様の効果を得ることができる。
【００８５】
実施の形態２．
上記実施の形態１では、映像信号がＹＵＶ４：２：０フォーマットである例で説明をしたが、この実施の形態２では、映像信号がＹＵＶ４：２：２フォーマットである場合について説明する。
ＹＵＶ４：２：２フォーマットでは、色差成分の縦方向のサンプリング数が輝度信号と同数であり、横方向のサンプリング数が輝度信号の半分である。従って、ＹＵＶ４：２：０フォーマットの符号化・復号の処理に対し、色差成分の処理のみが異なるため、ここでは、主に色差成分の処理について説明する。
【００８６】
この実施の形態２のカラー動画像符号化装置における符号化制御部１は、上記実施の形態１と同様に、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
【００８７】
図１８は４：２：２フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図１８に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
【００８８】
輝度信号については、例えば、図１８に示すように、予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。あるいは、正方形の変換ブロックに分割された後に、さらに下の階層で長方形の変換ブロックに分割されるように構成する。
一方、色差信号については、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロックが適用されるように構成する。
予測ブロックの形状が長方形である場合、図１８に示すように、予測ブロックが１階層だけ分割されるように構成する。
【００８９】
このように輝度信号については、階層的に最適な変換ブロックサイズに分割されて変換が行われ、色差信号については、分割形状が固定された大きいブロックで変換が行われるため、色差信号の変換ブロックの分割形状に関する情報をシグナリングすることなく、色差信号を効率的に圧縮することができる。
また、色差信号の変換ブロックの分割形状が、輝度信号の変換ブロックの分割形状と異なるため、輝度信号に対しては、輝度信号に最適な変換ブロックの分割形状を選択することができるため、輝度信号についても、効率的に圧縮することができる。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。
【００９０】
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、上記実施の形態１と同様に、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
【００９１】
ここで、色差成分のフレーム内予測は、図１９に示すように、縦長のブロックに対して適用する。
方向性予測の場合、図１９に示すように、隣接局部復号画像を直線的に繰り返すことにより予測画像を得る。
平均値予測の場合、上に隣接する画素と左に隣接する画素の平均値を予測値として用いる。あるいは、左に隣接する画素の平均値である左平均値予測値と、上に隣接する画素の平均値である上平均値予測値を個別に算出し、左平均値予測値と上平均値予測値の平均値を平均値予測値としてもよい。
このようにすることで、演算回路において、割り算を用いずシフト演算で処理をすることができるため、回路規模を小さく抑えることができる。
また、左平均値予測値の３倍と上平均値予測値を加算して、２ビット右シフトするよう構成してもよい。
このようにすることで、予測ブロックの形状が縦長なので、より長い辺である左側の画素値により重みを加えた予測値とすることができ、かつ、シフト演算で実現が可能であるため、小さい回路規模で効率のよい予測を行うことができる。
【００９２】
動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
色差成分については、輝度成分の動きベクトルに対して横方向の動きベクトル成分のみ半分にした値を適用して動き補償予測処理を行う。
【００９３】
次に動作について説明する。
最初に、図１のカラー動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
【００９４】
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
【００９５】
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態２では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００９６】
また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグ含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。
【００９７】
ブロック分割部２は、入力カラー画像を示す映像信号を入力すると、上記実施の形態１と同様に、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
図９の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
また、図９の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
【００９８】
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図１１に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
図１１（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図１１（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図１１（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
また、符号化制御部１は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
【００９９】
切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＲＡ）、上記実施の形態１と同様に、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉｎをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＥＲ）、その符号化ブロックＢｎに属するパーティションＰｉｎを動き補償予測部５に出力する。
【０１００】
イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉｎを受けると（ステップＳＴ４）、上記実施の形態１と同様に、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰｉｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉｎ）を生成する（ステップＳＴ５）。
ただし、色差成分のフレーム内予測は、図１９に示すように、縦長のブロックに対して適用する。
イントラ予測画像（Ｐｉｎ）の生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像（Ｐｉｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
【０１０１】
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるよう構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。
【０１０２】
動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉｎを受けると（ステップＳＴ４）、上記実施の形態１と同様に、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰｉｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉｎ）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉｎ）を生成する。
インター予測画像（Ｐｉｎ）の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像（Ｐｉｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
【０１０３】
減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐｉｎ）を受けると、上記実施の形態１と同様に、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉｎから、その予測画像（Ｐｉｎ）を減算することで、その差分画像を示す予測差分信号ｅｉｎを生成する（ステップＳＴ７）。
【０１０４】
変換・量子化部７は、減算部６が予測差分信号ｅｉｎを生成すると、上記実施の形態１と同様に、符号化制御部１で決定された変換ブロックサイズ単位で、その予測差分信号ｅｉｎに対する変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅｉｎの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
即ち、変換・量子化部７は、減算部６が予測差分信号ｅｉｎを生成すると、予測差分信号ｅｉｎの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、予測差分信号ｅｉｎの色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
【０１０５】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、上記実施の形態１と同様に、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
【０１０６】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、上記実施の形態１と同様に、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐｉｎ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。
【０１０７】
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、上記実施の形態１と同様に、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。
【０１０８】
ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢｎに属するパーティションＰｉｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、上記実施の形態１と同様に、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロックサイズを示す変換ブロック分割フラグ含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。
なお、色差信号については変換ブロックが１：２の縦長形状となるため、２次元変換係数を１次元系列にスキャンする場合に、係数を縦２個に対して横１個の割合で斜め方向のラスタスキャンあるいは斜め方向のジグザグスキャンし、得られた１次元系列をエントロピー符号化するよう構成する。
【０１０９】
次に、図７のカラー動画像復号装置の処理内容を説明する。
可変長復号部４１は、図１のカラー動画像符号化装置により生成されたビットストリームを入力すると、上記実施の形態１と同様に、そのビットストリームに対する可変長復号処理を実施して（図８のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１のカラー動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）をカラー動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。
【０１１０】
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
【０１１１】
可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢｎに属するパーティションＰｉｎの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰｉｎに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰｉｎに係る符号化データから圧縮データ、変換ブロックサイズを示す変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。
なお、色差信号については変換ブロックが１：２の縦長形状となるため、１次元系列となっている復号された変換係数を２次元系列に逆スキャンする場合に、係数を縦２個に対して横１個の割合で斜め方向のラスタスキャンあるいは斜め方向のジグザグスキャンし、得られた２次元系列を変換ブロックの係数とするよう構成する。
【０１１２】
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
【０１１３】
切替スイッチ４２は、上記実施の形態１と同様に、可変長復号部４１から出力された符号化ブロックＢｎに属するパーティションＰｉｎの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。
【０１１４】
イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰｉｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉｎ）を生成する（ステップＳＴ４６）。
即ち、イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると、カラー動画像符号化装置の輝度信号イントラ予測部２１と同様に、例えば、パーティションＰｉｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉｎ内の画素の予測値として予測画像を生成する。
あるいは、左に隣接する画素の平均値である左平均値予測値と、上に隣接する画素の平均値である上平均値予測値を個別に算出し、左平均値予測値と上平均値予測値の平均値を平均値予測値としてもよい。
このようにすることで、演算回路において、割り算を用いずシフト演算で処理をすることができるため、回路規模を小さく抑えることができる。
また、左平均値予測値の３倍と上平均値予測値を加算して、２ビット右シフトするよう構成してもよい。
このようにすることで、予測ブロックの形状が縦長なので、より長い辺である左側の画素値により重みを加えた予測値とすることができ、かつ、シフト演算で実現が可能であるため、小さい回路規模で効率のよい予測を行うことができる。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉｎ内の画素の予測値を生成する。
イントラ予測部４３は、同様の手順で、パーティションＰｉｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉｎ）を出力する。
【０１１５】
動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰｉｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉｎ）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰｉｎに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉｎ）を生成する。
【０１１６】
逆量子化・逆変換部４５は、可変長復号部４１から変換ブロックサイズを示す変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。
【０１１７】
加算部４６は、上記実施の形態１と同様に、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐｉｎ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。
【０１１８】
ループフィルタ部４８は、加算部４６から復号画像信号を受けると、上記実施の形態１と同様に、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢｎに属するパーティションＰｉｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。
【０１１９】
以上で明らかなように、この実施の形態２によれば、映像信号がＹＵＶ４：２：２フォーマットであっても、上記実施の形態１と同様に、カラー動画像符号化装置の色差信号における変換ブロックの分割形状が、符号化ブロック及び予測モードに応じて少ない階層数となる分割状態に一意に決定されるため、色差信号を効率よく圧縮することができる。
また、カラー動画像復号装置の色差信号における変換ブロックの分割形状が、符号化ブロック及び予測モードに応じて一意に決定されるので、カラー動画像符号化装置で生成されたビットストリームを好適に復号することができる。
【０１２０】
実施の形態３．
この実施の形態３では、カラー動画像符号化装置及びカラー動画像復号装置が、ＹＵＶ４：２：２信号に対して、色差信号の変換ブロックの分割を輝度信号の変換ブロックの分割形状と共通にすることを特徴としている。その他の構成・処理は、上記実施の形態２と同様である。
【０１２１】
ＹＵＶ４：２：２画像では、色差成分の画素数が縦方向については輝度成分と同じであるため、ＹＵＶ４：２：０信号の色差成分と比べて高周波成分の比率が高いという特性がある。従って、ＹＵＶ４：２：２画像に対しては、変換ブロックの分割形状を輝度成分と色差成分で共通化しても符号化効率が低下しない場合がある。
そこで、この実施の形態３では、ＹＵＶ４：２：２画像における色差成分の変換ブロックの分割形状を輝度成分と共通化するために、輝度成分のブロックに対して、横方向のみ半分のサイズにした変換ブロックを適用する。
【０１２２】
即ち、例えば、輝度成分の変換ブロックサイズが縦３２×横３２画素の場合には、色差成分の変換ブロックサイズを縦３２×横１６画素、輝度成分の変換ブロックサイズが縦１６×横１６画素の場合には、色差成分の変換ブロックサイズを縦１６×横８画素、輝度成分の変換ブロックサイズが縦８×横８画素の場合には、色差成分の変換ブロックサイズを縦８×横４画素とする。
例えば、輝度成分の変換ブロックサイズの最小値を４画素としている場合には、輝度成分の変換ブロックサイズが縦４×横４画素であれば、それらを４つまとめた縦８画素×横８画素の領域に対応する色差成分に対して、変換ブロックサイズを縦８×横４画素としたものを適用する。
このように構成すれば、ＹＵＶ４：２：２画像に対して、色差成分のブロック分割形状の情報を符号化しなくても、効率よく符号化することができる。
【０１２３】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【０１２４】
１ 符号化制御部（符号化制御手段）、２ ブロック分割部（ブロック分割手段）、３ 切替スイッチ（予測画像生成手段）、４ イントラ予測部（予測画像生成手段）、５ 動き補償予測部（予測画像生成手段）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、２１ 輝度信号イントラ予測部、２２ 切替スイッチ、２３ 色差信号方向性イントラ予測部、２４ 輝度相関利用色差信号予測部、３１ 平滑化輝度参照画素縮小部、３２ 相関算出部、３３ 色差予測画像生成部、４１ 可変長復号部（可変長復号手段）、４２ 切替スイッチ（予測画像生成手段）、４３ イントラ予測部（予測画像生成手段）、４４ 動き補償部（予測画像生成手段）、４５ 逆量子化・逆変換部（差分画像生成手段）、４６ 加算部（復号画像生成手段）、４７ イントラ予測用メモリ、４８ ループフィルタ部、４９ 動き補償予測フレームメモリ。
【特許請求の範囲】
【請求項１】
入力カラー画像を所定のサイズの最大符号化ブロックに分割し、上記最大符号化ブロックを階層的に符号化ブロックに分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードを選択する符号化制御手段と、上記ブロック分割手段により分割された符号化ブロックに対して、上記符号化制御手段により選択された符号化モードに対応する予測処理を実施して予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、
上記画像圧縮手段は、上記差分画像生成手段により生成された差分画像の輝度信号を圧縮する場合、上記ブロック分割手段により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の圧縮処理を実施し、上記差分画像生成手段により生成された差分画像の色差信号を圧縮する場合、上記ブロック分割手段により分割された符号化ブロックの形状が正方形であれば、上記符号化ブロックと同じサイズのブロック単位で色差信号の圧縮処理を実施し、上記符号化ブロックの形状が長方形であれば、上記符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の圧縮処理を実施し、
上記可変長符号化手段は、上記画像圧縮手段による輝度信号に係るブロックの分割情報を可変長符号化して、上記分割情報の符号化データをビットストリームに多重化することを特徴とするカラー動画像符号化装置。
【請求項２】
ビットストリームに多重化された符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードに対応する予測処理を実施して、当該符号化ブロックに対する予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
上記可変長復号手段は、上記ビットストリームに多重化された符号化データから輝度信号に係るブロックの分割情報を可変長復号し、
上記差分画像生成手段は、上記可変長復号手段により可変長復号された分割情報から差分画像における輝度信号及び色差信号に対する圧縮処理単位のブロックを特定し、上記ブロック単位で圧縮の解除処理を実施して、圧縮前の差分画像における輝度信号及び色差信号を復号するカラー動画像復号装置。
【請求項３】
ブロック分割手段が、入力カラー画像を所定のサイズの最大符号化ブロックに分割し、上記最大符号化ブロックを階層的に符号化ブロックに分割するブロック分割処理ステップと、符号化制御手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードを選択する符号化制御処理ステップと、予測画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対して、上記符号化制御処理ステップで選択された符号化モードに対応する予測処理を実施して予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記予測画像生成処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化制御処理ステップで選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップとを備え、
上記画像圧縮処理ステップでは、上記差分画像生成処理ステップで生成された差分画像の輝度信号を圧縮する場合、上記ブロック分割処理ステップで分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の圧縮処理を実施し、上記差分画像生成処理ステップで生成された差分画像の色差信号を圧縮する場合、上記ブロック分割処理ステップで分割された符号化ブロックの形状が正方形であれば、上記符号化ブロックと同じサイズのブロック単位で色差信号の圧縮処理を実施し、上記符号化ブロックの形状が長方形であれば、上記符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の圧縮処理を実施し、
上記可変長符号化処理ステップでは、上記画像圧縮処理ステップによる輝度信号に係るブロックの分割情報を可変長符号化して、上記分割情報の符号化データをビットストリームに多重化することを特徴とするカラー動画像符号化方法。
【請求項４】
可変長復号手段が、ビットストリームに多重化された符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードに対応する予測処理を実施して、当該符号化ブロックに対する予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記予測画像生成処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
上記可変長復号処理ステップでは、上記ビットストリームに多重化された符号化データから輝度信号に係るブロックの分割情報を可変長復号し、
上記差分画像生成処理ステップでは、上記可変長復号処理ステップで可変長復号された分割情報から差分画像における輝度信号及び色差信号に対する圧縮処理単位のブロックを特定し、上記ブロック単位で圧縮の解除処理を実施して、圧縮前の差分画像における輝度信号及び色差信号を復号するカラー動画像復号方法。
【請求項１】
入力カラー画像を所定のサイズの最大符号化ブロックに分割し、上記最大符号化ブロックを階層的に符号化ブロックに分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードを選択する符号化制御手段と、上記ブロック分割手段により分割された符号化ブロックに対して、上記符号化制御手段により選択された符号化モードに対応する予測処理を実施して予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、
上記画像圧縮手段は、上記差分画像生成手段により生成された差分画像の輝度信号を圧縮する場合、上記ブロック分割手段により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の圧縮処理を実施し、上記差分画像生成手段により生成された差分画像の色差信号を圧縮する場合、上記ブロック分割手段により分割された符号化ブロックの形状が正方形であれば、上記符号化ブロックと同じサイズのブロック単位で色差信号の圧縮処理を実施し、上記符号化ブロックの形状が長方形であれば、上記符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の圧縮処理を実施し、
上記可変長符号化手段は、上記画像圧縮手段による輝度信号に係るブロックの分割情報を可変長符号化して、上記分割情報の符号化データをビットストリームに多重化することを特徴とするカラー動画像符号化装置。
【請求項２】
ビットストリームに多重化された符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードに対応する予測処理を実施して、当該符号化ブロックに対する予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
上記可変長復号手段は、上記ビットストリームに多重化された符号化データから輝度信号に係るブロックの分割情報を可変長復号し、
上記差分画像生成手段は、上記可変長復号手段により可変長復号された分割情報から差分画像における輝度信号及び色差信号に対する圧縮処理単位のブロックを特定し、上記ブロック単位で圧縮の解除処理を実施して、圧縮前の差分画像における輝度信号及び色差信号を復号するカラー動画像復号装置。
【請求項３】
ブロック分割手段が、入力カラー画像を所定のサイズの最大符号化ブロックに分割し、上記最大符号化ブロックを階層的に符号化ブロックに分割するブロック分割処理ステップと、符号化制御手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードを選択する符号化制御処理ステップと、予測画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対して、上記符号化制御処理ステップで選択された符号化モードに対応する予測処理を実施して予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記予測画像生成処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化制御処理ステップで選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップとを備え、
上記画像圧縮処理ステップでは、上記差分画像生成処理ステップで生成された差分画像の輝度信号を圧縮する場合、上記ブロック分割処理ステップで分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の圧縮処理を実施し、上記差分画像生成処理ステップで生成された差分画像の色差信号を圧縮する場合、上記ブロック分割処理ステップで分割された符号化ブロックの形状が正方形であれば、上記符号化ブロックと同じサイズのブロック単位で色差信号の圧縮処理を実施し、上記符号化ブロックの形状が長方形であれば、上記符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の圧縮処理を実施し、
上記可変長符号化処理ステップでは、上記画像圧縮処理ステップによる輝度信号に係るブロックの分割情報を可変長符号化して、上記分割情報の符号化データをビットストリームに多重化することを特徴とするカラー動画像符号化方法。
【請求項４】
可変長復号手段が、ビットストリームに多重化された符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードに対応する予測処理を実施して、当該符号化ブロックに対する予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記予測画像生成処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
上記可変長復号処理ステップでは、上記ビットストリームに多重化された符号化データから輝度信号に係るブロックの分割情報を可変長復号し、
上記差分画像生成処理ステップでは、上記可変長復号処理ステップで可変長復号された分割情報から差分画像における輝度信号及び色差信号に対する圧縮処理単位のブロックを特定し、上記ブロック単位で圧縮の解除処理を実施して、圧縮前の差分画像における輝度信号及び色差信号を復号するカラー動画像復号方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−１０２２６９（Ｐ２０１３−１０２２６９Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４３５４６（Ｐ２０１１−２４３５４６）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]