画像復号装置、画像復号方法、プログラム及び画像符号化装置
【課題】輝度信号が分割されても色差信号を分割せずに変換処理を行うことを許容することで、符号化効率の向上を図ること。
【解決手段】画像を複数の符号化ブロックに分割し、符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、データに含まれる変換ブロックの分割回数情報を復号する分割回数情報復号部と符号化ブロックが最大サイズであり、かつ変換ブロックの分割回数が０である場合、輝度信号に対する変換ブロックの分割回数を１に設定する回数制御部と、輝度信号及び色差信号に対する変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号部と、を備える。
【解決手段】画像を複数の符号化ブロックに分割し、符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、データに含まれる変換ブロックの分割回数情報を復号する分割回数情報復号部と符号化ブロックが最大サイズであり、かつ変換ブロックの分割回数が０である場合、輝度信号に対する変換ブロックの分割回数を１に設定する回数制御部と、輝度信号及び色差信号に対する変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像をブロック状の小領域に分割して符号化を行うブロックベース符号化を行う画像復号装置、画像復号方法、プログラム及び画像符号化装置に関する。
【背景技術】
【０００２】
近年マルチメディア化が進み、動画像を扱う機会が多くなってきている。画像データは情報量が大きく、静止画像の集合である動画像は、テレビ放送の主流であるハイビジョン（１９２０×１０８０）放送で１Ｇｂｉｔ／ｓｅｃを超える情報量である。
【０００３】
そのため、動画像データは、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）や規格化作業中のＨＥＶＣ（High Efficiency Video Coding）などに代表される符号化標準技術によって、情報量を圧縮して伝送・蓄積が行われている。
【０００４】
ＭＰＥＧ（Moving Picture Experts Group）に代表される符号化方式では映像信号を符号化の最小単位であるマクロブロックと呼ばれる小ブロックに分割してブロックごとに符号化を行う。
【０００５】
映像信号は、一般的に輝度信号と２つの色差信号とによって構成され、局所的にそれぞれに相関をもつ。そのため、符号化方式では、符号化のブロック境界がそれぞれのコンポーネント信号における同一の内容を含む領域で分割し、符号化を行っている。例えば、輝度信号と色差信号とが同じ解像度である４：４：４フォーマットであれば、輝度及び色差ともに同じ大きさ、同じ位置でブロック分割が行われる。
【０００６】
しかし、例えば、輝度信号と色差信号との解像度が異なるフォーマットである４：２：０の場合、画面内の同じ相対位置でブロック分割を行うため、色差信号は縦、横の画素数が輝度信号に対して半分のブロックサイズで分割を行う。
【０００７】
ここで、現在規格化がすすめられているＨＥＶＣでは、色差信号の分割サイズについて、輝度のサイズに連動して決定している。ただし、最低ブロックサイズの制限により、輝度の４×４のブロックに対し、色差の２×２のブロックが生成できないため、輝度の８×８のブロックに対応して色差の４×４のブロックが選択される。
【０００８】
図１は、輝度の分割例を示す図である。図１に示すように、輝度信号は、例えば、３２×３２、１６×１６、８×８、４×４に分割される。
【０００９】
図２は、色差の分割例を示す図である。図２に示すように、色差信号は、例えば、１６×１６、８×８、４×４に分割される。
【００１０】
また、ＭＰＥＧ−２やＨ．２６４／ＡＶＣでは、マクロブロックのサイズが、輝度の場合は８×８に対し、色差の場合は４×４である。よって、従来の符号化技術では、一般的に輝度と色差とのサイズを連動させて符号化している。
【００１１】
また、ＨＥＶＣでは、従来の符号化技術のように画面を左上から符号化単位であるブロック状に単純に分割するのではなく、新たに階層分割を採用し、複数階層のブロック分割を可能とする。また、複数のブロックに分割された符号化単位は、ＣＵ（Coding Unit）や符号化ブロックとも呼ぶ。
【００１２】
また、ＨＥＶＣでは、予測誤差信号を効率的に表現するため、ＣＵを階層分割し、変換単位に分けることができる。変換単位は、ＴＵ（Transform Unit）や変換ブロックとも呼ぶ。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】B.Bross,「JCTVC-F805 WD4: Woking Draft 4 of High-Efficiency Video Coding」, Torino Meeting, 8 October, 2011
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、一般的に輝度信号に比べ色差信号の信号変動は小さいため、色差信号をより大きなサイズで領域分割した方が、符号化効率がよいことがある。現在規格化が行われているＨＥＶＣでは、輝度の最大の符号化ブロック（ＣＵ）は６４×６４、変換ブロック（ＴＵ）は３２×３２、色差の最大ＣＵサイズは３２×３２、ＴＵは１６×１６と設定して検討が行われている。
【００１５】
変換ブロックの最大サイズが３２×３２であるため、符号化装置は３２×３２の変換処理を備えており、輝度信号の場合にのみ、この変換処理が利用される。
【００１６】
また、ＨＥＶＣでは、階層分割を採用しており、ＴＵはＣＵと同じサイズを最大サイズとして、現在の検討では３階層の４分木分割により最適なサイズを選択している。ＣＵが最大サイズ６４×６４の場合、本来第０階層では６４×６４のＴＵが選択されるべきであるが、６４×６４の二次元直交変換は処理量の問題から採用されていない。そのため、第０階層はスキップして第１階層（輝度のＴＵサイズ３２×３２、色差のＴＵサイズ１６×１６）から分割が行われる。
【００１７】
図３は、第０階層のスキップを説明するための図である。図３に示す例では、ＣＵが最大サイズ（６４×６４）であれば、第０階層はスキップして、第１階層（TU depth=1）から分割が行われる。従って、従来技術では、色差信号において、符号化効率がよいと考えられる大きなサイズで変換処理を行うことができないという問題点があった。
【００１８】
そこで、本発明は上記問題点に鑑みてなされたものであり、輝度信号が分割されても色差信号を分割せずに変換処理を行うことを許容することで、符号化効率の向上を図ることができる画像復号装置、画像復号方法、プログラム及び画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の一態様における画像復号装置は、画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、該データに含まれる前記変換ブロックの分割回数情報を復号する分割回数情報復号部と、前記符号化ブロックが最大サイズであり、かつ前記変換ブロックの分割回数が０である場合、輝度信号に対する前記変換ブロックの分割回数を１に設定する回数制御部と、前記輝度信号及び前記色差信号に対する前記変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号部と、を備える。
【００２０】
また、前記最大サイズは６４×６４であり、分割回数が０である場合の前記色差信号に対する前記変換ブロックのサイズは、３２×３２であり、分割回数が１である場合の前記輝度信号に対する前記変換ブロックのサイズは、３２×３２であってもよい。
【００２１】
また、他の態様における画像復号方法は、画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、該データに含まれる前記変換ブロックの分割回数情報を復号する分割回数情報復号ステップと、前記符号化ブロックが最大サイズであり、かつ前記変換ブロックの分割回数が０である場合、輝度信号に対する前記変換ブロックの分割回数を１に設定する回数制御ステップと、前記輝度信号及び前記色差信号に対する前記変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号ステップと、を有する。
【００２２】
また、他の態様におけるプログラムは、画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、該データに含まれる前記変換ブロックの分割回数情報を復号する分割回数情報復号ステップと、前記符号化ブロックが最大サイズであり、かつ前記変換ブロックの分割回数が０である場合、輝度信号に対する前記変換ブロックの分割回数を１に設定する回数制御ステップと、前記輝度信号及び前記色差信号に対する前記変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号ステップと、をコンピュータに実行させる
また、他の態様における画像符号化装置は、画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像を符号化する画像符号化装置であって、前記符号化ブロックが最大サイズである場合、輝度信号に対する前記変換ブロックの分割回数を前記色差信号に対する前記変換ブロックの分割回数よりも１つ多く制御する分割制御部と、前記輝度信号及び前記色差信号に対する変換ブロックの分割回数により決定されるサイズで、直交変換処理を行う変換部と、を備える。
【発明の効果】
【００２３】
本発明によれば、輝度信号が分割されても色差信号を分割せずに変換処理を行うことを許容することで、符号化効率の向上を図ることができる。
【図面の簡単な説明】
【００２４】
【図１】輝度の分割例を示す図。
【図２】色差の分割例を示す図。
【図３】第０階層のスキップを説明するための図。
【図４】第０階層を有効にした階層分割を説明するための図。
【図５】実施例１における画像符号化装置の概略構成の一例を示すブロック図。
【図６】直交変換部の構成の一例を示すブロック図。
【図７】インターＴＵの分割決定処理の一例を示すフローチャート。
【図８】Cbfの格納イメージを示す図。
【図９】直交変換係数の格納イメージを示す図。
【図１０】各クラスの解像度の映像に対し、各符号化コンディションで符号化した場合の符号化結果を示す図。
【図１１】実施例２における画像復号装置の概略構成の一例を示すブロック図。
【図１２】エントロピー復号部の構成の一例を示すブロック図。
【図１３】分割回数制御を行って復号する処理の一例を示すフローチャート。
【図１４】実施例３における画像処理装置の構成の一例を示すブロック図。
【発明を実施するための形態】
【００２５】
まず、以下に説明する各実施例の前提となる階層分割について説明する。図４は、第０階層を有効にした階層分割を説明するための図である。図４に示す例では、ＣＵが最大ブロック（６４×６４）であるとき、第０階層（Additional mode TU depth=0）を有効にし、色差のＴＵサイズ３２×３２を選択可能にしている。
【００２６】
前述した通り、第０階層は、輝度の６４×６４直交変換が実装されていないためにスキップされる。しかし、第０階層の色差信号は３２×３２であり、３２×３２直交変換はすでに輝度の符号化のために実装されている。そこで、実施例では、次のようにして第０階層を有効にする。
・輝度に関しては６４×６４直交変換がないため、第０階層での符号化を示す場合、暗黙的に第１階層で分割を行う
・色差に関しては３２×３２直交変換を行う
上記を実現するために、第０階層における分割を示すフラグsplit_transform_flagと、分割した４ブロックの符号化、非符号化を示すCbf（Coded block flag）とを追加する。
【００２７】
なお、どの階層で符号化を実施するかは、各階層において発生符号量と符号化歪量をもとに算出されるＲＤコストの比較によって決定される。ＲＤコストの算出方法は、例えば非特許文献（G.J. Sullivan, T. Wiegand, "Rate-distortion optimization for video compression," IEEE Signal Processing Magazine, pp. 74-90, Vol. 15 , No. 6, 1998）を参照されたい。また、画像は、動画像（映像）を含む。
【００２８】
以上の階層分割に基づく各実施例について、以下、添付図面を参照しながら詳細に説明する。なお、各実施例は、輝度信号と色差信号との解像度が異なるフォーマットであることを想定する。
【００２９】
［実施例１］
＜構成＞
図５は、実施例１における画像符号化装置１０の概略構成の一例を示すブロック図である。図５に示す例では、画像符号化装置１０は、前処理部１００、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、デブロッキングフィルタ部１０８、ループフィルタ部１０９、復号画像記憶部１１０、イントラ予測部１１１、インター予測部１１２、動きベクトル計算部１１３、符号化制御及びヘッダ生成部１１４及び予測画像選択部１１５を有する。各部についての概略を以下に説明する。
【００３０】
前処理部１００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレームごとのフレーム画像等を順次出力する。また、前処理部１００は、符号化のためのブロック分割なども行う。
【００３１】
予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。
【００３２】
予測誤差信号生成部１０１は、そのブロックデータと、予測画像選択部１１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。
【００３３】
直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、例えば、輝度信号、色差信号に対して同様に分割するのではなく、輝度信号を分割しても、色差信号を分割しないよう制御して直交変換することができる。これにより、輝度信号のブロックに対応する領域よりも大きな領域の色差信号で直交変換をすることができる。直交変換部１０２の詳細は、図６を用いて後述する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１０３に出力する。
【００３４】
量子化部１０３は、直交変換部１０２からの出力信号を量子化する。量子化部１０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。また、量子化部１０３は、ＲＤコスト計算のために量子化後の信号を直交変換部１０２に出力する。
【００３５】
エントロピー符号化部１０４は、量子化部１０３からの出力信号や動きベクトル計算部１１３から出力された動きベクトル情報やループフィルタ部１０９からのフィルタ係数などをエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００３６】
逆量子化部１０５は、量子化部１０３からの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。逆直交変換部１０６は、ＲＤコスト計算のために逆直交変換した信号を直交変換部１０２に出力する。
【００３７】
復号画像生成部１０７は、インター予測部１１２で動き補償された画像のブロックデータと、逆量子化部１０５及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、デブロッキングフィルタ部１０８に出力する。
【００３８】
デブロッキングフィルタ部１０８は、復号画像生成部１０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ部１０９に出力する。
【００３９】
ループフィルタ部１０９は、例えばＡＬＦ（Adaptive Loop Filter）であり、デブロッキングフィルタ処理された復号画像と、入力画像とを用いてフィルタ処理を行う。フィルタ処理は、例えばウィナーフィルタ（Wiener Filter）が用いられるが、その他のフィルタでも良い。
【００４０】
また、ループフィルタ部１０９は、入力画像を所定サイズ毎のグループに分け、グループ毎に適切なフィルタ係数を生成する。ループフィルタ部１０９は、デブロッキングフィルタ処理された復号画像を、所定サイズ毎にグループ分けし、生成したフィルタ係数を用いてグループ毎にフィルタ処理を行う。ループフィルタ部１０９は、フィルタ処理結果を復号画像記憶部１１０に出力し、参照画像として蓄積させる。所定サイズは、例えば、直交変換サイズである。
【００４１】
復号画像記憶部１１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部１１１、インター予測部１１２及び動きベクトル計算部１１３に出力する。
【００４２】
イントラ予測部１１１は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像を生成する。イントラ予測部１１１は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。
【００４３】
インター予測部１１２は、復号画像記憶部１１０から取得した参照画像のデータを動きベクトル計算部１１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【００４４】
動きベクトル計算部１１３は、符号化対象画像におけるブロックデータと、復号画像記憶部１１０から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。
【００４５】
動きベクトル計算部１１３は、求めた動きベクトルをインター予測部１１２に出力し、動きベクトルや参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部１０４に出力する。
【００４６】
イントラ予測部１１１とインター予測部１１２から出力されたブロックデータは、予測画像選択部１１５に入力される。
【００４７】
予測画像選択部１１５は、イントラ予測部１１１とインター予測部１１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部１０１に出力される。
【００４８】
また、符号化制御及びヘッダ生成部１１４は、符号化の全体制御とヘッダ生成を行う。符号化制御及びヘッダ生成部１１４は、イントラ予測部１１１に対して、スライス分割有無の通知、デブロッキングフィルタ部１０８に対して、デブロッキングフィルタ有無の通知、動きベクトル計算部１１３に対して参照画像の制限通知などを行う。
【００４９】
符号化制御及びヘッダ生成部１１４は、その制御結果を用いて、ヘッダ情報を生成する。生成されたヘッダ情報は、エントロピー符号化部１０４に出力され、画像データ、動きベクトルデータとともにストリームとして出力される。
【００５０】
画像符号化装置１０の上記構成はあくまでも一例であり、実装の仕方によって構成を変更してもよく、例えば複数の部をまとめて構成してもよい。
【００５１】
＜直交変換部の構成＞
次に、直交変換部１０２の構成について説明する。図６は、直交変換部１０２の構成の一例を示すブロック図である。図６に示す直交変換部１０２は、分割制御部２０１、変換部２０２、コスト計算部２０３、分割決定部２０４を有する。
【００５２】
分割制御部２０１は、輝度信号及び色差信号に対して、階層分割のブロック分割を制御する。ここで、分割制御部２０１は、ＣＵが最大サイズ（６４×６４）の場合、第０階層を有効にする。分割制御部２０１は、例えば、輝度信号に対しては３２×３２の４つのブロックに分割し、色差信号に対しては３２×３２のブロックのままに制御する。分割制御部２０１は、例えばＣＵが最大サイズではない場合や、ＣＵが最大サイズの場合で第１階層以上の場合、輝度と色差とを連動させて分割するよう制御する。
【００５３】
変換部２０２は、分割制御部２０１により制御された分割のブロックサイズで直交変換処理を行う。変換部２０２は、直交変換後の信号を量子化部１０３に出力する。
【００５４】
コスト計算部２０３は、分割制御部２０１により制御された分割階層に対し、ＲＤコストを計算する。コスト計算部２０３は、例えば各階層における発生符号量と、符号化歪量とを用いてＲＤコストを計算する。発生符号量は、量子化部１０３から取得した信号に基づき計算され、符号化歪量は、逆直交変換部１０６から取得した信号に基づき計算される。
【００５５】
分割決定部２０４は、コスト計算部２０３により計算されたＲＤコストに基づいて階層分割を行うか否かを決定する。決定された階層分割の情報は、エントロピー符号化部１０４に出力され、ビットストリームに含まれる。これにより、エントロピー符号化部１０４は、決定された階層に基づいて量子化信号をエントロピー符号化する。
【００５６】
なお、直交変換部１０２は、インター予測の場合の予測誤差信号、イントラ予測の場合の予測誤差信号に対して同様の処理を行ってもよいし、イントラ予測の場合には、輝度信号のみに基づいてＴＵ分割を決定するようにしてもよい。直交変換部１０２は、輝度信号のみに基づいてＴＵ分割を決める際、第０階層にするか第１階層にするかは、split_transform_flagを含むヘッダのビット量に基づいて決定すればよい。
【００５７】
以上の構成を有することで、色差信号に対して比較的大きなサイズ（例えば３２×３２）で直交変換処理を行うことができ、符号化効率の向上を図ることができる。
【００５８】
＜動作＞
次に、実施例１における画像符号化装置１０の動作について説明する。図７は、インターＴＵの分割決定処理の一例を示すフローチャートである。図７に示す処理は、インター予測における変換ブロックの分割決定処理を示す。
【００５９】
図７に示すステップＳ１０１で、分割制御部２０１は、ＣＵのサイズが６４×６４、かつＲＱＴ階層が０（分割回数０）であるか否かを判定する。この条件が満たされればuiPartが０に設定されて（ステップＳ１０１−ＹＥＳ）ステップＳ１０２に進み、この条件が満たされなければ（ステップＳ１０１−ＮＯ）ステップＳ１０４に進む。uiPartは、処理したブロック数を示す変数である。
【００６０】
ステップＳ１０２で、分割制御部２０１は、uiPartが４未満であるか否かを判定する。uiPartが４未満であれば（ステップＳ１０２−ＹＥＳ）ステップＳ１０３に進み、uiPartが４以上であれば（ステップＳ１０２−ＮＯ）ステップＳ１０５に進む。
【００６１】
ステップＳ１０３で、分割制御部２０１は、uiPartに１を加算する。変換部２０２、量子化部１０３は、輝度信号に対して３２×３２サイズで直交変換、量子化処理を行う。ステップＳ１０３の処理が終わるとステップＳ１０２の処理に戻る。
【００６２】
ステップＳ１０４で、変換部２０２、量子化部１０３は、所定サイズの輝度信号に対して、直交変換、量子化処理を行う。
【００６３】
ステップＳ１０５で、変換部２０２、量子化部１０３は、所定サイズの色差信号に対して、直交変換、量子化処理を行う。
【００６４】
ステップＳ１０６で、分割制御部２０１は、ＣＵのサイズが６４×６４、かつＲＱＴ階層が０（分割回数０）であるか否かを判定する。この条件が満たされればuiPartが０に設定されて（ステップＳ１０６−ＹＥＳ）ステップＳ１０７に進み、この条件が満たされなければ（ステップＳ１０６−ＮＯ）ステップＳ１０９に進む。
【００６５】
ステップＳ１０７で、分割制御部２０１は、uiPartが４未満であるか否かを判定する。uiPartが４未満であれば（ステップＳ１０７−ＹＥＳ）ステップＳ１０８に進み、uiPartが４以上であれば（ステップＳ１０７−ＮＯ）ステップＳ１１０に進む。
【００６６】
ステップＳ１０８で、分割制御部２０１は、uiPartに１を加算する。コスト計算部２０３は、輝度信号に対して３２×３２サイズで直交変換係数のビットコスト計算を行う。ステップＳ１０８の処理が終わるとステップＳ１０７の処理に戻る。
【００６７】
ステップＳ１０９で、コスト計算部２０３は、所定サイズの輝度信号に対して、直交変換係数のビットコスト計算を行う。
【００６８】
ステップＳ１１０で、コスト計算部２０３は、所定サイズの色差信号に対して、直交変換係数のビットコスト計算を行う。
【００６９】
ステップＳ１１１で、分割制御部２０１は、ＣＵのサイズが６４×６４、かつＲＱＴ階層が０（分割回数０）であるか否かを判定する。この条件が満たされればuiPartが０に設定されて（ステップＳ１１１−ＹＥＳ）ステップＳ１１２に進み、この条件が満たされなければ（ステップＳ１１１−ＮＯ）ステップＳ１１４に進む。
【００７０】
ステップＳ１１２で、分割制御部２０１は、uiPartが４未満であるか否かを判定する。uiPartが４未満であれば（ステップＳ１１２−ＹＥＳ）ステップＳ１１３に進み、uiPartが４以上であれば（ステップＳ１１２−ＮＯ）ステップＳ１１５に進む。
【００７１】
ステップＳ１１３で、分割制御部２０１は、uiPartに１を加算する。コスト計算部２０３は、輝度信号に対して３２×３２サイズで逆量子化、逆直交変換係数の有無比較を行い、符号化歪量を計算する。ステップＳ１１３の処理が終わるとステップＳ１１２の処理に戻る。
【００７２】
ステップＳ１１４で、コスト計算部２０３は、所定サイズの輝度信号に対して、逆量子化・逆直交変換係数の有無比較を行い、符号化歪量を計算する。
【００７３】
ステップＳ１１５で、コスト計算部２０３は、所定サイズの色差信号に対して、逆量子化・逆直交変換係数の有無比較を行い、符号化歪量を計算する。
【００７４】
ステップＳ１１６で、コスト計算部２０３は、輝度・色差のＲＤコストの合計を計算する。ここで、分割決定部２０４は、uiPartを０に設定する。
【００７５】
ステップＳ１１７で、分割決定部２０４は、uiPartが４未満であるか否かを判定する。uiPartが４未満であれば（ステップＳ１１７−ＹＥＳ）ステップＳ１１８に進み、uiPartが４以上であれば（ステップＳ１１７−ＮＯ）ステップＳ１１９に進む。
【００７６】
ステップＳ１１８で、直交変換部１０２は、uiPartに１を加算し、ＲＱＴ階層を１つ増やし（分割数を１つ増やし）、インターＴＵの分割決定処理（ステップＳ１０１以降の処理）を再帰的に行う。ステップＳ１１８の処理が終わるとステップＳ１１７に戻る。
【００７７】
ステップＳ１１９で、分割決定部２０４は、分割時と、非分割時とのＲＤコストを比較し、ＲＤコストが小さい方を選択して決定する。
【００７８】
これにより、ＣＵが６４×６４の場合に、第０階層を含めて分割階層を決定することができ、符号化効率の向上を図ることができる。
【００７９】
なお、図７に示す処理は、インター予測の場合で説明したが、イントラ予測の場合に用いてもよい。また、イントラ予測の場合は、前述した通り、輝度信号のみに基づいてＴＵ分割を決定するようにしてもよい。
【００８０】
＜データ格納＞
次に、本実施例で、新たに発生する符号化情報の格納方法について説明する。格納された符号化情報はエントロピー符号化され伝送される。実施例では、輝度信号の符号化結果は、６４×６４直交変換が存在しないため、階層分割が１回相当で暗黙的に処理が行われる。しかし、処理としては、階層分割単位で行なわれるため、輝度及び色差ともに階層分割０回の符号化結果として新たに格納される。
【００８１】
（１）Cbf
Cbfは、その階層における変換ブロック（ＴＵ）が符号化されるか、符号化されないかを示すフラグである。このブロックの情報伝達が必要ない場合、Cbfは０として何らの情報を送らないことを明示する。情報伝達が必要ない場合とは、例えば予測によって、信号が十分な品質を持って再構成できる場合などを示す。
【００８２】
Cbfの値は、ＲＱＴ階層分だけ、左へシフトしてブロックに対応する全てのuiAbsPartIdxに格納される。輝度信号のCbfは、次のようにして格納される。
pcCU->setCbfSubParts( uiCbf<<uiTrDepth, TEXT_LUMA, uiAbsPartSubIdx, uiDepth);
pcTU：TcomDataCUクラスのインスタンス
TcomDataCU：CUのパラメータを格納する配列
uiTrDepth：ＲＱＴ階層（１）
uiAbsPartSubIdx：輝度信号を４分割したブロックのuiAbsPartIdx
uiAbsPartIdx：CU内のTUの絶対的な位置
uiDepth：CUの階層（０）＋ＲＱＴ階層（１）
setCbfSubPartsは、Cbfをメモリに格納する処理である。上記処理は、uiTrDepthやuiAbsPartSubIdxやuiDepthを調整することで各階層にCbfを格納する関数である。これにより、輝度信号は、ＲＱＴ階層１、色差信号はＲＱＴ階層０として格納される。
【００８３】
図８は、Cbfの格納イメージを示す図である。図８に示すように、輝度信号は、ＲＱＴ階層１の４つのブロックにCbfが格納される。色差信号は、ＲＱＴ階層０にCbfが格納される。
【００８４】
TComDataCUのm_puhCbf[0], m_puhCbf[1], m_puhCbf[2]は、それぞれCbfを格納した配列である。これは、ＴＵ単位の符号化、もしくは非符号化の状態を示すフラグである。
【００８５】
（２）ＲＱＴ階層情報
TComDataCU::setTrIdxSubParts関数を用いてＲＱＴ階層に情報が格納される。Ｃ３２ＴＵ（色差信号のサイズが３２×３２）の場合はＲＱＴ階層０なので、ＣＵ内のすべてのuiAbsPartIdxに０が格納される。
pcCU->setTrIdxSubParts( uiTrDepth, uiAbsPartIdx, uiDepth );
pcCU：TComDataCUクラスのインスタンス
uiTrDepth：ＲＱＴ階層（０）
uiAbsPartIdx：０
uiDepth：ＣＵの階層＋ＲＱＴ階層（０）
上記関数は、ＲＱＴ階層情報を格納する処理を示している。階層０相当部分へ格納するかどうかは、uiTrDepth、uiAbsPartIdx、uiDepthの各変数の設定によって変化する。例えば、前述したuiAbsPartIdxに対応するブロックのRQTの情報を格納する配列にRQTが０であれば、対応するTUのインデックスに０を格納するということを表す。
【００８６】
（３）直交変換係数
ＴＵ分割を決定する際には、ＲＱＴ階層０にあたるuiQTTempAccessLayer=0へ直交変換係数を格納する。
【００８７】
図９は、直交変換係数の格納イメージを示す図である。図９に示す例では、輝度信号の直交変換係数は、３２×３２の４つのブロックに対応する記憶領域に直交変換係数が格納される。色差信号は、２つの色差に対する各記憶領域に直行変換係数が記憶される。
【００８８】
TComDataCU::m_pcTrCoeffY，TEncSearch::m_pcQTTempCoeffY[0]は、輝度信号の直交変換係数を格納したメモリである。また、TComDataCU::m_pcTrCoeffCb，TComDataCU::m_pcTrCoeffCr，TEncSearch::m_pcQTTempCoeffCb[0]，TEncSearch::m_pcQTTempCoeffCr[0]は、色差信号（Cb,Cr）の直交変換係数を格納したメモリである。
【００８９】
＜Syntaxの拡張＞
split_transform_flagは、ＴＵ分割を行うか、行わないかを表すフラグである。ＴＵ分割は、ＣＵを複数の変換ブロックに階層的に分割することをいう。最大ＴＵサイズ３２×３２かつＣＵが６４×６４の場合、従来技術ではＲＱＴ階層０のsplit_transform_flagは必ず1（分割）である。
【００９０】
一方、本実施例では、ＲＱＴ階層０のsplit_transform_flagが０の場合、Ｃ３２ＴＵモードのＴＵ分割が行われることを表すこととする。Ｃ３２ＴＵモードとは、輝度が３２×３２で、色差が３２×３２の符号化モードをいう。
【００９１】
復号化の際、ＲＱＴ階層０でsplit_transform_flagが０の場合は、輝度信号のSyntaxはsplit_transform_flagが1の場合と同様にして、分割されたＴＵのCbf、直交変換係数をそれぞれ4つエントロピー復号する。
【００９２】
・cbp_and_split_transform
ＬＣＥＣ（Low Complexity Entropy Coding）において、Ｃ３２ＴＵモードを符号化時のcbp_and_split_transformは、ＲＱＴ階層０としてflagPattern１５で符号化される。
flagPattren:15は、(cbf_luma=1, cbf_cr=1, cbf_cb=1, subdiv=0) -<---cbp_and_split_transform(階層0)を表す。
【００９３】
輝度信号の符号化は、ＲＱＴ階層１としてflagPattern８で分割された4つの直交変換ブロックのｃｂｆを符号化する。flagPattren:8は、 (cbf_luma(uiAbsPartIdx:0)=1,cbf_luma(uiAbsPartIdx:64)=1,cbf_luma(uiAbsPartIdx:128)=1, cbf_luma(uiAbsPartIdx:192)=1 ) <---cpb_and_split_transform（階層1）を表す。
【００９４】
例えば、デコーダはflagPattren:15を受け取ると自動的にcbf_luma=1, cbf_cr=1, cbf_cb=1, subdiv=0をデコードする。デコーダは、同様にしてflagPattren:8を受け取ると、階層1を示すフラグをデコードする。
【００９５】
＜エントロピー符号化部への入力ｂｉｎ例＞
Ｃ３２ＴＵモードで全ての輝度信号ブロックと、色差信号ブロックとが符号化される場合（ｃｂｆ＝＝１）、以下のようなｂｉｎが出力される。
【００９６】
[CABAC]
transform_split_transform_flag = 0
cbf_cr(uiAbsPartIdx:0) = 1
cbf_cb(uiAbsPartIdx:0) = 1
cbf_luma(uiAbsPartIdx:0) = 1
cbf_luma(uiAbsPartIdx:64) = 1
cbf_luma(uiAbsPartIdx:128) = 1
cbf_luma(uiAbsPartIdx:192) = 1
coeff_luma(uiAbsPartIdx:0/32x32)
coeff_luma(uiAbsPartIdx:64/32x32)
coeff_luma(uiAbsPartIdx:128/32x32)
coeff_luma(uiAbsPartIdx:192/32x32)
coeff_crluma(uiAbsPartIdx:0/32x32)
coeff_cbluma(uiAbsPartIdx:0/32x32)
[LCEC]
flagPattren:15
(cbf_luma=1, cbf_cr=1, cbf_cb=1, subdiv=0) -<---cpb_and_split_transform(階層0)
flagPattren:8
(cbf_luma(uiAbsPartIdx:0)=1,cbf_luma(uiAbsPartIdx:64)=1,cbf_luma(uiAbsPartIdx:128)=1, cbf_luma(uiAbsPartIdx:192)=1 ) <---cpb_and_split_transform（階層1）
coeff_luma(uiAbsPartIdx:0/32x32)
coeff_luma(uiAbsPartIdx:64/32x32)
coeff_luma(uiAbsPartIdx:128/32x32)
coeff_luma(uiAbsPartIdx:192/32x32)
coeff_crluma(uiAbsPartIdx:0/32x32)
coeff_cbluma(uiAbsPartIdx:0/32x32)
＜実験結果＞
次に、実施例における処理の効果について説明する。図１０は、各クラスの解像度の映像に対し、各符号化コンディションで符号化した場合の符号化結果を示す図である。
【００９７】
・各クラス
Class A：
Cropped areas of size 2560x1600 taken from the following sequences
(frame rates unchanged): First 5 s of "映像１" (4096x2048p 30 fps),
"映像２" (3840x2160p 30 fps). "映像３" (7680x4320 60fps).
"映像４" (7680x4320 60fps)
Class B：
1920x1080p 24 fps: "映像５", "映像６"
1920x1080p 50-60 fps: "映像８", "映像８", "映像９"
Class C：
832x480p 30-60 fps (WVGA): "映像７", "映像１０",
"映像１１", "映像１２"
Class D：
416x240p 30-60 fps (WQVGA): "映像１３", "映像１４", "映像１５", "映像１６"
Class E：
1280x720p 60fps: "映像１７", "映像１８" and "映像１９"
映像１〜１９は、コーデック技術におけるテスト画像である。
【００９８】
・各符号化コンディション
"All Intra "：全てのフレームをイントラ符号化
・"Random access "：約1秒おきにイントラ符号化（フレーム周波数によって異なる）
"Low-delay B "：最初の1枚以外すべてBピクチャで符号化
"Low-delay P " （optional）：最初の1枚以外すべてPピクチャで符号化
ＨＥ（High Efficiency）：多少処理量が多くても性能を追求したツールを使用した符号化
ＬＣ（Low Complexity）：処理量を重視して性能が少し劣るツールを使用した符号化
ＨＥとＬＣの詳細なツール内容については、「次世代映像符号化（ＨＥＶＣ）の標準化動向，映像情報メディア学会誌 Vol.65，No.3，pp.302-308，2011」を参照されたい。
【００９９】
図１０に示す例では、本実施例の方法と、ＣＵ６４×６４に対し、第０階層をスキップする従来の方法とを比較する。本実施例の方法の方が従来の方法よりもいい場合にマイナスの値になり、値が小さいほど、本実施例の改善の度合いが大きくなることを表す。図１０に示すとおり、本実施例の方法は、符号化効率がよいことが分かる。
【０１００】
以上、実施例１によれば、輝度信号が分割されても色差信号を分割せずに変換処理を行うことを許容することで、符号化効率の向上を図ることができる。
【０１０１】
［実施例２］
次に、実施例２における画像復号装置３０について説明する。実施例２における画像復号装置３０は、実施例１における画像符号化装置１０で符号化されたビットストリームを復号する装置である。
【０１０２】
図１１は、実施例２における画像復号装置３０の概略構成の一例を示すブロック図である。図１１に示すように、画像復号装置３０は、エントロピー復号部３０１、逆量子化部３０２、逆直交変換部３０３、イントラ予測部３０４、復号情報記憶部３０５、インター予測部３０６、予測画像選択部３０７、復号画像生成部３０８、デブロッキングフィルタ部３０９、ループフィルタ部３１０、及びフレームメモリ３１１を有する。各部についての概略を以下に説明する。
【０１０３】
エントロピー復号部３０１は、ビットストリームが入力されると、画像符号化装置１０のエントロピー符号化に対応するエントロピー復号を行う。エントロピー復号部３０１により復号された予測誤差信号などは逆量子化部３０２に出力される。また、復号したフィルタ係数や、インター予測されている場合の、復号された動きベクトルなどは復号情報記憶部３０５に出力される。
【０１０４】
また、エントロピー復号部３０１は、イントラ予測の場合、イントラ予測部３０４にその旨通知する。また、エントロピー復号部３０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部３０７に通知する。
【０１０５】
また、エントロピー復号部３０１は、分割回数情報を復号し、最大符号化ブロックサイズ（最大サイズ）の場合（例えばＣＵが６４×６４）の色差信号のＴＵの分割回数が０であった場合、輝度信号のＴＵの分割回数を１であると解釈し、輝度信号のＴＵの分割回数を１に設定する。これにより、画像符号化装置１０により符号化されたビットストリームを適切に復号できる。エントロピー復号部３０１の詳細は、図１２を用いて説明する。
【０１０６】
逆量子化部３０２は、エントロピー復号部３０１からの出力信号に対して逆量子化処理を行う。逆量子化された出力信号は逆直交変換部３０３に出力される。逆直交変換部３０３は、逆量子化部３０２からの出力信号の復号ブロックに対して逆直交変換処理を行い、残差信号を生成する。残差信号は復号画像生成部３０８に出力される。
【０１０７】
イントラ予測部３０４は、フレームメモリ３１１から取得する復号対象画像のすでに復号化された周辺画素から、複数の予測方向を用いて予測画像を生成する。予測画像の生成に用いた予測方向や予測ブロックの情報を予測情報として逆直交変換部３０３に出力する。
【０１０８】
復号情報記憶部３０５は、復号されたループフィルタのフィルタ係数や動きベクトルや分割モードなどの復号情報を記憶する。
【０１０９】
インター予測部３０６は、フレームメモリ３１１から取得した参照画像のデータを復号情報記憶部３０５から取得する動きベクトルや分割モードを用いて動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【０１１０】
予測画像選択部３０７は、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部３０８に出力される。
【０１１１】
復号画像生成部３０８は、予測画像選択部３０７から出力される予測画像と、逆直交変換部３０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はデブロッキングフィルタ部３０９に出力される。
【０１１２】
デブロッキングフィルタ部３０９は、復号画像生成部３０８から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ部３１０に出力する。
【０１１３】
ループフィルタ部３１０は、復号情報記憶部３０５から取得したフィルタ係数を用いて、復号画像の所定サイズ毎にフィルタ処理を行う。所定サイズは、例えば逆直交変換サイズである。ループフィルタ処理後の復号画像をフレームメモリ３１１に出力する。なお、ループフィルタ後の復号画像は表示装置などに出力されてもよい。
【０１１４】
フレームメモリ３１１は、参照画像となる復号画像などを記憶する。なお、復号情報記憶手段３０５とフレームメモリ３１１は、分けた構成にしているが、同じ記憶部であってもよい。
【０１１５】
＜エントロピー復号部の構成＞
次に、エントロピー復号部３０１の構成について説明する。図１２は、エントロピー復号部３０１の構成の一例を示すブロック図である。図１２に示すエントロピー復号部３０１は、分割回数復号部４０１、回数制御部４０２及び復号部４０３を有する。図１２に示す構成は、実施例１に対する符号化データを適切に復号することを主に説明するための構成であり、以下に示すような処理を行うことができれば、この例に限られない。
【０１１６】
分割回数復号部４０１は、ビットストリームから分割回数情報（例えばsplit_transform_flag）を復号する。
【０１１７】
回数制御部４０２は、最大符号化ブロックサイズ（例えばＣＵ＝３２×３２サイズ）であり、色差信号の変換ブロックＴＵの分割回数が０の場合は、輝度信号の変換ブロックＴＵの分割回数を１と解釈する。回数制御部４０２は、その他の場合は復号した通りの分割回数と判断する。
【０１１８】
復号部４０３は、輝度信号の分割回数、色差信号の分割回数に基づいて、分割回数情報とは異なるパラメータのエントロピー復号を行う。このパラメータは、例えば、分割回数に基づくブロックサイズの量子化された直交変換係数などである。復号部４０３は、復号した情報を逆量子化部３０２に出力する。
【０１１９】
回数制御部４０２の制御により、最大符号化ブロックサイズの場合に第０階層が有効であっても、適切に復号することができる。
【０１２０】
＜動作＞
次に、画像復号装置３０の動作について説明する。図１３は、分割回数制御を行って復号する処理の一例を示すフローチャートである。
【０１２１】
ステップＳ２０１で、回数制御部４０２は、ＣＵが最大サイズか否かを判定する。ＣＵの最大サイズは、例えば６４×６４とする。ＣＵが６４×６４であれば（ステップＳ２０１−ＹＥＳ）ステップＳ２０２に進み、ＣＵが６４×６４でなければ（ステップＳ２０１−ＮＯ）ステップＳ２０４に進む。
【０１２２】
ステップＳ２０２で、回数制御部４０２は、色差の変換ブロックＴＵの分割回数が０であるか否かを判定する。色差のＴＵが分割回数０であれば（ステップＳ２０２−ＹＥＳ）ステップＳ２０３に進み、色差のＴＵが分割回数０でなければ（ステップＳ２０２−ＮＯ）ステップＳ２０４に進む。
【０１２３】
ステップＳ２０３で、回数制御部４０２は、輝度の分割回数を１と解釈し、輝度信号の分割回数を１に設定する。
【０１２４】
ステップＳ２０４で、復号部４０３以降の処理部は、従来のＨＥＶＣ同様、輝度の分割回数、色差の分割回数に基づくブロックサイズで、直交変換係数を含むパラメータを復号して復号処理を行う。ブロックサイズが決まれば従来の方法で復号処理を行えばよい。
【０１２５】
以上、実施例２によれば、実施例１における画像符号化装置１０で符号化したビットストリームを適切に復号することができる。
【０１２６】
［実施例３］
図１４は、実施例３における画像処理装置５０の構成の一例を示すブロック図である。図１４に示す画像処理装置５０は、上述した実施例１で説明した画像符号化処理又は実施例２で説明した画像復号処理をソフトウェアで実装した装置の一例である。
【０１２７】
図１４に示すように、画像処理装置５０は、制御部５０１、主記憶部５０２、補助記憶部５０３、ドライブ装置５０４、ネットワークＩ／Ｆ部５０６、入力部５０７、表示部５０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【０１２８】
制御部５０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部５０１は、主記憶部５０２又は補助記憶部５０３に記憶された画像符号化処理のプログラム、又は画像復号処理のプログラムを実行する演算装置である。制御部５０１は、入力部５０７や記憶装置からデータを受け取り、演算、加工した上で、表示部５０８や記憶装置などに出力する。
【０１２９】
制御部５０１は、画像符号化処理、又は画像復号処理のプログラムを実行することで、各実施例で説明した処理を実現することができる。
【０１３０】
主記憶部５０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部５０２は、制御部５０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【０１３１】
補助記憶部５０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【０１３２】
ドライブ装置５０４は、記録媒体５０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。
【０１３３】
また、記録媒体５０５に、所定のプログラムを格納し、この記録媒体５０５に格納されたプログラムはドライブ装置５０４を介して画像処理装置５０にインストールされる。インストールされた所定のプログラムは、画像処理装置５０により実行可能となる。
【０１３４】
ネットワークＩ／Ｆ部５０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置５０とのインターフェースである。
【０１３５】
入力部５０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部５０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部５０７は、ユーザが制御部５０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
【０１３６】
表示部５０８は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等により構成され、制御部５０１から入力される表示データに応じた表示が行われる。
【０１３７】
なお、図６に示す復号画像記憶部１１１は、例えば主記憶部５０２又は補助記憶部５０３により実現され、図６に示す復号画像記憶部１１１以外の構成は、例えば制御部５０１及びワークメモリとしての主記憶部５０２により実現されうる。
【０１３８】
また、図１１に示す復号情報記憶部３０５及びフレームメモリ３１１は、例えば主記憶部５０２又は補助記憶部５０３により実現され、図１１に示す復号情報記憶部３０５及びフレームメモリ３１１以外の構成は、例えば制御部５０１及びワークメモリとしての主記憶部５０２により実現されうる。
【０１３９】
画像処理装置５０で実行されるプログラムは、実施例１や実施例２で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部５０１が補助記憶部５０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部５０２上にロードされ、１又は複数の各部が主記憶部５０２上に生成されるようになっている。
【０１４０】
このように、上述した実施例１で説明した画像符号化処理や実施例２で説明した画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、各実施例で説明した処理を実現することができる。
【０１４１】
また、このプログラムを記録媒体５０５に記録し、このプログラムが記録された記録媒体５０５をコンピュータや携帯端末に読み取らせて、前述した画像符号化処理又は画像復号処理を実現させることも可能である。なお、記録媒体５０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、上述した各実施例で説明した処理は、１つ又は複数の集積回路に実装してもよい。
【０１４２】
なお、実施例３における画像処理装置５０は、上記の通り、画像符号化装置１０、画像復号装置３０としての機能を有する。
【０１４３】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
【符号の説明】
【０１４４】
１０ 画像符号化装置
３０ 画像復号装置
５０ 画像処理装置
１０１ 予測画像生成部
１０２ 直交変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 復号画像生成部
１０８ デブロッキングフィルタ部
１０９ ループフィルタ部
１１０ 復号画像記憶部
１１１ イントラ予測部
１１２ インター予測部
１１３ 動きベクトル計算部
１１４ 符号化制御及びヘッダ生成部
１１５ 予測画像選択部
２０１ 分割制御部
２０２ 変換部
２０３ コスト計算部
２０４ 分割決定部
３０１ エントロピー復号部
３０２ 逆量子化部
３０３ 逆直交変換部
４０１ 分割回数復号部
４０２ 回数制御部
４０３ 復号部
５０１ 制御部
５０２ 主記憶部
５０３ 補助記憶部
５０４ ドライブ装置
【技術分野】
【０００１】
本発明は、映像をブロック状の小領域に分割して符号化を行うブロックベース符号化を行う画像復号装置、画像復号方法、プログラム及び画像符号化装置に関する。
【背景技術】
【０００２】
近年マルチメディア化が進み、動画像を扱う機会が多くなってきている。画像データは情報量が大きく、静止画像の集合である動画像は、テレビ放送の主流であるハイビジョン（１９２０×１０８０）放送で１Ｇｂｉｔ／ｓｅｃを超える情報量である。
【０００３】
そのため、動画像データは、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）や規格化作業中のＨＥＶＣ（High Efficiency Video Coding）などに代表される符号化標準技術によって、情報量を圧縮して伝送・蓄積が行われている。
【０００４】
ＭＰＥＧ（Moving Picture Experts Group）に代表される符号化方式では映像信号を符号化の最小単位であるマクロブロックと呼ばれる小ブロックに分割してブロックごとに符号化を行う。
【０００５】
映像信号は、一般的に輝度信号と２つの色差信号とによって構成され、局所的にそれぞれに相関をもつ。そのため、符号化方式では、符号化のブロック境界がそれぞれのコンポーネント信号における同一の内容を含む領域で分割し、符号化を行っている。例えば、輝度信号と色差信号とが同じ解像度である４：４：４フォーマットであれば、輝度及び色差ともに同じ大きさ、同じ位置でブロック分割が行われる。
【０００６】
しかし、例えば、輝度信号と色差信号との解像度が異なるフォーマットである４：２：０の場合、画面内の同じ相対位置でブロック分割を行うため、色差信号は縦、横の画素数が輝度信号に対して半分のブロックサイズで分割を行う。
【０００７】
ここで、現在規格化がすすめられているＨＥＶＣでは、色差信号の分割サイズについて、輝度のサイズに連動して決定している。ただし、最低ブロックサイズの制限により、輝度の４×４のブロックに対し、色差の２×２のブロックが生成できないため、輝度の８×８のブロックに対応して色差の４×４のブロックが選択される。
【０００８】
図１は、輝度の分割例を示す図である。図１に示すように、輝度信号は、例えば、３２×３２、１６×１６、８×８、４×４に分割される。
【０００９】
図２は、色差の分割例を示す図である。図２に示すように、色差信号は、例えば、１６×１６、８×８、４×４に分割される。
【００１０】
また、ＭＰＥＧ−２やＨ．２６４／ＡＶＣでは、マクロブロックのサイズが、輝度の場合は８×８に対し、色差の場合は４×４である。よって、従来の符号化技術では、一般的に輝度と色差とのサイズを連動させて符号化している。
【００１１】
また、ＨＥＶＣでは、従来の符号化技術のように画面を左上から符号化単位であるブロック状に単純に分割するのではなく、新たに階層分割を採用し、複数階層のブロック分割を可能とする。また、複数のブロックに分割された符号化単位は、ＣＵ（Coding Unit）や符号化ブロックとも呼ぶ。
【００１２】
また、ＨＥＶＣでは、予測誤差信号を効率的に表現するため、ＣＵを階層分割し、変換単位に分けることができる。変換単位は、ＴＵ（Transform Unit）や変換ブロックとも呼ぶ。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】B.Bross,「JCTVC-F805 WD4: Woking Draft 4 of High-Efficiency Video Coding」, Torino Meeting, 8 October, 2011
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、一般的に輝度信号に比べ色差信号の信号変動は小さいため、色差信号をより大きなサイズで領域分割した方が、符号化効率がよいことがある。現在規格化が行われているＨＥＶＣでは、輝度の最大の符号化ブロック（ＣＵ）は６４×６４、変換ブロック（ＴＵ）は３２×３２、色差の最大ＣＵサイズは３２×３２、ＴＵは１６×１６と設定して検討が行われている。
【００１５】
変換ブロックの最大サイズが３２×３２であるため、符号化装置は３２×３２の変換処理を備えており、輝度信号の場合にのみ、この変換処理が利用される。
【００１６】
また、ＨＥＶＣでは、階層分割を採用しており、ＴＵはＣＵと同じサイズを最大サイズとして、現在の検討では３階層の４分木分割により最適なサイズを選択している。ＣＵが最大サイズ６４×６４の場合、本来第０階層では６４×６４のＴＵが選択されるべきであるが、６４×６４の二次元直交変換は処理量の問題から採用されていない。そのため、第０階層はスキップして第１階層（輝度のＴＵサイズ３２×３２、色差のＴＵサイズ１６×１６）から分割が行われる。
【００１７】
図３は、第０階層のスキップを説明するための図である。図３に示す例では、ＣＵが最大サイズ（６４×６４）であれば、第０階層はスキップして、第１階層（TU depth=1）から分割が行われる。従って、従来技術では、色差信号において、符号化効率がよいと考えられる大きなサイズで変換処理を行うことができないという問題点があった。
【００１８】
そこで、本発明は上記問題点に鑑みてなされたものであり、輝度信号が分割されても色差信号を分割せずに変換処理を行うことを許容することで、符号化効率の向上を図ることができる画像復号装置、画像復号方法、プログラム及び画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の一態様における画像復号装置は、画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、該データに含まれる前記変換ブロックの分割回数情報を復号する分割回数情報復号部と、前記符号化ブロックが最大サイズであり、かつ前記変換ブロックの分割回数が０である場合、輝度信号に対する前記変換ブロックの分割回数を１に設定する回数制御部と、前記輝度信号及び前記色差信号に対する前記変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号部と、を備える。
【００２０】
また、前記最大サイズは６４×６４であり、分割回数が０である場合の前記色差信号に対する前記変換ブロックのサイズは、３２×３２であり、分割回数が１である場合の前記輝度信号に対する前記変換ブロックのサイズは、３２×３２であってもよい。
【００２１】
また、他の態様における画像復号方法は、画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、該データに含まれる前記変換ブロックの分割回数情報を復号する分割回数情報復号ステップと、前記符号化ブロックが最大サイズであり、かつ前記変換ブロックの分割回数が０である場合、輝度信号に対する前記変換ブロックの分割回数を１に設定する回数制御ステップと、前記輝度信号及び前記色差信号に対する前記変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号ステップと、を有する。
【００２２】
また、他の態様におけるプログラムは、画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、該データに含まれる前記変換ブロックの分割回数情報を復号する分割回数情報復号ステップと、前記符号化ブロックが最大サイズであり、かつ前記変換ブロックの分割回数が０である場合、輝度信号に対する前記変換ブロックの分割回数を１に設定する回数制御ステップと、前記輝度信号及び前記色差信号に対する前記変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号ステップと、をコンピュータに実行させる
また、他の態様における画像符号化装置は、画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像を符号化する画像符号化装置であって、前記符号化ブロックが最大サイズである場合、輝度信号に対する前記変換ブロックの分割回数を前記色差信号に対する前記変換ブロックの分割回数よりも１つ多く制御する分割制御部と、前記輝度信号及び前記色差信号に対する変換ブロックの分割回数により決定されるサイズで、直交変換処理を行う変換部と、を備える。
【発明の効果】
【００２３】
本発明によれば、輝度信号が分割されても色差信号を分割せずに変換処理を行うことを許容することで、符号化効率の向上を図ることができる。
【図面の簡単な説明】
【００２４】
【図１】輝度の分割例を示す図。
【図２】色差の分割例を示す図。
【図３】第０階層のスキップを説明するための図。
【図４】第０階層を有効にした階層分割を説明するための図。
【図５】実施例１における画像符号化装置の概略構成の一例を示すブロック図。
【図６】直交変換部の構成の一例を示すブロック図。
【図７】インターＴＵの分割決定処理の一例を示すフローチャート。
【図８】Cbfの格納イメージを示す図。
【図９】直交変換係数の格納イメージを示す図。
【図１０】各クラスの解像度の映像に対し、各符号化コンディションで符号化した場合の符号化結果を示す図。
【図１１】実施例２における画像復号装置の概略構成の一例を示すブロック図。
【図１２】エントロピー復号部の構成の一例を示すブロック図。
【図１３】分割回数制御を行って復号する処理の一例を示すフローチャート。
【図１４】実施例３における画像処理装置の構成の一例を示すブロック図。
【発明を実施するための形態】
【００２５】
まず、以下に説明する各実施例の前提となる階層分割について説明する。図４は、第０階層を有効にした階層分割を説明するための図である。図４に示す例では、ＣＵが最大ブロック（６４×６４）であるとき、第０階層（Additional mode TU depth=0）を有効にし、色差のＴＵサイズ３２×３２を選択可能にしている。
【００２６】
前述した通り、第０階層は、輝度の６４×６４直交変換が実装されていないためにスキップされる。しかし、第０階層の色差信号は３２×３２であり、３２×３２直交変換はすでに輝度の符号化のために実装されている。そこで、実施例では、次のようにして第０階層を有効にする。
・輝度に関しては６４×６４直交変換がないため、第０階層での符号化を示す場合、暗黙的に第１階層で分割を行う
・色差に関しては３２×３２直交変換を行う
上記を実現するために、第０階層における分割を示すフラグsplit_transform_flagと、分割した４ブロックの符号化、非符号化を示すCbf（Coded block flag）とを追加する。
【００２７】
なお、どの階層で符号化を実施するかは、各階層において発生符号量と符号化歪量をもとに算出されるＲＤコストの比較によって決定される。ＲＤコストの算出方法は、例えば非特許文献（G.J. Sullivan, T. Wiegand, "Rate-distortion optimization for video compression," IEEE Signal Processing Magazine, pp. 74-90, Vol. 15 , No. 6, 1998）を参照されたい。また、画像は、動画像（映像）を含む。
【００２８】
以上の階層分割に基づく各実施例について、以下、添付図面を参照しながら詳細に説明する。なお、各実施例は、輝度信号と色差信号との解像度が異なるフォーマットであることを想定する。
【００２９】
［実施例１］
＜構成＞
図５は、実施例１における画像符号化装置１０の概略構成の一例を示すブロック図である。図５に示す例では、画像符号化装置１０は、前処理部１００、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、デブロッキングフィルタ部１０８、ループフィルタ部１０９、復号画像記憶部１１０、イントラ予測部１１１、インター予測部１１２、動きベクトル計算部１１３、符号化制御及びヘッダ生成部１１４及び予測画像選択部１１５を有する。各部についての概略を以下に説明する。
【００３０】
前処理部１００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレームごとのフレーム画像等を順次出力する。また、前処理部１００は、符号化のためのブロック分割なども行う。
【００３１】
予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。
【００３２】
予測誤差信号生成部１０１は、そのブロックデータと、予測画像選択部１１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。
【００３３】
直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、例えば、輝度信号、色差信号に対して同様に分割するのではなく、輝度信号を分割しても、色差信号を分割しないよう制御して直交変換することができる。これにより、輝度信号のブロックに対応する領域よりも大きな領域の色差信号で直交変換をすることができる。直交変換部１０２の詳細は、図６を用いて後述する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１０３に出力する。
【００３４】
量子化部１０３は、直交変換部１０２からの出力信号を量子化する。量子化部１０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。また、量子化部１０３は、ＲＤコスト計算のために量子化後の信号を直交変換部１０２に出力する。
【００３５】
エントロピー符号化部１０４は、量子化部１０３からの出力信号や動きベクトル計算部１１３から出力された動きベクトル情報やループフィルタ部１０９からのフィルタ係数などをエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００３６】
逆量子化部１０５は、量子化部１０３からの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。逆直交変換部１０６は、ＲＤコスト計算のために逆直交変換した信号を直交変換部１０２に出力する。
【００３７】
復号画像生成部１０７は、インター予測部１１２で動き補償された画像のブロックデータと、逆量子化部１０５及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、デブロッキングフィルタ部１０８に出力する。
【００３８】
デブロッキングフィルタ部１０８は、復号画像生成部１０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ部１０９に出力する。
【００３９】
ループフィルタ部１０９は、例えばＡＬＦ（Adaptive Loop Filter）であり、デブロッキングフィルタ処理された復号画像と、入力画像とを用いてフィルタ処理を行う。フィルタ処理は、例えばウィナーフィルタ（Wiener Filter）が用いられるが、その他のフィルタでも良い。
【００４０】
また、ループフィルタ部１０９は、入力画像を所定サイズ毎のグループに分け、グループ毎に適切なフィルタ係数を生成する。ループフィルタ部１０９は、デブロッキングフィルタ処理された復号画像を、所定サイズ毎にグループ分けし、生成したフィルタ係数を用いてグループ毎にフィルタ処理を行う。ループフィルタ部１０９は、フィルタ処理結果を復号画像記憶部１１０に出力し、参照画像として蓄積させる。所定サイズは、例えば、直交変換サイズである。
【００４１】
復号画像記憶部１１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部１１１、インター予測部１１２及び動きベクトル計算部１１３に出力する。
【００４２】
イントラ予測部１１１は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像を生成する。イントラ予測部１１１は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。
【００４３】
インター予測部１１２は、復号画像記憶部１１０から取得した参照画像のデータを動きベクトル計算部１１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【００４４】
動きベクトル計算部１１３は、符号化対象画像におけるブロックデータと、復号画像記憶部１１０から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。
【００４５】
動きベクトル計算部１１３は、求めた動きベクトルをインター予測部１１２に出力し、動きベクトルや参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部１０４に出力する。
【００４６】
イントラ予測部１１１とインター予測部１１２から出力されたブロックデータは、予測画像選択部１１５に入力される。
【００４７】
予測画像選択部１１５は、イントラ予測部１１１とインター予測部１１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部１０１に出力される。
【００４８】
また、符号化制御及びヘッダ生成部１１４は、符号化の全体制御とヘッダ生成を行う。符号化制御及びヘッダ生成部１１４は、イントラ予測部１１１に対して、スライス分割有無の通知、デブロッキングフィルタ部１０８に対して、デブロッキングフィルタ有無の通知、動きベクトル計算部１１３に対して参照画像の制限通知などを行う。
【００４９】
符号化制御及びヘッダ生成部１１４は、その制御結果を用いて、ヘッダ情報を生成する。生成されたヘッダ情報は、エントロピー符号化部１０４に出力され、画像データ、動きベクトルデータとともにストリームとして出力される。
【００５０】
画像符号化装置１０の上記構成はあくまでも一例であり、実装の仕方によって構成を変更してもよく、例えば複数の部をまとめて構成してもよい。
【００５１】
＜直交変換部の構成＞
次に、直交変換部１０２の構成について説明する。図６は、直交変換部１０２の構成の一例を示すブロック図である。図６に示す直交変換部１０２は、分割制御部２０１、変換部２０２、コスト計算部２０３、分割決定部２０４を有する。
【００５２】
分割制御部２０１は、輝度信号及び色差信号に対して、階層分割のブロック分割を制御する。ここで、分割制御部２０１は、ＣＵが最大サイズ（６４×６４）の場合、第０階層を有効にする。分割制御部２０１は、例えば、輝度信号に対しては３２×３２の４つのブロックに分割し、色差信号に対しては３２×３２のブロックのままに制御する。分割制御部２０１は、例えばＣＵが最大サイズではない場合や、ＣＵが最大サイズの場合で第１階層以上の場合、輝度と色差とを連動させて分割するよう制御する。
【００５３】
変換部２０２は、分割制御部２０１により制御された分割のブロックサイズで直交変換処理を行う。変換部２０２は、直交変換後の信号を量子化部１０３に出力する。
【００５４】
コスト計算部２０３は、分割制御部２０１により制御された分割階層に対し、ＲＤコストを計算する。コスト計算部２０３は、例えば各階層における発生符号量と、符号化歪量とを用いてＲＤコストを計算する。発生符号量は、量子化部１０３から取得した信号に基づき計算され、符号化歪量は、逆直交変換部１０６から取得した信号に基づき計算される。
【００５５】
分割決定部２０４は、コスト計算部２０３により計算されたＲＤコストに基づいて階層分割を行うか否かを決定する。決定された階層分割の情報は、エントロピー符号化部１０４に出力され、ビットストリームに含まれる。これにより、エントロピー符号化部１０４は、決定された階層に基づいて量子化信号をエントロピー符号化する。
【００５６】
なお、直交変換部１０２は、インター予測の場合の予測誤差信号、イントラ予測の場合の予測誤差信号に対して同様の処理を行ってもよいし、イントラ予測の場合には、輝度信号のみに基づいてＴＵ分割を決定するようにしてもよい。直交変換部１０２は、輝度信号のみに基づいてＴＵ分割を決める際、第０階層にするか第１階層にするかは、split_transform_flagを含むヘッダのビット量に基づいて決定すればよい。
【００５７】
以上の構成を有することで、色差信号に対して比較的大きなサイズ（例えば３２×３２）で直交変換処理を行うことができ、符号化効率の向上を図ることができる。
【００５８】
＜動作＞
次に、実施例１における画像符号化装置１０の動作について説明する。図７は、インターＴＵの分割決定処理の一例を示すフローチャートである。図７に示す処理は、インター予測における変換ブロックの分割決定処理を示す。
【００５９】
図７に示すステップＳ１０１で、分割制御部２０１は、ＣＵのサイズが６４×６４、かつＲＱＴ階層が０（分割回数０）であるか否かを判定する。この条件が満たされればuiPartが０に設定されて（ステップＳ１０１−ＹＥＳ）ステップＳ１０２に進み、この条件が満たされなければ（ステップＳ１０１−ＮＯ）ステップＳ１０４に進む。uiPartは、処理したブロック数を示す変数である。
【００６０】
ステップＳ１０２で、分割制御部２０１は、uiPartが４未満であるか否かを判定する。uiPartが４未満であれば（ステップＳ１０２−ＹＥＳ）ステップＳ１０３に進み、uiPartが４以上であれば（ステップＳ１０２−ＮＯ）ステップＳ１０５に進む。
【００６１】
ステップＳ１０３で、分割制御部２０１は、uiPartに１を加算する。変換部２０２、量子化部１０３は、輝度信号に対して３２×３２サイズで直交変換、量子化処理を行う。ステップＳ１０３の処理が終わるとステップＳ１０２の処理に戻る。
【００６２】
ステップＳ１０４で、変換部２０２、量子化部１０３は、所定サイズの輝度信号に対して、直交変換、量子化処理を行う。
【００６３】
ステップＳ１０５で、変換部２０２、量子化部１０３は、所定サイズの色差信号に対して、直交変換、量子化処理を行う。
【００６４】
ステップＳ１０６で、分割制御部２０１は、ＣＵのサイズが６４×６４、かつＲＱＴ階層が０（分割回数０）であるか否かを判定する。この条件が満たされればuiPartが０に設定されて（ステップＳ１０６−ＹＥＳ）ステップＳ１０７に進み、この条件が満たされなければ（ステップＳ１０６−ＮＯ）ステップＳ１０９に進む。
【００６５】
ステップＳ１０７で、分割制御部２０１は、uiPartが４未満であるか否かを判定する。uiPartが４未満であれば（ステップＳ１０７−ＹＥＳ）ステップＳ１０８に進み、uiPartが４以上であれば（ステップＳ１０７−ＮＯ）ステップＳ１１０に進む。
【００６６】
ステップＳ１０８で、分割制御部２０１は、uiPartに１を加算する。コスト計算部２０３は、輝度信号に対して３２×３２サイズで直交変換係数のビットコスト計算を行う。ステップＳ１０８の処理が終わるとステップＳ１０７の処理に戻る。
【００６７】
ステップＳ１０９で、コスト計算部２０３は、所定サイズの輝度信号に対して、直交変換係数のビットコスト計算を行う。
【００６８】
ステップＳ１１０で、コスト計算部２０３は、所定サイズの色差信号に対して、直交変換係数のビットコスト計算を行う。
【００６９】
ステップＳ１１１で、分割制御部２０１は、ＣＵのサイズが６４×６４、かつＲＱＴ階層が０（分割回数０）であるか否かを判定する。この条件が満たされればuiPartが０に設定されて（ステップＳ１１１−ＹＥＳ）ステップＳ１１２に進み、この条件が満たされなければ（ステップＳ１１１−ＮＯ）ステップＳ１１４に進む。
【００７０】
ステップＳ１１２で、分割制御部２０１は、uiPartが４未満であるか否かを判定する。uiPartが４未満であれば（ステップＳ１１２−ＹＥＳ）ステップＳ１１３に進み、uiPartが４以上であれば（ステップＳ１１２−ＮＯ）ステップＳ１１５に進む。
【００７１】
ステップＳ１１３で、分割制御部２０１は、uiPartに１を加算する。コスト計算部２０３は、輝度信号に対して３２×３２サイズで逆量子化、逆直交変換係数の有無比較を行い、符号化歪量を計算する。ステップＳ１１３の処理が終わるとステップＳ１１２の処理に戻る。
【００７２】
ステップＳ１１４で、コスト計算部２０３は、所定サイズの輝度信号に対して、逆量子化・逆直交変換係数の有無比較を行い、符号化歪量を計算する。
【００７３】
ステップＳ１１５で、コスト計算部２０３は、所定サイズの色差信号に対して、逆量子化・逆直交変換係数の有無比較を行い、符号化歪量を計算する。
【００７４】
ステップＳ１１６で、コスト計算部２０３は、輝度・色差のＲＤコストの合計を計算する。ここで、分割決定部２０４は、uiPartを０に設定する。
【００７５】
ステップＳ１１７で、分割決定部２０４は、uiPartが４未満であるか否かを判定する。uiPartが４未満であれば（ステップＳ１１７−ＹＥＳ）ステップＳ１１８に進み、uiPartが４以上であれば（ステップＳ１１７−ＮＯ）ステップＳ１１９に進む。
【００７６】
ステップＳ１１８で、直交変換部１０２は、uiPartに１を加算し、ＲＱＴ階層を１つ増やし（分割数を１つ増やし）、インターＴＵの分割決定処理（ステップＳ１０１以降の処理）を再帰的に行う。ステップＳ１１８の処理が終わるとステップＳ１１７に戻る。
【００７７】
ステップＳ１１９で、分割決定部２０４は、分割時と、非分割時とのＲＤコストを比較し、ＲＤコストが小さい方を選択して決定する。
【００７８】
これにより、ＣＵが６４×６４の場合に、第０階層を含めて分割階層を決定することができ、符号化効率の向上を図ることができる。
【００７９】
なお、図７に示す処理は、インター予測の場合で説明したが、イントラ予測の場合に用いてもよい。また、イントラ予測の場合は、前述した通り、輝度信号のみに基づいてＴＵ分割を決定するようにしてもよい。
【００８０】
＜データ格納＞
次に、本実施例で、新たに発生する符号化情報の格納方法について説明する。格納された符号化情報はエントロピー符号化され伝送される。実施例では、輝度信号の符号化結果は、６４×６４直交変換が存在しないため、階層分割が１回相当で暗黙的に処理が行われる。しかし、処理としては、階層分割単位で行なわれるため、輝度及び色差ともに階層分割０回の符号化結果として新たに格納される。
【００８１】
（１）Cbf
Cbfは、その階層における変換ブロック（ＴＵ）が符号化されるか、符号化されないかを示すフラグである。このブロックの情報伝達が必要ない場合、Cbfは０として何らの情報を送らないことを明示する。情報伝達が必要ない場合とは、例えば予測によって、信号が十分な品質を持って再構成できる場合などを示す。
【００８２】
Cbfの値は、ＲＱＴ階層分だけ、左へシフトしてブロックに対応する全てのuiAbsPartIdxに格納される。輝度信号のCbfは、次のようにして格納される。
pcCU->setCbfSubParts( uiCbf<<uiTrDepth, TEXT_LUMA, uiAbsPartSubIdx, uiDepth);
pcTU：TcomDataCUクラスのインスタンス
TcomDataCU：CUのパラメータを格納する配列
uiTrDepth：ＲＱＴ階層（１）
uiAbsPartSubIdx：輝度信号を４分割したブロックのuiAbsPartIdx
uiAbsPartIdx：CU内のTUの絶対的な位置
uiDepth：CUの階層（０）＋ＲＱＴ階層（１）
setCbfSubPartsは、Cbfをメモリに格納する処理である。上記処理は、uiTrDepthやuiAbsPartSubIdxやuiDepthを調整することで各階層にCbfを格納する関数である。これにより、輝度信号は、ＲＱＴ階層１、色差信号はＲＱＴ階層０として格納される。
【００８３】
図８は、Cbfの格納イメージを示す図である。図８に示すように、輝度信号は、ＲＱＴ階層１の４つのブロックにCbfが格納される。色差信号は、ＲＱＴ階層０にCbfが格納される。
【００８４】
TComDataCUのm_puhCbf[0], m_puhCbf[1], m_puhCbf[2]は、それぞれCbfを格納した配列である。これは、ＴＵ単位の符号化、もしくは非符号化の状態を示すフラグである。
【００８５】
（２）ＲＱＴ階層情報
TComDataCU::setTrIdxSubParts関数を用いてＲＱＴ階層に情報が格納される。Ｃ３２ＴＵ（色差信号のサイズが３２×３２）の場合はＲＱＴ階層０なので、ＣＵ内のすべてのuiAbsPartIdxに０が格納される。
pcCU->setTrIdxSubParts( uiTrDepth, uiAbsPartIdx, uiDepth );
pcCU：TComDataCUクラスのインスタンス
uiTrDepth：ＲＱＴ階層（０）
uiAbsPartIdx：０
uiDepth：ＣＵの階層＋ＲＱＴ階層（０）
上記関数は、ＲＱＴ階層情報を格納する処理を示している。階層０相当部分へ格納するかどうかは、uiTrDepth、uiAbsPartIdx、uiDepthの各変数の設定によって変化する。例えば、前述したuiAbsPartIdxに対応するブロックのRQTの情報を格納する配列にRQTが０であれば、対応するTUのインデックスに０を格納するということを表す。
【００８６】
（３）直交変換係数
ＴＵ分割を決定する際には、ＲＱＴ階層０にあたるuiQTTempAccessLayer=0へ直交変換係数を格納する。
【００８７】
図９は、直交変換係数の格納イメージを示す図である。図９に示す例では、輝度信号の直交変換係数は、３２×３２の４つのブロックに対応する記憶領域に直交変換係数が格納される。色差信号は、２つの色差に対する各記憶領域に直行変換係数が記憶される。
【００８８】
TComDataCU::m_pcTrCoeffY，TEncSearch::m_pcQTTempCoeffY[0]は、輝度信号の直交変換係数を格納したメモリである。また、TComDataCU::m_pcTrCoeffCb，TComDataCU::m_pcTrCoeffCr，TEncSearch::m_pcQTTempCoeffCb[0]，TEncSearch::m_pcQTTempCoeffCr[0]は、色差信号（Cb,Cr）の直交変換係数を格納したメモリである。
【００８９】
＜Syntaxの拡張＞
split_transform_flagは、ＴＵ分割を行うか、行わないかを表すフラグである。ＴＵ分割は、ＣＵを複数の変換ブロックに階層的に分割することをいう。最大ＴＵサイズ３２×３２かつＣＵが６４×６４の場合、従来技術ではＲＱＴ階層０のsplit_transform_flagは必ず1（分割）である。
【００９０】
一方、本実施例では、ＲＱＴ階層０のsplit_transform_flagが０の場合、Ｃ３２ＴＵモードのＴＵ分割が行われることを表すこととする。Ｃ３２ＴＵモードとは、輝度が３２×３２で、色差が３２×３２の符号化モードをいう。
【００９１】
復号化の際、ＲＱＴ階層０でsplit_transform_flagが０の場合は、輝度信号のSyntaxはsplit_transform_flagが1の場合と同様にして、分割されたＴＵのCbf、直交変換係数をそれぞれ4つエントロピー復号する。
【００９２】
・cbp_and_split_transform
ＬＣＥＣ（Low Complexity Entropy Coding）において、Ｃ３２ＴＵモードを符号化時のcbp_and_split_transformは、ＲＱＴ階層０としてflagPattern１５で符号化される。
flagPattren:15は、(cbf_luma=1, cbf_cr=1, cbf_cb=1, subdiv=0) -<---cbp_and_split_transform(階層0)を表す。
【００９３】
輝度信号の符号化は、ＲＱＴ階層１としてflagPattern８で分割された4つの直交変換ブロックのｃｂｆを符号化する。flagPattren:8は、 (cbf_luma(uiAbsPartIdx:0)=1,cbf_luma(uiAbsPartIdx:64)=1,cbf_luma(uiAbsPartIdx:128)=1, cbf_luma(uiAbsPartIdx:192)=1 ) <---cpb_and_split_transform（階層1）を表す。
【００９４】
例えば、デコーダはflagPattren:15を受け取ると自動的にcbf_luma=1, cbf_cr=1, cbf_cb=1, subdiv=0をデコードする。デコーダは、同様にしてflagPattren:8を受け取ると、階層1を示すフラグをデコードする。
【００９５】
＜エントロピー符号化部への入力ｂｉｎ例＞
Ｃ３２ＴＵモードで全ての輝度信号ブロックと、色差信号ブロックとが符号化される場合（ｃｂｆ＝＝１）、以下のようなｂｉｎが出力される。
【００９６】
[CABAC]
transform_split_transform_flag = 0
cbf_cr(uiAbsPartIdx:0) = 1
cbf_cb(uiAbsPartIdx:0) = 1
cbf_luma(uiAbsPartIdx:0) = 1
cbf_luma(uiAbsPartIdx:64) = 1
cbf_luma(uiAbsPartIdx:128) = 1
cbf_luma(uiAbsPartIdx:192) = 1
coeff_luma(uiAbsPartIdx:0/32x32)
coeff_luma(uiAbsPartIdx:64/32x32)
coeff_luma(uiAbsPartIdx:128/32x32)
coeff_luma(uiAbsPartIdx:192/32x32)
coeff_crluma(uiAbsPartIdx:0/32x32)
coeff_cbluma(uiAbsPartIdx:0/32x32)
[LCEC]
flagPattren:15
(cbf_luma=1, cbf_cr=1, cbf_cb=1, subdiv=0) -<---cpb_and_split_transform(階層0)
flagPattren:8
(cbf_luma(uiAbsPartIdx:0)=1,cbf_luma(uiAbsPartIdx:64)=1,cbf_luma(uiAbsPartIdx:128)=1, cbf_luma(uiAbsPartIdx:192)=1 ) <---cpb_and_split_transform（階層1）
coeff_luma(uiAbsPartIdx:0/32x32)
coeff_luma(uiAbsPartIdx:64/32x32)
coeff_luma(uiAbsPartIdx:128/32x32)
coeff_luma(uiAbsPartIdx:192/32x32)
coeff_crluma(uiAbsPartIdx:0/32x32)
coeff_cbluma(uiAbsPartIdx:0/32x32)
＜実験結果＞
次に、実施例における処理の効果について説明する。図１０は、各クラスの解像度の映像に対し、各符号化コンディションで符号化した場合の符号化結果を示す図である。
【００９７】
・各クラス
Class A：
Cropped areas of size 2560x1600 taken from the following sequences
(frame rates unchanged): First 5 s of "映像１" (4096x2048p 30 fps),
"映像２" (3840x2160p 30 fps). "映像３" (7680x4320 60fps).
"映像４" (7680x4320 60fps)
Class B：
1920x1080p 24 fps: "映像５", "映像６"
1920x1080p 50-60 fps: "映像８", "映像８", "映像９"
Class C：
832x480p 30-60 fps (WVGA): "映像７", "映像１０",
"映像１１", "映像１２"
Class D：
416x240p 30-60 fps (WQVGA): "映像１３", "映像１４", "映像１５", "映像１６"
Class E：
1280x720p 60fps: "映像１７", "映像１８" and "映像１９"
映像１〜１９は、コーデック技術におけるテスト画像である。
【００９８】
・各符号化コンディション
"All Intra "：全てのフレームをイントラ符号化
・"Random access "：約1秒おきにイントラ符号化（フレーム周波数によって異なる）
"Low-delay B "：最初の1枚以外すべてBピクチャで符号化
"Low-delay P " （optional）：最初の1枚以外すべてPピクチャで符号化
ＨＥ（High Efficiency）：多少処理量が多くても性能を追求したツールを使用した符号化
ＬＣ（Low Complexity）：処理量を重視して性能が少し劣るツールを使用した符号化
ＨＥとＬＣの詳細なツール内容については、「次世代映像符号化（ＨＥＶＣ）の標準化動向，映像情報メディア学会誌 Vol.65，No.3，pp.302-308，2011」を参照されたい。
【００９９】
図１０に示す例では、本実施例の方法と、ＣＵ６４×６４に対し、第０階層をスキップする従来の方法とを比較する。本実施例の方法の方が従来の方法よりもいい場合にマイナスの値になり、値が小さいほど、本実施例の改善の度合いが大きくなることを表す。図１０に示すとおり、本実施例の方法は、符号化効率がよいことが分かる。
【０１００】
以上、実施例１によれば、輝度信号が分割されても色差信号を分割せずに変換処理を行うことを許容することで、符号化効率の向上を図ることができる。
【０１０１】
［実施例２］
次に、実施例２における画像復号装置３０について説明する。実施例２における画像復号装置３０は、実施例１における画像符号化装置１０で符号化されたビットストリームを復号する装置である。
【０１０２】
図１１は、実施例２における画像復号装置３０の概略構成の一例を示すブロック図である。図１１に示すように、画像復号装置３０は、エントロピー復号部３０１、逆量子化部３０２、逆直交変換部３０３、イントラ予測部３０４、復号情報記憶部３０５、インター予測部３０６、予測画像選択部３０７、復号画像生成部３０８、デブロッキングフィルタ部３０９、ループフィルタ部３１０、及びフレームメモリ３１１を有する。各部についての概略を以下に説明する。
【０１０３】
エントロピー復号部３０１は、ビットストリームが入力されると、画像符号化装置１０のエントロピー符号化に対応するエントロピー復号を行う。エントロピー復号部３０１により復号された予測誤差信号などは逆量子化部３０２に出力される。また、復号したフィルタ係数や、インター予測されている場合の、復号された動きベクトルなどは復号情報記憶部３０５に出力される。
【０１０４】
また、エントロピー復号部３０１は、イントラ予測の場合、イントラ予測部３０４にその旨通知する。また、エントロピー復号部３０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部３０７に通知する。
【０１０５】
また、エントロピー復号部３０１は、分割回数情報を復号し、最大符号化ブロックサイズ（最大サイズ）の場合（例えばＣＵが６４×６４）の色差信号のＴＵの分割回数が０であった場合、輝度信号のＴＵの分割回数を１であると解釈し、輝度信号のＴＵの分割回数を１に設定する。これにより、画像符号化装置１０により符号化されたビットストリームを適切に復号できる。エントロピー復号部３０１の詳細は、図１２を用いて説明する。
【０１０６】
逆量子化部３０２は、エントロピー復号部３０１からの出力信号に対して逆量子化処理を行う。逆量子化された出力信号は逆直交変換部３０３に出力される。逆直交変換部３０３は、逆量子化部３０２からの出力信号の復号ブロックに対して逆直交変換処理を行い、残差信号を生成する。残差信号は復号画像生成部３０８に出力される。
【０１０７】
イントラ予測部３０４は、フレームメモリ３１１から取得する復号対象画像のすでに復号化された周辺画素から、複数の予測方向を用いて予測画像を生成する。予測画像の生成に用いた予測方向や予測ブロックの情報を予測情報として逆直交変換部３０３に出力する。
【０１０８】
復号情報記憶部３０５は、復号されたループフィルタのフィルタ係数や動きベクトルや分割モードなどの復号情報を記憶する。
【０１０９】
インター予測部３０６は、フレームメモリ３１１から取得した参照画像のデータを復号情報記憶部３０５から取得する動きベクトルや分割モードを用いて動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【０１１０】
予測画像選択部３０７は、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部３０８に出力される。
【０１１１】
復号画像生成部３０８は、予測画像選択部３０７から出力される予測画像と、逆直交変換部３０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はデブロッキングフィルタ部３０９に出力される。
【０１１２】
デブロッキングフィルタ部３０９は、復号画像生成部３０８から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ部３１０に出力する。
【０１１３】
ループフィルタ部３１０は、復号情報記憶部３０５から取得したフィルタ係数を用いて、復号画像の所定サイズ毎にフィルタ処理を行う。所定サイズは、例えば逆直交変換サイズである。ループフィルタ処理後の復号画像をフレームメモリ３１１に出力する。なお、ループフィルタ後の復号画像は表示装置などに出力されてもよい。
【０１１４】
フレームメモリ３１１は、参照画像となる復号画像などを記憶する。なお、復号情報記憶手段３０５とフレームメモリ３１１は、分けた構成にしているが、同じ記憶部であってもよい。
【０１１５】
＜エントロピー復号部の構成＞
次に、エントロピー復号部３０１の構成について説明する。図１２は、エントロピー復号部３０１の構成の一例を示すブロック図である。図１２に示すエントロピー復号部３０１は、分割回数復号部４０１、回数制御部４０２及び復号部４０３を有する。図１２に示す構成は、実施例１に対する符号化データを適切に復号することを主に説明するための構成であり、以下に示すような処理を行うことができれば、この例に限られない。
【０１１６】
分割回数復号部４０１は、ビットストリームから分割回数情報（例えばsplit_transform_flag）を復号する。
【０１１７】
回数制御部４０２は、最大符号化ブロックサイズ（例えばＣＵ＝３２×３２サイズ）であり、色差信号の変換ブロックＴＵの分割回数が０の場合は、輝度信号の変換ブロックＴＵの分割回数を１と解釈する。回数制御部４０２は、その他の場合は復号した通りの分割回数と判断する。
【０１１８】
復号部４０３は、輝度信号の分割回数、色差信号の分割回数に基づいて、分割回数情報とは異なるパラメータのエントロピー復号を行う。このパラメータは、例えば、分割回数に基づくブロックサイズの量子化された直交変換係数などである。復号部４０３は、復号した情報を逆量子化部３０２に出力する。
【０１１９】
回数制御部４０２の制御により、最大符号化ブロックサイズの場合に第０階層が有効であっても、適切に復号することができる。
【０１２０】
＜動作＞
次に、画像復号装置３０の動作について説明する。図１３は、分割回数制御を行って復号する処理の一例を示すフローチャートである。
【０１２１】
ステップＳ２０１で、回数制御部４０２は、ＣＵが最大サイズか否かを判定する。ＣＵの最大サイズは、例えば６４×６４とする。ＣＵが６４×６４であれば（ステップＳ２０１−ＹＥＳ）ステップＳ２０２に進み、ＣＵが６４×６４でなければ（ステップＳ２０１−ＮＯ）ステップＳ２０４に進む。
【０１２２】
ステップＳ２０２で、回数制御部４０２は、色差の変換ブロックＴＵの分割回数が０であるか否かを判定する。色差のＴＵが分割回数０であれば（ステップＳ２０２−ＹＥＳ）ステップＳ２０３に進み、色差のＴＵが分割回数０でなければ（ステップＳ２０２−ＮＯ）ステップＳ２０４に進む。
【０１２３】
ステップＳ２０３で、回数制御部４０２は、輝度の分割回数を１と解釈し、輝度信号の分割回数を１に設定する。
【０１２４】
ステップＳ２０４で、復号部４０３以降の処理部は、従来のＨＥＶＣ同様、輝度の分割回数、色差の分割回数に基づくブロックサイズで、直交変換係数を含むパラメータを復号して復号処理を行う。ブロックサイズが決まれば従来の方法で復号処理を行えばよい。
【０１２５】
以上、実施例２によれば、実施例１における画像符号化装置１０で符号化したビットストリームを適切に復号することができる。
【０１２６】
［実施例３］
図１４は、実施例３における画像処理装置５０の構成の一例を示すブロック図である。図１４に示す画像処理装置５０は、上述した実施例１で説明した画像符号化処理又は実施例２で説明した画像復号処理をソフトウェアで実装した装置の一例である。
【０１２７】
図１４に示すように、画像処理装置５０は、制御部５０１、主記憶部５０２、補助記憶部５０３、ドライブ装置５０４、ネットワークＩ／Ｆ部５０６、入力部５０７、表示部５０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【０１２８】
制御部５０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部５０１は、主記憶部５０２又は補助記憶部５０３に記憶された画像符号化処理のプログラム、又は画像復号処理のプログラムを実行する演算装置である。制御部５０１は、入力部５０７や記憶装置からデータを受け取り、演算、加工した上で、表示部５０８や記憶装置などに出力する。
【０１２９】
制御部５０１は、画像符号化処理、又は画像復号処理のプログラムを実行することで、各実施例で説明した処理を実現することができる。
【０１３０】
主記憶部５０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部５０２は、制御部５０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【０１３１】
補助記憶部５０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【０１３２】
ドライブ装置５０４は、記録媒体５０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。
【０１３３】
また、記録媒体５０５に、所定のプログラムを格納し、この記録媒体５０５に格納されたプログラムはドライブ装置５０４を介して画像処理装置５０にインストールされる。インストールされた所定のプログラムは、画像処理装置５０により実行可能となる。
【０１３４】
ネットワークＩ／Ｆ部５０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置５０とのインターフェースである。
【０１３５】
入力部５０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部５０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部５０７は、ユーザが制御部５０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
【０１３６】
表示部５０８は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等により構成され、制御部５０１から入力される表示データに応じた表示が行われる。
【０１３７】
なお、図６に示す復号画像記憶部１１１は、例えば主記憶部５０２又は補助記憶部５０３により実現され、図６に示す復号画像記憶部１１１以外の構成は、例えば制御部５０１及びワークメモリとしての主記憶部５０２により実現されうる。
【０１３８】
また、図１１に示す復号情報記憶部３０５及びフレームメモリ３１１は、例えば主記憶部５０２又は補助記憶部５０３により実現され、図１１に示す復号情報記憶部３０５及びフレームメモリ３１１以外の構成は、例えば制御部５０１及びワークメモリとしての主記憶部５０２により実現されうる。
【０１３９】
画像処理装置５０で実行されるプログラムは、実施例１や実施例２で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部５０１が補助記憶部５０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部５０２上にロードされ、１又は複数の各部が主記憶部５０２上に生成されるようになっている。
【０１４０】
このように、上述した実施例１で説明した画像符号化処理や実施例２で説明した画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、各実施例で説明した処理を実現することができる。
【０１４１】
また、このプログラムを記録媒体５０５に記録し、このプログラムが記録された記録媒体５０５をコンピュータや携帯端末に読み取らせて、前述した画像符号化処理又は画像復号処理を実現させることも可能である。なお、記録媒体５０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、上述した各実施例で説明した処理は、１つ又は複数の集積回路に実装してもよい。
【０１４２】
なお、実施例３における画像処理装置５０は、上記の通り、画像符号化装置１０、画像復号装置３０としての機能を有する。
【０１４３】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
【符号の説明】
【０１４４】
１０ 画像符号化装置
３０ 画像復号装置
５０ 画像処理装置
１０１ 予測画像生成部
１０２ 直交変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 復号画像生成部
１０８ デブロッキングフィルタ部
１０９ ループフィルタ部
１１０ 復号画像記憶部
１１１ イントラ予測部
１１２ インター予測部
１１３ 動きベクトル計算部
１１４ 符号化制御及びヘッダ生成部
１１５ 予測画像選択部
２０１ 分割制御部
２０２ 変換部
２０３ コスト計算部
２０４ 分割決定部
３０１ エントロピー復号部
３０２ 逆量子化部
３０３ 逆直交変換部
４０１ 分割回数復号部
４０２ 回数制御部
４０３ 復号部
５０１ 制御部
５０２ 主記憶部
５０３ 補助記憶部
５０４ ドライブ装置
【特許請求の範囲】
【請求項１】
画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、該データに含まれる前記変換ブロックの分割回数情報を復号する分割回数情報復号部と、
前記符号化ブロックが最大サイズであり、かつ前記変換ブロックの分割回数が０である場合、輝度信号に対する前記変換ブロックの分割回数を１に設定する回数制御部と、
前記輝度信号及び前記色差信号に対する前記変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号部と、
を備える画像復号装置。
【請求項２】
前記最大サイズは６４×６４であり、分割回数が０である場合の前記色差信号に対する前記変換ブロックのサイズは、３２×３２であり、分割回数が１である場合の前記輝度信号に対する前記変換ブロックのサイズは、３２×３２である請求項１記載の画像復号装置。
【請求項３】
画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、該データに含まれる前記変換ブロックの分割回数情報を復号する分割回数情報復号ステップと、
前記符号化ブロックが最大サイズであり、かつ前記変換ブロックの分割回数が０である場合、輝度信号に対する前記変換ブロックの分割回数を１に設定する回数制御ステップと、
前記輝度信号及び前記色差信号に対する前記変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号ステップと、
を有する画像復号方法。
【請求項４】
画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、該データに含まれる前記変換ブロックの分割回数情報を復号する分割回数情報復号ステップと、
前記符号化ブロックが最大サイズであり、かつ前記変換ブロックの分割回数が０である場合、輝度信号に対する前記変換ブロックの分割回数を１に設定する回数制御ステップと、
前記輝度信号及び前記色差信号に対する前記変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号ステップと、
をコンピュータに実行させるためのプログラム。
【請求項５】
画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像を符号化する画像符号化装置であって、
前記符号化ブロックが最大サイズである場合、輝度信号に対する前記変換ブロックの分割回数を前記色差信号に対する前記変換ブロックの分割回数よりも１つ多く制御する分割制御部と、
前記輝度信号及び前記色差信号に対する変換ブロックの分割回数により決定されるサイズで、直交変換処理を行う変換部と、
を備える画像符号化装置。
【請求項１】
画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、該データに含まれる前記変換ブロックの分割回数情報を復号する分割回数情報復号部と、
前記符号化ブロックが最大サイズであり、かつ前記変換ブロックの分割回数が０である場合、輝度信号に対する前記変換ブロックの分割回数を１に設定する回数制御部と、
前記輝度信号及び前記色差信号に対する前記変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号部と、
を備える画像復号装置。
【請求項２】
前記最大サイズは６４×６４であり、分割回数が０である場合の前記色差信号に対する前記変換ブロックのサイズは、３２×３２であり、分割回数が１である場合の前記輝度信号に対する前記変換ブロックのサイズは、３２×３２である請求項１記載の画像復号装置。
【請求項３】
画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、該データに含まれる前記変換ブロックの分割回数情報を復号する分割回数情報復号ステップと、
前記符号化ブロックが最大サイズであり、かつ前記変換ブロックの分割回数が０である場合、輝度信号に対する前記変換ブロックの分割回数を１に設定する回数制御ステップと、
前記輝度信号及び前記色差信号に対する前記変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号ステップと、
を有する画像復号方法。
【請求項４】
画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像符号化されたデータを取得し、該データに含まれる前記変換ブロックの分割回数情報を復号する分割回数情報復号ステップと、
前記符号化ブロックが最大サイズであり、かつ前記変換ブロックの分割回数が０である場合、輝度信号に対する前記変換ブロックの分割回数を１に設定する回数制御ステップと、
前記輝度信号及び前記色差信号に対する前記変換ブロックの分割回数に基づいて、直交変換係数の復号処理を行う復号ステップと、
をコンピュータに実行させるためのプログラム。
【請求項５】
画像を複数の符号化ブロックに分割し、前記符号化ブロックを、直交変換対象の１又は複数の変換ブロックに分割するブロック分割を用いて画像を符号化する画像符号化装置であって、
前記符号化ブロックが最大サイズである場合、輝度信号に対する前記変換ブロックの分割回数を前記色差信号に対する前記変換ブロックの分割回数よりも１つ多く制御する分割制御部と、
前記輝度信号及び前記色差信号に対する変換ブロックの分割回数により決定されるサイズで、直交変換処理を行う変換部と、
を備える画像符号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１０２３０５（Ｐ２０１３−１０２３０５Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４４００９（Ｐ２０１１−２４４００９）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]