画像復号装置、逆直交変換制御方法、プログラム及び画像符号化装置
【課題】処理量の増加を抑えつつ、４×４以外のブロックにもＤＳＴを選択可能とすることで、符号化効率を向上させる。
【解決手段】複数の予測方向を用いて画面内予測を行う画像復号装置であって、逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定部と、判定部による判定結果に基づき、逆離散コサイン変換と、予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの氏処理を行うかを制御する制御部と、制御部により制御された逆直交変換処理を変換ブロックに対して行う逆変換部と、を備える。
【解決手段】複数の予測方向を用いて画面内予測を行う画像復号装置であって、逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定部と、判定部による判定結果に基づき、逆離散コサイン変換と、予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの氏処理を行うかを制御する制御部と、制御部により制御された逆直交変換処理を変換ブロックに対して行う逆変換部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の予測方向を用いて画面内予測を行う画像復号装置、逆直交変換制御方法、プログラム及び画像符号化装置に関する。
【背景技術】
【０００２】
近年マルチメディア化が進み、動画像を扱う機会が多くなってきている。画像データは情報量が大きく、画像の集合である動画像は、テレビ放送の主流であるハイビジョン（１９２０×１０８０）放送で１Ｇｂｉｔ／ｓｅｃを超える情報量である。
【０００３】
そのため、動画像データは、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）や規格化作業中のＨＥＶＣ（High Efficiency Video Coding）などに代表される符号化標準技術によって、情報量を圧縮して伝送・蓄積が行われている。
【０００４】
ＨＥＶＣでは、従来の符号化技術のように画面を左上から符号化単位であるブロック状に単純に分割するのではなく、新たに階層分割を採用し、複数階層のブロック分割を可能とする。また、複数のブロックに分割された符号化単位は、ＣＵ（Coding Unit）や符号化ブロックとも呼ぶ。
【０００５】
図１は、ＨＥＶＣによるブロック分割の一例を示す図である。図１に示すように、ＨＥＶＣでは、４×４、８×８、１６×１６、３２×３２などのサイズに画像を分割して、符号化を行うことができる。
【０００６】
また、ＨＥＶＣでは、予測誤差信号を効率的に表現するため、ＣＵを階層分割し、変換単位に分けることができる。変換単位は、ＴＵ（Transform Unit）や変換ブロックとも呼ぶ。
【０００７】
図２は、ＣＵとＴＵとの関係を示す図である。図２に示すように、例えば３２×３２のＣＵに対し、階層分割０回のＴＵは３２×３２のＣＵと同じブロックであり、階層分割１回のＴＵは、１６×１６に分割されたブロックである。また、階層分割２回のＴＵは、８×８に分割されたブロックである。
【０００８】
なお、ＴＵは、ＣＵのサイズに応じて階層分割されるので、各階層におけるＴＵのサイズはＣＵのサイズに応じてそれぞれ異なる。
【０００９】
また、ＨＥＶＣでは、ＣＵを複数種類の矩形領域である予測単位に分割し、それぞれの予測単位で予測処理が行われる。この予測単位は、ＰＵ（Prediction Unit）や予測ブロックとも呼ぶ。
【００１０】
図３は、画面間予測又は画面内予測で用いられる予測ブロックの一例を示す図である。図３に示すように、ＣＵは、４つの種類のＰＵに分けることが可能である。例えば、２Ｎ×２ＮのＣＵに対して、２Ｎ×２ＮのＰＵ、Ｎ×ＮのＰＵ、Ｎ×２ＮのＰＵ、２Ｎ×ＮのＰＵに分けられる。ＰＵは、ＣＵのサイズに応じて様々な種類が存在する。
【００１１】
ここで、分割されたブロックに対し、画面内符号化（イントラ符号化）では、画面内の空間的な信号予測を行い、この技術を画面内予測（イントラ予測）と呼ぶ。ＨＥＶＣで検討されているイントラ予測には複数の方法がある。
【００１２】
その方法のうちの１つに、符号化ブロックの周囲にある、既に符号化が行われ復号された信号を参照して、この符号化ブロックの信号を予測する技術について説明する。符号化器では、予測に用いるための信号として、復号器で知りうる信号を利用する。そのため、符号化器は、内部に復号器と同等の処理を行うローカルデコーダを備え、符号化された信号は順次復号される。
【００１３】
よって、符号化対象である符号化ブロックの信号の周囲に位置する所定の信号は、既にローカルデコーダにより復号されている。ＨＥＶＣの場合、従来の符号化処理と同じく、符号化対象である符号化ブロックの左及び上側に位置するブロックは、既に復号されており、復号された信号を用いて符号化ブロックの信号を予測する。
【００１４】
この予測の基本原理は、Ｈ．２６４／ＡＶＣのイントラ予測と同様にして信号予測が行われる（非特許文献１）。ＨＥＶＣでは、信号予測の方向がＨ．２６４／ＡＶＣよりも増加しており、最大で３３方向の信号予測が行われる。
【００１５】
図４は、ＨＥＶＣによるイントラ予測の予測方向を示す図である。図４に示すように、ＨＥＶＣでは、３３方向の予測方向を用いてイントラ予測が行われる。
【００１６】
また、映像信号の場合、平均的に隣接画素間の相関が高いため、この予測によると参照信号に隣接する信号は予測精度が高く、参照信号から遠方に位置する信号ほど予測精度が低くなる。
【００１７】
予測による参照信号と原信号との差分を予測誤差信号と呼び、予測誤差信号は、直交変換によって符号化される。従来の符号化技術では、直交変換として、２次元ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）又は整数化された２次元ＤＣＴを用いる。
【００１８】
ＨＥＶＣでは、ＤＣＴに加え、イントラ予測の予測モードに依存した複数の直交変換を選択することができる予定である。直交変換としては、ＤＣＴと、離散サイン変換タイプ７（Discrete Sine Transform type VII：以下、ＤＳＴと呼ぶ）との切り替えを行う。
【００１９】
よって、ＨＥＶＣでは、２次元信号に対し、水平方向・垂直方向で、異なる直交変換の組み合わせを選択可能とする。一般的に選択肢を増やすと、いずれの直交変換を選択したかを復号器に伝送するための識別フラグを必要とする。しかし、この識別フラグが追加情報となり、符号化による情報量削減の効率が低下してしまう。
【００２０】
そこで、この符号化効率の低減を抑制するため、変換ブロックが４×４、８×８のブロックサイズに限定し、イントラ予測の予測方向に応じて、水平方向・垂直方向に対しＤＣＴ、ＤＳＴのいずれを用いて符号化するかを予め設定しておく技術がある（非特許文献２、３）。
【００２１】
これにより、事前に設定されたＤＣＴとＤＳＴとの組み合わせを記述したテーブルを符号化器、復号器の双方で用意することで、識別フラグが不要となり、符号化効率の低下を防止することができる。
【先行技術文献】
【非特許文献】
【００２２】
【非特許文献１】大久保榮監修，「改訂三版 Ｈ．２６４／ＡＶＣ 教科書」，インプレス Ｒ＆Ｄ，ｐ．２６４−２６８，２００９年１月１日
【非特許文献２】Ankur Saxena,「CE7: Mode-dependent DCT/DST without 4*4 full matrix multiplication for intra prediction (JCTVC-E125)」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011
【非特許文献３】Ankur Saxena,「CE7: Mode-dependent 8x8 DCT/DST for Intra Prediction (JCTVC-F282)」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011
【発明の概要】
【発明が解決しようとする課題】
【００２３】
しかしながら、予測誤差信号の性質は、ブロックサイズが大きくなるにしたがって、このブロックを構成する画素数に対して参照信号に隣接する画素数が小さくなり失われる。このため、ＤＳＴを選択することによる符号化効率の改善効果は比較的小さいブロックに限定される。したがって、ＤＳＴを選択可能とするのは、非特許文献２に記載された技術のように４×４のブロックに限定される。
【００２４】
また、ＤＳＴを選択可能とする方式として、非特許文献３では、全ての８×８の変換ブロックに適用しているため、処理量が増加してしまい、処理量の増加による符号化効率の効果が少ないという問題点がある。
【００２５】
そこで、上記課題に鑑みてなされたものであり、処理量の増加を抑えつつ、４×４以外のブロックにもＤＳＴを選択可能とすることで、符号化効率を向上させることができる画像復号装置、逆直交変換制御方法、プログラム及び画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００２６】
本発明の一態様における画像復号装置は、複数の予測方向を用いて画面内予測を行う画像復号装置であって、逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定部と、前記判定部による判定結果に基づき、逆離散コサイン変換と、前記予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの処理を行うかを制御する制御部と、前記制御部により制御された逆直交変換処理を前記変換ブロックに対して行う逆変換部と、を備える。
【００２７】
また、前記条件は、前記変換ブロックのサイズが８×８であり、画像が所定サイズに分割された符号化ブロックからの階層分割回数が０であり、前記制御部は、前記条件を満たすとき、前記逆離散コサイン変換及び／又は逆離散サイン変換の処理を前記逆変換部が行うよう制御するとしてもよい。
【００２８】
また、前記条件は、前記予測ブロックのサイズと前記変換ブロックのサイズとが、８×８以下で同じサイズであり、前記制御部は、前記条件を満たすとき、前記逆離散コサイン変換及び／又は逆離散サイン変換の処理を前記逆変換部が行うよう制御するとしてもよい。
【００２９】
また、前記条件は、前記予測ブロックは長辺が１６以下の長方形であり、前記制御部は、前記条件を満たすとき、前記逆離散コサイン変換及び／又は逆離散サイン変換の処理を前記逆変換部が行うよう制御するとしてもよい。
【００３０】
また、本発明の他の態様における逆直交変換制御方法では、逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定ステップと、前記判定ステップによる判定結果に基づき、逆離散コサイン変換と、画面内予測で用いられる予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの処理を行うかを制御する制御ステップと、前記制御ステップにより制御された逆直交変換処理を前記変換ブロックに対して行う逆変換ステップとをコンピュータが実行する。
【００３１】
また、本発明の他の態様におけるプログラムは、逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定ステップと、前記判定ステップによる判定結果に基づき、逆離散コサイン変換と、画面内予測で用いられる予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの処理を行うかを制御する制御ステップと、前記制御ステップにより制御された逆直交変換を前記変換ブロックに行う逆変換ステップとをコンピュータに実行させる。
【００３２】
また、本発明の他の態様における画像符号化装置は、画像が所定サイズに分割された符号化対象ブロックに含まれ、前記画面内予測に用いられるブロックを示す予測ブロックと、前記符号化対象ブロックが階層分割により１又は複数に分割された変換ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定部と、前記判定部による判定結果に基づき、離散コサイン変換と、前記予測方向に依存して予め設定された水平・垂直方向に対する離散コサイン変換及び／又は離散サイン変換と、のいずれの処理を行うかを制御する制御部と、前記制御部により制御された直交変換処理を前記変換ブロックに対して行う変換部と、を備える。
【発明の効果】
【００３３】
本発明によれば、処理量の増加を抑えつつ、４×４以外のブロックにもＤＳＴを選択可能とすることで、符号化効率を向上させることができる。
【図面の簡単な説明】
【００３４】
【図１】ＨＥＶＣによるブロック分割の一例を示す図。
【図２】ＣＵとＴＵとの関係を示す図。
【図３】イントラ予測部の構成の一例を示すブロック図。
【図４】ＨＥＶＣによるイントラ予測の予測方向を示す図。
【図５】予測ブロックと変換ブロックと予測効率との関係を示す図。
【図６】実施例１における画像符号化装置の概略構成の一例を示すブロック図。
【図７】直交変換部の構成の一例を示すブロック図。
【図８】直交変換制御処理（その１）の一例を示すフローチャート。
【図９】直交変換制御処理（その２）の一例を示すフローチャート。
【図１０】直交変換制御処理（その３）の一例を示すフローチャート。
【図１１】実施例２における画像復号装置の構成の一例を示すブロック図。
【図１２】逆直交変換部の構成の一例を示すブロック図。
【図１３】実施例３における画像処理装置の構成の一例を示すブロック図。
【発明を実施するための形態】
【００３５】
まず、以下に説明する各実施例の前提について説明する。前述した通り、イントラ予測の予測方向に依存したＤＣＴとＤＳＴとの切り替えは、最も小さいブロックサイズに対して効果を示しており、４×４を超えるサイズのブロックに対しては効果を示すとは限らない。
【００３６】
ここで、イントラ予測の予測方向は、１又は複数の変換ブロックで構成される予測ブロックによって決定される。予測ブロックは、例えばイントラ予測で用いられる予測対象のブロックを表す。同一の予測ブロックに含まれる１又は複数の変換ブロックは、同じ予測方向で予測を行う。
【００３７】
一方、予測ブロックが複数の変換ブロックを含む場合、個々の変換ブロックごとに選択された予測方法による予測精度は様々である。よって、予測方向に応じて一律に予め決められたＤＣＴとＤＳＴとの組み合わせで符号化を行うと、符号化効率が向上する場合と、向上しない場合がある。
【００３８】
そのため各変換ブロックでの改善効率を平均すると効果を示す予測が選択されているが個々の変換ブロックで最適な予測が行われているとは限らない。そのような変換ブロックにおいてはＤＳＴが想定通り効果を示すとは限らない。
【００３９】
そこで、発明者らは、予測ブロック内の変換ブロックで、予測誤差信号の傾向が一様である場合に、信号の方向性を利用した予測誤差信号の傾向は、ＤＳＴが想定する信号に近似されることが高い確率で保証されると考えた。
【００４０】
すなわち、予測ブロック内の変換ブロックで、予測誤差信号の傾向が一様である場合のみに、ＤＳＴの選択を可能とすると、効率的に符号化効率を改善することができる。予測ブロック内の変換ブロックで、予測誤差信号の傾向が一様である場合とは、例えば、予測ブロックと変換ブロックとのブロックサイズが一致する場合である。このときのブロックサイズは、８×８又は４×４である。
【００４１】
また、予測ブロックが長方形の場合にも、各予測ブロックの絵柄が別であるために各予測ブロックに分割されることを考慮すると、これらの予測ブロック内の変換ブロックで、予測誤差信号の傾向が一様である場合があると考えられる。以下、予測誤差信号の傾向を、予測効率とも呼ぶ。
【００４２】
図５は、予測ブロックと変換ブロックと予測効率との関係を示す図である。図５に示す矢印は予測方向を表す。図５（Ａ）は、予測ブロックｐｕ１１と変換ブロックｔｕ１１とが同じサイズである場合を示す。図５（Ａ）に示す例では、予測ブロックｐｕ１１と変換ブロックｔｕ１１とが同じサイズであるため、予測効率が一様である。よって、図５（Ａ）に示す場合に、予測方向に依存したＤＣＴとＤＳＴとを選択可能とすればよい。
【００４３】
図５（Ｂ）は、予測ブロックｐｕ２１が４つの変換ブロックｔｕ２１〜２４に分割されている場合を示す。図５（Ｂ）に示す例では、予測効率が様々であるため、予測ブロックが分割されている。図５（Ｂ）に示す場合には、通常のＤＣＴを用いればよい。
【００４４】
図５（Ｃ）は、予測ブロックｐｕ３１、３２に分割されている例を示す。図５（Ｃ）の場合は、予測ブロックｐｕ３１と予測ブロックｐｕ３２とで予測方向が異なるが、これにより、各予測ブロック内で予測効率が一様になる可能性が高まる。よって、図５（Ｃ）に示す予測ブロックｐｕ３１内の変換ブロックｔｕ３１、３２、及び予測ブロックｐｕ３２内の変換ブロックｔｕ３３、３４には、予測方向に依存したＤＣＴとＤＳＴとを選択可能にすればよい。
【００４５】
以上の前提に基づく各実施例について、以下、添付図面を参照しながら詳細に説明する。
【００４６】
［実施例１］
＜構成＞
図６は、実施例１における画像符号化装置１０の概略構成の一例を示すブロック図である。図６に示す例では、画像符号化装置１０は、前処理部１００、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、デブロッキングフィルタ部１０８、ループフィルタ部１０９、復号画像記憶部１１０、イントラ予測部１１１、インター予測部１１２、動きベクトル計算部１１３、符号化制御及びヘッダ生成部１１４及び予測画像選択部１１５を有する。各部についての概略を以下に説明する。
【００４７】
前処理部１００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレームごとのフレーム画像等を順次出力する。また、前処理部１００は、ブロック分割なども行う。
【００４８】
予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。
【００４９】
予測誤差信号生成部１０１は、そのブロックデータと、予測画像選択部１１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。
【００５０】
直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、イントラ予測の場合の予測誤差信号に対し、予測方向に依存したＤＣＴとＤＳＴとの組み合わせを用いて直交変換可能とする。直交変換部１０２の詳細は、図７を用いて後述する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１０３に出力する。
【００５１】
量子化部１０３は、直交変換部１０２からの出力信号を量子化する。量子化部１０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。
【００５２】
エントロピー符号化部１０４は、量子化部１０３からの出力信号や動きベクトル計算部１１３から出力された動きベクトル情報やループフィルタ部１０９からのフィルタ係数などをエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００５３】
逆量子化部１０５は、量子化部１０３からの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。
【００５４】
復号画像生成部１０７は、インター予測部１１２で動き補償された画像のブロックデータと、逆量子化部１０５及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、デブロッキングフィルタ部１０８に出力する。
【００５５】
デブロッキングフィルタ部１０８は、復号画像生成部１０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ部１０９に出力する。
【００５６】
ループフィルタ部１０９は、例えばＡＬＦ（Adaptive Loop Filter）であり、デブロッキングフィルタ処理された復号画像と、入力画像とを用いてフィルタ処理を行う。フィルタ処理は、例えばウィナーフィルタ（Wiener Filter）が用いられるが、その他のフィルタでも良い。
【００５７】
また、ループフィルタ部１０９は、入力画像を所定サイズ毎のグループに分け、グループ毎に適切なフィルタ係数を生成する。ループフィルタ部１０９は、デブロッキングフィルタ処理された復号画像を、所定サイズ毎にグループ分けし、生成したフィルタ係数を用いてグループ毎にフィルタ処理を行う。ループフィルタ部１０９は、フィルタ処理結果を復号画像記憶部１１０に出力し、参照画像として蓄積させる。所定サイズは、例えば、直交変換サイズである。
【００５８】
復号画像記憶部１１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部１１１、インター予測部１１２及び動きベクトル計算部１１３に出力する。
【００５９】
イントラ予測部１１１は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像を生成する。イントラ予測部１１１は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。決定された予測方向や予測ブロックの情報を含む予測情報は、直交変換部１０２に出力される。
【００６０】
インター予測部１１２は、復号画像記憶部１１０から取得した参照画像のデータを動きベクトル計算部１１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【００６１】
動きベクトル計算部１１３は、符号化対象画像におけるブロックデータと、復号画像記憶部１１０から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。
【００６２】
動きベクトル計算部１１３は、求めた動きベクトルをインター予測部１１２に出力し、動きベクトルや参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部１０４に出力する。
【００６３】
イントラ予測部１１１とインター予測部１１２から出力されたブロックデータは、予測画像選択部１１５に入力される。
【００６４】
予測画像選択部１１５は、イントラ予測部１１１とインター予測部１１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部１０１に出力される。
【００６５】
また、符号化制御及びヘッダ生成部１１４について、符号化の全体制御とヘッダ生成を行う。符号化制御及びヘッダ生成部１１４は、イントラ予測部１１１に対して、スライス分割有無の通知、デブロッキングフィルタ部１０８に対して、デブロッキングフィルタ有無の通知、動きベクトル計算部１１３に対して参照画像の制限通知などを行う。
【００６６】
符号化制御及びヘッダ生成部１１４は、その制御結果を用いて、ヘッダ情報を生成する。生成されたヘッダ情報は、エントロピー符号化部１０４に出力され、画像データ、動きベクトルデータとともにストリームとして出力される。
【００６７】
＜直交変換部の構成＞
次に、直交変換部１０２の構成について説明する。図７は、直交変換部１０２の構成の一例を示すブロック図である。図７に示す直交変換部１０２は、本発明にかかるイントラ予測の予測誤差信号に対する直交変換についての構成を示す。
【００６８】
図７に示す直交変換部１０２は、判定部２０１、制御部２０２、変換部２０３を有する。判定部２０１は、予測情報を取得し、予測ブロックと変換ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する。この条件は、予測ブロック内の変換ブロックで、予測誤差信号の傾向が一様になるための条件である。
【００６９】
例えば、以下の３つの条件が考えられる。
・条件１
変換ブロックのサイズが８×８で、符号化ブロックからの階層分割が０回であること
・条件２
予測ブロックのサイズと変換ブロックのサイズとが８×８以下で同じサイズであること
・条件３
予測ブロックが、長辺が１６以下の長方形（例えば１６×８、８×１６）であること
条件１では、イントラ符号化の場合、ブロックの関係は、ＣＵ≧ＰＵ≧ＴＵであり、ＴＵの階層分割は、ＣＵからの階層分割回数を数えるため、ＴＵが８×８で、階層分割回数が０であれば、ＣＵ＝ＰＵ＝ＴＵとなる。よって、条件１は、予測ブロックと変換ブロックとが８×８のサイズであるかを判定するための条件である。
【００７０】
条件２では、予測ブロックのサイズと変換ブロックのサイズとが同じであり、そのサイズが８×８、４×４で同じであるかを判定するための条件である。
【００７１】
条件３では、予測ブロックが長方形（長辺が１６以下）であり、変換ブロックが４×４又は８×８であるかを判定するための条件である。なお、予測ブロックが長方形であれば、必然的に変換ブロックは正方形に分割されるので、条件としては、予測ブロックが長方形（長辺≦１６）であるかを判定すればよい。また、長方形は、長辺が１６以下の長方形に限定すると、変換ブロックのブロックサイズが小さくなり、ＤＳＴの効果が発揮されやすくなる。
【００７２】
判定部２０１は、条件１〜３のいずれかを判定するよう設定しておき、条件を満たすか否かの判定結果を制御部２０２に出力する。なお、判定部２０１は、条件１と３、条件２と３とを組み合わせて判定するようにしてもよい。
【００７３】
制御部２０２は、判定部２０１から判定結果を取得し、判定結果に基づいて、予測誤差信号に対し、ＤＣＴ処理をするか、予測方向に依存した水平・垂直方向に対するＤＣＴ／ＤＳＴの組み合わせを処理するかを制御する。
【００７４】
制御部２０２は、条件を満たすことを示す判定結果である場合、予測方向依存ＤＣＴ／ＤＳＴ部２０５に予測誤差信号を処理するよう指示する。また、制御部２０２は、条件を満たさないことを示す判定結果である場合、ＤＣＴ部２０４に予測誤差信号を処理するよう指示する。
【００７５】
変換部２０３は、イントラ符号化の予測誤差信号に対し、直交変換を行う。変換部２０３は、ＤＣＴ部２０４と予測方向依存ＤＣＴ／ＤＳＴ部２０５とを有する。
【００７６】
ＤＣＴ部２０４は、予測誤差信号に対し、水平方向・垂直方向のＤＣＴ処理を行い、量子化部１０３に直交変換された信号を出力する。
【００７７】
予測方向依存ＤＣＴ／ＤＳＴ部２０５は、イントラ予測部１１１で決定された予測方向に応じて、水平方向・垂直方向に対しＤＣＴ及び／又はＤＳＴ処理を行う。予測方向依存ＤＣＴ／ＤＳＴ部２０５は、予測方向に応じて、水平方向に適用するのはＤＣＴかＤＳＴか、垂直方向に適用するのはＤＣＴかＤＳＴかを示すテーブルを保持しておく。
【００７８】
よって、予測方向依存ＤＣＴ／ＤＳＴ部２０５は、予測方向が分かると、テーブルを参照して、水平方向に適用する直交変換、垂直方向に適用する直交変換を決めることができる。予測方向依存ＤＣＴ／ＤＳＴ部２０５は、直交変換された信号を量子化部１０３に出力する。
【００７９】
これにより、ブロックサイズが比較的小さく、予測ブロック内の予測効率が一様であると予想される変換ブロックに対し、ＤＳＴを選択可能とすることができる。
【００８０】
なお、図７に示す例では、判定部２０１と制御部２０２とを直交変換部１０２に含める構成で説明したが、判定部２０１と制御部２０２とを直交変換部１０２とは独立して直交変換制御部として構成してもよい。
【００８１】
＜動作＞
次に、実施例１における画像符号化装置１０の動作について説明する。以下では、条件１〜３それぞれの場合における直交変換制御処理について説明する。
【００８２】
図８は、直交変換制御処理（その１）の一例を示すフローチャートである。図８に示す処理は、１つの変換ブロックに対し、条件１を満たすか否かを判定条件とする直交変換制御処理である。
【００８３】
ステップＳ１００で、判定部２０１は、変換ブロックは４×４のサイズであるか否かを判定する。４×４のサイズであれば（ステップＳ１００−ＹＥＳ）ステップＳ１０３に進み、４×４のサイズでなければ（ステップＳ１００−ＮＯ）ステップＳ１０１に進む。ステップＳ１０１で、判定部２０１は、変換ブロックは８×８のサイズであるか否かを判定する。８×８のサイズであれば（ステップＳ１０１−ＹＥＳ）ステップＳ１０２に進み、８×８のサイズでなければ（ステップＳ１０１−ＮＯ）ステップＳ１０４に進む。
【００８４】
ステップＳ１０２で、判定部２０１は、変換ブロックの階層分割は０回であるか否かを判定する。階層分割が０回であれば（ステップＳ１０２−ＹＥＳ）ステップＳ１０３に進み、階層分割が０回でなければ（ステップＳ１０２−ＮＯ）ステップＳ１０４に進む。
【００８５】
ステップＳ１０３で、制御部２０２は、変換ブロックの予測誤差信号に対し、予測方向依存ＤＣＴ／ＤＳＴ部２０５を使用するよう制御する。
【００８６】
ステップＳ１０４で、制御部２０２は、変換ブロックの予測誤差信号に対し、ＤＣＴ部２０４を使用するよう制御する。
【００８７】
ステップＳ１０５で、変換部２０３は、使用が決定されたＤＣＴ部２０４又は予測方向依存ＤＣＴ／ＤＳＴ部２０５のいずれかを用いて、変換ブロックの予測誤差信号に対して直交変換処理を行う。
【００８８】
図９は、直交変換制御処理（その２）の一例を示すフローチャートである。図９に示す処理は、１つの変換ブロックに対し、条件２を満たすか否かを判定条件とする直交変換制御処理である。
【００８９】
ステップＳ２０１で、判定部２０１は、予測ブロックと変換ブロックは８×８以下のサイズで、同じサイズであるか否かを判定する。８×８以下の同じサイズであれば（ステップＳ２０１−ＹＥＳ）ステップＳ２０２に進み、８×８以下の同じサイズでなければ（ステップＳ２０１−ＮＯ）ステップＳ２０３に進む。
【００９０】
ステップＳ２０２で、制御部２０２は、変換ブロックの予測誤差信号に対し、予測方向依存ＤＣＴ／ＤＳＴ部２０５を使用するよう制御する。
【００９１】
ステップＳ２０３で、制御部２０２は、変換ブロックの予測誤差信号に対し、ＤＣＴ部２０４を使用するよう制御する。
【００９２】
ステップＳ２０４で、変換部２０３は、使用が決定されたＤＣＴ部２０４又は予測方向依存ＤＣＴ／ＤＳＴ部２０５のいずれかを用いて、変換ブロックの予測誤差信号に対して直交変換処理を行う。
【００９３】
図１０は、直交変換制御処理（その３）の一例を示すフローチャートである。図１０に示す処理は、１つの変換ブロックに対し、条件３を満たすか否かを判定条件とする直交変換制御処理である。
【００９４】
ステップＳ３０１で、判定部２０１は、予測ブロックは長方形（長辺が１６以下）であるか否かを判定する。長辺が１６以下の長方形であれば（ステップＳ３０１−ＹＥＳ）ステップＳ３０２に進み、長辺が１６以下の長方形のサイズでなければ（ステップＳ３０１−ＮＯ）ステップＳ３０３に進む。なお、ステップＳ３０１で、判定部２０１は、予測ブロックが１６×８、８×１６の長方形であり、変換ブロックが８×８であるか否かを判定してもよい。変換ブロックが必然的に分割されるサイズであれば、予測ブロック内の予測効率が一様である可能性がある。
【００９５】
ステップＳ３０２で、制御部２０２は、変換ブロックの予測誤差信号に対し、予測方向依存ＤＣＴ／ＤＳＴ部２０５を使用するよう制御する。
【００９６】
ステップＳ３０３で、制御部２０２は、変換ブロックの予測誤差信号に対し、ＤＣＴ部２０４を使用するよう制御する。
【００９７】
ステップＳ３０４で、変換部２０３は、使用が決定されたＤＣＴ部２０４又は予測方向依存ＤＣＴ／ＤＳＴ部２０５のいずれかを用いて、変換ブロックの予測誤差信号に対して直交変換処理を行う。
【００９８】
以上の直交変換制御処理により、ＤＳＴを効果的に用いることができる変換ブロックに対して、ＤＳＴを選択可能とすることにより、符号化効率を向上させることができる。
【００９９】
以上、実施例１によれば、処理量の増加を抑えつつ、４×４以外のブロックにもＤＳＴを選択可能とすることで、符号化効率を向上させることができる。
【０１００】
［実施例２］
次に、実施例２における画像復号装置３０について説明する。実施例２における画像復号装置３０は、実施例１における画像符号化装置１０で符号化されたビットストリームを復号する装置である。
【０１０１】
図１１は、実施例２における画像復号装置３０の概略構成の一例を示すブロック図である。図１１に示すように、画像復号装置３０は、エントロピー復号部３０１、逆量子化部３０２、逆直交変換部３０３、イントラ予測部３０４、復号情報記憶部３０５、インター予測部３０６、予測画像選択部３０７、復号画像生成部３０８、デブロッキングフィルタ部３０９、ループフィルタ部３１０、及びフレームメモリ３１１を有する。各部についての概略を以下に説明する。
【０１０２】
エントロピー復号部３０１は、ビットストリームが入力されると、画像符号化装置１０のエントロピー符号化に対応するエントロピー復号を行う。エントロピー復号部３０１により復号された予測誤差信号などは逆量子化部３０２に出力される。また、復号したフィルタ係数や、インター予測されている場合の、復号された動きベクトルなどは復号情報記憶部３０５に出力される。
【０１０３】
また、エントロピー復号部３０１は、イントラ予測の場合、イントラ予測部３０４にその旨通知する。また、エントロピー復号部３０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部３０７に通知する。
【０１０４】
逆量子化部３０２は、エントロピー復号部３０１からの出力信号に対して逆量子化処理を行う。逆量子化された出力信号は逆直交変換部３０３に出力される。
【０１０５】
逆直交変換部３０３は、逆量子化部３０２からの出力信号の復号ブロックに対して逆直交変換処理を行い、残差信号を生成する。逆直交変換部３０３は、イントラ予測の場合、逆ＤＣＴ（ＩＤＣＴ）処理をするか、予測方向に依存して決定される逆ＤＣＴ／逆ＤＳＴ（ＩＤＳＴ）処理をするかを制御する。逆直交変換部３０３の詳細は、図１２を用いて後述する。残差信号は復号画像生成部３０８に出力される。
【０１０６】
イントラ予測部３０４は、フレームメモリ３１１から取得する復号対象画像のすでに復号化された周辺画素から、複数の予測方向を用いて予測画像を生成する。予測画像の生成に用いた予測方向や予測ブロックの情報を予測情報として逆直交変換部３０３に出力する。
【０１０７】
復号情報記憶部３０５は、復号されたループフィルタのフィルタ係数や動きベクトルや分割モードなどの復号情報を記憶する。
【０１０８】
インター予測部３０６は、フレームメモリ３１１から取得した参照画像のデータを復号情報記憶部３０５から取得する動きベクトルや分割モードを用いて動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【０１０９】
予測画像選択部３０７は、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部３０８に出力される。
【０１１０】
復号画像生成部３０８は、予測画像選択部３０７から出力される予測画像と、逆直交変換部３０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はデブロッキングフィルタ部３０９に出力される。
【０１１１】
デブロッキングフィルタ部３０９は、復号画像生成部３０８から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ部３１０に出力する。
【０１１２】
ループフィルタ部３１０は、復号情報記憶部３０５から取得したフィルタ係数を用いて、復号画像の所定サイズ毎にフィルタ処理を行う。所定サイズは、例えば逆直交変換サイズである。ループフィルタ処理後の復号画像をフレームメモリ３１１に出力する。なお、ループフィルタ後の復号画像は表示装置などに出力されてもよい。
【０１１３】
フレームメモリ３１１は、参照画像となる復号画像などを記憶する。なお、復号情報記憶手段３０５とフレームメモリ３１１は、分けた構成にしているが、同じ記憶部であってもよい。
【０１１４】
＜逆直交変換部の構成＞
次に、逆直交変換部３０３の構成について説明する。図１２は、逆直交変換部３０３の構成の一例を示すブロック図である。図１２に示す逆直交変換部３０３は、判定部４０１、制御部４０２、逆変換部４０３を有する。
【０１１５】
判定部４０１は、図７に示す判定部２０１と同様の機能を有するので説明を省略する。なお、判定部４０１は、変換ブロック毎に、画像符号化装置１０の判定部２０１と同じ条件で判定を行う。
【０１１６】
制御部４０２は、判定部４０１の判定結果に基づき、ＩＤＣＴ部４０３で処理するか、予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０４で処理するかを制御する。
【０１１７】
制御部４０２は、条件を満たすことを示す判定結果である場合、予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０５に逆量子化された信号を処理するよう指示する。また、制御部４０２は、条件を満たさないことを示す判定結果である場合、ＩＤＣＴ部４０４に逆量子化された信号を処理するよう指示する。
【０１１８】
逆変換部４０３は、変換ブロックの逆量子化された信号に対し、逆直交変換を行う。逆変換部４０３は、ＩＤＣＴ部４０４と予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０５とを有する。
【０１１９】
ＩＤＣＴ部４０４は、逆量子化された信号に対し、水平方向・垂直方向のＩＤＣＴ処理を行い、復号画像生成部３０８に逆直交変換された信号を出力する。
【０１２０】
予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０５は、イントラ予測部３０４で復号、抽出された予測方向に応じて、逆量子化された信号の水平方向・垂直方向に対しＩＤＣＴ及び／又はＩＤＳＴ処理を行う。予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０５は、予測方向に応じて、水平方向に適用するのはＩＤＣＴかＩＤＳＴか、垂直方向に適用するのはＩＤＣＴかＩＤＳＴかを示すテーブルを保持しておく。このテーブルは、画像符号化措置１０と同じテーブルである。
【０１２１】
よって、予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０５は、予測方向が分かると、テーブルを参照して、水平方向に適用する逆直交変換、垂直方向に適用する逆直交変換を決めることができる。予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０５は、逆直交変換された信号を復号画像生成部３０８に出力する。
【０１２２】
これにより、判定部４０１及び制御部４０２は、画像符号化装置１０の処理と同様の処理を行うことができる。なお、判定部４０１と制御部４０２とは、逆直交変換部３０３とは独立して逆直交変換制御部として構成されてもよい。
【０１２３】
＜動作＞
画像復号装置３０における逆直交変換処理は、基本的には、図８〜１０に示す処理と同様である。異なるところは、直交変換が逆直交変換になることである。
【０１２４】
以上、実施例２によれば、実施例１における画像符号化装置１０で符号化したビットストリームを適切に復号することができる。
【０１２５】
［実施例３］
図１３は、実施例３における画像処理装置５０の構成の一例を示すブロック図である。図１３に示す画像処理装置５０は、上述した実施例１で説明した画像符号化処理又は実施例２で説明した画像復号処理をソフトウェアで実装した装置の一例である。
【０１２６】
図１３に示すように、画像処理装置５０は、制御部５０１、主記憶部５０２、補助記憶部５０３、ドライブ装置５０４、ネットワークＩ／Ｆ部５０６、入力部５０７、表示部５０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【０１２７】
制御部５０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部５０１は、主記憶部５０２又は補助記憶部５０３に記憶された直交変換制御処理を含む画像符号化処理のプログラム、又は逆直交変換制御処理を含む画像復号処理のプログラムを実行する演算装置である。制御部５０１は、入力部５０７や記憶装置からデータを受け取り、演算、加工した上で、表示部５０８や記憶装置などに出力する。
【０１２８】
制御部５０１は、直交変換制御処理を含む画像符号化処理、又は逆直交変換制御処理を含む画像復号処理のプログラムを実行することで、各実施例で説明した処理を実現することができる。
【０１２９】
主記憶部５０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部５０２は、制御部５０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【０１３０】
補助記憶部５０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【０１３１】
ドライブ装置５０４は、記録媒体５０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。
【０１３２】
また、記録媒体５０５に、所定のプログラムを格納し、この記録媒体５０５に格納されたプログラムはドライブ装置５０４を介して画像処理装置５０にインストールされる。インストールされた所定のプログラムは、画像処理装置５０により実行可能となる。
【０１３３】
ネットワークＩ／Ｆ部５０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置５０とのインターフェースである。
【０１３４】
入力部５０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部５０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部５０７は、ユーザが制御部５０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
【０１３５】
表示部５０８は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等により構成され、制御部５０１から入力される表示データに応じた表示が行われる。
【０１３６】
なお、図６に示す復号画像記憶部１１１は、例えば主記憶部５０２又は補助記憶部５０３により実現され、図６に示す復号画像記憶部１１１以外の構成は、例えば制御部５０１及びワークメモリとしての主記憶部５０２により実現されうる。
【０１３７】
また、図１１に示す復号情報記憶部３０５及びフレームメモリ３１１は、例えば主記憶部５０２又は補助記憶部５０３により実現され、図１１に示す復号情報記憶部３０５及びフレームメモリ３１１以外の構成は、例えば制御部５０１及びワークメモリとしての主記憶部５０２により実現されうる。
【０１３８】
画像処理装置５０で実行されるプログラムは、実施例１や実施例２で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部５０１が補助記憶部５０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部５０２上にロードされ、１又は複数の各部が主記憶部５０２上に生成されるようになっている。
【０１３９】
このように、上述した実施例１で説明した画像符号化処理や実施例２で説明した画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、各実施例で説明した処理を実現することができる。
【０１４０】
また、このプログラムを記録媒体５０５に記録し、このプログラムが記録された記録媒体５０５をコンピュータや携帯端末に読み取らせて、前述したフィルタ処理を実現させることも可能である。なお、記録媒体５０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、上述した各実施例で説明した処理は、１つ又は複数の集積回路に実装してもよい。
【０１４１】
なお、実施例３における画像処理装置５０は、上記の通り、画像符号化装置１０、画像復号装置３０としての機能を有する。
【０１４２】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
【符号の説明】
【０１４３】
１０ 画像符号化装置
３０ 画像復号装置
５０ 画像処理装置
１０１ 予測画像生成部
１０２ 直交変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 復号画像生成部
１０８ デブロッキングフィルタ部
１０９ ループフィルタ部
１１０ 復号画像記憶部
１１１ イントラ予測部
１１２ インター予測部
１１３ 動きベクトル計算部
１１４ 符号化制御及びヘッダ生成部
１１５ 予測画像選択部
２０１ 判定部
２０２ 制御部
２０３ 変換部
２０４ ＤＣＴ部
２０５ 予測方向依存ＤＣＴ／ＤＳＴ部
３０３ 逆直交変換部
４０１ 判定部
４０２ 制御部
４０３ 逆変換部
４０４ ＩＤＣＴ部
４０５ 予測依存ＩＤＣＴ／ＩＤＳＴ部
５０１ 制御部
５０２ 主記憶部
５０３ 補助記憶部
５０４ ドライブ装置
【技術分野】
【０００１】
本発明は、複数の予測方向を用いて画面内予測を行う画像復号装置、逆直交変換制御方法、プログラム及び画像符号化装置に関する。
【背景技術】
【０００２】
近年マルチメディア化が進み、動画像を扱う機会が多くなってきている。画像データは情報量が大きく、画像の集合である動画像は、テレビ放送の主流であるハイビジョン（１９２０×１０８０）放送で１Ｇｂｉｔ／ｓｅｃを超える情報量である。
【０００３】
そのため、動画像データは、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）や規格化作業中のＨＥＶＣ（High Efficiency Video Coding）などに代表される符号化標準技術によって、情報量を圧縮して伝送・蓄積が行われている。
【０００４】
ＨＥＶＣでは、従来の符号化技術のように画面を左上から符号化単位であるブロック状に単純に分割するのではなく、新たに階層分割を採用し、複数階層のブロック分割を可能とする。また、複数のブロックに分割された符号化単位は、ＣＵ（Coding Unit）や符号化ブロックとも呼ぶ。
【０００５】
図１は、ＨＥＶＣによるブロック分割の一例を示す図である。図１に示すように、ＨＥＶＣでは、４×４、８×８、１６×１６、３２×３２などのサイズに画像を分割して、符号化を行うことができる。
【０００６】
また、ＨＥＶＣでは、予測誤差信号を効率的に表現するため、ＣＵを階層分割し、変換単位に分けることができる。変換単位は、ＴＵ（Transform Unit）や変換ブロックとも呼ぶ。
【０００７】
図２は、ＣＵとＴＵとの関係を示す図である。図２に示すように、例えば３２×３２のＣＵに対し、階層分割０回のＴＵは３２×３２のＣＵと同じブロックであり、階層分割１回のＴＵは、１６×１６に分割されたブロックである。また、階層分割２回のＴＵは、８×８に分割されたブロックである。
【０００８】
なお、ＴＵは、ＣＵのサイズに応じて階層分割されるので、各階層におけるＴＵのサイズはＣＵのサイズに応じてそれぞれ異なる。
【０００９】
また、ＨＥＶＣでは、ＣＵを複数種類の矩形領域である予測単位に分割し、それぞれの予測単位で予測処理が行われる。この予測単位は、ＰＵ（Prediction Unit）や予測ブロックとも呼ぶ。
【００１０】
図３は、画面間予測又は画面内予測で用いられる予測ブロックの一例を示す図である。図３に示すように、ＣＵは、４つの種類のＰＵに分けることが可能である。例えば、２Ｎ×２ＮのＣＵに対して、２Ｎ×２ＮのＰＵ、Ｎ×ＮのＰＵ、Ｎ×２ＮのＰＵ、２Ｎ×ＮのＰＵに分けられる。ＰＵは、ＣＵのサイズに応じて様々な種類が存在する。
【００１１】
ここで、分割されたブロックに対し、画面内符号化（イントラ符号化）では、画面内の空間的な信号予測を行い、この技術を画面内予測（イントラ予測）と呼ぶ。ＨＥＶＣで検討されているイントラ予測には複数の方法がある。
【００１２】
その方法のうちの１つに、符号化ブロックの周囲にある、既に符号化が行われ復号された信号を参照して、この符号化ブロックの信号を予測する技術について説明する。符号化器では、予測に用いるための信号として、復号器で知りうる信号を利用する。そのため、符号化器は、内部に復号器と同等の処理を行うローカルデコーダを備え、符号化された信号は順次復号される。
【００１３】
よって、符号化対象である符号化ブロックの信号の周囲に位置する所定の信号は、既にローカルデコーダにより復号されている。ＨＥＶＣの場合、従来の符号化処理と同じく、符号化対象である符号化ブロックの左及び上側に位置するブロックは、既に復号されており、復号された信号を用いて符号化ブロックの信号を予測する。
【００１４】
この予測の基本原理は、Ｈ．２６４／ＡＶＣのイントラ予測と同様にして信号予測が行われる（非特許文献１）。ＨＥＶＣでは、信号予測の方向がＨ．２６４／ＡＶＣよりも増加しており、最大で３３方向の信号予測が行われる。
【００１５】
図４は、ＨＥＶＣによるイントラ予測の予測方向を示す図である。図４に示すように、ＨＥＶＣでは、３３方向の予測方向を用いてイントラ予測が行われる。
【００１６】
また、映像信号の場合、平均的に隣接画素間の相関が高いため、この予測によると参照信号に隣接する信号は予測精度が高く、参照信号から遠方に位置する信号ほど予測精度が低くなる。
【００１７】
予測による参照信号と原信号との差分を予測誤差信号と呼び、予測誤差信号は、直交変換によって符号化される。従来の符号化技術では、直交変換として、２次元ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）又は整数化された２次元ＤＣＴを用いる。
【００１８】
ＨＥＶＣでは、ＤＣＴに加え、イントラ予測の予測モードに依存した複数の直交変換を選択することができる予定である。直交変換としては、ＤＣＴと、離散サイン変換タイプ７（Discrete Sine Transform type VII：以下、ＤＳＴと呼ぶ）との切り替えを行う。
【００１９】
よって、ＨＥＶＣでは、２次元信号に対し、水平方向・垂直方向で、異なる直交変換の組み合わせを選択可能とする。一般的に選択肢を増やすと、いずれの直交変換を選択したかを復号器に伝送するための識別フラグを必要とする。しかし、この識別フラグが追加情報となり、符号化による情報量削減の効率が低下してしまう。
【００２０】
そこで、この符号化効率の低減を抑制するため、変換ブロックが４×４、８×８のブロックサイズに限定し、イントラ予測の予測方向に応じて、水平方向・垂直方向に対しＤＣＴ、ＤＳＴのいずれを用いて符号化するかを予め設定しておく技術がある（非特許文献２、３）。
【００２１】
これにより、事前に設定されたＤＣＴとＤＳＴとの組み合わせを記述したテーブルを符号化器、復号器の双方で用意することで、識別フラグが不要となり、符号化効率の低下を防止することができる。
【先行技術文献】
【非特許文献】
【００２２】
【非特許文献１】大久保榮監修，「改訂三版 Ｈ．２６４／ＡＶＣ 教科書」，インプレス Ｒ＆Ｄ，ｐ．２６４−２６８，２００９年１月１日
【非特許文献２】Ankur Saxena,「CE7: Mode-dependent DCT/DST without 4*4 full matrix multiplication for intra prediction (JCTVC-E125)」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011
【非特許文献３】Ankur Saxena,「CE7: Mode-dependent 8x8 DCT/DST for Intra Prediction (JCTVC-F282)」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011
【発明の概要】
【発明が解決しようとする課題】
【００２３】
しかしながら、予測誤差信号の性質は、ブロックサイズが大きくなるにしたがって、このブロックを構成する画素数に対して参照信号に隣接する画素数が小さくなり失われる。このため、ＤＳＴを選択することによる符号化効率の改善効果は比較的小さいブロックに限定される。したがって、ＤＳＴを選択可能とするのは、非特許文献２に記載された技術のように４×４のブロックに限定される。
【００２４】
また、ＤＳＴを選択可能とする方式として、非特許文献３では、全ての８×８の変換ブロックに適用しているため、処理量が増加してしまい、処理量の増加による符号化効率の効果が少ないという問題点がある。
【００２５】
そこで、上記課題に鑑みてなされたものであり、処理量の増加を抑えつつ、４×４以外のブロックにもＤＳＴを選択可能とすることで、符号化効率を向上させることができる画像復号装置、逆直交変換制御方法、プログラム及び画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００２６】
本発明の一態様における画像復号装置は、複数の予測方向を用いて画面内予測を行う画像復号装置であって、逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定部と、前記判定部による判定結果に基づき、逆離散コサイン変換と、前記予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの処理を行うかを制御する制御部と、前記制御部により制御された逆直交変換処理を前記変換ブロックに対して行う逆変換部と、を備える。
【００２７】
また、前記条件は、前記変換ブロックのサイズが８×８であり、画像が所定サイズに分割された符号化ブロックからの階層分割回数が０であり、前記制御部は、前記条件を満たすとき、前記逆離散コサイン変換及び／又は逆離散サイン変換の処理を前記逆変換部が行うよう制御するとしてもよい。
【００２８】
また、前記条件は、前記予測ブロックのサイズと前記変換ブロックのサイズとが、８×８以下で同じサイズであり、前記制御部は、前記条件を満たすとき、前記逆離散コサイン変換及び／又は逆離散サイン変換の処理を前記逆変換部が行うよう制御するとしてもよい。
【００２９】
また、前記条件は、前記予測ブロックは長辺が１６以下の長方形であり、前記制御部は、前記条件を満たすとき、前記逆離散コサイン変換及び／又は逆離散サイン変換の処理を前記逆変換部が行うよう制御するとしてもよい。
【００３０】
また、本発明の他の態様における逆直交変換制御方法では、逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定ステップと、前記判定ステップによる判定結果に基づき、逆離散コサイン変換と、画面内予測で用いられる予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの処理を行うかを制御する制御ステップと、前記制御ステップにより制御された逆直交変換処理を前記変換ブロックに対して行う逆変換ステップとをコンピュータが実行する。
【００３１】
また、本発明の他の態様におけるプログラムは、逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定ステップと、前記判定ステップによる判定結果に基づき、逆離散コサイン変換と、画面内予測で用いられる予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの処理を行うかを制御する制御ステップと、前記制御ステップにより制御された逆直交変換を前記変換ブロックに行う逆変換ステップとをコンピュータに実行させる。
【００３２】
また、本発明の他の態様における画像符号化装置は、画像が所定サイズに分割された符号化対象ブロックに含まれ、前記画面内予測に用いられるブロックを示す予測ブロックと、前記符号化対象ブロックが階層分割により１又は複数に分割された変換ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定部と、前記判定部による判定結果に基づき、離散コサイン変換と、前記予測方向に依存して予め設定された水平・垂直方向に対する離散コサイン変換及び／又は離散サイン変換と、のいずれの処理を行うかを制御する制御部と、前記制御部により制御された直交変換処理を前記変換ブロックに対して行う変換部と、を備える。
【発明の効果】
【００３３】
本発明によれば、処理量の増加を抑えつつ、４×４以外のブロックにもＤＳＴを選択可能とすることで、符号化効率を向上させることができる。
【図面の簡単な説明】
【００３４】
【図１】ＨＥＶＣによるブロック分割の一例を示す図。
【図２】ＣＵとＴＵとの関係を示す図。
【図３】イントラ予測部の構成の一例を示すブロック図。
【図４】ＨＥＶＣによるイントラ予測の予測方向を示す図。
【図５】予測ブロックと変換ブロックと予測効率との関係を示す図。
【図６】実施例１における画像符号化装置の概略構成の一例を示すブロック図。
【図７】直交変換部の構成の一例を示すブロック図。
【図８】直交変換制御処理（その１）の一例を示すフローチャート。
【図９】直交変換制御処理（その２）の一例を示すフローチャート。
【図１０】直交変換制御処理（その３）の一例を示すフローチャート。
【図１１】実施例２における画像復号装置の構成の一例を示すブロック図。
【図１２】逆直交変換部の構成の一例を示すブロック図。
【図１３】実施例３における画像処理装置の構成の一例を示すブロック図。
【発明を実施するための形態】
【００３５】
まず、以下に説明する各実施例の前提について説明する。前述した通り、イントラ予測の予測方向に依存したＤＣＴとＤＳＴとの切り替えは、最も小さいブロックサイズに対して効果を示しており、４×４を超えるサイズのブロックに対しては効果を示すとは限らない。
【００３６】
ここで、イントラ予測の予測方向は、１又は複数の変換ブロックで構成される予測ブロックによって決定される。予測ブロックは、例えばイントラ予測で用いられる予測対象のブロックを表す。同一の予測ブロックに含まれる１又は複数の変換ブロックは、同じ予測方向で予測を行う。
【００３７】
一方、予測ブロックが複数の変換ブロックを含む場合、個々の変換ブロックごとに選択された予測方法による予測精度は様々である。よって、予測方向に応じて一律に予め決められたＤＣＴとＤＳＴとの組み合わせで符号化を行うと、符号化効率が向上する場合と、向上しない場合がある。
【００３８】
そのため各変換ブロックでの改善効率を平均すると効果を示す予測が選択されているが個々の変換ブロックで最適な予測が行われているとは限らない。そのような変換ブロックにおいてはＤＳＴが想定通り効果を示すとは限らない。
【００３９】
そこで、発明者らは、予測ブロック内の変換ブロックで、予測誤差信号の傾向が一様である場合に、信号の方向性を利用した予測誤差信号の傾向は、ＤＳＴが想定する信号に近似されることが高い確率で保証されると考えた。
【００４０】
すなわち、予測ブロック内の変換ブロックで、予測誤差信号の傾向が一様である場合のみに、ＤＳＴの選択を可能とすると、効率的に符号化効率を改善することができる。予測ブロック内の変換ブロックで、予測誤差信号の傾向が一様である場合とは、例えば、予測ブロックと変換ブロックとのブロックサイズが一致する場合である。このときのブロックサイズは、８×８又は４×４である。
【００４１】
また、予測ブロックが長方形の場合にも、各予測ブロックの絵柄が別であるために各予測ブロックに分割されることを考慮すると、これらの予測ブロック内の変換ブロックで、予測誤差信号の傾向が一様である場合があると考えられる。以下、予測誤差信号の傾向を、予測効率とも呼ぶ。
【００４２】
図５は、予測ブロックと変換ブロックと予測効率との関係を示す図である。図５に示す矢印は予測方向を表す。図５（Ａ）は、予測ブロックｐｕ１１と変換ブロックｔｕ１１とが同じサイズである場合を示す。図５（Ａ）に示す例では、予測ブロックｐｕ１１と変換ブロックｔｕ１１とが同じサイズであるため、予測効率が一様である。よって、図５（Ａ）に示す場合に、予測方向に依存したＤＣＴとＤＳＴとを選択可能とすればよい。
【００４３】
図５（Ｂ）は、予測ブロックｐｕ２１が４つの変換ブロックｔｕ２１〜２４に分割されている場合を示す。図５（Ｂ）に示す例では、予測効率が様々であるため、予測ブロックが分割されている。図５（Ｂ）に示す場合には、通常のＤＣＴを用いればよい。
【００４４】
図５（Ｃ）は、予測ブロックｐｕ３１、３２に分割されている例を示す。図５（Ｃ）の場合は、予測ブロックｐｕ３１と予測ブロックｐｕ３２とで予測方向が異なるが、これにより、各予測ブロック内で予測効率が一様になる可能性が高まる。よって、図５（Ｃ）に示す予測ブロックｐｕ３１内の変換ブロックｔｕ３１、３２、及び予測ブロックｐｕ３２内の変換ブロックｔｕ３３、３４には、予測方向に依存したＤＣＴとＤＳＴとを選択可能にすればよい。
【００４５】
以上の前提に基づく各実施例について、以下、添付図面を参照しながら詳細に説明する。
【００４６】
［実施例１］
＜構成＞
図６は、実施例１における画像符号化装置１０の概略構成の一例を示すブロック図である。図６に示す例では、画像符号化装置１０は、前処理部１００、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、デブロッキングフィルタ部１０８、ループフィルタ部１０９、復号画像記憶部１１０、イントラ予測部１１１、インター予測部１１２、動きベクトル計算部１１３、符号化制御及びヘッダ生成部１１４及び予測画像選択部１１５を有する。各部についての概略を以下に説明する。
【００４７】
前処理部１００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレームごとのフレーム画像等を順次出力する。また、前処理部１００は、ブロック分割なども行う。
【００４８】
予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。
【００４９】
予測誤差信号生成部１０１は、そのブロックデータと、予測画像選択部１１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。
【００５０】
直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、イントラ予測の場合の予測誤差信号に対し、予測方向に依存したＤＣＴとＤＳＴとの組み合わせを用いて直交変換可能とする。直交変換部１０２の詳細は、図７を用いて後述する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１０３に出力する。
【００５１】
量子化部１０３は、直交変換部１０２からの出力信号を量子化する。量子化部１０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。
【００５２】
エントロピー符号化部１０４は、量子化部１０３からの出力信号や動きベクトル計算部１１３から出力された動きベクトル情報やループフィルタ部１０９からのフィルタ係数などをエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００５３】
逆量子化部１０５は、量子化部１０３からの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。
【００５４】
復号画像生成部１０７は、インター予測部１１２で動き補償された画像のブロックデータと、逆量子化部１０５及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、デブロッキングフィルタ部１０８に出力する。
【００５５】
デブロッキングフィルタ部１０８は、復号画像生成部１０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ部１０９に出力する。
【００５６】
ループフィルタ部１０９は、例えばＡＬＦ（Adaptive Loop Filter）であり、デブロッキングフィルタ処理された復号画像と、入力画像とを用いてフィルタ処理を行う。フィルタ処理は、例えばウィナーフィルタ（Wiener Filter）が用いられるが、その他のフィルタでも良い。
【００５７】
また、ループフィルタ部１０９は、入力画像を所定サイズ毎のグループに分け、グループ毎に適切なフィルタ係数を生成する。ループフィルタ部１０９は、デブロッキングフィルタ処理された復号画像を、所定サイズ毎にグループ分けし、生成したフィルタ係数を用いてグループ毎にフィルタ処理を行う。ループフィルタ部１０９は、フィルタ処理結果を復号画像記憶部１１０に出力し、参照画像として蓄積させる。所定サイズは、例えば、直交変換サイズである。
【００５８】
復号画像記憶部１１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部１１１、インター予測部１１２及び動きベクトル計算部１１３に出力する。
【００５９】
イントラ予測部１１１は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像を生成する。イントラ予測部１１１は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。決定された予測方向や予測ブロックの情報を含む予測情報は、直交変換部１０２に出力される。
【００６０】
インター予測部１１２は、復号画像記憶部１１０から取得した参照画像のデータを動きベクトル計算部１１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【００６１】
動きベクトル計算部１１３は、符号化対象画像におけるブロックデータと、復号画像記憶部１１０から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。
【００６２】
動きベクトル計算部１１３は、求めた動きベクトルをインター予測部１１２に出力し、動きベクトルや参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部１０４に出力する。
【００６３】
イントラ予測部１１１とインター予測部１１２から出力されたブロックデータは、予測画像選択部１１５に入力される。
【００６４】
予測画像選択部１１５は、イントラ予測部１１１とインター予測部１１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部１０１に出力される。
【００６５】
また、符号化制御及びヘッダ生成部１１４について、符号化の全体制御とヘッダ生成を行う。符号化制御及びヘッダ生成部１１４は、イントラ予測部１１１に対して、スライス分割有無の通知、デブロッキングフィルタ部１０８に対して、デブロッキングフィルタ有無の通知、動きベクトル計算部１１３に対して参照画像の制限通知などを行う。
【００６６】
符号化制御及びヘッダ生成部１１４は、その制御結果を用いて、ヘッダ情報を生成する。生成されたヘッダ情報は、エントロピー符号化部１０４に出力され、画像データ、動きベクトルデータとともにストリームとして出力される。
【００６７】
＜直交変換部の構成＞
次に、直交変換部１０２の構成について説明する。図７は、直交変換部１０２の構成の一例を示すブロック図である。図７に示す直交変換部１０２は、本発明にかかるイントラ予測の予測誤差信号に対する直交変換についての構成を示す。
【００６８】
図７に示す直交変換部１０２は、判定部２０１、制御部２０２、変換部２０３を有する。判定部２０１は、予測情報を取得し、予測ブロックと変換ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する。この条件は、予測ブロック内の変換ブロックで、予測誤差信号の傾向が一様になるための条件である。
【００６９】
例えば、以下の３つの条件が考えられる。
・条件１
変換ブロックのサイズが８×８で、符号化ブロックからの階層分割が０回であること
・条件２
予測ブロックのサイズと変換ブロックのサイズとが８×８以下で同じサイズであること
・条件３
予測ブロックが、長辺が１６以下の長方形（例えば１６×８、８×１６）であること
条件１では、イントラ符号化の場合、ブロックの関係は、ＣＵ≧ＰＵ≧ＴＵであり、ＴＵの階層分割は、ＣＵからの階層分割回数を数えるため、ＴＵが８×８で、階層分割回数が０であれば、ＣＵ＝ＰＵ＝ＴＵとなる。よって、条件１は、予測ブロックと変換ブロックとが８×８のサイズであるかを判定するための条件である。
【００７０】
条件２では、予測ブロックのサイズと変換ブロックのサイズとが同じであり、そのサイズが８×８、４×４で同じであるかを判定するための条件である。
【００７１】
条件３では、予測ブロックが長方形（長辺が１６以下）であり、変換ブロックが４×４又は８×８であるかを判定するための条件である。なお、予測ブロックが長方形であれば、必然的に変換ブロックは正方形に分割されるので、条件としては、予測ブロックが長方形（長辺≦１６）であるかを判定すればよい。また、長方形は、長辺が１６以下の長方形に限定すると、変換ブロックのブロックサイズが小さくなり、ＤＳＴの効果が発揮されやすくなる。
【００７２】
判定部２０１は、条件１〜３のいずれかを判定するよう設定しておき、条件を満たすか否かの判定結果を制御部２０２に出力する。なお、判定部２０１は、条件１と３、条件２と３とを組み合わせて判定するようにしてもよい。
【００７３】
制御部２０２は、判定部２０１から判定結果を取得し、判定結果に基づいて、予測誤差信号に対し、ＤＣＴ処理をするか、予測方向に依存した水平・垂直方向に対するＤＣＴ／ＤＳＴの組み合わせを処理するかを制御する。
【００７４】
制御部２０２は、条件を満たすことを示す判定結果である場合、予測方向依存ＤＣＴ／ＤＳＴ部２０５に予測誤差信号を処理するよう指示する。また、制御部２０２は、条件を満たさないことを示す判定結果である場合、ＤＣＴ部２０４に予測誤差信号を処理するよう指示する。
【００７５】
変換部２０３は、イントラ符号化の予測誤差信号に対し、直交変換を行う。変換部２０３は、ＤＣＴ部２０４と予測方向依存ＤＣＴ／ＤＳＴ部２０５とを有する。
【００７６】
ＤＣＴ部２０４は、予測誤差信号に対し、水平方向・垂直方向のＤＣＴ処理を行い、量子化部１０３に直交変換された信号を出力する。
【００７７】
予測方向依存ＤＣＴ／ＤＳＴ部２０５は、イントラ予測部１１１で決定された予測方向に応じて、水平方向・垂直方向に対しＤＣＴ及び／又はＤＳＴ処理を行う。予測方向依存ＤＣＴ／ＤＳＴ部２０５は、予測方向に応じて、水平方向に適用するのはＤＣＴかＤＳＴか、垂直方向に適用するのはＤＣＴかＤＳＴかを示すテーブルを保持しておく。
【００７８】
よって、予測方向依存ＤＣＴ／ＤＳＴ部２０５は、予測方向が分かると、テーブルを参照して、水平方向に適用する直交変換、垂直方向に適用する直交変換を決めることができる。予測方向依存ＤＣＴ／ＤＳＴ部２０５は、直交変換された信号を量子化部１０３に出力する。
【００７９】
これにより、ブロックサイズが比較的小さく、予測ブロック内の予測効率が一様であると予想される変換ブロックに対し、ＤＳＴを選択可能とすることができる。
【００８０】
なお、図７に示す例では、判定部２０１と制御部２０２とを直交変換部１０２に含める構成で説明したが、判定部２０１と制御部２０２とを直交変換部１０２とは独立して直交変換制御部として構成してもよい。
【００８１】
＜動作＞
次に、実施例１における画像符号化装置１０の動作について説明する。以下では、条件１〜３それぞれの場合における直交変換制御処理について説明する。
【００８２】
図８は、直交変換制御処理（その１）の一例を示すフローチャートである。図８に示す処理は、１つの変換ブロックに対し、条件１を満たすか否かを判定条件とする直交変換制御処理である。
【００８３】
ステップＳ１００で、判定部２０１は、変換ブロックは４×４のサイズであるか否かを判定する。４×４のサイズであれば（ステップＳ１００−ＹＥＳ）ステップＳ１０３に進み、４×４のサイズでなければ（ステップＳ１００−ＮＯ）ステップＳ１０１に進む。ステップＳ１０１で、判定部２０１は、変換ブロックは８×８のサイズであるか否かを判定する。８×８のサイズであれば（ステップＳ１０１−ＹＥＳ）ステップＳ１０２に進み、８×８のサイズでなければ（ステップＳ１０１−ＮＯ）ステップＳ１０４に進む。
【００８４】
ステップＳ１０２で、判定部２０１は、変換ブロックの階層分割は０回であるか否かを判定する。階層分割が０回であれば（ステップＳ１０２−ＹＥＳ）ステップＳ１０３に進み、階層分割が０回でなければ（ステップＳ１０２−ＮＯ）ステップＳ１０４に進む。
【００８５】
ステップＳ１０３で、制御部２０２は、変換ブロックの予測誤差信号に対し、予測方向依存ＤＣＴ／ＤＳＴ部２０５を使用するよう制御する。
【００８６】
ステップＳ１０４で、制御部２０２は、変換ブロックの予測誤差信号に対し、ＤＣＴ部２０４を使用するよう制御する。
【００８７】
ステップＳ１０５で、変換部２０３は、使用が決定されたＤＣＴ部２０４又は予測方向依存ＤＣＴ／ＤＳＴ部２０５のいずれかを用いて、変換ブロックの予測誤差信号に対して直交変換処理を行う。
【００８８】
図９は、直交変換制御処理（その２）の一例を示すフローチャートである。図９に示す処理は、１つの変換ブロックに対し、条件２を満たすか否かを判定条件とする直交変換制御処理である。
【００８９】
ステップＳ２０１で、判定部２０１は、予測ブロックと変換ブロックは８×８以下のサイズで、同じサイズであるか否かを判定する。８×８以下の同じサイズであれば（ステップＳ２０１−ＹＥＳ）ステップＳ２０２に進み、８×８以下の同じサイズでなければ（ステップＳ２０１−ＮＯ）ステップＳ２０３に進む。
【００９０】
ステップＳ２０２で、制御部２０２は、変換ブロックの予測誤差信号に対し、予測方向依存ＤＣＴ／ＤＳＴ部２０５を使用するよう制御する。
【００９１】
ステップＳ２０３で、制御部２０２は、変換ブロックの予測誤差信号に対し、ＤＣＴ部２０４を使用するよう制御する。
【００９２】
ステップＳ２０４で、変換部２０３は、使用が決定されたＤＣＴ部２０４又は予測方向依存ＤＣＴ／ＤＳＴ部２０５のいずれかを用いて、変換ブロックの予測誤差信号に対して直交変換処理を行う。
【００９３】
図１０は、直交変換制御処理（その３）の一例を示すフローチャートである。図１０に示す処理は、１つの変換ブロックに対し、条件３を満たすか否かを判定条件とする直交変換制御処理である。
【００９４】
ステップＳ３０１で、判定部２０１は、予測ブロックは長方形（長辺が１６以下）であるか否かを判定する。長辺が１６以下の長方形であれば（ステップＳ３０１−ＹＥＳ）ステップＳ３０２に進み、長辺が１６以下の長方形のサイズでなければ（ステップＳ３０１−ＮＯ）ステップＳ３０３に進む。なお、ステップＳ３０１で、判定部２０１は、予測ブロックが１６×８、８×１６の長方形であり、変換ブロックが８×８であるか否かを判定してもよい。変換ブロックが必然的に分割されるサイズであれば、予測ブロック内の予測効率が一様である可能性がある。
【００９５】
ステップＳ３０２で、制御部２０２は、変換ブロックの予測誤差信号に対し、予測方向依存ＤＣＴ／ＤＳＴ部２０５を使用するよう制御する。
【００９６】
ステップＳ３０３で、制御部２０２は、変換ブロックの予測誤差信号に対し、ＤＣＴ部２０４を使用するよう制御する。
【００９７】
ステップＳ３０４で、変換部２０３は、使用が決定されたＤＣＴ部２０４又は予測方向依存ＤＣＴ／ＤＳＴ部２０５のいずれかを用いて、変換ブロックの予測誤差信号に対して直交変換処理を行う。
【００９８】
以上の直交変換制御処理により、ＤＳＴを効果的に用いることができる変換ブロックに対して、ＤＳＴを選択可能とすることにより、符号化効率を向上させることができる。
【００９９】
以上、実施例１によれば、処理量の増加を抑えつつ、４×４以外のブロックにもＤＳＴを選択可能とすることで、符号化効率を向上させることができる。
【０１００】
［実施例２］
次に、実施例２における画像復号装置３０について説明する。実施例２における画像復号装置３０は、実施例１における画像符号化装置１０で符号化されたビットストリームを復号する装置である。
【０１０１】
図１１は、実施例２における画像復号装置３０の概略構成の一例を示すブロック図である。図１１に示すように、画像復号装置３０は、エントロピー復号部３０１、逆量子化部３０２、逆直交変換部３０３、イントラ予測部３０４、復号情報記憶部３０５、インター予測部３０６、予測画像選択部３０７、復号画像生成部３０８、デブロッキングフィルタ部３０９、ループフィルタ部３１０、及びフレームメモリ３１１を有する。各部についての概略を以下に説明する。
【０１０２】
エントロピー復号部３０１は、ビットストリームが入力されると、画像符号化装置１０のエントロピー符号化に対応するエントロピー復号を行う。エントロピー復号部３０１により復号された予測誤差信号などは逆量子化部３０２に出力される。また、復号したフィルタ係数や、インター予測されている場合の、復号された動きベクトルなどは復号情報記憶部３０５に出力される。
【０１０３】
また、エントロピー復号部３０１は、イントラ予測の場合、イントラ予測部３０４にその旨通知する。また、エントロピー復号部３０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部３０７に通知する。
【０１０４】
逆量子化部３０２は、エントロピー復号部３０１からの出力信号に対して逆量子化処理を行う。逆量子化された出力信号は逆直交変換部３０３に出力される。
【０１０５】
逆直交変換部３０３は、逆量子化部３０２からの出力信号の復号ブロックに対して逆直交変換処理を行い、残差信号を生成する。逆直交変換部３０３は、イントラ予測の場合、逆ＤＣＴ（ＩＤＣＴ）処理をするか、予測方向に依存して決定される逆ＤＣＴ／逆ＤＳＴ（ＩＤＳＴ）処理をするかを制御する。逆直交変換部３０３の詳細は、図１２を用いて後述する。残差信号は復号画像生成部３０８に出力される。
【０１０６】
イントラ予測部３０４は、フレームメモリ３１１から取得する復号対象画像のすでに復号化された周辺画素から、複数の予測方向を用いて予測画像を生成する。予測画像の生成に用いた予測方向や予測ブロックの情報を予測情報として逆直交変換部３０３に出力する。
【０１０７】
復号情報記憶部３０５は、復号されたループフィルタのフィルタ係数や動きベクトルや分割モードなどの復号情報を記憶する。
【０１０８】
インター予測部３０６は、フレームメモリ３１１から取得した参照画像のデータを復号情報記憶部３０５から取得する動きベクトルや分割モードを用いて動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【０１０９】
予測画像選択部３０７は、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部３０８に出力される。
【０１１０】
復号画像生成部３０８は、予測画像選択部３０７から出力される予測画像と、逆直交変換部３０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はデブロッキングフィルタ部３０９に出力される。
【０１１１】
デブロッキングフィルタ部３０９は、復号画像生成部３０８から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ部３１０に出力する。
【０１１２】
ループフィルタ部３１０は、復号情報記憶部３０５から取得したフィルタ係数を用いて、復号画像の所定サイズ毎にフィルタ処理を行う。所定サイズは、例えば逆直交変換サイズである。ループフィルタ処理後の復号画像をフレームメモリ３１１に出力する。なお、ループフィルタ後の復号画像は表示装置などに出力されてもよい。
【０１１３】
フレームメモリ３１１は、参照画像となる復号画像などを記憶する。なお、復号情報記憶手段３０５とフレームメモリ３１１は、分けた構成にしているが、同じ記憶部であってもよい。
【０１１４】
＜逆直交変換部の構成＞
次に、逆直交変換部３０３の構成について説明する。図１２は、逆直交変換部３０３の構成の一例を示すブロック図である。図１２に示す逆直交変換部３０３は、判定部４０１、制御部４０２、逆変換部４０３を有する。
【０１１５】
判定部４０１は、図７に示す判定部２０１と同様の機能を有するので説明を省略する。なお、判定部４０１は、変換ブロック毎に、画像符号化装置１０の判定部２０１と同じ条件で判定を行う。
【０１１６】
制御部４０２は、判定部４０１の判定結果に基づき、ＩＤＣＴ部４０３で処理するか、予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０４で処理するかを制御する。
【０１１７】
制御部４０２は、条件を満たすことを示す判定結果である場合、予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０５に逆量子化された信号を処理するよう指示する。また、制御部４０２は、条件を満たさないことを示す判定結果である場合、ＩＤＣＴ部４０４に逆量子化された信号を処理するよう指示する。
【０１１８】
逆変換部４０３は、変換ブロックの逆量子化された信号に対し、逆直交変換を行う。逆変換部４０３は、ＩＤＣＴ部４０４と予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０５とを有する。
【０１１９】
ＩＤＣＴ部４０４は、逆量子化された信号に対し、水平方向・垂直方向のＩＤＣＴ処理を行い、復号画像生成部３０８に逆直交変換された信号を出力する。
【０１２０】
予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０５は、イントラ予測部３０４で復号、抽出された予測方向に応じて、逆量子化された信号の水平方向・垂直方向に対しＩＤＣＴ及び／又はＩＤＳＴ処理を行う。予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０５は、予測方向に応じて、水平方向に適用するのはＩＤＣＴかＩＤＳＴか、垂直方向に適用するのはＩＤＣＴかＩＤＳＴかを示すテーブルを保持しておく。このテーブルは、画像符号化措置１０と同じテーブルである。
【０１２１】
よって、予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０５は、予測方向が分かると、テーブルを参照して、水平方向に適用する逆直交変換、垂直方向に適用する逆直交変換を決めることができる。予測方向依存ＩＤＣＴ／ＩＤＳＴ部４０５は、逆直交変換された信号を復号画像生成部３０８に出力する。
【０１２２】
これにより、判定部４０１及び制御部４０２は、画像符号化装置１０の処理と同様の処理を行うことができる。なお、判定部４０１と制御部４０２とは、逆直交変換部３０３とは独立して逆直交変換制御部として構成されてもよい。
【０１２３】
＜動作＞
画像復号装置３０における逆直交変換処理は、基本的には、図８〜１０に示す処理と同様である。異なるところは、直交変換が逆直交変換になることである。
【０１２４】
以上、実施例２によれば、実施例１における画像符号化装置１０で符号化したビットストリームを適切に復号することができる。
【０１２５】
［実施例３］
図１３は、実施例３における画像処理装置５０の構成の一例を示すブロック図である。図１３に示す画像処理装置５０は、上述した実施例１で説明した画像符号化処理又は実施例２で説明した画像復号処理をソフトウェアで実装した装置の一例である。
【０１２６】
図１３に示すように、画像処理装置５０は、制御部５０１、主記憶部５０２、補助記憶部５０３、ドライブ装置５０４、ネットワークＩ／Ｆ部５０６、入力部５０７、表示部５０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【０１２７】
制御部５０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部５０１は、主記憶部５０２又は補助記憶部５０３に記憶された直交変換制御処理を含む画像符号化処理のプログラム、又は逆直交変換制御処理を含む画像復号処理のプログラムを実行する演算装置である。制御部５０１は、入力部５０７や記憶装置からデータを受け取り、演算、加工した上で、表示部５０８や記憶装置などに出力する。
【０１２８】
制御部５０１は、直交変換制御処理を含む画像符号化処理、又は逆直交変換制御処理を含む画像復号処理のプログラムを実行することで、各実施例で説明した処理を実現することができる。
【０１２９】
主記憶部５０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部５０２は、制御部５０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【０１３０】
補助記憶部５０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【０１３１】
ドライブ装置５０４は、記録媒体５０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。
【０１３２】
また、記録媒体５０５に、所定のプログラムを格納し、この記録媒体５０５に格納されたプログラムはドライブ装置５０４を介して画像処理装置５０にインストールされる。インストールされた所定のプログラムは、画像処理装置５０により実行可能となる。
【０１３３】
ネットワークＩ／Ｆ部５０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置５０とのインターフェースである。
【０１３４】
入力部５０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部５０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部５０７は、ユーザが制御部５０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
【０１３５】
表示部５０８は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等により構成され、制御部５０１から入力される表示データに応じた表示が行われる。
【０１３６】
なお、図６に示す復号画像記憶部１１１は、例えば主記憶部５０２又は補助記憶部５０３により実現され、図６に示す復号画像記憶部１１１以外の構成は、例えば制御部５０１及びワークメモリとしての主記憶部５０２により実現されうる。
【０１３７】
また、図１１に示す復号情報記憶部３０５及びフレームメモリ３１１は、例えば主記憶部５０２又は補助記憶部５０３により実現され、図１１に示す復号情報記憶部３０５及びフレームメモリ３１１以外の構成は、例えば制御部５０１及びワークメモリとしての主記憶部５０２により実現されうる。
【０１３８】
画像処理装置５０で実行されるプログラムは、実施例１や実施例２で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部５０１が補助記憶部５０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部５０２上にロードされ、１又は複数の各部が主記憶部５０２上に生成されるようになっている。
【０１３９】
このように、上述した実施例１で説明した画像符号化処理や実施例２で説明した画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、各実施例で説明した処理を実現することができる。
【０１４０】
また、このプログラムを記録媒体５０５に記録し、このプログラムが記録された記録媒体５０５をコンピュータや携帯端末に読み取らせて、前述したフィルタ処理を実現させることも可能である。なお、記録媒体５０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、上述した各実施例で説明した処理は、１つ又は複数の集積回路に実装してもよい。
【０１４１】
なお、実施例３における画像処理装置５０は、上記の通り、画像符号化装置１０、画像復号装置３０としての機能を有する。
【０１４２】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
【符号の説明】
【０１４３】
１０ 画像符号化装置
３０ 画像復号装置
５０ 画像処理装置
１０１ 予測画像生成部
１０２ 直交変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 復号画像生成部
１０８ デブロッキングフィルタ部
１０９ ループフィルタ部
１１０ 復号画像記憶部
１１１ イントラ予測部
１１２ インター予測部
１１３ 動きベクトル計算部
１１４ 符号化制御及びヘッダ生成部
１１５ 予測画像選択部
２０１ 判定部
２０２ 制御部
２０３ 変換部
２０４ ＤＣＴ部
２０５ 予測方向依存ＤＣＴ／ＤＳＴ部
３０３ 逆直交変換部
４０１ 判定部
４０２ 制御部
４０３ 逆変換部
４０４ ＩＤＣＴ部
４０５ 予測依存ＩＤＣＴ／ＩＤＳＴ部
５０１ 制御部
５０２ 主記憶部
５０３ 補助記憶部
５０４ ドライブ装置
【特許請求の範囲】
【請求項１】
複数の予測方向を用いて画面内予測を行う画像復号装置であって、
逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定部と、
前記判定部による判定結果に基づき、逆離散コサイン変換と、前記予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの処理を行うかを制御する制御部と、
前記制御部により制御された逆直交変換処理を前記変換ブロックに対して行う逆変換部と、
を備える画像復号装置。
【請求項２】
前記条件は、前記変換ブロックのサイズが８×８であり、画像が所定サイズで分割された符号化ブロックからの階層分割回数が０であり、
前記制御部は、
前記条件を満たすとき、前記逆離散コサイン変換及び／又は逆離散サイン変換の処理を前記逆変換部が行うよう制御する請求項１記載の画像復号装置。
【請求項３】
前記条件は、前記予測ブロックのサイズと前記変換ブロックのサイズとが、８×８以下で同じサイズであり、
前記制御部は、
前記条件を満たすとき、前記逆離散コサイン変換及び／又は逆離散サイン変換の処理を前記逆変換部が行うよう制御する請求項１記載の画像復号装置。
【請求項４】
前記条件は、前記予測ブロックが、長辺が１６以下の長方形であり、
前記制御部は、
前記条件を満たすとき、前記逆離散コサイン変換及び／又は逆離散サイン変換の処理を前記逆変換部が行うよう制御する請求項１記載の画像復号装置。
【請求項５】
逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定ステップと、
前記判定ステップによる判定結果に基づき、逆離散コサイン変換と、画面内予測で用いられた予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの処理を行うかを制御する制御ステップと、
前記制御ステップにより制御された逆直交変換処理を前記変換ブロックに対して行う逆変換ステップとをコンピュータが実行する逆直交変換制御方法。
【請求項６】
逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定ステップと、
前記判定ステップによる判定結果に基づき、逆離散コサイン変換と、画面内予測で用いられた予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの処理を行うかを制御する制御ステップと、
前記制御ステップにより制御された逆直交変換を前記変換ブロックに行う逆変換ステップとをコンピュータに実行させるためのプログラム。
【請求項７】
複数の予測方向を用いて画面内予測を行う画像符号化装置であって、
画像が所定サイズに分割された符号化対象ブロックに含まれ、前記画面内予測に用いられるブロックを示す予測ブロックと、前記符号化対象ブロックが階層分割により１又は複数に分割された変換ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定部と、
前記判定部による判定結果に基づき、離散コサイン変換と、前記予測方向に依存して予め設定された水平・垂直方向に対する離散コサイン変換及び／又は離散サイン変換と、のいずれの処理を行うかを制御する制御部と、
前記制御部により制御された直交変換処理を前記変換ブロックに対して行う変換部と、
を備える画像符号化装置。
【請求項１】
複数の予測方向を用いて画面内予測を行う画像復号装置であって、
逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定部と、
前記判定部による判定結果に基づき、逆離散コサイン変換と、前記予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの処理を行うかを制御する制御部と、
前記制御部により制御された逆直交変換処理を前記変換ブロックに対して行う逆変換部と、
を備える画像復号装置。
【請求項２】
前記条件は、前記変換ブロックのサイズが８×８であり、画像が所定サイズで分割された符号化ブロックからの階層分割回数が０であり、
前記制御部は、
前記条件を満たすとき、前記逆離散コサイン変換及び／又は逆離散サイン変換の処理を前記逆変換部が行うよう制御する請求項１記載の画像復号装置。
【請求項３】
前記条件は、前記予測ブロックのサイズと前記変換ブロックのサイズとが、８×８以下で同じサイズであり、
前記制御部は、
前記条件を満たすとき、前記逆離散コサイン変換及び／又は逆離散サイン変換の処理を前記逆変換部が行うよう制御する請求項１記載の画像復号装置。
【請求項４】
前記条件は、前記予測ブロックが、長辺が１６以下の長方形であり、
前記制御部は、
前記条件を満たすとき、前記逆離散コサイン変換及び／又は逆離散サイン変換の処理を前記逆変換部が行うよう制御する請求項１記載の画像復号装置。
【請求項５】
逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定ステップと、
前記判定ステップによる判定結果に基づき、逆離散コサイン変換と、画面内予測で用いられた予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの処理を行うかを制御する制御ステップと、
前記制御ステップにより制御された逆直交変換処理を前記変換ブロックに対して行う逆変換ステップとをコンピュータが実行する逆直交変換制御方法。
【請求項６】
逆直交変換の対象データである変換ブロックと、前記画面内予測で用いられたブロックを示す予測ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定ステップと、
前記判定ステップによる判定結果に基づき、逆離散コサイン変換と、画面内予測で用いられた予測方向に依存して予め設定された水平・垂直方向に対する逆離散コサイン変換及び／又は逆離散サイン変換と、のいずれの処理を行うかを制御する制御ステップと、
前記制御ステップにより制御された逆直交変換を前記変換ブロックに行う逆変換ステップとをコンピュータに実行させるためのプログラム。
【請求項７】
複数の予測方向を用いて画面内予測を行う画像符号化装置であって、
画像が所定サイズに分割された符号化対象ブロックに含まれ、前記画面内予測に用いられるブロックを示す予測ブロックと、前記符号化対象ブロックが階層分割により１又は複数に分割された変換ブロックとが、ブロックサイズに関する条件を満たすか否かを判定する判定部と、
前記判定部による判定結果に基づき、離散コサイン変換と、前記予測方向に依存して予め設定された水平・垂直方向に対する離散コサイン変換及び／又は離散サイン変換と、のいずれの処理を行うかを制御する制御部と、
前記制御部により制御された直交変換処理を前記変換ブロックに対して行う変換部と、
を備える画像符号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−９８９７０（Ｐ２０１３−９８９７０Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４３３５６（Ｐ２０１１−２４３３５６）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]