画像符号化装置及び画像復号装置
【課題】符号化効率の高い符号化装置及び対応する復号装置を提供する。
【解決手段】単位ブロックを適応分割手段２０にて各分割種による小領域へと分割し、当該小領域毎に予測手段１１が予測を、補償手段１２が補償を行い、予測残差を経て小領域毎に符号化する。この際、各分割種の中から最も符号化コストの小さい分割種を選択して、当該単位ブロックを符号化する。各分割種における小領域は非正方を含む多様な種類を用意し、各々に最適な予測情報を決定することで、符号化効率が高まる。復号装置においても同様に小領域単位で対応する処理を行い、復号する。
【解決手段】単位ブロックを適応分割手段２０にて各分割種による小領域へと分割し、当該小領域毎に予測手段１１が予測を、補償手段１２が補償を行い、予測残差を経て小領域毎に符号化する。この際、各分割種の中から最も符号化コストの小さい分割種を選択して、当該単位ブロックを符号化する。各分割種における小領域は非正方を含む多様な種類を用意し、各々に最適な予測情報を決定することで、符号化効率が高まる。復号装置においても同様に小領域単位で対応する処理を行い、復号する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置及び画像復号装置に関し、特に、単位ブロックの分割を適応的に変化させることで、符号化効率を向上させる画像符号化装置及び画像復号装置に関するものである。
【背景技術】
【０００２】
従来の画像符号化に、画像を複数のブロックに分割することで局所的な相関を利用して処理する方法がある。ブロックの分割に関しては、幾つかの方法が提案されており、符号化効率の向上が図られている。例えば、平坦な領域では大きなブロックを利用することで、相関を最大限活かせるだけでなく、処理単位が大きくなるので制御情報を抑えることができる。逆に、エッジ領域では小さなブロックを利用することで、変化に富んだ画素でも比較的高い相関を保ったまま効率的に周波数変換することが可能となる。
【０００３】
非特許文献１で示されるH.264 では、画面内符号化に用いられるブロックは16×16、8×8、4×4 の正方サイズを選択的に利用できるため、画素値に変化がある場合は、より小さな正方サイズに分割することで対処できる。
【０００４】
特許文献１では、H.264のブロック分割において非正方の小領域を用意している。小領域の形状に応じてIntra予測モードを制限することで、符号化効率の改善を図る。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１７１７２９号公報
【非特許文献】
【０００６】
【非特許文献１】角野他，「Ｈ．２６４／ＡＶＣ教科書インプレス標準教科書シリーズ」，インプレスネットビジネスカンパニー，２００４年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１は、ある符号化対象ブロックに対して3通りのサイズの正方形しか用意していないため、ブロック内の大半が平坦な領域であっても、一部に変化があれば、平坦な領域も含めて小さな正方サイズに分割するしかないという問題がある。また、H.264は画素ではなく予測誤差を処理するため、大きな変化が出やすいという問題がある。例えば、H.264のIntra 予測は符号化済みの近接する画素を基準として対象ブロックの予測値を生成するので、予測の基準となる画素から離れるほど大きな予測誤差が生じるという問題が指摘されている。よって、非特許文献１では、符号化効率を十分に高めることができないという問題がある。
【０００８】
一方、特許文献１は、非正方の小領域を導入するため、非特許文献１の問題を一部解決できる。しかし、対象ブロックの分割方法や形状に関する情報、周波数変換方法や量子化情報を指定するための情報を出力させないために、小領域のIntra 予測モードに制限を課している。パンやチルトなどのカメラワークで画素値が流れているときは、参照画素から離れていても特許文献１で制約されたIntra 予測モードが最適であることがあるので、符号化効率を十分に高めることができないという問題は依然として残る。また、予測信号生成関連情報が小領域の分割方法の指定を兼ねているため、小領域に正方形と非正方形を混在させる場合は、Intra 予測モードを個別に指定できないという問題がある。
【０００９】
本発明の目的は前述した従来技術の問題点を解消し、符号化効率の高い画像符号化装置を提供することにある。
【００１０】
本発明の目的はまた、当該符号化効率の高い画像符号化装置に対応する画像復号装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明は、複数の画素から構成される単位ブロックの各画素に対して、符号化済み画素から各画素を予測する予測情報を決定する予測手段と、予測情報に基づいて各画素の予測画素を生成する補償手段とを備え、当該各画素とその予測画素との間で差分処理を行って得られた予測残差に対して直交変換及び量子化を行って量子化値となし、単位ブロック毎に符号化を行う画像符号化装置において、単位ブロックの複数の小領域への分割を定める分割種のセットの中から分割種を選択して分割する適応分割手段を備え、前記選択された分割種において分割して得られた小領域の各々を構成する画素につき順次、前記予測手段が予測情報を決定し、前記補償手段が予測画素を生成することにより、前記単位ブロック毎に符号化を行うに際して、単位ブロック毎に選択された分割種の情報が符号化され且つ小領域毎に量子化値及び予測情報が符号化されることを特徴とする。
【００１２】
また本発明は、前記画像符号化装置に対する画像復号装置であって、前記符号化された単位ブロック毎に選択された分割種の情報並びに小領域毎の量子化値及び予測情報を復号する復号手段と、前記復号された量子化値を逆量子化して復号された変換係数とする逆量子化手段と、該復号された変換係数を逆変換して復号された予測残差とする逆変換手段と、前記復号された分割種の情報より、当該分割種にて定められる小領域を復号対象の単位ブロックに再設定する復号側適応分割手段と、復号済み画素と前記復号された予測情報とに基づいて、前記再設定された小領域毎の復号された予測画素を生成する補償手段を備え、前記再設定された小領域毎に、前記復号された予測残差と前記復号された予測画素とを加算して復号済み画素を得ることを特徴とする。
【発明の効果】
【００１３】
本発明の画像符号化装置によれば、単位ブロック毎に複数の小領域に分割して当該小領域単位で予測し符号化するので、符号化効率を向上させることができる。
【００１４】
また本発明の画像復号装置によれば、小領域毎に復号して、画像符号化装置での符号化に対応した復号を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】画像符号化装置の機能ブロック図である。
【図２】画像復号装置の機能ブロック図である。
【図３】周知のH.264における単位ブロック4×4の場合の画面内予測における9種類の予測モードを示す図である。
【図４】本発明における小領域に対して、従来の単位ブロック対象の予測を限定乃至拡張して適用することで予測を行うことを説明する図である。
【図５】分割種のセットの第一の例を示す図である。
【図６】分割種のセットの第二の例を示す図である。
【図７】分割種のセットの第三の例を示す図である。
【図８】図７における分割種のまとめ表記を説明する例を示す図である。
【図９】入力画像を構成する単位ブロック毎に全ての分割種における符号化コストを求め、実際に適用する分割種を最終決定して符号化を行うフローを示す図である。
【図１０】各分割種における小領域に符号化を行う順序が予め定められていることを説明する図である。
【図１１】図９のフローによる最終決定の分割種における符号化によって、符号出力手段が実際に受け取る符号情報の発生する順序を説明するフロー図である。
【図１２】適応分割手段の細部の機能ブロック図である。
【図１３】補償手段の細部の機能ブロック図である。
【図１４】符号化済みチャネル情報記憶部による分割種及び予測情報の記憶とその適用を説明するための図である。
【図１５】小領域のセットに含まれる各形状に対して予測モードの識別番号の再付与を行うことを説明する図である。
【図１６】画素単位反復補償部による反復的な補償を概念的に説明する図である。
【図１７】画素単位反復補償部により、小領域に4×4予測モード0(垂直予測)を適用して反復補償を行い予測画素を求める例を説明する図である。
【図１８】画素単位反復補償部により、小領域に4×4予測モード4を適用して反復補償を行い予測画素を求める例を説明する図である。
【図１９】画像復号装置における復号のフロー図である。
【発明を実施するための形態】
【００１６】
本発明の実施形態に係る画像符号化装置及び画像復号装置の機能ブロック図を、それぞれ図１及び図２に示す。
【００１７】
本発明の画像符号化装置１は、複数の画素から構成される単位ブロックの各画素に対して、符号化済み画素から予測される各画素との間で差分処理を行って得られた予測残差について直交変換・量子化・符号化を行って単位ブロック毎に符号化を行う画像符号化装置に対して、前記単位ブロックを効率的に複数の小領域に分割できる適応分割機能を付加した構成を特徴とするものである。
【００１８】
すなわち、本発明の画像符号化装置１は、図１に示すように、符号化対象としての入力画素が取り込まれる画像入力手段１０と、符号化済み画素から入力画素を予測する予測情報を算出する予測手段１１と、予測情報及び符号化済み画素から予測画素を生成する補償手段１２と、入力画素から予測画素を減算し予測残差を出力する差分手段１３と、予測残差を周波数領域に変換して変換係数とする変換手段１４と、変換係数を量子化する量子化手段１５と、量子化された変換係数その他を可変長符号化して符号情報とする符号化手段１６と、符号情報を出力する符号出力手段１００と、量子化された変換係数を逆量子化する逆量子化手段１７と、逆量子化された変換係数を逆変換する逆変換手段１８と、予測画素と逆変換された予測残差とを加算し符号化済み画素を再構成する加算器１９と、再構成された符号化済み画素を蓄積する蓄積手段２１とを備えた画像符号化装置に対して、符号化を行う単位ブロックをさらに当該ブロック内で順次符号化を行うための複数の小領域に分割する適応分割手段２０を備えて構成されている。
【００１９】
なお、蓄積手段２１に蓄積されている画素は信号の流れとして、量子化手段１５から逆量子化手段１７乃至加算器１９で順次処理されて当該蓄積手段２１に蓄積されている画素である。この際、量子化手段１５から逆量子化手段１７へ入力されると共に、符号化手段１６へも入力され符号化されているという意味で、まだこのようにして符号化されるに至っていない画像入力手段１０から送られた直後の画素と区別して、符号化済み画素と呼ぶ。
【００２０】
一方、本発明の画像符号化装置１に対応する画像復号装置３は、図２に示すように、符号出力手段１００からの符号情報が入力される符号入力手段３０と、符号情報に対して可変長復号を行い量子化値及び予測情報その他とする復号手段３１と、量子化されている変換係数を逆量子化する逆量子化手段３７と、逆量子化された変換係数を画素領域に逆変換する逆変換手段３８と、予測情報及び復号済み画素から予測画素を生成する補償手段３２と、予測画素と再構成された予測残差とを加算し復号画素を再構成する加算器３９と、復号画素を出力する画像出力手段３００と、再構成された復号画素（復号済み画素）を蓄積する蓄積手段４１とを備えた画像復号装置に対して、復号を行う単位ブロックをさらに当該ブロック内で順次復号を行うための小領域に分割する適応分割手段４０を備えて構成されている。
【００２１】
当該各手段の概要は次の通りである。ここで、図１及び図２で機能ブロックが同様の処理を行うことで対応し、信号の流れが共通となる部分を一括で説明するために、図１の機能ブロック又は信号に対応する図２の機能ブロック又は信号を括弧でくくって併記した「加算器１９（加算器３９）」や「符号化済み画素（復号済み画素）」などの記載を用いる。
【００２２】
差分器１３には、画像入力手段１０より送られる符号化対象領域の入力画素と、予測手段１１の予測情報を用いて補償手段１２から送られる符号化済み画素から予測された予測画素とが入力される。当該入力に対して差分器１３は、入力画素と予測画素との差分を予測残差として算出する。予測残差は変換手段１４に送られる。
【００２３】
加算器１９（加算器３９）には、逆変換手段１８（逆変換手段３８）から送られる予測残差と、補償手段１２（補償手段３２）から送られる符号化済み画素（復号済み画素）から予測された予測画素とが入力される。当該入力に対して加算器１９（加算器３９）は、予測残差と予測画素との合計を符号化済み画素（復号済み画素）として算出する。
【００２４】
当該算出された符号化済み画素（復号済み画素）は蓄積手段２１（蓄積手段４１）に累積的に蓄積され、符号化構成（図１）においては予測手段１１、補償手段１２及び適応分割手段２０からの参照を受ける一方、復号構成（図２）においては画像出力手段３００へ出力されまた蓄積手段４１を介して補償手段３２からの参照を受ける。
【００２５】
変換手段１４は、差分器１３から入力された予測残差を直交変換によって周波数領域に変換し、当該直交変換によって得られた変換係数を量子化手段１５に出力する。直交変換としてはＤＣＴ乃至ＤＣＴの近似変換またはＤＷＴなどを利用することができる。
【００２６】
量子化手段１５は、変換手段１４から入力された変換係数を量子化する。量子化によって得られた量子化値は、符号化手段１６及び逆量子化手段１７に出力される。量子化処理に用いられる量子化パラメータは、定数値の組み合わせとして設定することが可能である。または、変換係数の情報量に応じて制御することで出力するビットレートを一定に保つことも可能である。
【００２７】
符号化手段１６は、量子化手段１５から送られた量子化値、予測手段１１から送られた予測情報（点線矢印で図示）及び適応分割手段２０から送られた後述する分割種の情報（点線で図示）を符号化し、符号情報として出力する。符号化は、符号間の冗長性を取り除く可変長符号又は算術符号などを利用することができる。予測情報の符号化に際しては、後述のように分割種の情報に応じて異なる符号を割り当てることもできる。
【００２８】
ここで、入力画像の各ピクチャ（フレーム）は、後述する適応分割手段２０で設定された分割種による分割で定まる小領域毎に符号化手段１６により符号化が行われる。なお、入力画像は一連のフレームからなる動画であっても、単一のフレームからなる静止画であってもよい。
【００２９】
復号手段３１は、符号入力手段３０からの符号情報を受け、符号化手段の逆の手順としての可変長復号を行うことで量子化値、分割種の情報及び予測情報を出力する。可変長復号によって得られた量子化値、予測情報及び分割種の情報はそれぞれ逆量子化手段３７、補償手段３２及び適応分割手段４０に送られる。なお、当該復号（復号済み画素として画像出力手段３００及び蓄積手段４１に至るまでの復号）も、上述の小領域毎に行われる。
【００３０】
逆量子化手段１７（逆量子化手段３７）は、量子化処理の逆の処理を行うことで、符号化構成（図１）においては量子化手段１７から、復号構成（図２）では復号手段３１から送られた量子化値を変換係数に逆量子化する。逆量子化によって得られた変換係数は逆変換手段１８（逆変換手段３８）に送られる。
【００３１】
逆変換手段１８（逆変換手段３８）は、直交変換の逆の処理を行うことで、逆量子化手段から送られた変換係数を逆直交変換する。逆変換によって得られた予測残差は加算器１９（加算器３９）に送られる。
【００３２】
予測手段１１は、画像の冗長性を削減するための予測情報を決定するものであり、蓄積手段２１に蓄積された符号化済み画素を参照して、後述する適応分割手段２０で設定された領域（分割された各小領域）の入力信号を近似するための情報を予測情報として決定する。決定された予測情報は補償手段１２及び符号化手段１６（点線矢印で図示）に送られる。
【００３３】
予測手段１１における予測情報の決定については、各予測モードで個別に符号化し、符号量と歪量から算出される符号化コストを最小化する予測モードを選択する。符号化コストを最小化する方式の詳細については、非特許文献１に記載されている。
【００３４】
予測モードについては、従来からの各種のものが利用できる。例えば、H.264 ではIntra 予測（画面内予測）が利用されている。図３に単位ブロックのサイズが4×4の場合のH.264画面内予測の9種類の予測モードを示す。当該9種類の予測モードを利用してもよいし、非特許文献１等に開示の単位ブロックのサイズが8×8や16×16の場合の予測モードを利用してもよい。
【００３５】
なお、本発明において予測及び符号化までの対応する各処理の適用は単位ブロックをさらに分割した小領域毎に行われる。ここで小領域は後述のように、矩形に設定される。小領域毎の予測の適用については、従来の各手法にて定義されている、予測に用いる画素と予測される画素との位置関係及び算出関係を当該小領域に限定して、又は拡張して適用することで予測を行うことができる。
【００３６】
例として、4×4画面内予測の予測モード0(垂直予測)及び予測モード2(平均値予測)を小領域に適用する場合の例を図４に示す。図４の(1)が従来の4×4画面内予測の予測モード0であり、4×4単位ブロックB０１内の各画素は垂直方向に予測される。すなわち、ブロックB０１上端の4×1(＝横方向画素数×縦方法画素数、以下説明において同様)の領域の各画素(a)(b)(c)及び(d)の値がそれぞれ、下方の1×4の各領域(A)(B)(C)及び(D)の予測値として採用される。また図４の(4)が従来の4×4画面内予測の予測モード2であり、4×4単位ブロックB０１の全ての画素に対する共通の予測値が、隣接する逆L字型領域(a)〜(d)及び(e)〜(i)の平均値となる。
【００３７】
図４の(2)及び(3)に、(1)で説明した予測モード0を小領域の例であるＲ０２及びＲ０３に適用する場合を示す。(2)では小領域Ｒ０２は2×1の領域で画素(X1)及び(Y1)からなる。当該領域Ｒ０２への垂直予測（4×4単位ブロックＢ０１よりも小さい領域へ限定した予測適用）により、画素(X1)及び(Y1)の予測値はそれぞれ、垂直上方に存在する符号化済み画素(a)及び(b)の画素値となる。
【００３８】
また(3)では小領域Ｒ０３は2×6の領域であり、当該領域を2個の1×6の画素領域(X2)及び(Y2)に分けて示している。当該領域Ｒ０３への垂直予測(4×4単位ブロックＢ０１を超える部分を含んで拡張した予測適用)により、画素領域(X2)及び(Y2)の各画素の予測値はそれぞれ、垂直上方に存在する画素(a)及び(b)の画素値となる。
【００３９】
以上(2)及び(3)の場合において、共通で予測に用いる画素(a)及び(b)は、それぞれ小領域Ｒ０２及びＲ０３に対応することで(1)の場合よりも限定されている。
【００４０】
図４の(5)及び(6)にそれぞれ、(2)及び(3)と同様の小領域Ｒ０２及びＲ０３に対して、(4)で説明した予測モード2を適用する場合を示す。(5)では、小領域Ｒ０２の各画素を対応する隣接領域画素(a)(b)(e)及び(f)の平均値として予測する。当該隣接画素領域は、小領域Ｒ０２に対応することで(4)の場合と比べて限定されている。
【００４１】
(6)では、小領域Ｒ０３の各画素を対応する隣接領域画素(a)(b)及び(e)乃至(k)の平均値として予測する。当該隣接画素領域は、小領域Ｒ０３に対応することで(4)の場合と比べて(c)(d)の部分が限定され、また(j)(k)の部分が拡張されている。
【００４２】
また以上の図４の例と同様にして、図３に示すその他の予測モードにおいても、小領域の形状が4×4ではない一般の場合であっても、隣接領域画素の小領域に対応した限定乃至拡張と当該対応に合わせた各予測モードにおける予測値の算出法の適用とによって予測を行うことができる。
【００４３】
すなわち、図４の(7)に示すように、小領域Ｒ０４がサイズa×bであれば、予測に用いる符号化済み画素の領域としての隣接画素領域は、当該小領域の上方の辺に隣接するa×1の領域Ｒ０５と、当該小領域の左方の辺に隣接する1×bの領域Ｒ０６と、領域Ｒ０５及びＲ０６の両者をつなぐ領域Ｒ０４の対角上の1×1の領域Ｒ０７とを設定すればよい。また4×4の画面内予測の予測モード3又は7を適用する際には領域Ｒ０５を右方へ拡張し、4×4の画面内予測の予測モード8を適用する際は領域Ｒ０６を下方へ拡張する等すればよい。当該小領域のサイズに対応した隣接画素領域を用いて、各予測モードによる予測値の算出を行えばよい。
【００４４】
さらに同様に、H.264における4×4、8×8及び16×16のサイズにおける予測モードは、本発明においては単位ブロックが別サイズの場合に利用してもよい。例えば本発明においては単位ブロックをサイズ64×64に設定して、H.264における4×4の9種類からなる予測モードを、当該サイズ64×64内の各小領域に適用するようにしてもよい。
【００４５】
補償手段１２（補償手段３２）は、蓄積手段２１（蓄積手段４１）を参照して得られる符号化済み画素（復号済み画素）及び予測手段１１で決定された予測情報（復号手段３１で復号された予測情報）に基づいて、後述する適応分割手段２０（適応分割手段４０）で設定された小領域における入力画素の近似値としての予測画素を生成する。生成された予測画素は、符号化構成（図１）においては差分器１３及び加算器１９へ送られる。一方、復号構成（図２）においては加算器３９へ送られる。
【００４６】
本発明の画像符号化装置１の特徴的構成である適応分割手段２０による小領域への分割について説明する。
【００４７】
適応分割手段２０の役割は、後段の予測手段１１及び補償手段１２において符号化対象ブロックを小領域単位で予測・補償するために、当該符号化対象ブロックに最適な小領域への分割を選択して分割することにある。ただし、仮に当該符号化対象ブロックを任意形状に分割したとすると、形状の情報を符号化する必要が生じてしまうため、符号化効率を改善できないという問題がある。この問題を解決するため、次の制約[1]〜[4]の全ての下で構成される分割を用いる、又は当該制約下の分割の中からさらに選択するという手順を取る。
【００４８】
[1]小領域が全て矩形
[2]分割された小領域の総数がn個以下
[3]小領域の最大サイズがu以上又は最小サイズv以上
[4]最小サイズtの小領域の数がm個以下
【００４９】
上記[1]〜[4]において、n,u,v,t及びmはそれぞれ所定の自然数である。また、小領域のサイズは画素数として定義する。例えば2×2の小領域と1×4の小領域とは共に画素数が4のため同じサイズであり、3×2の小領域と1×5の小領域とでは3×2の小領域の方がサイズが大きい。
【００５０】
具体例として、単位ブロックのサイズが16x16の場合、
n=8； u = 12×8又は8×12； v = 8×4又は4×8； t =4×4；m = 4
とすると、5398種類の分割方法がある。また、上記の条件でn = 4 とすれば258 種類の分割、n = 3 とすれば49 種類の分割がある。
【００５１】
このように、一般的な制約[1]〜[4]下で各パラメータとしてのn,u,v,t及びmに所定の値を設定して求めた分割を利用してもよいし、当該分割に対してさらなる選択として、マニュアルで類似した分割を代表して１つにまとめる等した分割を利用してもよい。このようにして事前に用意しておき、適応分割手段２０で選択できるようにしておく分割の仕方の各々を分割種、当該ひとまとまりの分割種の組み合わせを分割種のセットと呼ぶこととする。分割種のセットの例を図５、図６及び図７に示す。
【００５２】
図５に示す分割種のセットは、分割種Ａ０〜Ａ１１の全12種類からなる。図６に示す分割種のセットは、分割種Ｂ０〜Ｂ２７の全28種類からなる。また図７に示す分割種のセットは、分割種Ｃ０〜Ｃ３２の33種類として示されているが、これは上記のn = 4 とし全258 種類の分割を、回転や対称でまとめた各代表としての分割種を示したものである。図７では、全ての分割種に当該分割種の適用による単位ブロックの分割によって、n個の小領域が生ずることを[n分割]として併記している。また図７では、点線を用いて描かれている分割種については点線のいずれか１本以上を実際に分割する実線として選ぶことで、併記する分割数の小領域を与える分割種となる。
【００５３】
図８は図７の補足説明として、例えば図７の分割種Ｃ４がどのようにまとめられているかを示す図である。３つの点線Ｄ０、Ｅ０又はＦ０の中から１本を選ぶことで、分割数が３となる分割種がそれぞれＤ１、Ｅ１又はＦ１と定まる。またこれら分割種Ｄ１、Ｅ１及びＦ１を90°、180°、270°回転（時計回り）したものも全て異なる分割種であり、分割種Ｄ２乃至Ｆ４として定まる。このように、分割種Ｃ４は点線の中から１本を選び且つ回転を考えることで、分割種Ｄ１乃至分割種Ｆ４の１２個の分割種をまとめて表したものである。
【００５４】
上記分割種Ｃ４のようにまとめて表記することで、図７は258種からなる分割種のセットの例を示している。図５及び図６はそれぞれ、当該258種の分割種のセットから類似した分割種を１つにまとめることで作成された分割種のセットの例である。なお、図７は上記説明のように単位ブロックを16×16として作成された分割種のセットであるが、相似拡大又は縮小により、16×16とは別サイズの単位ブロックに用いてもよい。図５及び図６も同様である。
【００５５】
本発明においては上記制約[1]〜[4]のもとさらにマニュアル選択される好ましい分割種セットの特徴の例として、(1)正方形の単位ブロック全体をそのまま1個の小領域とする分割種（例えば図５の分割種Ａ０）と、単位ブロックよりも小さい正方形及び当該正方形に接する非正方形を小領域として含む分割種（例えばＡ４，Ａ６，Ａ９，Ａ１１）とを含むセット、がある。当該(1)によれば単位ブロックサイズが固定されていても、画像に応じて当該画像内で適応的にブロックサイズを可変とするのと同等の効果が得られる。
【００５６】
また、好ましい分割種セットの特徴の例として(2)小領域同士の境界線が横方向のみ（分割種Ａ２など）及び／又は縦方向のみ（分割種Ａ３など）の分割種を含むセット、がある。(1)且つ(2)とすることでさらに多様な画像に対応して符号化効率を高めることができる。
【００５７】
以上のように、適応分割手段２０では、予め所与の分割種のセットを保持しておき、当該セットに含まれる各分割種で個別に符号化し、符号量と歪量から算出される符号化コストを最小化する分割種を選択する。当該選択の具体的なフローすなわち、入力画像を構成する単位ブロック毎に分割種を選択して符号化を行うフローを図９に示す。
【００５８】
当該フローは、各単位ブロックiにつき、全ての分割種jで分割を試み、各分割種jに含まれる小領域kの各々で最小の符号化コストを与える予測情報を適用して分割種jによる単位ブロックiの符号化コストを求め、最小の符号化コストを与える分割種を求めるものである。なお、各ステップにおいてカウンタi、j及びkを管理し、各機能ブロックに連係した動作を行わせる主体は画像符号化装置１自身、特に当該装置１に含まれる制御手段（図１には不図示）である。
【００５９】
ステップＳ０でフローが開始され、ステップＳ１では単位ブロックのカウンタiが初期値0に設定される。ステップＳ２ではi番目の単位ブロックが画像入力手段１０より画像符号化装置１へと読み込まれる。ステップＳ３では、適応分割手段２０に予め設定されている所与の分割種のセットに含まれる各分割種に対するカウンタjが初期値の0に設定される。
【００６０】
ステップＳ４では、j番目の種類の分割種jにより定められる複数の小領域（当該複数は１個のみの場合も含む）へと、適応分割手段２０がi番目の単位ブロックを分割する。当該分割は単位ブロックiに対する最小の符号化コストを算出するためのいわば仮分割であり、実際に符号化し、画像符号化装置１全体の出力として符号出力手段１００へ送るための分割はこれら仮分割の中から以降のステップにて決定される。ステップＳ５では、分割種jに含まれる各小領域に対するカウンタkが初期値の0に設定される。
【００６１】
ステップＳ６では、符号化対象の画素で構成される当該k番目の小領域kに対して最小の符号化コストとなる予測情報を、予測手段１１が決定する。当該コスト算出に際しては前述の通り、予測手段１１が予測情報の各々すなわち各予測モードmにつき当該小領域kの符号化コストc(m)を求めて、当該コストを最小とする予測モードm=mkを予測情報として決定する。
【００６２】
なお当該決定はステップＳ４での説明と同様、いわば仮決定である。ステップＳ６ではまた、続くk+1番目以降の小領域の予測情報の仮決定が行えるようにするため、当該仮決定された予測モードmkに従って予測手段１１乃至加算器１９が各処理を行うことで、蓄積手段２１に当該小領域kの仮決定に係る符号化済み画素が蓄積される。当該蓄積される符号化済み画素も、ステップＳ４の説明と同様に仮決定のものであって、符号出力手段１００に送られる最終決定の符号化済み画素とは一般には一致しない。
【００６３】
ステップＳ７では、全ての小領域kにつき符号化の処理が完了したかの判断が行われる。未処理の小領域が残っていればステップＳ８にてカウンタkを加算して次の符号化対象の小領域に対して再度ステップＳ６で仮決定及び対応する符号化を続ける。分割種jの定める全ての小領域kにつきステップＳ６が完了すれば、ステップＳ７よりステップ９へ進む。
【００６４】
なお、各分割種jの各小領域kには、上記順次符号化するための順序も予め定められているものとする。図１０に、当該順序の例を示す。ここでは図６の分割種Ｂ２４が例として示されており、４つの小領域(a)(b)(c)(d)に分割されている。この場合、符号化の順は小領域に付与したアルファベット順に(a)(b)(c)(d)であってもよく(第一の場合)、(a)(c)(d)(b)であってもよく(第二の場合)、いずれかが予め定められている。
【００６５】
上記第一の場合は、縦方向を符号化済みの領域で満たしながら順次横方向へ進むスタイルであり、上記第二の場合は、横方向を符号化済みの領域で満たしながら順次縦方向へ進むスタイルである。他の符号化済み単位ブロックと接している最も左上の小領域から開始して、上記第一又は第二のいずれかのスタイル又はその混合スタイルを各分割種につき設定すればよい。なお、適用可能な予測モードに制限が生じてしまうので、途中に単位ブロック内で符号化済みの小領域群が符号化前の領域を挟んで離れて現れるような順序（途中で符号化済み小領域群が単連結領域ではなくなる場合が生ずるような順序）は設定しない。図１０であれば例えば、(a)(d)(c)(b)等の順序は設定しない。
【００６６】
ステップＳ９では、当該分割種jで単位ブロックiを分割した場合の符号化コストCjを当該分割種jの各小領域kの符号化コストc(mk)の和Σc(mk)として算出し、記憶しておく。
【００６７】
ステップＳ１０では、全ての分割種jに対してステップＳ４乃至Ｓ９の処理が完了したか判断され、完了していなければステップＳ１１にてカウンタjを加算して未処理の分割種につきステップＳ４から繰り返す。完了していればステップＳ１２に進み、実際に符号化に用いる分割種jを決定する。当該決定においては、各分割種jにつきステップＳ９で求められた符号化コストCj＝Σc(mk)が最小となる分割種が選択される。
【００６８】
ステップＳ１２ではまた、最終決定した分割種jによる小領域k毎に単位ブロックiを実際に符号化し、符号出力手段１００及び蓄積手段２１に送る。この際、当該最終決定された分割種jについてもステップＳ６で符号化コストを算出する際に各小領域kを予測手段１１乃至蓄積手段２１で処理して既に符号化しているので、当該符号を保持していれば改めて符号化を行う必要はない。
【００６９】
ステップＳ１３では全ての単位ブロックiにつき分割種jの決定及び当該決定に従う符号化の処理が行われたかが判定される。完了していればステップＳ１５へ進みフローは終了し、完了していなければステップＳ１４へ進みカウンタiを加算してステップＳ２へ戻り、次の単位ブロックにつき処理を繰り返す。
【００７０】
なお、単位ブロックのサイズは所定のサイズが定められており、動画の各フレーム又は静止画に対してカウンタiにより順次ラスタースキャン順でステップＳ２において読み込まれる。
【００７１】
図１１は、以上の図９のフローにおいて仮決定の各分割種にて符号化コストを算出した後、最小コストの分割種を最終決定することで、実際に符号出力手段１００が受け取るストリームデータとしての符号情報の発生する順序を説明するフロー図である。
【００７２】
ステップＳ２０でフローが開始すると、ステップＳ２１で単位ブロックのカウンタiが初期値の0に設定される。ステップＳ２２で当該単位ブロックiの符号化が開始する。ステップＳ２３では、最終決定により単位ブロックiに対して適用される分割種j=j(i)の情報などが符号化される。ステップＳ２４では、当該分割種j(i)により定まる各小領域kが順次、符号化される。当該符号化においては、予測情報（適用された予測モード）及び量子化値が符号化される。当該量子化値は、当該予測情報に従って補償手段１２乃至量子化手段１５によって順に予測画素、予測残差、変換係数、量子化値と加工されて得られたものである。
【００７３】
なお、当該各小領域kの符号化順序は、図１０で説明した通り、分割j(i)において所与の順序が定まっている。すなわち、前ステップＳ２３にて符号化された分割種j=j(i)の情報に当該符号化順序の情報も含まれる。
【００７４】
全ての小領域kを符号化すると、ステップＳ２５で当該単位ブロックiの符号化が完了する。ステップＳ２６では全ての単位ブロックiの符号化が完了したかの判断が行われ、未完了であればステップＳ２７へ進んでカウンタiを加算して次の単位ブロックにつきステップＳ２２から繰り返す。ステップＳ２６で完了していればステップＳ２８へ進み、終了する。
【００７５】
図１２は適応分割手段２０の細部の機能ブロック図であり、図１３は補償手段１２の細部の機能ブロック図である。適応分割手段２０は、分割種セット保持部２０１、符号化済みチャネル情報記憶部２０２、分割種識別番号付与部２０３及び予測情報識別番号付与部２０４を含み、当該各部は適応分割手段２０の追加的機能を担う。補償手段１２は、小領域単位一括補償部１２１、画素単位反復補償部１２２及び切替部１２３を含み、当該各部は補償手段１２の追加的機能を担う。以下、これらの各部の機能について説明する。
【００７６】
分割種セット保持部２０１は、符号化の単位ブロックのサイズに応じて異なる所定の分割種のセットを複数保持する。ここで特に、サイズの大きな単位ブロックに対応するセットほど含まれる分割種の数が多く、逆にサイズの小さな単位ブロックに対応するセットほど含まれる分割種の数が少ないという関係を満たすような所与の複数のセットを保持する。
【００７７】
例えば、単位ブロックのサイズが4×4、16×16及び64×64の3種類であれば、最小のサイズ4×4に対応する分割種のセットは図５に示した全12種類の第一のセットであり、中間のサイズ16×16に対応する分割種のセットは図６に示した全27種類の第二のセットであり、最大のサイズ64×64に対応する分割種のセットは図７に示した全258種類の第三のセットであってよい。
【００７８】
当該関係を満たすセットの利用により、より大きなサイズは制御情報が占める割合が比較的小さいので、分割数を多く設定し、より小さなサイズには少なく設定することで、各サイズにおいて効率的な符号化が行われるという効果がある。なお同様に本発明では、非正方の矩形も含む多彩な分割を分割種のセットとして用意するため、基本的には単位ブロックのサイズは比較的大きく設定することが望ましい。
【００７９】
実際にいずれのサイズの単位ブロック及び対応する分割種セットを利用するかは、マニュアル設定でもよいし、静止画であれば全ての単位ブロックのサイズ（及び対応する分割種セット）で符号化を試みて、その中から符号化コストの最小となるものを利用するようにしてもよい。動画であれば最初のフレーム又は所定間隔のフレーム毎で上記静止画と同様に最小となるものを求めて、以降のフレームは当該単位サイズを利用するようにしてもよい。
【００８０】
符号化済みチャネル情報記憶部２０２は、各単位ブロックにつき図９のフローによって符号化済みの第一のチャネルの画素に対して最終決定され選択された分割種の情報と、当該分割種に含まれる各小領域において適用された予測情報とを記憶し、当該単位ブロックにおける符号化前の第二のチャネルの画素を符号化するに際して、記憶されている第一のチャネルにおける分割種と対応する各小領域の予測情報とをそのまま適用できるようにする。
【００８１】
当該適用の例を図１４に示す。ここでは例として三原色のRGBチャネルにおいて、(1)に示す第一のチャネルであるG信号のフレームと、(3)に示す第二のチャネルであるR信号のフレームとが示されている。(1)に示すように、G信号の単位ブロックIG0は図９のフローにより既に符号化済みである。単位ブロックのサイズは4×4であり、分割種のセットとしては図５のセットを利用し、予測モードは図３の予測モードを利用することで、当該単位ブロックIG0は(2)に示すように分割種Ａ１により４個の2×2小領域に分割され、各々の小領域にはラスタースキャン順に予測モード０，１，２及び３が適用されている。
【００８２】
当該符号化の結果(2)を符号化済みチャネル情報記憶部２０２が記憶することで、符号化済みの第一のチャネルの単位ブロックIG0と同位置及び同時刻の、(3)に示す符号化前の第二のチャネルの単位ブロックIR0には(2)と同じ分割種及び各小領域の予測情報が(4)に示すように適用される。なお動画像を想定してフレームとして説明しているが、静止画であってもよい。
【００８３】
当該適用により、第二のチャネルにおいては図９のループＬ１及びループＬ２を省略することができる。すなわち、各分割種につき各小領域の符号化コストを最小にする予測情報を求めて（ループＬ２）、各分割種のうちの符号化コストを最小にする分割種を求める（ループＬ１）ことを省略して、計算負荷を低減することができる。また通常信号のチャネル間には相関があるので、当該省略が符号化効率に悪影響を与えることは少ない。
【００８４】
また当該適用により、符号量も減らすことができる。すなわち、第一のチャネル及び第二のチャネルで共有される分割種の情報および各小領域の予測情報と、第一のチャネルの（予測残差から算出された）量子化値と、第二のチャネルの（予測残差から算出された）量子化値とを符号化すればよいので、共有された部分の符号量が第一と第二のチャネルとで別個に符号化する場合よりも節約される。当該共有の旨はフラグ情報として一度符号化すれば、以降は共有に係る処理が継続されるようにしてもよい。さらに例えばB信号など、第三のチャネルについても同様に、分割種の情報及び各小領域の予測情報を第一のチャネルと共有して符号量を減らすと共に計算負荷を下げてもよい。
【００８５】
分割種識別番号付与部２０３は、所定数の符号化対象単位ブロックを予め符号化した際の各分割種の選択された割合を記憶し、以降の符号化対象ブロックの符号化に際して用いる分割種セット内の各分割種の識別番号を再付与する。ここで当該再付与に際して、選択された割合が大きい分割種ほど小さい識別番号を再付与することで、以降の分割種もほぼ同様の割合で選択されるという仮定のもと、分割種の情報の符号量を低減することができる。
【００８６】
例えば、分割種セットとして図５の分割種Ａ０〜Ａ１１を用いて所定量の符号化を実施し、実際の符号化に際して最も多く選択された分割種が上位から順に分割種Ａ３，Ａ０，Ａ１…であったとする。この場合、以降の符号化に際しては、分割種Ａ３に識別番号0を付与し、分割種Ａ０に識別番号1を付与し、分割種Ａ１に識別番号2を付与し、…といったように付与することとなる。
【００８７】
予測情報識別番号付与部２０４は、分割種識別番号付与部２０３と類似の符号量低減効果を奏する機能を担い、所定数の符号化対象単位ブロックを予め符号化した際の、分割種のセットに属する全ての分割種に含まれる小領域の各形状に対して決定された各予測モードの割合を記憶し、以降の符号化対象ブロックの符号化に際して用いる、小領域の各形状における予測モードの識別番号を再付与する。ここで当該再付与に際しては、各形状毎に別個の再付与を行い、選択された割合が大きい予測モードほど小さい識別番号を再付与することで、以降の予測モードも当該形状の小領域に対してほぼ同様の割合で選択されるという仮定のもと、予測モードの符号量を低減することができる。
【００８８】
図１５は、当該各形状に対する予測モードの識別番号再付与を説明するための例を示す図である。図１５のＧ１〜Ｇ１２は、分割種のセットとして図５のＡ０〜Ａ１１を用いた場合の、小領域の各形状を表している。すなわち、Ａ０〜Ａ１１の単位ブロックサイズが4×4であるとすれば、形状Ｇ１（サイズ4×4）は分割種Ａ０に、形状Ｇ２（サイズ3×3）は分割種Ａ４，Ａ６，Ａ９及びＡ１１に、形状Ｇ３（サイズ2×2）は分割種Ａ１に、形状Ｇ４（サイズ1×1）は分割種Ａ４，Ａ６，Ａ９及びＡ１１に、それぞれ少なくとも１個含まれる小領域の形状である。
【００８９】
このような各形状と、当該形状の小領域を含む分割種との対応はテーブルＴ１に示すとおりである。なお上記と同様に単位ブロックのサイズを4×4とすると形状Ｇ５〜Ｇ１２のサイズは次の通りである。
Ｇ５（サイズ3×2）；Ｇ６（サイズ2×3）；
Ｇ７（サイズ4×1）；Ｇ８（サイズ3×1）；Ｇ９（サイズ2×1）；
Ｇ１０（サイズ1×4）；Ｇ１１（サイズ1×3）；Ｇ１２（サイズ1×2）
【００９０】
予測情報識別番号付与部２０４は、このような各形状毎に、決定された予測モードの割合を記憶する。例えば図３の予測モードを利用するとして、分割種Ａ０に現れる形状Ｇ１については予測モード1が最も多く全体の8割決定され、分割種Ａ４，Ａ６，Ａ９又はＡ１１に現れる形状Ｇ２については予測モード2が最も多く全体の9割決定され、等といった各形状における各予測モードの決定割合を記憶する。そして、形状Ｇ１に適用される予測モードについては予測モード1に最も小さい識別番号を、形状Ｇ２に適用される予測モードについては予測モード2に最も小さい識別番号を付与する等して、予測モードの符号量を低減する。
【００９１】
なお、分割種識別番号付与部２０３及び予測情報識別番号付与部２０４においては、それぞれ識別番号を再付与するため予め符号化する所定数の符号化対象ブロックは、動画像であれば開始時刻の１フレーム、又は所定間隔のフレーム毎として、以降のフレームの符号化に際して当該再付与された識別番号を利用するようにしてよい。静止画であれば各静止画につきラスタースキャン順の若い側の所定数としてもよく、また、ある一枚の静止画全体を予め符号化しておいて以降読み込むその他の静止画に再付与の識別番号を適用してもよい。
【００９２】
なおまた、当該所定数の符号化対象単位ブロックを予め符号化しておくに際しては、分割種識別番号付与部２０３では各分割種に対して、予測情報識別番号付与部２０４では各形状における各予測モードに対して、所与の初期値としての識別番号を付与しておく。
【００９３】
小領域単位一括補償部１２１は、各小領域に対する予測画素の生成を、図４等で説明したような通常の方式で行う。すなわち図４の(2)(3)のように隣接画素領域の画素の値を変えずにそのまま予測値とする、又は(5)(6)のように平均演算を施すなどして予測値とすることで、小領域に対してその全体を一括で予測画素を求める。
【００９４】
これに対して、画素単位反復補償部１２２は、小領域に対して全体一括で予測画素を求めるのではなく、画素単位で予測画素を順次反復的に生成する。図１６に当該反復生成を概念的に示す。図１６では小領域Ｂ１００の画素に対して図３の予測モード0における予測画素の反復生成を、時系列(1)〜(4)で示している。
【００９５】
(1)において画素Ｐ１は、予測モード0すなわち垂直予測における垂直方向で後方の近傍画素領域Ｒ１の重み付き平均として予測される。続いてＰ１から垂直方向の画素Ｐ２も、(2)に示すように近傍画素領域Ｒ２の重み付き平均として予測され、同様にＰ２の垂直方向の画素Ｐ３が(3)に示すように近傍画素領域Ｒ３の重み付き平均として予測され、さらにＰ３の垂直方向の画素Ｐ４が(4)に示すように近傍画素領域Ｒ４の重み付き平均として予測される。
【００９６】
一般に、距離の近いＰ１の画素値は隣接画素領域Ｒ１内の直近の画素の画素値と近く、距離の最も遠いＰ４の画素値はＰ１に対する隣接画素領域Ｒ１の画素値とは乖離が大きくなる傾向がある。よって特に最も遠いＰ４の画素値についてはＲ１のいずれかの画素を直接予測値とするのではなく、Ｒ１及びその他の領域の平均を採用した方が全体として符号化効率が高まることが多い。このことは特に単位ブロックのサイズが大きくなり小領域も大きくなる場合に、より顕著となる。
【００９７】
画素単位反復補償部１２２によれば、上記の距離の近い画素と遠い画素との両者の全体を考慮した予測値を得るという効果を奏する。すなわち、符号化済みの隣接画素領域Ｒ１との距離が近い画素Ｐ１等の予測値は当該隣接画素領域Ｒ１の直近の画素値自体に近くなり、隣接画素領域Ｒ１との距離が遠い画素Ｐ４等の予測値は隣接画素領域Ｒ１等の平均値へ近くなる。当該効果は換言すれば、Ｐ１のような近い画素については図３の予測モード0(垂直予測)の効果が強く得られ、Ｐ４のような遠い画素については予測モード2(平均値予測)の効果が強く得られることで、小領域の全体としていわばハイブリッド方式の予測が適用され、符号化効率が高まるという効果である。
【００９８】
なお、図１６の(2)〜(4)で予測値を求めるには、符号化対象の小領域Ｂ１００に属するＲ２〜Ｒ４の予測値が求まっている必要があるが、次の具体例により当該予測値も求まることが説明される。図１７及び図１８に、画素単位反復補償部１２２による反復補償の具体例を示す。図１７では(A)の座標値が付記された画素x(1,0)〜x(4,0)及びx(0,1)〜x(0,3)が符号化済みの隣接画素領域であり、符号化対象の小領域は座標値が付記された画素y(1,1)〜y(3,3)のサイズ3×3の領域である。またy(1,1)の上部に付記した[1]等は、当該小領域内で反復補償が実行される順番を示す。
【００９９】
また、(B)は各画素y(i,j)を予測するに際して重み付け平均を行う画素の位置と、重み付けの係数の例とを示している。すなわち、予測に用いる画素は例えば位置が(i-1, j-1), (i, j-1), (i+1, j-1)の符号化済み画素x又は予測済み画素yであり、それぞれの位置の画素に対する重み付け係数が1/4, 1/2, 1/4である。方向Ｄ１０は予測の方向であり、当該例では図３の予測モード0(垂直予測)で反復補償を行う。以上(A)(B)の説明より、以下のように順次、反復予測が行われる。
【０１００】
[1] y(1,1)=x(0,0)/4 + x(1,0)/2 + x(2,0)/4
[2] y(2,1) = x(1,0)/4 + x(2,0)/2 + x(3,0)/4
[3] y(3,1) = x(2,0)/4 + x(3,0)/2 + x(4,0)/4
[4] y(1,2) = x(0,1)/4 + y(1,1)/2 + y(2,1)/4
[5] y(2,2) = […以下同様であり省略]
【０１０１】
このように、(B)に示す方向Ｄ１０の垂直予測の場合であれば、予測値を求める画素y(i,j)に対して、Ｄ１０に垂直な直線Ｌ１０の後方の領域Ｒ１０が符号化済み画素x又は予測済み画素yの領域となるように、(A)に示すように当該Ｌ１０の方向に並ぶ画素を順次[1]〜[3]と予測しながら、[1],[4],[7]のようにＤ１０の方向へと進めていけばよい。
【０１０２】
同様のことが可能であればＲ１０内の所望の領域を所望の係数によって重み付けして予測を行ってもよい。当該例では重み付け係数は図中の各位置に対して1/4, 1/2, 1/4と固定したが、当該係数及び予測に用いる画素の位置は予測値を求める画素毎に変動させてもよい。
【０１０３】
特に、上記例では[6]番目にy(3,2)を予測する際にy(4,1)の位置の画素が以降の符号化対象ブロック又は小領域に属する場合が多く一般には利用できないので、重み付け係数が1/4, 1/2, 1/4及び予測に用いる画素の位置を修正して、例えば次のように予測する。
[6] y(3,2) = {y(2,1)/4 + y(3,1)/2} × (4/3)
また、[9]番目のy(3,3)についてもy(4,2)が一般には利用できないので上記と同様にすればよい。なお、当該小領域が図１０の(2)の順序における(b)のような位置にあれば上記y(4,1)やy(4,2)も符号化済み画素として利用できるので、その他の画素と同様に係数1/4, 1/2, 1/4を用いて予測してよい。
【０１０４】
なお、符号化済み画素から画素の位置が遠ざかるにつれ、その予測値が符号化済み画素領域の平均値へと収束していく必要がある。よって、各画素の予測値を求めるための各重み付け係数αは0≦α≦1であって、且つ予測に用いる全画素での係数の和が1であるという条件を課すことが好ましい。
【０１０５】
図１８は図３における予測モード4における反復補償の例であり、予測の方向は(B)の方向Ｄ２０として示され、(A)に示す符号化済み隣接画素領域及び符号化対象の小領域は図１７と共通である。この場合、図１７での反復補償との差異点として、(A)に示すように反復補償の順序が変わること、(B)に示すように予測に用いる画素の位置及び重み付け係数が変わること、が挙げられるが、方向Ｄ２０が図１の方向Ｄ１０から45°異なるためである。この場合も同様に、以下のように順次反復補償を行うことができる。
【０１０６】
[1] y(1,1) = x(0,1)/2 + x(1,0)/2
[2] y(1,2) = x(0,2)/2 + y(1,1)/2
[3] y(2,1) = y(1,1)/2 + x(2,0)/2
[4] y(1,3) = x(0,3)/2 + y(1,2)/2
[5] y(2,2) = […以下同様であり省略]
【０１０７】
ここでは、(B)に示すように予測の方向Ｄ２０と垂直な直線Ｌ２０の後方の領域Ｒ２０が符号化済み画素x又は予測済み画素yの領域となるように、(A)に示すように当該Ｌ２０の方向に並ぶ画素を順次予測しつつ、Ｄ２０の方向へと進めていけばよく、当該予測の方向に対する予測の順序の設定は図１７と同様である。各係数の設定変更等についても図１７と同様である。
【０１０８】
図１７及び図１８の例と同様にして、図３のその他の方向の予測モードにおいても反復予測を実行することができる。なお、予測モード2(平均値予測)の適用に際しては、当該モードでは予測の方向が定義されないため、反復予測は省略され、小領域の全画素の予測値として平均値を採用する。
【０１０９】
なお、画素単位反復補償部１２２による予測画素の生成に際しては、上記のような画素毎の反復的な計算を行う結果として、小領域内の各点yにつき符号化済みの隣接画素領域の各画素xに対して所与の重み係数を掛けて足し合わせた値が、予測値として用いられることとなる。ここで当該所与の重み係数は、当該画素yと画素xとの距離が大きいほど小さく、また当該画素xから画素yへ至る方向が予測モードの定める方向と揃っているほど大きくなるという性質を有する。
【０１１０】
反復計算を行う代わりに、上記の各画素xから各画素yを予測する係数を予め求めて一括で予測画素を求めてもよいが、当該係数はマトリクス状であり且つ小領域の形状と予測モードとのペア毎に用意する必要があるため、図１７の係数1/4, 1/2, 1/4等と比べると符号量の点で不利となる。係数1/4, 1/2, 1/4等であれば、小領域の形状と予測モードとの全ペアに対して、予測対象の画素からの相対位置が、各予測モードの定める方向における所定の位置となる画素に対して当該係数1/4, 1/2, 1/4等を共通で用いることができるので、符号量が少なくなる。
【０１１１】
切替部１２３は、小領域単位一括補償部１２１と画素単位反復補償部１２２とのいずれを符号化のために用いるかを切り替える。切り替えの判断としては、各小領域毎に小領域単位一括補償部１２１を適用した場合と画素単位反復補償部１２２を適用した場合とでの前記符号化コストを比較して、コストの低い方に切り替える。すなわち図９のステップＳ９を、各予測モードでの小領域単位一括補償部１２１の適用と、各予測モードでの画素単位反復補償部１２２の適用と、について行い、最小コストの場合を求めることとなる。
【０１１２】
図１９は、画像復号装置３にて各単位ブロックの各小領域毎に順次復号を行うフローの図である。図１９の各ステップ（Ｓ３０〜Ｓ３８）は図１１の各ステップ（Ｓ２０〜Ｓ２８）とそれぞれ対応する。
【０１１３】
ステップＳ３０でフローを開始し、ステップＳ３１では復号を行う単位ブロックのカウンタiを初期値0に設定し、ステップＳ３２で単位ブロックiの復号を開始する。ステップＳ３３では復号手段３１が図１１のステップＳ２３で符号化された符号情報を復号し、対応する情報を得る。
【０１１４】
すなわちステップＳ３３では、単位ブロックiを復号するための前提の情報としての、当該単位ブロックiに適用された分割種j=j(i)の情報などを得る。当該情報には前述の通り、分割種を構成する各小領域kの位置及び形状並びに復号順序の情報などが含まれる。
【０１１５】
ステップＳ３４では、小領域kを順次復号する。このため復号手段３１は、各小領域kにつきステップＳ２４で順次符号化された情報を順次復号して、予測情報（適用された予測モード）及び量子化値を得る。
【０１１６】
当該予測情報には、小領域kに適用された予測モードの情報や、小領域単位一括補償部１２１と画素単位反復補償部１２２とのいずれを適用したかの情報や、画素単位反復補償部１２２適用であればその係数の情報などが含まれる。また、符号化済みチャネル情報記憶部２０２を利用した場合には、分割種の情報に第一及び第二のチャネルでの共有の旨の情報が含まれる。
【０１１７】
ステップＳ３４では小領域kを復号して復号済み画素として画像出力手段３００へ送ると、k+1以降の小領域を順次復号するため、蓄積手段４１に蓄積する。この際、（復号側）逆量子化手段３７乃至蓄積手段４１は符号化装置１側の対応する機能ブロックと同様に機能する。ただし、（復号側）適応分割手段４０等は、(符号化側)適応分割手段２０等における図９のフローのような全ての分割種での分割等を試みる必要はない。
【０１１８】
すなわちステップＳ３４では、適応分割手段４０は復号された分割種j=j(i)に従って単位ブロックi内に小領域kを、復号を行う単位となる領域として再設定するのみでよい。補償手段３２は当該再設定された小領域kに対して、蓄積手段４１の復号済み画素と復号された予測情報とを用いて、予測画素を復号する。また加算器３９が、復号された予測残差と復号された予測画素とを加算して、復号画素とする。当該復号された予測残差は、復号された量子化値を逆量子化手段３７及び逆変換手段３８で処理することで得られる。
【０１１９】
ステップＳ３４で全ての小領域kにつき処理が終わると、ステップＳ３５において単位ブロックiの復号が完了し、ステップＳ３６では全ての単位ブロックが処理完了したか確認する。未完了であればステップＳ３７にてカウンタiを加算し、次の単位ブロックに対して再びステップＳ３２から繰り返し処理を行う。完了であればステップＳ３８へ進み、フローは終了する。
【０１２０】
なお、画像符号化装置１側にて図１２に示す適応分割手段２０の各細部の機能ブロック（符号化済みチャネル情報記憶部２０２以外）を利用した場合は、初期値i=0又は各機能ブロックの適用された所定のiにおける単位ブロックの復号開始ステップＳ３２において対応する各情報を復号して、単位ブロックのサイズや予測モードへの識別番号割り当てなどにつき、符号化装置１側で符号化したのと同設定としたうえで復号を行えばよい。
【０１２１】
以上、本発明の画像符号化装置１によれば、各単位ブロックの分割に際して、予め指定された非正方形状を含む小領域へ適応的に分割するとともに、小領域に応じた予測手段及び符号化・復号手段を適用することで、符号化効率が向上する。
【０１２２】
特に、本発明では図５〜図７のような多彩な分割種を用意しておくことで、例えば図５のセットを用いる場合であれば、画素値が平坦な領域では自動的に分割種Ａ０のような広い小領域の分割種が選択され、画素値の変化の激しい領域では分割種Ａ２，Ａ３，Ａ１等の細かい小領域の分割種が選択され、またそれらの中間的な領域に最適な小領域を含む分割種も適宜選択される。このようにして、単位ブロックのサイズが固定されていても、画素値の分布に応じて単位ブロックのサイズが自動可変するのと同等の効果が得られる。
【０１２３】
また小領域の形状も符号量が過度に増えないような前記制約[1]〜[4]のもとで多彩に用意しておき、且つ図９のフローにおいて、各分割種jの各小領域kに対して各予測モードmで符号化コストc(m)を試算する。この際、小領域kの形状によって利用できる予測モードmに制限を設けることをせず、共通に用いられる予測モードmの全ての中から最適なものを選ぶようにしているので、符号化効率が向上する。
【０１２４】
例えば図３の予測モードのもと、図５のサイズ4×1の横長の小領域が4個含まれる分割種Ａ２を適用する場合、一般的には直近の画素が値が近いことが多いので予測モード0(垂直予測)が良い予測値を与える場合が多いが、本発明ではこの逆の場合で例えば画素が遠くなる予測モード1(水平予測)が良い予測値を与える場合その他にも対応して、符号化効率を高めることができる。
【符号の説明】
【０１２５】
１…画像符号化装置、１１…予測手段、１２…補償手段、１３…差分器、１４…変換手段、１５…量子化手段、１６…符号化手段、１７…逆量子化手段、１８…逆変換手段、１９…加算器、２０…適応分割手段、２１…蓄積手段、３…画像復号装置、３１…復号手段、３７…逆量子化手段、３８…逆変換手段、３９…加算器、３２…補償手段、４０…適応分割手段、４１…蓄積手段
【技術分野】
【０００１】
本発明は、画像符号化装置及び画像復号装置に関し、特に、単位ブロックの分割を適応的に変化させることで、符号化効率を向上させる画像符号化装置及び画像復号装置に関するものである。
【背景技術】
【０００２】
従来の画像符号化に、画像を複数のブロックに分割することで局所的な相関を利用して処理する方法がある。ブロックの分割に関しては、幾つかの方法が提案されており、符号化効率の向上が図られている。例えば、平坦な領域では大きなブロックを利用することで、相関を最大限活かせるだけでなく、処理単位が大きくなるので制御情報を抑えることができる。逆に、エッジ領域では小さなブロックを利用することで、変化に富んだ画素でも比較的高い相関を保ったまま効率的に周波数変換することが可能となる。
【０００３】
非特許文献１で示されるH.264 では、画面内符号化に用いられるブロックは16×16、8×8、4×4 の正方サイズを選択的に利用できるため、画素値に変化がある場合は、より小さな正方サイズに分割することで対処できる。
【０００４】
特許文献１では、H.264のブロック分割において非正方の小領域を用意している。小領域の形状に応じてIntra予測モードを制限することで、符号化効率の改善を図る。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１７１７２９号公報
【非特許文献】
【０００６】
【非特許文献１】角野他，「Ｈ．２６４／ＡＶＣ教科書インプレス標準教科書シリーズ」，インプレスネットビジネスカンパニー，２００４年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１は、ある符号化対象ブロックに対して3通りのサイズの正方形しか用意していないため、ブロック内の大半が平坦な領域であっても、一部に変化があれば、平坦な領域も含めて小さな正方サイズに分割するしかないという問題がある。また、H.264は画素ではなく予測誤差を処理するため、大きな変化が出やすいという問題がある。例えば、H.264のIntra 予測は符号化済みの近接する画素を基準として対象ブロックの予測値を生成するので、予測の基準となる画素から離れるほど大きな予測誤差が生じるという問題が指摘されている。よって、非特許文献１では、符号化効率を十分に高めることができないという問題がある。
【０００８】
一方、特許文献１は、非正方の小領域を導入するため、非特許文献１の問題を一部解決できる。しかし、対象ブロックの分割方法や形状に関する情報、周波数変換方法や量子化情報を指定するための情報を出力させないために、小領域のIntra 予測モードに制限を課している。パンやチルトなどのカメラワークで画素値が流れているときは、参照画素から離れていても特許文献１で制約されたIntra 予測モードが最適であることがあるので、符号化効率を十分に高めることができないという問題は依然として残る。また、予測信号生成関連情報が小領域の分割方法の指定を兼ねているため、小領域に正方形と非正方形を混在させる場合は、Intra 予測モードを個別に指定できないという問題がある。
【０００９】
本発明の目的は前述した従来技術の問題点を解消し、符号化効率の高い画像符号化装置を提供することにある。
【００１０】
本発明の目的はまた、当該符号化効率の高い画像符号化装置に対応する画像復号装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明は、複数の画素から構成される単位ブロックの各画素に対して、符号化済み画素から各画素を予測する予測情報を決定する予測手段と、予測情報に基づいて各画素の予測画素を生成する補償手段とを備え、当該各画素とその予測画素との間で差分処理を行って得られた予測残差に対して直交変換及び量子化を行って量子化値となし、単位ブロック毎に符号化を行う画像符号化装置において、単位ブロックの複数の小領域への分割を定める分割種のセットの中から分割種を選択して分割する適応分割手段を備え、前記選択された分割種において分割して得られた小領域の各々を構成する画素につき順次、前記予測手段が予測情報を決定し、前記補償手段が予測画素を生成することにより、前記単位ブロック毎に符号化を行うに際して、単位ブロック毎に選択された分割種の情報が符号化され且つ小領域毎に量子化値及び予測情報が符号化されることを特徴とする。
【００１２】
また本発明は、前記画像符号化装置に対する画像復号装置であって、前記符号化された単位ブロック毎に選択された分割種の情報並びに小領域毎の量子化値及び予測情報を復号する復号手段と、前記復号された量子化値を逆量子化して復号された変換係数とする逆量子化手段と、該復号された変換係数を逆変換して復号された予測残差とする逆変換手段と、前記復号された分割種の情報より、当該分割種にて定められる小領域を復号対象の単位ブロックに再設定する復号側適応分割手段と、復号済み画素と前記復号された予測情報とに基づいて、前記再設定された小領域毎の復号された予測画素を生成する補償手段を備え、前記再設定された小領域毎に、前記復号された予測残差と前記復号された予測画素とを加算して復号済み画素を得ることを特徴とする。
【発明の効果】
【００１３】
本発明の画像符号化装置によれば、単位ブロック毎に複数の小領域に分割して当該小領域単位で予測し符号化するので、符号化効率を向上させることができる。
【００１４】
また本発明の画像復号装置によれば、小領域毎に復号して、画像符号化装置での符号化に対応した復号を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】画像符号化装置の機能ブロック図である。
【図２】画像復号装置の機能ブロック図である。
【図３】周知のH.264における単位ブロック4×4の場合の画面内予測における9種類の予測モードを示す図である。
【図４】本発明における小領域に対して、従来の単位ブロック対象の予測を限定乃至拡張して適用することで予測を行うことを説明する図である。
【図５】分割種のセットの第一の例を示す図である。
【図６】分割種のセットの第二の例を示す図である。
【図７】分割種のセットの第三の例を示す図である。
【図８】図７における分割種のまとめ表記を説明する例を示す図である。
【図９】入力画像を構成する単位ブロック毎に全ての分割種における符号化コストを求め、実際に適用する分割種を最終決定して符号化を行うフローを示す図である。
【図１０】各分割種における小領域に符号化を行う順序が予め定められていることを説明する図である。
【図１１】図９のフローによる最終決定の分割種における符号化によって、符号出力手段が実際に受け取る符号情報の発生する順序を説明するフロー図である。
【図１２】適応分割手段の細部の機能ブロック図である。
【図１３】補償手段の細部の機能ブロック図である。
【図１４】符号化済みチャネル情報記憶部による分割種及び予測情報の記憶とその適用を説明するための図である。
【図１５】小領域のセットに含まれる各形状に対して予測モードの識別番号の再付与を行うことを説明する図である。
【図１６】画素単位反復補償部による反復的な補償を概念的に説明する図である。
【図１７】画素単位反復補償部により、小領域に4×4予測モード0(垂直予測)を適用して反復補償を行い予測画素を求める例を説明する図である。
【図１８】画素単位反復補償部により、小領域に4×4予測モード4を適用して反復補償を行い予測画素を求める例を説明する図である。
【図１９】画像復号装置における復号のフロー図である。
【発明を実施するための形態】
【００１６】
本発明の実施形態に係る画像符号化装置及び画像復号装置の機能ブロック図を、それぞれ図１及び図２に示す。
【００１７】
本発明の画像符号化装置１は、複数の画素から構成される単位ブロックの各画素に対して、符号化済み画素から予測される各画素との間で差分処理を行って得られた予測残差について直交変換・量子化・符号化を行って単位ブロック毎に符号化を行う画像符号化装置に対して、前記単位ブロックを効率的に複数の小領域に分割できる適応分割機能を付加した構成を特徴とするものである。
【００１８】
すなわち、本発明の画像符号化装置１は、図１に示すように、符号化対象としての入力画素が取り込まれる画像入力手段１０と、符号化済み画素から入力画素を予測する予測情報を算出する予測手段１１と、予測情報及び符号化済み画素から予測画素を生成する補償手段１２と、入力画素から予測画素を減算し予測残差を出力する差分手段１３と、予測残差を周波数領域に変換して変換係数とする変換手段１４と、変換係数を量子化する量子化手段１５と、量子化された変換係数その他を可変長符号化して符号情報とする符号化手段１６と、符号情報を出力する符号出力手段１００と、量子化された変換係数を逆量子化する逆量子化手段１７と、逆量子化された変換係数を逆変換する逆変換手段１８と、予測画素と逆変換された予測残差とを加算し符号化済み画素を再構成する加算器１９と、再構成された符号化済み画素を蓄積する蓄積手段２１とを備えた画像符号化装置に対して、符号化を行う単位ブロックをさらに当該ブロック内で順次符号化を行うための複数の小領域に分割する適応分割手段２０を備えて構成されている。
【００１９】
なお、蓄積手段２１に蓄積されている画素は信号の流れとして、量子化手段１５から逆量子化手段１７乃至加算器１９で順次処理されて当該蓄積手段２１に蓄積されている画素である。この際、量子化手段１５から逆量子化手段１７へ入力されると共に、符号化手段１６へも入力され符号化されているという意味で、まだこのようにして符号化されるに至っていない画像入力手段１０から送られた直後の画素と区別して、符号化済み画素と呼ぶ。
【００２０】
一方、本発明の画像符号化装置１に対応する画像復号装置３は、図２に示すように、符号出力手段１００からの符号情報が入力される符号入力手段３０と、符号情報に対して可変長復号を行い量子化値及び予測情報その他とする復号手段３１と、量子化されている変換係数を逆量子化する逆量子化手段３７と、逆量子化された変換係数を画素領域に逆変換する逆変換手段３８と、予測情報及び復号済み画素から予測画素を生成する補償手段３２と、予測画素と再構成された予測残差とを加算し復号画素を再構成する加算器３９と、復号画素を出力する画像出力手段３００と、再構成された復号画素（復号済み画素）を蓄積する蓄積手段４１とを備えた画像復号装置に対して、復号を行う単位ブロックをさらに当該ブロック内で順次復号を行うための小領域に分割する適応分割手段４０を備えて構成されている。
【００２１】
当該各手段の概要は次の通りである。ここで、図１及び図２で機能ブロックが同様の処理を行うことで対応し、信号の流れが共通となる部分を一括で説明するために、図１の機能ブロック又は信号に対応する図２の機能ブロック又は信号を括弧でくくって併記した「加算器１９（加算器３９）」や「符号化済み画素（復号済み画素）」などの記載を用いる。
【００２２】
差分器１３には、画像入力手段１０より送られる符号化対象領域の入力画素と、予測手段１１の予測情報を用いて補償手段１２から送られる符号化済み画素から予測された予測画素とが入力される。当該入力に対して差分器１３は、入力画素と予測画素との差分を予測残差として算出する。予測残差は変換手段１４に送られる。
【００２３】
加算器１９（加算器３９）には、逆変換手段１８（逆変換手段３８）から送られる予測残差と、補償手段１２（補償手段３２）から送られる符号化済み画素（復号済み画素）から予測された予測画素とが入力される。当該入力に対して加算器１９（加算器３９）は、予測残差と予測画素との合計を符号化済み画素（復号済み画素）として算出する。
【００２４】
当該算出された符号化済み画素（復号済み画素）は蓄積手段２１（蓄積手段４１）に累積的に蓄積され、符号化構成（図１）においては予測手段１１、補償手段１２及び適応分割手段２０からの参照を受ける一方、復号構成（図２）においては画像出力手段３００へ出力されまた蓄積手段４１を介して補償手段３２からの参照を受ける。
【００２５】
変換手段１４は、差分器１３から入力された予測残差を直交変換によって周波数領域に変換し、当該直交変換によって得られた変換係数を量子化手段１５に出力する。直交変換としてはＤＣＴ乃至ＤＣＴの近似変換またはＤＷＴなどを利用することができる。
【００２６】
量子化手段１５は、変換手段１４から入力された変換係数を量子化する。量子化によって得られた量子化値は、符号化手段１６及び逆量子化手段１７に出力される。量子化処理に用いられる量子化パラメータは、定数値の組み合わせとして設定することが可能である。または、変換係数の情報量に応じて制御することで出力するビットレートを一定に保つことも可能である。
【００２７】
符号化手段１６は、量子化手段１５から送られた量子化値、予測手段１１から送られた予測情報（点線矢印で図示）及び適応分割手段２０から送られた後述する分割種の情報（点線で図示）を符号化し、符号情報として出力する。符号化は、符号間の冗長性を取り除く可変長符号又は算術符号などを利用することができる。予測情報の符号化に際しては、後述のように分割種の情報に応じて異なる符号を割り当てることもできる。
【００２８】
ここで、入力画像の各ピクチャ（フレーム）は、後述する適応分割手段２０で設定された分割種による分割で定まる小領域毎に符号化手段１６により符号化が行われる。なお、入力画像は一連のフレームからなる動画であっても、単一のフレームからなる静止画であってもよい。
【００２９】
復号手段３１は、符号入力手段３０からの符号情報を受け、符号化手段の逆の手順としての可変長復号を行うことで量子化値、分割種の情報及び予測情報を出力する。可変長復号によって得られた量子化値、予測情報及び分割種の情報はそれぞれ逆量子化手段３７、補償手段３２及び適応分割手段４０に送られる。なお、当該復号（復号済み画素として画像出力手段３００及び蓄積手段４１に至るまでの復号）も、上述の小領域毎に行われる。
【００３０】
逆量子化手段１７（逆量子化手段３７）は、量子化処理の逆の処理を行うことで、符号化構成（図１）においては量子化手段１７から、復号構成（図２）では復号手段３１から送られた量子化値を変換係数に逆量子化する。逆量子化によって得られた変換係数は逆変換手段１８（逆変換手段３８）に送られる。
【００３１】
逆変換手段１８（逆変換手段３８）は、直交変換の逆の処理を行うことで、逆量子化手段から送られた変換係数を逆直交変換する。逆変換によって得られた予測残差は加算器１９（加算器３９）に送られる。
【００３２】
予測手段１１は、画像の冗長性を削減するための予測情報を決定するものであり、蓄積手段２１に蓄積された符号化済み画素を参照して、後述する適応分割手段２０で設定された領域（分割された各小領域）の入力信号を近似するための情報を予測情報として決定する。決定された予測情報は補償手段１２及び符号化手段１６（点線矢印で図示）に送られる。
【００３３】
予測手段１１における予測情報の決定については、各予測モードで個別に符号化し、符号量と歪量から算出される符号化コストを最小化する予測モードを選択する。符号化コストを最小化する方式の詳細については、非特許文献１に記載されている。
【００３４】
予測モードについては、従来からの各種のものが利用できる。例えば、H.264 ではIntra 予測（画面内予測）が利用されている。図３に単位ブロックのサイズが4×4の場合のH.264画面内予測の9種類の予測モードを示す。当該9種類の予測モードを利用してもよいし、非特許文献１等に開示の単位ブロックのサイズが8×8や16×16の場合の予測モードを利用してもよい。
【００３５】
なお、本発明において予測及び符号化までの対応する各処理の適用は単位ブロックをさらに分割した小領域毎に行われる。ここで小領域は後述のように、矩形に設定される。小領域毎の予測の適用については、従来の各手法にて定義されている、予測に用いる画素と予測される画素との位置関係及び算出関係を当該小領域に限定して、又は拡張して適用することで予測を行うことができる。
【００３６】
例として、4×4画面内予測の予測モード0(垂直予測)及び予測モード2(平均値予測)を小領域に適用する場合の例を図４に示す。図４の(1)が従来の4×4画面内予測の予測モード0であり、4×4単位ブロックB０１内の各画素は垂直方向に予測される。すなわち、ブロックB０１上端の4×1(＝横方向画素数×縦方法画素数、以下説明において同様)の領域の各画素(a)(b)(c)及び(d)の値がそれぞれ、下方の1×4の各領域(A)(B)(C)及び(D)の予測値として採用される。また図４の(4)が従来の4×4画面内予測の予測モード2であり、4×4単位ブロックB０１の全ての画素に対する共通の予測値が、隣接する逆L字型領域(a)〜(d)及び(e)〜(i)の平均値となる。
【００３７】
図４の(2)及び(3)に、(1)で説明した予測モード0を小領域の例であるＲ０２及びＲ０３に適用する場合を示す。(2)では小領域Ｒ０２は2×1の領域で画素(X1)及び(Y1)からなる。当該領域Ｒ０２への垂直予測（4×4単位ブロックＢ０１よりも小さい領域へ限定した予測適用）により、画素(X1)及び(Y1)の予測値はそれぞれ、垂直上方に存在する符号化済み画素(a)及び(b)の画素値となる。
【００３８】
また(3)では小領域Ｒ０３は2×6の領域であり、当該領域を2個の1×6の画素領域(X2)及び(Y2)に分けて示している。当該領域Ｒ０３への垂直予測(4×4単位ブロックＢ０１を超える部分を含んで拡張した予測適用)により、画素領域(X2)及び(Y2)の各画素の予測値はそれぞれ、垂直上方に存在する画素(a)及び(b)の画素値となる。
【００３９】
以上(2)及び(3)の場合において、共通で予測に用いる画素(a)及び(b)は、それぞれ小領域Ｒ０２及びＲ０３に対応することで(1)の場合よりも限定されている。
【００４０】
図４の(5)及び(6)にそれぞれ、(2)及び(3)と同様の小領域Ｒ０２及びＲ０３に対して、(4)で説明した予測モード2を適用する場合を示す。(5)では、小領域Ｒ０２の各画素を対応する隣接領域画素(a)(b)(e)及び(f)の平均値として予測する。当該隣接画素領域は、小領域Ｒ０２に対応することで(4)の場合と比べて限定されている。
【００４１】
(6)では、小領域Ｒ０３の各画素を対応する隣接領域画素(a)(b)及び(e)乃至(k)の平均値として予測する。当該隣接画素領域は、小領域Ｒ０３に対応することで(4)の場合と比べて(c)(d)の部分が限定され、また(j)(k)の部分が拡張されている。
【００４２】
また以上の図４の例と同様にして、図３に示すその他の予測モードにおいても、小領域の形状が4×4ではない一般の場合であっても、隣接領域画素の小領域に対応した限定乃至拡張と当該対応に合わせた各予測モードにおける予測値の算出法の適用とによって予測を行うことができる。
【００４３】
すなわち、図４の(7)に示すように、小領域Ｒ０４がサイズa×bであれば、予測に用いる符号化済み画素の領域としての隣接画素領域は、当該小領域の上方の辺に隣接するa×1の領域Ｒ０５と、当該小領域の左方の辺に隣接する1×bの領域Ｒ０６と、領域Ｒ０５及びＲ０６の両者をつなぐ領域Ｒ０４の対角上の1×1の領域Ｒ０７とを設定すればよい。また4×4の画面内予測の予測モード3又は7を適用する際には領域Ｒ０５を右方へ拡張し、4×4の画面内予測の予測モード8を適用する際は領域Ｒ０６を下方へ拡張する等すればよい。当該小領域のサイズに対応した隣接画素領域を用いて、各予測モードによる予測値の算出を行えばよい。
【００４４】
さらに同様に、H.264における4×4、8×8及び16×16のサイズにおける予測モードは、本発明においては単位ブロックが別サイズの場合に利用してもよい。例えば本発明においては単位ブロックをサイズ64×64に設定して、H.264における4×4の9種類からなる予測モードを、当該サイズ64×64内の各小領域に適用するようにしてもよい。
【００４５】
補償手段１２（補償手段３２）は、蓄積手段２１（蓄積手段４１）を参照して得られる符号化済み画素（復号済み画素）及び予測手段１１で決定された予測情報（復号手段３１で復号された予測情報）に基づいて、後述する適応分割手段２０（適応分割手段４０）で設定された小領域における入力画素の近似値としての予測画素を生成する。生成された予測画素は、符号化構成（図１）においては差分器１３及び加算器１９へ送られる。一方、復号構成（図２）においては加算器３９へ送られる。
【００４６】
本発明の画像符号化装置１の特徴的構成である適応分割手段２０による小領域への分割について説明する。
【００４７】
適応分割手段２０の役割は、後段の予測手段１１及び補償手段１２において符号化対象ブロックを小領域単位で予測・補償するために、当該符号化対象ブロックに最適な小領域への分割を選択して分割することにある。ただし、仮に当該符号化対象ブロックを任意形状に分割したとすると、形状の情報を符号化する必要が生じてしまうため、符号化効率を改善できないという問題がある。この問題を解決するため、次の制約[1]〜[4]の全ての下で構成される分割を用いる、又は当該制約下の分割の中からさらに選択するという手順を取る。
【００４８】
[1]小領域が全て矩形
[2]分割された小領域の総数がn個以下
[3]小領域の最大サイズがu以上又は最小サイズv以上
[4]最小サイズtの小領域の数がm個以下
【００４９】
上記[1]〜[4]において、n,u,v,t及びmはそれぞれ所定の自然数である。また、小領域のサイズは画素数として定義する。例えば2×2の小領域と1×4の小領域とは共に画素数が4のため同じサイズであり、3×2の小領域と1×5の小領域とでは3×2の小領域の方がサイズが大きい。
【００５０】
具体例として、単位ブロックのサイズが16x16の場合、
n=8； u = 12×8又は8×12； v = 8×4又は4×8； t =4×4；m = 4
とすると、5398種類の分割方法がある。また、上記の条件でn = 4 とすれば258 種類の分割、n = 3 とすれば49 種類の分割がある。
【００５１】
このように、一般的な制約[1]〜[4]下で各パラメータとしてのn,u,v,t及びmに所定の値を設定して求めた分割を利用してもよいし、当該分割に対してさらなる選択として、マニュアルで類似した分割を代表して１つにまとめる等した分割を利用してもよい。このようにして事前に用意しておき、適応分割手段２０で選択できるようにしておく分割の仕方の各々を分割種、当該ひとまとまりの分割種の組み合わせを分割種のセットと呼ぶこととする。分割種のセットの例を図５、図６及び図７に示す。
【００５２】
図５に示す分割種のセットは、分割種Ａ０〜Ａ１１の全12種類からなる。図６に示す分割種のセットは、分割種Ｂ０〜Ｂ２７の全28種類からなる。また図７に示す分割種のセットは、分割種Ｃ０〜Ｃ３２の33種類として示されているが、これは上記のn = 4 とし全258 種類の分割を、回転や対称でまとめた各代表としての分割種を示したものである。図７では、全ての分割種に当該分割種の適用による単位ブロックの分割によって、n個の小領域が生ずることを[n分割]として併記している。また図７では、点線を用いて描かれている分割種については点線のいずれか１本以上を実際に分割する実線として選ぶことで、併記する分割数の小領域を与える分割種となる。
【００５３】
図８は図７の補足説明として、例えば図７の分割種Ｃ４がどのようにまとめられているかを示す図である。３つの点線Ｄ０、Ｅ０又はＦ０の中から１本を選ぶことで、分割数が３となる分割種がそれぞれＤ１、Ｅ１又はＦ１と定まる。またこれら分割種Ｄ１、Ｅ１及びＦ１を90°、180°、270°回転（時計回り）したものも全て異なる分割種であり、分割種Ｄ２乃至Ｆ４として定まる。このように、分割種Ｃ４は点線の中から１本を選び且つ回転を考えることで、分割種Ｄ１乃至分割種Ｆ４の１２個の分割種をまとめて表したものである。
【００５４】
上記分割種Ｃ４のようにまとめて表記することで、図７は258種からなる分割種のセットの例を示している。図５及び図６はそれぞれ、当該258種の分割種のセットから類似した分割種を１つにまとめることで作成された分割種のセットの例である。なお、図７は上記説明のように単位ブロックを16×16として作成された分割種のセットであるが、相似拡大又は縮小により、16×16とは別サイズの単位ブロックに用いてもよい。図５及び図６も同様である。
【００５５】
本発明においては上記制約[1]〜[4]のもとさらにマニュアル選択される好ましい分割種セットの特徴の例として、(1)正方形の単位ブロック全体をそのまま1個の小領域とする分割種（例えば図５の分割種Ａ０）と、単位ブロックよりも小さい正方形及び当該正方形に接する非正方形を小領域として含む分割種（例えばＡ４，Ａ６，Ａ９，Ａ１１）とを含むセット、がある。当該(1)によれば単位ブロックサイズが固定されていても、画像に応じて当該画像内で適応的にブロックサイズを可変とするのと同等の効果が得られる。
【００５６】
また、好ましい分割種セットの特徴の例として(2)小領域同士の境界線が横方向のみ（分割種Ａ２など）及び／又は縦方向のみ（分割種Ａ３など）の分割種を含むセット、がある。(1)且つ(2)とすることでさらに多様な画像に対応して符号化効率を高めることができる。
【００５７】
以上のように、適応分割手段２０では、予め所与の分割種のセットを保持しておき、当該セットに含まれる各分割種で個別に符号化し、符号量と歪量から算出される符号化コストを最小化する分割種を選択する。当該選択の具体的なフローすなわち、入力画像を構成する単位ブロック毎に分割種を選択して符号化を行うフローを図９に示す。
【００５８】
当該フローは、各単位ブロックiにつき、全ての分割種jで分割を試み、各分割種jに含まれる小領域kの各々で最小の符号化コストを与える予測情報を適用して分割種jによる単位ブロックiの符号化コストを求め、最小の符号化コストを与える分割種を求めるものである。なお、各ステップにおいてカウンタi、j及びkを管理し、各機能ブロックに連係した動作を行わせる主体は画像符号化装置１自身、特に当該装置１に含まれる制御手段（図１には不図示）である。
【００５９】
ステップＳ０でフローが開始され、ステップＳ１では単位ブロックのカウンタiが初期値0に設定される。ステップＳ２ではi番目の単位ブロックが画像入力手段１０より画像符号化装置１へと読み込まれる。ステップＳ３では、適応分割手段２０に予め設定されている所与の分割種のセットに含まれる各分割種に対するカウンタjが初期値の0に設定される。
【００６０】
ステップＳ４では、j番目の種類の分割種jにより定められる複数の小領域（当該複数は１個のみの場合も含む）へと、適応分割手段２０がi番目の単位ブロックを分割する。当該分割は単位ブロックiに対する最小の符号化コストを算出するためのいわば仮分割であり、実際に符号化し、画像符号化装置１全体の出力として符号出力手段１００へ送るための分割はこれら仮分割の中から以降のステップにて決定される。ステップＳ５では、分割種jに含まれる各小領域に対するカウンタkが初期値の0に設定される。
【００６１】
ステップＳ６では、符号化対象の画素で構成される当該k番目の小領域kに対して最小の符号化コストとなる予測情報を、予測手段１１が決定する。当該コスト算出に際しては前述の通り、予測手段１１が予測情報の各々すなわち各予測モードmにつき当該小領域kの符号化コストc(m)を求めて、当該コストを最小とする予測モードm=mkを予測情報として決定する。
【００６２】
なお当該決定はステップＳ４での説明と同様、いわば仮決定である。ステップＳ６ではまた、続くk+1番目以降の小領域の予測情報の仮決定が行えるようにするため、当該仮決定された予測モードmkに従って予測手段１１乃至加算器１９が各処理を行うことで、蓄積手段２１に当該小領域kの仮決定に係る符号化済み画素が蓄積される。当該蓄積される符号化済み画素も、ステップＳ４の説明と同様に仮決定のものであって、符号出力手段１００に送られる最終決定の符号化済み画素とは一般には一致しない。
【００６３】
ステップＳ７では、全ての小領域kにつき符号化の処理が完了したかの判断が行われる。未処理の小領域が残っていればステップＳ８にてカウンタkを加算して次の符号化対象の小領域に対して再度ステップＳ６で仮決定及び対応する符号化を続ける。分割種jの定める全ての小領域kにつきステップＳ６が完了すれば、ステップＳ７よりステップ９へ進む。
【００６４】
なお、各分割種jの各小領域kには、上記順次符号化するための順序も予め定められているものとする。図１０に、当該順序の例を示す。ここでは図６の分割種Ｂ２４が例として示されており、４つの小領域(a)(b)(c)(d)に分割されている。この場合、符号化の順は小領域に付与したアルファベット順に(a)(b)(c)(d)であってもよく(第一の場合)、(a)(c)(d)(b)であってもよく(第二の場合)、いずれかが予め定められている。
【００６５】
上記第一の場合は、縦方向を符号化済みの領域で満たしながら順次横方向へ進むスタイルであり、上記第二の場合は、横方向を符号化済みの領域で満たしながら順次縦方向へ進むスタイルである。他の符号化済み単位ブロックと接している最も左上の小領域から開始して、上記第一又は第二のいずれかのスタイル又はその混合スタイルを各分割種につき設定すればよい。なお、適用可能な予測モードに制限が生じてしまうので、途中に単位ブロック内で符号化済みの小領域群が符号化前の領域を挟んで離れて現れるような順序（途中で符号化済み小領域群が単連結領域ではなくなる場合が生ずるような順序）は設定しない。図１０であれば例えば、(a)(d)(c)(b)等の順序は設定しない。
【００６６】
ステップＳ９では、当該分割種jで単位ブロックiを分割した場合の符号化コストCjを当該分割種jの各小領域kの符号化コストc(mk)の和Σc(mk)として算出し、記憶しておく。
【００６７】
ステップＳ１０では、全ての分割種jに対してステップＳ４乃至Ｓ９の処理が完了したか判断され、完了していなければステップＳ１１にてカウンタjを加算して未処理の分割種につきステップＳ４から繰り返す。完了していればステップＳ１２に進み、実際に符号化に用いる分割種jを決定する。当該決定においては、各分割種jにつきステップＳ９で求められた符号化コストCj＝Σc(mk)が最小となる分割種が選択される。
【００６８】
ステップＳ１２ではまた、最終決定した分割種jによる小領域k毎に単位ブロックiを実際に符号化し、符号出力手段１００及び蓄積手段２１に送る。この際、当該最終決定された分割種jについてもステップＳ６で符号化コストを算出する際に各小領域kを予測手段１１乃至蓄積手段２１で処理して既に符号化しているので、当該符号を保持していれば改めて符号化を行う必要はない。
【００６９】
ステップＳ１３では全ての単位ブロックiにつき分割種jの決定及び当該決定に従う符号化の処理が行われたかが判定される。完了していればステップＳ１５へ進みフローは終了し、完了していなければステップＳ１４へ進みカウンタiを加算してステップＳ２へ戻り、次の単位ブロックにつき処理を繰り返す。
【００７０】
なお、単位ブロックのサイズは所定のサイズが定められており、動画の各フレーム又は静止画に対してカウンタiにより順次ラスタースキャン順でステップＳ２において読み込まれる。
【００７１】
図１１は、以上の図９のフローにおいて仮決定の各分割種にて符号化コストを算出した後、最小コストの分割種を最終決定することで、実際に符号出力手段１００が受け取るストリームデータとしての符号情報の発生する順序を説明するフロー図である。
【００７２】
ステップＳ２０でフローが開始すると、ステップＳ２１で単位ブロックのカウンタiが初期値の0に設定される。ステップＳ２２で当該単位ブロックiの符号化が開始する。ステップＳ２３では、最終決定により単位ブロックiに対して適用される分割種j=j(i)の情報などが符号化される。ステップＳ２４では、当該分割種j(i)により定まる各小領域kが順次、符号化される。当該符号化においては、予測情報（適用された予測モード）及び量子化値が符号化される。当該量子化値は、当該予測情報に従って補償手段１２乃至量子化手段１５によって順に予測画素、予測残差、変換係数、量子化値と加工されて得られたものである。
【００７３】
なお、当該各小領域kの符号化順序は、図１０で説明した通り、分割j(i)において所与の順序が定まっている。すなわち、前ステップＳ２３にて符号化された分割種j=j(i)の情報に当該符号化順序の情報も含まれる。
【００７４】
全ての小領域kを符号化すると、ステップＳ２５で当該単位ブロックiの符号化が完了する。ステップＳ２６では全ての単位ブロックiの符号化が完了したかの判断が行われ、未完了であればステップＳ２７へ進んでカウンタiを加算して次の単位ブロックにつきステップＳ２２から繰り返す。ステップＳ２６で完了していればステップＳ２８へ進み、終了する。
【００７５】
図１２は適応分割手段２０の細部の機能ブロック図であり、図１３は補償手段１２の細部の機能ブロック図である。適応分割手段２０は、分割種セット保持部２０１、符号化済みチャネル情報記憶部２０２、分割種識別番号付与部２０３及び予測情報識別番号付与部２０４を含み、当該各部は適応分割手段２０の追加的機能を担う。補償手段１２は、小領域単位一括補償部１２１、画素単位反復補償部１２２及び切替部１２３を含み、当該各部は補償手段１２の追加的機能を担う。以下、これらの各部の機能について説明する。
【００７６】
分割種セット保持部２０１は、符号化の単位ブロックのサイズに応じて異なる所定の分割種のセットを複数保持する。ここで特に、サイズの大きな単位ブロックに対応するセットほど含まれる分割種の数が多く、逆にサイズの小さな単位ブロックに対応するセットほど含まれる分割種の数が少ないという関係を満たすような所与の複数のセットを保持する。
【００７７】
例えば、単位ブロックのサイズが4×4、16×16及び64×64の3種類であれば、最小のサイズ4×4に対応する分割種のセットは図５に示した全12種類の第一のセットであり、中間のサイズ16×16に対応する分割種のセットは図６に示した全27種類の第二のセットであり、最大のサイズ64×64に対応する分割種のセットは図７に示した全258種類の第三のセットであってよい。
【００７８】
当該関係を満たすセットの利用により、より大きなサイズは制御情報が占める割合が比較的小さいので、分割数を多く設定し、より小さなサイズには少なく設定することで、各サイズにおいて効率的な符号化が行われるという効果がある。なお同様に本発明では、非正方の矩形も含む多彩な分割を分割種のセットとして用意するため、基本的には単位ブロックのサイズは比較的大きく設定することが望ましい。
【００７９】
実際にいずれのサイズの単位ブロック及び対応する分割種セットを利用するかは、マニュアル設定でもよいし、静止画であれば全ての単位ブロックのサイズ（及び対応する分割種セット）で符号化を試みて、その中から符号化コストの最小となるものを利用するようにしてもよい。動画であれば最初のフレーム又は所定間隔のフレーム毎で上記静止画と同様に最小となるものを求めて、以降のフレームは当該単位サイズを利用するようにしてもよい。
【００８０】
符号化済みチャネル情報記憶部２０２は、各単位ブロックにつき図９のフローによって符号化済みの第一のチャネルの画素に対して最終決定され選択された分割種の情報と、当該分割種に含まれる各小領域において適用された予測情報とを記憶し、当該単位ブロックにおける符号化前の第二のチャネルの画素を符号化するに際して、記憶されている第一のチャネルにおける分割種と対応する各小領域の予測情報とをそのまま適用できるようにする。
【００８１】
当該適用の例を図１４に示す。ここでは例として三原色のRGBチャネルにおいて、(1)に示す第一のチャネルであるG信号のフレームと、(3)に示す第二のチャネルであるR信号のフレームとが示されている。(1)に示すように、G信号の単位ブロックIG0は図９のフローにより既に符号化済みである。単位ブロックのサイズは4×4であり、分割種のセットとしては図５のセットを利用し、予測モードは図３の予測モードを利用することで、当該単位ブロックIG0は(2)に示すように分割種Ａ１により４個の2×2小領域に分割され、各々の小領域にはラスタースキャン順に予測モード０，１，２及び３が適用されている。
【００８２】
当該符号化の結果(2)を符号化済みチャネル情報記憶部２０２が記憶することで、符号化済みの第一のチャネルの単位ブロックIG0と同位置及び同時刻の、(3)に示す符号化前の第二のチャネルの単位ブロックIR0には(2)と同じ分割種及び各小領域の予測情報が(4)に示すように適用される。なお動画像を想定してフレームとして説明しているが、静止画であってもよい。
【００８３】
当該適用により、第二のチャネルにおいては図９のループＬ１及びループＬ２を省略することができる。すなわち、各分割種につき各小領域の符号化コストを最小にする予測情報を求めて（ループＬ２）、各分割種のうちの符号化コストを最小にする分割種を求める（ループＬ１）ことを省略して、計算負荷を低減することができる。また通常信号のチャネル間には相関があるので、当該省略が符号化効率に悪影響を与えることは少ない。
【００８４】
また当該適用により、符号量も減らすことができる。すなわち、第一のチャネル及び第二のチャネルで共有される分割種の情報および各小領域の予測情報と、第一のチャネルの（予測残差から算出された）量子化値と、第二のチャネルの（予測残差から算出された）量子化値とを符号化すればよいので、共有された部分の符号量が第一と第二のチャネルとで別個に符号化する場合よりも節約される。当該共有の旨はフラグ情報として一度符号化すれば、以降は共有に係る処理が継続されるようにしてもよい。さらに例えばB信号など、第三のチャネルについても同様に、分割種の情報及び各小領域の予測情報を第一のチャネルと共有して符号量を減らすと共に計算負荷を下げてもよい。
【００８５】
分割種識別番号付与部２０３は、所定数の符号化対象単位ブロックを予め符号化した際の各分割種の選択された割合を記憶し、以降の符号化対象ブロックの符号化に際して用いる分割種セット内の各分割種の識別番号を再付与する。ここで当該再付与に際して、選択された割合が大きい分割種ほど小さい識別番号を再付与することで、以降の分割種もほぼ同様の割合で選択されるという仮定のもと、分割種の情報の符号量を低減することができる。
【００８６】
例えば、分割種セットとして図５の分割種Ａ０〜Ａ１１を用いて所定量の符号化を実施し、実際の符号化に際して最も多く選択された分割種が上位から順に分割種Ａ３，Ａ０，Ａ１…であったとする。この場合、以降の符号化に際しては、分割種Ａ３に識別番号0を付与し、分割種Ａ０に識別番号1を付与し、分割種Ａ１に識別番号2を付与し、…といったように付与することとなる。
【００８７】
予測情報識別番号付与部２０４は、分割種識別番号付与部２０３と類似の符号量低減効果を奏する機能を担い、所定数の符号化対象単位ブロックを予め符号化した際の、分割種のセットに属する全ての分割種に含まれる小領域の各形状に対して決定された各予測モードの割合を記憶し、以降の符号化対象ブロックの符号化に際して用いる、小領域の各形状における予測モードの識別番号を再付与する。ここで当該再付与に際しては、各形状毎に別個の再付与を行い、選択された割合が大きい予測モードほど小さい識別番号を再付与することで、以降の予測モードも当該形状の小領域に対してほぼ同様の割合で選択されるという仮定のもと、予測モードの符号量を低減することができる。
【００８８】
図１５は、当該各形状に対する予測モードの識別番号再付与を説明するための例を示す図である。図１５のＧ１〜Ｇ１２は、分割種のセットとして図５のＡ０〜Ａ１１を用いた場合の、小領域の各形状を表している。すなわち、Ａ０〜Ａ１１の単位ブロックサイズが4×4であるとすれば、形状Ｇ１（サイズ4×4）は分割種Ａ０に、形状Ｇ２（サイズ3×3）は分割種Ａ４，Ａ６，Ａ９及びＡ１１に、形状Ｇ３（サイズ2×2）は分割種Ａ１に、形状Ｇ４（サイズ1×1）は分割種Ａ４，Ａ６，Ａ９及びＡ１１に、それぞれ少なくとも１個含まれる小領域の形状である。
【００８９】
このような各形状と、当該形状の小領域を含む分割種との対応はテーブルＴ１に示すとおりである。なお上記と同様に単位ブロックのサイズを4×4とすると形状Ｇ５〜Ｇ１２のサイズは次の通りである。
Ｇ５（サイズ3×2）；Ｇ６（サイズ2×3）；
Ｇ７（サイズ4×1）；Ｇ８（サイズ3×1）；Ｇ９（サイズ2×1）；
Ｇ１０（サイズ1×4）；Ｇ１１（サイズ1×3）；Ｇ１２（サイズ1×2）
【００９０】
予測情報識別番号付与部２０４は、このような各形状毎に、決定された予測モードの割合を記憶する。例えば図３の予測モードを利用するとして、分割種Ａ０に現れる形状Ｇ１については予測モード1が最も多く全体の8割決定され、分割種Ａ４，Ａ６，Ａ９又はＡ１１に現れる形状Ｇ２については予測モード2が最も多く全体の9割決定され、等といった各形状における各予測モードの決定割合を記憶する。そして、形状Ｇ１に適用される予測モードについては予測モード1に最も小さい識別番号を、形状Ｇ２に適用される予測モードについては予測モード2に最も小さい識別番号を付与する等して、予測モードの符号量を低減する。
【００９１】
なお、分割種識別番号付与部２０３及び予測情報識別番号付与部２０４においては、それぞれ識別番号を再付与するため予め符号化する所定数の符号化対象ブロックは、動画像であれば開始時刻の１フレーム、又は所定間隔のフレーム毎として、以降のフレームの符号化に際して当該再付与された識別番号を利用するようにしてよい。静止画であれば各静止画につきラスタースキャン順の若い側の所定数としてもよく、また、ある一枚の静止画全体を予め符号化しておいて以降読み込むその他の静止画に再付与の識別番号を適用してもよい。
【００９２】
なおまた、当該所定数の符号化対象単位ブロックを予め符号化しておくに際しては、分割種識別番号付与部２０３では各分割種に対して、予測情報識別番号付与部２０４では各形状における各予測モードに対して、所与の初期値としての識別番号を付与しておく。
【００９３】
小領域単位一括補償部１２１は、各小領域に対する予測画素の生成を、図４等で説明したような通常の方式で行う。すなわち図４の(2)(3)のように隣接画素領域の画素の値を変えずにそのまま予測値とする、又は(5)(6)のように平均演算を施すなどして予測値とすることで、小領域に対してその全体を一括で予測画素を求める。
【００９４】
これに対して、画素単位反復補償部１２２は、小領域に対して全体一括で予測画素を求めるのではなく、画素単位で予測画素を順次反復的に生成する。図１６に当該反復生成を概念的に示す。図１６では小領域Ｂ１００の画素に対して図３の予測モード0における予測画素の反復生成を、時系列(1)〜(4)で示している。
【００９５】
(1)において画素Ｐ１は、予測モード0すなわち垂直予測における垂直方向で後方の近傍画素領域Ｒ１の重み付き平均として予測される。続いてＰ１から垂直方向の画素Ｐ２も、(2)に示すように近傍画素領域Ｒ２の重み付き平均として予測され、同様にＰ２の垂直方向の画素Ｐ３が(3)に示すように近傍画素領域Ｒ３の重み付き平均として予測され、さらにＰ３の垂直方向の画素Ｐ４が(4)に示すように近傍画素領域Ｒ４の重み付き平均として予測される。
【００９６】
一般に、距離の近いＰ１の画素値は隣接画素領域Ｒ１内の直近の画素の画素値と近く、距離の最も遠いＰ４の画素値はＰ１に対する隣接画素領域Ｒ１の画素値とは乖離が大きくなる傾向がある。よって特に最も遠いＰ４の画素値についてはＲ１のいずれかの画素を直接予測値とするのではなく、Ｒ１及びその他の領域の平均を採用した方が全体として符号化効率が高まることが多い。このことは特に単位ブロックのサイズが大きくなり小領域も大きくなる場合に、より顕著となる。
【００９７】
画素単位反復補償部１２２によれば、上記の距離の近い画素と遠い画素との両者の全体を考慮した予測値を得るという効果を奏する。すなわち、符号化済みの隣接画素領域Ｒ１との距離が近い画素Ｐ１等の予測値は当該隣接画素領域Ｒ１の直近の画素値自体に近くなり、隣接画素領域Ｒ１との距離が遠い画素Ｐ４等の予測値は隣接画素領域Ｒ１等の平均値へ近くなる。当該効果は換言すれば、Ｐ１のような近い画素については図３の予測モード0(垂直予測)の効果が強く得られ、Ｐ４のような遠い画素については予測モード2(平均値予測)の効果が強く得られることで、小領域の全体としていわばハイブリッド方式の予測が適用され、符号化効率が高まるという効果である。
【００９８】
なお、図１６の(2)〜(4)で予測値を求めるには、符号化対象の小領域Ｂ１００に属するＲ２〜Ｒ４の予測値が求まっている必要があるが、次の具体例により当該予測値も求まることが説明される。図１７及び図１８に、画素単位反復補償部１２２による反復補償の具体例を示す。図１７では(A)の座標値が付記された画素x(1,0)〜x(4,0)及びx(0,1)〜x(0,3)が符号化済みの隣接画素領域であり、符号化対象の小領域は座標値が付記された画素y(1,1)〜y(3,3)のサイズ3×3の領域である。またy(1,1)の上部に付記した[1]等は、当該小領域内で反復補償が実行される順番を示す。
【００９９】
また、(B)は各画素y(i,j)を予測するに際して重み付け平均を行う画素の位置と、重み付けの係数の例とを示している。すなわち、予測に用いる画素は例えば位置が(i-1, j-1), (i, j-1), (i+1, j-1)の符号化済み画素x又は予測済み画素yであり、それぞれの位置の画素に対する重み付け係数が1/4, 1/2, 1/4である。方向Ｄ１０は予測の方向であり、当該例では図３の予測モード0(垂直予測)で反復補償を行う。以上(A)(B)の説明より、以下のように順次、反復予測が行われる。
【０１００】
[1] y(1,1)=x(0,0)/4 + x(1,0)/2 + x(2,0)/4
[2] y(2,1) = x(1,0)/4 + x(2,0)/2 + x(3,0)/4
[3] y(3,1) = x(2,0)/4 + x(3,0)/2 + x(4,0)/4
[4] y(1,2) = x(0,1)/4 + y(1,1)/2 + y(2,1)/4
[5] y(2,2) = […以下同様であり省略]
【０１０１】
このように、(B)に示す方向Ｄ１０の垂直予測の場合であれば、予測値を求める画素y(i,j)に対して、Ｄ１０に垂直な直線Ｌ１０の後方の領域Ｒ１０が符号化済み画素x又は予測済み画素yの領域となるように、(A)に示すように当該Ｌ１０の方向に並ぶ画素を順次[1]〜[3]と予測しながら、[1],[4],[7]のようにＤ１０の方向へと進めていけばよい。
【０１０２】
同様のことが可能であればＲ１０内の所望の領域を所望の係数によって重み付けして予測を行ってもよい。当該例では重み付け係数は図中の各位置に対して1/4, 1/2, 1/4と固定したが、当該係数及び予測に用いる画素の位置は予測値を求める画素毎に変動させてもよい。
【０１０３】
特に、上記例では[6]番目にy(3,2)を予測する際にy(4,1)の位置の画素が以降の符号化対象ブロック又は小領域に属する場合が多く一般には利用できないので、重み付け係数が1/4, 1/2, 1/4及び予測に用いる画素の位置を修正して、例えば次のように予測する。
[6] y(3,2) = {y(2,1)/4 + y(3,1)/2} × (4/3)
また、[9]番目のy(3,3)についてもy(4,2)が一般には利用できないので上記と同様にすればよい。なお、当該小領域が図１０の(2)の順序における(b)のような位置にあれば上記y(4,1)やy(4,2)も符号化済み画素として利用できるので、その他の画素と同様に係数1/4, 1/2, 1/4を用いて予測してよい。
【０１０４】
なお、符号化済み画素から画素の位置が遠ざかるにつれ、その予測値が符号化済み画素領域の平均値へと収束していく必要がある。よって、各画素の予測値を求めるための各重み付け係数αは0≦α≦1であって、且つ予測に用いる全画素での係数の和が1であるという条件を課すことが好ましい。
【０１０５】
図１８は図３における予測モード4における反復補償の例であり、予測の方向は(B)の方向Ｄ２０として示され、(A)に示す符号化済み隣接画素領域及び符号化対象の小領域は図１７と共通である。この場合、図１７での反復補償との差異点として、(A)に示すように反復補償の順序が変わること、(B)に示すように予測に用いる画素の位置及び重み付け係数が変わること、が挙げられるが、方向Ｄ２０が図１の方向Ｄ１０から45°異なるためである。この場合も同様に、以下のように順次反復補償を行うことができる。
【０１０６】
[1] y(1,1) = x(0,1)/2 + x(1,0)/2
[2] y(1,2) = x(0,2)/2 + y(1,1)/2
[3] y(2,1) = y(1,1)/2 + x(2,0)/2
[4] y(1,3) = x(0,3)/2 + y(1,2)/2
[5] y(2,2) = […以下同様であり省略]
【０１０７】
ここでは、(B)に示すように予測の方向Ｄ２０と垂直な直線Ｌ２０の後方の領域Ｒ２０が符号化済み画素x又は予測済み画素yの領域となるように、(A)に示すように当該Ｌ２０の方向に並ぶ画素を順次予測しつつ、Ｄ２０の方向へと進めていけばよく、当該予測の方向に対する予測の順序の設定は図１７と同様である。各係数の設定変更等についても図１７と同様である。
【０１０８】
図１７及び図１８の例と同様にして、図３のその他の方向の予測モードにおいても反復予測を実行することができる。なお、予測モード2(平均値予測)の適用に際しては、当該モードでは予測の方向が定義されないため、反復予測は省略され、小領域の全画素の予測値として平均値を採用する。
【０１０９】
なお、画素単位反復補償部１２２による予測画素の生成に際しては、上記のような画素毎の反復的な計算を行う結果として、小領域内の各点yにつき符号化済みの隣接画素領域の各画素xに対して所与の重み係数を掛けて足し合わせた値が、予測値として用いられることとなる。ここで当該所与の重み係数は、当該画素yと画素xとの距離が大きいほど小さく、また当該画素xから画素yへ至る方向が予測モードの定める方向と揃っているほど大きくなるという性質を有する。
【０１１０】
反復計算を行う代わりに、上記の各画素xから各画素yを予測する係数を予め求めて一括で予測画素を求めてもよいが、当該係数はマトリクス状であり且つ小領域の形状と予測モードとのペア毎に用意する必要があるため、図１７の係数1/4, 1/2, 1/4等と比べると符号量の点で不利となる。係数1/4, 1/2, 1/4等であれば、小領域の形状と予測モードとの全ペアに対して、予測対象の画素からの相対位置が、各予測モードの定める方向における所定の位置となる画素に対して当該係数1/4, 1/2, 1/4等を共通で用いることができるので、符号量が少なくなる。
【０１１１】
切替部１２３は、小領域単位一括補償部１２１と画素単位反復補償部１２２とのいずれを符号化のために用いるかを切り替える。切り替えの判断としては、各小領域毎に小領域単位一括補償部１２１を適用した場合と画素単位反復補償部１２２を適用した場合とでの前記符号化コストを比較して、コストの低い方に切り替える。すなわち図９のステップＳ９を、各予測モードでの小領域単位一括補償部１２１の適用と、各予測モードでの画素単位反復補償部１２２の適用と、について行い、最小コストの場合を求めることとなる。
【０１１２】
図１９は、画像復号装置３にて各単位ブロックの各小領域毎に順次復号を行うフローの図である。図１９の各ステップ（Ｓ３０〜Ｓ３８）は図１１の各ステップ（Ｓ２０〜Ｓ２８）とそれぞれ対応する。
【０１１３】
ステップＳ３０でフローを開始し、ステップＳ３１では復号を行う単位ブロックのカウンタiを初期値0に設定し、ステップＳ３２で単位ブロックiの復号を開始する。ステップＳ３３では復号手段３１が図１１のステップＳ２３で符号化された符号情報を復号し、対応する情報を得る。
【０１１４】
すなわちステップＳ３３では、単位ブロックiを復号するための前提の情報としての、当該単位ブロックiに適用された分割種j=j(i)の情報などを得る。当該情報には前述の通り、分割種を構成する各小領域kの位置及び形状並びに復号順序の情報などが含まれる。
【０１１５】
ステップＳ３４では、小領域kを順次復号する。このため復号手段３１は、各小領域kにつきステップＳ２４で順次符号化された情報を順次復号して、予測情報（適用された予測モード）及び量子化値を得る。
【０１１６】
当該予測情報には、小領域kに適用された予測モードの情報や、小領域単位一括補償部１２１と画素単位反復補償部１２２とのいずれを適用したかの情報や、画素単位反復補償部１２２適用であればその係数の情報などが含まれる。また、符号化済みチャネル情報記憶部２０２を利用した場合には、分割種の情報に第一及び第二のチャネルでの共有の旨の情報が含まれる。
【０１１７】
ステップＳ３４では小領域kを復号して復号済み画素として画像出力手段３００へ送ると、k+1以降の小領域を順次復号するため、蓄積手段４１に蓄積する。この際、（復号側）逆量子化手段３７乃至蓄積手段４１は符号化装置１側の対応する機能ブロックと同様に機能する。ただし、（復号側）適応分割手段４０等は、(符号化側)適応分割手段２０等における図９のフローのような全ての分割種での分割等を試みる必要はない。
【０１１８】
すなわちステップＳ３４では、適応分割手段４０は復号された分割種j=j(i)に従って単位ブロックi内に小領域kを、復号を行う単位となる領域として再設定するのみでよい。補償手段３２は当該再設定された小領域kに対して、蓄積手段４１の復号済み画素と復号された予測情報とを用いて、予測画素を復号する。また加算器３９が、復号された予測残差と復号された予測画素とを加算して、復号画素とする。当該復号された予測残差は、復号された量子化値を逆量子化手段３７及び逆変換手段３８で処理することで得られる。
【０１１９】
ステップＳ３４で全ての小領域kにつき処理が終わると、ステップＳ３５において単位ブロックiの復号が完了し、ステップＳ３６では全ての単位ブロックが処理完了したか確認する。未完了であればステップＳ３７にてカウンタiを加算し、次の単位ブロックに対して再びステップＳ３２から繰り返し処理を行う。完了であればステップＳ３８へ進み、フローは終了する。
【０１２０】
なお、画像符号化装置１側にて図１２に示す適応分割手段２０の各細部の機能ブロック（符号化済みチャネル情報記憶部２０２以外）を利用した場合は、初期値i=0又は各機能ブロックの適用された所定のiにおける単位ブロックの復号開始ステップＳ３２において対応する各情報を復号して、単位ブロックのサイズや予測モードへの識別番号割り当てなどにつき、符号化装置１側で符号化したのと同設定としたうえで復号を行えばよい。
【０１２１】
以上、本発明の画像符号化装置１によれば、各単位ブロックの分割に際して、予め指定された非正方形状を含む小領域へ適応的に分割するとともに、小領域に応じた予測手段及び符号化・復号手段を適用することで、符号化効率が向上する。
【０１２２】
特に、本発明では図５〜図７のような多彩な分割種を用意しておくことで、例えば図５のセットを用いる場合であれば、画素値が平坦な領域では自動的に分割種Ａ０のような広い小領域の分割種が選択され、画素値の変化の激しい領域では分割種Ａ２，Ａ３，Ａ１等の細かい小領域の分割種が選択され、またそれらの中間的な領域に最適な小領域を含む分割種も適宜選択される。このようにして、単位ブロックのサイズが固定されていても、画素値の分布に応じて単位ブロックのサイズが自動可変するのと同等の効果が得られる。
【０１２３】
また小領域の形状も符号量が過度に増えないような前記制約[1]〜[4]のもとで多彩に用意しておき、且つ図９のフローにおいて、各分割種jの各小領域kに対して各予測モードmで符号化コストc(m)を試算する。この際、小領域kの形状によって利用できる予測モードmに制限を設けることをせず、共通に用いられる予測モードmの全ての中から最適なものを選ぶようにしているので、符号化効率が向上する。
【０１２４】
例えば図３の予測モードのもと、図５のサイズ4×1の横長の小領域が4個含まれる分割種Ａ２を適用する場合、一般的には直近の画素が値が近いことが多いので予測モード0(垂直予測)が良い予測値を与える場合が多いが、本発明ではこの逆の場合で例えば画素が遠くなる予測モード1(水平予測)が良い予測値を与える場合その他にも対応して、符号化効率を高めることができる。
【符号の説明】
【０１２５】
１…画像符号化装置、１１…予測手段、１２…補償手段、１３…差分器、１４…変換手段、１５…量子化手段、１６…符号化手段、１７…逆量子化手段、１８…逆変換手段、１９…加算器、２０…適応分割手段、２１…蓄積手段、３…画像復号装置、３１…復号手段、３７…逆量子化手段、３８…逆変換手段、３９…加算器、３２…補償手段、４０…適応分割手段、４１…蓄積手段
【特許請求の範囲】
【請求項１】
複数の画素から構成される単位ブロックの各画素に対して、符号化済み画素から各画素を予測する予測情報を決定する予測手段と、
予測情報に基づいて各画素の予測画素を生成する補償手段とを備え、
当該各画素とその予測画素との間で差分処理を行って得られた予測残差に対して直交変換及び量子化を行って量子化値となし、単位ブロック毎に符号化を行う画像符号化装置において、
単位ブロックの複数の小領域への分割を定める分割種のセットの中から分割種を選択して分割する適応分割手段を備え、
前記選択された分割種において分割して得られた小領域の各々を構成する画素につき順次、前記予測手段が予測情報を決定し、前記補償手段が予測画素を生成することにより、前記単位ブロック毎に符号化を行うに際して、単位ブロック毎に選択された分割種の情報が符号化され且つ小領域毎に量子化値及び予測情報が符号化されることを特徴とする画像符号化装置。
【請求項２】
前記セットにおける各分割種が、小領域が全て矩形であることと、小領域の総数が所定の上限以下であることと、小領域うちの最大サイズ又は最小サイズが所定サイズ以上であることと、最小サイズとなる小領域の個数が所定個数以下であることと、を満たすことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記適応分割手段は単位ブロック毎に前記セットにおける各分割種を仮選択し、当該仮選択された分割種において分割した小領域毎に前記予測手段が符号化コストを最小になるよう予測情報を決定することで当該単位ブロックの全体としての符号化コストを求め、該符号化コストが最小となる分割種を前記選択することを特徴とする請求項１または２に記載の画像符号化装置。
【請求項４】
前記適応分割手段は分割種セット保持部を含み、該分割種セット保持部が前記分割種のセットを単位ブロックのサイズ毎に複数保持することで、前記適応分割手段は符号化を行う単位ブロックのサイズに応じたセットの中から分割種を選択し、
前記複数保持されたセットにおいて対応する単位ブロックのサイズが大きいセットほど当該セットに属する分割種の数が多いことを特徴とする請求項１ないし３のいずれかに記載の画像符号化装置。
【請求項５】
前記適応分割手段は符号化済みチャネル情報記憶部を含み、該符号化済みチャネル情報記憶部は、単位ブロック毎に符号化済みの第一のチャネルの画素において前記選択された分割種の情報及び対応する小領域毎の予測情報を記憶することで、前記画像符号化装置は当該単位ブロックにおける符号化前の第二のチャネルの画素に対して当該記憶された分割種及び予測情報を適用して小領域毎の量子化値を求め、
前記第一及び第二のチャネルの画素の符号化に際しては、当該第一及び第二のチャネルの間で前記記憶することにより共有された分割種の情報及び予測情報と、当該第一及び第二の各チャネルの量子化値とが符号化されることを特徴とする請求項１ないし４のいずれかに記載の画像符号化装置。
【請求項６】
前記適応分割手段は分割種識別番号付与部を含み、該分割種識別番号付与部は前記画像符号化装置にて予め所定数の単位ブロックを符号化した際に各分割種が前記選択された割合に基づいて、前記符号化するための分割種の情報に用いる識別番号として、前記割合が大きい分割種ほど小さい識別番号を付与することを特徴とする請求項１ないし５のいずれかに記載の画像符号化装置。
【請求項７】
前記予測情報は符号化対象の小領域をその周辺の符号化済み画素領域から予測する予測モードを指定する情報であって、
前記適応分割手段は予測情報識別番号付与部を含み、該予測情報識別番号付与部は前記符号化装置にて予め所定数の単位ブロックを符号化した際に前記セットに属する全分割種における小領域の各形状につき決定された各予測モードの割合に基づいて、前記符号化するための予測情報としての予測モードに、小領域の各形状につき前記決定された割合が大きい予測モードほど小さい識別番号を付与することを特徴とする請求項１ないし６のいずれかに記載の画像符号化装置。
【請求項８】
前記補償手段は画素単位反復補償部を含み、該画素単位反復補償部は前記小領域毎に予測画素を生成するに際して、予測情報にて定まる予測に用いる符号化済み画素より予測対象の画素へ至る方向に向けて順次、生成しようとする予測画素の所定の近傍位置にある符号化済み画素及び／又は既に生成された予測画素に、所定の重み付け平均を施すことにより画素単位で予測画素を生成すると共に、当該既に生成された予測画素を符号化済み画素と合わせて以降の予測画素の生成に際して用いることを特徴とする請求項１ないし７のいずれかに記載の画像符号化装置。
【請求項９】
請求項１ないし８のいずれかに記載の画像符号化装置に対する画像復号装置であって、
前記符号化された単位ブロック毎に選択された分割種の情報並びに小領域毎の量子化値及び予測情報を復号する復号手段と、
前記復号された量子化値を逆量子化して復号された変換係数とする逆量子化手段と、該復号された変換係数を逆変換して復号された予測残差とする逆変換手段と、
前記復号された分割種の情報より、当該分割種にて定められる小領域を復号対象の単位ブロックに再設定する復号側適応分割手段と、
復号済み画素と前記復号された予測情報とに基づいて、前記再設定された小領域毎の復号された予測画素を生成する補償手段を備え、
前記再設定された小領域毎に、前記復号された予測残差と前記復号された予測画素とを加算して復号済み画素を得ることを特徴とする画像復号装置。
【請求項１】
複数の画素から構成される単位ブロックの各画素に対して、符号化済み画素から各画素を予測する予測情報を決定する予測手段と、
予測情報に基づいて各画素の予測画素を生成する補償手段とを備え、
当該各画素とその予測画素との間で差分処理を行って得られた予測残差に対して直交変換及び量子化を行って量子化値となし、単位ブロック毎に符号化を行う画像符号化装置において、
単位ブロックの複数の小領域への分割を定める分割種のセットの中から分割種を選択して分割する適応分割手段を備え、
前記選択された分割種において分割して得られた小領域の各々を構成する画素につき順次、前記予測手段が予測情報を決定し、前記補償手段が予測画素を生成することにより、前記単位ブロック毎に符号化を行うに際して、単位ブロック毎に選択された分割種の情報が符号化され且つ小領域毎に量子化値及び予測情報が符号化されることを特徴とする画像符号化装置。
【請求項２】
前記セットにおける各分割種が、小領域が全て矩形であることと、小領域の総数が所定の上限以下であることと、小領域うちの最大サイズ又は最小サイズが所定サイズ以上であることと、最小サイズとなる小領域の個数が所定個数以下であることと、を満たすことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記適応分割手段は単位ブロック毎に前記セットにおける各分割種を仮選択し、当該仮選択された分割種において分割した小領域毎に前記予測手段が符号化コストを最小になるよう予測情報を決定することで当該単位ブロックの全体としての符号化コストを求め、該符号化コストが最小となる分割種を前記選択することを特徴とする請求項１または２に記載の画像符号化装置。
【請求項４】
前記適応分割手段は分割種セット保持部を含み、該分割種セット保持部が前記分割種のセットを単位ブロックのサイズ毎に複数保持することで、前記適応分割手段は符号化を行う単位ブロックのサイズに応じたセットの中から分割種を選択し、
前記複数保持されたセットにおいて対応する単位ブロックのサイズが大きいセットほど当該セットに属する分割種の数が多いことを特徴とする請求項１ないし３のいずれかに記載の画像符号化装置。
【請求項５】
前記適応分割手段は符号化済みチャネル情報記憶部を含み、該符号化済みチャネル情報記憶部は、単位ブロック毎に符号化済みの第一のチャネルの画素において前記選択された分割種の情報及び対応する小領域毎の予測情報を記憶することで、前記画像符号化装置は当該単位ブロックにおける符号化前の第二のチャネルの画素に対して当該記憶された分割種及び予測情報を適用して小領域毎の量子化値を求め、
前記第一及び第二のチャネルの画素の符号化に際しては、当該第一及び第二のチャネルの間で前記記憶することにより共有された分割種の情報及び予測情報と、当該第一及び第二の各チャネルの量子化値とが符号化されることを特徴とする請求項１ないし４のいずれかに記載の画像符号化装置。
【請求項６】
前記適応分割手段は分割種識別番号付与部を含み、該分割種識別番号付与部は前記画像符号化装置にて予め所定数の単位ブロックを符号化した際に各分割種が前記選択された割合に基づいて、前記符号化するための分割種の情報に用いる識別番号として、前記割合が大きい分割種ほど小さい識別番号を付与することを特徴とする請求項１ないし５のいずれかに記載の画像符号化装置。
【請求項７】
前記予測情報は符号化対象の小領域をその周辺の符号化済み画素領域から予測する予測モードを指定する情報であって、
前記適応分割手段は予測情報識別番号付与部を含み、該予測情報識別番号付与部は前記符号化装置にて予め所定数の単位ブロックを符号化した際に前記セットに属する全分割種における小領域の各形状につき決定された各予測モードの割合に基づいて、前記符号化するための予測情報としての予測モードに、小領域の各形状につき前記決定された割合が大きい予測モードほど小さい識別番号を付与することを特徴とする請求項１ないし６のいずれかに記載の画像符号化装置。
【請求項８】
前記補償手段は画素単位反復補償部を含み、該画素単位反復補償部は前記小領域毎に予測画素を生成するに際して、予測情報にて定まる予測に用いる符号化済み画素より予測対象の画素へ至る方向に向けて順次、生成しようとする予測画素の所定の近傍位置にある符号化済み画素及び／又は既に生成された予測画素に、所定の重み付け平均を施すことにより画素単位で予測画素を生成すると共に、当該既に生成された予測画素を符号化済み画素と合わせて以降の予測画素の生成に際して用いることを特徴とする請求項１ないし７のいずれかに記載の画像符号化装置。
【請求項９】
請求項１ないし８のいずれかに記載の画像符号化装置に対する画像復号装置であって、
前記符号化された単位ブロック毎に選択された分割種の情報並びに小領域毎の量子化値及び予測情報を復号する復号手段と、
前記復号された量子化値を逆量子化して復号された変換係数とする逆量子化手段と、該復号された変換係数を逆変換して復号された予測残差とする逆変換手段と、
前記復号された分割種の情報より、当該分割種にて定められる小領域を復号対象の単位ブロックに再設定する復号側適応分割手段と、
復号済み画素と前記復号された予測情報とに基づいて、前記再設定された小領域毎の復号された予測画素を生成する補償手段を備え、
前記再設定された小領域毎に、前記復号された予測残差と前記復号された予測画素とを加算して復号済み画素を得ることを特徴とする画像復号装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−４２３８５（Ｐ２０１３−４２３８５Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７８３０９（Ｐ２０１１−１７８３０９）
【出願日】平成２３年８月１７日（２０１１．８．１７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年度、独立行政法人情報通信研究機構「高度通信・放送研究開発委託研究／超高精細映像符号化技術に関する研究開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１７日（２０１１．８．１７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年度、独立行政法人情報通信研究機構「高度通信・放送研究開発委託研究／超高精細映像符号化技術に関する研究開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]