予測映像の生成方法、装置及び記録媒体
【課題】 現在画像の色成分のそれぞれのマクロブロック別に色成分のそれぞれのマクロブロックに最適の予測モードを適応的に適用して動画の符号化及び復号化を行うことによって、動画の符号化及び復号化効率を高めうる。
【解決手段】 ビットストリームを復号化することによって、一つのシーケンスを構成する複数の色成分のブロックに対する一つの予測モードを表す情報を復元するステップと、
前記復元された情報によって、前記色成分のブロックに一律的に適用される予測モードを使用したり、前記色成分のブロックに独立的に予測モードを使用して前記現在映像の予測映像を生成するステップと、を含むことを特徴とする。
【解決手段】 ビットストリームを復号化することによって、一つのシーケンスを構成する複数の色成分のブロックに対する一つの予測モードを表す情報を復元するステップと、
前記復元された情報によって、前記色成分のブロックに一律的に適用される予測モードを使用したり、前記色成分のブロックに独立的に予測モードを使用して前記現在映像の予測映像を生成するステップと、を含むことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画を符号化する方法及び装置、動画を復号化する方法及び装置に係り、特に、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）ＦＲＥｘｔ（Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎｓ）標準分野における動画を符号化する方法及び装置、動画を復号化する方法及び装置に関する。
【背景技術】
【０００２】
“レジデュアル色変換”と呼ばれる新たなＲＧＢ符号化技術は、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣ ＦＲＥｘｔ標準化過程で開発された。これは、ＲＧＢ色空間をＹＣｂＣｒ色空間に変換する時に発生する画質の劣化を防止するためのものである。しかし、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣ ＦＲＥｘｔ上のＲＧＢ符号化及び復号化技術も、動画再生機器に適用するにはまだ動画の符号化及び復号化効率が十分に高くないという問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術的課題は、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣ ＦＲＥｘｔ上のＲＧＢ符号化技術の動画符号化及び復号化効率を高めうる装置及び方法を提供することである。
【０００４】
また、前記の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することである。
【課題を解決するための手段】
【０００５】
前記課題を解決するための本発明による符号化装置における予測画像の生成方法は、所定画像の特性に基づいて、現在画像の色成分のそれぞれのブロック別に前記色成分のそれぞれのブロックに最適の予測モードを選択するステップと、前記選択された予測モードによって、前記現在画像に対する予測画像を生成するステップと、を含む。
【０００６】
前記他の課題を解決するために、本発明は、前記の符号化装置における予測画像の生成方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【０００７】
前記さらに他の課題を解決するための本発明による符号化装置における予測画像生成装置は、所定画像の特性に基づいて、現在画像の色成分のそれぞれのブロック別に前記色成分のそれぞれのブロックに最適の予測モードを選択する選択部と、前記選択された予測モードによって、前記現在画像に対する予測画像を生成する生成部と、を備える。
【０００８】
前記さらに他の課題を解決するための本発明による符号化方法は、所定画像の特性に基づいて、現在画像の色成分のそれぞれのブロック別に前記色成分のそれぞれのブロックに最適の予測モードを選択するステップと、前記選択された予測モードによって、前記現在画像に対する予測画像を生成するステップと、前記現在画像と前記予測画像との差に該当する色成分のそれぞれのレジデューを生成するステップと、前記生成されたレジデューを符号化することによってビットストリームを生成するステップと、を含む。
【０００９】
前記さらに他の課題を解決するために、本発明は、前記の符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１０】
前記さらに他の課題を解決するための本発明による符号化装置は、所定画像の特性に基づいて、現在画像の色成分のそれぞれのブロック別に前記色成分のそれぞれのブロックに最適の予測モードを選択する選択部と、前記選択された予測モードによって前記現在画像に対する予測画像を生成し、前記現在画像と前記予測画像との差に該当する色成分のそれぞれのレジデューを生成する生成部と、前記生成されたレジデューを符号化することによって、ビットストリームを生成する符号化部と、を備える。
【００１１】
前記さらに他の課題を解決するための本発明による復号化装置における予測画像の生成方法は、ビットストリームを復号化することによって、現在画像の色成分のそれぞれのブロックに最適の予測モードを表す情報を復元するステップと、前記復元された情報が表す予測モードによって、前記現在画像に対する予測画像を生成するステップと、を含む。
【００１２】
前記さらに他の課題を解決するために、本発明は、前記の復号化装置における予測画像の生成方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１３】
前記さらに他の課題を解決するための本発明による復号化装置における予測画像生成装置は、ビットストリームを復号化することによって、現在画像の色成分のそれぞれのブロックに最適の予測モードを表す情報を復元する復号化部と、前記復元された情報が表す予測モードによって、前記現在画像に対する予測画像を生成する生成部と、を備える。
【００１４】
前記さらに他の課題を解決するための本発明による復号化方法は、ビットストリームを復号化することによって、現在画像の色成分のそれぞれのブロックに最適の予測モードを表す情報を復元するステップと、前記復元された情報が表す予測モードによって、前記現在画像と前記現在画像に対する予測画像との差に該当するレジデューを生成するステップと、前記復元された情報が表す予測モードによって、前記予測画像を生成するステップと、前記生成されたレジデューと前記生成された予測画面との合算に該当する復元画面を生成するステップと、を含む。
【００１５】
前記さらに他の課題を解決するために、本発明は、前記の復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１６】
前記さらに他の課題を解決するための本発明による復号化装置は、ビットストリームを復号化することによって、現在画像の色成分のそれぞれのブロックに最適の予測モードを表す情報を復元する復号化部と、前記復元された情報が表す予測モードによって、前記予測画像を生成する第１生成部と、前記復元された情報が表す予測モードによって、前記現在画像と前記現在画像に対する予測画像との差に該当するレジデューを生成し、前記生成されたレジデューと前記生成された予測画面との合算に該当する復元画面を生成する第２生成部と、を備える。
【発明の効果】
【００１７】
本発明によれば、現在画像の色成分のそれぞれのマクロブロック別に色成分のそれぞれのマクロブロックに最適の予測モードを適応的に適用して動画の符号化及び復号化を行うことによって、動画の符号化及び復号化効率を高めうる。特に、現在画像の色成分のそれぞれのマクロブロック別に、単一予測モード、複合予測モード、インター予測、イントラ予測、レジデュー変換、ＲＣＴ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）変換、ＩＰＰ（Ｉｎｔｅｒ−Ｐｌａｎｅ Ｐｒｅｄｉｃｔｉｏｎ）変換、ＲＣＰ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｐｒｅｄｉｃｔｉｏｎ）変換などの多様な符号化方式を選択的に適用することによって、動画の符号化及び復号化効率を極大化させうる。
【図面の簡単な説明】
【００１８】
【図１】本発明の望ましい一実施形態による動画符号化装置の構成図である。
【図２】図１に示されたレジデュー生成部の構成図である。
【図３】インター予測でのマクロブロックの分割方法を示す図である。
【図４】イントラ予測での予測様子を示す図である。
【図５】図１に示されたレジデュー生成部の他の構成図である。
【図６】図１に示されたレジデュー生成部のさらに他の構成図である。
【図７Ａ】本発明による望ましい一実施形態に適用される５−タブフィルタを示す図である。
【図７Ｂ】本発明による望ましい一実施形態に適用される３−タブフィルタとを示す図である。
【図８】図１に示されたレジデュー生成部のさらに他の構成図である。
【図９】図２に示された復元画像生成部の構成図である。
【図１０】本発明の望ましい一実施形態による動画復号化装置の構成図である。
【図１１】図１０に示された予測画像生成部の構成図である。
【図１２】図１０に示された復元画像生成部の構成図である。
【図１３】図１２に示されたレジデュー逆変換部の構成図である。
【図１４Ａ】本発明の望ましい一実施形態による動画符号化方法を示すフローチャートである。
【図１４Ｂ】本発明の望ましい一実施形態による動画符号化方法を示すフローチャートである。
【図１５】本発明の望ましい一実施形態による動画復号化方法を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明の望ましい実施形態を詳細に説明する。特に、以下の実施形態で、現在画像は、現在の動画符号化及び復号化の対象となる画像を意味し、参照画像は、現在画像の符号化または復号化に参照される画像を意味する。一般的に、参照画像は、現在画像の過去画像であるが、現在画像の未来画像となってもよく、複数の画像となってもよい。
【００２０】
図１は、本発明の望ましい一実施形態による動画符号化装置の構成図である。図１を参照するに、本実施形態による動画符号化装置は、最適モード選択部１１０、レジデュー生成部１２０、周波数空間変換部１３０、量子化部４００、エントロピー符号化部１５０、逆量子化部１６０、周波数空間逆変換部１７０、及び復元画像生成部１８０で構成される。
【００２１】
最適モード選択部１１０は、サンプル画像の特性に基づいて、現在画像の色成分のそれぞれのマクロブロック別に色成分のそれぞれのマクロブロックに最適の予測モードを選択する。ここで、色成分のそれぞれのマクロブロックは、相互対応するマクロブロックということを、当業者ならば理解できる。
【００２２】
例えば、最適モード選択部１１０は、現在画像の色成分のそれぞれのマクロブロックに最適である予測モードとして、現在画像の色成分のそれぞれのマクロブロックに一律的に適用される予測モード（以下、“単一予測モード”という）及び現在画像の色成分のそれぞれのマクロブロックに独立的に適用される予測モード（以下、“複合予測モード”）のうち何れか一つを選択しうる。
【００２３】
また、最適モード選択部１１０は、現在画像の色成分のそれぞれのマクロブロックに、最適の予測モードとして単一予測モード及び複合予測モードのうち何れか一つを選択し、これらのうち単一予測モードを選択した場合に、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する予測モード（以下、“レジデュー変換モード”という）を選択することもある。
【００２４】
また、最適モード選択部１１０は、現在画像の色成分のそれぞれのマクロブロックに、最適の予測モードとして単一予測モード及び複合予測モードのうち何れか一つを選択し、これらのうち単一予測モードを選択した場合に、ＲＣＴ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）変換を行う予測モード（以下、“ＲＣＴ変換モード”という）、ＩＰＰ（Ｉｎｔｅｒ−Ｐｌａｎｅ Ｐｒｅｄｉｃｔｉｏｎ）変換を行うモード（以下、“ＩＰＰ変換モード”という）、及びＲＣＰ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｐｒｅｄｉｃｔｉｏｎ）変換を行う予測モード（以下、“ＲＣＰ変換モード”という）のうち何れか一つを選択することもある。ＲＣＴ変換、ＩＰＰ変換、ＲＣＰ変換については後述する。
【００２５】
本実施形態で、サンプル画像としては、現在画像の以前画像のうち何れか一つが使われる。最適モード選択部１１０は、サンプル画像の色成分のそれぞれのマクロブロックに最適の予測モードを選択するために、このサンプル画像に対して全ての可能な予測モードを一つずつ順次に選択し、選択された予測モードによって符号化された全ての結果を比較して、多数の予測モードのうち、このサンプル画像の色成分のそれぞれのマクロブロックに最適の予測モードを選択する。以後、この予測モードが現在画像の色成分のそれぞれのマクロブロックに最適の予測モードとして使われる。
【００２６】
さらに詳細に説明すれば、最適モード選択部１１０は、現在画像の色成分のそれぞれのマクロブロックに最適である予測モードとして、サンプル画像を符号化した結果に該当するビットストリームの量及びサンプル画像とこのサンプル画像の復元画像との間の画質の歪曲が最も少ない予測モードを選択する。下記のものを参照するに、サンプル画像を符号化した結果に該当するビットストリームの量は、エントロピー符号化部１５０によって生成されたビットストリームの量となり、サンプル画像の復元画像は、復元画像生成部１８０によって生成された復元画像となる。
【００２７】
特に、本実施形態によれば、最適モード選択部１１０は、ラグランジアン最適化技法を使用して最適モードを選択する。すなわち、最適モード選択部１１０は、次の式（１）を利用して、原本画像と復元画像との差値を乗算して合算した値の平均から画質の歪曲を算出する。
【００２８】
【数１】
ここで、Ｄは、画質歪曲の程度を表し、ｐは、現在画像の画素値を表し、ｑは、以前画像の画素値を表し、ｉは、現在画像の現在マクロブロック内での画素のインデックスを表す。
【００２９】
また、最適モード選択部１１０は、次の式（２）を利用して画質の歪曲の程度とビットストリームの量のそれぞれの単位との差を調整するために、一定定数“λ”とビットストリームの量“Ｒ”とを積算し、この積算値と画質の歪曲の程度“Ｄ”とを合算することによって、現在画像の色成分のそれぞれのマクロブロックに最適の予測モードを選択するための最終値“Ｌ”を算出する。
【００３０】
【数２】
ここで、Ｒは、ビットストリームの量を表し、λは、所定の定数を表す。このような値を各予測方法別に計算した数Ｌが最も小さな予測方法を選択する。
【００３１】
前記のラグランジアン最適化技法によって実験を行えば、最適モード選択部１１０は、サンプル画像の色成分のそれぞれの類似性が高い場合には、単一予測モードを選択し、サンプル画像の色成分間の類似性が低い場合には、複合予測モードを選択する。
【００３２】
レジデュー生成部１２０は、最適モード選択部１１０によって選択された予測モードによって、色成分のそれぞれのマクロブロック別に現在画像に対する予測画像を生成し、現在画像と予測画像との差に該当するレジデューを生成する。そうでなければ、レジデュー生成部１２０は、最適モード選択部１１０によって選択された予測モードによって、色成分のそれぞれのマクロブロック別に現在画像に対する予測画像を生成し、現在画像と予測画像との差に該当する第１レジデューを生成し、色成分のそれぞれのマクロブロック別に第１レジデューの差に該当する第２レジデューを生成する。
【００３３】
周波数空間変換部１３０は、レジデュー生成部１２０によって生成されたレジデューを色空間から周波数空間に変換する。そうでなければ、周波数空間変換部１３０は、レジデュー生成部１２０によって生成された第２レジデューを色空間から周波数空間に変換する。Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣでは、色空間から周波数空間に変換する方式としてＤＨＴ（Ｄｉｓｃｒｅｔｅ Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）基盤の整数変換が導入された。
【００３４】
量子化部１４０は、周波数空間変換部１３０によって変換された値を量子化する。すなわち、量子化部１４０は、周波数空間変換部１３０によって変換された結果である周波数成分値を量子化パラメータで割って、その結果を整数値に近似化する。
【００３５】
エントロピー符号化部１５０は、量子化部１４０によって量子化された値をエントロピー符号化することによってビットストリームを生成し、これを出力する。特に、本実施形態によれば、エントロピー符号化部１５０は、動画符号化装置によって使われた予測モード、すなわち、最適モード選択部１１０によって選択された予測モードを表す情報も共にエントロピー符号化することによって、これを含むビットストリームを生成する。Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣでは、エントロピー符号化方式でＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）が導入された。
【００３６】
さらに詳細に説明すれば、エントロピー符号化部１５０は、現在画像の色成分のそれぞれのマクロブロック別に、マクロブロックヘッダに最適モード選択部１１０によって選択された予測モードを表す情報を含むビットストリームを生成する。図１０に示された動画復号化装置は、このビットストリームを受信して復号化することによって、動画符号化装置がいかなる予測モードを使用したのかが分かる。
【００３７】
もし、現在画像の色成分の全てのマクロブロックに対して、最適モード選択部１１０によって選択された予測モードがいずれも同じである場合には、マクロブロックの上位レベルであるシーケンスレベルまたはピクチャレベルで一つのシーケンスを構成する全てのマクロブロック、または一つのピクチャを構成する全てのマクロブロックに対して、最適モード選択部１１０によって選択された予測モードの一つのみを表す情報を含むビットストリームを生成することによって、マクロブロックヘッダに記録される情報を省略でき、符号化効率を高めうる。
【００３８】
さらに、現在画像の色成分の全てのマクロブロックに対して、最適モード選択部１１０によって選択された予測モードの一部が同じである場合には、マクロブロックの上位レベルであるシーケンスレベルまたはピクチャレベルで一つのシーケンスを構成するマクロブロック、または一つのピクチャを構成するマクロブロックのうち一部に対して、最適モード選択部１１０によって選択された予測モードの一つのみを表す情報を含み、残りのものに対しては、マクロブロックヘッダに最適モード選択部１１０によって選択された予測モードを表す情報を含むビットストリームを生成することによって、符号化効率を高めうる。
【００３９】
逆量子化部１６０は、量子化部１４０によって量子化された値を逆量子化する。すなわち、逆量子化部１６０は、量子化部１４０によって近似化された整数値に量子化パラメータを積算することによって周波数成分値を復元する。
【００４０】
周波数空間逆変換部１７０は、逆量子化部１６０によって復元された周波数成分値を周波数空間から色空間に変換することによって、現在画像と予測画像との差に該当するレジデューを復元する。そうでなければ、周波数空間逆変換部１７０は、逆量子化部１６０によって復元された周波数成分値を周波数空間から色空間に変換することによって、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを復元する。
【００４１】
復元画像生成部１８０は、レジデュー生成部１２０によって生成された予測画像と周波数空間逆変換部１７０によって復元されたレジデューとの合算に該当する復元画像を生成する。そうでなければ、復元画像生成部１８０は、周波数空間逆変換部１７０によって復元された第２レジデュー間の合算に該当する第１レジデューを生成し、レジデュー生成部１２０によって生成された予測画像とこのように生成された第１レジデューとの合算に該当する復元画像を生成する。
【００４２】
図２は、図１に示されたレジデュー生成部１２０の構成図である。図２を参照するに、図１に示されたレジデュー生成部１２０は、単一モードレジデュー生成部１２１１及び複合モードレジデュー生成部１２１２で構成される。
【００４３】
単一モードレジデュー生成部１２１１は、最適モード選択部１１０によって選択された予測モードが単一予測モードであれば、単一予測モードによって現在画像内の空間的な重畳性を除去する空間上予測（以下、“単一イントラ予測”という）を行うか、または単一予測モードによって現在画像と参照画像との時間的な重畳性を除去する時間上予測（以下、“単一インター予測”という）を行うことによって予測画像を生成する。次いで、単一モードレジデュー生成部１２１１は、現在画像とこのように生成された予測画像との差に該当するレジデューを生成する。
【００４４】
さらに詳細に説明すれば、単一モードレジデュー生成部１２１１は、現在画像の色成分のそれぞれのマクロブロックに一律的に適用されるサイズに色成分のそれぞれのマクロブロックを分割し、このように分割された色成分のそれぞれのブロック別に、色成分のそれぞれのブロックに一律的に適用される参照画像と現在画像との間の動きベクトルを決定し、このように決定された動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成することによって単一インター予測を行う。
【００４５】
すなわち、単一モードレジデュー生成部１２１１は、現在画像の色成分のそれぞれのマクロブロックを同じサイズに分割し、このように分割された色成分のそれぞれのブロック別に同じ動きベクトルを決定し、このように決定された動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成することによって単一インター予測を行う。
【００４６】
図３は、インター予測におけるマクロブロックの分割方法を示す図である。図３を参照するに、インター予測におけるマクロブロックの場合、１６×１６サイズのマクロブロックを１６×１６、１６×８、８×１６、８×１６、８×８などの多様なサイズに分割した後、このように分割されたブロック別に動きベクトルが決定される。さらに、８×８サイズのブロックを再び８×８、８×４、４×８、４×４のさらに小さく分割した後、このように分割されたブロック別に動きベクトルが決定されることもある。マクロブロックがさらに小さく分割されるほど、レジデューに現在画像と参照画像との間の精密な動きが含まれる。
【００４７】
ＹＣｏＣｇ色空間を例と挙げれば、単一モードレジデュー生成部１２１１は、Ｙ成分のマクロブロック、Ｃｏ成分のマクロブロック、Ｃｇ成分のマクロブロックを何れも同じサイズに分割し、例えば、Ｙ成分のマクロブロック、Ｃｏ成分のマクロブロック、Ｃｇ成分のマクロブロックを何れも８×８サイズに分割し、このように分割されたＹ成分のブロック、Ｃｏ成分のブロック、Ｃｇ成分のブロック別に同じ動きベクトルを決定する。また、ＲＧＢ色空間を例と挙げれば、単一モードレジデュー生成部１２１１は、Ｒ成分のマクロブロック、Ｇ成分のマクロブロック、Ｂ成分のマクロブロックを何れも同じサイズに分割し、例えば、Ｒ成分のマクロブロック、Ｇ成分のマクロブロック、Ｂ成分のマクロブロックを何れも８×８サイズに分割し、このように分割されたＲ成分のブロック、Ｇ成分のブロック、Ｂ成分のブロック別に同じ動きベクトルを決定する。
【００４８】
また、単一モードレジデュー生成部１２１１は、現在画像の色成分のそれぞれのマクロブロックに一律的に適用されるサイズに色成分のそれぞれのマクロブロックを分割し、このように分割された色成分のそれぞれのブロック別に色成分のそれぞれのブロックに一律的に適用される予測方向を決定し、このように決定された予測方向を使用して、復元画像生成部１８０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成することによって、単一イントラ予測を行う。
【００４９】
すなわち、単一モードレジデュー生成部１２１１は、現在画像の色成分のそれぞれのマクロブロックを同じサイズに分割し、このように分割された色成分のそれぞれのブロック別に同じ予測方向を決定し、このように決定された予測方向を使用して、復元画像生成部１８０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成することによって、単一イントラ予測を行う。
【００５０】
図４は、イントラ予測における予測様子を示す図である。図４を参照するに、１６×１６サイズのマクロブロックを４×４サイズに分割した後、このように分割されたブロック別に９個の予測方向を使用して予測画像が生成される。そうでなければ、１６×１６サイズのマクロブロックに対して、４個の予測方向を使用して予測画像が生成されることもある。前者の場合をさらに詳細に説明すれば、４×４サイズのブロックＰａ，Ｐｂ，…，Ｐｑを予測するために、復元画像内の空間上隣接画素Ｐ０，Ｐ１，…，Ｐ１２を利用する（４１）。０から８までの９個の予測方向を使用して、隣接画素Ｐ０，Ｐ１，…，Ｐ１２からＰａ，Ｐｂ，…，Ｐｑを予測する（４２）。０の方向を例と挙げれば、隣接画素Ｐ１，Ｐ２，Ｐ３，及びＰ４を０の方向に該当する垂直下降方向に投影することによって、Ｐａ，Ｐｅ，Ｐｉ，及びＰｍはＰ１から予測し、Ｐｂ，Ｐｆ，Ｐｊ，及びＰｎはＰ２から予測し、Ｐｃ，Ｐｇ，Ｐｋ，及びＰｄはＰ３から予測し、Ｐｄ，Ｐｈ，Ｐｌ，及びＰｑはＰ４から予測する。他の方向の場合も同様に、前記のような投影によってＰａ，Ｐｂ，..，Ｐｑが予測される。
【００５１】
ＹＣｏＣｇ色空間を例と挙げれば、単一モードレジデュー生成部１２１１は、Ｙ成分のマクロブロック、Ｃｏ成分のマクロブロック、Ｃｇ成分のマクロブロックを何れも同じサイズに分割し、例えば、Ｙ成分のマクロブロック、Ｃｏ成分のマクロブロック、Ｃｇ成分のマクロブロックを何れも４×４サイズに分割し、このように分割されたＹ成分のブロック、Ｃｏ成分のブロック、Ｃｇ成分のブロック別に同じ予測方向を決定する。また、ＲＧＢ色空間を例と挙げれば、単一モードレジデュー生成部１２１１は、Ｒ成分のマクロブロック、Ｇ成分のマクロブロック、Ｂ成分のマクロブロックを何れも同じサイズに分割し、例えば、Ｒ成分のマクロブロック、Ｇ成分のマクロブロック、Ｂ成分のマクロブロックを何れも４×４サイズに分割し、このように分割されたＲ成分のブロック、Ｇ成分のブロック、Ｂ成分のブロック別に同じ予測方向を決定する。
【００５２】
前記のように、単一モードレジデュー生成部１２１１は、異なる色成分のそれぞれに同じ時間上予測方式及び同じ空間上予測方式を適用するために、色成分のそれぞれのレジデュー間の類似性が大きくなる。また、ブロックのサイズ、動きベクトル、予測方向が全ての色成分に一律的に適用されるため、色成分ごとにこのような情報を符号化させる必要なく、全ての色成分に対して、１回のみこのような情報を符号化させればよいため、全体的な符号化効率を高めうるという長所がある。
【００５３】
複合モードレジデュー生成部１２１２は、最適モード選択部１１０によって選択された予測モードが複合予測モードであれば、複合予測モードによって現在画像と参照画像との時間的重畳性を除去する時間上予測（以下、“複合インター予測”という）を行うか、または現在画像の色成分のそれぞれのマクロブロックに独立的に適用される予測モードによって、現在画像内の空間的重複性を除去する空間上予測（以下、“複合イントラ予測”という）を行うことによって予測画像を生成する。また、複合モードレジデュー生成部１２１２は、現在画像とこのように生成された予測画像との差に該当するレジデューを生成する。
【００５４】
さらに詳細に説明すれば、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックに独立的に適用されるサイズに色成分のそれぞれのマクロブロックを分割し、このように分割された色成分のそれぞれのブロック別に色成分のそれぞれのブロックに独立的に適用される参照画像と現在画像との間の動きベクトルを決定し、このように決定された動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成することによって複合インター予測を行う。
【００５５】
すなわち、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックを異なるサイズに分割し、このように分割された色成分のそれぞれのブロック別に異なる動きベクトルを決定し、このように決定された動きベクトルを使用して参照画像から現在画像に対する予測画像を生成することによって、複合インター予測を行う。もちろん、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックに独立的に適用される予測モードによってインター予測を行うため、現在画像の色成分のそれぞれのマクロブロックを同じサイズに分割し、このように分割された色成分のそれぞれのブロック別に同じ動きベクトルを決定することもある。
【００５６】
ＹＣｏＣｇ色空間を例と挙げれば、複合モードレジデュー生成部１２１２は、Ｙ成分のマクロブロック、Ｃｏ成分のマクロブロック、Ｃｇ成分のマクロブロックを異なるサイズに分割し、例えば、Ｙ成分のマクロブロックを４×４、Ｃｏ成分のマクロブロックを８×８、Ｃｇ成分のマクロブロックを８×８のサイズに分割し、このように分割されたＹ成分のブロック、Ｃｏ成分のブロック、Ｃｇ成分のブロック別に異なる動きベクトルを決定する。また、ＲＧＢ色空間を例と挙げれば、複合モードレジデュー生成部１２１２は、Ｒ成分のマクロブロック、Ｇ成分のマクロブロック、Ｂ成分のマクロブロックを異なるサイズに分割し、例えば、Ｒ成分のマクロブロックを８×８、Ｇ成分のマクロブロックを４×４、Ｂ成分のマクロブロックを８×８のサイズに分割し、このように分割されたＲ成分のブロック、Ｇ成分のブロック、Ｂ成分のブロック別に異なる動きベクトルを決定する。
【００５７】
また、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックに独立的に適用されるサイズに色成分のそれぞれのマクロブロックを分割し、このように分割された色成分のそれぞれのブロック別に色成分のそれぞれのブロックに独立的に適用される予測方向を決定し、このように決定された予測方向を使用して、復元画像生成部１８０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成することによって、複合イントラ予測を行う。
【００５８】
すなわち、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックを異なるサイズに色成分のそれぞれのマクロブロックを分割し、このように分割された色成分のそれぞれのブロック別に異なる予測方向を決定し、このように決定された予測方向を使用して、復元画像生成部１８０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成することによって、複合イントラ予測を行う。もちろん、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックに独立的に適用される予測モードによってイントラ予測を行うため、現在画像の色成分のそれぞれのマクロブロックを同じサイズに分割し、このように分割された色成分のそれぞれのブロック別に同じ動きベクトルを決定することもある。
【００５９】
ＹＣｏＣｇ色空間を例と挙げれば、複合モードレジデュー生成部１２１２は、Ｙ成分のマクロブロック、Ｃｏ成分のマクロブロック、Ｃｇ成分のマクロブロックを異なるサイズに分割し、例えば、Ｙ成分のマクロブロックを４×４、Ｃｏ成分のマクロブロックを１６×１６、Ｃｇ成分のマクロブロックを１６×１６のサイズに分割し、このように分割されたＹ成分のブロック、Ｃｏ成分のブロック、Ｃｇ成分のブロック別に異なる予測方向を決定する。また、ＲＧＢ色空間を例と挙げれば、複合モードレジデュー生成部１２１２は、Ｒ成分のマクロブロック、Ｇ成分のマクロブロック、Ｂ成分のマクロブロックを異なるサイズに分割し、例えば、Ｒ成分のマクロブロックを１６×１６、Ｇ成分のマクロブロックを４×４、Ｂ成分のマクロブロックを１６×１６のサイズに分割し、このように分割されたＲ成分のブロック、Ｇ成分のブロック、Ｂ成分のブロック別に異なる予測方向を決定する。
【００６０】
さらに、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロック別に複合インター予測または複合イントラ予測を行うこともある。すなわち、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックのうち何れか一つの色成分のマクロブロックに対しては、複合インター予測を行い、他の色成分のマクロブロックに対しては、複合イントラ予測を行うこともある。
【００６１】
前記のように、複合モードレジデュー生成部１２１２は、異なる色成分の間に異なる時間上予測方式と異なる空間上予測方式とを行うため、色成分の間に類似性があまりなければ、相互間にそれぞれ独立的な符号化方法を使用して各色成分に最適の方法を使用することによって、予測符号化を効果的に行って、結局、全体的な符号化効率を高めうるが、色成分に独立的に適用されるブロックのサイズ、動きベクトル、及び予測方向を１回のみ符号化すればよいため、符号化効率を高めうる。
【００６２】
図５は、図１に示されたレジデュー生成部１２０の他の構成図である。図５を参照するに、図５に示されたレジデュー生成部１２０は、単一モードレジデュー生成部１２２１、レジデュー変換部１２２２、及び複合モードレジデュー生成部１２２３で構成される。単一モードレジデュー生成部１２２１及び複合モードレジデュー生成部１２２３は、図２に示された単一モードレジデュー生成部１２１１及び複合モードレジデュー生成部１２１２と同じ機能を行う。
【００６３】
しかしながら、単一モードレジデュー生成部１２２１でのインター予測またはイントラ予測以後にも、色成分間には重畳性が残っている。レジデュー変換部１２２２は、このような色成分間の重畳性を除去する役割を行う。単一モードレジデュー生成部１２２１によって生成されたレジデューとレジデュー変換部１２２２によって生成されたレジデューとを区別するために、前者を“第１レジデュー”と称し、後者を“第２レジデュー”と称す。
【００６４】
レジデュー変換部１２２２は、最適モード選択部１１０によって選択された予測モードがレジデュー変換モードであれば、単一モードレジデュー生成部１２２１によって生成された第１レジデュー間の差に該当する第２レジデューを生成する。
【００６５】
図６は、図１に示されたレジデュー生成部１２０のさらに他の構成図である。図６を参照するに、図６に示されたレジデュー生成部１２０は、単一モードレジデュー生成部１２３１、ＲＣＴ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）変換部１２３２、ＩＰＰ（Ｉｎｔｅｒ−Ｐｌａｎｅ Ｐｒｅｄｉｃｔｉｏｎ）変換部１２３３、及びＲＣＰ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｐｒｅｄｉｃｔｉｏｎ）変換部１２３４、及び複合モードレジデュー生成部１２３５で構成される。単一モードレジデュー生成部１２３１及び複合モードレジデュー生成部１２３５は、図２に示された単一モードレジデュー生成部１２１１及び複合モードレジデュー生成部１２１２と同じ機能を行う。前記と同様に、単一モードレジデュー生成部１２３１によって生成されたレジデューＷＡＲＣＴ変換部１２３２、ＩＰＰ変換部１２３３、及びＲＣＰ変換部１２３４によって生成されたレジデューを区別するために、前者を“第１レジデュー”と称し、後者を“第２レジデュー”と称す。
【００６６】
単一モードレジデュー生成部１２２１によって生成された第１レジデュー間の差に該当する第２レジデューを生成する方式としては、ＲＣＴ変換方式、ＩＰＰ変換方式、ＲＣＰ変換方式がある。ＲＣＴ変換は、ＹＣｏＣｇ色空間で第２レジデューを生成することによって、ＩＰＰ変換は、ＲＧＢ色空間で第２レジデューを生成することによって、ＲＣＰ変換は、ＩＰＰ変換と類似しているが、Ｇ成分のレジデューを予測子として使用する時に所定のフィルタリングを通じてノイズを除去した後にＩＰＰ変換と同じ変換を適用する。
【００６７】
ＲＣＴ変換部１２３２は、最適モード選択部１１０によって選択された予測モードがＲＣＴ変換モードであれば、ＹＣｏＣｇ色空間で次の式（３）を利用してＹ成分、Ｃｏ成分、Ｃｇ成分それぞれの第１レジデュー間の差に該当する第２レジデューを生成する。特に、Ｙ＝（Ｒ＋２Ｇ＋Ｂ）＞＞２、Ｃｏ＝（Ｒ−Ｂ）＞＞１、Ｃｇ＝（−Ｒ＋２Ｇ−Ｂ）＞＞２の関係にある。
【００６８】
【数３】
ここで、△Ｘは、第１レジデューを意味し、△２Ｘは、第２レジデューを意味する。また、表記“＞＞”は、右側シフト演算を意味し、おおよそ２で割ることとなる。また、変数ｔは、臨時的な計算目的として使われる。
【００６９】
ＩＰＰ変換部１２３３は、最適モード選択部１１０によって選択された予測モードがＩＰＰ変換モードであれば、このＩＰＰ変換モードによって、ＲＧＢ色空間で次の式（４）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する。
【００７０】
【数４】
ここで、△Ｘは、第１レジデューを意味し、△２Ｘは、第２レジデューを意味する。また、△Ｘ’は、復元された第１レジデューを意味する。特に、式（２）は、Ｇ成分が画像情報を多く有している時に効果的であり、Ｒ成分またはＢ成分を主な成分として第２レジデューを計算することもある。
【００７１】
ＲＣＰ変換部１２３４は、最適モード選択部１１０によって選択された予測モードがＲＣＰ変換モードであれば、ＲＣＰ変換モードによって、ＲＧＢ色空間で次の式（５）のような５タップフィルタを使用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれのノイズを除去した後、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する。
【００７２】
【数５】
また、ＲＣＰ変換部１２３４は、ＲＧＢ色空間で次の式（６）のような３タップフィルタを使用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれのノイズを除去した後、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する。
【００７３】
【数６】
前記の式（５）及び式（６）で、ａｂｓ（ｘ）は、ｘの絶対値を意味し、ｓｉｇｎ（ｓ）は、次の式（７）を意味する。
【００７４】
【数７】
図７Ａ及び図７Ｂは、本発明による望ましい一実施形態に適用される５タップフィルタと３タップフィルタとを示す図である。図７Ａ及び図７Ｂを参照するに、本実施形態に適用される５タップフィルタは、予測子として使用する画素を中心に周辺の４個の画素を使用し、３タップフィルタは、予測子として使用する画素を中心に周辺の左右の二つの画素を使用する。但し、前記の式（５）及び式（６）のように、加重値を置いて使用しうる。
【００７５】
図８は、図１に示されたレジデュー生成部１２０のさらに他の構成図である。図８を参照するに、図６に示されたレジデュー生成部１２０は、複合モードレジデュー生成部１２４１及びレジデュー変換部１２４２で構成される。複合モードレジデュー生成部１２４１は、図２に示された複合モードレジデュー生成部１２１２と同じ機能を行う。
【００７６】
ところが、複合モードレジデュー生成部１２４１でのインター予測またはイントラ予測以後にも、色成分間には重畳性が残っている。レジデュー変換部１２４２は、このような色成分間の重畳性を除去する役割を行う。単一モードレジデュー生成部１２４１によって生成されたレジデューとレジデュー変換部１２４２によって生成されたレジデューとを区別するために、前者を“第１レジデュー”と称し、後者を“第２レジデュー”と称す。
【００７７】
レジデュー変換部１２４２は、最適モード選択部１１０によって選択された予測モードがレジデュー変換モードであれば、レジデュー変換モードによって、複合モードレジデュー生成部１２４１によって生成された第１レジデュー間の差に該当する第２レジデューを生成する。但し、複合モードレジデュー生成部１２４１でのインター予測またはイントラ予測以後にも、色成分間には重畳性が残っているが、単一モード方式に比べて、色成分間の類似性が低いため、レジデュー変換部１２４２での圧縮効率は、レジデュー変換部１２２２での圧縮効率よりは劣る。
【００７８】
図９は、図２に示された復元画像生成部１８０の構成図である。図９を参照するに、図２に示された復元画像生成部１８０は、レジデュー逆変換部１８１及び予測補償部１８２で構成される。
【００７９】
レジデュー逆変換部１８１は、周波数空間逆変換部１７０によって復元された第２レジデュー間の合算に該当する第１レジデューを生成する。例えば、レジデュー逆変換部１８１は、次の式（８）を利用して、Ｙ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第２レジデュー間の合算に該当するＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデューを生成する。
【００８０】
【数８】
ここで、△Ｘ’は、復元された第１レジデューを意味し、△２Ｘ’は、復元された第２レジデューを意味する。
【００８１】
そうでなければ、レジデュー逆変換部１８１は、次の式（９）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の合算に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【００８２】
【数９】
ここで、△Ｘ’は、復元された第１レジデューを意味し、△２Ｘ’は、復元された第２レジデューを意味する。
【００８３】
予測補償部１８２は、レジデュー生成部１２０によって生成された予測画像とレジデュー逆変換部１８１によって生成された第１レジデューとの合算に該当する復元画像を生成する。例えば、予測補償部１８２は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとに、レジデュー生成部１２０によって生成された予測画像とレジデュー逆変換部１８１によって生成された第１レジデューとの合算を算出することによって、ＹＣｏＣｇ色空間での復元画像を生成する。そうでなければ、予測補償部１８２は、Ｒ成分、Ｇ成分、及びＢ成分ごとに、レジデュー生成部１２０によって生成された予測画像とレジデュー逆変換部１８１によって生成された第１レジデューとの合算を算出することによって、ＲＧＢ色空間での復元画像を生成する。
【００８４】
図１０は、本発明の望ましい一実施形態による動画復号化装置の構成図である。図１０を参照するに、本実施形態による動画復号化装置は、エントロピー復号化部２１０、逆量子化部２２０、周波数空間逆変換部２３０、予測画面生成部２４０及び復元画像生成部２５０で構成される。
【００８５】
エントロピー復号化部２１０は、図１に示された動画符号化装置から出力されたビットストリームをエントロピー復号化することによって、現在画像に該当する整数値及び現在画像の色成分のそれぞれのブロックに最適の予測モードを表す情報を復元する。ここで、現在画像の色成分のそれぞれのブロックに最適である予測モードは、動画符号化装置で使われた予測モードである。
【００８６】
逆量子化部２２０は、エントロピー復号化部２１０によって復元された整数値を逆量子化することによって周波数成分値を復元する。すなわち、逆量子化部２２０は、エントロピー復号化部２１０によって復元された整数値に量子化パラメータを積算することによって周波数成分値を復元する。
【００８７】
周波数空間逆変換部２３０は、逆量子化部２２０によって復元された周波数成分値を周波数空間から色空間に変換することによって、現在画像と予測画像との差に該当するレジデューを生成する。そうでなければ、周波数空間逆変換部２３０は、逆量子化部２２０によって復元された周波数成分値を周波数空間から色空間に変換することによって、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを復元する。
【００８８】
予測画像生成部２４０は、色成分のそれぞれのマクロブロック別にエントロピー復号化部２１０によって復元された情報が表す予測モードによって、現在画像に対する予測画像を生成する。
【００８９】
復元画像生成部２５０は、予測画像生成部２４０によって生成された予測画像と周波数空間逆変換部２３０によって復元されたレジデューとの合算に該当する復元画像を生成する。そうでなければ、復元画像生成部２５０は、周波数空間逆変換部２３０によって復元された第２レジデュー間の合算に該当する第１レジデューを生成し、予測画像生成部２４０によって生成された予測画像とこのように生成された第１レジデュー間の合算に該当する復元画像とを生成する。
【００９０】
図１１は、図１０に示された予測画像生成部２４０の構成図である。図１１を参照するに、図１０に示された予測画像生成部２４０は、単一モード予測画像生成部２４１及び複合モード予測画像生成部２４２で構成される。
【００９１】
単一モード予測画像生成部２４１は、エントロピー復号化部２１０によって復元された情報が単一予測モードを表せば、単一イントラ予測または単一インター予測を行うことによって予測画像を生成する。さらに詳細に説明すれば、単一モード予測画像生成部２４１は、現在画像の色成分のそれぞれのマクロブロックに一律的に適用されるサイズに分割されたブロック別に、色成分のそれぞれのブロックに一律的に適用される参照画像と現在画像との間の動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成する。すなわち、単一モード予測画像生成部２４１は、現在画像の色成分のそれぞれのマクロブロックに対して同じサイズに分割されたブロック別に同じ動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成する。
【００９２】
また、単一モード予測画像生成部２４１は、現在画像の色成分のそれぞれのマクロブロックに一律的に適用されるサイズに分割されたブロック別に、色成分のそれぞれのブロックに一律的に適用される予測方向を使用して、復元画像生成部２５０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成する。すなわち、単一モードレジデュー生成部は、現在画像の色成分のそれぞれのマクロブロックに対して同じサイズに分割されたブロック別に同じ予測方向を使用して、復元画像生成部２５０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成する。
【００９３】
複合モード予測画像生成部２４２は、エントロピー復号化部２１０によって復元された情報が複合予測モードを表せば、複合インター予測または複合イントラ予測を行うことによって予測画像を生成する。さらに詳細に説明すれば、複合モード予測画像生成部２４２は、現在画像の色成分のそれぞれのマクロブロックに独立的に適用されるサイズに分割されたブロック別に、色成分のそれぞれのブロックに独立的に適用される参照画像と現在画像との間の動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成する。すなわち、複合モード予測画像生成部２４２は、現在画像の色成分のそれぞれのマクロブロックに対して、異なるサイズに分割された色成分のそれぞれのブロック別に異なる動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成する。
【００９４】
また、複合モード予測画像生成部２４２は、現在画像の色成分のそれぞれのマクロブロックに独立的に適用されるサイズに分割されたブロック別に、色成分のそれぞれのブロックに一律的に適用される予測方向を使用して、復元画像生成部２５０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成することによって、複合イントラ予測を行う。すなわち、複合モード予測画像生成部２４２は、現在画像の色成分のそれぞれのマクロブロックに対して、異なるサイズに分割されたブロック別に異なる予測方向を使用して、復元画像生成部２５０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成する。
【００９５】
図１２は、図１０に示された復元画像生成部２５０の構成図である。図１２を参照するに、図１０に示された復元画像生成部２５０は、レジデュー逆変換部２５１及び予測補償部２５２で構成される。
【００９６】
レジデュー逆変換部２５１は、エントロピー復号化部２１０によって復元された情報がレジデュー変換モードを表せば、周波数空間逆変換部２３０によって復元された第２レジデュー間の合算に該当する第１レジデューを生成する。例えば、レジデュー逆変換部２５１は、前記の式（８）を利用して、Ｙ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第２レジデュー間の合算に該当するＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデューを生成する。そうでなければ、レジデュー逆変換部２５１は、前記の式（９）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の合算に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【００９７】
予測補償部２５２は、予測画像生成部２４０によって生成された予測画像とレジデュー逆変換部２５１によって生成された第１レジデューとの合算に該当する復元画像を生成する。例えば、予測補償部２５２は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとに予測画像生成部２４０によって生成された予測画像とレジデュー逆変換部２５１によって生成された第１レジデューとの合算を算出することによって、ＹＣｏＣｇ色空間での復元画像を生成する。そうでなければ、予測補償部２５２は、Ｒ成分、Ｇ成分、及びＢ成分ごとに予測画像生成部２４０によって生成された予測画像とレジデュー逆変換部２５１によって生成された第１レジデューとの合算を算出することによって、ＲＧＢ色空間での復元画像を生成する。
【００９８】
図１３は、図１２に示されたレジデュー逆変換部２５１の構成図である。図１３を参照するに、図１２に示されたレジデュー逆変換部２５１は、ＲＣＴ変換部２５１１、ＩＰＰ変換部２５１２、及びＲＣＰ変換部２５１３で構成される。
【００９９】
ＲＣＴ変換部２５１１は、エントロピー復号化部２１０によって復元された情報がＲＣＴ変換モードを表せば、前記の式（８）を利用して、Ｙ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第２レジデュー間の合算に該当するＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデューを生成する。
【０１００】
ＩＰＰ変換部２５１２は、エントロピー復号化部２１０によって復元された情報がＩＰＰ変換モードを表せば、前記の式（９）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の合算に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【０１０１】
ＲＣＰ変換部２５１３は、エントロピー復号化部２１０によって復元された情報がＲＣＰ変換モードを表せば、前記の式（９）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の合算に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【０１０２】
図１４Ａ及び図１４Ｂは、本発明の望ましい一実施形態による動画符号化方法を示すフローチャートである。図１４Ａ及び図１４Ｂを参照するに、本実施形態による動画符号化方法は、図１に示された動画符号化装置で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図１に示された動画符号化装置について前述された内容は、本実施形態による動画符号化方法にも適用される。
【０１０３】
ステップ１４０１で、動画符号化装置は、サンプル画像に対して全ての可能な予測モードのうち何れか一つを選択する。特に、下記のステップ１４０６からステップ１４０１に戻った場合には、動画符号化装置は、全ての可能な予測モードのうち、既に選択された予測モードを除外したもののうち何れか一つを選択する。
【０１０４】
ステップ１４０２で、動画符号化装置は、ステップ１４０１で選択された予測モードによって、色成分のそれぞれのマクロブロック別に現在画像に対する予測画像を生成し、現在画像と予測画像との差に該当するレジデューを生成する。そうでなければ、ステップ１４０２で、動画符号化装置は、ステップ１４０１で選択された予測モードによって色成分のそれぞれのマクロブロック別に現在画像に対する予測画像を生成し、現在画像と予測画像との差に該当する第１レジデューを生成し、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する。
【０１０５】
ステップ１４０３で、動画符号化装置は、ステップ１４０２で生成されたレジデューを色空間から周波数空間に変換する。そうでなければ、ステップ１４０３で、動画符号化装置は、ステップ１４０２で生成された第２レジデューを色空間から周波数空間に変換する。
【０１０６】
ステップ１４０４で、動画符号化装置は、ステップ１４０３で変換された値を量子化する。
【０１０７】
ステップ１４０５で、動画符号化装置は、ステップ１４０４で量子化された値及びステップ１４０１で選択された予測モードを表す情報をエントロピー符号化することによって、ビットストリームを生成する。
【０１０８】
ステップ１４０６で、動画符号化装置は、ステップ１４０４で量子化された値を逆量子化することによって周波数成分値を復元する。
【０１０９】
ステップ１４０７で、動画符号化装置は、ステップ１４０６で復元された周波数成分値を周波数空間から色空間に変換することによって、現在画像と予測画像との差に該当するレジデューを復元する。そうでなければ、ステップ１４０７で動画符号化装置は、ステップ１４０６で復元された周波数成分値を周波数空間から色空間に変換することによって、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを復元する。
【０１１０】
ステップ１４０８で、動画符号化装置は、ステップ１４０２で生成された予測画像とステップ１４０７によって復元されたレジデュー間の合算に該当する復元画像とを生成する。そうでなければ、ステップ１４０８で、動画符号化装置は、ステップ１４０７で復元された第２レジデュー間の合算に該当する第１レジデューを生成し、ステップ１４０２で生成された予測画像とこのように生成された第１レジデュー間の合算に該当する復元画像とを生成する。
【０１１１】
ステップ１４０９で、動画符号化装置は、全ての予測モードに対して、前記ステップ１４０１〜１４０８が行われたか否かを判断し、もし、全ての予測モードに対して前記ステップ１４０１〜１４０８が行われた場合には、ステップ１４１０に進み、行われていない場合には、ステップ１４０１に戻る。
【０１１２】
ステップ１４１０で、動画符号化装置は、サンプル画像の特性、すなわち、ステップ１４０１〜１４０９で行われた結果に基づいて、現在画像の色成分のそれぞれのマクロブロック別に色成分のそれぞれのマクロブロックに最適の予測モードを選択する。すなわち、ステップ１４１０で、動画符号化装置は、現在画像の色成分のそれぞれのマクロブロックに最適の予測モードとして、ステップ１４０５で生成されたビットストリームの量及びサンプル画像とステップ１４０８で生成された復元画像との間の画質の歪曲が最も少ない予測モードを選択する。
【０１１３】
ステップ１４１１で、動画符号化装置は、ステップ１４１０で選択された予測モードによって、色成分のそれぞれのマクロブロック別に現在画像に対する予測画像を生成し、現在画像と予測画像との差に該当するレジデューを生成する。そうでなければ、ステップ１４１１で、動画符号化装置は、ステップ１４１０で選択された予測モードによって色成分のそれぞれのマクロブロック別に現在画像に対する予測画像を生成し、現在画像と予測画像との差に該当する第１レジデューを生成し、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する。
【０１１４】
ステップ１４１２で、動画符号化装置は、ステップ１４１１で生成されたレジデューを色空間から周波数空間に変換する。そうでなければ、ステップ１４１２で、動画符号化装置は、ステップ１４１１で生成された第２レジデューを色空間から周波数空間に変換する。
【０１１５】
ステップ１４１３で、動画符号化装置は、ステップ１４１４で変換された値を量子化する。
【０１１６】
ステップ１４１４で、動画符号化装置は、ステップ１４１３で量子化された値及びステップ１４１０で選択された予測モードを表す情報をエントロピー符号化することによって、ビットストリームを生成する。
【０１１７】
ステップ１４１５で、動画符号化装置は、ステップ１４１３で量子化された値を逆量子化することによって周波数成分値を復元する。
【０１１８】
ステップ１４１６で、動画符号化装置は、ステップ１４１５で復元された周波数成分値を周波数空間から色空間に変換することによって、現在画像と予測画像との差に該当するレジデューを復元する。そうでなければ、ステップ１４１６で、動画符号化装置は、ステップ１４１５で復元された周波数成分値を周波数空間から色空間に変換することによって、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを復元する。
【０１１９】
ステップ１４１７で、動画符号化装置は、ステップ１４１１で生成された予測画像とステップ１４１６で復元されたレジデュー間の合算に該当する復元画像とを生成する。そうでなければ、ステップ１４１７で、動画符号化装置は、ステップ１４１６で復元された第２レジデュー間の合算に該当する第１レジデューを生成し、ステップ１４１１で生成された予測画像とこのように生成された第１レジデュー間の合算に該当する復元画像とを生成する。
【０１２０】
図１５は、本発明の望ましい一実施形態による動画復号化方法を示すフローチャートである。図１５を参照するに、本実施形態による動画復号化方法は、図１０に示された動画復号化装置で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図１０に示された動画復号化装置について前述された内容は、本実施形態による動画復号化方法にも適用される。
【０１２１】
ステップ１５０１で、動画復号化装置は、図１に示された動画符号化装置から出力されたビットストリームをエントロピー復号化することによって、現在画像に該当する整数値及び現在画像の色成分のそれぞれのブロックに最適の予測モードを表す情報を復元する。
【０１２２】
ステップ１５０２で、動画復号化装置は、ステップ１５０１で復元された整数値を逆量子化することによって周波数成分値を復元する。
【０１２３】
ステップ１５０３で、動画復号化装置は、ステップ１５０２で復元された周波数成分値を周波数空間から色空間に変換することによって、現在画像と予測画像との差に該当するレジデューを生成する。そうでなければ、ステップ１５０３で、動画復号化装置は、ステップ１５０２で復元された周波数成分値を周波数空間から色空間に変換することによって、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを復元する。
【０１２４】
ステップ１５０４で、動画復号化装置は、ステップ１５０１で復元された情報がレジデュー変換モードを表せば、ステップ１５０５に進み、表さなければ、ステップ１５０６に進む。
【０１２５】
ステップ１５０５で、動画復号化装置は、ステップ１５０２で復元された第２レジデュー間の合算に該当する第１レジデューを生成する。特に、ステップ１５０５で、動画復号化装置は、ステップ１５０１で復元された情報がＲＣＴ変換モードを表せば、前記の式（８）を利用して、Ｙ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第２レジデュー間の合算に該当するＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデューを生成する。また、ステップ１５０５で、動画復号化装置は、ステップ１５０１で復元された情報がＩＰＰ変換モードまたはＲＣＰ変換モードを表せば、前記の式（９）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の合算に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【０１２６】
ＲＣＰ変換部１２３４は、エントロピー復号化部２１０によって復元された情報がＲＣＰ変換モードを表せば、前記の式（９）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の合算に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【０１２７】
ステップ１５０６で、動画復号化装置は、ステップ１５０１で復元された情報が単一予測モードを表せば、ステップ１５０７に進み、複合予測モードを表せば、ステップ１５０８に進む。
【０１２８】
ステップ１５０７で、動画復号化装置は、現在画像の色成分のそれぞれのブロックに一律的に適用されるサイズに分割されたブロック別に、色成分のそれぞれのブロックに一律的に適用される動きベクトルを使用して予測画面を生成するか、または色成分のそれぞれのブロックに一律的に適用される予測方向を使用して予測画面を生成する。
【０１２９】
ステップ１５０８で、動画復号化装置は、現在画像の色成分のそれぞれのブロックに独立的に適用されるサイズに分割されたブロック別に、色成分のそれぞれのブロックに独立的に適用される動きベクトルを使用して予測画面を生成するか、または色成分のそれぞれのブロックに独立的に適用される予測方向を使用して予測画面を生成する。
【０１３０】
ステップ１５０９で、動画復号化装置は、ステップ１５０７またはステップ１５０８で生成された予測画像とステップ１５０３で復元されたレジデュー間の合算に該当する復元画像とを生成する。そうでなければ、復元画像生成部２５０は、ステップ１５０７またはステップ１５０８で生成された予測画像とステップ１５０５で生成された第１レジデュー間の合算に該当する復元画像とを生成する。
【０１３１】
一方、前述した本発明の実施形態は、コンピュータで実行できるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。また、前述した本発明の実施形態で使われたデータの構造は、コンピュータで読み取り可能な記録媒体に多様な手段を通じて記録される。
【０１３２】
前記コンピュータで読み取り可能な記録媒体は、マグネチック保存媒体（例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような保存媒体を含む。
【０１３３】
以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということが分かるであろう。したがって、開示された実施形態は、限定的な観点でなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明でなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【符号の説明】
【０１３４】
２１０ エントロピー復号化部
２２０ 逆量子化部
２３０ 周波数空間逆変換部
２４０ 予測画像生成部
２５０ 復元画像生成部
２４１ 単一モード予測画像生成部
２４２ 複合モード予測画像生成部
【技術分野】
【０００１】
本発明は、動画を符号化する方法及び装置、動画を復号化する方法及び装置に係り、特に、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）ＦＲＥｘｔ（Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎｓ）標準分野における動画を符号化する方法及び装置、動画を復号化する方法及び装置に関する。
【背景技術】
【０００２】
“レジデュアル色変換”と呼ばれる新たなＲＧＢ符号化技術は、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣ ＦＲＥｘｔ標準化過程で開発された。これは、ＲＧＢ色空間をＹＣｂＣｒ色空間に変換する時に発生する画質の劣化を防止するためのものである。しかし、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣ ＦＲＥｘｔ上のＲＧＢ符号化及び復号化技術も、動画再生機器に適用するにはまだ動画の符号化及び復号化効率が十分に高くないという問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術的課題は、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣ ＦＲＥｘｔ上のＲＧＢ符号化技術の動画符号化及び復号化効率を高めうる装置及び方法を提供することである。
【０００４】
また、前記の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することである。
【課題を解決するための手段】
【０００５】
前記課題を解決するための本発明による符号化装置における予測画像の生成方法は、所定画像の特性に基づいて、現在画像の色成分のそれぞれのブロック別に前記色成分のそれぞれのブロックに最適の予測モードを選択するステップと、前記選択された予測モードによって、前記現在画像に対する予測画像を生成するステップと、を含む。
【０００６】
前記他の課題を解決するために、本発明は、前記の符号化装置における予測画像の生成方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【０００７】
前記さらに他の課題を解決するための本発明による符号化装置における予測画像生成装置は、所定画像の特性に基づいて、現在画像の色成分のそれぞれのブロック別に前記色成分のそれぞれのブロックに最適の予測モードを選択する選択部と、前記選択された予測モードによって、前記現在画像に対する予測画像を生成する生成部と、を備える。
【０００８】
前記さらに他の課題を解決するための本発明による符号化方法は、所定画像の特性に基づいて、現在画像の色成分のそれぞれのブロック別に前記色成分のそれぞれのブロックに最適の予測モードを選択するステップと、前記選択された予測モードによって、前記現在画像に対する予測画像を生成するステップと、前記現在画像と前記予測画像との差に該当する色成分のそれぞれのレジデューを生成するステップと、前記生成されたレジデューを符号化することによってビットストリームを生成するステップと、を含む。
【０００９】
前記さらに他の課題を解決するために、本発明は、前記の符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１０】
前記さらに他の課題を解決するための本発明による符号化装置は、所定画像の特性に基づいて、現在画像の色成分のそれぞれのブロック別に前記色成分のそれぞれのブロックに最適の予測モードを選択する選択部と、前記選択された予測モードによって前記現在画像に対する予測画像を生成し、前記現在画像と前記予測画像との差に該当する色成分のそれぞれのレジデューを生成する生成部と、前記生成されたレジデューを符号化することによって、ビットストリームを生成する符号化部と、を備える。
【００１１】
前記さらに他の課題を解決するための本発明による復号化装置における予測画像の生成方法は、ビットストリームを復号化することによって、現在画像の色成分のそれぞれのブロックに最適の予測モードを表す情報を復元するステップと、前記復元された情報が表す予測モードによって、前記現在画像に対する予測画像を生成するステップと、を含む。
【００１２】
前記さらに他の課題を解決するために、本発明は、前記の復号化装置における予測画像の生成方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１３】
前記さらに他の課題を解決するための本発明による復号化装置における予測画像生成装置は、ビットストリームを復号化することによって、現在画像の色成分のそれぞれのブロックに最適の予測モードを表す情報を復元する復号化部と、前記復元された情報が表す予測モードによって、前記現在画像に対する予測画像を生成する生成部と、を備える。
【００１４】
前記さらに他の課題を解決するための本発明による復号化方法は、ビットストリームを復号化することによって、現在画像の色成分のそれぞれのブロックに最適の予測モードを表す情報を復元するステップと、前記復元された情報が表す予測モードによって、前記現在画像と前記現在画像に対する予測画像との差に該当するレジデューを生成するステップと、前記復元された情報が表す予測モードによって、前記予測画像を生成するステップと、前記生成されたレジデューと前記生成された予測画面との合算に該当する復元画面を生成するステップと、を含む。
【００１５】
前記さらに他の課題を解決するために、本発明は、前記の復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１６】
前記さらに他の課題を解決するための本発明による復号化装置は、ビットストリームを復号化することによって、現在画像の色成分のそれぞれのブロックに最適の予測モードを表す情報を復元する復号化部と、前記復元された情報が表す予測モードによって、前記予測画像を生成する第１生成部と、前記復元された情報が表す予測モードによって、前記現在画像と前記現在画像に対する予測画像との差に該当するレジデューを生成し、前記生成されたレジデューと前記生成された予測画面との合算に該当する復元画面を生成する第２生成部と、を備える。
【発明の効果】
【００１７】
本発明によれば、現在画像の色成分のそれぞれのマクロブロック別に色成分のそれぞれのマクロブロックに最適の予測モードを適応的に適用して動画の符号化及び復号化を行うことによって、動画の符号化及び復号化効率を高めうる。特に、現在画像の色成分のそれぞれのマクロブロック別に、単一予測モード、複合予測モード、インター予測、イントラ予測、レジデュー変換、ＲＣＴ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）変換、ＩＰＰ（Ｉｎｔｅｒ−Ｐｌａｎｅ Ｐｒｅｄｉｃｔｉｏｎ）変換、ＲＣＰ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｐｒｅｄｉｃｔｉｏｎ）変換などの多様な符号化方式を選択的に適用することによって、動画の符号化及び復号化効率を極大化させうる。
【図面の簡単な説明】
【００１８】
【図１】本発明の望ましい一実施形態による動画符号化装置の構成図である。
【図２】図１に示されたレジデュー生成部の構成図である。
【図３】インター予測でのマクロブロックの分割方法を示す図である。
【図４】イントラ予測での予測様子を示す図である。
【図５】図１に示されたレジデュー生成部の他の構成図である。
【図６】図１に示されたレジデュー生成部のさらに他の構成図である。
【図７Ａ】本発明による望ましい一実施形態に適用される５−タブフィルタを示す図である。
【図７Ｂ】本発明による望ましい一実施形態に適用される３−タブフィルタとを示す図である。
【図８】図１に示されたレジデュー生成部のさらに他の構成図である。
【図９】図２に示された復元画像生成部の構成図である。
【図１０】本発明の望ましい一実施形態による動画復号化装置の構成図である。
【図１１】図１０に示された予測画像生成部の構成図である。
【図１２】図１０に示された復元画像生成部の構成図である。
【図１３】図１２に示されたレジデュー逆変換部の構成図である。
【図１４Ａ】本発明の望ましい一実施形態による動画符号化方法を示すフローチャートである。
【図１４Ｂ】本発明の望ましい一実施形態による動画符号化方法を示すフローチャートである。
【図１５】本発明の望ましい一実施形態による動画復号化方法を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明の望ましい実施形態を詳細に説明する。特に、以下の実施形態で、現在画像は、現在の動画符号化及び復号化の対象となる画像を意味し、参照画像は、現在画像の符号化または復号化に参照される画像を意味する。一般的に、参照画像は、現在画像の過去画像であるが、現在画像の未来画像となってもよく、複数の画像となってもよい。
【００２０】
図１は、本発明の望ましい一実施形態による動画符号化装置の構成図である。図１を参照するに、本実施形態による動画符号化装置は、最適モード選択部１１０、レジデュー生成部１２０、周波数空間変換部１３０、量子化部４００、エントロピー符号化部１５０、逆量子化部１６０、周波数空間逆変換部１７０、及び復元画像生成部１８０で構成される。
【００２１】
最適モード選択部１１０は、サンプル画像の特性に基づいて、現在画像の色成分のそれぞれのマクロブロック別に色成分のそれぞれのマクロブロックに最適の予測モードを選択する。ここで、色成分のそれぞれのマクロブロックは、相互対応するマクロブロックということを、当業者ならば理解できる。
【００２２】
例えば、最適モード選択部１１０は、現在画像の色成分のそれぞれのマクロブロックに最適である予測モードとして、現在画像の色成分のそれぞれのマクロブロックに一律的に適用される予測モード（以下、“単一予測モード”という）及び現在画像の色成分のそれぞれのマクロブロックに独立的に適用される予測モード（以下、“複合予測モード”）のうち何れか一つを選択しうる。
【００２３】
また、最適モード選択部１１０は、現在画像の色成分のそれぞれのマクロブロックに、最適の予測モードとして単一予測モード及び複合予測モードのうち何れか一つを選択し、これらのうち単一予測モードを選択した場合に、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する予測モード（以下、“レジデュー変換モード”という）を選択することもある。
【００２４】
また、最適モード選択部１１０は、現在画像の色成分のそれぞれのマクロブロックに、最適の予測モードとして単一予測モード及び複合予測モードのうち何れか一つを選択し、これらのうち単一予測モードを選択した場合に、ＲＣＴ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）変換を行う予測モード（以下、“ＲＣＴ変換モード”という）、ＩＰＰ（Ｉｎｔｅｒ−Ｐｌａｎｅ Ｐｒｅｄｉｃｔｉｏｎ）変換を行うモード（以下、“ＩＰＰ変換モード”という）、及びＲＣＰ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｐｒｅｄｉｃｔｉｏｎ）変換を行う予測モード（以下、“ＲＣＰ変換モード”という）のうち何れか一つを選択することもある。ＲＣＴ変換、ＩＰＰ変換、ＲＣＰ変換については後述する。
【００２５】
本実施形態で、サンプル画像としては、現在画像の以前画像のうち何れか一つが使われる。最適モード選択部１１０は、サンプル画像の色成分のそれぞれのマクロブロックに最適の予測モードを選択するために、このサンプル画像に対して全ての可能な予測モードを一つずつ順次に選択し、選択された予測モードによって符号化された全ての結果を比較して、多数の予測モードのうち、このサンプル画像の色成分のそれぞれのマクロブロックに最適の予測モードを選択する。以後、この予測モードが現在画像の色成分のそれぞれのマクロブロックに最適の予測モードとして使われる。
【００２６】
さらに詳細に説明すれば、最適モード選択部１１０は、現在画像の色成分のそれぞれのマクロブロックに最適である予測モードとして、サンプル画像を符号化した結果に該当するビットストリームの量及びサンプル画像とこのサンプル画像の復元画像との間の画質の歪曲が最も少ない予測モードを選択する。下記のものを参照するに、サンプル画像を符号化した結果に該当するビットストリームの量は、エントロピー符号化部１５０によって生成されたビットストリームの量となり、サンプル画像の復元画像は、復元画像生成部１８０によって生成された復元画像となる。
【００２７】
特に、本実施形態によれば、最適モード選択部１１０は、ラグランジアン最適化技法を使用して最適モードを選択する。すなわち、最適モード選択部１１０は、次の式（１）を利用して、原本画像と復元画像との差値を乗算して合算した値の平均から画質の歪曲を算出する。
【００２８】
【数１】
ここで、Ｄは、画質歪曲の程度を表し、ｐは、現在画像の画素値を表し、ｑは、以前画像の画素値を表し、ｉは、現在画像の現在マクロブロック内での画素のインデックスを表す。
【００２９】
また、最適モード選択部１１０は、次の式（２）を利用して画質の歪曲の程度とビットストリームの量のそれぞれの単位との差を調整するために、一定定数“λ”とビットストリームの量“Ｒ”とを積算し、この積算値と画質の歪曲の程度“Ｄ”とを合算することによって、現在画像の色成分のそれぞれのマクロブロックに最適の予測モードを選択するための最終値“Ｌ”を算出する。
【００３０】
【数２】
ここで、Ｒは、ビットストリームの量を表し、λは、所定の定数を表す。このような値を各予測方法別に計算した数Ｌが最も小さな予測方法を選択する。
【００３１】
前記のラグランジアン最適化技法によって実験を行えば、最適モード選択部１１０は、サンプル画像の色成分のそれぞれの類似性が高い場合には、単一予測モードを選択し、サンプル画像の色成分間の類似性が低い場合には、複合予測モードを選択する。
【００３２】
レジデュー生成部１２０は、最適モード選択部１１０によって選択された予測モードによって、色成分のそれぞれのマクロブロック別に現在画像に対する予測画像を生成し、現在画像と予測画像との差に該当するレジデューを生成する。そうでなければ、レジデュー生成部１２０は、最適モード選択部１１０によって選択された予測モードによって、色成分のそれぞれのマクロブロック別に現在画像に対する予測画像を生成し、現在画像と予測画像との差に該当する第１レジデューを生成し、色成分のそれぞれのマクロブロック別に第１レジデューの差に該当する第２レジデューを生成する。
【００３３】
周波数空間変換部１３０は、レジデュー生成部１２０によって生成されたレジデューを色空間から周波数空間に変換する。そうでなければ、周波数空間変換部１３０は、レジデュー生成部１２０によって生成された第２レジデューを色空間から周波数空間に変換する。Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣでは、色空間から周波数空間に変換する方式としてＤＨＴ（Ｄｉｓｃｒｅｔｅ Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）基盤の整数変換が導入された。
【００３４】
量子化部１４０は、周波数空間変換部１３０によって変換された値を量子化する。すなわち、量子化部１４０は、周波数空間変換部１３０によって変換された結果である周波数成分値を量子化パラメータで割って、その結果を整数値に近似化する。
【００３５】
エントロピー符号化部１５０は、量子化部１４０によって量子化された値をエントロピー符号化することによってビットストリームを生成し、これを出力する。特に、本実施形態によれば、エントロピー符号化部１５０は、動画符号化装置によって使われた予測モード、すなわち、最適モード選択部１１０によって選択された予測モードを表す情報も共にエントロピー符号化することによって、これを含むビットストリームを生成する。Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣでは、エントロピー符号化方式でＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）が導入された。
【００３６】
さらに詳細に説明すれば、エントロピー符号化部１５０は、現在画像の色成分のそれぞれのマクロブロック別に、マクロブロックヘッダに最適モード選択部１１０によって選択された予測モードを表す情報を含むビットストリームを生成する。図１０に示された動画復号化装置は、このビットストリームを受信して復号化することによって、動画符号化装置がいかなる予測モードを使用したのかが分かる。
【００３７】
もし、現在画像の色成分の全てのマクロブロックに対して、最適モード選択部１１０によって選択された予測モードがいずれも同じである場合には、マクロブロックの上位レベルであるシーケンスレベルまたはピクチャレベルで一つのシーケンスを構成する全てのマクロブロック、または一つのピクチャを構成する全てのマクロブロックに対して、最適モード選択部１１０によって選択された予測モードの一つのみを表す情報を含むビットストリームを生成することによって、マクロブロックヘッダに記録される情報を省略でき、符号化効率を高めうる。
【００３８】
さらに、現在画像の色成分の全てのマクロブロックに対して、最適モード選択部１１０によって選択された予測モードの一部が同じである場合には、マクロブロックの上位レベルであるシーケンスレベルまたはピクチャレベルで一つのシーケンスを構成するマクロブロック、または一つのピクチャを構成するマクロブロックのうち一部に対して、最適モード選択部１１０によって選択された予測モードの一つのみを表す情報を含み、残りのものに対しては、マクロブロックヘッダに最適モード選択部１１０によって選択された予測モードを表す情報を含むビットストリームを生成することによって、符号化効率を高めうる。
【００３９】
逆量子化部１６０は、量子化部１４０によって量子化された値を逆量子化する。すなわち、逆量子化部１６０は、量子化部１４０によって近似化された整数値に量子化パラメータを積算することによって周波数成分値を復元する。
【００４０】
周波数空間逆変換部１７０は、逆量子化部１６０によって復元された周波数成分値を周波数空間から色空間に変換することによって、現在画像と予測画像との差に該当するレジデューを復元する。そうでなければ、周波数空間逆変換部１７０は、逆量子化部１６０によって復元された周波数成分値を周波数空間から色空間に変換することによって、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを復元する。
【００４１】
復元画像生成部１８０は、レジデュー生成部１２０によって生成された予測画像と周波数空間逆変換部１７０によって復元されたレジデューとの合算に該当する復元画像を生成する。そうでなければ、復元画像生成部１８０は、周波数空間逆変換部１７０によって復元された第２レジデュー間の合算に該当する第１レジデューを生成し、レジデュー生成部１２０によって生成された予測画像とこのように生成された第１レジデューとの合算に該当する復元画像を生成する。
【００４２】
図２は、図１に示されたレジデュー生成部１２０の構成図である。図２を参照するに、図１に示されたレジデュー生成部１２０は、単一モードレジデュー生成部１２１１及び複合モードレジデュー生成部１２１２で構成される。
【００４３】
単一モードレジデュー生成部１２１１は、最適モード選択部１１０によって選択された予測モードが単一予測モードであれば、単一予測モードによって現在画像内の空間的な重畳性を除去する空間上予測（以下、“単一イントラ予測”という）を行うか、または単一予測モードによって現在画像と参照画像との時間的な重畳性を除去する時間上予測（以下、“単一インター予測”という）を行うことによって予測画像を生成する。次いで、単一モードレジデュー生成部１２１１は、現在画像とこのように生成された予測画像との差に該当するレジデューを生成する。
【００４４】
さらに詳細に説明すれば、単一モードレジデュー生成部１２１１は、現在画像の色成分のそれぞれのマクロブロックに一律的に適用されるサイズに色成分のそれぞれのマクロブロックを分割し、このように分割された色成分のそれぞれのブロック別に、色成分のそれぞれのブロックに一律的に適用される参照画像と現在画像との間の動きベクトルを決定し、このように決定された動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成することによって単一インター予測を行う。
【００４５】
すなわち、単一モードレジデュー生成部１２１１は、現在画像の色成分のそれぞれのマクロブロックを同じサイズに分割し、このように分割された色成分のそれぞれのブロック別に同じ動きベクトルを決定し、このように決定された動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成することによって単一インター予測を行う。
【００４６】
図３は、インター予測におけるマクロブロックの分割方法を示す図である。図３を参照するに、インター予測におけるマクロブロックの場合、１６×１６サイズのマクロブロックを１６×１６、１６×８、８×１６、８×１６、８×８などの多様なサイズに分割した後、このように分割されたブロック別に動きベクトルが決定される。さらに、８×８サイズのブロックを再び８×８、８×４、４×８、４×４のさらに小さく分割した後、このように分割されたブロック別に動きベクトルが決定されることもある。マクロブロックがさらに小さく分割されるほど、レジデューに現在画像と参照画像との間の精密な動きが含まれる。
【００４７】
ＹＣｏＣｇ色空間を例と挙げれば、単一モードレジデュー生成部１２１１は、Ｙ成分のマクロブロック、Ｃｏ成分のマクロブロック、Ｃｇ成分のマクロブロックを何れも同じサイズに分割し、例えば、Ｙ成分のマクロブロック、Ｃｏ成分のマクロブロック、Ｃｇ成分のマクロブロックを何れも８×８サイズに分割し、このように分割されたＹ成分のブロック、Ｃｏ成分のブロック、Ｃｇ成分のブロック別に同じ動きベクトルを決定する。また、ＲＧＢ色空間を例と挙げれば、単一モードレジデュー生成部１２１１は、Ｒ成分のマクロブロック、Ｇ成分のマクロブロック、Ｂ成分のマクロブロックを何れも同じサイズに分割し、例えば、Ｒ成分のマクロブロック、Ｇ成分のマクロブロック、Ｂ成分のマクロブロックを何れも８×８サイズに分割し、このように分割されたＲ成分のブロック、Ｇ成分のブロック、Ｂ成分のブロック別に同じ動きベクトルを決定する。
【００４８】
また、単一モードレジデュー生成部１２１１は、現在画像の色成分のそれぞれのマクロブロックに一律的に適用されるサイズに色成分のそれぞれのマクロブロックを分割し、このように分割された色成分のそれぞれのブロック別に色成分のそれぞれのブロックに一律的に適用される予測方向を決定し、このように決定された予測方向を使用して、復元画像生成部１８０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成することによって、単一イントラ予測を行う。
【００４９】
すなわち、単一モードレジデュー生成部１２１１は、現在画像の色成分のそれぞれのマクロブロックを同じサイズに分割し、このように分割された色成分のそれぞれのブロック別に同じ予測方向を決定し、このように決定された予測方向を使用して、復元画像生成部１８０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成することによって、単一イントラ予測を行う。
【００５０】
図４は、イントラ予測における予測様子を示す図である。図４を参照するに、１６×１６サイズのマクロブロックを４×４サイズに分割した後、このように分割されたブロック別に９個の予測方向を使用して予測画像が生成される。そうでなければ、１６×１６サイズのマクロブロックに対して、４個の予測方向を使用して予測画像が生成されることもある。前者の場合をさらに詳細に説明すれば、４×４サイズのブロックＰａ，Ｐｂ，…，Ｐｑを予測するために、復元画像内の空間上隣接画素Ｐ０，Ｐ１，…，Ｐ１２を利用する（４１）。０から８までの９個の予測方向を使用して、隣接画素Ｐ０，Ｐ１，…，Ｐ１２からＰａ，Ｐｂ，…，Ｐｑを予測する（４２）。０の方向を例と挙げれば、隣接画素Ｐ１，Ｐ２，Ｐ３，及びＰ４を０の方向に該当する垂直下降方向に投影することによって、Ｐａ，Ｐｅ，Ｐｉ，及びＰｍはＰ１から予測し、Ｐｂ，Ｐｆ，Ｐｊ，及びＰｎはＰ２から予測し、Ｐｃ，Ｐｇ，Ｐｋ，及びＰｄはＰ３から予測し、Ｐｄ，Ｐｈ，Ｐｌ，及びＰｑはＰ４から予測する。他の方向の場合も同様に、前記のような投影によってＰａ，Ｐｂ，..，Ｐｑが予測される。
【００５１】
ＹＣｏＣｇ色空間を例と挙げれば、単一モードレジデュー生成部１２１１は、Ｙ成分のマクロブロック、Ｃｏ成分のマクロブロック、Ｃｇ成分のマクロブロックを何れも同じサイズに分割し、例えば、Ｙ成分のマクロブロック、Ｃｏ成分のマクロブロック、Ｃｇ成分のマクロブロックを何れも４×４サイズに分割し、このように分割されたＹ成分のブロック、Ｃｏ成分のブロック、Ｃｇ成分のブロック別に同じ予測方向を決定する。また、ＲＧＢ色空間を例と挙げれば、単一モードレジデュー生成部１２１１は、Ｒ成分のマクロブロック、Ｇ成分のマクロブロック、Ｂ成分のマクロブロックを何れも同じサイズに分割し、例えば、Ｒ成分のマクロブロック、Ｇ成分のマクロブロック、Ｂ成分のマクロブロックを何れも４×４サイズに分割し、このように分割されたＲ成分のブロック、Ｇ成分のブロック、Ｂ成分のブロック別に同じ予測方向を決定する。
【００５２】
前記のように、単一モードレジデュー生成部１２１１は、異なる色成分のそれぞれに同じ時間上予測方式及び同じ空間上予測方式を適用するために、色成分のそれぞれのレジデュー間の類似性が大きくなる。また、ブロックのサイズ、動きベクトル、予測方向が全ての色成分に一律的に適用されるため、色成分ごとにこのような情報を符号化させる必要なく、全ての色成分に対して、１回のみこのような情報を符号化させればよいため、全体的な符号化効率を高めうるという長所がある。
【００５３】
複合モードレジデュー生成部１２１２は、最適モード選択部１１０によって選択された予測モードが複合予測モードであれば、複合予測モードによって現在画像と参照画像との時間的重畳性を除去する時間上予測（以下、“複合インター予測”という）を行うか、または現在画像の色成分のそれぞれのマクロブロックに独立的に適用される予測モードによって、現在画像内の空間的重複性を除去する空間上予測（以下、“複合イントラ予測”という）を行うことによって予測画像を生成する。また、複合モードレジデュー生成部１２１２は、現在画像とこのように生成された予測画像との差に該当するレジデューを生成する。
【００５４】
さらに詳細に説明すれば、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックに独立的に適用されるサイズに色成分のそれぞれのマクロブロックを分割し、このように分割された色成分のそれぞれのブロック別に色成分のそれぞれのブロックに独立的に適用される参照画像と現在画像との間の動きベクトルを決定し、このように決定された動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成することによって複合インター予測を行う。
【００５５】
すなわち、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックを異なるサイズに分割し、このように分割された色成分のそれぞれのブロック別に異なる動きベクトルを決定し、このように決定された動きベクトルを使用して参照画像から現在画像に対する予測画像を生成することによって、複合インター予測を行う。もちろん、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックに独立的に適用される予測モードによってインター予測を行うため、現在画像の色成分のそれぞれのマクロブロックを同じサイズに分割し、このように分割された色成分のそれぞれのブロック別に同じ動きベクトルを決定することもある。
【００５６】
ＹＣｏＣｇ色空間を例と挙げれば、複合モードレジデュー生成部１２１２は、Ｙ成分のマクロブロック、Ｃｏ成分のマクロブロック、Ｃｇ成分のマクロブロックを異なるサイズに分割し、例えば、Ｙ成分のマクロブロックを４×４、Ｃｏ成分のマクロブロックを８×８、Ｃｇ成分のマクロブロックを８×８のサイズに分割し、このように分割されたＹ成分のブロック、Ｃｏ成分のブロック、Ｃｇ成分のブロック別に異なる動きベクトルを決定する。また、ＲＧＢ色空間を例と挙げれば、複合モードレジデュー生成部１２１２は、Ｒ成分のマクロブロック、Ｇ成分のマクロブロック、Ｂ成分のマクロブロックを異なるサイズに分割し、例えば、Ｒ成分のマクロブロックを８×８、Ｇ成分のマクロブロックを４×４、Ｂ成分のマクロブロックを８×８のサイズに分割し、このように分割されたＲ成分のブロック、Ｇ成分のブロック、Ｂ成分のブロック別に異なる動きベクトルを決定する。
【００５７】
また、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックに独立的に適用されるサイズに色成分のそれぞれのマクロブロックを分割し、このように分割された色成分のそれぞれのブロック別に色成分のそれぞれのブロックに独立的に適用される予測方向を決定し、このように決定された予測方向を使用して、復元画像生成部１８０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成することによって、複合イントラ予測を行う。
【００５８】
すなわち、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックを異なるサイズに色成分のそれぞれのマクロブロックを分割し、このように分割された色成分のそれぞれのブロック別に異なる予測方向を決定し、このように決定された予測方向を使用して、復元画像生成部１８０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成することによって、複合イントラ予測を行う。もちろん、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックに独立的に適用される予測モードによってイントラ予測を行うため、現在画像の色成分のそれぞれのマクロブロックを同じサイズに分割し、このように分割された色成分のそれぞれのブロック別に同じ動きベクトルを決定することもある。
【００５９】
ＹＣｏＣｇ色空間を例と挙げれば、複合モードレジデュー生成部１２１２は、Ｙ成分のマクロブロック、Ｃｏ成分のマクロブロック、Ｃｇ成分のマクロブロックを異なるサイズに分割し、例えば、Ｙ成分のマクロブロックを４×４、Ｃｏ成分のマクロブロックを１６×１６、Ｃｇ成分のマクロブロックを１６×１６のサイズに分割し、このように分割されたＹ成分のブロック、Ｃｏ成分のブロック、Ｃｇ成分のブロック別に異なる予測方向を決定する。また、ＲＧＢ色空間を例と挙げれば、複合モードレジデュー生成部１２１２は、Ｒ成分のマクロブロック、Ｇ成分のマクロブロック、Ｂ成分のマクロブロックを異なるサイズに分割し、例えば、Ｒ成分のマクロブロックを１６×１６、Ｇ成分のマクロブロックを４×４、Ｂ成分のマクロブロックを１６×１６のサイズに分割し、このように分割されたＲ成分のブロック、Ｇ成分のブロック、Ｂ成分のブロック別に異なる予測方向を決定する。
【００６０】
さらに、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロック別に複合インター予測または複合イントラ予測を行うこともある。すなわち、複合モードレジデュー生成部１２１２は、現在画像の色成分のそれぞれのマクロブロックのうち何れか一つの色成分のマクロブロックに対しては、複合インター予測を行い、他の色成分のマクロブロックに対しては、複合イントラ予測を行うこともある。
【００６１】
前記のように、複合モードレジデュー生成部１２１２は、異なる色成分の間に異なる時間上予測方式と異なる空間上予測方式とを行うため、色成分の間に類似性があまりなければ、相互間にそれぞれ独立的な符号化方法を使用して各色成分に最適の方法を使用することによって、予測符号化を効果的に行って、結局、全体的な符号化効率を高めうるが、色成分に独立的に適用されるブロックのサイズ、動きベクトル、及び予測方向を１回のみ符号化すればよいため、符号化効率を高めうる。
【００６２】
図５は、図１に示されたレジデュー生成部１２０の他の構成図である。図５を参照するに、図５に示されたレジデュー生成部１２０は、単一モードレジデュー生成部１２２１、レジデュー変換部１２２２、及び複合モードレジデュー生成部１２２３で構成される。単一モードレジデュー生成部１２２１及び複合モードレジデュー生成部１２２３は、図２に示された単一モードレジデュー生成部１２１１及び複合モードレジデュー生成部１２１２と同じ機能を行う。
【００６３】
しかしながら、単一モードレジデュー生成部１２２１でのインター予測またはイントラ予測以後にも、色成分間には重畳性が残っている。レジデュー変換部１２２２は、このような色成分間の重畳性を除去する役割を行う。単一モードレジデュー生成部１２２１によって生成されたレジデューとレジデュー変換部１２２２によって生成されたレジデューとを区別するために、前者を“第１レジデュー”と称し、後者を“第２レジデュー”と称す。
【００６４】
レジデュー変換部１２２２は、最適モード選択部１１０によって選択された予測モードがレジデュー変換モードであれば、単一モードレジデュー生成部１２２１によって生成された第１レジデュー間の差に該当する第２レジデューを生成する。
【００６５】
図６は、図１に示されたレジデュー生成部１２０のさらに他の構成図である。図６を参照するに、図６に示されたレジデュー生成部１２０は、単一モードレジデュー生成部１２３１、ＲＣＴ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）変換部１２３２、ＩＰＰ（Ｉｎｔｅｒ−Ｐｌａｎｅ Ｐｒｅｄｉｃｔｉｏｎ）変換部１２３３、及びＲＣＰ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｐｒｅｄｉｃｔｉｏｎ）変換部１２３４、及び複合モードレジデュー生成部１２３５で構成される。単一モードレジデュー生成部１２３１及び複合モードレジデュー生成部１２３５は、図２に示された単一モードレジデュー生成部１２１１及び複合モードレジデュー生成部１２１２と同じ機能を行う。前記と同様に、単一モードレジデュー生成部１２３１によって生成されたレジデューＷＡＲＣＴ変換部１２３２、ＩＰＰ変換部１２３３、及びＲＣＰ変換部１２３４によって生成されたレジデューを区別するために、前者を“第１レジデュー”と称し、後者を“第２レジデュー”と称す。
【００６６】
単一モードレジデュー生成部１２２１によって生成された第１レジデュー間の差に該当する第２レジデューを生成する方式としては、ＲＣＴ変換方式、ＩＰＰ変換方式、ＲＣＰ変換方式がある。ＲＣＴ変換は、ＹＣｏＣｇ色空間で第２レジデューを生成することによって、ＩＰＰ変換は、ＲＧＢ色空間で第２レジデューを生成することによって、ＲＣＰ変換は、ＩＰＰ変換と類似しているが、Ｇ成分のレジデューを予測子として使用する時に所定のフィルタリングを通じてノイズを除去した後にＩＰＰ変換と同じ変換を適用する。
【００６７】
ＲＣＴ変換部１２３２は、最適モード選択部１１０によって選択された予測モードがＲＣＴ変換モードであれば、ＹＣｏＣｇ色空間で次の式（３）を利用してＹ成分、Ｃｏ成分、Ｃｇ成分それぞれの第１レジデュー間の差に該当する第２レジデューを生成する。特に、Ｙ＝（Ｒ＋２Ｇ＋Ｂ）＞＞２、Ｃｏ＝（Ｒ−Ｂ）＞＞１、Ｃｇ＝（−Ｒ＋２Ｇ−Ｂ）＞＞２の関係にある。
【００６８】
【数３】
ここで、△Ｘは、第１レジデューを意味し、△２Ｘは、第２レジデューを意味する。また、表記“＞＞”は、右側シフト演算を意味し、おおよそ２で割ることとなる。また、変数ｔは、臨時的な計算目的として使われる。
【００６９】
ＩＰＰ変換部１２３３は、最適モード選択部１１０によって選択された予測モードがＩＰＰ変換モードであれば、このＩＰＰ変換モードによって、ＲＧＢ色空間で次の式（４）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する。
【００７０】
【数４】
ここで、△Ｘは、第１レジデューを意味し、△２Ｘは、第２レジデューを意味する。また、△Ｘ’は、復元された第１レジデューを意味する。特に、式（２）は、Ｇ成分が画像情報を多く有している時に効果的であり、Ｒ成分またはＢ成分を主な成分として第２レジデューを計算することもある。
【００７１】
ＲＣＰ変換部１２３４は、最適モード選択部１１０によって選択された予測モードがＲＣＰ変換モードであれば、ＲＣＰ変換モードによって、ＲＧＢ色空間で次の式（５）のような５タップフィルタを使用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれのノイズを除去した後、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する。
【００７２】
【数５】
また、ＲＣＰ変換部１２３４は、ＲＧＢ色空間で次の式（６）のような３タップフィルタを使用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれのノイズを除去した後、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する。
【００７３】
【数６】
前記の式（５）及び式（６）で、ａｂｓ（ｘ）は、ｘの絶対値を意味し、ｓｉｇｎ（ｓ）は、次の式（７）を意味する。
【００７４】
【数７】
図７Ａ及び図７Ｂは、本発明による望ましい一実施形態に適用される５タップフィルタと３タップフィルタとを示す図である。図７Ａ及び図７Ｂを参照するに、本実施形態に適用される５タップフィルタは、予測子として使用する画素を中心に周辺の４個の画素を使用し、３タップフィルタは、予測子として使用する画素を中心に周辺の左右の二つの画素を使用する。但し、前記の式（５）及び式（６）のように、加重値を置いて使用しうる。
【００７５】
図８は、図１に示されたレジデュー生成部１２０のさらに他の構成図である。図８を参照するに、図６に示されたレジデュー生成部１２０は、複合モードレジデュー生成部１２４１及びレジデュー変換部１２４２で構成される。複合モードレジデュー生成部１２４１は、図２に示された複合モードレジデュー生成部１２１２と同じ機能を行う。
【００７６】
ところが、複合モードレジデュー生成部１２４１でのインター予測またはイントラ予測以後にも、色成分間には重畳性が残っている。レジデュー変換部１２４２は、このような色成分間の重畳性を除去する役割を行う。単一モードレジデュー生成部１２４１によって生成されたレジデューとレジデュー変換部１２４２によって生成されたレジデューとを区別するために、前者を“第１レジデュー”と称し、後者を“第２レジデュー”と称す。
【００７７】
レジデュー変換部１２４２は、最適モード選択部１１０によって選択された予測モードがレジデュー変換モードであれば、レジデュー変換モードによって、複合モードレジデュー生成部１２４１によって生成された第１レジデュー間の差に該当する第２レジデューを生成する。但し、複合モードレジデュー生成部１２４１でのインター予測またはイントラ予測以後にも、色成分間には重畳性が残っているが、単一モード方式に比べて、色成分間の類似性が低いため、レジデュー変換部１２４２での圧縮効率は、レジデュー変換部１２２２での圧縮効率よりは劣る。
【００７８】
図９は、図２に示された復元画像生成部１８０の構成図である。図９を参照するに、図２に示された復元画像生成部１８０は、レジデュー逆変換部１８１及び予測補償部１８２で構成される。
【００７９】
レジデュー逆変換部１８１は、周波数空間逆変換部１７０によって復元された第２レジデュー間の合算に該当する第１レジデューを生成する。例えば、レジデュー逆変換部１８１は、次の式（８）を利用して、Ｙ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第２レジデュー間の合算に該当するＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデューを生成する。
【００８０】
【数８】
ここで、△Ｘ’は、復元された第１レジデューを意味し、△２Ｘ’は、復元された第２レジデューを意味する。
【００８１】
そうでなければ、レジデュー逆変換部１８１は、次の式（９）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の合算に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【００８２】
【数９】
ここで、△Ｘ’は、復元された第１レジデューを意味し、△２Ｘ’は、復元された第２レジデューを意味する。
【００８３】
予測補償部１８２は、レジデュー生成部１２０によって生成された予測画像とレジデュー逆変換部１８１によって生成された第１レジデューとの合算に該当する復元画像を生成する。例えば、予測補償部１８２は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとに、レジデュー生成部１２０によって生成された予測画像とレジデュー逆変換部１８１によって生成された第１レジデューとの合算を算出することによって、ＹＣｏＣｇ色空間での復元画像を生成する。そうでなければ、予測補償部１８２は、Ｒ成分、Ｇ成分、及びＢ成分ごとに、レジデュー生成部１２０によって生成された予測画像とレジデュー逆変換部１８１によって生成された第１レジデューとの合算を算出することによって、ＲＧＢ色空間での復元画像を生成する。
【００８４】
図１０は、本発明の望ましい一実施形態による動画復号化装置の構成図である。図１０を参照するに、本実施形態による動画復号化装置は、エントロピー復号化部２１０、逆量子化部２２０、周波数空間逆変換部２３０、予測画面生成部２４０及び復元画像生成部２５０で構成される。
【００８５】
エントロピー復号化部２１０は、図１に示された動画符号化装置から出力されたビットストリームをエントロピー復号化することによって、現在画像に該当する整数値及び現在画像の色成分のそれぞれのブロックに最適の予測モードを表す情報を復元する。ここで、現在画像の色成分のそれぞれのブロックに最適である予測モードは、動画符号化装置で使われた予測モードである。
【００８６】
逆量子化部２２０は、エントロピー復号化部２１０によって復元された整数値を逆量子化することによって周波数成分値を復元する。すなわち、逆量子化部２２０は、エントロピー復号化部２１０によって復元された整数値に量子化パラメータを積算することによって周波数成分値を復元する。
【００８７】
周波数空間逆変換部２３０は、逆量子化部２２０によって復元された周波数成分値を周波数空間から色空間に変換することによって、現在画像と予測画像との差に該当するレジデューを生成する。そうでなければ、周波数空間逆変換部２３０は、逆量子化部２２０によって復元された周波数成分値を周波数空間から色空間に変換することによって、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを復元する。
【００８８】
予測画像生成部２４０は、色成分のそれぞれのマクロブロック別にエントロピー復号化部２１０によって復元された情報が表す予測モードによって、現在画像に対する予測画像を生成する。
【００８９】
復元画像生成部２５０は、予測画像生成部２４０によって生成された予測画像と周波数空間逆変換部２３０によって復元されたレジデューとの合算に該当する復元画像を生成する。そうでなければ、復元画像生成部２５０は、周波数空間逆変換部２３０によって復元された第２レジデュー間の合算に該当する第１レジデューを生成し、予測画像生成部２４０によって生成された予測画像とこのように生成された第１レジデュー間の合算に該当する復元画像とを生成する。
【００９０】
図１１は、図１０に示された予測画像生成部２４０の構成図である。図１１を参照するに、図１０に示された予測画像生成部２４０は、単一モード予測画像生成部２４１及び複合モード予測画像生成部２４２で構成される。
【００９１】
単一モード予測画像生成部２４１は、エントロピー復号化部２１０によって復元された情報が単一予測モードを表せば、単一イントラ予測または単一インター予測を行うことによって予測画像を生成する。さらに詳細に説明すれば、単一モード予測画像生成部２４１は、現在画像の色成分のそれぞれのマクロブロックに一律的に適用されるサイズに分割されたブロック別に、色成分のそれぞれのブロックに一律的に適用される参照画像と現在画像との間の動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成する。すなわち、単一モード予測画像生成部２４１は、現在画像の色成分のそれぞれのマクロブロックに対して同じサイズに分割されたブロック別に同じ動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成する。
【００９２】
また、単一モード予測画像生成部２４１は、現在画像の色成分のそれぞれのマクロブロックに一律的に適用されるサイズに分割されたブロック別に、色成分のそれぞれのブロックに一律的に適用される予測方向を使用して、復元画像生成部２５０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成する。すなわち、単一モードレジデュー生成部は、現在画像の色成分のそれぞれのマクロブロックに対して同じサイズに分割されたブロック別に同じ予測方向を使用して、復元画像生成部２５０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成する。
【００９３】
複合モード予測画像生成部２４２は、エントロピー復号化部２１０によって復元された情報が複合予測モードを表せば、複合インター予測または複合イントラ予測を行うことによって予測画像を生成する。さらに詳細に説明すれば、複合モード予測画像生成部２４２は、現在画像の色成分のそれぞれのマクロブロックに独立的に適用されるサイズに分割されたブロック別に、色成分のそれぞれのブロックに独立的に適用される参照画像と現在画像との間の動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成する。すなわち、複合モード予測画像生成部２４２は、現在画像の色成分のそれぞれのマクロブロックに対して、異なるサイズに分割された色成分のそれぞれのブロック別に異なる動きベクトルを使用して、参照画像から現在画像に対する予測画像を生成する。
【００９４】
また、複合モード予測画像生成部２４２は、現在画像の色成分のそれぞれのマクロブロックに独立的に適用されるサイズに分割されたブロック別に、色成分のそれぞれのブロックに一律的に適用される予測方向を使用して、復元画像生成部２５０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成することによって、複合イントラ予測を行う。すなわち、複合モード予測画像生成部２４２は、現在画像の色成分のそれぞれのマクロブロックに対して、異なるサイズに分割されたブロック別に異なる予測方向を使用して、復元画像生成部２５０によって生成された復元画像内の隣接画素から現在画像を構成するブロックを予測し、このように予測されたブロックで構成された予測画像を生成する。
【００９５】
図１２は、図１０に示された復元画像生成部２５０の構成図である。図１２を参照するに、図１０に示された復元画像生成部２５０は、レジデュー逆変換部２５１及び予測補償部２５２で構成される。
【００９６】
レジデュー逆変換部２５１は、エントロピー復号化部２１０によって復元された情報がレジデュー変換モードを表せば、周波数空間逆変換部２３０によって復元された第２レジデュー間の合算に該当する第１レジデューを生成する。例えば、レジデュー逆変換部２５１は、前記の式（８）を利用して、Ｙ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第２レジデュー間の合算に該当するＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデューを生成する。そうでなければ、レジデュー逆変換部２５１は、前記の式（９）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の合算に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【００９７】
予測補償部２５２は、予測画像生成部２４０によって生成された予測画像とレジデュー逆変換部２５１によって生成された第１レジデューとの合算に該当する復元画像を生成する。例えば、予測補償部２５２は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとに予測画像生成部２４０によって生成された予測画像とレジデュー逆変換部２５１によって生成された第１レジデューとの合算を算出することによって、ＹＣｏＣｇ色空間での復元画像を生成する。そうでなければ、予測補償部２５２は、Ｒ成分、Ｇ成分、及びＢ成分ごとに予測画像生成部２４０によって生成された予測画像とレジデュー逆変換部２５１によって生成された第１レジデューとの合算を算出することによって、ＲＧＢ色空間での復元画像を生成する。
【００９８】
図１３は、図１２に示されたレジデュー逆変換部２５１の構成図である。図１３を参照するに、図１２に示されたレジデュー逆変換部２５１は、ＲＣＴ変換部２５１１、ＩＰＰ変換部２５１２、及びＲＣＰ変換部２５１３で構成される。
【００９９】
ＲＣＴ変換部２５１１は、エントロピー復号化部２１０によって復元された情報がＲＣＴ変換モードを表せば、前記の式（８）を利用して、Ｙ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第２レジデュー間の合算に該当するＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデューを生成する。
【０１００】
ＩＰＰ変換部２５１２は、エントロピー復号化部２１０によって復元された情報がＩＰＰ変換モードを表せば、前記の式（９）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の合算に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【０１０１】
ＲＣＰ変換部２５１３は、エントロピー復号化部２１０によって復元された情報がＲＣＰ変換モードを表せば、前記の式（９）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の合算に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【０１０２】
図１４Ａ及び図１４Ｂは、本発明の望ましい一実施形態による動画符号化方法を示すフローチャートである。図１４Ａ及び図１４Ｂを参照するに、本実施形態による動画符号化方法は、図１に示された動画符号化装置で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図１に示された動画符号化装置について前述された内容は、本実施形態による動画符号化方法にも適用される。
【０１０３】
ステップ１４０１で、動画符号化装置は、サンプル画像に対して全ての可能な予測モードのうち何れか一つを選択する。特に、下記のステップ１４０６からステップ１４０１に戻った場合には、動画符号化装置は、全ての可能な予測モードのうち、既に選択された予測モードを除外したもののうち何れか一つを選択する。
【０１０４】
ステップ１４０２で、動画符号化装置は、ステップ１４０１で選択された予測モードによって、色成分のそれぞれのマクロブロック別に現在画像に対する予測画像を生成し、現在画像と予測画像との差に該当するレジデューを生成する。そうでなければ、ステップ１４０２で、動画符号化装置は、ステップ１４０１で選択された予測モードによって色成分のそれぞれのマクロブロック別に現在画像に対する予測画像を生成し、現在画像と予測画像との差に該当する第１レジデューを生成し、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する。
【０１０５】
ステップ１４０３で、動画符号化装置は、ステップ１４０２で生成されたレジデューを色空間から周波数空間に変換する。そうでなければ、ステップ１４０３で、動画符号化装置は、ステップ１４０２で生成された第２レジデューを色空間から周波数空間に変換する。
【０１０６】
ステップ１４０４で、動画符号化装置は、ステップ１４０３で変換された値を量子化する。
【０１０７】
ステップ１４０５で、動画符号化装置は、ステップ１４０４で量子化された値及びステップ１４０１で選択された予測モードを表す情報をエントロピー符号化することによって、ビットストリームを生成する。
【０１０８】
ステップ１４０６で、動画符号化装置は、ステップ１４０４で量子化された値を逆量子化することによって周波数成分値を復元する。
【０１０９】
ステップ１４０７で、動画符号化装置は、ステップ１４０６で復元された周波数成分値を周波数空間から色空間に変換することによって、現在画像と予測画像との差に該当するレジデューを復元する。そうでなければ、ステップ１４０７で動画符号化装置は、ステップ１４０６で復元された周波数成分値を周波数空間から色空間に変換することによって、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを復元する。
【０１１０】
ステップ１４０８で、動画符号化装置は、ステップ１４０２で生成された予測画像とステップ１４０７によって復元されたレジデュー間の合算に該当する復元画像とを生成する。そうでなければ、ステップ１４０８で、動画符号化装置は、ステップ１４０７で復元された第２レジデュー間の合算に該当する第１レジデューを生成し、ステップ１４０２で生成された予測画像とこのように生成された第１レジデュー間の合算に該当する復元画像とを生成する。
【０１１１】
ステップ１４０９で、動画符号化装置は、全ての予測モードに対して、前記ステップ１４０１〜１４０８が行われたか否かを判断し、もし、全ての予測モードに対して前記ステップ１４０１〜１４０８が行われた場合には、ステップ１４１０に進み、行われていない場合には、ステップ１４０１に戻る。
【０１１２】
ステップ１４１０で、動画符号化装置は、サンプル画像の特性、すなわち、ステップ１４０１〜１４０９で行われた結果に基づいて、現在画像の色成分のそれぞれのマクロブロック別に色成分のそれぞれのマクロブロックに最適の予測モードを選択する。すなわち、ステップ１４１０で、動画符号化装置は、現在画像の色成分のそれぞれのマクロブロックに最適の予測モードとして、ステップ１４０５で生成されたビットストリームの量及びサンプル画像とステップ１４０８で生成された復元画像との間の画質の歪曲が最も少ない予測モードを選択する。
【０１１３】
ステップ１４１１で、動画符号化装置は、ステップ１４１０で選択された予測モードによって、色成分のそれぞれのマクロブロック別に現在画像に対する予測画像を生成し、現在画像と予測画像との差に該当するレジデューを生成する。そうでなければ、ステップ１４１１で、動画符号化装置は、ステップ１４１０で選択された予測モードによって色成分のそれぞれのマクロブロック別に現在画像に対する予測画像を生成し、現在画像と予測画像との差に該当する第１レジデューを生成し、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する。
【０１１４】
ステップ１４１２で、動画符号化装置は、ステップ１４１１で生成されたレジデューを色空間から周波数空間に変換する。そうでなければ、ステップ１４１２で、動画符号化装置は、ステップ１４１１で生成された第２レジデューを色空間から周波数空間に変換する。
【０１１５】
ステップ１４１３で、動画符号化装置は、ステップ１４１４で変換された値を量子化する。
【０１１６】
ステップ１４１４で、動画符号化装置は、ステップ１４１３で量子化された値及びステップ１４１０で選択された予測モードを表す情報をエントロピー符号化することによって、ビットストリームを生成する。
【０１１７】
ステップ１４１５で、動画符号化装置は、ステップ１４１３で量子化された値を逆量子化することによって周波数成分値を復元する。
【０１１８】
ステップ１４１６で、動画符号化装置は、ステップ１４１５で復元された周波数成分値を周波数空間から色空間に変換することによって、現在画像と予測画像との差に該当するレジデューを復元する。そうでなければ、ステップ１４１６で、動画符号化装置は、ステップ１４１５で復元された周波数成分値を周波数空間から色空間に変換することによって、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを復元する。
【０１１９】
ステップ１４１７で、動画符号化装置は、ステップ１４１１で生成された予測画像とステップ１４１６で復元されたレジデュー間の合算に該当する復元画像とを生成する。そうでなければ、ステップ１４１７で、動画符号化装置は、ステップ１４１６で復元された第２レジデュー間の合算に該当する第１レジデューを生成し、ステップ１４１１で生成された予測画像とこのように生成された第１レジデュー間の合算に該当する復元画像とを生成する。
【０１２０】
図１５は、本発明の望ましい一実施形態による動画復号化方法を示すフローチャートである。図１５を参照するに、本実施形態による動画復号化方法は、図１０に示された動画復号化装置で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図１０に示された動画復号化装置について前述された内容は、本実施形態による動画復号化方法にも適用される。
【０１２１】
ステップ１５０１で、動画復号化装置は、図１に示された動画符号化装置から出力されたビットストリームをエントロピー復号化することによって、現在画像に該当する整数値及び現在画像の色成分のそれぞれのブロックに最適の予測モードを表す情報を復元する。
【０１２２】
ステップ１５０２で、動画復号化装置は、ステップ１５０１で復元された整数値を逆量子化することによって周波数成分値を復元する。
【０１２３】
ステップ１５０３で、動画復号化装置は、ステップ１５０２で復元された周波数成分値を周波数空間から色空間に変換することによって、現在画像と予測画像との差に該当するレジデューを生成する。そうでなければ、ステップ１５０３で、動画復号化装置は、ステップ１５０２で復元された周波数成分値を周波数空間から色空間に変換することによって、色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを復元する。
【０１２４】
ステップ１５０４で、動画復号化装置は、ステップ１５０１で復元された情報がレジデュー変換モードを表せば、ステップ１５０５に進み、表さなければ、ステップ１５０６に進む。
【０１２５】
ステップ１５０５で、動画復号化装置は、ステップ１５０２で復元された第２レジデュー間の合算に該当する第１レジデューを生成する。特に、ステップ１５０５で、動画復号化装置は、ステップ１５０１で復元された情報がＲＣＴ変換モードを表せば、前記の式（８）を利用して、Ｙ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第２レジデュー間の合算に該当するＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデューを生成する。また、ステップ１５０５で、動画復号化装置は、ステップ１５０１で復元された情報がＩＰＰ変換モードまたはＲＣＰ変換モードを表せば、前記の式（９）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の合算に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【０１２６】
ＲＣＰ変換部１２３４は、エントロピー復号化部２１０によって復元された情報がＲＣＰ変換モードを表せば、前記の式（９）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の合算に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【０１２７】
ステップ１５０６で、動画復号化装置は、ステップ１５０１で復元された情報が単一予測モードを表せば、ステップ１５０７に進み、複合予測モードを表せば、ステップ１５０８に進む。
【０１２８】
ステップ１５０７で、動画復号化装置は、現在画像の色成分のそれぞれのブロックに一律的に適用されるサイズに分割されたブロック別に、色成分のそれぞれのブロックに一律的に適用される動きベクトルを使用して予測画面を生成するか、または色成分のそれぞれのブロックに一律的に適用される予測方向を使用して予測画面を生成する。
【０１２９】
ステップ１５０８で、動画復号化装置は、現在画像の色成分のそれぞれのブロックに独立的に適用されるサイズに分割されたブロック別に、色成分のそれぞれのブロックに独立的に適用される動きベクトルを使用して予測画面を生成するか、または色成分のそれぞれのブロックに独立的に適用される予測方向を使用して予測画面を生成する。
【０１３０】
ステップ１５０９で、動画復号化装置は、ステップ１５０７またはステップ１５０８で生成された予測画像とステップ１５０３で復元されたレジデュー間の合算に該当する復元画像とを生成する。そうでなければ、復元画像生成部２５０は、ステップ１５０７またはステップ１５０８で生成された予測画像とステップ１５０５で生成された第１レジデュー間の合算に該当する復元画像とを生成する。
【０１３１】
一方、前述した本発明の実施形態は、コンピュータで実行できるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。また、前述した本発明の実施形態で使われたデータの構造は、コンピュータで読み取り可能な記録媒体に多様な手段を通じて記録される。
【０１３２】
前記コンピュータで読み取り可能な記録媒体は、マグネチック保存媒体（例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような保存媒体を含む。
【０１３３】
以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということが分かるであろう。したがって、開示された実施形態は、限定的な観点でなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明でなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【符号の説明】
【０１３４】
２１０ エントロピー復号化部
２２０ 逆量子化部
２３０ 周波数空間逆変換部
２４０ 予測画像生成部
２５０ 復元画像生成部
２４１ 単一モード予測画像生成部
２４２ 複合モード予測画像生成部
【特許請求の範囲】
【請求項１】
ビットストリームを復号化することによって、一つのシーケンスを構成する複数の色成分のブロックに対する一つの予測モードを表す情報を復元するステップと、
前記復元された情報によって、前記色成分のブロックに一律的に適用される予測モードを使用したり、前記色成分のブロックに独立的に予測モードを使用して前記現在映像の予測映像を生成するステップと、を含むことを特徴とする予測映像の生成方法。
【請求項２】
前記予測映像を生成するステップは、前記復元された情報が前記色成分のそれぞれのブロックに一律的に適用される予測モードを表せば、前記色成分のそれぞれのブロックに一律的に適用されるサイズに分割されたブロック別に前記予測画面を生成することを特徴とする請求項１に記載の予測映像の生成方法。
【請求項３】
前記予測映像を生成するステップは、前記復元された情報が前記色成分のそれぞれのブロックに一律的に適用される予測モードを表せば、前記色成分のそれぞれのブロックに一律的に適用される動きベクトルを使用して前記予測画面を生成することを特徴とする請求項１に記載の予測映像の生成方法。
【請求項４】
前記予測映像を生成するステップは、前記復元された情報が前記色成分のそれぞれのブロックに一律的に適用される予測モードを表せば、前記色成分のそれぞれのブロックに一律的に適用される予測方向を使用して前記予測画面を生成することを特徴とする請求項１に記載の予測映像の生成方法。
【請求項５】
前記予測映像を生成するステップは、前記復元された情報が前記色成分のそれぞれのブロックに独立的に適用される予測モードを表せば、前記色成分のそれぞれのブロックに独立的に適用されるサイズに分割されたブロック別に前記予測画面を生成することを特徴とする請求項１に記載の予測映像の生成方法。
【請求項６】
前記予測映像を生成するステップは、前記復元された情報が前記色成分のそれぞれのブロックに独立的に適用される予測モードを表せば、前記色成分のそれぞれのブロックに独立的に適用される動きベクトルを使用して前記予測画面を生成することを特徴とする請求項１に記載の予測映像の生成方法。
【請求項７】
前記予測映像を生成するステップは、前記復元された情報が前記色成分のそれぞれのブロックに独立的に適用される予測モードを表せば、前記色成分のそれぞれのブロックに独立的に適用される予測方向を使用して前記予測画面を生成することを特徴とする請求項１に記載の予測映像の生成方法。
【請求項８】
請求項１ないし７のうちいずれか１項の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項９】
ビットストリームを復号化することによって、一つのシーケンスを構成する複数の色成分のブロックに対する一つの予測モードを表す情報を復元する復号化部と、
前記復元された情報によって、前記色成分のブロックに一律的に適用される予測モードを使用したり、前記色成分のブロックに独立的に予測モードを使用して前記現在映像の予測映像を生成する生成部と、を備えることを特徴とする予測映像の生成装置。
【請求項１】
ビットストリームを復号化することによって、一つのシーケンスを構成する複数の色成分のブロックに対する一つの予測モードを表す情報を復元するステップと、
前記復元された情報によって、前記色成分のブロックに一律的に適用される予測モードを使用したり、前記色成分のブロックに独立的に予測モードを使用して前記現在映像の予測映像を生成するステップと、を含むことを特徴とする予測映像の生成方法。
【請求項２】
前記予測映像を生成するステップは、前記復元された情報が前記色成分のそれぞれのブロックに一律的に適用される予測モードを表せば、前記色成分のそれぞれのブロックに一律的に適用されるサイズに分割されたブロック別に前記予測画面を生成することを特徴とする請求項１に記載の予測映像の生成方法。
【請求項３】
前記予測映像を生成するステップは、前記復元された情報が前記色成分のそれぞれのブロックに一律的に適用される予測モードを表せば、前記色成分のそれぞれのブロックに一律的に適用される動きベクトルを使用して前記予測画面を生成することを特徴とする請求項１に記載の予測映像の生成方法。
【請求項４】
前記予測映像を生成するステップは、前記復元された情報が前記色成分のそれぞれのブロックに一律的に適用される予測モードを表せば、前記色成分のそれぞれのブロックに一律的に適用される予測方向を使用して前記予測画面を生成することを特徴とする請求項１に記載の予測映像の生成方法。
【請求項５】
前記予測映像を生成するステップは、前記復元された情報が前記色成分のそれぞれのブロックに独立的に適用される予測モードを表せば、前記色成分のそれぞれのブロックに独立的に適用されるサイズに分割されたブロック別に前記予測画面を生成することを特徴とする請求項１に記載の予測映像の生成方法。
【請求項６】
前記予測映像を生成するステップは、前記復元された情報が前記色成分のそれぞれのブロックに独立的に適用される予測モードを表せば、前記色成分のそれぞれのブロックに独立的に適用される動きベクトルを使用して前記予測画面を生成することを特徴とする請求項１に記載の予測映像の生成方法。
【請求項７】
前記予測映像を生成するステップは、前記復元された情報が前記色成分のそれぞれのブロックに独立的に適用される予測モードを表せば、前記色成分のそれぞれのブロックに独立的に適用される予測方向を使用して前記予測画面を生成することを特徴とする請求項１に記載の予測映像の生成方法。
【請求項８】
請求項１ないし７のうちいずれか１項の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項９】
ビットストリームを復号化することによって、一つのシーケンスを構成する複数の色成分のブロックに対する一つの予測モードを表す情報を復元する復号化部と、
前記復元された情報によって、前記色成分のブロックに一律的に適用される予測モードを使用したり、前記色成分のブロックに独立的に予測モードを使用して前記現在映像の予測映像を生成する生成部と、を備えることを特徴とする予測映像の生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４Ａ】
【図１４Ｂ】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４Ａ】
【図１４Ｂ】
【図１５】
【公開番号】特開２０１２−３４４１０（Ｐ２０１２−３４４１０Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１１−２２５２７８（Ｐ２０１１−２２５２７８）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【分割の表示】特願２００９−５００２８８（Ｐ２００９−５００２８８）の分割
【原出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【分割の表示】特願２００９−５００２８８（Ｐ２００９−５００２８８）の分割
【原出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
[ Back to top ]