残差生成方法及び装置、並びに復元画面生成方法及び装置
【課題】 Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥｘｔ上のＲＧＢ符号化技術の動画符号化効率を高める装置及び方法を提供する。
【解決手段】 本発明に係る動画像符号化装置によって実行される残差生成方法は、（ａ）動画像符号化装置が、所定の色空間を構成する色成分のそれぞれに独立して適用される第１の予測モード及び所定の色空間を構成する全ての色成分に一律に適用される第２の予測モードのうちの何れか１つを選択するステップ、及び（ｂ）動画像符号化装置が、選択された予測モードによって現在画面と予測画面との残差を前記色成分のそれぞれについて生成するステップを含み、動画像符号化装置は、第１の予測モード及び第２の予測モードのうちの何れか一つを表すフラグを動画像復号化装置に伝送する。
【解決手段】 本発明に係る動画像符号化装置によって実行される残差生成方法は、（ａ）動画像符号化装置が、所定の色空間を構成する色成分のそれぞれに独立して適用される第１の予測モード及び所定の色空間を構成する全ての色成分に一律に適用される第２の予測モードのうちの何れか１つを選択するステップ、及び（ｂ）動画像符号化装置が、選択された予測モードによって現在画面と予測画面との残差を前記色成分のそれぞれについて生成するステップを含み、動画像符号化装置は、第１の予測モード及び第２の予測モードのうちの何れか一つを表すフラグを動画像復号化装置に伝送する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、残差生成方法及び装置、並びに復元画面生成方法及び装置に係り、特に、Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ（アドバンスト ビデオ コーディング）Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎｓ（ＦＲＥｘｔ）標準分野における動画を符号化または復号化する方法及び装置に関する。
【背景技術】
【０００２】
“レジデュアル色変換”と呼ばれる新たなＲＧＢ符号化技術は、Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥｘｔ標準化過程で開発された。これは、ＲＧＢ色空間をＹＣｂＣｒ色空間に変換する時に発生する画質劣化を防止するためのものである。しかし、Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥｘｔ上のＲＧＢ符号化技術も、動画再生機器に適用するにはまだ動画符号化効率が十分に高くないとの問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術的課題は、Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥｘｔ上のＲＧＢ符号化技術の動画符号化効率を高める装置及び方法を提供することである。また、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することである。
【課題を解決するための手段】
【０００４】
前記技術的課題を解決するための本発明による第１符号化方法は、所定の色空間を構成する全ての色成分に一律的に適用される予測モードを選択するステップと、前記選択された予測モードによって前記色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成するステップと、前記生成された第１レジデュー間の差に該当する第２レジデューを生成するステップと、前記生成された第２レジデューを符号化するステップと、を含む。
【０００５】
前記技術的課題を解決するために、本発明は、前記第１符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【０００６】
前記技術的課題を解決するための本発明による第１符号化装置は、所定の色空間を構成する全ての色成分に一律的に適用される予測モードを選択する選択部と、前記選択部によって選択された予測モードによって前記色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成する減算器と、前記生成部によって生成された第１レジデュー間の差に該当する第２レジデューを生成する変換部と、前記変換部によって生成された第２レジデューを符号化する符号化部と、を備える。
【０００７】
前記技術的課題を解決するための本発明による第２符号化方法は、複数の色空間のうち何れか一つの色空間を選択するステップと、前記選択された色空間を構成する色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成するステップと、前記生成された第１レジデュー間の差に該当する第２レジデューを生成するステップと、前記生成された第２レジデューを符号化するステップと、を含む。
【０００８】
前記技術的課題を解決するために、本発明は、前記の第２符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【０００９】
前記技術的課題を解決するための本発明による第２符号化装置は、複数の色空間のうち何れか一つの色空間を選択する選択部と、前記選択部によって選択された色空間を構成する色成分ごとに現在画面と予測画面との差に該当する第１レジデューを生成する生成部と、前記生成部によって生成された第１レジデュー間の差に該当する第２レジデューを生成する変換部と、前記変換部によって生成された第２レジデューを符号化する符号化部と、を備える。
【００１０】
前記技術的課題を解決するための本発明による第３符号化方法は、複数の色空間のうち何れか一つの色空間を選択するステップと、前記選択された色空間を構成する全ての色成分に一律的に適用される予測モードを選択するステップと、前記選択された予測モードによって前記色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成するステップと、前記生成された第１レジデュー間の差に該当する第２レジデューを生成するステップと、前記生成された第２レジデューを符号化するステップと、を含む。
【００１１】
前記技術的課題を解決するために、本発明は、前記の第３符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１２】
前記技術的課題を解決するための本発明による第３符号化装置は、複数の色空間を選択する第１選択部と、前記第１選択部によって選択された色空間を構成する全ての色成分に一律的に適用される予測モードを選択する第２選択部と、前記第２選択部によって選択された予測モードによって前記色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成する減算器と、前記減算器によって生成された第１レジデュー間の差に該当する第２レジデューを生成する変換部と、前記変換部によって生成された第２レジデューを符号化する符号化部と、を備える。
【００１３】
前記技術的課題を解決するための本発明による第４符号化方法は、所定の色空間を構成する色成分のそれぞれに独立的に適用される第１予測モード及び前記所定の色空間を構成する全ての色成分に一律的に適用される第２予測モードのうち何れか一つを選択するステップと、前記選択された予測モードによって前記色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成するステップと、前記生成された第１レジデュー間の差に該当する第２レジデューを生成するステップと、前記生成された第２レジデューを符号化するステップと、を含む。
【００１４】
前記技術的課題を解決するために、本発明は、前記の第４符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１５】
前記技術的課題を解決するための本発明による第４符号化装置は、所定の色空間を構成する色成分のそれぞれに独立的に適用される第１予測モード及び前記所定の色空間を構成する全ての色成分に一律的に適用される第２予測モードのうち何れか一つを選択する選択部と、前記選択部によって選択された第１予測モードまたは第２予測モードによって前記色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成する減算器と、前記減算器によって生成された第１レジデュー間の差に該当する第２レジデューを生成する変換部と、前記変換部によって生成された第２レジデューを符号化する符号化部と、を備える。
【００１６】
前記技術的課題を解決するための本発明による第１復号化方法は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成するステップと、所定の色空間で前記生成された第２レジデュー間の合算に該当する第１レジデューを生成するステップと、前記所定の色空間を構成する全ての色成分に一律的に適用される予測モードによって予測画面を生成するステップと、前記生成された第１レジデューと前記生成された予測画面との合算に該当する復元画面を生成するステップと、を含む。
【００１７】
前記技術的課題を解決するために、本発明は、前記の第１復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１８】
前記技術的課題を解決するための本発明による第１復号化装置は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成する復号化部と、所定の色空間で前記復号化部によって生成された第２レジデュー間の合算に該当する第１レジデューを生成する逆変換部と、前記所定の色空間を構成する全ての色成分に一律的に適用される予測モードによって予測画面を生成する予測部と、前記逆変換部によって生成された第１レジデューと前記予測部によって生成された予測画面との合算に該当する復元画面を生成する加算器とを備える。
【００１９】
前記技術的課題を解決するための本発明による第２復号化方法は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成するステップと、複数の色空間のうち何れか一つの色空間で前記生成された第２レジデュー間の合算に該当する第１レジデューを生成するステップと、前記生成された第１レジデューと予測画面との合算に該当する復元画面を生成するステップとを含む。
【００２０】
前記技術的課題を解決するために、本発明は、前記の第２復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００２１】
前記技術的課題を解決するための本発明による第２復号化装置は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成する復号化部と、複数の色空間のうち何れか一つの色空間で前記復号化部によって生成された第２レジデュー間の合算に該当する第１レジデューを生成する逆変換部と、前記生成された第１レジデューと予測画面との合算に該当する復元画面を生成する加算器とを備える。
【００２２】
前記技術的課題を解決するための本発明による第３復号化方法は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成するステップと、複数の色空間のうち何れか一つの色空間で前記生成された第２レジデュー間の合算に該当する第１レジデューを生成するステップと、前記色空間を構成する全ての色成分に一律的に適用される予測モードによって予測画面を生成するステップと、前記生成された第１レジデューと前記生成された予測画面との合算に該当する復元画面を生成するステップと、を含む。
【００２３】
前記技術的課題を解決するために、本発明は、前記の第３復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００２４】
前記技術的課題を解決するための本発明による第３復号化装置は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成する復号化部と、複数の色空間のうち何れか一つの色空間で前記復号化部によって生成された第２レジデュー間の合算に該当する第１レジデューを生成する逆変換部と、前記色空間を構成する全ての色成分に一律的に適用される予測モードによって予測画面を生成する予測部と、前記逆変換部によって生成された第１レジデューと前記予測部によって生成された予測画面との合算に該当する復元画面を生成する加算器とを備える。
【００２５】
前記技術的課題を解決するための本発明による第４復号化方法は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成するステップと、所定の色空間で前記生成された第２レジデュー間の合算に該当する第１レジデューを生成するステップと、前記所定の色空間を構成する色成分のそれぞれに独立的に適用される第１予測モード及び前記所定の色空間を構成する全ての色成分に一律的に適用される第２予測モードのうち何れか一つによって予測画面を生成するステップと、前記生成された第１レジデューと前記生成された予測画面との合算に該当する復元画面を生成するステップとを含む。
【００２６】
前記技術的課題を解決するために、本発明は、前記の第４復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００２７】
前記技術的課題を解決するための本発明による第４復号化装置は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成する復号化部と、所定の色空間で前記復号化部によって前記生成された第２レジデュー間の合算に該当する第１レジデューを生成する逆変換部と、前記所定の色空間を構成する色成分のそれぞれに独立的に適用される第１予測モード及び前記所定の色空間を構成する全ての色成分に一律的に適用される第２予測モードのうち何れか一つによって予測画面を生成する予測部と、前記逆変換部によって生成された第１レジデューと前記予測部によって生成された予測画面との合算に該当する復元画面を生成する加算器とを備える。
【発明の効果】
【００２８】
本発明によれば、全ての色成分に一律的に適用される予測モードによってレジデューを生成することにより、レジデューの相関性を高め、その結果、動画符号化の効率を向上させうる。また、本発明によれば、複数の色空間のうち何れか一つの色空間を動画イメージの特性によって適応的に選択することによって動画符号化の効率を向上させうる。さらに、本発明によれば、動画符号化過程に前記の方法を重畳的に適用することによって動画符号化の効率を極大化させうる。
【図面の簡単な説明】
【００２９】
【図１】本発明の望ましい一実施形態による動画符号化装置の構成図である。
【図２】本発明の望ましい一実施形態によるブロックサイズの選択を示す図である。
【図３】本発明の望ましい一実施形態による動きベクトルの選択を示す図である。
【図４】本発明の望ましい一実施形態による予測方向の選択を示す図である。
【図５】本発明の望ましい一実施形態の適用による色成分のそれぞれのレジデューの相関性の変化を示す図である。
【図６】本発明の望ましい一実施形態の適用による色成分の間の相関性を示す図である。
【図７】本発明の望ましい一実施形態による動画復号化装置の構成図である。
【図８Ａ】本発明の望ましい一実施形態による動画符号化方法を示すフローチャートである。
【図８Ｂ】本発明の望ましい一実施形態による動画符号化方法を示すフローチャートである。
【図９】本発明の望ましい一実施形態による動画復号化方法を示す構成図である。
【図１０】本発明の望ましい実施形態についてのシミュレーション結果を示す図である。
【図１１】本発明の望ましい実施形態についての無損失モードにおける符号化効率の比較を示す図である。
【図１２Ａ】本発明の望ましい実施形態についてのシミュレーションのＲＤカーブを示す図である。
【図１２Ｂ】本発明の望ましい実施形態についてのシミュレーションのＲＤカーブを示す図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の望ましい実施形態を詳細に説明する。
【００３１】
図１は、本発明の望ましい一実施形態による動画符号化装置の構成図である。図１を参照するに、本実施形態による動画符号化装置は、色空間選択部１０１、インター予測モード選択部１０２、動き推定部１０３、動き補償部１０４、イントラ予測モード選択部１０５、イントラ予測部１０６、減算器１０７、レジデュー変換部１０８、周波数空間変換部１０９、量子化部１１０、エントロピー符号化部１１１、逆量子化部１１２、周波数空間逆変換部１１３、レジデュー逆変換部１１４、加算器１１５、及びフィルタ１１６で構成される。
【００３２】
色空間選択部１０１は、現在画面の特性に基づいて適応的に複数の色空間のうち何れか一つの色空間を選択する。複数の色空間の例としては、ＹＣｇＣｏ色空間及びＲＧＢ色空間が挙げられる。ＹＣｇＣｏ色空間で、Ｙは、輝度成分を意味し、Ｃｏは、色差オレンジ成分を意味し、Ｃｇは、色差グリーン成分を意味する。ＲＧＢ色空間で、Ｒは、レッド色成分を意味し、Ｇは、グリーン色成分を意味し、Ｂは、ブルー色成分を意味する。
【００３３】
本実施形態では、ＹＣｇＣｏ色空間で現在画面を符号化する方式をＲＣＴ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）と称し、ＲＧＢ色空間で現在画面を符号化する方式をＩＰＰ（Ｉｎｔｅｒ−Ｐｌａｎｅ Ｐｒｅｄｉｃｔｉｏｎ）と称す。
【００３４】
前記の色空間のうち、ＲＧＢ色空間が人間に認識されるＲ成分、Ｇ成分、及びＢ成分で構成された色空間である。したがって、色空間選択部１０１によってＲＧＢ色空間でない他の色空間、すなわち、ＹＣｇＣｏ色空間が選択された場合には、ＹＣｇＣｏ色空間における符号化が行われた後、色ディスプレイ装置に適用するために、ＹＣｇＣｏ色空間からＲＧＢ色空間に変換されねばならない。
【００３５】
ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）動画、フィルムスキャンイメージ、トムソンバイパーシーケンス（Ｔｈｏｍｐｓｏｎ Ｖｉｐｅｒ Ｓｅｑｕｅｎｃｅｓ）のような高画質イメージの集合を使用した数多くの実験の結果によれば、多様な特性とビットレートとを有するイメージについてのパナシアはない。あるイメージは、一つの色成分に深刻なフィルムグレーンノイズを有し、他のものは、サーマルノイズを有しており、さらに他のものは、飽和色特性を有している。ある場合には、ＲＣＴが効率的であり、ある場合には、ＩＰＰが効率的である。したがって、本実施形態では、ＲＣＴ及びＩＰＰのうち何れか一つをイメージ特性によって適応的に適用する。また、動画符号化装置でいかなる色変換を使用するかについては、Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥｘｔにおける１ビットフラグを使用して動画復号化装置に知らせうる。
【００３６】
特に、動画のビットレートが高い環境でＲＣＴがＩＰＰより符号化効率がさらに高い。但し、ＲＣＴの場合に異なる色空間の間の変換による画質劣化が発生する。特に、現在画面にノイズが多く存在するか、または現在画面の構成が複雑な場合には、かかる画質劣化がさらに激しくなる。したがって、色空間選択部１０１は、現在画面にノイズが多く存在するか、または現在画面の構成が複雑な場合には、ＲＧＢ色空間を選択し、現在画面にノイズがほとんど存在しないか、現在画面の構成が単純な場合には、ＹＣｇＣｏ色空間を選択する。すなわち、色空間選択部１０１は、動画のビットレート、符号化シーケンスの特性に基づいて適応的に色空間を選択する。
【００３７】
インター予測モード選択部１０２は、色空間選択部１０１によって選択された色空間を構成する色成分のそれぞれに独立的に適用されるインター予測モード、及び色空間選択部１０１によって選択された色空間を構成する全ての色成分に一律的に適用されるインター予測モードのうち何れか一つを選択する。一般的に、インター予測で全ての色成分がそれらのそれぞれの動きベクトルを有しているならば、色成分のそれぞれのレジデューは、異なる特性を有するようになり、結局、異なる色成分のレジデュー間の相関性は、小さくなる。したがって、本実施形態では、異なる色成分のレジデュー間の相関性を高めるために、全ての色成分に対して同じ予測モード、すなわち、同じブロックサイズ及び同じ動きベクトルを使用するシングルモードを提案する。これは、ＲＧＢ成分が類似したテキスチャ特性を有している時に、さらに自然な画像を提供する。また、動画符号化装置でかかるシングルモード及び独立的なモードのうち何れかを使用するかについては、Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥｘｔにおける１ビットフラグを使用して動画復号化装置に知らせうる。
【００３８】
インター予測モード選択部１０２がシングルモードを選択する場合を具体的に説明すれば、インター予測モード選択部１０２は、まず色空間選択部１０１によって選択された色空間を構成する全ての色成分に一律的に適用されるブロックのサイズを選択する。現在画面を構成するブロックのサイズは、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４となる。一般的に、１６×１６ブロックをマクロブロックといい、これを色々なサイズに分割して得られたブロックをサブブロックという。動画の符号化及び復号化は、このようなブロック単位でなされ、動画のうちさらに精度の高い符号化及び復号化が要求される部分については、さらに小さなサイズのブロック単位でなされる。
【００３９】
さらに詳細に説明すれば、インター予測モード選択部１０２は、色成分のそれぞれのブロックのサイズに基づいて全ての色成分に一律的に適用されるブロックのサイズを選択する。例えば、インター予測モード選択部１０２は、Ｙ成分のブロックのサイズ、Ｃｏ成分のブロックのサイズ、Ｃｇ成分のブロックのサイズに基づいてＹ成分、Ｃｏ成分、Ｃｇ成分の何れもに一律的に適用されるブロックのサイズを選択する。また、インター予測モード選択部１０２は、Ｒ成分のブロックのサイズ、Ｇ成分のブロックのサイズ、Ｂ成分のブロックのサイズに基づいて、Ｒ成分、Ｇ成分、Ｂ成分の何れもに一律的に適用されるブロックのサイズを選択する。
【００４０】
図２は、本発明の望ましい一実施形態によるブロックサイズの選択を示す図である。図２を参照するに、インター予測モード選択部１０２は、Ｒ成分のマクロブロックを構成するブロックのサイズ、Ｇ成分のマクロブロックを構成するブロックのサイズ、及びＢ成分のマクロブロックを構成するブロックのサイズを参照して全ての色成分のマクロブロックに最適のブロックのサイズを選択することによって、全ての色成分に一律的に適用されるブロックのサイズを選択する。これは、ＹＣｇＣｏ色空間についても同様に適用される。
【００４１】
次いで、インター予測モード選択部１０２は、前記のところによって選択されたサイズのブロック単位で色空間を構成する色成分のそれぞれの動きベクトルに基づいて、この色空間を構成する全ての色成分に一律的に適用される何れか一つの動きベクトルを選択する。さらに詳細に説明すれば、インター予測モード選択部１０２は、動き推定部１０３によって算出された色成分のそれぞれの動きベクトルに基づいて、全ての色成分に一律的に適用される動きベクトルを選択する。例えば、インター予測モード選択部１０２は、動き推定部１０３によって算出されたＹ成分の動きベクトル、Ｃｏ成分の動きベクトル、Ｃｇ成分の動きベクトルに基づいて、Ｙ成分、Ｃｏ成分、Ｃｇ成分の何れもに一律的に適用される動きベクトルを選択する。また、インター予測モード選択部１０２は、動き推定部１０３によって算出されたＲ成分の動きベクトル、Ｇ成分の動きベクトル、Ｂ成分の動きベクトルに基づいて、Ｒ成分、Ｇ成分、Ｂ成分の何れもに一律的に適用される動きベクトルを選択する。
【００４２】
図３は、本発明の望ましい一実施形態による動きベクトルの選択を示す図である。図３を参照するに、インター予測モード選択部１０２は、Ｒ成分のブロックについての動きベクトル、Ｇ成分のブロックについての動きベクトル、Ｂ成分のブロックについての動きベクトルを参照して、全ての色成分のブロックに最適の動きベクトルを選択することによって、全ての色成分に一律的に適用される動きベクトルを選択する。これは、ＹＣｇＣｏ色空間についても同様に適用される。
【００４３】
動き推定部１０３は、色成分ごとにインター予測モード選択部１０２によって選択されたインター予測モードによって、参照画面を基準に現在画面の動きを推定する。さらに詳細に説明すれば、動き推定部１０３は、インター予測モード選択部１０２によって選択されたインター予測モードによって、色成分のそれぞれに独立的に適用されるサイズのブロック単位で色空間を構成する色成分のそれぞれに独立的に適用される動きベクトルを選択するか、または全ての色成分に一律的に適用されるサイズのブロック単位で色空間を構成する全ての色成分に一律的に適用される何れか一つの動きベクトルを選択する。
【００４４】
動き推定部１０３がシングルモードによって動きを推定する場合を具体的に説明すれば、動き推定部１０３は、インター予測モード選択部１０２によって選択されたサイズのブロック単位で参照画面と現在画面との変位に該当する動きベクトルを算出する。本実施形態において、現在画面は、現在動画符号化及び復号化の対象となる画面を意味し、参照画面は、現在画面の符号化または復号化に参照される画面を意味する。一般的に、参照画面は、現在画面の過去画面であるが、現在画面の未来画面であっても、複数の画面であってもよい。
【００４５】
例えば、動き推定部１０３は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとにインター予測モード選択部１０２によって選択されたインター予測モードによって、参照画面を基準に現在画面の動きを推定することによって、Ｙ成分の動きベクトル、Ｃｏ成分の動きベクトル、Ｃｇ成分の動きベクトルを算出する。また、動き推定部１０３は、Ｒ成分、Ｇ成分、及びＢ成分ごとにインター予測モード選択部１０２によって選択されたインター予測モードによって、参照画面を基準に現在画面の動きを推定することによってＲ成分の動きベクトル、Ｇ成分の動きベクトル、Ｂ成分の動きベクトルを算出する。
【００４６】
動き補償部１０４は、色成分ごとにインター予測モード選択部１０２によって選択されたインター予測モードによって、参照画面と現在画面との間の動きを補償する。さらに詳細に説明すれば、動き補償部１０４は、インター予測モード選択部１０２によって選択されたサイズのブロック単位でインター予測モード選択部１０２によって選択された動きベクトルを使用して、参照画面から現在画面についての予測画面を生成する。動き推定部１０３及び動き補償部１０４によって行われるインター予測は、現在画面と参照画面との時間的重畳性を除去するためのものである。
【００４７】
例えば、動き補償部１０４は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとにインター予測モード選択部１０２によって選択されたインター予測モードによって、参照画面と現在画面との間の動きを補償することによって、Ｙ成分の予測画面、Ｃｏ成分の予測画面、Ｃｇ成分の予測画面を生成する。また、動き補償部１０４は、Ｒ成分、Ｇ成分、及びＢ成分ごとにインター予測モード選択部１０２によって選択されたインター予測モードによって、参照画面と現在画面との間の動きを補償することによってＲ成分の予測画面、Ｇ成分の予測画面、Ｂ成分の予測画面を生成する。
【００４８】
イントラ予測モード選択部１０５は、色空間選択部１０１によって選択された色空間を構成する色成分のそれぞれに独立的に適用されるイントラ予測モード、及び色空間選択部１０１によって選択された色空間を構成する全ての色成分に一律的に適用されるイントラ予測モードのうち何れか一つを選択する。ＭＰＥＧ−４
ＡＶＣ／Ｈ.２６４ビデオ符号化方式によれば、輝度成分については、４×４ブロック単位イントラ予測の９個のモードと、１６×１６ブロック単位イントラ予測の４個のモードとが存在し、色差成分については、８×８ブロック単位イントラ予測の４個のモードが存在する。一般的に、輝度成分についての予測モードと色差成分についての予測モードとは、異なるため、色成分の間の相関性は低い。これは、ＲＣＴ、ＩＰＰ、またはこれと類似した変換については、適していない。動画の符号化効率を高めるためには、全ての色成分に対して同じイントラ予測モードを使用することが望ましい。したがって、本実施形態では、輝度成分についての４×４、８×８、１６×１６のような予測モードを色差成分に適用する。
【００４９】
また、イントラ予測モード選択部１０５は、前記のように選択されたイントラ予測モードによって、色空間を構成する色成分のそれぞれに独立的に適用される予測方向を選択するか、または色空間を構成する色成分のそれぞれの予測方向に基づいて、この色空間を構成する全ての色成分に一律的に適用される予測方向を選択する。イントラ予測モード選択部１０５がシングルモードを選択する場合を具体的に説明すれば、イントラ予測モード選択部１０５は、まず色空間選択部１０１によって選択された色空間を構成する全ての色成分に一律的に適用されるブロックのサイズを選択する。現在画面を構成するブロックのサイズは、１６×１６、８×８、４×４となる。イントラ予測におけるブロックサイズ選択も、インター予測と同様に、図２に示したように処理される。
【００５０】
次いで、イントラ予測モード選択部１０５は、前記のところによって選択されたサイズのブロック単位で色空間を構成する色成分のそれぞれの予測方向に基づいて、この色空間を構成する全ての色成分に一律的に適用される予測方向を選択する。例えば、イントラ予測モード選択部１０５は、Ｙ成分の予測方向、Ｃｏ成分の予測方向、Ｃｇ成分の予測方向に基づいて、Ｙ成分、Ｃｏ成分、Ｃｇ成分の何れもに一律的に適用される予測方向を選択する。また、インター予測モード選択部１０２は、Ｒ成分の予測方向、Ｇ成分の予測方向、Ｂ成分の予測方向に基づいて、Ｒ成分、Ｇ成分、Ｂ成分の何れにも一律的に適用される予測方向を選択する。
【００５１】
図４は、本発明の望ましい一実施形態による予測方向の選択を示す図である。図４を参照するに、イントラ予測モード選択部１０５は、Ｒ成分のブロックについての予測方向、Ｇ成分のブロックについての予測方向、Ｂ成分のブロックについての予測方向を参照して、全ての色成分のブロックに最適の予測方向を選択することによって全ての色成分に一律的に適用される予測方向を選択する。これは、ＹＣｇＣｏ色空間に対しても同様に適用される。
【００５２】
イントラ予測部１０６は、色成分ごとにイントラ予測モード選択部１０５によって選択されたイントラ予測モードにより、加算器１１５によって復元された画面内の隣接画素から現在画面を構成するブロックを予測し、このように予測されたブロックで構成された予測画面を生成する。さらに詳細に説明すれば、イントラ予測部１０６は、色成分のそれぞれに独立的に適用されるサイズのブロック単位で色成分のそれぞれに独立的に適用される予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測し、このように予測されたブロックで構成された予測画面を生成するか、または全ての色成分に一律的に適用されるサイズのブロック単位で全ての色成分に一律的に適用される予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測し、このように予測されたブロックで構成された予測画面を生成する。イントラ予測部１０６によって行われるイントラ予測は、現在画面内での空間的重畳性を除去するためのものである。
【００５３】
例えば、イントラ予測部１０６は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとにイントラ予測モード選択部１０５によって選択された予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測することによって、Ｙ成分の予測画面、Ｃｏ成分の予測画面、Ｃｇ成分の予測画面を生成する。また、イントラ予測部１０６は、Ｒ成分、Ｇ成分、及びＢ成分ごとにイントラ予測モード選択部１０５によって選択された予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測することによって、Ｒ成分の予測画面、Ｇ成分の予測画面、Ｂ成分の予測画面を生成する。
【００５４】
減算器１０７は、色成分ごとに現在画面と動き補償部１０４によって生成された予測画面との差に該当する第１レジデューを生成するか、または現在画面とイントラ予測部１０６によって生成された予測画面との差に該当する第１レジデューを生成する。例えば、減算器１０７は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとに現在画面と動き補償部１０４によって生成された予測画面との差を算出するか、または現在画面とイントラ予測部１０６によって生成された予測画面との差を算出することによって、Ｙ成分の第１レジデュー、Ｃｏ成分の第１レジデュー、Ｃｇ成分の第１レジデューを生成する。また、減算器１０７は、Ｒ成分、Ｇ成分、及びＢ成分ごとに現在画面と動き補償部１０４によって生成された予測画面との差を算出するか、または現在画面とイントラ予測部１０６によって生成された予測画面との差を算出することによって、Ｒ成分の第１レジデュー、Ｇ成分の第１レジデュー、Ｂ成分の第１レジデューを生成する。
【００５５】
図５は、本発明の望ましい一実施形態の適用による色成分のそれぞれのレジデューの相関性の変化を示す図である。図５を参照するに、グラフ５０１と５０２とは、色成分のそれぞれに独立的な予測モードを適用して得られたレジデューの相関性を示している。特に、グラフ５０１は、Ｒ成分とＧ成分との相関性を示しており、グラフ５０２は、Ｂ成分とＧ成分との相関性を示している。一方、グラフ５０３と５０４とは、全ての色成分に同じ予測モードを適用して得られたレジデューの相関性を示している。特に、グラフ５０３は、Ｒ成分とＧ成分との相関性を示しており、グラフ５０４は、Ｂ成分とＧ成分との相関性を示している。図５に示された５０１−５０４から色成分のそれぞれに独立的な予測モードを適用するより、同じ予測モードを適用することが色成分のレジデュー間の相関性が高まるということが分かる。
【００５６】
レジデュー変換部１０８は、減算器１０７によって生成された第１レジデュー間の差に該当する第２レジデューを生成する。本実施形態では、動画の符号化効率を向上させるために、インター予測またはイントラ予測後の色成分の間の重畳性（Redundancy）を利用する。インター予測は、時間的な重畳性を利用し、イントラ予測は、空間的な重畳性を利用するのである。しかし、インター予測またはイントラ予測後にも、色成分の間の重畳性が依然として残っている。
【００５７】
図６は、本発明の望ましい一実施形態の適用による色成分の間の相関性を示す図である。図６を参照するに、グラフ６０１は、イントラ予測後のＲ成分とＧ成分との相関性を示しており、グラフ６０２は、イントラ予測後のＢ成分とＧ成分との相関性を示している。グラフ６０３は、インター予測後のＲ成分とＧ成分との相関性を示しており、グラフ６０４は、インター予測後のＢ成分とＧ成分との相関性を示している。図６に示された６０１−６０４からインター予測またはイントラ予測後にも、色成分のレジデュー間に強い相関性が存在するということが分かる。
【００５８】
すなわち、レジデュー変換部１０８は、ＹＣｇＣｏ色空間で次の式（１）を利用してＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する。特に、Ｙ＝（Ｒ＋２Ｇ＋Ｂ）＞＞２，Ｃｏ＝（Ｒ−Ｂ）＞＞１，Ｃｇ＝（−Ｒ＋２Ｇ−Ｂ）＞＞２の関係にある。
【００５９】
△２Ｂ＝△Ｒ−△Ｂ
ｔ＝△Ｂ＋（△２Ｂ＞＞１）
△２Ｒ＝△Ｇ−ｔ （１）
△２Ｇ＝ｔ＋（△２Ｒ＞＞１）
ここで、△×は、第１レジデューを意味し、△２×は、第２レジデューを意味する。また、表記“＞＞”は、右側シフト演算を意味し、ほぼ２で割るところとなる。また、変数ｔは、臨時的な計算目的として使われる。
【００６０】
また、レジデュー変換部１０８は、ＲＧＢ色空間で次の式（２）を利用してＲ成分、Ｇ成分、Ｂ成分それぞれの第１レジデュー間の差に該当する第２レジデューを生成する。
【００６１】
△２Ｇ＝△Ｇ’
△２Ｒ＝△Ｒ−△Ｇ’ （２）
△２Ｂ＝△Ｂ−△Ｇ’
ここで、△×は、第１レジデューを意味し、△２×は、第２レジデューを意味する。また、△×’は、復元された第１レジデューを意味する。特に、式（２）は、Ｇ成分が画像情報を多く有している時に効果的であり、Ｒ成分またはＢ成分を主な成分として第２レジデューを計算することもある。
【００６２】
周波数空間変換部１０９は、レジデュー変換部１０８によって生成された第２レジデューを色空間から周波数空間に変換する。Ｈ.２６４／ＭＰＥＧ−４ＡＶＣでは、色空間から周波数空間に変換する方式でＤＨＴ（Ｄｉｓｃｒｅｔｅ Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）基盤の整数変換が導入された。
【００６３】
量子化部１１０は、周波数空間変換部１０９によって変換された値を量子化する。すなわち、量子化部１１０は、周波数空間変換部１０９によって変換された周波数成分値を量子化パラメータで割り、その結果を整数値に近似化する。
【００６４】
エントロピー符号化部１１１は、量子化部１１０によって量子化された値をエントロピー符号化することによってビットストリームを生成し、これを出力する。Ｈ.２６４／ＭＰＥＧ−４ＡＶＣでは、エントロピー符号化方式でＣＡＶＬＣ（Ｃｏｎｔｅ×ｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅ×ｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）が導入された。
【００６５】
逆量子化部１１２は、量子化部１１０によって量子化された値を逆量子化する。すなわち、逆量子化部１１２は、量子化部１１０によって近似化した整数値に量子化パラメータを乗じることによって周波数成分値を復元する。
【００６６】
周波数空間逆変換部１１３は、逆量子化部１１２によって復元された周波数成分値を周波数空間から色空間に変換することによって第２レジデューを復元する。
【００６７】
レジデュー逆変換部１１４は、周波数空間逆変換部１１３によって復元された第２レジデュー間の合算に該当する第１レジデューを生成する。すなわち、レジデュー逆変換部１１４は、ＹＣｇＣｏ色空間で次の式（３）を利用してＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第２レジデュー間の和に該当するＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデューを生成する。
【００６８】
ｔ＝△２Ｇ’−（△２Ｒ’＞＞１）
△Ｇ’＝△２Ｒ’＋ｔ
△Ｂ’＝ｔ−（△２Ｂ’＞＞１） （３）
△Ｒ’＝△Ｂ’＋△２Ｂ’
ここで、△×’は、復元された第１レジデューを意味し、△２×’は、復元された第２レジデューを意味する。
【００６９】
また、レジデュー逆変換部１１４は、ＲＧＢ色空間で次の式（４）を利用してＲ成分、Ｇ成分、Ｂ成分それぞれの第２レジデュー間の和に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【００７０】
△Ｇ’＝△２Ｇ’
△Ｒ’＝△２Ｒ’＋△Ｇ’ （４）
△Ｂ’＝△２Ｂ’＋△Ｇ’
ここで、△×’は、復元された第１レジデューを意味し、△２×’は、復元された第２レジデューを意味する。
【００７１】
加算器１１５は、動き補償部１０４またはイントラ予測部１０６によって生成された予測画面と、レジデュー逆変換部１１４によって生成された第１レジデューとの合算に該当する復元画面を生成する。例えば、加算器１１５は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとに動き補償部１０４またはイントラ予測部１０６によって生成された予測画面と、レジデュー逆変換部１１４によって生成された第１レジデューとの合算を算出することによって、ＹＣｇＣｏ色空間における復元画面を生成する。また、加算器１１５は、Ｒ成分、Ｇ成分、及びＢ成分ごとに動き補償部１０４またはイントラ予測部１０６によって生成された予測画面と、レジデュー逆変換部１１４によって生成された第１レジデューとの合算を算出することによって、ＲＧＢ色空間における復元画面を生成する。
【００７２】
フィルタ１１６は、加算器１１５によって生成された復元画面のブロック境界の歪曲をスムーズにすることで復元画面の画質を向上させる。これは、動画のビットレートが高い場合には、かえって高周波成分が消失される恐れがあるために使われない。
【００７３】
図１に示された動画復号化装置には、色空間を適応的に適用する方式とシングルモード方式とが何れも適用されているが、当業者ならば、二つの方式のうち何れか一つのみが適用された動画復号化装置を容易に具現しうるであろう。
【００７４】
図７は、本発明の望ましい一実施形態による動画復号化装置の構成図である。図７を参照するに、本実施形態による動画復号化装置は、エントロピー復号化部７０１、逆量子化部７０２、周波数空間逆変換部７０３、レジデュー逆変換部７０４、動き補償部７０５、イントラ予測部７０６、加算器７０７、及びフィルタ７０８で構成される。
【００７５】
エントロピー復号化部７０１は、図１に示された動画符号化装置から出力されたビットストリームをエントロピー復号化することによって整数値を復元する。
【００７６】
逆量子化部７０２は、エントロピー復号化部７０１によって復元された整数値を逆量子化することによって周波数成分値を復元する。すなわち、逆量子化部７０２は、エントロピー復号化部７０１によって復元された整数値に量子化パラメータを乗じることによって周波数成分値を復元する。
【００７７】
周波数空間逆変換部７０３は、逆量子化部７０２によって復元された周波数成分値を周波数空間から複数の色空間のうち動画符号化装置で使われた色空間に変換することにより、この色空間を構成する色成分のそれぞれのレジデュー間の差に該当する第２レジデューを復元する。
【００７８】
レジデュー逆変換部７０４は、複数の色空間のうち動画符号化装置で使われた色空間で周波数空間逆変換部７０３によって復元された第２レジデュー間の合算に該当する第１レジデューを生成する。すなわち、レジデュー逆変換部７０４は、ＹＣｇＣｏ色空間で前記の式（３）を利用してＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第２レジデュー間の和に該当するＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデューを生成する。また、レジデュー逆変換部７０４は、ＲＧＢ色空間で前記の式（４）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の和に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【００７９】
動き補償部７０５は、色成分ごとに動画符号化装置で使われたインター予測モードによって、参照画面と現在画面との間の動きを補償する。すなわち、動き補償部７０５は、色成分のそれぞれに独立的に適用されるインター予測モード、または全ての色成分に一律的に適用されるインター予測モードのうち何れか一つによって、参照画面と現在画面との間の動きを補償する。
【００８０】
さらに詳細に説明すれば、動き補償部７０５は、動画符号化装置で使われたサイズのブロック単位で動画符号化装置で使われた動きベクトルを使用して、参照画面から現在画面についての予測画面を生成する。すなわち、動き補償部７０５は、色成分のそれぞれに独立的に適用されるサイズのブロック単位で色成分のそれぞれに独立的に適用される動きベクトルを使用して、現在画面についての予測画面を生成するか、または全ての色成分に一律的に適用されるサイズのブロック単位で全ての色成分に一律的に適用される動きベクトルを使用して、参照画面から現在画面についての予測画面を生成する。
【００８１】
イントラ予測部７０６は、色成分ごとに動画符号化装置で使われたイントラ予測モードによって、加算器７０７によって復元された画面内の隣接画素から現在画面を構成するブロックを予測し、このように予測されたブロックで構成された予測画面を生成する。すなわち、イントラ予測部７０６は、色成分のそれぞれに独立的に適用されるイントラ予測モード及び全ての色成分に一律的に適用されるイントラ予測モードのうち何れか一つによって加算器７０７によって復元された画面内の隣接画素から現在画面を構成するブロックを予測し、このように予測されたブロックで構成された予測画面を生成する。
【００８２】
さらに詳細に説明すれば、イントラ予測部７０６は、動画符号化装置で使われた予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測し、このように予測されたブロックで構成された予測画面を生成する。すなわち、イントラ予測部７０６は、色成分のそれぞれに独立的に適用されるサイズのブロック単位で色成分のそれぞれに独立的に適用される予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測し、このように予測されたブロックで構成された予測画面を生成するか、または全ての色成分に一律的に適用されるサイズのブロック単位で全ての色成分に一律的に適用される予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測し、このように予測されたブロックで構成された予測画面を生成する。
【００８３】
加算器７０７は、動き補償部７０５またはイントラ予測部７０６によって生成された予測画面と、レジデュー逆変換部７０４によって生成された第１レジデューとの合算に該当する復元画面を生成する。例えば、加算器７０７は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとに動き補償部７０５またはイントラ予測部７０６によって生成された予測画面と、レジデュー逆変換部７０４によって生成された第１レジデューとの合算を算出することによって、ＹＣｇＣｏ色空間における復元画面を生成する。また、加算器７０７は、Ｒ成分、Ｇ成分、及びＢ成分ごとに動き補償部７０５またはイントラ予測部７０６によって生成された予測画面と、レジデュー逆変換部７０４によって生成された第１レジデューとの合算を算出することによって、ＲＧＢ色空間における復元画面を生成する。
【００８４】
フィルタ７０８は、加算器７０７によって生成された復元画面のブロック境界の歪曲をスムーズにして復元画面の画質を向上させる。これは、動画のビットレートが高い場合には、かえって高周波成分が消失される恐れがあるために使われない。
【００８５】
図８Ａ及び図８Ｂは、本発明の望ましい一実施形態による動画符号化方法を示すフローチャートである。図８Ａ及び図８Ｂを参照するに、本実施形態による動画符号化方法は、図１に示された動画符号化装置で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図１に示された動画符号化装置について前述された内容は、本実施形態による動画符号化方法にも適用される。
【００８６】
ステップ８０１で、動画符号化装置は、現在画面の特性に基づいて適応的に複数の色空間のうち何れか一つの色空間を選択する。
【００８７】
ステップ８０２で、動画符号化装置は、インター予測なのか、そうでなければイントラ予測なのかを判断し、インター予測である場合には、ステップ８０３に進み、イントラ予測である場合には、ステップ８０６に進む。
【００８８】
ステップ８０３で、動画符号化装置は、ステップ８０１で選択された色空間を構成する色成分のそれぞれに独立的に適用されるインター予測モード、及びステップ８０１で選択された色空間を構成する全ての色成分に一律的に適用されるインター予測モードのうち何れか一つを選択する。
【００８９】
ステップ８０４で、動画符号化装置は、８０３ステップで選択されたインター予測モードによって、色空間を構成する色成分のそれぞれに独立的に適用される動きベクトルを選択するか、または色空間を構成する全ての色成分に一律的に適用される何れか一つの動きベクトルを選択する。
【００９０】
ステップ８０５で、動画符号化装置は、ステップ８０４で選択された動きベクトルを使用して、参照画面から現在画面についての予測画面を生成する。
【００９１】
ステップ８０６で、動画符号化装置は、ステップ８０１で選択された色空間を構成する色成分のそれぞれに独立的に適用されるイントラ予測モード、及びステップ８０１で選択された色空間を構成する全ての色成分に一律的に適用されるイントラ予測モードのうち何れか一つを選択する。
【００９２】
ステップ８０７で、動画符号化装置は、ステップ８０６で選択されたイントラ予測モードによって、色空間を構成する色成分のそれぞれに独立的に適用される予測方向を選択するか、または色空間を構成する色成分のそれぞれの予測方向に基づいてこの色空間を構成する全ての色成分に一律的に適用される予測方向を選択する。
【００９３】
ステップ８０８で、動画符号化装置は、色成分ごとにステップ８０７で選択された予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測し、このように予測されたブロックで構成された予測画面を生成する。
【００９４】
ステップ８０９で、動画符号化装置は、色成分ごとに現在画面と、ステップ８０５またはステップ８０８で生成された予測画面との差に該当する第１レジデューを生成する。
【００９５】
ステップ８１０で、動画符号化装置は、ステップ８０９で生成された第１レジデュー間の差に該当する第２レジデューを生成する。
【００９６】
ステップ８１１で、動画符号化装置は、ステップ８１０で生成された第２レジデューを色空間から周波数空間に変換する。
【００９７】
ステップ８１２で、動画符号化装置は、ステップ８１１から変換された値を量子化する。
【００９８】
ステップ８１３で、動画符号化装置は、ステップ８１２で量子化された値をエントロピー符号化することによってビットストリームを生成し、これを出力する。
【００９９】
ステップ８１４で、動画符号化装置は、ステップ８１２で量子化された値を逆量子化することによって周波数成分値を復元する。
【０１００】
ステップ８１５で、動画符号化装置は、ステップ８１４で復元された周波数成分値を周波数空間から色空間に変換することによって第２レジデューを復元する。
【０１０１】
ステップ８１６で、動画符号化装置は、ステップ８１５で復元された第２レジデュー間の合算に該当する第１レジデューを生成する。
【０１０２】
ステップ８１７で、動画符号化装置は、色成分ごとにステップ８０５またはステップ８０８で生成された予測画面と、ステップ８１６で生成された第１レジデューとの合算に該当する復元画面を生成する。
【０１０３】
ステップ８１８で、動画符号化装置は、ステップ８１６で生成された復元画面のブロック境界の歪曲をスムーズにして復元画面の画質を向上させる。
【０１０４】
図９は、本発明の望ましい一実施形態による動画復号化方法の構成図である。図９を参照するに、本実施形態による動画復号化方法は、図７に示された動画復号化装置で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図７に示された動画復号化装置について前述された内容は、本実施形態による動画復号化方法にも適用される。
【０１０５】
ステップ９０１で、動画復号化装置は、図１に示された動画符号化装置から出力されたビットストリームをエントロピー復号化することによって整数値を復元する。
【０１０６】
ステップ９０２で、動画復号化装置は、ステップ９０２で復元された整数値を逆量子化することによって周波数成分値を復元する。
【０１０７】
ステップ９０３で、動画復号化装置は、ステップ９０２で復元された周波数成分値を周波数空間から、複数の色空間のうち動画符号化装置で使われた色空間に変換することにより、この色空間を構成する色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを復元する。
【０１０８】
ステップ９０４で、動画復号化装置は、複数の色空間のうち動画符号化装置で使われた色空間でステップ９０３で復元された第２レジデュー間の合算に該当する第１レジデューを生成する。
【０１０９】
ステップ９０５で、動画符号化装置は、インター予測なのか、そうでなければ、イントラ予測なのかを判断し、インター予測である場合には、ステップ９０６に進み、イントラ予測である場合には、ステップ９０７に進む。
【０１１０】
ステップ９０６で、動画復号化装置は、色成分のそれぞれに独立的に適用されるインター予測モードまたは全ての色成分に一律的に適用されるインター予測モードのうち何れか一つによって、参照画面と現在画面との間の動きを補償する。
【０１１１】
ステップ９０７で、動画復号化装置は、色成分のそれぞれに独立的に適用されるイントラ予測モード及び全ての色成分に一律的に適用されるイントラ予測モードのうち何れか一つによって、復元された画面内の隣接画素から現在画面を構成するブロックを予測し、このように予測されたブロックで構成された予測画面を生成する。
【０１１２】
ステップ９０８で、動画復号化装置は、ステップ９０６またはステップ９０７によって生成された予測画面と、ステップ９０４によって生成された第１レジデューとの合算に該当する復元画面を生成する。
【０１１３】
ステップ９０９で、動画復号化装置は、ステップ９０８で生成された復元画面のブロック境界の歪曲をスムーズにして復元画面の画質を向上させる。
【０１１４】
図１０は、本発明の望ましい実施形態についてのシミュレーション結果を示す図である。図１０のテーブル１００１及びテーブル１００２に示したように、本実施形態、すなわち、シングルモード予測におけるＲＣＴ及びＩＰＰとＨ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥ×ｔとを比較することにより本実施形態を評価した。シミュレーションとしては、ＪＭ９.３レファレンスソフトウェアが使われた。テスト条件は、次の通りである。テスト材料は、フィルムとバイパーシーケンス（１９２０×１０８８＠２４Ｈｚ，ｐｒｏｇｒｅｓｓｉｖｅ）であり、探索領域は、６４であり、量子化パラメータは、１２，１８，２４，３０，３６であり、参照画面、すなわち参照フレームの数は、３であり、エントロピー符号化は、ＣＡＢＡＣであり、ＲＤ最適化モード選択は、オンであり、ＧＯＰ（グループ オブ ピクチャー）構造は、ＩＢＢＰであり、スライスグループの数は、１である。
【０１１５】
図１０における方法のそれぞれは、次の通りである。ＩＰＰは、ＩＰＰとシングルモード予測とを使用した本実施形態の方法であり、ＲＣＴは、ＲＣＴとシングルモード予測とを使用した本実施形態の方法であり、ＲＣＴ（ＦＲＥ×Ｔ）は、レジデュアル色変換についてＹＣｇＣｏを使用したＲＧＢ符号化であり、ＹＣｇＣｏは、符号化前にＲＧＢ入力データがＹＣｇＣｏに変換される外部ＹＣｇＣｏ符号化である。特に、テーブル１００１では、復元されたＲＧＢイメージの忠実度（Fidelity）を評価するために、全ての色成分についてのＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｅ）の平均、すなわち、ＲＧＢ成分の平均が測定された。テーブル１００１は、二つの異なる高ビットレート（２０Ｍｂｐｓ及び６０Ｍｂｐｓ）におけるＹＣｇＣｏ方法についてのそれぞれの方法のＰＳＮＲゲインを表している。また、テーブル１００２では、輝度チャンネル（最も重要なチャンネル）上の影響を孤立させるために、色差チャンネルに対してほぼ同じ忠実度（Fidelity）を有しているＹＣｇＣｏドメインでＹＰＳＮＲの結果が比較された。
【０１１６】
図１１は、本発明の望ましい実施形態についての無損失モードにおける符号化効率の比較を示す図である。
【０１１７】
近い将来には、ビデオの無損失及びほぼ無損失圧縮の支援が重要になる。Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥ×ｔにおける無損失符号化は、周波数空間変換と量子化過程とが省略されることによって具現される。前記本実施形態も周波数空間変換と量子化との過程が省略されることによって無損失符号化に適用される。図１１に示されたように、無損失符号化でＩＰＰとシングルモード予測との効率が最も優れる。
【０１１８】
図１２Ａ及び図１２Ｂは、本発明の望ましい実施形態についてのシミュレーションのＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）カーブを示す図である。図１２Ａ及び図１２Ｂでは、イントラ符号化のみのシミュレーションが行われた。特に、独立的なイントラ予測モードを適用する成果を評価するために、全ての色成分は、単色イメージとして扱われた。
【０１１９】
一方、前述した本発明の実施形態は、コンピュータで実行できるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して前記プログラムを動作させる汎用ディジタルコンピュータで具現される。また、前述した本発明の実施形態で使われたデータの構造は、コンピュータで読み取り可能な記録媒体に色々な手段を通じて記録されうる。
【０１２０】
前記コンピュータで読み取り可能な記録媒体は、マグネチック保存媒体（例えば、ＲＯＭ（リード オンリ メモリ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（デジタル ヴァーサタイル ディスプレイ）など）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような保存媒体を含む。
【０１２１】
以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されることを理解できるであろう。したがって、開示された実施形態は、限定的な観点でなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明でなく、特許請求の範囲に表れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【符号の説明】
【０１２２】
１０１：色空間選択部
１０２：インター予測モード選択部
１０３：動き推定部
１０４：動き補償部
１０５：イントラ予測選択部
１０６：イントラ予測部
１０７：減算器
１０８：レジデュー変換部
１０９：周波数空間変換部
１１０：量子化部
１１１：エントロピー符号化部
１１２：逆量子化部
１１３：周波数空間逆変換部
１１４：レジデュー逆変換部
１１５：加算器
１１６：フィルタ
【技術分野】
【０００１】
本発明は、残差生成方法及び装置、並びに復元画面生成方法及び装置に係り、特に、Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ（アドバンスト ビデオ コーディング）Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎｓ（ＦＲＥｘｔ）標準分野における動画を符号化または復号化する方法及び装置に関する。
【背景技術】
【０００２】
“レジデュアル色変換”と呼ばれる新たなＲＧＢ符号化技術は、Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥｘｔ標準化過程で開発された。これは、ＲＧＢ色空間をＹＣｂＣｒ色空間に変換する時に発生する画質劣化を防止するためのものである。しかし、Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥｘｔ上のＲＧＢ符号化技術も、動画再生機器に適用するにはまだ動画符号化効率が十分に高くないとの問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術的課題は、Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥｘｔ上のＲＧＢ符号化技術の動画符号化効率を高める装置及び方法を提供することである。また、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することである。
【課題を解決するための手段】
【０００４】
前記技術的課題を解決するための本発明による第１符号化方法は、所定の色空間を構成する全ての色成分に一律的に適用される予測モードを選択するステップと、前記選択された予測モードによって前記色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成するステップと、前記生成された第１レジデュー間の差に該当する第２レジデューを生成するステップと、前記生成された第２レジデューを符号化するステップと、を含む。
【０００５】
前記技術的課題を解決するために、本発明は、前記第１符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【０００６】
前記技術的課題を解決するための本発明による第１符号化装置は、所定の色空間を構成する全ての色成分に一律的に適用される予測モードを選択する選択部と、前記選択部によって選択された予測モードによって前記色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成する減算器と、前記生成部によって生成された第１レジデュー間の差に該当する第２レジデューを生成する変換部と、前記変換部によって生成された第２レジデューを符号化する符号化部と、を備える。
【０００７】
前記技術的課題を解決するための本発明による第２符号化方法は、複数の色空間のうち何れか一つの色空間を選択するステップと、前記選択された色空間を構成する色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成するステップと、前記生成された第１レジデュー間の差に該当する第２レジデューを生成するステップと、前記生成された第２レジデューを符号化するステップと、を含む。
【０００８】
前記技術的課題を解決するために、本発明は、前記の第２符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【０００９】
前記技術的課題を解決するための本発明による第２符号化装置は、複数の色空間のうち何れか一つの色空間を選択する選択部と、前記選択部によって選択された色空間を構成する色成分ごとに現在画面と予測画面との差に該当する第１レジデューを生成する生成部と、前記生成部によって生成された第１レジデュー間の差に該当する第２レジデューを生成する変換部と、前記変換部によって生成された第２レジデューを符号化する符号化部と、を備える。
【００１０】
前記技術的課題を解決するための本発明による第３符号化方法は、複数の色空間のうち何れか一つの色空間を選択するステップと、前記選択された色空間を構成する全ての色成分に一律的に適用される予測モードを選択するステップと、前記選択された予測モードによって前記色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成するステップと、前記生成された第１レジデュー間の差に該当する第２レジデューを生成するステップと、前記生成された第２レジデューを符号化するステップと、を含む。
【００１１】
前記技術的課題を解決するために、本発明は、前記の第３符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１２】
前記技術的課題を解決するための本発明による第３符号化装置は、複数の色空間を選択する第１選択部と、前記第１選択部によって選択された色空間を構成する全ての色成分に一律的に適用される予測モードを選択する第２選択部と、前記第２選択部によって選択された予測モードによって前記色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成する減算器と、前記減算器によって生成された第１レジデュー間の差に該当する第２レジデューを生成する変換部と、前記変換部によって生成された第２レジデューを符号化する符号化部と、を備える。
【００１３】
前記技術的課題を解決するための本発明による第４符号化方法は、所定の色空間を構成する色成分のそれぞれに独立的に適用される第１予測モード及び前記所定の色空間を構成する全ての色成分に一律的に適用される第２予測モードのうち何れか一つを選択するステップと、前記選択された予測モードによって前記色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成するステップと、前記生成された第１レジデュー間の差に該当する第２レジデューを生成するステップと、前記生成された第２レジデューを符号化するステップと、を含む。
【００１４】
前記技術的課題を解決するために、本発明は、前記の第４符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１５】
前記技術的課題を解決するための本発明による第４符号化装置は、所定の色空間を構成する色成分のそれぞれに独立的に適用される第１予測モード及び前記所定の色空間を構成する全ての色成分に一律的に適用される第２予測モードのうち何れか一つを選択する選択部と、前記選択部によって選択された第１予測モードまたは第２予測モードによって前記色成分のそれぞれについての現在画面と予測画面との差に該当する第１レジデューを生成する減算器と、前記減算器によって生成された第１レジデュー間の差に該当する第２レジデューを生成する変換部と、前記変換部によって生成された第２レジデューを符号化する符号化部と、を備える。
【００１６】
前記技術的課題を解決するための本発明による第１復号化方法は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成するステップと、所定の色空間で前記生成された第２レジデュー間の合算に該当する第１レジデューを生成するステップと、前記所定の色空間を構成する全ての色成分に一律的に適用される予測モードによって予測画面を生成するステップと、前記生成された第１レジデューと前記生成された予測画面との合算に該当する復元画面を生成するステップと、を含む。
【００１７】
前記技術的課題を解決するために、本発明は、前記の第１復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１８】
前記技術的課題を解決するための本発明による第１復号化装置は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成する復号化部と、所定の色空間で前記復号化部によって生成された第２レジデュー間の合算に該当する第１レジデューを生成する逆変換部と、前記所定の色空間を構成する全ての色成分に一律的に適用される予測モードによって予測画面を生成する予測部と、前記逆変換部によって生成された第１レジデューと前記予測部によって生成された予測画面との合算に該当する復元画面を生成する加算器とを備える。
【００１９】
前記技術的課題を解決するための本発明による第２復号化方法は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成するステップと、複数の色空間のうち何れか一つの色空間で前記生成された第２レジデュー間の合算に該当する第１レジデューを生成するステップと、前記生成された第１レジデューと予測画面との合算に該当する復元画面を生成するステップとを含む。
【００２０】
前記技術的課題を解決するために、本発明は、前記の第２復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００２１】
前記技術的課題を解決するための本発明による第２復号化装置は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成する復号化部と、複数の色空間のうち何れか一つの色空間で前記復号化部によって生成された第２レジデュー間の合算に該当する第１レジデューを生成する逆変換部と、前記生成された第１レジデューと予測画面との合算に該当する復元画面を生成する加算器とを備える。
【００２２】
前記技術的課題を解決するための本発明による第３復号化方法は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成するステップと、複数の色空間のうち何れか一つの色空間で前記生成された第２レジデュー間の合算に該当する第１レジデューを生成するステップと、前記色空間を構成する全ての色成分に一律的に適用される予測モードによって予測画面を生成するステップと、前記生成された第１レジデューと前記生成された予測画面との合算に該当する復元画面を生成するステップと、を含む。
【００２３】
前記技術的課題を解決するために、本発明は、前記の第３復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００２４】
前記技術的課題を解決するための本発明による第３復号化装置は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成する復号化部と、複数の色空間のうち何れか一つの色空間で前記復号化部によって生成された第２レジデュー間の合算に該当する第１レジデューを生成する逆変換部と、前記色空間を構成する全ての色成分に一律的に適用される予測モードによって予測画面を生成する予測部と、前記逆変換部によって生成された第１レジデューと前記予測部によって生成された予測画面との合算に該当する復元画面を生成する加算器とを備える。
【００２５】
前記技術的課題を解決するための本発明による第４復号化方法は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成するステップと、所定の色空間で前記生成された第２レジデュー間の合算に該当する第１レジデューを生成するステップと、前記所定の色空間を構成する色成分のそれぞれに独立的に適用される第１予測モード及び前記所定の色空間を構成する全ての色成分に一律的に適用される第２予測モードのうち何れか一つによって予測画面を生成するステップと、前記生成された第１レジデューと前記生成された予測画面との合算に該当する復元画面を生成するステップとを含む。
【００２６】
前記技術的課題を解決するために、本発明は、前記の第４復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００２７】
前記技術的課題を解決するための本発明による第４復号化装置は、ビットストリームを復号化することによって第１レジデュー間の差に該当する第２レジデューを生成する復号化部と、所定の色空間で前記復号化部によって前記生成された第２レジデュー間の合算に該当する第１レジデューを生成する逆変換部と、前記所定の色空間を構成する色成分のそれぞれに独立的に適用される第１予測モード及び前記所定の色空間を構成する全ての色成分に一律的に適用される第２予測モードのうち何れか一つによって予測画面を生成する予測部と、前記逆変換部によって生成された第１レジデューと前記予測部によって生成された予測画面との合算に該当する復元画面を生成する加算器とを備える。
【発明の効果】
【００２８】
本発明によれば、全ての色成分に一律的に適用される予測モードによってレジデューを生成することにより、レジデューの相関性を高め、その結果、動画符号化の効率を向上させうる。また、本発明によれば、複数の色空間のうち何れか一つの色空間を動画イメージの特性によって適応的に選択することによって動画符号化の効率を向上させうる。さらに、本発明によれば、動画符号化過程に前記の方法を重畳的に適用することによって動画符号化の効率を極大化させうる。
【図面の簡単な説明】
【００２９】
【図１】本発明の望ましい一実施形態による動画符号化装置の構成図である。
【図２】本発明の望ましい一実施形態によるブロックサイズの選択を示す図である。
【図３】本発明の望ましい一実施形態による動きベクトルの選択を示す図である。
【図４】本発明の望ましい一実施形態による予測方向の選択を示す図である。
【図５】本発明の望ましい一実施形態の適用による色成分のそれぞれのレジデューの相関性の変化を示す図である。
【図６】本発明の望ましい一実施形態の適用による色成分の間の相関性を示す図である。
【図７】本発明の望ましい一実施形態による動画復号化装置の構成図である。
【図８Ａ】本発明の望ましい一実施形態による動画符号化方法を示すフローチャートである。
【図８Ｂ】本発明の望ましい一実施形態による動画符号化方法を示すフローチャートである。
【図９】本発明の望ましい一実施形態による動画復号化方法を示す構成図である。
【図１０】本発明の望ましい実施形態についてのシミュレーション結果を示す図である。
【図１１】本発明の望ましい実施形態についての無損失モードにおける符号化効率の比較を示す図である。
【図１２Ａ】本発明の望ましい実施形態についてのシミュレーションのＲＤカーブを示す図である。
【図１２Ｂ】本発明の望ましい実施形態についてのシミュレーションのＲＤカーブを示す図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の望ましい実施形態を詳細に説明する。
【００３１】
図１は、本発明の望ましい一実施形態による動画符号化装置の構成図である。図１を参照するに、本実施形態による動画符号化装置は、色空間選択部１０１、インター予測モード選択部１０２、動き推定部１０３、動き補償部１０４、イントラ予測モード選択部１０５、イントラ予測部１０６、減算器１０７、レジデュー変換部１０８、周波数空間変換部１０９、量子化部１１０、エントロピー符号化部１１１、逆量子化部１１２、周波数空間逆変換部１１３、レジデュー逆変換部１１４、加算器１１５、及びフィルタ１１６で構成される。
【００３２】
色空間選択部１０１は、現在画面の特性に基づいて適応的に複数の色空間のうち何れか一つの色空間を選択する。複数の色空間の例としては、ＹＣｇＣｏ色空間及びＲＧＢ色空間が挙げられる。ＹＣｇＣｏ色空間で、Ｙは、輝度成分を意味し、Ｃｏは、色差オレンジ成分を意味し、Ｃｇは、色差グリーン成分を意味する。ＲＧＢ色空間で、Ｒは、レッド色成分を意味し、Ｇは、グリーン色成分を意味し、Ｂは、ブルー色成分を意味する。
【００３３】
本実施形態では、ＹＣｇＣｏ色空間で現在画面を符号化する方式をＲＣＴ（Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）と称し、ＲＧＢ色空間で現在画面を符号化する方式をＩＰＰ（Ｉｎｔｅｒ−Ｐｌａｎｅ Ｐｒｅｄｉｃｔｉｏｎ）と称す。
【００３４】
前記の色空間のうち、ＲＧＢ色空間が人間に認識されるＲ成分、Ｇ成分、及びＢ成分で構成された色空間である。したがって、色空間選択部１０１によってＲＧＢ色空間でない他の色空間、すなわち、ＹＣｇＣｏ色空間が選択された場合には、ＹＣｇＣｏ色空間における符号化が行われた後、色ディスプレイ装置に適用するために、ＹＣｇＣｏ色空間からＲＧＢ色空間に変換されねばならない。
【００３５】
ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）動画、フィルムスキャンイメージ、トムソンバイパーシーケンス（Ｔｈｏｍｐｓｏｎ Ｖｉｐｅｒ Ｓｅｑｕｅｎｃｅｓ）のような高画質イメージの集合を使用した数多くの実験の結果によれば、多様な特性とビットレートとを有するイメージについてのパナシアはない。あるイメージは、一つの色成分に深刻なフィルムグレーンノイズを有し、他のものは、サーマルノイズを有しており、さらに他のものは、飽和色特性を有している。ある場合には、ＲＣＴが効率的であり、ある場合には、ＩＰＰが効率的である。したがって、本実施形態では、ＲＣＴ及びＩＰＰのうち何れか一つをイメージ特性によって適応的に適用する。また、動画符号化装置でいかなる色変換を使用するかについては、Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥｘｔにおける１ビットフラグを使用して動画復号化装置に知らせうる。
【００３６】
特に、動画のビットレートが高い環境でＲＣＴがＩＰＰより符号化効率がさらに高い。但し、ＲＣＴの場合に異なる色空間の間の変換による画質劣化が発生する。特に、現在画面にノイズが多く存在するか、または現在画面の構成が複雑な場合には、かかる画質劣化がさらに激しくなる。したがって、色空間選択部１０１は、現在画面にノイズが多く存在するか、または現在画面の構成が複雑な場合には、ＲＧＢ色空間を選択し、現在画面にノイズがほとんど存在しないか、現在画面の構成が単純な場合には、ＹＣｇＣｏ色空間を選択する。すなわち、色空間選択部１０１は、動画のビットレート、符号化シーケンスの特性に基づいて適応的に色空間を選択する。
【００３７】
インター予測モード選択部１０２は、色空間選択部１０１によって選択された色空間を構成する色成分のそれぞれに独立的に適用されるインター予測モード、及び色空間選択部１０１によって選択された色空間を構成する全ての色成分に一律的に適用されるインター予測モードのうち何れか一つを選択する。一般的に、インター予測で全ての色成分がそれらのそれぞれの動きベクトルを有しているならば、色成分のそれぞれのレジデューは、異なる特性を有するようになり、結局、異なる色成分のレジデュー間の相関性は、小さくなる。したがって、本実施形態では、異なる色成分のレジデュー間の相関性を高めるために、全ての色成分に対して同じ予測モード、すなわち、同じブロックサイズ及び同じ動きベクトルを使用するシングルモードを提案する。これは、ＲＧＢ成分が類似したテキスチャ特性を有している時に、さらに自然な画像を提供する。また、動画符号化装置でかかるシングルモード及び独立的なモードのうち何れかを使用するかについては、Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥｘｔにおける１ビットフラグを使用して動画復号化装置に知らせうる。
【００３８】
インター予測モード選択部１０２がシングルモードを選択する場合を具体的に説明すれば、インター予測モード選択部１０２は、まず色空間選択部１０１によって選択された色空間を構成する全ての色成分に一律的に適用されるブロックのサイズを選択する。現在画面を構成するブロックのサイズは、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４となる。一般的に、１６×１６ブロックをマクロブロックといい、これを色々なサイズに分割して得られたブロックをサブブロックという。動画の符号化及び復号化は、このようなブロック単位でなされ、動画のうちさらに精度の高い符号化及び復号化が要求される部分については、さらに小さなサイズのブロック単位でなされる。
【００３９】
さらに詳細に説明すれば、インター予測モード選択部１０２は、色成分のそれぞれのブロックのサイズに基づいて全ての色成分に一律的に適用されるブロックのサイズを選択する。例えば、インター予測モード選択部１０２は、Ｙ成分のブロックのサイズ、Ｃｏ成分のブロックのサイズ、Ｃｇ成分のブロックのサイズに基づいてＹ成分、Ｃｏ成分、Ｃｇ成分の何れもに一律的に適用されるブロックのサイズを選択する。また、インター予測モード選択部１０２は、Ｒ成分のブロックのサイズ、Ｇ成分のブロックのサイズ、Ｂ成分のブロックのサイズに基づいて、Ｒ成分、Ｇ成分、Ｂ成分の何れもに一律的に適用されるブロックのサイズを選択する。
【００４０】
図２は、本発明の望ましい一実施形態によるブロックサイズの選択を示す図である。図２を参照するに、インター予測モード選択部１０２は、Ｒ成分のマクロブロックを構成するブロックのサイズ、Ｇ成分のマクロブロックを構成するブロックのサイズ、及びＢ成分のマクロブロックを構成するブロックのサイズを参照して全ての色成分のマクロブロックに最適のブロックのサイズを選択することによって、全ての色成分に一律的に適用されるブロックのサイズを選択する。これは、ＹＣｇＣｏ色空間についても同様に適用される。
【００４１】
次いで、インター予測モード選択部１０２は、前記のところによって選択されたサイズのブロック単位で色空間を構成する色成分のそれぞれの動きベクトルに基づいて、この色空間を構成する全ての色成分に一律的に適用される何れか一つの動きベクトルを選択する。さらに詳細に説明すれば、インター予測モード選択部１０２は、動き推定部１０３によって算出された色成分のそれぞれの動きベクトルに基づいて、全ての色成分に一律的に適用される動きベクトルを選択する。例えば、インター予測モード選択部１０２は、動き推定部１０３によって算出されたＹ成分の動きベクトル、Ｃｏ成分の動きベクトル、Ｃｇ成分の動きベクトルに基づいて、Ｙ成分、Ｃｏ成分、Ｃｇ成分の何れもに一律的に適用される動きベクトルを選択する。また、インター予測モード選択部１０２は、動き推定部１０３によって算出されたＲ成分の動きベクトル、Ｇ成分の動きベクトル、Ｂ成分の動きベクトルに基づいて、Ｒ成分、Ｇ成分、Ｂ成分の何れもに一律的に適用される動きベクトルを選択する。
【００４２】
図３は、本発明の望ましい一実施形態による動きベクトルの選択を示す図である。図３を参照するに、インター予測モード選択部１０２は、Ｒ成分のブロックについての動きベクトル、Ｇ成分のブロックについての動きベクトル、Ｂ成分のブロックについての動きベクトルを参照して、全ての色成分のブロックに最適の動きベクトルを選択することによって、全ての色成分に一律的に適用される動きベクトルを選択する。これは、ＹＣｇＣｏ色空間についても同様に適用される。
【００４３】
動き推定部１０３は、色成分ごとにインター予測モード選択部１０２によって選択されたインター予測モードによって、参照画面を基準に現在画面の動きを推定する。さらに詳細に説明すれば、動き推定部１０３は、インター予測モード選択部１０２によって選択されたインター予測モードによって、色成分のそれぞれに独立的に適用されるサイズのブロック単位で色空間を構成する色成分のそれぞれに独立的に適用される動きベクトルを選択するか、または全ての色成分に一律的に適用されるサイズのブロック単位で色空間を構成する全ての色成分に一律的に適用される何れか一つの動きベクトルを選択する。
【００４４】
動き推定部１０３がシングルモードによって動きを推定する場合を具体的に説明すれば、動き推定部１０３は、インター予測モード選択部１０２によって選択されたサイズのブロック単位で参照画面と現在画面との変位に該当する動きベクトルを算出する。本実施形態において、現在画面は、現在動画符号化及び復号化の対象となる画面を意味し、参照画面は、現在画面の符号化または復号化に参照される画面を意味する。一般的に、参照画面は、現在画面の過去画面であるが、現在画面の未来画面であっても、複数の画面であってもよい。
【００４５】
例えば、動き推定部１０３は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとにインター予測モード選択部１０２によって選択されたインター予測モードによって、参照画面を基準に現在画面の動きを推定することによって、Ｙ成分の動きベクトル、Ｃｏ成分の動きベクトル、Ｃｇ成分の動きベクトルを算出する。また、動き推定部１０３は、Ｒ成分、Ｇ成分、及びＢ成分ごとにインター予測モード選択部１０２によって選択されたインター予測モードによって、参照画面を基準に現在画面の動きを推定することによってＲ成分の動きベクトル、Ｇ成分の動きベクトル、Ｂ成分の動きベクトルを算出する。
【００４６】
動き補償部１０４は、色成分ごとにインター予測モード選択部１０２によって選択されたインター予測モードによって、参照画面と現在画面との間の動きを補償する。さらに詳細に説明すれば、動き補償部１０４は、インター予測モード選択部１０２によって選択されたサイズのブロック単位でインター予測モード選択部１０２によって選択された動きベクトルを使用して、参照画面から現在画面についての予測画面を生成する。動き推定部１０３及び動き補償部１０４によって行われるインター予測は、現在画面と参照画面との時間的重畳性を除去するためのものである。
【００４７】
例えば、動き補償部１０４は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとにインター予測モード選択部１０２によって選択されたインター予測モードによって、参照画面と現在画面との間の動きを補償することによって、Ｙ成分の予測画面、Ｃｏ成分の予測画面、Ｃｇ成分の予測画面を生成する。また、動き補償部１０４は、Ｒ成分、Ｇ成分、及びＢ成分ごとにインター予測モード選択部１０２によって選択されたインター予測モードによって、参照画面と現在画面との間の動きを補償することによってＲ成分の予測画面、Ｇ成分の予測画面、Ｂ成分の予測画面を生成する。
【００４８】
イントラ予測モード選択部１０５は、色空間選択部１０１によって選択された色空間を構成する色成分のそれぞれに独立的に適用されるイントラ予測モード、及び色空間選択部１０１によって選択された色空間を構成する全ての色成分に一律的に適用されるイントラ予測モードのうち何れか一つを選択する。ＭＰＥＧ−４
ＡＶＣ／Ｈ.２６４ビデオ符号化方式によれば、輝度成分については、４×４ブロック単位イントラ予測の９個のモードと、１６×１６ブロック単位イントラ予測の４個のモードとが存在し、色差成分については、８×８ブロック単位イントラ予測の４個のモードが存在する。一般的に、輝度成分についての予測モードと色差成分についての予測モードとは、異なるため、色成分の間の相関性は低い。これは、ＲＣＴ、ＩＰＰ、またはこれと類似した変換については、適していない。動画の符号化効率を高めるためには、全ての色成分に対して同じイントラ予測モードを使用することが望ましい。したがって、本実施形態では、輝度成分についての４×４、８×８、１６×１６のような予測モードを色差成分に適用する。
【００４９】
また、イントラ予測モード選択部１０５は、前記のように選択されたイントラ予測モードによって、色空間を構成する色成分のそれぞれに独立的に適用される予測方向を選択するか、または色空間を構成する色成分のそれぞれの予測方向に基づいて、この色空間を構成する全ての色成分に一律的に適用される予測方向を選択する。イントラ予測モード選択部１０５がシングルモードを選択する場合を具体的に説明すれば、イントラ予測モード選択部１０５は、まず色空間選択部１０１によって選択された色空間を構成する全ての色成分に一律的に適用されるブロックのサイズを選択する。現在画面を構成するブロックのサイズは、１６×１６、８×８、４×４となる。イントラ予測におけるブロックサイズ選択も、インター予測と同様に、図２に示したように処理される。
【００５０】
次いで、イントラ予測モード選択部１０５は、前記のところによって選択されたサイズのブロック単位で色空間を構成する色成分のそれぞれの予測方向に基づいて、この色空間を構成する全ての色成分に一律的に適用される予測方向を選択する。例えば、イントラ予測モード選択部１０５は、Ｙ成分の予測方向、Ｃｏ成分の予測方向、Ｃｇ成分の予測方向に基づいて、Ｙ成分、Ｃｏ成分、Ｃｇ成分の何れもに一律的に適用される予測方向を選択する。また、インター予測モード選択部１０２は、Ｒ成分の予測方向、Ｇ成分の予測方向、Ｂ成分の予測方向に基づいて、Ｒ成分、Ｇ成分、Ｂ成分の何れにも一律的に適用される予測方向を選択する。
【００５１】
図４は、本発明の望ましい一実施形態による予測方向の選択を示す図である。図４を参照するに、イントラ予測モード選択部１０５は、Ｒ成分のブロックについての予測方向、Ｇ成分のブロックについての予測方向、Ｂ成分のブロックについての予測方向を参照して、全ての色成分のブロックに最適の予測方向を選択することによって全ての色成分に一律的に適用される予測方向を選択する。これは、ＹＣｇＣｏ色空間に対しても同様に適用される。
【００５２】
イントラ予測部１０６は、色成分ごとにイントラ予測モード選択部１０５によって選択されたイントラ予測モードにより、加算器１１５によって復元された画面内の隣接画素から現在画面を構成するブロックを予測し、このように予測されたブロックで構成された予測画面を生成する。さらに詳細に説明すれば、イントラ予測部１０６は、色成分のそれぞれに独立的に適用されるサイズのブロック単位で色成分のそれぞれに独立的に適用される予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測し、このように予測されたブロックで構成された予測画面を生成するか、または全ての色成分に一律的に適用されるサイズのブロック単位で全ての色成分に一律的に適用される予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測し、このように予測されたブロックで構成された予測画面を生成する。イントラ予測部１０６によって行われるイントラ予測は、現在画面内での空間的重畳性を除去するためのものである。
【００５３】
例えば、イントラ予測部１０６は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとにイントラ予測モード選択部１０５によって選択された予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測することによって、Ｙ成分の予測画面、Ｃｏ成分の予測画面、Ｃｇ成分の予測画面を生成する。また、イントラ予測部１０６は、Ｒ成分、Ｇ成分、及びＢ成分ごとにイントラ予測モード選択部１０５によって選択された予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測することによって、Ｒ成分の予測画面、Ｇ成分の予測画面、Ｂ成分の予測画面を生成する。
【００５４】
減算器１０７は、色成分ごとに現在画面と動き補償部１０４によって生成された予測画面との差に該当する第１レジデューを生成するか、または現在画面とイントラ予測部１０６によって生成された予測画面との差に該当する第１レジデューを生成する。例えば、減算器１０７は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとに現在画面と動き補償部１０４によって生成された予測画面との差を算出するか、または現在画面とイントラ予測部１０６によって生成された予測画面との差を算出することによって、Ｙ成分の第１レジデュー、Ｃｏ成分の第１レジデュー、Ｃｇ成分の第１レジデューを生成する。また、減算器１０７は、Ｒ成分、Ｇ成分、及びＢ成分ごとに現在画面と動き補償部１０４によって生成された予測画面との差を算出するか、または現在画面とイントラ予測部１０６によって生成された予測画面との差を算出することによって、Ｒ成分の第１レジデュー、Ｇ成分の第１レジデュー、Ｂ成分の第１レジデューを生成する。
【００５５】
図５は、本発明の望ましい一実施形態の適用による色成分のそれぞれのレジデューの相関性の変化を示す図である。図５を参照するに、グラフ５０１と５０２とは、色成分のそれぞれに独立的な予測モードを適用して得られたレジデューの相関性を示している。特に、グラフ５０１は、Ｒ成分とＧ成分との相関性を示しており、グラフ５０２は、Ｂ成分とＧ成分との相関性を示している。一方、グラフ５０３と５０４とは、全ての色成分に同じ予測モードを適用して得られたレジデューの相関性を示している。特に、グラフ５０３は、Ｒ成分とＧ成分との相関性を示しており、グラフ５０４は、Ｂ成分とＧ成分との相関性を示している。図５に示された５０１−５０４から色成分のそれぞれに独立的な予測モードを適用するより、同じ予測モードを適用することが色成分のレジデュー間の相関性が高まるということが分かる。
【００５６】
レジデュー変換部１０８は、減算器１０７によって生成された第１レジデュー間の差に該当する第２レジデューを生成する。本実施形態では、動画の符号化効率を向上させるために、インター予測またはイントラ予測後の色成分の間の重畳性（Redundancy）を利用する。インター予測は、時間的な重畳性を利用し、イントラ予測は、空間的な重畳性を利用するのである。しかし、インター予測またはイントラ予測後にも、色成分の間の重畳性が依然として残っている。
【００５７】
図６は、本発明の望ましい一実施形態の適用による色成分の間の相関性を示す図である。図６を参照するに、グラフ６０１は、イントラ予測後のＲ成分とＧ成分との相関性を示しており、グラフ６０２は、イントラ予測後のＢ成分とＧ成分との相関性を示している。グラフ６０３は、インター予測後のＲ成分とＧ成分との相関性を示しており、グラフ６０４は、インター予測後のＢ成分とＧ成分との相関性を示している。図６に示された６０１−６０４からインター予測またはイントラ予測後にも、色成分のレジデュー間に強い相関性が存在するということが分かる。
【００５８】
すなわち、レジデュー変換部１０８は、ＹＣｇＣｏ色空間で次の式（１）を利用してＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを生成する。特に、Ｙ＝（Ｒ＋２Ｇ＋Ｂ）＞＞２，Ｃｏ＝（Ｒ−Ｂ）＞＞１，Ｃｇ＝（−Ｒ＋２Ｇ−Ｂ）＞＞２の関係にある。
【００５９】
△２Ｂ＝△Ｒ−△Ｂ
ｔ＝△Ｂ＋（△２Ｂ＞＞１）
△２Ｒ＝△Ｇ−ｔ （１）
△２Ｇ＝ｔ＋（△２Ｒ＞＞１）
ここで、△×は、第１レジデューを意味し、△２×は、第２レジデューを意味する。また、表記“＞＞”は、右側シフト演算を意味し、ほぼ２で割るところとなる。また、変数ｔは、臨時的な計算目的として使われる。
【００６０】
また、レジデュー変換部１０８は、ＲＧＢ色空間で次の式（２）を利用してＲ成分、Ｇ成分、Ｂ成分それぞれの第１レジデュー間の差に該当する第２レジデューを生成する。
【００６１】
△２Ｇ＝△Ｇ’
△２Ｒ＝△Ｒ−△Ｇ’ （２）
△２Ｂ＝△Ｂ−△Ｇ’
ここで、△×は、第１レジデューを意味し、△２×は、第２レジデューを意味する。また、△×’は、復元された第１レジデューを意味する。特に、式（２）は、Ｇ成分が画像情報を多く有している時に効果的であり、Ｒ成分またはＢ成分を主な成分として第２レジデューを計算することもある。
【００６２】
周波数空間変換部１０９は、レジデュー変換部１０８によって生成された第２レジデューを色空間から周波数空間に変換する。Ｈ.２６４／ＭＰＥＧ−４ＡＶＣでは、色空間から周波数空間に変換する方式でＤＨＴ（Ｄｉｓｃｒｅｔｅ Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）基盤の整数変換が導入された。
【００６３】
量子化部１１０は、周波数空間変換部１０９によって変換された値を量子化する。すなわち、量子化部１１０は、周波数空間変換部１０９によって変換された周波数成分値を量子化パラメータで割り、その結果を整数値に近似化する。
【００６４】
エントロピー符号化部１１１は、量子化部１１０によって量子化された値をエントロピー符号化することによってビットストリームを生成し、これを出力する。Ｈ.２６４／ＭＰＥＧ−４ＡＶＣでは、エントロピー符号化方式でＣＡＶＬＣ（Ｃｏｎｔｅ×ｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅ×ｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）が導入された。
【００６５】
逆量子化部１１２は、量子化部１１０によって量子化された値を逆量子化する。すなわち、逆量子化部１１２は、量子化部１１０によって近似化した整数値に量子化パラメータを乗じることによって周波数成分値を復元する。
【００６６】
周波数空間逆変換部１１３は、逆量子化部１１２によって復元された周波数成分値を周波数空間から色空間に変換することによって第２レジデューを復元する。
【００６７】
レジデュー逆変換部１１４は、周波数空間逆変換部１１３によって復元された第２レジデュー間の合算に該当する第１レジデューを生成する。すなわち、レジデュー逆変換部１１４は、ＹＣｇＣｏ色空間で次の式（３）を利用してＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第２レジデュー間の和に該当するＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデューを生成する。
【００６８】
ｔ＝△２Ｇ’−（△２Ｒ’＞＞１）
△Ｇ’＝△２Ｒ’＋ｔ
△Ｂ’＝ｔ−（△２Ｂ’＞＞１） （３）
△Ｒ’＝△Ｂ’＋△２Ｂ’
ここで、△×’は、復元された第１レジデューを意味し、△２×’は、復元された第２レジデューを意味する。
【００６９】
また、レジデュー逆変換部１１４は、ＲＧＢ色空間で次の式（４）を利用してＲ成分、Ｇ成分、Ｂ成分それぞれの第２レジデュー間の和に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【００７０】
△Ｇ’＝△２Ｇ’
△Ｒ’＝△２Ｒ’＋△Ｇ’ （４）
△Ｂ’＝△２Ｂ’＋△Ｇ’
ここで、△×’は、復元された第１レジデューを意味し、△２×’は、復元された第２レジデューを意味する。
【００７１】
加算器１１５は、動き補償部１０４またはイントラ予測部１０６によって生成された予測画面と、レジデュー逆変換部１１４によって生成された第１レジデューとの合算に該当する復元画面を生成する。例えば、加算器１１５は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとに動き補償部１０４またはイントラ予測部１０６によって生成された予測画面と、レジデュー逆変換部１１４によって生成された第１レジデューとの合算を算出することによって、ＹＣｇＣｏ色空間における復元画面を生成する。また、加算器１１５は、Ｒ成分、Ｇ成分、及びＢ成分ごとに動き補償部１０４またはイントラ予測部１０６によって生成された予測画面と、レジデュー逆変換部１１４によって生成された第１レジデューとの合算を算出することによって、ＲＧＢ色空間における復元画面を生成する。
【００７２】
フィルタ１１６は、加算器１１５によって生成された復元画面のブロック境界の歪曲をスムーズにすることで復元画面の画質を向上させる。これは、動画のビットレートが高い場合には、かえって高周波成分が消失される恐れがあるために使われない。
【００７３】
図１に示された動画復号化装置には、色空間を適応的に適用する方式とシングルモード方式とが何れも適用されているが、当業者ならば、二つの方式のうち何れか一つのみが適用された動画復号化装置を容易に具現しうるであろう。
【００７４】
図７は、本発明の望ましい一実施形態による動画復号化装置の構成図である。図７を参照するに、本実施形態による動画復号化装置は、エントロピー復号化部７０１、逆量子化部７０２、周波数空間逆変換部７０３、レジデュー逆変換部７０４、動き補償部７０５、イントラ予測部７０６、加算器７０７、及びフィルタ７０８で構成される。
【００７５】
エントロピー復号化部７０１は、図１に示された動画符号化装置から出力されたビットストリームをエントロピー復号化することによって整数値を復元する。
【００７６】
逆量子化部７０２は、エントロピー復号化部７０１によって復元された整数値を逆量子化することによって周波数成分値を復元する。すなわち、逆量子化部７０２は、エントロピー復号化部７０１によって復元された整数値に量子化パラメータを乗じることによって周波数成分値を復元する。
【００７７】
周波数空間逆変換部７０３は、逆量子化部７０２によって復元された周波数成分値を周波数空間から複数の色空間のうち動画符号化装置で使われた色空間に変換することにより、この色空間を構成する色成分のそれぞれのレジデュー間の差に該当する第２レジデューを復元する。
【００７８】
レジデュー逆変換部７０４は、複数の色空間のうち動画符号化装置で使われた色空間で周波数空間逆変換部７０３によって復元された第２レジデュー間の合算に該当する第１レジデューを生成する。すなわち、レジデュー逆変換部７０４は、ＹＣｇＣｏ色空間で前記の式（３）を利用してＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第２レジデュー間の和に該当するＹ成分、Ｃｏ成分、Ｃｇ成分のそれぞれの第１レジデューを生成する。また、レジデュー逆変換部７０４は、ＲＧＢ色空間で前記の式（４）を利用して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの第２レジデュー間の和に該当するＲ成分、Ｇ成分、Ｂ成分のそれぞれの第１レジデューを生成する。
【００７９】
動き補償部７０５は、色成分ごとに動画符号化装置で使われたインター予測モードによって、参照画面と現在画面との間の動きを補償する。すなわち、動き補償部７０５は、色成分のそれぞれに独立的に適用されるインター予測モード、または全ての色成分に一律的に適用されるインター予測モードのうち何れか一つによって、参照画面と現在画面との間の動きを補償する。
【００８０】
さらに詳細に説明すれば、動き補償部７０５は、動画符号化装置で使われたサイズのブロック単位で動画符号化装置で使われた動きベクトルを使用して、参照画面から現在画面についての予測画面を生成する。すなわち、動き補償部７０５は、色成分のそれぞれに独立的に適用されるサイズのブロック単位で色成分のそれぞれに独立的に適用される動きベクトルを使用して、現在画面についての予測画面を生成するか、または全ての色成分に一律的に適用されるサイズのブロック単位で全ての色成分に一律的に適用される動きベクトルを使用して、参照画面から現在画面についての予測画面を生成する。
【００８１】
イントラ予測部７０６は、色成分ごとに動画符号化装置で使われたイントラ予測モードによって、加算器７０７によって復元された画面内の隣接画素から現在画面を構成するブロックを予測し、このように予測されたブロックで構成された予測画面を生成する。すなわち、イントラ予測部７０６は、色成分のそれぞれに独立的に適用されるイントラ予測モード及び全ての色成分に一律的に適用されるイントラ予測モードのうち何れか一つによって加算器７０７によって復元された画面内の隣接画素から現在画面を構成するブロックを予測し、このように予測されたブロックで構成された予測画面を生成する。
【００８２】
さらに詳細に説明すれば、イントラ予測部７０６は、動画符号化装置で使われた予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測し、このように予測されたブロックで構成された予測画面を生成する。すなわち、イントラ予測部７０６は、色成分のそれぞれに独立的に適用されるサイズのブロック単位で色成分のそれぞれに独立的に適用される予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測し、このように予測されたブロックで構成された予測画面を生成するか、または全ての色成分に一律的に適用されるサイズのブロック単位で全ての色成分に一律的に適用される予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測し、このように予測されたブロックで構成された予測画面を生成する。
【００８３】
加算器７０７は、動き補償部７０５またはイントラ予測部７０６によって生成された予測画面と、レジデュー逆変換部７０４によって生成された第１レジデューとの合算に該当する復元画面を生成する。例えば、加算器７０７は、Ｙ成分、Ｃｏ成分、及びＣｇ成分ごとに動き補償部７０５またはイントラ予測部７０６によって生成された予測画面と、レジデュー逆変換部７０４によって生成された第１レジデューとの合算を算出することによって、ＹＣｇＣｏ色空間における復元画面を生成する。また、加算器７０７は、Ｒ成分、Ｇ成分、及びＢ成分ごとに動き補償部７０５またはイントラ予測部７０６によって生成された予測画面と、レジデュー逆変換部７０４によって生成された第１レジデューとの合算を算出することによって、ＲＧＢ色空間における復元画面を生成する。
【００８４】
フィルタ７０８は、加算器７０７によって生成された復元画面のブロック境界の歪曲をスムーズにして復元画面の画質を向上させる。これは、動画のビットレートが高い場合には、かえって高周波成分が消失される恐れがあるために使われない。
【００８５】
図８Ａ及び図８Ｂは、本発明の望ましい一実施形態による動画符号化方法を示すフローチャートである。図８Ａ及び図８Ｂを参照するに、本実施形態による動画符号化方法は、図１に示された動画符号化装置で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図１に示された動画符号化装置について前述された内容は、本実施形態による動画符号化方法にも適用される。
【００８６】
ステップ８０１で、動画符号化装置は、現在画面の特性に基づいて適応的に複数の色空間のうち何れか一つの色空間を選択する。
【００８７】
ステップ８０２で、動画符号化装置は、インター予測なのか、そうでなければイントラ予測なのかを判断し、インター予測である場合には、ステップ８０３に進み、イントラ予測である場合には、ステップ８０６に進む。
【００８８】
ステップ８０３で、動画符号化装置は、ステップ８０１で選択された色空間を構成する色成分のそれぞれに独立的に適用されるインター予測モード、及びステップ８０１で選択された色空間を構成する全ての色成分に一律的に適用されるインター予測モードのうち何れか一つを選択する。
【００８９】
ステップ８０４で、動画符号化装置は、８０３ステップで選択されたインター予測モードによって、色空間を構成する色成分のそれぞれに独立的に適用される動きベクトルを選択するか、または色空間を構成する全ての色成分に一律的に適用される何れか一つの動きベクトルを選択する。
【００９０】
ステップ８０５で、動画符号化装置は、ステップ８０４で選択された動きベクトルを使用して、参照画面から現在画面についての予測画面を生成する。
【００９１】
ステップ８０６で、動画符号化装置は、ステップ８０１で選択された色空間を構成する色成分のそれぞれに独立的に適用されるイントラ予測モード、及びステップ８０１で選択された色空間を構成する全ての色成分に一律的に適用されるイントラ予測モードのうち何れか一つを選択する。
【００９２】
ステップ８０７で、動画符号化装置は、ステップ８０６で選択されたイントラ予測モードによって、色空間を構成する色成分のそれぞれに独立的に適用される予測方向を選択するか、または色空間を構成する色成分のそれぞれの予測方向に基づいてこの色空間を構成する全ての色成分に一律的に適用される予測方向を選択する。
【００９３】
ステップ８０８で、動画符号化装置は、色成分ごとにステップ８０７で選択された予測方向が指示する隣接画素から現在画面を構成するブロックのそれぞれを予測し、このように予測されたブロックで構成された予測画面を生成する。
【００９４】
ステップ８０９で、動画符号化装置は、色成分ごとに現在画面と、ステップ８０５またはステップ８０８で生成された予測画面との差に該当する第１レジデューを生成する。
【００９５】
ステップ８１０で、動画符号化装置は、ステップ８０９で生成された第１レジデュー間の差に該当する第２レジデューを生成する。
【００９６】
ステップ８１１で、動画符号化装置は、ステップ８１０で生成された第２レジデューを色空間から周波数空間に変換する。
【００９７】
ステップ８１２で、動画符号化装置は、ステップ８１１から変換された値を量子化する。
【００９８】
ステップ８１３で、動画符号化装置は、ステップ８１２で量子化された値をエントロピー符号化することによってビットストリームを生成し、これを出力する。
【００９９】
ステップ８１４で、動画符号化装置は、ステップ８１２で量子化された値を逆量子化することによって周波数成分値を復元する。
【０１００】
ステップ８１５で、動画符号化装置は、ステップ８１４で復元された周波数成分値を周波数空間から色空間に変換することによって第２レジデューを復元する。
【０１０１】
ステップ８１６で、動画符号化装置は、ステップ８１５で復元された第２レジデュー間の合算に該当する第１レジデューを生成する。
【０１０２】
ステップ８１７で、動画符号化装置は、色成分ごとにステップ８０５またはステップ８０８で生成された予測画面と、ステップ８１６で生成された第１レジデューとの合算に該当する復元画面を生成する。
【０１０３】
ステップ８１８で、動画符号化装置は、ステップ８１６で生成された復元画面のブロック境界の歪曲をスムーズにして復元画面の画質を向上させる。
【０１０４】
図９は、本発明の望ましい一実施形態による動画復号化方法の構成図である。図９を参照するに、本実施形態による動画復号化方法は、図７に示された動画復号化装置で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図７に示された動画復号化装置について前述された内容は、本実施形態による動画復号化方法にも適用される。
【０１０５】
ステップ９０１で、動画復号化装置は、図１に示された動画符号化装置から出力されたビットストリームをエントロピー復号化することによって整数値を復元する。
【０１０６】
ステップ９０２で、動画復号化装置は、ステップ９０２で復元された整数値を逆量子化することによって周波数成分値を復元する。
【０１０７】
ステップ９０３で、動画復号化装置は、ステップ９０２で復元された周波数成分値を周波数空間から、複数の色空間のうち動画符号化装置で使われた色空間に変換することにより、この色空間を構成する色成分のそれぞれの第１レジデュー間の差に該当する第２レジデューを復元する。
【０１０８】
ステップ９０４で、動画復号化装置は、複数の色空間のうち動画符号化装置で使われた色空間でステップ９０３で復元された第２レジデュー間の合算に該当する第１レジデューを生成する。
【０１０９】
ステップ９０５で、動画符号化装置は、インター予測なのか、そうでなければ、イントラ予測なのかを判断し、インター予測である場合には、ステップ９０６に進み、イントラ予測である場合には、ステップ９０７に進む。
【０１１０】
ステップ９０６で、動画復号化装置は、色成分のそれぞれに独立的に適用されるインター予測モードまたは全ての色成分に一律的に適用されるインター予測モードのうち何れか一つによって、参照画面と現在画面との間の動きを補償する。
【０１１１】
ステップ９０７で、動画復号化装置は、色成分のそれぞれに独立的に適用されるイントラ予測モード及び全ての色成分に一律的に適用されるイントラ予測モードのうち何れか一つによって、復元された画面内の隣接画素から現在画面を構成するブロックを予測し、このように予測されたブロックで構成された予測画面を生成する。
【０１１２】
ステップ９０８で、動画復号化装置は、ステップ９０６またはステップ９０７によって生成された予測画面と、ステップ９０４によって生成された第１レジデューとの合算に該当する復元画面を生成する。
【０１１３】
ステップ９０９で、動画復号化装置は、ステップ９０８で生成された復元画面のブロック境界の歪曲をスムーズにして復元画面の画質を向上させる。
【０１１４】
図１０は、本発明の望ましい実施形態についてのシミュレーション結果を示す図である。図１０のテーブル１００１及びテーブル１００２に示したように、本実施形態、すなわち、シングルモード予測におけるＲＣＴ及びＩＰＰとＨ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥ×ｔとを比較することにより本実施形態を評価した。シミュレーションとしては、ＪＭ９.３レファレンスソフトウェアが使われた。テスト条件は、次の通りである。テスト材料は、フィルムとバイパーシーケンス（１９２０×１０８８＠２４Ｈｚ，ｐｒｏｇｒｅｓｓｉｖｅ）であり、探索領域は、６４であり、量子化パラメータは、１２，１８，２４，３０，３６であり、参照画面、すなわち参照フレームの数は、３であり、エントロピー符号化は、ＣＡＢＡＣであり、ＲＤ最適化モード選択は、オンであり、ＧＯＰ（グループ オブ ピクチャー）構造は、ＩＢＢＰであり、スライスグループの数は、１である。
【０１１５】
図１０における方法のそれぞれは、次の通りである。ＩＰＰは、ＩＰＰとシングルモード予測とを使用した本実施形態の方法であり、ＲＣＴは、ＲＣＴとシングルモード予測とを使用した本実施形態の方法であり、ＲＣＴ（ＦＲＥ×Ｔ）は、レジデュアル色変換についてＹＣｇＣｏを使用したＲＧＢ符号化であり、ＹＣｇＣｏは、符号化前にＲＧＢ入力データがＹＣｇＣｏに変換される外部ＹＣｇＣｏ符号化である。特に、テーブル１００１では、復元されたＲＧＢイメージの忠実度（Fidelity）を評価するために、全ての色成分についてのＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｅ）の平均、すなわち、ＲＧＢ成分の平均が測定された。テーブル１００１は、二つの異なる高ビットレート（２０Ｍｂｐｓ及び６０Ｍｂｐｓ）におけるＹＣｇＣｏ方法についてのそれぞれの方法のＰＳＮＲゲインを表している。また、テーブル１００２では、輝度チャンネル（最も重要なチャンネル）上の影響を孤立させるために、色差チャンネルに対してほぼ同じ忠実度（Fidelity）を有しているＹＣｇＣｏドメインでＹＰＳＮＲの結果が比較された。
【０１１６】
図１１は、本発明の望ましい実施形態についての無損失モードにおける符号化効率の比較を示す図である。
【０１１７】
近い将来には、ビデオの無損失及びほぼ無損失圧縮の支援が重要になる。Ｈ.２６４／ＭＰＥＧ−４ＡＶＣ ＦＲＥ×ｔにおける無損失符号化は、周波数空間変換と量子化過程とが省略されることによって具現される。前記本実施形態も周波数空間変換と量子化との過程が省略されることによって無損失符号化に適用される。図１１に示されたように、無損失符号化でＩＰＰとシングルモード予測との効率が最も優れる。
【０１１８】
図１２Ａ及び図１２Ｂは、本発明の望ましい実施形態についてのシミュレーションのＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）カーブを示す図である。図１２Ａ及び図１２Ｂでは、イントラ符号化のみのシミュレーションが行われた。特に、独立的なイントラ予測モードを適用する成果を評価するために、全ての色成分は、単色イメージとして扱われた。
【０１１９】
一方、前述した本発明の実施形態は、コンピュータで実行できるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して前記プログラムを動作させる汎用ディジタルコンピュータで具現される。また、前述した本発明の実施形態で使われたデータの構造は、コンピュータで読み取り可能な記録媒体に色々な手段を通じて記録されうる。
【０１２０】
前記コンピュータで読み取り可能な記録媒体は、マグネチック保存媒体（例えば、ＲＯＭ（リード オンリ メモリ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（デジタル ヴァーサタイル ディスプレイ）など）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような保存媒体を含む。
【０１２１】
以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されることを理解できるであろう。したがって、開示された実施形態は、限定的な観点でなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明でなく、特許請求の範囲に表れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【符号の説明】
【０１２２】
１０１：色空間選択部
１０２：インター予測モード選択部
１０３：動き推定部
１０４：動き補償部
１０５：イントラ予測選択部
１０６：イントラ予測部
１０７：減算器
１０８：レジデュー変換部
１０９：周波数空間変換部
１１０：量子化部
１１１：エントロピー符号化部
１１２：逆量子化部
１１３：周波数空間逆変換部
１１４：レジデュー逆変換部
１１５：加算器
１１６：フィルタ
【特許請求の範囲】
【請求項１】
動画像符号化装置によって実行される残差生成方法であって、
（ａ）前記動画像符号化装置が、所定の色空間を構成する色成分のそれぞれに独立して適用される第１の予測モード及び前記所定の色空間を構成する全ての色成分に一律に適用される第２の予測モードのうちの何れか１つを選択するステップと、
（ｂ）前記動画像符号化装置が、前記選択された予測モードによって現在画面と予測画面との残差を前記色成分のそれぞれについて生成するステップとを含み、
前記動画像符号化装置が、前記第１の予測モード及び前記第２の予測モードのうちの何れか一つを表すフラグを動画像復号化装置に伝送する、
ことを特徴とする残差生成方法。
【請求項２】
前記フラグは１ビットフラグである、
ことを特徴とする請求項１記載の残差生成方法。
【請求項３】
コンピュータに、請求項１乃至２のうちの何れか一つに記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項４】
所定の色空間を構成する色成分のそれぞれに独立して適用される第１の予測モード及び前記所定の色空間を構成する全ての色成分に一律に適用される第２の予測モードのうちの何れか一つを選択する選択部と、
前記選択部により選択された第１の予測モード又は第二の予測モードによって現在画面と予測画面との残差を前記色成分のそれぞれに対して生成する減算器とを備え、
前記第１の予測モード及び前記第２の予測モードのうちの何れか一つを表すフラグを動画像復号化装置に伝送する、
ことを特徴とする残差生成装置。
【請求項５】
動画像復号化装置により実行される復元画面生成方法において、
（ａ）前記動画像復号化装置が、動画像符号化装置から伝送されたフラグに基づき所定の色空間を構成する色成分のそれぞれに独立して適用される第１の予測モード及び前記所定の色空間を構成する全ての色成分の一律に適用される第２の予測モードのうちの何れか一つによって予測画面を生成するステップと、
（ｂ）前記動画像復号化装置が、前記予測画面に基づき復元画面を生成するステップとを含み、
前記フラグは前記第１の予測モード及び前記第２の予測モードのうちの何れか一つを表す、
ことを特徴とする復元画面生成方法。
【請求項６】
前記フラグは１ビットフラグである、
ことを特徴とする請求項５記載の復元画面生成方法。
【請求項７】
コンピュータに、請求項５乃至６のうちの何れか一つに記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
動画像符号化装置から伝送されたフラグに基づき所定の色空間を構成する色成分のそれぞれに独立して適用される第１の予測モード及び前記所定の色空間を構成する全ての色成分に一律に適用される第２の予測モードのうちの何れか一つによって予測画面を生成する予測部と、
前記予測部により生成された予測画面に基づき復元画面を生成する加算器とを備え、
前記フラグは前記第１の予測モード及び前記第２の予測モードのうちの何れか一つを表す、
ことを特徴とする復元画面生成装置。
【請求項１】
動画像符号化装置によって実行される残差生成方法であって、
（ａ）前記動画像符号化装置が、所定の色空間を構成する色成分のそれぞれに独立して適用される第１の予測モード及び前記所定の色空間を構成する全ての色成分に一律に適用される第２の予測モードのうちの何れか１つを選択するステップと、
（ｂ）前記動画像符号化装置が、前記選択された予測モードによって現在画面と予測画面との残差を前記色成分のそれぞれについて生成するステップとを含み、
前記動画像符号化装置が、前記第１の予測モード及び前記第２の予測モードのうちの何れか一つを表すフラグを動画像復号化装置に伝送する、
ことを特徴とする残差生成方法。
【請求項２】
前記フラグは１ビットフラグである、
ことを特徴とする請求項１記載の残差生成方法。
【請求項３】
コンピュータに、請求項１乃至２のうちの何れか一つに記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項４】
所定の色空間を構成する色成分のそれぞれに独立して適用される第１の予測モード及び前記所定の色空間を構成する全ての色成分に一律に適用される第２の予測モードのうちの何れか一つを選択する選択部と、
前記選択部により選択された第１の予測モード又は第二の予測モードによって現在画面と予測画面との残差を前記色成分のそれぞれに対して生成する減算器とを備え、
前記第１の予測モード及び前記第２の予測モードのうちの何れか一つを表すフラグを動画像復号化装置に伝送する、
ことを特徴とする残差生成装置。
【請求項５】
動画像復号化装置により実行される復元画面生成方法において、
（ａ）前記動画像復号化装置が、動画像符号化装置から伝送されたフラグに基づき所定の色空間を構成する色成分のそれぞれに独立して適用される第１の予測モード及び前記所定の色空間を構成する全ての色成分の一律に適用される第２の予測モードのうちの何れか一つによって予測画面を生成するステップと、
（ｂ）前記動画像復号化装置が、前記予測画面に基づき復元画面を生成するステップとを含み、
前記フラグは前記第１の予測モード及び前記第２の予測モードのうちの何れか一つを表す、
ことを特徴とする復元画面生成方法。
【請求項６】
前記フラグは１ビットフラグである、
ことを特徴とする請求項５記載の復元画面生成方法。
【請求項７】
コンピュータに、請求項５乃至６のうちの何れか一つに記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
動画像符号化装置から伝送されたフラグに基づき所定の色空間を構成する色成分のそれぞれに独立して適用される第１の予測モード及び前記所定の色空間を構成する全ての色成分に一律に適用される第２の予測モードのうちの何れか一つによって予測画面を生成する予測部と、
前記予測部により生成された予測画面に基づき復元画面を生成する加算器とを備え、
前記フラグは前記第１の予測モード及び前記第２の予測モードのうちの何れか一つを表す、
ことを特徴とする復元画面生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【公開番号】特開２０１２−２０９９６５（Ｐ２０１２−２０９９６５Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１２−１４４７８２（Ｐ２０１２−１４４７８２）
【出願日】平成２４年６月２７日（２０１２．６．２７）
【分割の表示】特願２００８−５０６３８６（Ｐ２００８−５０６３８６）の分割
【原出願日】平成１８年４月１８日（２００６．４．１８）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２４年６月２７日（２０１２．６．２７）
【分割の表示】特願２００８−５０６３８６（Ｐ２００８−５０６３８６）の分割
【原出願日】平成１８年４月１８日（２００６．４．１８）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
[ Back to top ]