ビデオ符号化／復号化用の動き補償装置及びその方法
【課題】カラー映像用のビデオ符号化／復号化装置及びその方法を提供する。
【解決手段】第一動き予測部１００は、入力映像の第一の動き予測結果に基づいて入力映像に対する第一予測誤差映像を算出する。映像情報把握部１１０は、R-G-B映像の色成分のうち所定の色成分を基準色成分に設定し、入力映像がY-Cb-Cr映像であるかR-G-B映像であるかを把握し、入力映像の色成分が基準色成分であるか否かを把握する。第二動き予測部１２０は、入力映像がR-G-Bであり、入力映像の色成分が基準色成分以外の色成分であれば、基準色成分に基づいて第一予測誤差映像に対する動き予測を行って第二予測誤差映像を算出する。これにより、色情報による最適の符号化／復号化を行う。
【解決手段】第一動き予測部１００は、入力映像の第一の動き予測結果に基づいて入力映像に対する第一予測誤差映像を算出する。映像情報把握部１１０は、R-G-B映像の色成分のうち所定の色成分を基準色成分に設定し、入力映像がY-Cb-Cr映像であるかR-G-B映像であるかを把握し、入力映像の色成分が基準色成分であるか否かを把握する。第二動き予測部１２０は、入力映像がR-G-Bであり、入力映像の色成分が基準色成分以外の色成分であれば、基準色成分に基づいて第一予測誤差映像に対する動き予測を行って第二予測誤差映像を算出する。これにより、色情報による最適の符号化／復号化を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ符号化／復号化用の動き補償装置及びその方法に関する。
【背景技術】
【０００２】
従来のビデオ（ビデオ信号）圧縮方法は、圧縮率を高めるために、機器から直接取得できるＲ−Ｇ−Ｂなどの映像形式を圧縮に適したＹ−Ｃｂ−Ｃｒなどの映像形式に変換する。また、従来のビデオ圧縮方法は、圧縮効率を高めるためにＣｂ成分及びＣｒ成分を四分の一のサイズに減らして符号化する。しかし、従来のビデオ圧縮方法は、高品質の映像復元を必要とするアプリケーションに適するものとはいえない。それは、Ｃｂ成分及びＣｒ成分のサブサンプリングによってＣｈｒｏｍａ（Ｃｂ、Ｃｒ）成分にエネルギー損失が発生し、さらにＲ−Ｇ−Ｂ成分をＹ−Ｃｂ−Ｃｒ成分に変換する時に映像の品質損失が発生するためである。このような損失を減らすためには、Ｃｂ成分及びＣｒ成分をＹ成分と同じ解像度で符号化する必要がある。
【０００３】
もし、Ｙ−Ｃｂ−Ｃｒ成分を符号化するとき、さらに良い品質を所望するのであれば、Ｒ−Ｇ−Ｂ成分を直接符号化することにより、Ｙ−Ｃｂ−Ｃｒ成分に変換する時に発生する損失をなくして、映像品質の損失を低減する必要がある。しかし、従来のビデオ圧縮手法は、従来型のＹ−Ｃｂ−Ｃｒ符号化器を利用してＲ−Ｇ−Ｂ成分を符号化するものであり、Ｒ−Ｇ−Ｂカラー成分に存在するＹ−Ｃｂ−Ｃｒ成分とは異なる特性を利用することができない。このような従来の手法として代表的なものが、２つの国際標準化機構であるＩＳＯ／ＩＥＣのＭＰＥＧ及びＩＴＵ−ＴのＶＣＥＧによる、共同ビデオチーム（Joint Video Team）のＡＶＣ／Ｈ.２６４標準化技術である。
【０００４】
しかし、Ｒ−Ｇ−Ｂ成分とＹ−Ｃｂ−Ｃｒ成分では、映像の特性が異なるため、従来のＹ−Ｃｂ−Ｃｒ符号化器でＲ−Ｇ−Ｂ成分を符号化すると、符号化効率が大きく低下する。例えば、Ｙ−Ｃｂ−Ｃｒ映像は、空間上、同じ位置でＹ、Ｃｂ、Ｃｒの各成分間に相関関係がほとんどないが、一方、Ｒ−Ｇ−Ｂ映像は各成分間に相関関係が残っている。
【０００５】
また、Ｒ−Ｇ−Ｂ映像では、Ｒ、Ｇ、Ｂの各成分間の周波数特性が類似しているが、Ｙ−Ｃｂ−Ｃｒ映像では、Ｒ−Ｇ−Ｂ映像から変換する時に行われる処理によって、Ｌｕｍａ成分であるＹ成分とＣｈｒｏｍａ成分であるＣｂ及びＣｒ値とが相異なる周波数特性を有するものとなる。このように、従来のビデオ圧縮方法では、Ｒ−Ｇ−Ｂ映像及びＹ−Ｃｂ−Ｃｒ映像の特性を正確に符号化に反映できなかった。また、従来のビデオ圧縮方法は、符号化する際に、映像のサイズによる周波数特性の変化を考慮するものではなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする技術的課題は、インタープレーン（inter-plane）予測を利用してＲ−Ｇ−Ｂ映像の符号化／復号化効率を高めるビデオ符号化／復号化装置及びその方法を提供することである。
【０００７】
本発明が解決しようとする他の技術的課題は、ビデオ符号化／復号化に際し、色情報及び解像度情報による効率的な動き補償を行う動き補償装置及びその方法を提供することである。
【０００８】
本発明が解決しようとする他の技術的課題は、ビデオ符号化／復号化に際し、色情報及び解像度情報によって効率的にブロック効果（ノイズ／歪）を低減するデブロッキングフィルタ装置及びその方法を提供することである。
【課題を解決するための手段】
【０００９】
前記課題を達成するための本発明によるビデオ符号化装置は、入力映像の第１動き予測結果に基づいて前記入力映像に対する第１予測誤差映像を算出する第１動き予測部と、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分と設定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるか前記Ｒ−Ｇ−Ｂ映像であるかを把握し、前記入力映像の色成分が前記基準色成分であるか否かを把握する映像情報把握部と、前記入力映像が前記Ｒ−Ｇ−Ｂ映像であり、前記入力映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記第１予測誤差映像に対する動き予測を行って第２予測誤差映像を算出する第２動き予測部と、を含む。
【００１０】
前記課題を達成するための本発明によるビデオ符号化方法は、入力映像の第１動き予測結果に基づいて前記入力映像に対する第１予測誤差映像を算出する段階と、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分と設定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるか前記Ｒ−Ｇ−Ｂ映像であるかを把握し、前記入力映像の色成分が前記基準色成分であるか否かを把握する段階と、前記入力映像が前記Ｒ−Ｇ−Ｂ映像であり、前記入力映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記第１予測誤差映像に対する動き予測を行って第２予測誤差映像を算出する段階と、を含む。
【００１１】
前記課題を達成するための本発明によるビデオ復号化装置は、符号化映像に所定の演算を行って前記符号化映像から復元された第１予測誤差映像を算出する第１復元部と、前記符号化映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかを把握し、前記符号化映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する映像情報把握部と、前記符号化映像が前記Ｒ−Ｇ−Ｂ映像であり、前記符号化映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記符号化映像から復元された第２予測誤差映像を算出する第２復元部と、前記第１予測誤差映像および第２予測誤差映像に基づいて復元された前記符号化映像に対する復号化映像のブロック効果を減少させるデブロッキングフィルタと、を含む。
【００１２】
前記課題を達成するための本発明によるビデオ復号化方法は、符号化映像に所定の演算を行って前記符号化映像から復元された第１予測誤差映像を算出する段階と、前記符号化映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかを把握し、前記符号化映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する段階と、前記符号化映像が前記Ｒ−Ｇ−Ｂ映像であり、前記符号化映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記符号化映像から復元された第２予測誤差映像を算出する段階と、前記第１予測誤差映像及び第２予測誤差映像に基づいて復元された前記符号化映像に対する復号化映像のブロック効果を減少させる段階と、を含む。
【００１３】
前記課題を達成するための本発明によるビデオ符号化／復号化装置用の動き補償装置は、入力映像の色情報を把握する映像情報把握部と、前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択するフィルタタップ選択部と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、前記補間結果に対して動き補償を行う動き補償部と、を含む。
【００１４】
前記課題を達成するための本発明によるビデオ符号化／復号化用の動き補償方法は、入力映像の色情報を把握する段階と、前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択する段階と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する段階と、前記補間結果に対して動き補償を行う段階と、を含む。
【００１５】
前記課題を達成するための本発明によるビデオ符号化／復号化装置用の動き補償装置の他の実施形態は、入力映像の解像度及び色情報を把握する映像情報把握部と、前記入力映像の解像度及び前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択するフィルタタップ選択部と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、前記補間結果に対して動き補償を行う動き補償部と、を含む。
【００１６】
前記課題を達成するための本発明によるビデオ符号化／復号化用の動き補償方法の他の実施形態は、入力映像の解像度及び色情報を把握する段階と、前記入力映像の解像度及び前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択する段階と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、前記補間結果に対して動き補償を行う段階と、を含む。
【００１７】
前記課題を達成するための本発明によるデブロッキングフィルタ装置は、復号化対象映像の色情報を把握する映像情報把握部と、前記色情報に基づいて前記復号化対象映像のブロック効果を減少させるデブロッキングフィルタの長さを選択するデブロッキングフィルタ選択部と、前記選択された長さのデブロッキングフィルタを利用して前記復号化対象映像をフィルタリングするフィルタリング部と、を含む。
【００１８】
前記課題を達成するための本発明によるデブロッキングフィルタ選択方法は、復号化対象映像の色情報を把握する段階と、前記色情報に基づいて前記復号化対象映像のブロック効果を減少させるデブロッキングフィルタの長さを選択する段階と、前記選択された長さのデブロッキングフィルタを利用して前記復号化対象映像をフィルタリングする段階と、を含む。
【００１９】
本発明は、上述のような形態により、色情報及び解像度特性による最適の符号化／復号化を行う。
【発明の効果】
【００２０】
本発明は、入力映像の色成分特性と解像度特性とを考慮して、ビデオデータを効率的に符号化及び復号化できる。Ｒ−Ｇ−Ｂ映像の場合は、特に、インタープレーン予測を使用して符号化効率を改善する。本発明は、Ｒ−Ｇ−Ｂ映像を直接符号化する場合、高品質の映像情報が必要なデジタル映画及びデジタルアーカイブなどの応用に適している。
【００２１】
また、本発明は、符号化及び復号化のプロセスにおける動き補償とデブロッキングフィルタの方法で、色成分の特性及び映像解像度特性を利用した。フィルタリング過程を経て映像品質を改善するこれら方法を、映像の特性に適合するように構成することにより、符号化効率を改善する。したがって、Ｙ−Ｃｂ−Ｃｒ映像だけではなく、Ｒ−Ｇ−Ｂ映像に対しても、それぞれの特性に適する符号化及び復号化が可能である。
【図面の簡単な説明】
【００２２】
【図１Ａ】本発明によるビデオ符号化装置の一実施例の構成を示すブロック図である。
【図１Ｂ】本発明によるビデオ符号化装置の一実施例の構成を示すブロック図である。
【図２】本発明によるビデオ符号化方法の一実施例を示すフローチャートである。
【図３Ａ】本発明によるビデオ復号化装置の一実施例の構成を示すブロック図である。
【図３Ｂ】本発明によるビデオ復号化方法の一実施例を示すフローチャートである。
【図４】映像の色情報による動き補償装置の一実施例の構成を示すブロック図である。
【図５】映像の色情報による動き補償方法の一実施例を示すフローチャートである。
【図６】映像の色情報及び解像度情報による動き補償装置の一実施例の構成を示すブロック図である。
【図７】映像の色情報及び解像度情報による動き補償方法の一実施例を示すフローチャートである。
【図８】長いフィルタタップを利用した補間方法を示す図面である。
【図９】短いフィルタタップを利用した補間方法を示す図面である。
【図１０】映像の色情報によるデブロッキングフィルタの構成を示すブロック図である。
【図１１】映像の色情報によるデブロッキングフィルタ選択方法の一実施例を示すフローチャートである。
【図１２Ａ】デブロッキングフィルタが適用されるマクロブロックの垂直／水平境界を示す図面である。
【図１２Ｂ】デブロッキングフィルタが適用されるマクロブロックの垂直／水平境界を示す図面である。
【図１３Ａ】４×４ブロックの垂直／水平境界の映像サンプルを示す図面である。
【図１３Ｂ】４×４ブロックの垂直／水平境界の映像サンプルを示す図面である。
【図１４Ａ】本発明によるインタープレーン予測符号化実施例の結果を示す図面である。
【図１４Ｂ】本発明によるインタープレーン予測符号化実施例の結果を示す図面である。
【図１５Ａ】本発明による動き補償装置を利用した符号化実施例の結果を示す図面である。
【図１５Ｂ】本発明による動き補償装置を利用した符号化実施例の結果を示す図面である。
【発明を実施するための形態】
【００２３】
以下、添付された図面を参照して本発明によるビデオ符号化／復号化装置とその方法、動き補償装置とその方法及びデブロッキングフィルタ装置とその方法について詳細に説明する。
【００２４】
図１Ａは、本発明によるビデオ符号化装置の一実施例の構成を示す図面である。
【００２５】
図１Ａに示すように、本発明によるビデオ符号化装置は、第１動き予測部１００と、映像情報把握部１１０と、第２動き予測部１２０と、符号化部１３０とにより構成される。第１動き予測部１００は、インタープレーン予測部１０１と、イントラプレーン予測部１０４と、予測誤差算出部１０７とにより構成される。
【００２６】
第１動き予測部１００のインタープレーン予測部１０１及びイントラプレーン予測部１０４は、それぞれ入力映像に対して時／空間的に隣接した映像に基づいて動き予測を行う。インタープレーン予測部１０１は、入力映像と時間的に隣接した先行復元映像を利用して動き予測を行い、イントラプレーン予測部１０４は、空間的に隣接した入力映像の符号化単位ブロックを利用して動き予測を行う。一般に、最初の入力映像に対しては先行する復元映像がないので、イントラプレーン予測部１０４が動き予測を行い、以後の入力映像に対してはインタープレーン予測部１０１が動き予測を行う。予測誤差算出部１０７は、インタープレーン予測部１０１又はイントラプレーン予測部１０４の動き予測結果と入力映像との差を利用して第１予測誤差映像を算出する。
【００２７】
また、第１動き予測部１００は、入力映像の色情報及び解像度情報によって動き補償のために使用するフィルタタップの長さを異にする。これについては、その詳細を、図４乃至図９を参照して後述する。
【００２８】
映像情報把握部１１０は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握する。また、映像情報把握部１１０は、入力映像の色成分を把握する。すなわち、映像情報把握部１１０は、入力映像の色成分がＲ−Ｇ−Ｂ映像のＲ成分、Ｇ成分、Ｂ成分であるか、又はＹ−Ｃｂ−Ｃｒ映像のＹ成分（Ｌｕｍａ）、Ｃｂ成分、Ｃｒ成分（Ｃｈｒｏｍａ）であるかを把握する。そして、映像情報把握部１１０は、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を本発明によるイントラプレーン予測のための基準色成分と設定する。基準色成分は、Ｒ、Ｇ、Ｂ成分のうち何れか一つの成分が任意に設定され、以下ではＧ成分を基準色成分に設定したものと仮定する。
【００２９】
第２動き予測部１２０は、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分以外の色成分であれば、基準色成分に基づいて、第１動き予測部１００から出力される第１予測誤差映像に対して、動き予測を行って第２予測誤差映像を算出する。第２動き予測部１２０で使われる基準色成分は、現在の入力映像の前に入力されて符号化された後に再び復号化された値である。具体的には、第２動き予測部１２０は、符号化され且つ復号化された基準色成分の予測誤差映像に基づいて動き予測を行う。
【００３０】
例えば、基準色成分がＧ成分であり、入力映像の色成分がＢ成分である場合、第１動き予測部１００は、入力映像の動き予測結果に基づいてＢ成分及びＧ成分に対する第１予測誤差を算出する。そして、映像情報把握部１１０は、入力映像がＲ−Ｇ−Ｂ映像であり、入力映像の色成分が基準色成分（Ｇ成分）以外の成分（Ｂ成分）であることを把握する。第２動き予測部１２０は、符号化された後に再び復号化された基準色成分（Ｇ成分）の第１符号化予測誤差映像に基づいて、入力映像（Ｂ成分）の第１予測誤差映像に対するインタープレーン予測を行って第２予測誤差映像を算出する。すなわち、Ｂ成分の入力映像は、第１動き予測部１００及び第２動き予測部１２０によって二回の予測過程を経る。
【００３１】
符号化部１３０は、第１動き予測部１００による第１予測誤差映像及び第２動き予測部１１０による第２予測誤差映像を符号化してビットストリームを生成する。具体的には、符号化部１３０は、予測誤差映像を離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）１３２又は離散整数変換１３２して、変換された値を量子化１３４及びエントロピー符号化１３６して符号化映像（ビットストリーム）を生成する。
【００３２】
Ｙ−Ｃｂ−Ｃｒ映像は、Ｒ−Ｇ−Ｂ映像から色座標空間変換方式によって変換されるので、Ｙ−Ｃｂ−Ｃｒ映像とＲ−Ｇ−Ｂ映像とは符号化側面で相異なる特性を有する。すなわち、Ｙ−Ｃｂ−Ｃｒ映像のＹ、Ｃｂ、Ｃｒ成分は、空間上同じ位置の各成分間に相関関係がほとんどないが、一方で、Ｒ−Ｇ−Ｂ映像は、各成分間に相関関係が残っている。したがって、本発明によるビデオ符号化装置は、入力映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかによって、符号化する時に使用する予測方法を異にする。
【００３３】
結局、本発明によるビデオ符号化装置は、Ｒ−Ｇ−Ｂ映像の色成分のうち何れか一つを基準色成分と設定し、設定された基準色成分は、従来の符号化方法で符号化する。そして、ビデオ符号化装置は、Ｒ−Ｇ−Ｂ映像の基準色成分以外の残りの２つの色成分を、空間上隣接した画素又は時間上隣接した画素を利用して予測した後、予測された結果を基準色成分に基づいて再び予測する。
【００３４】
図１Ｂは、本発明によるビデオ符号化装置の一実施例の構成を示す図面である。
【００３５】
図１Ｂに示すように、本発明によるビデオ符号化装置は、第１動き予測部１００と、映像情報把握部１１０と、第２動き予測部１２０と、符号化部１３０と、第１復元部１４０と、第２復元部１５０と、デブロッキングフィルタ１６０とにより構成される。また、第１動き予測部１００は、インタープレーン予測部１０１と、イントラプレーン予測部１０４と、予測誤差算出部１０７とにより構成される。
【００３６】
入力映像Ｆ（ｎ）１７０は、Ｙ−Ｃｂ−Ｃｒ映像又はＲ−Ｇ−Ｂ映像である。本発明によるビデオ符号化装置において、入力映像１７０は、ブロック単位で処理される。第１動き予測部１００は、インタープレーン予測部１０１とイントラプレーン予測部１０４とにより構成される。インタープレーン予測部１０１は、動き予測部（Motion Estimation unit：ＭＥ）１０２及び動き補償部（Motion Compensation unit：ＭＣ）１０３を含み、符号化効率を高めるために、以前の復元映像Ｆr（ｎ−１）
１７２に基づいて動きを推定し且つ予測する。イントラプレーン予測部１０４は、空間推定部（Spatial Estimation unit：ＳＥ）１０５及び空間予測部（Spatial
Prediction unit：ＳＰ）１０６を含み、空間的に隣接しているブロックに基づいて動きを推定し且つ予測する。
【００３７】
Ｙ−Ｃｂ−Ｃｒ（或いはＹ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像のそれぞれの色成分によって、動き補償に使用する補間方法（interpolation）は異なる。まず、予測誤差算出部１０７は、入力映像１７０と、インタープレーン予測部１０１又はイントラプレーン予測部１０４の動き予測結果と、に基づいて符号化予測誤差映像ΔＦ（ｎ）を得る。もし、入力映像１７０がＹ−Ｃｂ−Ｃｒ映像であれば、予測誤差算出部１０７は、ΔＦ（ｎ）から予測誤差ΔＹ（ｎ）、ΔＵ（ｎ）、ΔＶ（ｎ）を得る。一方、入力映像１７０がＲ−Ｇ−Ｂ映像であれば、予測誤差算出部１０７は、ΔＦ（ｎ）から予測誤差ΔＲ（ｎ）、ΔＧ（ｎ）、ΔＢ（ｎ）を得る。
【００３８】
符号化部１３０は、Ｙ−Ｃｂ−Ｃｒ映像のΔＹ（ｎ）、ΔＵ（ｎ）、ΔＶ（ｎ）と、Ｒ−Ｇ−Ｂ映像のΔＧ（ｎ）とを、ＤＣＴ（又は、離散整数変換）１３２、量子化１３４、エントロピー符号化１３６を経て圧縮する。
【００３９】
入力映像１７０がＲ−Ｇ−Ｂ映像であれば、第２動き予測部１２０の誤差予測部（Residue Prediction unit：ＲＰ）１２２は、Ｒ成分及びＢ成分の予測誤差映像ΔＢ（ｎ）及びΔＲ（ｎ）を、復元されたＧ成分の予測誤差映像ΔＧr（ｎ）を利用してインタープレーン予測する。そして、符号化部１３０は、インタープレーン予測によって得た予測誤差映像ΔＢ′（ｎ）及びΔＲ′（ｎ）を、ＤＣＴ（又は、離散整数変換）１３２、量子化１３４、エントロピー符号化１３６を経て圧縮する。ＤＣＴは、ＩＳＯ／ＩＥＣのＭＰＥＧ−４パート２標準化技術であり、離散整数変換は、ＩＳＯ／ＩＥＣのＭＰＥＧ及びＩＴＵ−ＴのＶＣＥＧによる共同ビデオチームが策定したＡＶＣ／Ｈ.２６４標準化技術である。
【００４０】
第１復元部１４０は、符号化部１３０が変換１３２及び量子化１３４した復元対象映像を、空間的に近接したブロック或いは時間的に後で入力される映像を利用した予測で使用できるように、逆量子化１４４し、逆ＤＣＴ（ＩＤＣＴ：Inverse DCT）（又は、逆離散整数変換）１４２を行って、当該映像のそれぞれの色成分に対する予測誤差映像を生成する。
【００４１】
第１復元部１４０は、復元対象映像がＹ−Ｃｂ−Ｃｒ映像であれば、復元された予測誤差映像ΔＹr（ｎ）、ΔＵr（ｎ）、ΔＶr（ｎ）を得る。また、第１復元部１４０は、復元対象映像がＲ−Ｇ−Ｂ映像であれば、復元された予測誤差映像ΔＧr（ｎ）、ΔＢ′r（ｎ）、ΔＲ′r（ｎ）を得る。ΔＧr（ｎ）は、第２動き予測部１２０によるインタープレーン予測のためにバッファ１２４に保存される。
【００４２】
第２復元部１５０は、復元対象映像の色成分がＲ成分及びＢ成分であれば、Ｇ成分の復元された予測誤差映像ΔＧr（ｎ）を利用してＲ成分及びＢ成分の復元された予測誤差映像ΔＢr（ｎ）及びΔＲr（ｎ）を得る。Ｙ−Ｃｂ−Ｃｒ映像の復元誤差映像ΔＹr（ｎ）、ΔＵr（ｎ）、ΔＶr（ｎ）或いはＲ−Ｇ−Ｂ映像の復元誤差映像ΔＧr（ｎ）、ΔＢr（ｎ）、ΔＲr（ｎ）は、デブロッキングフィルタ１６０の入力Ｆr（ｎ）となる。
【００４３】
デブロッキングフィルタ（ループフィルタ）１６０は、Ｆr（ｎ）と第１動き予測部１００によるインタープレーン予測又はイントラプレーン予測の結果を第２復元部１５０の出力値と加算して求めた復元された映像をフィルタリングすることにより、ブロック効果を低減する。本発明によるデブロッキングフィルタ１６０は、Ｙ−Ｃｂ−Ｃｒ（或いは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像との各成分によってブロックの境界領域で使用するフィルタタップの長さが異なるものを用いる。これについての詳細は、図１０及び図１１を参照して後述する。
【００４４】
図２は、本発明によるビデオ符号化方法の一実施例を示すフローチャートである。
【００４５】
図１Ａ及び図２を参照して、本発明のビデオ符号化方法を説明する。まず、第１動き予測部１００は、入力映像に対して時／空間上予測（インタープレーン予測／イントラプレーン予測）を行う（Ｓ２００）。映像情報把握部１１０は、Ｒ−Ｇ−Ｂ映像の基準色成分としてＧ成分を設定し、入力映像がＲ−Ｇ−Ｂ映像であるか否かを判断する（Ｓ２１０）。もし、入力映像がＲ−Ｇ−Ｂ映像であれば、映像情報把握部１１０は、入力映像の色成分が基準色成分のＧ成分であるか否かを判断する（Ｓ２２０）。もし、入力映像の色成分がＲ成分又はＢ成分であれば、第２動き予測部１２０は、復元されたＧ成分の予測誤差映像を利用して各成分のインタープレーン予測を行う（Ｓ２３０）。言い換えれば、本発明によるビデオ符号化方法は、Ｒ−Ｇ−Ｂ映像の基準色成分以外の成分に対して第１動き予測部１００によって動き予測を行い、基準色成分に基づいて再び動き予測を行う。第１動き予測部１００又は第２動き予測部１２０によって算出された予測誤差映像は、ＤＣＴ或いは離散整数変換、量子化、エントロピー符号化を通じて圧縮される。
【００４６】
Ｒ−Ｇ−Ｂ映像の基準色成分以外の色成分であるＲ成分及びＢ成分に適用されるイントラプレーン予測について、以下その原理を詳細に説明する。まず、空間的に隣接した映像或いは時間的に隣接した映像値を利用して予測した値を入力映像から減算してＧ成分の予測誤差映像ΔＧを得る。この予測誤差映像は、次の数式１の通りである。
【００４７】
【数１】
ここで、ＧｐはＧ成分を空間的に隣接したＧ成分映像或いは時間的に隣接したＧ成分映像を利用して予測した値である。この予測誤差映像が実際にエントロピー符号化される。
【００４８】
Ｙ−Ｃｒ−Ｃｂ成分と違って、Ｇ成分、Ｒ成分、Ｂ成分間には依然として大きな相関度がある。Ｇ成分との類似性を利用するために、まず、Ｒ成分及びＢ成分を、Ｇ成分と同様に、時／空間上の予測にかける。ここで、得た予測誤差映像ΔＲ及びΔＧは、次の通りである。
【００４９】
【数２】
【００５０】
【数３】
ここで、Ｒｐ及びＢｐは、Ｒ成分及びＢ成分を空間的に隣接した映像或いは時間的に隣接した映像を利用して予測したものである。ここで得た予測誤差映像を、符号化された後に再び復号化されたＧ成分の予測誤差映像の線形変換した値で減算してインタープレーン予測されたＲ成分及びＢ成分の予測誤差映像ΔＲ′及びΔＧ′を得る。以上の処理は、次の数式４及び数式５のように表すことができる。
【００５１】
【数４】
【００５２】
【数５】
これらの値は、Ｒ成分及びＢ成分の時／空間上の予測誤差ΔＲ及びΔＢに比べて、符号化するデータの量が少なくなっており、符号化効率が改善されたことがわかる。これは、予測誤差映像ΔＧ、ΔＲ、ΔＢ間の相関度が大きいので、ΔＧとΔＲ及びΔＧとΔＢの関係を線形の関数で表現することで、ΔＲ及びΔＢをΔＧの関数に近似させることができるためである。以下の数式において、ａ及びｂ（数式６、７）は、Ｒ成分の予測誤差をＧ成分の予測誤差を利用して予測するときに近似させた線形関数の傾き及び偏差となり、ｃ及びｄ（数式８、９）は、Ｂ成分の予測誤差をＧ成分の予測誤差を利用して予測するときに近似させた線形関数の傾き及び偏差である。
【００５３】
【数６】
【００５４】
【数７】
【００５５】
【数８】
【００５６】
【数９】
ここで、ｃｏｖ（・）は共分散を表し、Ｅ（・）は値の平均、そして、σ2は分散を表す。
【００５７】
図３Ａは、本発明によるビデオ復号化装置の一実施例の構成を示すブロック図である。
【００５８】
図３Ａに示すように、本発明によるビデオ復号化装置は、第１復元部３００と、映像情報把握部３１０と、第２復元部３２０と、動き推定部３３０と、デブロッキングフィルタ３４０とにより構成される。
【００５９】
本発明によるビデオ復号化装置は、図１Ｂのビデオ符号化装置の過程と反対の過程とを経て圧縮されたビットストリーム（すなわち、符号化映像）から映像を復元する。第１復元部３００は、圧縮されたデータを、エントロピー復号化３０２、逆量子化３０４、逆離散整数変換３０６して、Ｙ−Ｃｂ−Ｃｒ映像の場合、各成分の復元された予測誤差映像ΔＹr（ｎ）、ΔＵr（ｎ）、ΔＶr（ｎ）を得る。一方、第１復元部３００は、圧縮されたビットストリームがＲ−Ｇ−Ｂ映像であれば、復元された予測誤差映像ΔＧr（ｎ）、ΔＢ′r（ｎ）、ΔＲ′r（ｎ）を得る。
【００６０】
映像情報把握部３１０は、圧縮されたビットストリームがＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、圧縮されたビットストリームの色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する。以下の説明では、基準色成分をＧ成分と仮定する。
【００６１】
圧縮されたビットストリームがＹ−Ｃｂ−Ｃｒ映像であるか、又はＲ−Ｇ−Ｂ映像の基準色成分（Ｇ成分）であれば、第１復元部３００によって復元された予測誤差映像が動き推定部３３０の入力に使われる予測誤差映像ΔＦr（ｎ）となる。
【００６２】
第２復元部３２０は、圧縮されたビットストリームがＲ−Ｇ−Ｂ映像のＢ成分又はＲ成分（すなわち、基準色成分以外の成分）であれば、Ｇ成分の予測誤差映像ΔＧr（ｎ）をＲ成分及びＢ成分の予測誤差映像復元のためのインタープレーン予測のために保存する。
【００６３】
一方、第２復元部３２０は、Ｒ成分及びＢ成分の予測誤差映像ΔＢ′r（ｎ）及びΔＲ′r（ｎ）をＧ成分の復元された予測誤差映像ΔＧr（ｎ）を利用して復元した予測誤差映像ΔＢr（ｎ）及びΔＲr（ｎ）を得る。Ｒ成分及びＢ成分の場合、その値（ΔＢr（ｎ）及びΔＲr（ｎ））がΔＦr（ｎ）となる。
【００６４】
第２復元部３２０は、ビットストリームがビデオ符号化装置（図１Ａ、図１Ｂ参照）でインタープレーン予測を利用して符号化された場合には、動き推定部３３０のＭＣ（Motion Comparator）３３２による先行映像Ｆr（ｎ−１）３５０のインタープレーン予測値と第１復元部３００による予測誤差映像とを加算してＲ−Ｇ−Ｂ或いはＹ−Ｃｂ−Ｃｒ映像の各成分の復元された値を得る。一方、第２復元部３２０は、ビットストリームがイントラプレーン予測を利用して符号化された場合には、動き推定部３３０のＳＰ（Spatial
Predictor）３３４によるイントラプレーン予測値と第１復元部３００による予測誤差映像とを加算してＲ−Ｇ−Ｂ或いはＹ−Ｃｂ−Ｃｒ映像の各成分の復元された値を得る。ここで、動き推定部３３０のＭＣ３３２によるインタープレーン予測は、Ｙ−Ｃｂ−Ｃｒ（或いは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像との各成分によって動き補償するときに使用する補間方法を異にする。これについての詳細は、図４乃至図９を参照して後述する。第２復元部３２０によって復元された値は、ブロック効果を低減するデブロッキングフィルタ３４０を経て各色成分の復元映像Ｆr（ｎ）３５２（すなわち、前記ビットストリームとしての符号化映像に対する復号化映像）となる。
【００６５】
デブロッキングフィルタ３４０は、Ｙ−Ｃｂ−Ｃｒ（或いは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像との各成分によって、ブロックの境界領域で使用するフィルタタップの長さを異にする。これについての詳細は、図１０及び図１１を参照して後述する。
【００６６】
図３Ｂは、本発明によるビデオ復号化方法の一実施例を示すフローチャートである。
【００６７】
図３Ａ及び図３Ｂを参照して、本発明によるビデオ復号化方法の一実施例を説明する。まず、第１復元部３００は、ビットストリームから第１予測誤差映像を算出する（Ｓ３５０）。そして、映像情報把握部３１０は、ビットストリームがＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、ビットストリームの色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する（Ｓ３５５）。
【００６８】
第２復元部３２０は、ビットストリームがＲ−Ｇ−Ｂ映像であり、ビットストリームの色成分がＲ−Ｇ−Ｂ映像の基準色（Ｇ）成分以外の成分（Ｒ、Ｂ成分）であれば、第１復元部３００によって算出された第１予測誤差映像を基準色（Ｇ）成分の第１予測誤差映像を利用して予測し、第２予測誤差映像を得る（Ｓ３６０）。
【００６９】
第２復元部３２０は、第１予測誤差映像及び第２予測誤差映像を、動き推定部３３０の先行映像に対する動き予測結果と加算して、復元された映像（前記符号化映像に対する復号化映像）を獲得する（Ｓ３６５）。デブロッキングフィルタ３４０は、復元された映像のブロック効果を減少させ、最終復元された映像Ｆr（ｎ）３５２を得る（Ｓ３７０）。
【００７０】
図４は、本発明による動き補償装置の一実施例の構成を示す図面である。
【００７１】
図４に示すように、本発明による動き補償装置１０３，３３２は、映像情報把握部（図示せず）と、フィルタタップ選択部４００と、長いフィルタタップ補間部４１０と、短いフィルタタップ補間部４２０と、動き補償部（Motion Compensator：ＭＣ）４３０とにより構成される。
【００７２】
Ｒ−Ｇ−Ｂ映像は、Ｒ、Ｇ、Ｂの各成分間の周波数特性が類似しているが、Ｙ−Ｃｂ−Ｃｒ映像は、Ｌｕｍａ成分であるＹ成分とＣｈｒｏｍａ成分であるＣｂ成分及びＣｒ成分との周波数特性が異なる。そして、Ｙ−Ｃｂ−Ｃｒ映像では、一般に、Ｃｈｒｏｍａ成分はＬｕｍａ成分に比べて低周波成分が多く、相関度も大きい。図４は、このような映像の色成分によって異なる方法により先行フレームを利用した動き予測を行う、動き補償装置の構成を示すブロック図である。
【００７３】
映像情報把握部（図示せず）は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する。一般に、Ｒ−Ｇ−Ｂ映像の基準色成分はＧ成分である。
【００７４】
フィルタタップ選択部４００は、映像情報把握部（図示せず）から受信した入力映像の色成分情報４０２に基づき、長いフィルタタップ補間部４１０又は短いフィルタタップ補間部４２０を選択する。すなわち、フィルタタップ選択部４００は、入力映像のそれぞれの色成分に基づいて最適の動き推定のためのフィルタタップを選択する。長いフィルタタップは一般に６タップフィルタであり、短いフィルタタップは２タップフィルタである。
【００７５】
例えば、フィルタタップ選択部４００は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるか、又は入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分以外の成分であれば、６タップフィルタ補間部を選択し、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であれば、２タップフィルタ補間部を選択する。
【００７６】
補間部４１０，４２０は、フィルタタップ選択部４００によって選択されると、動き補償のために入力映像を補間する。このとき、それぞれの補間部４１０，４２０は、先行フレームの動きベクトル４１２に基づいて入力映像を補間する。
【００７７】
例えば、補間部４１０，４２０は、それぞれ、６タップフィルタの補間部４１０と双一次補間する補間部４２０とにより構成することができる。この場合、フィルタタップ選択部４００によって６タップフィルタの補間部４１０が選択されれば、６タップフィルタの補間部４１０は入力映像を補間する。
【００７８】
補間部４１０，４２０によって補間された入力映像は、ＭＣ４３０によって動き補償される。
【００７９】
図５は、本発明による動き補償方法の一実施例を示すフローチャートである。以下、図４の装置構成ブロック図と図５のフローチャートを参照しつつ、入力映像の色成分による動き補償方法について説明する。
【００８０】
図４及び図５に示すように、フィルタタップ選択部４００は、映像情報把握部（図示せず）から受信した色情報に基づいてフィルタタップを選択する（Ｓ５００）。もし、入力映像の色成分がＲ−Ｇ−Ｂ成分であれば（Ｓ５１０）、フィルタタップ選択部４００はＲ−Ｇ−Ｂ映像の各成分に対して同じ補間方法を選択する（Ｓ５２０）。例えば、フィルタタップ選択部４００は、Ｒ−Ｇ−Ｂ各成分のすべてに対して同じように、すなわち、すべてに長いフィルタタップ補間部４１０を選択して適用するか、すべてに短いフィルタタップ補間部４２０を選択して適用する。
【００８１】
入力映像の色成分がＲ−Ｇ−Ｂ成分ではなく、Ｙ−Ｃｂ−Ｃｒ成分であれば、映像情報把握部（図示せず）は、入力映像の色成分がＹ成分（Ｌｕｍａ）であるか否かを判断する（Ｓ５３０）。もし、入力映像の色成分がＬｕｍａ成分であれば、フィルタタップ選択部４００は、入力映像が長いタップのフィルタを通じて補間されるように長いフィルタタップを有する補間部４１０を選択する（Ｓ５４０）。もし、入力映像の色成分がＣｈｒｏｍａ成分（Ｃｂ，Ｃｒ）であれば、フィルタタップ選択部４００は短いフィルタタップ補間部４２０を選択する（Ｓ５５０）。
【００８２】
このようにフィルタタップの長さを入力映像の色成分ごとに異ならしめる理由は、入力映像の色成分に高周波成分が多ければ、周囲に多くの画素を使用する長いフィルタタップ補間方法が高周波成分をよく復元する可能性が大きいためである。一方、低周波成分が多ければ、周囲に少ない画素を使用する短いフィルタタップが、長いフィルタタップと性能において差がなく、複雑度の面ではかえって有利である。
【００８３】
図６は、本発明による動き補償装置の他の実施例の構成を示すブロック図である。
【００８４】
図６に示すように、本発明による動き補償装置１０３，３３２は、映像情報把握部（図示せず）と、フィルタタップ選択部６００と、長いフィルタタップ補間部６１０と、短いフィルタタップ補間部６２０と、動き補償部（Motion Compensator：ＭＣ）６３０とにより構成される。
【００８５】
映像の色成分６０２だけでなく、映像のサイズ或いは解像度情報６０４も周波数特性に影響を及ぼす。図６を参照して、色情報以外に映像の解像度情報に基づき異なる動き補償方法を採用する動き補償装置について説明する。
【００８６】
映像情報把握部（図示せず）は、入力映像の色成分及び解像度情報を把握する。具体的に、映像情報把握部（図示せず）は、入力映像が高解像度であるか低解像度であるかを把握し、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する。
【００８７】
フィルタタップ選択部６００は、映像情報把握部（図示せず）によって把握された入力映像の色情報及び解像度情報によってフィルタタップの長さを選択する。具体的に、フィルタタップ選択部６００は、入力映像が高解像度映像であるか、又は入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＬｕｍａ（Ｙ）成分以外の成分であれば、短いタップのフィルタを選択する。そして、フィルタタップ選択部６００は、入力映像が低解像度映像であるか、入力映像がＲ−Ｇ−Ｂ映像であるか、入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＬｕｍａ（Ｙ）成分であれば、長いタップのフィルタを選択する。一般に、長いフィルタタップは６タップフィルタであり、短いフィルタタップは２タップフィルタである。
【００８８】
補間部６１０，６２０は、長いフィルタタップを使用する補間部６１０及び短いフィルタタップを使用する補間部６２０により構成され、先行フレームの動き情報（Motion Vector：ＭＶ）に相当する映像情報を補間する。
【００８９】
ＭＣ ６３０は、補間部によって補間された入力映像を動き補償する。
【００９０】
図７は、本発明による動き補償方法の他の実施例を示すフローチャートであって、色成分及び解像度情報を利用して動き補償を行う方法を表す。
【００９１】
図６及び図７を参照して色成分及び解像度情報を利用した動き補償方法について説明する。まず、映像情報把握部（図示せず）は、入力映像の映像サイズ情報を入力されて（Ｓ７００）、入力映像が高解像度映像であるか否かを判断する（Ｓ７１０）。本発明で、高解像度はＨＤ（High Definition）解像度である１２８０×７２０映像サイズを基準として、これより大きい映像を意味する。この基準となる値は、適用される環境と応用とによって変わる。
【００９２】
もし、入力映像が高解像度映像であれば、フィルタタップ選択部６００は、短いフィルタタップを使用する補間部を選択する（Ｓ７５０）。これは、高解像度映像の場合、低周波成分が多く含まれていて、敢えて長いフィルタタップを使用しなくてもよいためである。高解像度映像の場合、実際映像の小さな領域を多数の画素で表示するため、画素間の変化程度が小さい。この場合、長いフィルタタップと短いフィルタタップ間にビデオ品質の差が小さいので、複雑度を考慮して、フィルタタップ選択部６００は短いフィルタタップ補間部６２０を選択する。
【００９３】
もし、入力映像が低解像度映像であれば、映像情報把握部（図示せず）は、色情報を入力されて（Ｓ７００）、入力映像がＲ−Ｇ−Ｂ成分であるか否かを判断する（Ｓ７２０）。もし、入力映像の色成分がＲ−Ｇ−Ｂ成分であれば（Ｓ７３０）、フィルタタップ選択部６００は、各成分すべてに対して長いタップのフィルタを使用して補間するように長いフィルタタップ補間部６１０を選択する（Ｓ７４０）。もし、入力映像の色成分がＲ−Ｇ−Ｂ成分ではなく、Ｙ−Ｃｂ−Ｃｒ成分であれば、映像情報把握部（図示せず）は、Ｙ（Ｌｕｍａ）成分であるか否かを判断する（Ｓ７３０）。もし、入力映像の色成分がＬｕｍａ成分であれば、フィルタタップ選択部６００は長いタップのフィルタを選択する（Ｓ７４０）。もし、入力映像の色成分がＣｈｒｏｍａ成分であれば、フィルタタップ選択部６００は短いタップのフィルタを選択する（Ｓ７５０）。
【００９４】
図８は、動き補償のために先行フレームの映像を垂直／水平方向にそれぞれ４倍ずつ補間する場合に、６タップフィルタを使用した例を示す図面である。
【００９５】
６タップフィルタは、ＭＰＥＧ−４のＡＶＣ／Ｈ.２６４で使用する方式である。図８で、先行フレームの画素ＡからＵまで与えられた時、１／４或いは１／２解像度の画素ａからｓを、次のような方式で求める。
【００９６】
まず、垂直或いは水平方向に１／２解像度の位置にあるｂ及びｈは、周囲の６つの画素を利用して、次のように補間する（数式１０、数式１１のｂ１及びｈ１は、それぞれｂ及びｈを求めるための中間結果である）。
【００９７】
【数１０】
【００９８】
【数１１】
【００９９】
【数１２】
【０１００】
【数１３】
ここで、Ｃｌｉｐ１（ｘ）は、ｘを映像画素のビット範囲内へ切断（クリップ）することを意味する。もし、８ビット映像であれば、Ｃｌｉｐ１（ｘ）は、ｘが０より小さければ０とし、２５５より大きければ２５５とし、その他の値であればその値をそのまま維持させる。補間に使用したフィルタタップは、比較的周囲の画素を多く利用した６タップフィルタ（１，−５，２０，２０，−５，１）である。
【０１０１】
垂直及び水平方向に１／２解像度の位置にあるｊ画素は、以前に復元された垂直或いは水平方向の１／２解像度にある周囲の画素を利用して、次の数式１４及び数式１５のように補間する。
【０１０２】
【数１４】
【０１０３】
【数１５】
ここで、周囲画素ｃｃ、ｄｄ、ｈ１、ｍ１、ｅｅ、ｆｆ或いはａａ、ｂｂ、ｂ、ｓ１、ｇｇ、ｈｈは、前記数式１０及び数式１１と同様に、６タップフィルタを使用して補間した中間結果である。
【０１０４】
１／２解像度の最後の値であるｓ及びｍは、前記数式１２及び数式１３によってｓ１及びｍ１から復元される。
【０１０５】
１／４解像度の位置にあるａ、ｃ、ｄ、ｎ、ｆ、ｉ、ｋ、ｑは、二つの垂直或いは水平方向に隣接した画素の平均によって、次のように求める。
【０１０６】
【数１６】
１／４解像度の位置にあるｅ、ｇ、ｐ、ｒは、二つの対角線方向に隣接した画素の平均によって、次のように求める。
【０１０７】
【数１７】
図９は、動き補償するために先行フレームの映像を垂直／水平方向にそれぞれ４倍ずつ補間する時、短いフィルタタップの一例として双一次補間方法を使用した例である。この双一次補間方法は、ＭＰＥＧ−４
ＡＶＣ／Ｈ.２６４で使用する方式である。
【０１０８】
先行フレームの画素Ａ、Ｂ、Ｃ、Ｄで１／４或いは１／２の解像度の画素ａを次のように求める。
【０１０９】
【数１８】
ここで、ｄｘはａがＡ或いはＣから水平方向に離れた距離を１／４解像度で表示した値である。そして、ｄｙはａがＡ或いはＢから垂直方向に離れた距離を１／４解像度で表示した値である。
【０１１０】
図９を参照すれば、双一次補間方法は、図７に示す方法と異なり、使用する周囲の画素が比較的少なく、補間する値と近接した距離の周囲値を用いるものであることがわかる。
【０１１１】
図１０は、本発明による色成分特性を利用したデブロッキングフィルタの一実施例の構成を示すブロック図である。動き補償だけでなく、映像復元後に発生するブロック効果を低減するためのデブロッキングフィルタにも映像の色成分特性を利用する。図１０を参照して、このような映像の色成分によって異なるデブロッキングフィルタ適用方法を採用するデブロッキングフィルタの一実施例について説明する。
【０１１２】
図１０に示すように、デブロッキングフィルタ１６０，３４０は、映像情報把握部（図示せず）と、デブロッキングフィルタ選択部１０００と、フィルタリング部（長いタップのデブロッキングフィルタ１０１０，短いタップのデブロッキングフィルタ１０２０）とにより構成される。
【０１１３】
映像情報把握部（図示せず）は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＬｕｍａ（Ｙ）成分であるか否かを把握する。
【０１１４】
デブロッキングフィルタ選択部１０００は、入力映像の色成分に基づいて相異なる長さのフィルタタップより構成されたデブロッキングフィルタ１０１０，１０２０のうち何れか一つのデブロッキングフィルタを選択する。例えば、デブロッキングフィルタ選択部１０００は、入力映像がＲ−Ｇ−Ｂ映像であるか、又は入力映像の色成分がＹ−Ｇｂ−Ｇr映像のＬｕｍａ（Ｙ）成分であれば、長いタップのデブロッキングフィルタ１０１０を選択する。そして、デブロッキングフィルタ選択部１０００は、入力映像がＹ−Ｃｂ−Ｃｒ映像のＣｈｒｏｍａ（Ｃｂ，Ｃｒ）成分であれば、短いタップのデブロッキングフィルタ１０２０を選択する。
【０１１５】
フィルタリング部１０１０，１０２０はそれぞれ異なる長さのタップのデブロッキングフィルタより構成され、デブロッキングフィルタ選択部１０００によって選択されたデブロッキングフィルタ１０１０，１０２０を利用して入力映像をフィルタリングする。
【０１１６】
フィルタリング部１０１０，１０２０は、ブロック単位の符号化モードと、ＣＢＰ（Coded Block Pattern）と、先行フレームの動き情報（ＭＶ，ＭＣ）のための参照映像番号と、インターレース映像である場合のフィールド情報とによってフィルタリング適用の有無を決定して最終的に映像のブロック効果を取り除く。
【０１１７】
図１１は、入力映像の色成分によってデブロッキングフィルタタップを選択する方法を示すフローチャートである。
【０１１８】
図１０及び図１１を参照して説明すれば、デブロッキングフィルタ選択部１０００は、映像情報把握部（図示せず）から色情報を入力されて（Ｓ１１００）、入力映像の色成分がＲ−Ｇ−Ｂ成分であるか否かを判断する（Ｓ１１１０）。もし、入力映像がＲ−Ｇ−Ｂ成分であれば、デブロッキングフィルタ選択部１０００は、各成分に対して同じ方式のフィルタタップ係数を選択する（Ｓ１１３０）。一般に、長いタップのフィルタを選択する。もし、Ｒ−Ｇ−Ｂ成分ではなく、Ｙ−Ｃｂ−Ｃｒ（Ｙ−Ｕ−Ｖ）成分であれば、映像情報把握部（図示せず）は、入力映像の色成分がＹ成分（Ｌｕｍａ）であるか否かを判断する（Ｓ１１２０）。もし、入力映像の色成分がＬｕｍａ（Ｙ）成分であれば、デブロッキングフィルタ選択部１０００は長いフィルタタップ１０１０を選択する（Ｓ１１４０）。もし、Ｃｈｒｏｍａ成分であれば、フィルタタップ選択部１０００は短いフィルタタップ１０２０を選択する（Ｓ１１５０）。
【０１１９】
図１２は、１６×１６マクロブロック内でブロック効果を減らすためにデブロッキングフィルタが適用される垂直／水平方向の境界を示す図面である。
【０１２０】
マクロブロック内で１６個の４×４ブロックに分けられ、それぞれ符号化されるので、ブロック効果は、この４×４ブロック境界から発生する。図１２Ａに示すように、まず、垂直境界１２０１，１２０２，１２０３，１２０４に対してデブロッキングフィルタが適用される。次いで、図１２Ｂに示すように、水平境界１２０５，１２０６，１２０７，１２０８に対してデブロッキングフィルタが適用される。
【０１２１】
図１３は、４×４ブロックの垂直／水平境界でデブロッキングフィルタに適用する時に利用される係数を表す図面である。
【０１２２】
垂直境界の場合、図１３Ａのように、ｐ０、ｐ１、ｐ２、ｐ３、ｑ０、ｑ１、ｑ２、ｑ３画素値及びフィルタタップを使用してブロック効果を減らすようにｐ０、ｐ１、ｐ２、ｑ０、ｑ１、ｑ２の画素値を変える。図１３Ｂは、水平境界でデブロッキングフィルタに適用される画素を表す。
【０１２３】
４×４ブロックごとに損失の程度が異なるので、フィルタ係数が変わり、フィルタ適用如何も決定しなければならない。このために、図１０のようにブロック単位の符号化モードと、ＣＢＰと、先行フレームの動き情報ＭＶ、ＭＣのための参照映像番号と、インターレース映像である場合のフィールド情報とを利用して既定の臨界値を利用してデブロッキングフィルタ適用如何、フィルタ係数の長さなどを決定する。基本的なフィルタリング方法は、ＭＰＥＧ−４
ＡＶＣ／Ｈ.２６４で使用する方式を使用した。４×４ブロックにフィルタ適用如何を決定するための値ｆｉｌｔｅｒＦｌａｇは、次のように決定される。
【０１２４】
【数１９】
ここで、ｆｉｌｔｅｒＦｌａｇが１である場合にだけデブロッキングフィルタを適用する。αとβとは量子化値が大きくなれば、値が大きくなり、周囲画素の変化量によってデブロッキングフィルタの適用を決定する臨界値である。Ｂｓ（フィルタ強度）は、デブロッキングフィルタを適用する場合、フィルタを通じて何れの画素情報まで値を変化させるかを表す値である。０から４の値を有し、０である場合、フィルタを適用せずに１から４へ行くほどフィルタの係数を長くし、ｐ０、ｐ１、ｐ２、ｐ３、ｑ０、ｑ１、ｑ２、ｑ３のうち多数の画素がブロック効果を減らすようにその値が変わる。また、１から４へ行くほど、大きい値が変わりうる。
【０１２５】
まず、色成分がＲ−Ｇ−Ｂ成分であるか、又はＹ−Ｃｂ−Ｃｒ映像のＹ成分である場合、適用される長いタップ係数フィルタは、次のように数式２０乃至数式２９を使用して定義できる。
【０１２６】
Ｂｓが４以下であれば、境界に最も近接したｐ０及びｑ０は、その値が次のようにｐ′０及びｑ′０に変わる。
【０１２７】
【数２０】
【０１２８】
【数２１】
ここで、Ｃｌｉｐ３（ｍｉｎ，ｍａｘ，ｘ）は、ｘを最小値ｍｉｎと最大値ｍａｘ間に位置させる。Ｃｌｉｐ１（ｘ）は、数式１２でのＣｌｉｐ１（ｘ）と意味が同じである。ｔｃは、画素が所定値以上か以下には値を有しないようにする臨界値である。ここで、Ｂｓが大きければ、ｔｃも大きい値を有するようになって画素の変化程度が大きくなる。
【０１２９】
ｐ１及びｑ１の場合に、フィルタリング如何を決定するために、次の値を定義する。
【０１３０】
【数２２】
ｐ１は、ａｐがβより小さければ、次のようにｐ′１に変わり、そうでなければ、変わらない。
【０１３１】
【数２３】
ｑ１は、ａｑがβより小さければ、次のようにｑ′１に変わり、そうでなければ、変わらない。
【０１３２】
【数２４】
Ｂｓが４であれば、まず、フィルタ係数の長さを決定するためのＴｐ及びＴｑの値を次のように定義する。
【０１３３】
【数２５】
もし、Ｔｐが１であれば、ｐ０、ｐ１、ｐ２は、次のようにフィルタ係数を長くしてｐ′０、ｐ′１、ｐ′２に変わる。
【０１３４】
【数２６】
そうではなく、Ｔｐが０であれば、次のようにｐ０だけがフィルタ係数を短くしてｐ′０に変わる。
【０１３５】
【数２７】
もし、Ｔｑが１であれば、ｑ０、ｑ１、ｑ２は、次のようにフィルタ係数を長くしてｑ′０、ｑ′１、ｑ′２に変わる。
【０１３６】
【数２８】
【０１３７】
そうではなく、Ｔｑが０であれば、次のようにｑ０だけがフィルタ係数を短くしてｐ′０に変わる。
【０１３８】
【数２９】
【０１３９】
Ｙ−Ｃｂ−Ｃｒ映像のうち色成分がＣｂやＣｒであれば、短いタップフィルタ係数を利用して次のように定義できる。まず、Ｂｓが４以下であれば、ｐ０及びｑ０は、数式２１のようにそれぞれｐ′０及びｑ′０となる。Ｒ−Ｇ−Ｂ映像及びＹ成分と違って、ｐ１及びｑ１はその値が変わらない。Ｂｓが４であれば、ｐ０及びｑ０の値だけが数式２７及び数式２９を利用してｐ′０及びｑ′０となる。Ｒ−Ｇ−Ｂ映像及びＹ成分と違って、ｐ１及びｑ１はその値が変わらない。
【０１４０】
図１４は、Ｒ−Ｇ−Ｂ映像が入力映像である場合に、本発明によるインタープレーン予測による結果を示す図面である。言い換えれば、図１４は、本発明でのインタープレーン予測を使用した場合とそうではない場合とに対して比較した結果である。
【０１４１】
使用した入力映像は、１２８０×７２０サイズのＣＲＥＷ映像であり、これに対する結果を４個所のビット率でＰＳＮＲと表示した。図１４Ａは、空間上の予測だけを使用したイントラモードだけを使用したものであって、図１４Ｂは、時／空間上の予測を何れも使用した結果である。図示されたように、同じビット率で３〜４ｄＢ以上の利得が発生することがわかる。
【０１４２】
図１５Ａは、入力映像としてＲ−Ｇ−Ｂ映像を使用した時、動き補償のために６タップフィルタを使用した場合（ＭＣ＿ＬＬ）とＧ成分の場合とは６タップフィルタ、Ｒ−Ｂ成分の場合は双一次フィルタを使用した場合（ＭＣ＿ＬＣ）を６４０×３５２ Ｈａｒｂｏｕｒ映像に対して比較した結果である。
【０１４３】
本発明のＭＣ＿ＬＬ方式が同じビット率でＰＳＮＲ利得が発生することがわかる。
【０１４４】
図１５Ｂは、入力映像としてＹ−Ｃｂ−Ｃｒ映像を使用した時、動き補償のためにＹ成分の場合は６タップフィルタを使用し、Ｃｂ−Ｃｒ成分の場合は双一次を使用した場合（ＭＣ＿ＬＣ）とＹ−Ｃｂ−Ｃｒ何れも６タップフィルタを使用した場合（ＭＣ＿ＬＬ）とを６４０×３５２ Ｈａｒｂｏｕｒ映像に対して比較した結果を表す。図１５Ｂを参照すれば、本発明により、Ｙ−Ｃｂ−Ｃｒそれぞれの成分に対してモード同じビット率でＰＳＮＲが改善されることがわかる。
【０１４５】
本発明はまた、コンピュータ可読記録媒体にコンピュータ可読コードとして具現可能である。コンピュータ可読記録媒体は、コンピュータシステムによって読取られるデータが保存される全ての種類の記録装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）状に具現されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存されかつ実行されうる。
【０１４６】
以上、本発明についてその望ましい実施例を中心に説明した。当業者は、本発明の本質的な特性から外れない範囲で変形された形態に具現できることがわかる。したがって、開示された実施例を限定的な観点ではなく、説明的な観点で考慮しなければならない。本発明の範囲は、特許請求の範囲内にあらわれており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されなくてはならない。
【産業上の利用可能性】
【０１４７】
本発明は、映像を圧縮して保存するビデオレコーダ、ＤＶＤ、カムコーダ、デジタルＴＶなどに適用して映像を効率的に圧縮、復元できる。
【符号の説明】
【０１４８】
１００：第１動き予測部
１０１：インタープレーン予測部
１０２：ＭＥ
１０３：ＭＣ
１０４：イントラプレーン予測部
１０５：ＳＥ
１０６：ＳＰ
１０７：予測誤差算出部
１１０：映像情報把握部
１２０：第２動き予測部
１２２：誤差予測部
１２４：予測誤差映像
１３０：符号化部
１３２：離散コサイン変換（又は離散整数変換）
１３４：量子化
１３６：エントロピー符号化
１４０：第１復元部
１４２：Ｔ-1
１４４：Ｑ-1
１５０：第２復元部
１５２：誤差補償部
１６０：デブロッキングフィルタ
１７０：Ｆ（ｎ）
１７２：Ｆr（ｎ−１）
１７４：Ｆr（ｎ）
１８０：ΔＦn（ｎ）
【技術分野】
【０００１】
本発明は、ビデオ符号化／復号化用の動き補償装置及びその方法に関する。
【背景技術】
【０００２】
従来のビデオ（ビデオ信号）圧縮方法は、圧縮率を高めるために、機器から直接取得できるＲ−Ｇ−Ｂなどの映像形式を圧縮に適したＹ−Ｃｂ−Ｃｒなどの映像形式に変換する。また、従来のビデオ圧縮方法は、圧縮効率を高めるためにＣｂ成分及びＣｒ成分を四分の一のサイズに減らして符号化する。しかし、従来のビデオ圧縮方法は、高品質の映像復元を必要とするアプリケーションに適するものとはいえない。それは、Ｃｂ成分及びＣｒ成分のサブサンプリングによってＣｈｒｏｍａ（Ｃｂ、Ｃｒ）成分にエネルギー損失が発生し、さらにＲ−Ｇ−Ｂ成分をＹ−Ｃｂ−Ｃｒ成分に変換する時に映像の品質損失が発生するためである。このような損失を減らすためには、Ｃｂ成分及びＣｒ成分をＹ成分と同じ解像度で符号化する必要がある。
【０００３】
もし、Ｙ−Ｃｂ−Ｃｒ成分を符号化するとき、さらに良い品質を所望するのであれば、Ｒ−Ｇ−Ｂ成分を直接符号化することにより、Ｙ−Ｃｂ−Ｃｒ成分に変換する時に発生する損失をなくして、映像品質の損失を低減する必要がある。しかし、従来のビデオ圧縮手法は、従来型のＹ−Ｃｂ−Ｃｒ符号化器を利用してＲ−Ｇ−Ｂ成分を符号化するものであり、Ｒ−Ｇ−Ｂカラー成分に存在するＹ−Ｃｂ−Ｃｒ成分とは異なる特性を利用することができない。このような従来の手法として代表的なものが、２つの国際標準化機構であるＩＳＯ／ＩＥＣのＭＰＥＧ及びＩＴＵ−ＴのＶＣＥＧによる、共同ビデオチーム（Joint Video Team）のＡＶＣ／Ｈ.２６４標準化技術である。
【０００４】
しかし、Ｒ−Ｇ−Ｂ成分とＹ−Ｃｂ−Ｃｒ成分では、映像の特性が異なるため、従来のＹ−Ｃｂ−Ｃｒ符号化器でＲ−Ｇ−Ｂ成分を符号化すると、符号化効率が大きく低下する。例えば、Ｙ−Ｃｂ−Ｃｒ映像は、空間上、同じ位置でＹ、Ｃｂ、Ｃｒの各成分間に相関関係がほとんどないが、一方、Ｒ−Ｇ−Ｂ映像は各成分間に相関関係が残っている。
【０００５】
また、Ｒ−Ｇ−Ｂ映像では、Ｒ、Ｇ、Ｂの各成分間の周波数特性が類似しているが、Ｙ−Ｃｂ−Ｃｒ映像では、Ｒ−Ｇ−Ｂ映像から変換する時に行われる処理によって、Ｌｕｍａ成分であるＹ成分とＣｈｒｏｍａ成分であるＣｂ及びＣｒ値とが相異なる周波数特性を有するものとなる。このように、従来のビデオ圧縮方法では、Ｒ−Ｇ−Ｂ映像及びＹ−Ｃｂ−Ｃｒ映像の特性を正確に符号化に反映できなかった。また、従来のビデオ圧縮方法は、符号化する際に、映像のサイズによる周波数特性の変化を考慮するものではなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする技術的課題は、インタープレーン（inter-plane）予測を利用してＲ−Ｇ−Ｂ映像の符号化／復号化効率を高めるビデオ符号化／復号化装置及びその方法を提供することである。
【０００７】
本発明が解決しようとする他の技術的課題は、ビデオ符号化／復号化に際し、色情報及び解像度情報による効率的な動き補償を行う動き補償装置及びその方法を提供することである。
【０００８】
本発明が解決しようとする他の技術的課題は、ビデオ符号化／復号化に際し、色情報及び解像度情報によって効率的にブロック効果（ノイズ／歪）を低減するデブロッキングフィルタ装置及びその方法を提供することである。
【課題を解決するための手段】
【０００９】
前記課題を達成するための本発明によるビデオ符号化装置は、入力映像の第１動き予測結果に基づいて前記入力映像に対する第１予測誤差映像を算出する第１動き予測部と、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分と設定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるか前記Ｒ−Ｇ−Ｂ映像であるかを把握し、前記入力映像の色成分が前記基準色成分であるか否かを把握する映像情報把握部と、前記入力映像が前記Ｒ−Ｇ−Ｂ映像であり、前記入力映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記第１予測誤差映像に対する動き予測を行って第２予測誤差映像を算出する第２動き予測部と、を含む。
【００１０】
前記課題を達成するための本発明によるビデオ符号化方法は、入力映像の第１動き予測結果に基づいて前記入力映像に対する第１予測誤差映像を算出する段階と、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分と設定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるか前記Ｒ−Ｇ−Ｂ映像であるかを把握し、前記入力映像の色成分が前記基準色成分であるか否かを把握する段階と、前記入力映像が前記Ｒ−Ｇ−Ｂ映像であり、前記入力映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記第１予測誤差映像に対する動き予測を行って第２予測誤差映像を算出する段階と、を含む。
【００１１】
前記課題を達成するための本発明によるビデオ復号化装置は、符号化映像に所定の演算を行って前記符号化映像から復元された第１予測誤差映像を算出する第１復元部と、前記符号化映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかを把握し、前記符号化映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する映像情報把握部と、前記符号化映像が前記Ｒ−Ｇ−Ｂ映像であり、前記符号化映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記符号化映像から復元された第２予測誤差映像を算出する第２復元部と、前記第１予測誤差映像および第２予測誤差映像に基づいて復元された前記符号化映像に対する復号化映像のブロック効果を減少させるデブロッキングフィルタと、を含む。
【００１２】
前記課題を達成するための本発明によるビデオ復号化方法は、符号化映像に所定の演算を行って前記符号化映像から復元された第１予測誤差映像を算出する段階と、前記符号化映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかを把握し、前記符号化映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する段階と、前記符号化映像が前記Ｒ−Ｇ−Ｂ映像であり、前記符号化映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記符号化映像から復元された第２予測誤差映像を算出する段階と、前記第１予測誤差映像及び第２予測誤差映像に基づいて復元された前記符号化映像に対する復号化映像のブロック効果を減少させる段階と、を含む。
【００１３】
前記課題を達成するための本発明によるビデオ符号化／復号化装置用の動き補償装置は、入力映像の色情報を把握する映像情報把握部と、前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択するフィルタタップ選択部と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、前記補間結果に対して動き補償を行う動き補償部と、を含む。
【００１４】
前記課題を達成するための本発明によるビデオ符号化／復号化用の動き補償方法は、入力映像の色情報を把握する段階と、前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択する段階と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する段階と、前記補間結果に対して動き補償を行う段階と、を含む。
【００１５】
前記課題を達成するための本発明によるビデオ符号化／復号化装置用の動き補償装置の他の実施形態は、入力映像の解像度及び色情報を把握する映像情報把握部と、前記入力映像の解像度及び前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択するフィルタタップ選択部と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、前記補間結果に対して動き補償を行う動き補償部と、を含む。
【００１６】
前記課題を達成するための本発明によるビデオ符号化／復号化用の動き補償方法の他の実施形態は、入力映像の解像度及び色情報を把握する段階と、前記入力映像の解像度及び前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択する段階と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、前記補間結果に対して動き補償を行う段階と、を含む。
【００１７】
前記課題を達成するための本発明によるデブロッキングフィルタ装置は、復号化対象映像の色情報を把握する映像情報把握部と、前記色情報に基づいて前記復号化対象映像のブロック効果を減少させるデブロッキングフィルタの長さを選択するデブロッキングフィルタ選択部と、前記選択された長さのデブロッキングフィルタを利用して前記復号化対象映像をフィルタリングするフィルタリング部と、を含む。
【００１８】
前記課題を達成するための本発明によるデブロッキングフィルタ選択方法は、復号化対象映像の色情報を把握する段階と、前記色情報に基づいて前記復号化対象映像のブロック効果を減少させるデブロッキングフィルタの長さを選択する段階と、前記選択された長さのデブロッキングフィルタを利用して前記復号化対象映像をフィルタリングする段階と、を含む。
【００１９】
本発明は、上述のような形態により、色情報及び解像度特性による最適の符号化／復号化を行う。
【発明の効果】
【００２０】
本発明は、入力映像の色成分特性と解像度特性とを考慮して、ビデオデータを効率的に符号化及び復号化できる。Ｒ−Ｇ−Ｂ映像の場合は、特に、インタープレーン予測を使用して符号化効率を改善する。本発明は、Ｒ−Ｇ−Ｂ映像を直接符号化する場合、高品質の映像情報が必要なデジタル映画及びデジタルアーカイブなどの応用に適している。
【００２１】
また、本発明は、符号化及び復号化のプロセスにおける動き補償とデブロッキングフィルタの方法で、色成分の特性及び映像解像度特性を利用した。フィルタリング過程を経て映像品質を改善するこれら方法を、映像の特性に適合するように構成することにより、符号化効率を改善する。したがって、Ｙ−Ｃｂ−Ｃｒ映像だけではなく、Ｒ−Ｇ−Ｂ映像に対しても、それぞれの特性に適する符号化及び復号化が可能である。
【図面の簡単な説明】
【００２２】
【図１Ａ】本発明によるビデオ符号化装置の一実施例の構成を示すブロック図である。
【図１Ｂ】本発明によるビデオ符号化装置の一実施例の構成を示すブロック図である。
【図２】本発明によるビデオ符号化方法の一実施例を示すフローチャートである。
【図３Ａ】本発明によるビデオ復号化装置の一実施例の構成を示すブロック図である。
【図３Ｂ】本発明によるビデオ復号化方法の一実施例を示すフローチャートである。
【図４】映像の色情報による動き補償装置の一実施例の構成を示すブロック図である。
【図５】映像の色情報による動き補償方法の一実施例を示すフローチャートである。
【図６】映像の色情報及び解像度情報による動き補償装置の一実施例の構成を示すブロック図である。
【図７】映像の色情報及び解像度情報による動き補償方法の一実施例を示すフローチャートである。
【図８】長いフィルタタップを利用した補間方法を示す図面である。
【図９】短いフィルタタップを利用した補間方法を示す図面である。
【図１０】映像の色情報によるデブロッキングフィルタの構成を示すブロック図である。
【図１１】映像の色情報によるデブロッキングフィルタ選択方法の一実施例を示すフローチャートである。
【図１２Ａ】デブロッキングフィルタが適用されるマクロブロックの垂直／水平境界を示す図面である。
【図１２Ｂ】デブロッキングフィルタが適用されるマクロブロックの垂直／水平境界を示す図面である。
【図１３Ａ】４×４ブロックの垂直／水平境界の映像サンプルを示す図面である。
【図１３Ｂ】４×４ブロックの垂直／水平境界の映像サンプルを示す図面である。
【図１４Ａ】本発明によるインタープレーン予測符号化実施例の結果を示す図面である。
【図１４Ｂ】本発明によるインタープレーン予測符号化実施例の結果を示す図面である。
【図１５Ａ】本発明による動き補償装置を利用した符号化実施例の結果を示す図面である。
【図１５Ｂ】本発明による動き補償装置を利用した符号化実施例の結果を示す図面である。
【発明を実施するための形態】
【００２３】
以下、添付された図面を参照して本発明によるビデオ符号化／復号化装置とその方法、動き補償装置とその方法及びデブロッキングフィルタ装置とその方法について詳細に説明する。
【００２４】
図１Ａは、本発明によるビデオ符号化装置の一実施例の構成を示す図面である。
【００２５】
図１Ａに示すように、本発明によるビデオ符号化装置は、第１動き予測部１００と、映像情報把握部１１０と、第２動き予測部１２０と、符号化部１３０とにより構成される。第１動き予測部１００は、インタープレーン予測部１０１と、イントラプレーン予測部１０４と、予測誤差算出部１０７とにより構成される。
【００２６】
第１動き予測部１００のインタープレーン予測部１０１及びイントラプレーン予測部１０４は、それぞれ入力映像に対して時／空間的に隣接した映像に基づいて動き予測を行う。インタープレーン予測部１０１は、入力映像と時間的に隣接した先行復元映像を利用して動き予測を行い、イントラプレーン予測部１０４は、空間的に隣接した入力映像の符号化単位ブロックを利用して動き予測を行う。一般に、最初の入力映像に対しては先行する復元映像がないので、イントラプレーン予測部１０４が動き予測を行い、以後の入力映像に対してはインタープレーン予測部１０１が動き予測を行う。予測誤差算出部１０７は、インタープレーン予測部１０１又はイントラプレーン予測部１０４の動き予測結果と入力映像との差を利用して第１予測誤差映像を算出する。
【００２７】
また、第１動き予測部１００は、入力映像の色情報及び解像度情報によって動き補償のために使用するフィルタタップの長さを異にする。これについては、その詳細を、図４乃至図９を参照して後述する。
【００２８】
映像情報把握部１１０は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握する。また、映像情報把握部１１０は、入力映像の色成分を把握する。すなわち、映像情報把握部１１０は、入力映像の色成分がＲ−Ｇ−Ｂ映像のＲ成分、Ｇ成分、Ｂ成分であるか、又はＹ−Ｃｂ−Ｃｒ映像のＹ成分（Ｌｕｍａ）、Ｃｂ成分、Ｃｒ成分（Ｃｈｒｏｍａ）であるかを把握する。そして、映像情報把握部１１０は、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を本発明によるイントラプレーン予測のための基準色成分と設定する。基準色成分は、Ｒ、Ｇ、Ｂ成分のうち何れか一つの成分が任意に設定され、以下ではＧ成分を基準色成分に設定したものと仮定する。
【００２９】
第２動き予測部１２０は、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分以外の色成分であれば、基準色成分に基づいて、第１動き予測部１００から出力される第１予測誤差映像に対して、動き予測を行って第２予測誤差映像を算出する。第２動き予測部１２０で使われる基準色成分は、現在の入力映像の前に入力されて符号化された後に再び復号化された値である。具体的には、第２動き予測部１２０は、符号化され且つ復号化された基準色成分の予測誤差映像に基づいて動き予測を行う。
【００３０】
例えば、基準色成分がＧ成分であり、入力映像の色成分がＢ成分である場合、第１動き予測部１００は、入力映像の動き予測結果に基づいてＢ成分及びＧ成分に対する第１予測誤差を算出する。そして、映像情報把握部１１０は、入力映像がＲ−Ｇ−Ｂ映像であり、入力映像の色成分が基準色成分（Ｇ成分）以外の成分（Ｂ成分）であることを把握する。第２動き予測部１２０は、符号化された後に再び復号化された基準色成分（Ｇ成分）の第１符号化予測誤差映像に基づいて、入力映像（Ｂ成分）の第１予測誤差映像に対するインタープレーン予測を行って第２予測誤差映像を算出する。すなわち、Ｂ成分の入力映像は、第１動き予測部１００及び第２動き予測部１２０によって二回の予測過程を経る。
【００３１】
符号化部１３０は、第１動き予測部１００による第１予測誤差映像及び第２動き予測部１１０による第２予測誤差映像を符号化してビットストリームを生成する。具体的には、符号化部１３０は、予測誤差映像を離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）１３２又は離散整数変換１３２して、変換された値を量子化１３４及びエントロピー符号化１３６して符号化映像（ビットストリーム）を生成する。
【００３２】
Ｙ−Ｃｂ−Ｃｒ映像は、Ｒ−Ｇ−Ｂ映像から色座標空間変換方式によって変換されるので、Ｙ−Ｃｂ−Ｃｒ映像とＲ−Ｇ−Ｂ映像とは符号化側面で相異なる特性を有する。すなわち、Ｙ−Ｃｂ−Ｃｒ映像のＹ、Ｃｂ、Ｃｒ成分は、空間上同じ位置の各成分間に相関関係がほとんどないが、一方で、Ｒ−Ｇ−Ｂ映像は、各成分間に相関関係が残っている。したがって、本発明によるビデオ符号化装置は、入力映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかによって、符号化する時に使用する予測方法を異にする。
【００３３】
結局、本発明によるビデオ符号化装置は、Ｒ−Ｇ−Ｂ映像の色成分のうち何れか一つを基準色成分と設定し、設定された基準色成分は、従来の符号化方法で符号化する。そして、ビデオ符号化装置は、Ｒ−Ｇ−Ｂ映像の基準色成分以外の残りの２つの色成分を、空間上隣接した画素又は時間上隣接した画素を利用して予測した後、予測された結果を基準色成分に基づいて再び予測する。
【００３４】
図１Ｂは、本発明によるビデオ符号化装置の一実施例の構成を示す図面である。
【００３５】
図１Ｂに示すように、本発明によるビデオ符号化装置は、第１動き予測部１００と、映像情報把握部１１０と、第２動き予測部１２０と、符号化部１３０と、第１復元部１４０と、第２復元部１５０と、デブロッキングフィルタ１６０とにより構成される。また、第１動き予測部１００は、インタープレーン予測部１０１と、イントラプレーン予測部１０４と、予測誤差算出部１０７とにより構成される。
【００３６】
入力映像Ｆ（ｎ）１７０は、Ｙ−Ｃｂ−Ｃｒ映像又はＲ−Ｇ−Ｂ映像である。本発明によるビデオ符号化装置において、入力映像１７０は、ブロック単位で処理される。第１動き予測部１００は、インタープレーン予測部１０１とイントラプレーン予測部１０４とにより構成される。インタープレーン予測部１０１は、動き予測部（Motion Estimation unit：ＭＥ）１０２及び動き補償部（Motion Compensation unit：ＭＣ）１０３を含み、符号化効率を高めるために、以前の復元映像Ｆr（ｎ−１）
１７２に基づいて動きを推定し且つ予測する。イントラプレーン予測部１０４は、空間推定部（Spatial Estimation unit：ＳＥ）１０５及び空間予測部（Spatial
Prediction unit：ＳＰ）１０６を含み、空間的に隣接しているブロックに基づいて動きを推定し且つ予測する。
【００３７】
Ｙ−Ｃｂ−Ｃｒ（或いはＹ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像のそれぞれの色成分によって、動き補償に使用する補間方法（interpolation）は異なる。まず、予測誤差算出部１０７は、入力映像１７０と、インタープレーン予測部１０１又はイントラプレーン予測部１０４の動き予測結果と、に基づいて符号化予測誤差映像ΔＦ（ｎ）を得る。もし、入力映像１７０がＹ−Ｃｂ−Ｃｒ映像であれば、予測誤差算出部１０７は、ΔＦ（ｎ）から予測誤差ΔＹ（ｎ）、ΔＵ（ｎ）、ΔＶ（ｎ）を得る。一方、入力映像１７０がＲ−Ｇ−Ｂ映像であれば、予測誤差算出部１０７は、ΔＦ（ｎ）から予測誤差ΔＲ（ｎ）、ΔＧ（ｎ）、ΔＢ（ｎ）を得る。
【００３８】
符号化部１３０は、Ｙ−Ｃｂ−Ｃｒ映像のΔＹ（ｎ）、ΔＵ（ｎ）、ΔＶ（ｎ）と、Ｒ−Ｇ−Ｂ映像のΔＧ（ｎ）とを、ＤＣＴ（又は、離散整数変換）１３２、量子化１３４、エントロピー符号化１３６を経て圧縮する。
【００３９】
入力映像１７０がＲ−Ｇ−Ｂ映像であれば、第２動き予測部１２０の誤差予測部（Residue Prediction unit：ＲＰ）１２２は、Ｒ成分及びＢ成分の予測誤差映像ΔＢ（ｎ）及びΔＲ（ｎ）を、復元されたＧ成分の予測誤差映像ΔＧr（ｎ）を利用してインタープレーン予測する。そして、符号化部１３０は、インタープレーン予測によって得た予測誤差映像ΔＢ′（ｎ）及びΔＲ′（ｎ）を、ＤＣＴ（又は、離散整数変換）１３２、量子化１３４、エントロピー符号化１３６を経て圧縮する。ＤＣＴは、ＩＳＯ／ＩＥＣのＭＰＥＧ−４パート２標準化技術であり、離散整数変換は、ＩＳＯ／ＩＥＣのＭＰＥＧ及びＩＴＵ−ＴのＶＣＥＧによる共同ビデオチームが策定したＡＶＣ／Ｈ.２６４標準化技術である。
【００４０】
第１復元部１４０は、符号化部１３０が変換１３２及び量子化１３４した復元対象映像を、空間的に近接したブロック或いは時間的に後で入力される映像を利用した予測で使用できるように、逆量子化１４４し、逆ＤＣＴ（ＩＤＣＴ：Inverse DCT）（又は、逆離散整数変換）１４２を行って、当該映像のそれぞれの色成分に対する予測誤差映像を生成する。
【００４１】
第１復元部１４０は、復元対象映像がＹ−Ｃｂ−Ｃｒ映像であれば、復元された予測誤差映像ΔＹr（ｎ）、ΔＵr（ｎ）、ΔＶr（ｎ）を得る。また、第１復元部１４０は、復元対象映像がＲ−Ｇ−Ｂ映像であれば、復元された予測誤差映像ΔＧr（ｎ）、ΔＢ′r（ｎ）、ΔＲ′r（ｎ）を得る。ΔＧr（ｎ）は、第２動き予測部１２０によるインタープレーン予測のためにバッファ１２４に保存される。
【００４２】
第２復元部１５０は、復元対象映像の色成分がＲ成分及びＢ成分であれば、Ｇ成分の復元された予測誤差映像ΔＧr（ｎ）を利用してＲ成分及びＢ成分の復元された予測誤差映像ΔＢr（ｎ）及びΔＲr（ｎ）を得る。Ｙ−Ｃｂ−Ｃｒ映像の復元誤差映像ΔＹr（ｎ）、ΔＵr（ｎ）、ΔＶr（ｎ）或いはＲ−Ｇ−Ｂ映像の復元誤差映像ΔＧr（ｎ）、ΔＢr（ｎ）、ΔＲr（ｎ）は、デブロッキングフィルタ１６０の入力Ｆr（ｎ）となる。
【００４３】
デブロッキングフィルタ（ループフィルタ）１６０は、Ｆr（ｎ）と第１動き予測部１００によるインタープレーン予測又はイントラプレーン予測の結果を第２復元部１５０の出力値と加算して求めた復元された映像をフィルタリングすることにより、ブロック効果を低減する。本発明によるデブロッキングフィルタ１６０は、Ｙ−Ｃｂ−Ｃｒ（或いは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像との各成分によってブロックの境界領域で使用するフィルタタップの長さが異なるものを用いる。これについての詳細は、図１０及び図１１を参照して後述する。
【００４４】
図２は、本発明によるビデオ符号化方法の一実施例を示すフローチャートである。
【００４５】
図１Ａ及び図２を参照して、本発明のビデオ符号化方法を説明する。まず、第１動き予測部１００は、入力映像に対して時／空間上予測（インタープレーン予測／イントラプレーン予測）を行う（Ｓ２００）。映像情報把握部１１０は、Ｒ−Ｇ−Ｂ映像の基準色成分としてＧ成分を設定し、入力映像がＲ−Ｇ−Ｂ映像であるか否かを判断する（Ｓ２１０）。もし、入力映像がＲ−Ｇ−Ｂ映像であれば、映像情報把握部１１０は、入力映像の色成分が基準色成分のＧ成分であるか否かを判断する（Ｓ２２０）。もし、入力映像の色成分がＲ成分又はＢ成分であれば、第２動き予測部１２０は、復元されたＧ成分の予測誤差映像を利用して各成分のインタープレーン予測を行う（Ｓ２３０）。言い換えれば、本発明によるビデオ符号化方法は、Ｒ−Ｇ−Ｂ映像の基準色成分以外の成分に対して第１動き予測部１００によって動き予測を行い、基準色成分に基づいて再び動き予測を行う。第１動き予測部１００又は第２動き予測部１２０によって算出された予測誤差映像は、ＤＣＴ或いは離散整数変換、量子化、エントロピー符号化を通じて圧縮される。
【００４６】
Ｒ−Ｇ−Ｂ映像の基準色成分以外の色成分であるＲ成分及びＢ成分に適用されるイントラプレーン予測について、以下その原理を詳細に説明する。まず、空間的に隣接した映像或いは時間的に隣接した映像値を利用して予測した値を入力映像から減算してＧ成分の予測誤差映像ΔＧを得る。この予測誤差映像は、次の数式１の通りである。
【００４７】
【数１】
ここで、ＧｐはＧ成分を空間的に隣接したＧ成分映像或いは時間的に隣接したＧ成分映像を利用して予測した値である。この予測誤差映像が実際にエントロピー符号化される。
【００４８】
Ｙ−Ｃｒ−Ｃｂ成分と違って、Ｇ成分、Ｒ成分、Ｂ成分間には依然として大きな相関度がある。Ｇ成分との類似性を利用するために、まず、Ｒ成分及びＢ成分を、Ｇ成分と同様に、時／空間上の予測にかける。ここで、得た予測誤差映像ΔＲ及びΔＧは、次の通りである。
【００４９】
【数２】
【００５０】
【数３】
ここで、Ｒｐ及びＢｐは、Ｒ成分及びＢ成分を空間的に隣接した映像或いは時間的に隣接した映像を利用して予測したものである。ここで得た予測誤差映像を、符号化された後に再び復号化されたＧ成分の予測誤差映像の線形変換した値で減算してインタープレーン予測されたＲ成分及びＢ成分の予測誤差映像ΔＲ′及びΔＧ′を得る。以上の処理は、次の数式４及び数式５のように表すことができる。
【００５１】
【数４】
【００５２】
【数５】
これらの値は、Ｒ成分及びＢ成分の時／空間上の予測誤差ΔＲ及びΔＢに比べて、符号化するデータの量が少なくなっており、符号化効率が改善されたことがわかる。これは、予測誤差映像ΔＧ、ΔＲ、ΔＢ間の相関度が大きいので、ΔＧとΔＲ及びΔＧとΔＢの関係を線形の関数で表現することで、ΔＲ及びΔＢをΔＧの関数に近似させることができるためである。以下の数式において、ａ及びｂ（数式６、７）は、Ｒ成分の予測誤差をＧ成分の予測誤差を利用して予測するときに近似させた線形関数の傾き及び偏差となり、ｃ及びｄ（数式８、９）は、Ｂ成分の予測誤差をＧ成分の予測誤差を利用して予測するときに近似させた線形関数の傾き及び偏差である。
【００５３】
【数６】
【００５４】
【数７】
【００５５】
【数８】
【００５６】
【数９】
ここで、ｃｏｖ（・）は共分散を表し、Ｅ（・）は値の平均、そして、σ2は分散を表す。
【００５７】
図３Ａは、本発明によるビデオ復号化装置の一実施例の構成を示すブロック図である。
【００５８】
図３Ａに示すように、本発明によるビデオ復号化装置は、第１復元部３００と、映像情報把握部３１０と、第２復元部３２０と、動き推定部３３０と、デブロッキングフィルタ３４０とにより構成される。
【００５９】
本発明によるビデオ復号化装置は、図１Ｂのビデオ符号化装置の過程と反対の過程とを経て圧縮されたビットストリーム（すなわち、符号化映像）から映像を復元する。第１復元部３００は、圧縮されたデータを、エントロピー復号化３０２、逆量子化３０４、逆離散整数変換３０６して、Ｙ−Ｃｂ−Ｃｒ映像の場合、各成分の復元された予測誤差映像ΔＹr（ｎ）、ΔＵr（ｎ）、ΔＶr（ｎ）を得る。一方、第１復元部３００は、圧縮されたビットストリームがＲ−Ｇ−Ｂ映像であれば、復元された予測誤差映像ΔＧr（ｎ）、ΔＢ′r（ｎ）、ΔＲ′r（ｎ）を得る。
【００６０】
映像情報把握部３１０は、圧縮されたビットストリームがＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、圧縮されたビットストリームの色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する。以下の説明では、基準色成分をＧ成分と仮定する。
【００６１】
圧縮されたビットストリームがＹ−Ｃｂ−Ｃｒ映像であるか、又はＲ−Ｇ−Ｂ映像の基準色成分（Ｇ成分）であれば、第１復元部３００によって復元された予測誤差映像が動き推定部３３０の入力に使われる予測誤差映像ΔＦr（ｎ）となる。
【００６２】
第２復元部３２０は、圧縮されたビットストリームがＲ−Ｇ−Ｂ映像のＢ成分又はＲ成分（すなわち、基準色成分以外の成分）であれば、Ｇ成分の予測誤差映像ΔＧr（ｎ）をＲ成分及びＢ成分の予測誤差映像復元のためのインタープレーン予測のために保存する。
【００６３】
一方、第２復元部３２０は、Ｒ成分及びＢ成分の予測誤差映像ΔＢ′r（ｎ）及びΔＲ′r（ｎ）をＧ成分の復元された予測誤差映像ΔＧr（ｎ）を利用して復元した予測誤差映像ΔＢr（ｎ）及びΔＲr（ｎ）を得る。Ｒ成分及びＢ成分の場合、その値（ΔＢr（ｎ）及びΔＲr（ｎ））がΔＦr（ｎ）となる。
【００６４】
第２復元部３２０は、ビットストリームがビデオ符号化装置（図１Ａ、図１Ｂ参照）でインタープレーン予測を利用して符号化された場合には、動き推定部３３０のＭＣ（Motion Comparator）３３２による先行映像Ｆr（ｎ−１）３５０のインタープレーン予測値と第１復元部３００による予測誤差映像とを加算してＲ−Ｇ−Ｂ或いはＹ−Ｃｂ−Ｃｒ映像の各成分の復元された値を得る。一方、第２復元部３２０は、ビットストリームがイントラプレーン予測を利用して符号化された場合には、動き推定部３３０のＳＰ（Spatial
Predictor）３３４によるイントラプレーン予測値と第１復元部３００による予測誤差映像とを加算してＲ−Ｇ−Ｂ或いはＹ−Ｃｂ−Ｃｒ映像の各成分の復元された値を得る。ここで、動き推定部３３０のＭＣ３３２によるインタープレーン予測は、Ｙ−Ｃｂ−Ｃｒ（或いは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像との各成分によって動き補償するときに使用する補間方法を異にする。これについての詳細は、図４乃至図９を参照して後述する。第２復元部３２０によって復元された値は、ブロック効果を低減するデブロッキングフィルタ３４０を経て各色成分の復元映像Ｆr（ｎ）３５２（すなわち、前記ビットストリームとしての符号化映像に対する復号化映像）となる。
【００６５】
デブロッキングフィルタ３４０は、Ｙ−Ｃｂ−Ｃｒ（或いは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像との各成分によって、ブロックの境界領域で使用するフィルタタップの長さを異にする。これについての詳細は、図１０及び図１１を参照して後述する。
【００６６】
図３Ｂは、本発明によるビデオ復号化方法の一実施例を示すフローチャートである。
【００６７】
図３Ａ及び図３Ｂを参照して、本発明によるビデオ復号化方法の一実施例を説明する。まず、第１復元部３００は、ビットストリームから第１予測誤差映像を算出する（Ｓ３５０）。そして、映像情報把握部３１０は、ビットストリームがＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、ビットストリームの色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する（Ｓ３５５）。
【００６８】
第２復元部３２０は、ビットストリームがＲ−Ｇ−Ｂ映像であり、ビットストリームの色成分がＲ−Ｇ−Ｂ映像の基準色（Ｇ）成分以外の成分（Ｒ、Ｂ成分）であれば、第１復元部３００によって算出された第１予測誤差映像を基準色（Ｇ）成分の第１予測誤差映像を利用して予測し、第２予測誤差映像を得る（Ｓ３６０）。
【００６９】
第２復元部３２０は、第１予測誤差映像及び第２予測誤差映像を、動き推定部３３０の先行映像に対する動き予測結果と加算して、復元された映像（前記符号化映像に対する復号化映像）を獲得する（Ｓ３６５）。デブロッキングフィルタ３４０は、復元された映像のブロック効果を減少させ、最終復元された映像Ｆr（ｎ）３５２を得る（Ｓ３７０）。
【００７０】
図４は、本発明による動き補償装置の一実施例の構成を示す図面である。
【００７１】
図４に示すように、本発明による動き補償装置１０３，３３２は、映像情報把握部（図示せず）と、フィルタタップ選択部４００と、長いフィルタタップ補間部４１０と、短いフィルタタップ補間部４２０と、動き補償部（Motion Compensator：ＭＣ）４３０とにより構成される。
【００７２】
Ｒ−Ｇ−Ｂ映像は、Ｒ、Ｇ、Ｂの各成分間の周波数特性が類似しているが、Ｙ−Ｃｂ−Ｃｒ映像は、Ｌｕｍａ成分であるＹ成分とＣｈｒｏｍａ成分であるＣｂ成分及びＣｒ成分との周波数特性が異なる。そして、Ｙ−Ｃｂ−Ｃｒ映像では、一般に、Ｃｈｒｏｍａ成分はＬｕｍａ成分に比べて低周波成分が多く、相関度も大きい。図４は、このような映像の色成分によって異なる方法により先行フレームを利用した動き予測を行う、動き補償装置の構成を示すブロック図である。
【００７３】
映像情報把握部（図示せず）は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する。一般に、Ｒ−Ｇ−Ｂ映像の基準色成分はＧ成分である。
【００７４】
フィルタタップ選択部４００は、映像情報把握部（図示せず）から受信した入力映像の色成分情報４０２に基づき、長いフィルタタップ補間部４１０又は短いフィルタタップ補間部４２０を選択する。すなわち、フィルタタップ選択部４００は、入力映像のそれぞれの色成分に基づいて最適の動き推定のためのフィルタタップを選択する。長いフィルタタップは一般に６タップフィルタであり、短いフィルタタップは２タップフィルタである。
【００７５】
例えば、フィルタタップ選択部４００は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるか、又は入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分以外の成分であれば、６タップフィルタ補間部を選択し、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であれば、２タップフィルタ補間部を選択する。
【００７６】
補間部４１０，４２０は、フィルタタップ選択部４００によって選択されると、動き補償のために入力映像を補間する。このとき、それぞれの補間部４１０，４２０は、先行フレームの動きベクトル４１２に基づいて入力映像を補間する。
【００７７】
例えば、補間部４１０，４２０は、それぞれ、６タップフィルタの補間部４１０と双一次補間する補間部４２０とにより構成することができる。この場合、フィルタタップ選択部４００によって６タップフィルタの補間部４１０が選択されれば、６タップフィルタの補間部４１０は入力映像を補間する。
【００７８】
補間部４１０，４２０によって補間された入力映像は、ＭＣ４３０によって動き補償される。
【００７９】
図５は、本発明による動き補償方法の一実施例を示すフローチャートである。以下、図４の装置構成ブロック図と図５のフローチャートを参照しつつ、入力映像の色成分による動き補償方法について説明する。
【００８０】
図４及び図５に示すように、フィルタタップ選択部４００は、映像情報把握部（図示せず）から受信した色情報に基づいてフィルタタップを選択する（Ｓ５００）。もし、入力映像の色成分がＲ−Ｇ−Ｂ成分であれば（Ｓ５１０）、フィルタタップ選択部４００はＲ−Ｇ−Ｂ映像の各成分に対して同じ補間方法を選択する（Ｓ５２０）。例えば、フィルタタップ選択部４００は、Ｒ−Ｇ−Ｂ各成分のすべてに対して同じように、すなわち、すべてに長いフィルタタップ補間部４１０を選択して適用するか、すべてに短いフィルタタップ補間部４２０を選択して適用する。
【００８１】
入力映像の色成分がＲ−Ｇ−Ｂ成分ではなく、Ｙ−Ｃｂ−Ｃｒ成分であれば、映像情報把握部（図示せず）は、入力映像の色成分がＹ成分（Ｌｕｍａ）であるか否かを判断する（Ｓ５３０）。もし、入力映像の色成分がＬｕｍａ成分であれば、フィルタタップ選択部４００は、入力映像が長いタップのフィルタを通じて補間されるように長いフィルタタップを有する補間部４１０を選択する（Ｓ５４０）。もし、入力映像の色成分がＣｈｒｏｍａ成分（Ｃｂ，Ｃｒ）であれば、フィルタタップ選択部４００は短いフィルタタップ補間部４２０を選択する（Ｓ５５０）。
【００８２】
このようにフィルタタップの長さを入力映像の色成分ごとに異ならしめる理由は、入力映像の色成分に高周波成分が多ければ、周囲に多くの画素を使用する長いフィルタタップ補間方法が高周波成分をよく復元する可能性が大きいためである。一方、低周波成分が多ければ、周囲に少ない画素を使用する短いフィルタタップが、長いフィルタタップと性能において差がなく、複雑度の面ではかえって有利である。
【００８３】
図６は、本発明による動き補償装置の他の実施例の構成を示すブロック図である。
【００８４】
図６に示すように、本発明による動き補償装置１０３，３３２は、映像情報把握部（図示せず）と、フィルタタップ選択部６００と、長いフィルタタップ補間部６１０と、短いフィルタタップ補間部６２０と、動き補償部（Motion Compensator：ＭＣ）６３０とにより構成される。
【００８５】
映像の色成分６０２だけでなく、映像のサイズ或いは解像度情報６０４も周波数特性に影響を及ぼす。図６を参照して、色情報以外に映像の解像度情報に基づき異なる動き補償方法を採用する動き補償装置について説明する。
【００８６】
映像情報把握部（図示せず）は、入力映像の色成分及び解像度情報を把握する。具体的に、映像情報把握部（図示せず）は、入力映像が高解像度であるか低解像度であるかを把握し、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する。
【００８７】
フィルタタップ選択部６００は、映像情報把握部（図示せず）によって把握された入力映像の色情報及び解像度情報によってフィルタタップの長さを選択する。具体的に、フィルタタップ選択部６００は、入力映像が高解像度映像であるか、又は入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＬｕｍａ（Ｙ）成分以外の成分であれば、短いタップのフィルタを選択する。そして、フィルタタップ選択部６００は、入力映像が低解像度映像であるか、入力映像がＲ−Ｇ−Ｂ映像であるか、入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＬｕｍａ（Ｙ）成分であれば、長いタップのフィルタを選択する。一般に、長いフィルタタップは６タップフィルタであり、短いフィルタタップは２タップフィルタである。
【００８８】
補間部６１０，６２０は、長いフィルタタップを使用する補間部６１０及び短いフィルタタップを使用する補間部６２０により構成され、先行フレームの動き情報（Motion Vector：ＭＶ）に相当する映像情報を補間する。
【００８９】
ＭＣ ６３０は、補間部によって補間された入力映像を動き補償する。
【００９０】
図７は、本発明による動き補償方法の他の実施例を示すフローチャートであって、色成分及び解像度情報を利用して動き補償を行う方法を表す。
【００９１】
図６及び図７を参照して色成分及び解像度情報を利用した動き補償方法について説明する。まず、映像情報把握部（図示せず）は、入力映像の映像サイズ情報を入力されて（Ｓ７００）、入力映像が高解像度映像であるか否かを判断する（Ｓ７１０）。本発明で、高解像度はＨＤ（High Definition）解像度である１２８０×７２０映像サイズを基準として、これより大きい映像を意味する。この基準となる値は、適用される環境と応用とによって変わる。
【００９２】
もし、入力映像が高解像度映像であれば、フィルタタップ選択部６００は、短いフィルタタップを使用する補間部を選択する（Ｓ７５０）。これは、高解像度映像の場合、低周波成分が多く含まれていて、敢えて長いフィルタタップを使用しなくてもよいためである。高解像度映像の場合、実際映像の小さな領域を多数の画素で表示するため、画素間の変化程度が小さい。この場合、長いフィルタタップと短いフィルタタップ間にビデオ品質の差が小さいので、複雑度を考慮して、フィルタタップ選択部６００は短いフィルタタップ補間部６２０を選択する。
【００９３】
もし、入力映像が低解像度映像であれば、映像情報把握部（図示せず）は、色情報を入力されて（Ｓ７００）、入力映像がＲ−Ｇ−Ｂ成分であるか否かを判断する（Ｓ７２０）。もし、入力映像の色成分がＲ−Ｇ−Ｂ成分であれば（Ｓ７３０）、フィルタタップ選択部６００は、各成分すべてに対して長いタップのフィルタを使用して補間するように長いフィルタタップ補間部６１０を選択する（Ｓ７４０）。もし、入力映像の色成分がＲ−Ｇ−Ｂ成分ではなく、Ｙ−Ｃｂ−Ｃｒ成分であれば、映像情報把握部（図示せず）は、Ｙ（Ｌｕｍａ）成分であるか否かを判断する（Ｓ７３０）。もし、入力映像の色成分がＬｕｍａ成分であれば、フィルタタップ選択部６００は長いタップのフィルタを選択する（Ｓ７４０）。もし、入力映像の色成分がＣｈｒｏｍａ成分であれば、フィルタタップ選択部６００は短いタップのフィルタを選択する（Ｓ７５０）。
【００９４】
図８は、動き補償のために先行フレームの映像を垂直／水平方向にそれぞれ４倍ずつ補間する場合に、６タップフィルタを使用した例を示す図面である。
【００９５】
６タップフィルタは、ＭＰＥＧ−４のＡＶＣ／Ｈ.２６４で使用する方式である。図８で、先行フレームの画素ＡからＵまで与えられた時、１／４或いは１／２解像度の画素ａからｓを、次のような方式で求める。
【００９６】
まず、垂直或いは水平方向に１／２解像度の位置にあるｂ及びｈは、周囲の６つの画素を利用して、次のように補間する（数式１０、数式１１のｂ１及びｈ１は、それぞれｂ及びｈを求めるための中間結果である）。
【００９７】
【数１０】
【００９８】
【数１１】
【００９９】
【数１２】
【０１００】
【数１３】
ここで、Ｃｌｉｐ１（ｘ）は、ｘを映像画素のビット範囲内へ切断（クリップ）することを意味する。もし、８ビット映像であれば、Ｃｌｉｐ１（ｘ）は、ｘが０より小さければ０とし、２５５より大きければ２５５とし、その他の値であればその値をそのまま維持させる。補間に使用したフィルタタップは、比較的周囲の画素を多く利用した６タップフィルタ（１，−５，２０，２０，−５，１）である。
【０１０１】
垂直及び水平方向に１／２解像度の位置にあるｊ画素は、以前に復元された垂直或いは水平方向の１／２解像度にある周囲の画素を利用して、次の数式１４及び数式１５のように補間する。
【０１０２】
【数１４】
【０１０３】
【数１５】
ここで、周囲画素ｃｃ、ｄｄ、ｈ１、ｍ１、ｅｅ、ｆｆ或いはａａ、ｂｂ、ｂ、ｓ１、ｇｇ、ｈｈは、前記数式１０及び数式１１と同様に、６タップフィルタを使用して補間した中間結果である。
【０１０４】
１／２解像度の最後の値であるｓ及びｍは、前記数式１２及び数式１３によってｓ１及びｍ１から復元される。
【０１０５】
１／４解像度の位置にあるａ、ｃ、ｄ、ｎ、ｆ、ｉ、ｋ、ｑは、二つの垂直或いは水平方向に隣接した画素の平均によって、次のように求める。
【０１０６】
【数１６】
１／４解像度の位置にあるｅ、ｇ、ｐ、ｒは、二つの対角線方向に隣接した画素の平均によって、次のように求める。
【０１０７】
【数１７】
図９は、動き補償するために先行フレームの映像を垂直／水平方向にそれぞれ４倍ずつ補間する時、短いフィルタタップの一例として双一次補間方法を使用した例である。この双一次補間方法は、ＭＰＥＧ−４
ＡＶＣ／Ｈ.２６４で使用する方式である。
【０１０８】
先行フレームの画素Ａ、Ｂ、Ｃ、Ｄで１／４或いは１／２の解像度の画素ａを次のように求める。
【０１０９】
【数１８】
ここで、ｄｘはａがＡ或いはＣから水平方向に離れた距離を１／４解像度で表示した値である。そして、ｄｙはａがＡ或いはＢから垂直方向に離れた距離を１／４解像度で表示した値である。
【０１１０】
図９を参照すれば、双一次補間方法は、図７に示す方法と異なり、使用する周囲の画素が比較的少なく、補間する値と近接した距離の周囲値を用いるものであることがわかる。
【０１１１】
図１０は、本発明による色成分特性を利用したデブロッキングフィルタの一実施例の構成を示すブロック図である。動き補償だけでなく、映像復元後に発生するブロック効果を低減するためのデブロッキングフィルタにも映像の色成分特性を利用する。図１０を参照して、このような映像の色成分によって異なるデブロッキングフィルタ適用方法を採用するデブロッキングフィルタの一実施例について説明する。
【０１１２】
図１０に示すように、デブロッキングフィルタ１６０，３４０は、映像情報把握部（図示せず）と、デブロッキングフィルタ選択部１０００と、フィルタリング部（長いタップのデブロッキングフィルタ１０１０，短いタップのデブロッキングフィルタ１０２０）とにより構成される。
【０１１３】
映像情報把握部（図示せず）は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＬｕｍａ（Ｙ）成分であるか否かを把握する。
【０１１４】
デブロッキングフィルタ選択部１０００は、入力映像の色成分に基づいて相異なる長さのフィルタタップより構成されたデブロッキングフィルタ１０１０，１０２０のうち何れか一つのデブロッキングフィルタを選択する。例えば、デブロッキングフィルタ選択部１０００は、入力映像がＲ−Ｇ−Ｂ映像であるか、又は入力映像の色成分がＹ−Ｇｂ−Ｇr映像のＬｕｍａ（Ｙ）成分であれば、長いタップのデブロッキングフィルタ１０１０を選択する。そして、デブロッキングフィルタ選択部１０００は、入力映像がＹ−Ｃｂ−Ｃｒ映像のＣｈｒｏｍａ（Ｃｂ，Ｃｒ）成分であれば、短いタップのデブロッキングフィルタ１０２０を選択する。
【０１１５】
フィルタリング部１０１０，１０２０はそれぞれ異なる長さのタップのデブロッキングフィルタより構成され、デブロッキングフィルタ選択部１０００によって選択されたデブロッキングフィルタ１０１０，１０２０を利用して入力映像をフィルタリングする。
【０１１６】
フィルタリング部１０１０，１０２０は、ブロック単位の符号化モードと、ＣＢＰ（Coded Block Pattern）と、先行フレームの動き情報（ＭＶ，ＭＣ）のための参照映像番号と、インターレース映像である場合のフィールド情報とによってフィルタリング適用の有無を決定して最終的に映像のブロック効果を取り除く。
【０１１７】
図１１は、入力映像の色成分によってデブロッキングフィルタタップを選択する方法を示すフローチャートである。
【０１１８】
図１０及び図１１を参照して説明すれば、デブロッキングフィルタ選択部１０００は、映像情報把握部（図示せず）から色情報を入力されて（Ｓ１１００）、入力映像の色成分がＲ−Ｇ−Ｂ成分であるか否かを判断する（Ｓ１１１０）。もし、入力映像がＲ−Ｇ−Ｂ成分であれば、デブロッキングフィルタ選択部１０００は、各成分に対して同じ方式のフィルタタップ係数を選択する（Ｓ１１３０）。一般に、長いタップのフィルタを選択する。もし、Ｒ−Ｇ−Ｂ成分ではなく、Ｙ−Ｃｂ−Ｃｒ（Ｙ−Ｕ−Ｖ）成分であれば、映像情報把握部（図示せず）は、入力映像の色成分がＹ成分（Ｌｕｍａ）であるか否かを判断する（Ｓ１１２０）。もし、入力映像の色成分がＬｕｍａ（Ｙ）成分であれば、デブロッキングフィルタ選択部１０００は長いフィルタタップ１０１０を選択する（Ｓ１１４０）。もし、Ｃｈｒｏｍａ成分であれば、フィルタタップ選択部１０００は短いフィルタタップ１０２０を選択する（Ｓ１１５０）。
【０１１９】
図１２は、１６×１６マクロブロック内でブロック効果を減らすためにデブロッキングフィルタが適用される垂直／水平方向の境界を示す図面である。
【０１２０】
マクロブロック内で１６個の４×４ブロックに分けられ、それぞれ符号化されるので、ブロック効果は、この４×４ブロック境界から発生する。図１２Ａに示すように、まず、垂直境界１２０１，１２０２，１２０３，１２０４に対してデブロッキングフィルタが適用される。次いで、図１２Ｂに示すように、水平境界１２０５，１２０６，１２０７，１２０８に対してデブロッキングフィルタが適用される。
【０１２１】
図１３は、４×４ブロックの垂直／水平境界でデブロッキングフィルタに適用する時に利用される係数を表す図面である。
【０１２２】
垂直境界の場合、図１３Ａのように、ｐ０、ｐ１、ｐ２、ｐ３、ｑ０、ｑ１、ｑ２、ｑ３画素値及びフィルタタップを使用してブロック効果を減らすようにｐ０、ｐ１、ｐ２、ｑ０、ｑ１、ｑ２の画素値を変える。図１３Ｂは、水平境界でデブロッキングフィルタに適用される画素を表す。
【０１２３】
４×４ブロックごとに損失の程度が異なるので、フィルタ係数が変わり、フィルタ適用如何も決定しなければならない。このために、図１０のようにブロック単位の符号化モードと、ＣＢＰと、先行フレームの動き情報ＭＶ、ＭＣのための参照映像番号と、インターレース映像である場合のフィールド情報とを利用して既定の臨界値を利用してデブロッキングフィルタ適用如何、フィルタ係数の長さなどを決定する。基本的なフィルタリング方法は、ＭＰＥＧ−４
ＡＶＣ／Ｈ.２６４で使用する方式を使用した。４×４ブロックにフィルタ適用如何を決定するための値ｆｉｌｔｅｒＦｌａｇは、次のように決定される。
【０１２４】
【数１９】
ここで、ｆｉｌｔｅｒＦｌａｇが１である場合にだけデブロッキングフィルタを適用する。αとβとは量子化値が大きくなれば、値が大きくなり、周囲画素の変化量によってデブロッキングフィルタの適用を決定する臨界値である。Ｂｓ（フィルタ強度）は、デブロッキングフィルタを適用する場合、フィルタを通じて何れの画素情報まで値を変化させるかを表す値である。０から４の値を有し、０である場合、フィルタを適用せずに１から４へ行くほどフィルタの係数を長くし、ｐ０、ｐ１、ｐ２、ｐ３、ｑ０、ｑ１、ｑ２、ｑ３のうち多数の画素がブロック効果を減らすようにその値が変わる。また、１から４へ行くほど、大きい値が変わりうる。
【０１２５】
まず、色成分がＲ−Ｇ−Ｂ成分であるか、又はＹ−Ｃｂ−Ｃｒ映像のＹ成分である場合、適用される長いタップ係数フィルタは、次のように数式２０乃至数式２９を使用して定義できる。
【０１２６】
Ｂｓが４以下であれば、境界に最も近接したｐ０及びｑ０は、その値が次のようにｐ′０及びｑ′０に変わる。
【０１２７】
【数２０】
【０１２８】
【数２１】
ここで、Ｃｌｉｐ３（ｍｉｎ，ｍａｘ，ｘ）は、ｘを最小値ｍｉｎと最大値ｍａｘ間に位置させる。Ｃｌｉｐ１（ｘ）は、数式１２でのＣｌｉｐ１（ｘ）と意味が同じである。ｔｃは、画素が所定値以上か以下には値を有しないようにする臨界値である。ここで、Ｂｓが大きければ、ｔｃも大きい値を有するようになって画素の変化程度が大きくなる。
【０１２９】
ｐ１及びｑ１の場合に、フィルタリング如何を決定するために、次の値を定義する。
【０１３０】
【数２２】
ｐ１は、ａｐがβより小さければ、次のようにｐ′１に変わり、そうでなければ、変わらない。
【０１３１】
【数２３】
ｑ１は、ａｑがβより小さければ、次のようにｑ′１に変わり、そうでなければ、変わらない。
【０１３２】
【数２４】
Ｂｓが４であれば、まず、フィルタ係数の長さを決定するためのＴｐ及びＴｑの値を次のように定義する。
【０１３３】
【数２５】
もし、Ｔｐが１であれば、ｐ０、ｐ１、ｐ２は、次のようにフィルタ係数を長くしてｐ′０、ｐ′１、ｐ′２に変わる。
【０１３４】
【数２６】
そうではなく、Ｔｐが０であれば、次のようにｐ０だけがフィルタ係数を短くしてｐ′０に変わる。
【０１３５】
【数２７】
もし、Ｔｑが１であれば、ｑ０、ｑ１、ｑ２は、次のようにフィルタ係数を長くしてｑ′０、ｑ′１、ｑ′２に変わる。
【０１３６】
【数２８】
【０１３７】
そうではなく、Ｔｑが０であれば、次のようにｑ０だけがフィルタ係数を短くしてｐ′０に変わる。
【０１３８】
【数２９】
【０１３９】
Ｙ−Ｃｂ−Ｃｒ映像のうち色成分がＣｂやＣｒであれば、短いタップフィルタ係数を利用して次のように定義できる。まず、Ｂｓが４以下であれば、ｐ０及びｑ０は、数式２１のようにそれぞれｐ′０及びｑ′０となる。Ｒ−Ｇ−Ｂ映像及びＹ成分と違って、ｐ１及びｑ１はその値が変わらない。Ｂｓが４であれば、ｐ０及びｑ０の値だけが数式２７及び数式２９を利用してｐ′０及びｑ′０となる。Ｒ−Ｇ−Ｂ映像及びＹ成分と違って、ｐ１及びｑ１はその値が変わらない。
【０１４０】
図１４は、Ｒ−Ｇ−Ｂ映像が入力映像である場合に、本発明によるインタープレーン予測による結果を示す図面である。言い換えれば、図１４は、本発明でのインタープレーン予測を使用した場合とそうではない場合とに対して比較した結果である。
【０１４１】
使用した入力映像は、１２８０×７２０サイズのＣＲＥＷ映像であり、これに対する結果を４個所のビット率でＰＳＮＲと表示した。図１４Ａは、空間上の予測だけを使用したイントラモードだけを使用したものであって、図１４Ｂは、時／空間上の予測を何れも使用した結果である。図示されたように、同じビット率で３〜４ｄＢ以上の利得が発生することがわかる。
【０１４２】
図１５Ａは、入力映像としてＲ−Ｇ−Ｂ映像を使用した時、動き補償のために６タップフィルタを使用した場合（ＭＣ＿ＬＬ）とＧ成分の場合とは６タップフィルタ、Ｒ−Ｂ成分の場合は双一次フィルタを使用した場合（ＭＣ＿ＬＣ）を６４０×３５２ Ｈａｒｂｏｕｒ映像に対して比較した結果である。
【０１４３】
本発明のＭＣ＿ＬＬ方式が同じビット率でＰＳＮＲ利得が発生することがわかる。
【０１４４】
図１５Ｂは、入力映像としてＹ−Ｃｂ−Ｃｒ映像を使用した時、動き補償のためにＹ成分の場合は６タップフィルタを使用し、Ｃｂ−Ｃｒ成分の場合は双一次を使用した場合（ＭＣ＿ＬＣ）とＹ−Ｃｂ−Ｃｒ何れも６タップフィルタを使用した場合（ＭＣ＿ＬＬ）とを６４０×３５２ Ｈａｒｂｏｕｒ映像に対して比較した結果を表す。図１５Ｂを参照すれば、本発明により、Ｙ−Ｃｂ−Ｃｒそれぞれの成分に対してモード同じビット率でＰＳＮＲが改善されることがわかる。
【０１４５】
本発明はまた、コンピュータ可読記録媒体にコンピュータ可読コードとして具現可能である。コンピュータ可読記録媒体は、コンピュータシステムによって読取られるデータが保存される全ての種類の記録装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）状に具現されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存されかつ実行されうる。
【０１４６】
以上、本発明についてその望ましい実施例を中心に説明した。当業者は、本発明の本質的な特性から外れない範囲で変形された形態に具現できることがわかる。したがって、開示された実施例を限定的な観点ではなく、説明的な観点で考慮しなければならない。本発明の範囲は、特許請求の範囲内にあらわれており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されなくてはならない。
【産業上の利用可能性】
【０１４７】
本発明は、映像を圧縮して保存するビデオレコーダ、ＤＶＤ、カムコーダ、デジタルＴＶなどに適用して映像を効率的に圧縮、復元できる。
【符号の説明】
【０１４８】
１００：第１動き予測部
１０１：インタープレーン予測部
１０２：ＭＥ
１０３：ＭＣ
１０４：イントラプレーン予測部
１０５：ＳＥ
１０６：ＳＰ
１０７：予測誤差算出部
１１０：映像情報把握部
１２０：第２動き予測部
１２２：誤差予測部
１２４：予測誤差映像
１３０：符号化部
１３２：離散コサイン変換（又は離散整数変換）
１３４：量子化
１３６：エントロピー符号化
１４０：第１復元部
１４２：Ｔ-1
１４４：Ｑ-1
１５０：第２復元部
１５２：誤差補償部
１６０：デブロッキングフィルタ
１７０：Ｆ（ｎ）
１７２：Ｆr（ｎ−１）
１７４：Ｆr（ｎ）
１８０：ΔＦn（ｎ）
【特許請求の範囲】
【請求項１】
入力映像の色情報を判定する映像情報判定部と、
前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択するフィルタタップ選択部と、
前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間部と、
前記補間結果に対して動き補償を行う動き補償部と、
を含むことを特徴とするビデオ符号化／復号化装置用の動き補償装置。
【請求項２】
前記映像情報判定部は、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを判定し、前記入力映像の色成分がＹ成分であるか否かを判定する、
請求項１記載のビデオ符号化／復号化装置用の動き補償装置。
【請求項３】
前記フィルタタップ選択部は、前記入力映像がＲ−Ｇ−Ｂ映像であるか、又は前記入力映像の色成分がＹ成分であれば、６タップフィルタを選択し、前記入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＣｂ成分又はＣｒ成分であれば、２タップフィルタを選択する、
請求項１記載のビデオ符号化／復号化装置用の動き補償装置。
【請求項４】
入力映像の色情報を判定する段階と、
前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択する段階と、
前記選択された長さのフィルタタップを利用して前記入力映像を補間する段階と、
前記補間結果に対して動き補償を行う段階と、
を含むことを特徴とするビデオ符号化／復号化用の動き補償方法。
【請求項５】
前記映像情報判定段階は、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを判定し、前記入力映像の色成分がＹ成分であるか否かを判定する段階を含む、
請求項４記載のビデオ符号化／復号化用の動き補償方法。
【請求項６】
前記フィルタタップ選択段階は、前記入力映像がＲ−Ｇ−Ｂ映像であるか、又は前記入力映像の色成分がＹ成分であれば、６タップフィルタを選択し、前記入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＣｂ成分又はＣｒ成分であれば、２タップフィルタを選択する段階を含む、
請求項４記載のビデオ符号化／復号化用の動き補償方法。
【請求項７】
入力映像の解像度及び色情報を判定する映像情報判定部と、
前記入力映像の解像度及び前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択するフィルタタップ選択部と、
前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間部と、
前記補間結果に対して動き補償を行う動き補償部と、
を含むことを特徴とするビデオ符号化／復号化装置用の動き補償装置。
【請求項８】
前記映像情報判定部は、前記入力映像が高解像度映像であるか否かを判定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを判定し、前記入力映像の色成分がＹ成分であるか否かを判定する、
請求項７記載のビデオ符号化／復号化装置用の動き補償装置。
【請求項９】
前記フィルタタップ選択部は、前記入力映像が高解像度であるか、又は前記入力映像の色成分がＹ成分であれば、２タップフィルタを選択し、前記入力映像が低解像度であるか、前記入力映像がＲ−Ｇ−Ｂ映像であるか、前記入力映像の色成分がＣｂ成分又はＣｒ成分であれば、６タップフィルタを選択する、
請求項７記載のビデオ符号化／復号化装置用の動き補償装置。
【請求項１０】
入力映像の解像度及び色情報を判定する段階と、
前記入力映像の解像度及び前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択する段階と、
前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、
前記補間結果に対して動き補償を行う段階と、
を含むことを特徴とするビデオ符号化／復号化装置用の動き補償方法。
【請求項１１】
前記映像情報判定段階は、前記入力映像が高解像度映像であるか否かを判定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを判定し、前記入力映像の色成分がＹ成分であるか否かを判定する段階を含む、
請求項１０記載のビデオ符号化／復号化用の動き補償方法。
【請求項１２】
前記フィルタタップ選択段階は、前記入力映像が高解像度であるか、又は前記入力映像の色成分がＹ成分であれば、２タップフィルタを選択し、前記入力映像が低解像度であるか、前記入力映像がＲ−Ｇ−Ｂ映像であるか、前記入力映像の色成分がＣｂ成分又はＣｒ成分であれば、６タップフィルタを選択する段階を含む、
請求項１０記載のビデオ符号化／復号化用の動き補償方法。
【請求項１３】
請求項４記載の方法をコンピュータで実行可能なプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
入力映像の色情報を判定する映像情報判定部と、
前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択するフィルタタップ選択部と、
前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間部と、
前記補間結果に対して動き補償を行う動き補償部と、
を含むことを特徴とするビデオ符号化／復号化装置用の動き補償装置。
【請求項２】
前記映像情報判定部は、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを判定し、前記入力映像の色成分がＹ成分であるか否かを判定する、
請求項１記載のビデオ符号化／復号化装置用の動き補償装置。
【請求項３】
前記フィルタタップ選択部は、前記入力映像がＲ−Ｇ−Ｂ映像であるか、又は前記入力映像の色成分がＹ成分であれば、６タップフィルタを選択し、前記入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＣｂ成分又はＣｒ成分であれば、２タップフィルタを選択する、
請求項１記載のビデオ符号化／復号化装置用の動き補償装置。
【請求項４】
入力映像の色情報を判定する段階と、
前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択する段階と、
前記選択された長さのフィルタタップを利用して前記入力映像を補間する段階と、
前記補間結果に対して動き補償を行う段階と、
を含むことを特徴とするビデオ符号化／復号化用の動き補償方法。
【請求項５】
前記映像情報判定段階は、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを判定し、前記入力映像の色成分がＹ成分であるか否かを判定する段階を含む、
請求項４記載のビデオ符号化／復号化用の動き補償方法。
【請求項６】
前記フィルタタップ選択段階は、前記入力映像がＲ−Ｇ−Ｂ映像であるか、又は前記入力映像の色成分がＹ成分であれば、６タップフィルタを選択し、前記入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＣｂ成分又はＣｒ成分であれば、２タップフィルタを選択する段階を含む、
請求項４記載のビデオ符号化／復号化用の動き補償方法。
【請求項７】
入力映像の解像度及び色情報を判定する映像情報判定部と、
前記入力映像の解像度及び前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択するフィルタタップ選択部と、
前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間部と、
前記補間結果に対して動き補償を行う動き補償部と、
を含むことを特徴とするビデオ符号化／復号化装置用の動き補償装置。
【請求項８】
前記映像情報判定部は、前記入力映像が高解像度映像であるか否かを判定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを判定し、前記入力映像の色成分がＹ成分であるか否かを判定する、
請求項７記載のビデオ符号化／復号化装置用の動き補償装置。
【請求項９】
前記フィルタタップ選択部は、前記入力映像が高解像度であるか、又は前記入力映像の色成分がＹ成分であれば、２タップフィルタを選択し、前記入力映像が低解像度であるか、前記入力映像がＲ−Ｇ−Ｂ映像であるか、前記入力映像の色成分がＣｂ成分又はＣｒ成分であれば、６タップフィルタを選択する、
請求項７記載のビデオ符号化／復号化装置用の動き補償装置。
【請求項１０】
入力映像の解像度及び色情報を判定する段階と、
前記入力映像の解像度及び前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択する段階と、
前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、
前記補間結果に対して動き補償を行う段階と、
を含むことを特徴とするビデオ符号化／復号化装置用の動き補償方法。
【請求項１１】
前記映像情報判定段階は、前記入力映像が高解像度映像であるか否かを判定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを判定し、前記入力映像の色成分がＹ成分であるか否かを判定する段階を含む、
請求項１０記載のビデオ符号化／復号化用の動き補償方法。
【請求項１２】
前記フィルタタップ選択段階は、前記入力映像が高解像度であるか、又は前記入力映像の色成分がＹ成分であれば、２タップフィルタを選択し、前記入力映像が低解像度であるか、前記入力映像がＲ−Ｇ−Ｂ映像であるか、前記入力映像の色成分がＣｂ成分又はＣｒ成分であれば、６タップフィルタを選択する段階を含む、
請求項１０記載のビデオ符号化／復号化用の動き補償方法。
【請求項１３】
請求項４記載の方法をコンピュータで実行可能なプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１Ａ】
【図１Ｂ】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１Ｂ】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【公開番号】特開２０１１−４５１２８（Ｐ２０１１−４５１２８Ａ）
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２０１０−２３９７４９（Ｐ２０１０−２３９７４９）
【出願日】平成２２年１０月２６日（２０１０．１０．２６）
【分割の表示】特願２００４−２１０２６６（Ｐ２００４−２１０２６６）の分割
【原出願日】平成１６年７月１６日（２００４．７．１６）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】ＳＡＭＳＵＮＧ ＥＬＥＣＴＲＯＮＩＣＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ ４４２−７４２（ＫＲ）
【Ｆターム（参考）】
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願日】平成２２年１０月２６日（２０１０．１０．２６）
【分割の表示】特願２００４−２１０２６６（Ｐ２００４−２１０２６６）の分割
【原出願日】平成１６年７月１６日（２００４．７．１６）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】ＳＡＭＳＵＮＧ ＥＬＥＣＴＲＯＮＩＣＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ ４４２−７４２（ＫＲ）
【Ｆターム（参考）】
[ Back to top ]