量子化効果減少のための映像データ後処理方法
【課題】本発明はブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理方法、装置及びこれを記録した記録媒体に関する。
【解決手段】逆量子化された前記映像データの逆量子化係数の分布及び以前VOPのブロックと現在VOPのブロックの差を示す動きベクトルを利用して、復号化された映像の後処理必要性可否を示すセマフォを検出するセマフォの検出段階と、検出されたセマフォを検査して後処理が必要ということを示すと、前記セマフォに相応する復号化された映像データを所定の方法によりフィルタリングするフィルタリング段階とを含むことを特徴とする。
【解決手段】逆量子化された前記映像データの逆量子化係数の分布及び以前VOPのブロックと現在VOPのブロックの差を示す動きベクトルを利用して、復号化された映像の後処理必要性可否を示すセマフォを検出するセマフォの検出段階と、検出されたセマフォを検査して後処理が必要ということを示すと、前記セマフォに相応する復号化された映像データを所定の方法によりフィルタリングするフィルタリング段階とを含むことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像データ処理に係り、特に量子化効果を減少させるための映像データ後処理方法、装置及びこれを記録した記録媒体に関する。
また本発明はISO/IEC JTC１/SC２９/WG１１ N１９０２(ISO/IEC １４４９６−２ Committee Draft)に採択された。
【背景技術】
【０００２】
一般的に国際標準化機構(ISO)のMPEG及びITU(International Telecommunication Union)のH.２６３を含む大部分の画像符号化標準はブロックに基づいた動き推定及びブロック離散余弦変換(DCT)処理を使用する。また大部分のビデオ符号化標準は情報を少ない数の変換係数でパックキングするために８×８画素ブロックDCTを使用する。このようなブロックに基づいたDCTスキームは映像の局部的な空間相関性質を利用する。
【０００３】
しかし、このようなブロックに基づいて符号化された映像データを復元すると、ブロック境界近くのブロッキングアーチファクト、ブロックのクロスにおけるコーナー異常値及び映像エッジ附近のリンギングノイズのような相当な映像劣化を有する。なぜなら、MPEGは８×８画素ブロックの変換された係数を量子化する。特に、イメージが高圧縮されている時はさらにそうする。
【０００４】
前記ブロックに基づいた符号化は、特に映像が高圧縮される時、よく知られたブロック境界近くのブロッキングアーチファクト、ブロックのクロスポイントにおけるコーナー異常値及び映像エッジ近くのリンギングノイズを誘発させる。
【０００５】
前記ブロッキングアーチファクトは相対的に類似の等質領域のブロック境界に沿って発生するグリッドノイズである。前記グリッドノイズは圧縮されたデータが復元されて画面上にディスプレーされる時、ブロックに基づいて処理した痕跡がブロック間の縁部に現れて、人がブロック間の縁部を分かるようにする。そして前記コーナー異常値は８×８ブロックのコーナーポイントから発生する。また前記リンギングノイズは映像を高圧縮するために、前記離散余弦変換(DCT)の高周波成分の係数を量子化による打切りすることによって発生される典型的なギブズ(Gibb`s)現象であって、映像がややの間隔をおいていくつか重なって現れるように感じる問題を招く。
【０００６】
ブロックに基づいた符号化によって発生される前記ブロッキングアーチファクト、コーナー異常値及びリンギングノイズを減少させるためのいくつの方法が提案されてきた。［Y.L.Lee, H.C.Kim, and H.W.Park, ”Blocking Effect Reduction of JPEG images by Signal Adaptive Filtering”, in press IEEE Trans. on Image Processing, １９９７］［B. Ramamurthi and A.Gersho, ”Nonlinear Space Variant Postprocessing of Block Coded Images”, IEEE Tans on ASSP, vol.３４, no.５, pp１２５８−１２６７, １９８６］［Y.Ynag, N.Galatsanos and A.Katsaggelos, ”Projection−Based Spatially Adaptive Reconstruction of Block−Transform Compressed Images,”IEEE trans. on Image Processing, vol.４, no.７, pp ８９６−９０８, July １９９５］［Z.Xiong, M.T.Orchard, and Y.Q.Zhang, ”A Deblocking Algorithm for JPEG Compressed Images Using Overcomplete Wavelet Representations, ”IEEE Trans. Circuits Syst. Video Technol.,vol.７, no.２, pp ４３３−４３７, １９９７］ その中でJPEG−圧縮解除された映像の 量子化効果を減少させるために２次元信号適応フィルタリング(Signal−Adaptive Filtering: SAF)が提案された。［Y.L.Lee, H.C.Kim, and H.W.Park, ”Blocking Effect Reduction of JPEG images by Signal Adaptive Filtering”, in press IEEE Trans. on Image Processing, １９９７］ そしてブロッキングアーチファクトを減少させるために２次元フィルターを使用し、階段ノイズ減少のためには１次元フィルターを使用したRamamurthi及びGershoの方法［B. Ramamurthi and A.Gersho,”Nonlinear Space Variant Postprocessing of Block Coded Images”, IEEE Tans on ASSP,vol.３４,no.５,pp１２５８−１２６７, １９８６］は良い効果を示したりもした。また、コンベクスセット(convex set)への投影理論を用いる反復的映像復元アルゴリズムも提案された。［Y.Ynag,N.Galatsanos and A.Katsaggelos,”Project−ion−Based Spatially Adaptive Reconstruction of Block−Transform Compressed Images,”IEEE trans. on Image Processing,vol.４,no.７,pp ８９６−９０８,July １９９５］
【０００７】
しかし、このような方法は計算が複雑という短所がある。一方、計算の複雑性を低くめるためにオーバコンプレットウェーブレット(over−complete wavelet)表現を使用する後フィルタリングが提案された。［Z.Xiong, M.T.Orchard, and Y.Q.Zhang, ”A Deblocking Algorithm for JPEG Compressed Images Using Overcomplete Wavelet Representations,”IEEE Trans. Circuits Syst. Video Technol.,vol.７,no.２,pp ４３３−４３７,１９９７］
【０００８】
しかし、この方法はJPEG−圧縮解除された映像にだけ適用された。そして低いビット率符号化のために、３次元サブバンド符号化に適用できる空間−時間適応後フィルタリングが提案されたが、この方法もやはり計算が複雑という短所がある。［T.s.Liu and N.Jayant, ”Adaptive Postprocessing Algorithms for Low Bit Rate Video Signals”, IEEE Trans. on Image Processing, vol.４, no ７, pp.１０３２−１０３５, July １９９５］
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平５−６３９９７号公報
【特許文献２】特開平７−１３１７５７号公報
【特許文献３】特開平８−２０５１７８号公報
【特許文献４】特開平９−１８２０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする技術的課題はMPEG−圧縮解除された映像でブロッキングアーチファクト、コーナー異常値及びリンギングノイズのような量子化効果を減らすために、計算が複雑でないながら低いビット率符号化が可能な映像データ後処理方法、装置及びこれを記録した記録媒体を提供することである。
【課題を解決するための手段】
【００１１】
前記の技術的課題を解決するための本発明による量子化効果減少のための映像データ後処理方法は、ブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理方法において、逆量子化された前記映像データの逆量子化係数の分布及び以前VOP(Video Object Plane)と現在VOPの差を示す動きベクトルを利用して、復号化された映像の後処理必要性可否を示すセマフォを検出するセマフォの検出段階と、前記検出されたセマフォを検査して後処理が必要ということを示すと、前記セマフォに相応する復号化された映像データを所定の方法によりフィルタリングするフィルタリング段階とを含むことが望ましい。
【００１２】
前記セマフォの検出段階のセマフォの検出は前記VOP符号化モードがイントラVOPモードであれば、イントラVOPに対して遂行され、前記VOP符号化モードがインターVOPモードであれば、インターVOPに対して遂行されることを特徴とする。
【００１３】
前記セマフォはブロック境界近くのブロッキングアーチファクトを減少させる必要性可否を示すブロッキングセマフォと、映像エッジ近くのリンギングノイズを減少させる必要性可否を示すリンギングセマフォよりなることを特徴とする。
【００１４】
前記イントラVOPのブロッキングセマフォ及びリンギングセマフォの検出は、前記圧縮されたビットストリームが逆量子化された後の離散余弦変換(DCT)係数の逆量子化係数の分布を調べて検出することが望ましい。
【００１５】
前記イントラVOPのブロッキングセマフォは水平ブロッキングセマフォ(HBS)及び垂直ブロッキングセマフォ(VBS)よりなり、前記イントラVOPの水平及び垂直ブロッキングセマフォの検出は前記圧縮された映像データが逆量子化された後、前記逆量子化された８×８ブロックに対する離散余弦変換係数を求める段階と、前記８×８ブロックを構成する６４個の画素中前記ブロックの一番上及び一番左側に位置した画素を画素Aとし、前記画素Aの直ちに右側の画素を画素B、前記画素Aの直ちに下の画素を画素Cとする時、前記画素Aの係数だけ“０”でない値を有すると、前記水平ブロッキングセマフォ及び垂直ブロッキングセマフォを後処理の必要を示す情報“１”でセットする段階と、前記逆量子化された８×８ブロックの一番上行だけが“０”でない値を有する画素を含んでいる時、垂直ブロッキングセマフォを後処理の必要を示す情報“１”でセットする段階と、前記逆量子化された８×８ブロックの一番左側の列だけが“０”でない値を有する画素を含んでいる時、水平ブロッキングセマフォを後処理の必要を示す情報“１”でセットする段階とを含むことが望ましい。
【００１６】
前記イントラVOPのリンギングセマフォの検出は、前記８×８ブロックを構成する６４個の画素中前記ブロックの一番上及び一番左側に位置した画素を画素Aとし、前記画素Aの直ちに右側の画素を画素B、前記画素Aの直ちに下の画素を画素Cとすると、前記逆量子化された８×８ブロックの画素A、B及びC以外の位置に何れか一つでも“０”でない係数値を有する時、リンギングセマフォを後処理の必要を示す情報“１”でセットすることを特徴とする。
【００１７】
現在インターVOPのブロッキングセマフォは水平ブロッキングセマフォ及び垂直ブロッキングセマフォよりなり、前記現在インターVOPのブロックAcに対する水平及び垂直ブロッキングセマフォの検出は基準VOPが所定の基準ブロックよりなり、前記現在インターVOPのブロックAcの動きベクトル(MVx、MVy)により推定される基準VOPのブロックを動きブロックXとする時、前記動きブロックXが前記基準ブロックと重なった程度を調べる段階と、重なった画素数が所定個数以上の前記基準ブロックの水平及び垂直ブロッキングセマフォをビット単位論理積演算する段階と、前記演算結果を前記現在VOPのブロックAcの水平及び垂直ブロッキングセマフォでセットすることを特徴とする。
【００１８】
前記現在インターVOPのブロックAcに対するリンギングセマフォ(RS)の検出は、インターVOPの８×８ブロックにおける残差信号の逆量子化係数が“０”でないと、現在ブロックAcのRSを“１”でセットする段階と、MPEG−４アルゴリズムが支援する一つのマクロブロックに対する４つの動きベクトルを伝達する８×８予測モードを有するブロックのRSを“１”でセットする段階と、前記RSが相変らず“０”であれば、基準VOPが所定の基準ブロックよりなり、前記現在インターVOPの現在ブロックAcの動きベクトル(MVx、MVy)により推定される基準VOPのブロックを動きブロックXとする時、前記動きブロックXが前記基準ブロックと重なった程度を調べて、重なった画素数が所定個数以上の前記基準ブロックのリンギングセマフォをビット単位論理和して、前記現在VOPのブロックAcのリンギングセマフォでセットする段階よりなることを特徴とする。
【００１９】
前記フィルタリング段階のフィルタリングはブロックI及び前記ブロックIと隣接したブロックJの水平ブロッキングセマフォが“１”でセットされていると、前記ブロックIとブロックJを分ける水平ブロック境界線を介在した所定個数の画素値を変化させる第１フィルタリングと、前記ブロックI及びブロックJ中何れか一つでも水平ブロッキングセマフォが“０”であれば、水平ブロック境界線を介在して隣接した２つの画素の差とH.２６３の量子化された要素のQPを比較して２つの画素の差がQPより小さいと、前記第１フィルタリングより少ない個数の画素値を変化させる第２フィルタリングよりなる。
【００２０】
前記ブロックIとブロックJを分ける水平ブロック境界線を介在した６個の画素をA、B、C、D、E及びFとし、前記画素C及びDを前記水平ブロック境界線に最も隣接した画素、前記画素A及びFが水平ブロック境界線から最も遠い画素、前記画素B及びDが前記A及びC、D及びFの中間に位置した画素とする時、前記第１フィルタリングは前記６個の画素に対して７−タブ(１、１、１、２、１、１、１)低域通過フィルタリングを遂行する。前記第２フィルタリングは前記画素B、C、D及びEに対してフィルタリングを遂行するが、前記画素C及びDの差をdとする時、フィルタリングされた画素C及びDは前記画素C及びDの平均値とし、フィルタリングされた画素B及びEは前記画素B及びE値とd/８が差がある値とすることを特徴とする。
【００２１】
前記フィルタリング段階のフィルタリングは映像データの水平エッジ及び垂直エッジを検出するエッジ検出段階と、リンギングノイズを減少させようとする８×８ブロックに対して２次元信号適応フィルタリングをする信号適応フィルタリング段階よりなることを特徴とする。前記エッジ検出段階の水平エッジ検出は所定の大きさを有するブロック内のある画素を画素［m］［n］、前記画素［m］［n］の右側画素を画素［m］［n＋１］、左側画素を画素［m］［n−１］、前記画素［m］［n］と画素［m］［n＋１］の差をA１、前記画素［m］［n］と画素［m］［n＋１］の差をA２、H.２６３の量子化要素をQPとする時、条件式((A１＞QP) and (A２＞QP)) or (A１＞２QP) or (A２＞２QP)を満足すると、エッジに検出され、エッジ［m］［n］＝１になる。前記エッジ検出段階の垂直エッジ検出は、前記画素［m］［n］の上側画素を画素［m＋１］［n］、下側画素を画素［m−１］［n］、前記画素［m］［n］と画素［m＋１］［n］の差をA’１、前記画素［m］［n］と画素［m−１］［n］の差をA’２、H.２６３の量子化要素をQPとする時、条件式((A’１＞QP) and (A’２＞QP)) or (A’１＞２QP) or (A’２＞２QP)を満足すると、エッジに検出され、エッジ［m］［n］＝１になる。前記信号適応フィルタリング段階は４−コネクテッドフィルターウインドを前記８×８ブロックに対して適用し、前記フィルターウインドの中心画素がエッジであればフィルタリングを遂行しなく、前記フィルターウインドの中心画素がエッジでないと加重フィルタリングを遂行する。
【００２２】
前記の技術的課題を解決するための本発明による映像データ後処理方法は、ブロックに基づいて圧縮符号化された映像データを復号化する時、前記ブロック４つが会うクロスポイントのコーナーから発生するコーナー異常値を減少させるための映像データ後処理方法において、逆量子化された前記映像データの８×８ブロックのコーナー異常値を検出する検出段階と、前記検出されたコーナー異常値を補償する補償段階を含むことを特徴とする。前記検出段階は前記クロスポイントを中心とした４個の画素を画素A、B、C及びDとし、value［０］をA、value［１］をB、value［２］をC、value［３］をDとし、平均値Average＝(A＋B＋C＋D＋２)/４とすると、mを０から始めて１ずつ３まで増加させながらvalue［m］とAverageの差をH.２６３の量子化要素QPと比較して前記差がQPより大きいと、コーナー異常値候補画素の個数を累積してコーナー異常値を検出することを特徴とする。前記補償段階は前記Aが属するブロックで前記Aと隣る画素をA１、A２とし、前記画素Aと対角線に位置する画素をA３とする時、前記検出段階で検出されたコーナー異常値候補が一つでその画素がAであれば、前記画素Aと画素A３の差が３QP/２より小さいと、コーナー異常値補償は次の式
画素Aに対する補償値A’＝(４A＋B＋C＋２D＋４)/８
画素A１に対する補償値A１’は(A’＋３A１＋２)/４
画素A２に対する補償値A２’は(A’＋３A２＋２)/４にようになることを特徴とする。前記コーナー異常値の候補画素数が２つ以上であれば(A３＋B３＋C３＋D３＋２)/４(ここでB３、C３、D３もA３と同じ方式で定義される)より最も大きい差を有する候補が選択され、その補償は前記一つの補償の場合と同じ方法で遂行される。
【００２３】
前記の技術的課題を解決するための本発明による映像データ後処理方法は、ブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理方法において、逆量子化された前記映像データの逆量子化係数の分布及び以前VOPのブロックと現在VOPのブロックの差を示す動きベクトルを利用して、復号化された映像の後処理必要性可否を示すセマフォを検出するセマフォの検出段階と、逆量子化された前記映像データの８×８ブロックのコーナー異常値を検出する検出段階と、前記検出されたセマフォを検査して後処理の必要を示すと、前記セマフォに相応する復号化された映像データを所定の方法によりフィルタリングするフィルタリング段階と、前記検出されたコーナー異常値で補償する補償段階とを含むことが望ましい。
【００２４】
前記の他の技術的課題を解決するための本発明による映像データ後処理装置は、ブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理装置において、逆量子化された前記映像データの逆量子化係数の分布及び以前VOPのブロックと現在VOPのブロックの差を示す動きベクトルを利用して、復号化された映像の後処理必要性可否を示すセマフォを検出するセマフォの検出部と、前記セマフォの検出部から検出されたブロッキングセマフォを検査して、前記復号化された映像データをディブロッキングフィルタリングするディブロッキングフィルターと、前記ディブロッキングフィルタリングされたデータ中コーナー異常値を検出して補償するコーナー異常値補償部と、前記セマフォの検出部から検出されたリンギングセマフォを検査して前記コーナー異常値補償されたデータをディリンギングフィルタリングするディリンギングフィルターとを含むことを特徴とする。
【００２５】
一方、本発明はコンピュータで実行できるプログラムで作成可能である。またコンピュータで用いられる媒体より前記プログラムを動作させる汎用デジタルコンピューターで具現できる。前記媒体はマグネチック貯蔵媒体(例:ROM、フロッピー（登録商標）ディスク、ハードディスク等)、光学的判読媒体(例:CD−ROM、DVD等)及び搬送波(例:インターネットを通じて伝送)のような貯蔵媒体を含む。
【００２６】
例えば、前記貯蔵媒体は、ブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理プログラムを記録した記録媒体において、逆量子化された前記映像データの逆量子化係数の分布及び以前VOPのブロックと現在VOPのブロック差を示す動きベクトルを利用して、復号化された映像の後処理必要性可否を示すセマフォを検出するセマフォの検出段階と、前記検出されたセマフォを検査して後処理が必要と示すと、前記セマフォに相応する復号化された映像データを所定の方法によりフィルタリングするフィルタリング段階とを含むことを特徴とする量子化効果減少のための映像データ後処理方法を実行させるための、コンピュータにより実行されるプログラムを含んでいる。
【発明の効果】
【００２７】
高圧縮された映像データを復元する時、ブロッキングアーチファクト、コーナー異常値及びリンギングノイズのような量子化効果が発生される。本発明による後処理方法はセマフォと適応フィルターを使用することによって量子化効果を減少させる。各ブロックのブロッキング及びリンギングセマフォは後フィルタリングの計算量を減らすのに大きい助けになる。現ブロックに対するブロッキング及びリンギングセマフォを検出するためには、インターVOPの動きベクトルが使われる。
【００２８】
ビデオコーディングで、高品質の映像及びハードウェア及びソフトウェアへの具現の容易性のためには計算の複雑性及びPSNRが考慮されるべきである。ハードウェア複雑性の側面で、本発明による方法は乗算と割算なく並列処理により遂行できる。
【図面の簡単な説明】
【００２９】
【図１】ブロックに基づいて圧縮符号化された映像データを復号化する復号化器と、前記復号化器で映像を復号化する時発生する量子化効果減少のための映像データ後処理装置の構成をブロック図で示すことである。
【図２】MPEG−４の復号化器に対するブロック図及び前記復号化器の逆量子化部で逆量子化された８×８DCT係数ブロックを示すことである。
【図３】インターVOPの８×８ブロック(Ac)と基準VOPにおける隣のブロックとの関係を示すことである。
【図４】インターVOPの水平ブロッキングセマフォ(HBS)、垂直ブロッキングセマフォ(VBS)及びリンギングセマフォ(RS)の検出を説明するための一例を示すことである。
【図５】ブロッキングアーチファクト減少を目的とするディブロッキングフィルターの動作説明のために、ブロック境界とブロック境界の画素位置を示すことである。
【図６】（ａ）は１次元観点のブロッキングアーチファクトの例を示すことであり、（ｂ）は復号化された画素に対して７−タブフィルタリングを遂行した後の結果を示すことであり、（ｃ）は復号化された画素に対して弱フィルタリングを遂行した後の結果を示すことである。
【図７】（ａ）は量子化によってコーナー異常値を生成する映像エッジの例を示すことであり、（ｂ）は量子化によって発生されたコーナー異常値を示すことであり、（ｃ）はコーナー異常値を補償するためのコーナーポイントの座標値を示すことである。
【図８】（ａ）は２次元信号適応フィルター(SAF)のカーネルを示すことであり、（ｂ）はエッジ検出のための１０×１０ブロック及びSAFの例を示すことである。
【発明を実施するための形態】
【００３０】
以下、添付した図面を参照して本発明の望ましい実施例を詳細に説明する。図１はブロックに基づいて圧縮符号化された映像データを復号化する復号化器２０と、前記復号化器２０で映像を復号化する時発生する量子化効果減少のための映像データ後処理装置１０の構成をブロック図で示すことである。前記復号化器２０は通常的な復号化器を使用する。
【００３１】
本発明による、前記映像データ後処理装置はセマフォの検出部１００、ディブロッキングフィルター１１０、コーナー異常値補償部１２０及びディリンギングフィルター１３０を含んでなされる。前記セマフォの検出部１００は逆量子化された前記映像データの逆量子化係数の分布及び以前VOPと現在VOPの差を示す動きベクトルを利用してセマフォを検出する。
【００３２】
前記セマフォは復号化された映像の後処理必要性可否を示す情報であり、ブロッキングセマフォとリンギングセマフォに分けられる。前記ブロッキングセマフォはブロック境界近くのブロッキングアーチファクトを減少させる必要性可否を示し、前記リンギングセマフォは映像エッジ近くのリンギングノイズを減少させる必要性可否を示す。そして前記ブロッキングセマフォは、水平ブロック境界線を基準として隣接したブロックの画素に対する後処理可否を示す水平ブロッキングセマフォ(Horizontal blocking Semaphore: HBS)及び垂直ブロック境界線を基準として隣接したブロックの画素に対する後処理可否を示す垂直ブロッキングセマフォ(Vertical blocking Semaphore : VBS)よりなる。
【００３３】
また、前記セマフォの検出はイントラVOP及びインターVOPに対して検出する。前記イントラVOPに対するセマフォの検出は逆量子化された前記映像データの逆量子化係数の分布を利用する。前記インターVOPに対するセマフォの検出は以前VOPと現在VOPの差を示す動きベクトルを利用し、より詳細なことは後述する。
【００３４】
前記ディブロッキングフィルター１１０は一次元水平及び垂直低域通過フィルター(LPF)を使用して、前記セマフォの検出部１００から検出されたブロッキングセマフォを検査して、前記復号化された映像データをディブロッキングフィルタリングする。
【００３５】
前記異常値補償部１２０は前記ディブロッキングフィルター１１０でディブロッキングフィルタリングされたデータ中コーナー異常値を検出して補償する。
【００３６】
前記ディリンギングフィルター１３０は二次元信号適応フィルターを使用して、前記セマフォの検出部１００から検出されたリンギングセマフォを検査して、前記コーナー異常値補償されたデータをディリンギングフィルタリングする。
【００３７】
一方、望ましい実施例を挙げて発明の動作をより詳細に説明する。本発明による、映像データ後処理方法の基本概念は圧縮データから空間周波数及び時間情報を使用することによって適応的に量子化効果を減らすことである。
【００３８】
そして主観的画質、PSNR(Peak Signal−to−Noise Ratio)及び計算の複雑性を考慮している。特にMPEG−４で計算の複雑性はソフトウェア及びハードウェアで前記基本概念を具現する時、非常に重要な決定要素である。８×８ブロックごとにブロッキングアーチファクトとリンギングノイズのセマフォを検出するために、周波数領域と動きベクトルでの逆量子化係数の分布が調査になる。ブロッキングセマフォ及びリンギングセマフォを使用することによって、１次元LPFと２次元SAFが８×８ブロックごとに適応的に適用される。
【００３９】
まず、前記セマフォの検出部１００におけるブロッキングアーチファクトとリンギングノイズに対するセマフォの検出に対する説明をする。
【００４０】
１. ブロッキングアーチファクト及びリンギングノイズのためのセマフォ
MPEG−４で計算数及び量子化効果の効率的な減少を遂行するために、二種類のセマフォが定義される。最初はブロッキングセマフォで、二番目はリンギングセマフォである。前記ブロッキング及びリンギングセマフォはイントラVOPで８×８ブロックのDCT領域から検出される。またインターVOPのセマフォは残差信号及び基準VOPのセマフォより計算される。
【００４１】
１.１. イントラ−VOPに対するセマフォの検出
逆量子化後のDCT係数の逆量子化係数(IQC)の分布を調べてセマフォを検出する。図２はMPEG−４の復号化器に対するブロック図及び前記復号化器の逆量子化部で逆量子化された８×８DCT係数ブロックを示すことである。図２の８×８逆量子化されたブロックで、係数A、B及びCがブロッキング及びリンギングセマフォを決定する時に使われる。
【００４２】
図２に示した８×８ブロックの６４個の画素DCT係数中位置Aの係数だけ“０”でない値を有すれば、前記８×８符号化されたブロックの６４画素は空間領域で同じ値を有する。したがってDC成分だけを有するブロックは水平及び垂直ブロッキングアーチファクトを誘発できる。この場合、水平ブロッキングセマフォ(HBS)と垂直ブロッキングセマフォ(VBS)二つとも“１”にセットされる。
【００４３】
８×８逆量子化されたブロックの一番上行だけが前記一番上行を構成する８画素の係数中いずれか一つでも“０”でない値を有する時、各列の８個の画素は空間領域で同じ値を有する。このブロックは垂直ブロッキングアーチファクトを誘発し、従ってVBSは“１”にセットされる。
【００４４】
一番左側列だけが前記一番左側列を構成する８画素の係数中いずれか一つでも“０”でない値を有する時、各行の８個の画素は空間領域で同じ値を有する。このブロックは水平ブロッキングアーチファクトを誘発し、従ってHBSは“１”にセットされる。
【００４５】
図２に示したA、B及びC以外の位置に何れか一つでも“０”でない係数値を有する時、リンギングセマフォ(RS)は“１”にセットされる。この高周波係数はブロックが映像エッジを含んでいることを意味する。したがってこのようなブロックは高周波成分係数の打切りによって前記映像エッジ附近にリンギングノイズを作る。
前記HBS、VBS及びRSは各ブロック当３つのビットに貯蔵される。
【００４６】
１.２. インターVOPに対するセマフォ伝播
基準VOPのブロッキングセマフォ及びリンギングセマフォは動きベクトルを使用することによて次のインターVOPに伝播される。また、インターVOPの残差信号はインターVOPのセマフォを決定する時に使われる。
【００４７】
まず、ブロッキングセマフォが基準VOPからインターVOPに伝播されることを説明する。図３はインターVOPの８×８ブロック(Ac)と基準VOPにおける隣のブロックとの関係を示すことである。ブロッキングセマフォの伝播は動きベクトルMVx、MVyにより次のように記述される。
【００４８】
図３でAr、Br、Cr及びDrは基準VOPのブロックで、Acは現在のインターVOPのブロックで、Xは前記Acの動きブロックである。前記動きブロックXは動きベクトルMVx、MVyを使用することによって推定される。まず前記動きブロックXと前記基準ブロックと重なった程度を調べる。もし前記動きブロックXと前記基準ブロックの重なった領域が２×２画素より広いブロックだけ各々計算に使用すれば、前記現在ブロックAcのHBS及びVBSは動き推定されたブロックXにより重なる基準ブロックのHBS及びVBSをビット単位論理積演算することによって計算できる。
【００４９】
例えば、動きベクトルがMVx＝５、MVy＝３.５の時、動き推定されたブロックXは４つの基準ブロックAr、Br、Cr及びDrと重なる。ここで前記４つの重なった領域は全て２×２画素より広い。したがって、現在ブロックAcのHBS及びVBSは図４に示したように４つの基準ブロックAr、Br、Cr及びDrより計算できる。ここで’&’はビット単位論理積演算、’｜’はビット単位論理和演算を示す。次に、リンギングセマフォが基準VOPからインターVOPに伝播されることを説明する。まず、インターVOPの８×８ブロックでの残差信号の逆量子化係数(IQC)を検査して前記IQCが“０”でないと、基準ブロックAcのRSを“１”にセットする。MPEG−４アルゴリズムは一つのマクロブロック(MB)に対する４つの動きベクトルを伝達する８×８予測モードを支援する。前記８×８予測モードは大慨高周波成分を有するビジ領域(busy area)に適用される。したがって、前記ブロックが８×８予測モードを有するかを検査して、８×８予測モードを有するブロックのRSは“１”にセットされる。もしRSが前記２種類の検査後にも相変らずRSが“０”であれば、現在ブロックAcのRSは、前記ブロッキングセマフォと同じ方式で、基準ブロックAr、Br、Cr及びDrと重なった領域が各々２×２より広い基準ブロックのRSに対してビット単位論理積演算により計算できる。RS計算の一例が図４に示されている。
【００５０】
２. セマフォを用いた映像データの後処理
一方、ディブロッキングフィルター１１０、コーナー異常値補償部１２０及びディリンギングフィルター１３０に対して具体的に説明する。
【００５１】
２.１. ブロッキングアーチファクト減少のためのディブロッキングフィルター
ブロッキングアーチファクト減少のための一次元低域通過フィルタリングは水平境界及び垂直境界上のブロッキングセマフォによって強くまたは弱く遂行される。ブロッキングアーチファクトを減らすために、大部分のディブロッキング方法は映像エッジ情報を計算し、前記映像エッジに基づいた低域通過フィルター(LPF)を適応的に適用する。しかし本発明によるディブロッキング方法は前記求めたブロッキングセマフォを利用するため、多くの計算量を要求する映像エッジ検出を必要としない。
【００５２】
処理されるべき８×８ブロックと隣接ブロックが図５に示されている。ブロック−IのHBSとブロック−JのHBS二つとも“１”にセットされているとしたら、７−タブ(１、１、１、２、１、１、１)LPFが図５の水平ブロック境界上の画素A、B、C、D、E及びFに適用される。水平ディブロッキングフィルタリングをアルゴリズムに示すと次の通りである。
if(ブロック−IのHBS＝＝１ andブロック−JのHBS＝＝１)
７−tab フィルタリング; // A、B、C、D、E and Fを変更//
else
if ( ｜D−C｜ ＜ QP )
弱フィルタリング;; // B、C、D及びEを変更//
【００５３】
前記アルゴリズムを説明すると、ブロックI及びブロックJの水平ブロッキングセマフォが“１”にセットされていると、前記ブロックIとブロックJを境界つける水平ブロック境界線を介在した所定個数の画素値を変化させる。前記フィルタリングは前記６個の画素に対して７−タブ(１、１、１、２、１、１、１)低域通過フィルタリングを使用してなされる。
【００５４】
前記ブロックI及びブロックJ中何れか一つでも水平ブロッキングセマフォが“０”であれば、水平ブロック境界線を介在して隣接した二つの画素の差とH.２６３の量子化された要素のQPを比較して、二つの画素の差がQPより小さければ前記７−タブフィルタリングより少ない個数の画素値を変化させる。即ち、前記画素B、C、D及びEに対してフィルタリングを遂行するが、前記画素C及びDの差をdとする時、フィルタリングされた画素C及びDは前記画素C及びDを平均値とし、フィルタリングされた画素B及びEは前記画素B及びE値とd/８の差がある値とする。
【００５５】
図６Aは１次元観点のブロッキングアーチファクトの例を示すことである。図６Bは前記７−タブフィルタリングを遂行した後の結果を示している。図６Cは弱フィルタリングを遂行した後の結果を示すことであって、前記弱フィルタリングはブロック境界の画素値の差d＝｜D−C｜がQPより小さい時遂行される。ここでパラメータQPはH.２６３の量子化要素である。MPEG−４はH.２６３量子化を支援する。図６Cの弱フィルタリング場合において、境界画素C及びDは平均値になる。また隣接した画素B及びEはブロッキングアーチファクトをやんわりとするために少しだけ変わる。本発明によるディブロッキングフィルタリングは、１次元の人為的な不連続を減らすためにブロック境界上の画素値を変更させる。そして垂直ブロック境界線を介在した画素に対しては、前記垂直ブロッキングセマフォを用いて前記水平ブロック境界線を介在した画素と同じ方式でフィルタリングすればよい。即ち、垂直フィルタリングは水平フィルタリングと同じ方式で遂行される。本発明による方法はブロックに基づいた並列処理によりハードウェアに具現でき、７−タブフィルタリングと弱フィルタリングに対してシフト及び加算演算だけ必要とする。例えば７−タブフィルタリングの場合、画素Cをフィルタリングした値をC’とすると、C’＝(A＋A＋B＋２C＋D＋E＋F＋４)/８に求めうり、これはシフト演算及び加算演算で可能である。
【００５６】
２.２. コーナー異常値補償
コーナー異常値は図７に示したようにMPEG−圧縮解除された映像の８×８ブロックのコーナーポイントで、隣る画素よりその画素値がはるかに大きいかまたは小さな画素により。図７Aで斜線の領域が４つのブロックにかけて分布され、前記斜線の領域の一つや二つの画素が隣るブロックのコーナーポイントに位置する時、コーナーポイントは図７Bに示したようにDCT係数の量子化により歪曲できる。このように歪曲されたコーナーポイントをコーナー異常値という。前記コーナー異常値はディブロッキングフィルター及びディリンギングフィルターでは除去できない。前記コーナー異常値を減らすために、まずコーナー異常値を検出し、その後に、前記検出されたコーナー異常値を補償する。図７Cはコーナー異常値検出のための簡単な座標値を記述している。ここでA、B、C及びDは８×８ブロックのコーナーポイントの画素値である。
【００５７】
まず、前記コーナー異常値検出のためのアルゴリズムは次のように示しうる。
value［０］＝A; value［１］＝B;
value［２］＝C; value［３］＝D;
Average＝(A＋B＋C＋D＋２)/４;
Count＝０;
for(m＝０; m＜４; m＋＋)
if (｜value［m］−Average｜ ＞ QP)
Count＋＋; /*候補ポイントの個数*/
ここでQPはH.２６３の量子化要素である。
【００５８】
前記Countはコーナー異常値候補画素の数を貯蔵する変数である。もし前記Countが“０”であれば、コーナー異常値はない。もしAだけ図７Cで候補ポイントであり、｜A−A３｜が３QP/２より小さければ、コーナー異常値補償はA、A３及びA２上に次のように遂行される。Aに対して補償された値をA’、A１に対して補償された値をA’１、A２に対して補償された値をA’２とすると、前記A’、A’１及びA’２は数式１のように決定される。
（数１）
A’＝(４A＋B＋C＋２D＋４)/８
A’１＝(A’＋３A１＋２)/４
A’２＝(A’＋３A２＋２)/４
【００５９】
候補ポイント個数が二つ以上であれば、(A３＋B３＋C３＋D３＋２)/４より最も大きい差を有する候補が選択されて、コーナー異常値補償は前記一つの候補の場合と同じ方法でそのポイントに対して遂行される。
【００６０】
２.３. リンギングノイズ減少のためのディリンギングフィルター
各ブロックに対してディリンギングフィルターを適用する前に、RSを調べる。もし現在ブロックのRSが“１”であれば、ディリンギングフィルタリングは前記ブロックに適用される。映像の細部成分がフィルタリングにより歪曲されることを防止するために、フィルタリング前に簡単なエッジ検出が遂行される。図８A及び図８Bに示したように、エッジ検出及び２次元信号適応フィルタリング(２−D SAF)は“０”でないリンギングセマフォを有する８×８ブロックに適用される。２次元SAFは８×８ブロックの中心に位置した４×４画素に適用される。なぜなら境界画素はディブロッキングフィルターによりやんわりとなるからである。
【００６１】
まず、エッジ検出に対して説明する。映像エッジを発見するために、１次元水平及び垂直傾斜(gradient)演算子が再構成されたブロックに適用される。エッジ画素を決定するためのしきい値はH.２６３の量子化要素QPから選択される。２次元SAFが４×４画素に適用されるために、エッジ情報は図８Bに示したように現在ブロック内の６×６画素に対して得られるべきである。水平エッジ検出は、画素［m］［n］、前記画素［m］［n］の右側画素を画素［m］［n＋１］、左側画素を画素［m］［n−１］、前記画素［m］［n］と画素［m］［n＋１］の差をA１、前記画素［m］［n］と画素［m］［n−１］の差をA２、H.２６３の量子化要素をQPとする時、条件式((A１＞QP) and (A２＞QP)) or (A１＞２QP) or (A２＞２QP)を満足すると、エッジに検出され、エッジ［m］［n］ ＝１になる。そして垂直エッジ検出は、画素［m］［n］、前記画素［m］［n］の上側画素を画素［m＋１］［n］、下側画素を画素［m−１］［n］、前記画素［m］［n］と画素［m＋１］［n］の差をA’１、前記画素［m］［n］と画素［m−１］［n］の差をA’２、H.２６３の量子化要素をQPとする時、条件式((A’１＞QP) and (A’２＞QP)) or (A’１＞２QP) or (A’２＞２QP)を満足すると、エッジに検出され、エッジ［m］［n］＝１になる。
【００６２】
以上のエッジマップEdge［m］［n］を画素値pixel［m］［n］より生成するアルゴリズムで表現すると次の通りである。
/*水平エッジ検出*/
A１＝｜pixel［m］［n］−pixel［m］［n＋１］｜;
A２＝｜pixel［m］［n］−pixel［m］［n−１］｜;
if (((A１＞QP) and (A２＞QP)) or (A１＞２QP) or (A２＞２QP))
Edge［m］［n］ ＝ １ ;
else { /*垂直エッジ検出*/
A１＝｜pixel［m］［n］−pixel［m＋１］［n］｜;
A２＝｜pixel［m］［n］−pixel［m−１］［n］｜;
if (((A１＞QP) and (A２＞QP)) or (A１＞２QP) or (A２＞２QP))
Edge［m］［n］＝１ ;}
【００６３】
次に２次元信号適応フィルター(SAF)を使用したディリンギングフィルタリングに対して説明する。前記フィルタリングは映像の細部成分の深刻な損失なくリンギングノイズをやんわりとするためのことである。本発明によるディリンギングフィルタリングはエッジマップによりたたみこみ(convolution)に対する加重要素が変わる簡単なたたみこみ演算である。前記SAFはEdge［m］［n］を使用することによって復号化されたブロックに適用される。図８Aは２次元SAFに対するカーネル(kernel)を示している。図８Bのフィルターウインドの中心点Aがエッジ画素であれば、２次元フィルタリング演算は遂行されない(図８Bの例１)。４−コネクテッドフィルターウインドでエッジポイントが含まれていないと、低域通過フィルタリングが遂行される(図８Bの例２)。もし、中心点上にないいずれかのエッジポイントが４−コネクテッド フィルタウインドにあれば、エッジ画素を除外した加重フィルタリングが遂行される(図８Bの例３)。加重要素が計算の複雑性を考えて定義され、従ってSAFフィルタリングが表１に示したように簡単なシフト及び加算演算により遂行される。
【表１】
表１で“０”は非エッジを示し、“１”はエッジを示す。
【００６４】
一方、前述した本発明の実施例はコンピュータで実行できるプログラムで作成可能である。そしてコンピュータで用いられる媒体から前記プログラムを動作させる汎用デジタルコンピューターで具現できる。前記媒体はマグネチック貯蔵媒体(例:ROM、フロッピー（登録商標）ディスク、ハードディスク等)、光学的判読媒体(例:CD−ROM、DVD等)及び搬送波(例:インターネットを通じて伝送)のような貯蔵媒体を含む。
【００６５】
例えば、前記貯蔵媒体は、ブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理方法において、逆量子化された前記映像データの逆量子化係数の分布及び以前VOPのブロックと現在VOPのブロック差を示す動きベクトルを利用して、復号化された映像の後処理必要性可否を示すセマフォを検出するセマフォの検出段階がコンピュータにより遂行されるプログラムコード手段と、前記検出されたセマフォを検査して後処理が必要と示すと、前記セマフォに相応する復号化された映像データを所定の方法によりフィルタリングするフィルタリング段階がコンピュータにより遂行されるプログラムコード手段を含むことを特徴とする。
【００６６】
そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは本発明の属する技術分野のプログラマーにより容易に推論できる。
【００６７】
〔発明の効果〕
高圧縮された映像データを復元する時、ブロッキングアーチファクト、コーナー異常値及びリンギングノイズのような量子化効果が発生される。本発明による後処理方法はセマフォと適応フィルターを使用することによって量子化効果を減少させる。各ブロックのブロッキング及びリンギングセマフォは後フィルタリングの計算量を減らすのに大きい助けになる。現ブロックに対するブロッキング及びリンギングセマフォを検出するためには、インターVOPの動きベクトルが使われる。
【００６８】
ビデオコーディングで、高品質の映像及びハードウェア及びソフトウェアへの具現の容易性のためには計算の複雑性及びPSNRが考慮されるべきである。ハードウェア複雑性の側面で、本発明による方法は乗算と割算なく並列処理により遂行できる。
【００６９】
本発明による後処理方法は映像の細部成分を維持しながら主観的画質を大きく向上させるため、広範囲に使われうる。本発明による方法はJPEG、H.２６３＋、MPEG−１及びMPEG−４解体映像に適用できる。
【産業上の利用可能性】
【００７０】
本発明による後処理方法は映像の細部成分を維持しながら主観的画質を大きく向上させるため、広範囲に使われうる。本発明による方法はJPEG、H.２６３＋、MPEG−１及びMPEG−４解体映像に適用できる。
【符号の説明】
【００７１】
１０ 映像データ後処理装置
２０ 映像データ復号化器
１００ セマフォ検出部
１１０ ディブロッキングフィルター
１２０ コーナー異常値補償部
１３０ ディリンギングフィルター
【技術分野】
【０００１】
本発明は映像データ処理に係り、特に量子化効果を減少させるための映像データ後処理方法、装置及びこれを記録した記録媒体に関する。
また本発明はISO/IEC JTC１/SC２９/WG１１ N１９０２(ISO/IEC １４４９６−２ Committee Draft)に採択された。
【背景技術】
【０００２】
一般的に国際標準化機構(ISO)のMPEG及びITU(International Telecommunication Union)のH.２６３を含む大部分の画像符号化標準はブロックに基づいた動き推定及びブロック離散余弦変換(DCT)処理を使用する。また大部分のビデオ符号化標準は情報を少ない数の変換係数でパックキングするために８×８画素ブロックDCTを使用する。このようなブロックに基づいたDCTスキームは映像の局部的な空間相関性質を利用する。
【０００３】
しかし、このようなブロックに基づいて符号化された映像データを復元すると、ブロック境界近くのブロッキングアーチファクト、ブロックのクロスにおけるコーナー異常値及び映像エッジ附近のリンギングノイズのような相当な映像劣化を有する。なぜなら、MPEGは８×８画素ブロックの変換された係数を量子化する。特に、イメージが高圧縮されている時はさらにそうする。
【０００４】
前記ブロックに基づいた符号化は、特に映像が高圧縮される時、よく知られたブロック境界近くのブロッキングアーチファクト、ブロックのクロスポイントにおけるコーナー異常値及び映像エッジ近くのリンギングノイズを誘発させる。
【０００５】
前記ブロッキングアーチファクトは相対的に類似の等質領域のブロック境界に沿って発生するグリッドノイズである。前記グリッドノイズは圧縮されたデータが復元されて画面上にディスプレーされる時、ブロックに基づいて処理した痕跡がブロック間の縁部に現れて、人がブロック間の縁部を分かるようにする。そして前記コーナー異常値は８×８ブロックのコーナーポイントから発生する。また前記リンギングノイズは映像を高圧縮するために、前記離散余弦変換(DCT)の高周波成分の係数を量子化による打切りすることによって発生される典型的なギブズ(Gibb`s)現象であって、映像がややの間隔をおいていくつか重なって現れるように感じる問題を招く。
【０００６】
ブロックに基づいた符号化によって発生される前記ブロッキングアーチファクト、コーナー異常値及びリンギングノイズを減少させるためのいくつの方法が提案されてきた。［Y.L.Lee, H.C.Kim, and H.W.Park, ”Blocking Effect Reduction of JPEG images by Signal Adaptive Filtering”, in press IEEE Trans. on Image Processing, １９９７］［B. Ramamurthi and A.Gersho, ”Nonlinear Space Variant Postprocessing of Block Coded Images”, IEEE Tans on ASSP, vol.３４, no.５, pp１２５８−１２６７, １９８６］［Y.Ynag, N.Galatsanos and A.Katsaggelos, ”Projection−Based Spatially Adaptive Reconstruction of Block−Transform Compressed Images,”IEEE trans. on Image Processing, vol.４, no.７, pp ８９６−９０８, July １９９５］［Z.Xiong, M.T.Orchard, and Y.Q.Zhang, ”A Deblocking Algorithm for JPEG Compressed Images Using Overcomplete Wavelet Representations, ”IEEE Trans. Circuits Syst. Video Technol.,vol.７, no.２, pp ４３３−４３７, １９９７］ その中でJPEG−圧縮解除された映像の 量子化効果を減少させるために２次元信号適応フィルタリング(Signal−Adaptive Filtering: SAF)が提案された。［Y.L.Lee, H.C.Kim, and H.W.Park, ”Blocking Effect Reduction of JPEG images by Signal Adaptive Filtering”, in press IEEE Trans. on Image Processing, １９９７］ そしてブロッキングアーチファクトを減少させるために２次元フィルターを使用し、階段ノイズ減少のためには１次元フィルターを使用したRamamurthi及びGershoの方法［B. Ramamurthi and A.Gersho,”Nonlinear Space Variant Postprocessing of Block Coded Images”, IEEE Tans on ASSP,vol.３４,no.５,pp１２５８−１２６７, １９８６］は良い効果を示したりもした。また、コンベクスセット(convex set)への投影理論を用いる反復的映像復元アルゴリズムも提案された。［Y.Ynag,N.Galatsanos and A.Katsaggelos,”Project−ion−Based Spatially Adaptive Reconstruction of Block−Transform Compressed Images,”IEEE trans. on Image Processing,vol.４,no.７,pp ８９６−９０８,July １９９５］
【０００７】
しかし、このような方法は計算が複雑という短所がある。一方、計算の複雑性を低くめるためにオーバコンプレットウェーブレット(over−complete wavelet)表現を使用する後フィルタリングが提案された。［Z.Xiong, M.T.Orchard, and Y.Q.Zhang, ”A Deblocking Algorithm for JPEG Compressed Images Using Overcomplete Wavelet Representations,”IEEE Trans. Circuits Syst. Video Technol.,vol.７,no.２,pp ４３３−４３７,１９９７］
【０００８】
しかし、この方法はJPEG−圧縮解除された映像にだけ適用された。そして低いビット率符号化のために、３次元サブバンド符号化に適用できる空間−時間適応後フィルタリングが提案されたが、この方法もやはり計算が複雑という短所がある。［T.s.Liu and N.Jayant, ”Adaptive Postprocessing Algorithms for Low Bit Rate Video Signals”, IEEE Trans. on Image Processing, vol.４, no ７, pp.１０３２−１０３５, July １９９５］
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平５−６３９９７号公報
【特許文献２】特開平７−１３１７５７号公報
【特許文献３】特開平８−２０５１７８号公報
【特許文献４】特開平９−１８２０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする技術的課題はMPEG−圧縮解除された映像でブロッキングアーチファクト、コーナー異常値及びリンギングノイズのような量子化効果を減らすために、計算が複雑でないながら低いビット率符号化が可能な映像データ後処理方法、装置及びこれを記録した記録媒体を提供することである。
【課題を解決するための手段】
【００１１】
前記の技術的課題を解決するための本発明による量子化効果減少のための映像データ後処理方法は、ブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理方法において、逆量子化された前記映像データの逆量子化係数の分布及び以前VOP(Video Object Plane)と現在VOPの差を示す動きベクトルを利用して、復号化された映像の後処理必要性可否を示すセマフォを検出するセマフォの検出段階と、前記検出されたセマフォを検査して後処理が必要ということを示すと、前記セマフォに相応する復号化された映像データを所定の方法によりフィルタリングするフィルタリング段階とを含むことが望ましい。
【００１２】
前記セマフォの検出段階のセマフォの検出は前記VOP符号化モードがイントラVOPモードであれば、イントラVOPに対して遂行され、前記VOP符号化モードがインターVOPモードであれば、インターVOPに対して遂行されることを特徴とする。
【００１３】
前記セマフォはブロック境界近くのブロッキングアーチファクトを減少させる必要性可否を示すブロッキングセマフォと、映像エッジ近くのリンギングノイズを減少させる必要性可否を示すリンギングセマフォよりなることを特徴とする。
【００１４】
前記イントラVOPのブロッキングセマフォ及びリンギングセマフォの検出は、前記圧縮されたビットストリームが逆量子化された後の離散余弦変換(DCT)係数の逆量子化係数の分布を調べて検出することが望ましい。
【００１５】
前記イントラVOPのブロッキングセマフォは水平ブロッキングセマフォ(HBS)及び垂直ブロッキングセマフォ(VBS)よりなり、前記イントラVOPの水平及び垂直ブロッキングセマフォの検出は前記圧縮された映像データが逆量子化された後、前記逆量子化された８×８ブロックに対する離散余弦変換係数を求める段階と、前記８×８ブロックを構成する６４個の画素中前記ブロックの一番上及び一番左側に位置した画素を画素Aとし、前記画素Aの直ちに右側の画素を画素B、前記画素Aの直ちに下の画素を画素Cとする時、前記画素Aの係数だけ“０”でない値を有すると、前記水平ブロッキングセマフォ及び垂直ブロッキングセマフォを後処理の必要を示す情報“１”でセットする段階と、前記逆量子化された８×８ブロックの一番上行だけが“０”でない値を有する画素を含んでいる時、垂直ブロッキングセマフォを後処理の必要を示す情報“１”でセットする段階と、前記逆量子化された８×８ブロックの一番左側の列だけが“０”でない値を有する画素を含んでいる時、水平ブロッキングセマフォを後処理の必要を示す情報“１”でセットする段階とを含むことが望ましい。
【００１６】
前記イントラVOPのリンギングセマフォの検出は、前記８×８ブロックを構成する６４個の画素中前記ブロックの一番上及び一番左側に位置した画素を画素Aとし、前記画素Aの直ちに右側の画素を画素B、前記画素Aの直ちに下の画素を画素Cとすると、前記逆量子化された８×８ブロックの画素A、B及びC以外の位置に何れか一つでも“０”でない係数値を有する時、リンギングセマフォを後処理の必要を示す情報“１”でセットすることを特徴とする。
【００１７】
現在インターVOPのブロッキングセマフォは水平ブロッキングセマフォ及び垂直ブロッキングセマフォよりなり、前記現在インターVOPのブロックAcに対する水平及び垂直ブロッキングセマフォの検出は基準VOPが所定の基準ブロックよりなり、前記現在インターVOPのブロックAcの動きベクトル(MVx、MVy)により推定される基準VOPのブロックを動きブロックXとする時、前記動きブロックXが前記基準ブロックと重なった程度を調べる段階と、重なった画素数が所定個数以上の前記基準ブロックの水平及び垂直ブロッキングセマフォをビット単位論理積演算する段階と、前記演算結果を前記現在VOPのブロックAcの水平及び垂直ブロッキングセマフォでセットすることを特徴とする。
【００１８】
前記現在インターVOPのブロックAcに対するリンギングセマフォ(RS)の検出は、インターVOPの８×８ブロックにおける残差信号の逆量子化係数が“０”でないと、現在ブロックAcのRSを“１”でセットする段階と、MPEG−４アルゴリズムが支援する一つのマクロブロックに対する４つの動きベクトルを伝達する８×８予測モードを有するブロックのRSを“１”でセットする段階と、前記RSが相変らず“０”であれば、基準VOPが所定の基準ブロックよりなり、前記現在インターVOPの現在ブロックAcの動きベクトル(MVx、MVy)により推定される基準VOPのブロックを動きブロックXとする時、前記動きブロックXが前記基準ブロックと重なった程度を調べて、重なった画素数が所定個数以上の前記基準ブロックのリンギングセマフォをビット単位論理和して、前記現在VOPのブロックAcのリンギングセマフォでセットする段階よりなることを特徴とする。
【００１９】
前記フィルタリング段階のフィルタリングはブロックI及び前記ブロックIと隣接したブロックJの水平ブロッキングセマフォが“１”でセットされていると、前記ブロックIとブロックJを分ける水平ブロック境界線を介在した所定個数の画素値を変化させる第１フィルタリングと、前記ブロックI及びブロックJ中何れか一つでも水平ブロッキングセマフォが“０”であれば、水平ブロック境界線を介在して隣接した２つの画素の差とH.２６３の量子化された要素のQPを比較して２つの画素の差がQPより小さいと、前記第１フィルタリングより少ない個数の画素値を変化させる第２フィルタリングよりなる。
【００２０】
前記ブロックIとブロックJを分ける水平ブロック境界線を介在した６個の画素をA、B、C、D、E及びFとし、前記画素C及びDを前記水平ブロック境界線に最も隣接した画素、前記画素A及びFが水平ブロック境界線から最も遠い画素、前記画素B及びDが前記A及びC、D及びFの中間に位置した画素とする時、前記第１フィルタリングは前記６個の画素に対して７−タブ(１、１、１、２、１、１、１)低域通過フィルタリングを遂行する。前記第２フィルタリングは前記画素B、C、D及びEに対してフィルタリングを遂行するが、前記画素C及びDの差をdとする時、フィルタリングされた画素C及びDは前記画素C及びDの平均値とし、フィルタリングされた画素B及びEは前記画素B及びE値とd/８が差がある値とすることを特徴とする。
【００２１】
前記フィルタリング段階のフィルタリングは映像データの水平エッジ及び垂直エッジを検出するエッジ検出段階と、リンギングノイズを減少させようとする８×８ブロックに対して２次元信号適応フィルタリングをする信号適応フィルタリング段階よりなることを特徴とする。前記エッジ検出段階の水平エッジ検出は所定の大きさを有するブロック内のある画素を画素［m］［n］、前記画素［m］［n］の右側画素を画素［m］［n＋１］、左側画素を画素［m］［n−１］、前記画素［m］［n］と画素［m］［n＋１］の差をA１、前記画素［m］［n］と画素［m］［n＋１］の差をA２、H.２６３の量子化要素をQPとする時、条件式((A１＞QP) and (A２＞QP)) or (A１＞２QP) or (A２＞２QP)を満足すると、エッジに検出され、エッジ［m］［n］＝１になる。前記エッジ検出段階の垂直エッジ検出は、前記画素［m］［n］の上側画素を画素［m＋１］［n］、下側画素を画素［m−１］［n］、前記画素［m］［n］と画素［m＋１］［n］の差をA’１、前記画素［m］［n］と画素［m−１］［n］の差をA’２、H.２６３の量子化要素をQPとする時、条件式((A’１＞QP) and (A’２＞QP)) or (A’１＞２QP) or (A’２＞２QP)を満足すると、エッジに検出され、エッジ［m］［n］＝１になる。前記信号適応フィルタリング段階は４−コネクテッドフィルターウインドを前記８×８ブロックに対して適用し、前記フィルターウインドの中心画素がエッジであればフィルタリングを遂行しなく、前記フィルターウインドの中心画素がエッジでないと加重フィルタリングを遂行する。
【００２２】
前記の技術的課題を解決するための本発明による映像データ後処理方法は、ブロックに基づいて圧縮符号化された映像データを復号化する時、前記ブロック４つが会うクロスポイントのコーナーから発生するコーナー異常値を減少させるための映像データ後処理方法において、逆量子化された前記映像データの８×８ブロックのコーナー異常値を検出する検出段階と、前記検出されたコーナー異常値を補償する補償段階を含むことを特徴とする。前記検出段階は前記クロスポイントを中心とした４個の画素を画素A、B、C及びDとし、value［０］をA、value［１］をB、value［２］をC、value［３］をDとし、平均値Average＝(A＋B＋C＋D＋２)/４とすると、mを０から始めて１ずつ３まで増加させながらvalue［m］とAverageの差をH.２６３の量子化要素QPと比較して前記差がQPより大きいと、コーナー異常値候補画素の個数を累積してコーナー異常値を検出することを特徴とする。前記補償段階は前記Aが属するブロックで前記Aと隣る画素をA１、A２とし、前記画素Aと対角線に位置する画素をA３とする時、前記検出段階で検出されたコーナー異常値候補が一つでその画素がAであれば、前記画素Aと画素A３の差が３QP/２より小さいと、コーナー異常値補償は次の式
画素Aに対する補償値A’＝(４A＋B＋C＋２D＋４)/８
画素A１に対する補償値A１’は(A’＋３A１＋２)/４
画素A２に対する補償値A２’は(A’＋３A２＋２)/４にようになることを特徴とする。前記コーナー異常値の候補画素数が２つ以上であれば(A３＋B３＋C３＋D３＋２)/４(ここでB３、C３、D３もA３と同じ方式で定義される)より最も大きい差を有する候補が選択され、その補償は前記一つの補償の場合と同じ方法で遂行される。
【００２３】
前記の技術的課題を解決するための本発明による映像データ後処理方法は、ブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理方法において、逆量子化された前記映像データの逆量子化係数の分布及び以前VOPのブロックと現在VOPのブロックの差を示す動きベクトルを利用して、復号化された映像の後処理必要性可否を示すセマフォを検出するセマフォの検出段階と、逆量子化された前記映像データの８×８ブロックのコーナー異常値を検出する検出段階と、前記検出されたセマフォを検査して後処理の必要を示すと、前記セマフォに相応する復号化された映像データを所定の方法によりフィルタリングするフィルタリング段階と、前記検出されたコーナー異常値で補償する補償段階とを含むことが望ましい。
【００２４】
前記の他の技術的課題を解決するための本発明による映像データ後処理装置は、ブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理装置において、逆量子化された前記映像データの逆量子化係数の分布及び以前VOPのブロックと現在VOPのブロックの差を示す動きベクトルを利用して、復号化された映像の後処理必要性可否を示すセマフォを検出するセマフォの検出部と、前記セマフォの検出部から検出されたブロッキングセマフォを検査して、前記復号化された映像データをディブロッキングフィルタリングするディブロッキングフィルターと、前記ディブロッキングフィルタリングされたデータ中コーナー異常値を検出して補償するコーナー異常値補償部と、前記セマフォの検出部から検出されたリンギングセマフォを検査して前記コーナー異常値補償されたデータをディリンギングフィルタリングするディリンギングフィルターとを含むことを特徴とする。
【００２５】
一方、本発明はコンピュータで実行できるプログラムで作成可能である。またコンピュータで用いられる媒体より前記プログラムを動作させる汎用デジタルコンピューターで具現できる。前記媒体はマグネチック貯蔵媒体(例:ROM、フロッピー（登録商標）ディスク、ハードディスク等)、光学的判読媒体(例:CD−ROM、DVD等)及び搬送波(例:インターネットを通じて伝送)のような貯蔵媒体を含む。
【００２６】
例えば、前記貯蔵媒体は、ブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理プログラムを記録した記録媒体において、逆量子化された前記映像データの逆量子化係数の分布及び以前VOPのブロックと現在VOPのブロック差を示す動きベクトルを利用して、復号化された映像の後処理必要性可否を示すセマフォを検出するセマフォの検出段階と、前記検出されたセマフォを検査して後処理が必要と示すと、前記セマフォに相応する復号化された映像データを所定の方法によりフィルタリングするフィルタリング段階とを含むことを特徴とする量子化効果減少のための映像データ後処理方法を実行させるための、コンピュータにより実行されるプログラムを含んでいる。
【発明の効果】
【００２７】
高圧縮された映像データを復元する時、ブロッキングアーチファクト、コーナー異常値及びリンギングノイズのような量子化効果が発生される。本発明による後処理方法はセマフォと適応フィルターを使用することによって量子化効果を減少させる。各ブロックのブロッキング及びリンギングセマフォは後フィルタリングの計算量を減らすのに大きい助けになる。現ブロックに対するブロッキング及びリンギングセマフォを検出するためには、インターVOPの動きベクトルが使われる。
【００２８】
ビデオコーディングで、高品質の映像及びハードウェア及びソフトウェアへの具現の容易性のためには計算の複雑性及びPSNRが考慮されるべきである。ハードウェア複雑性の側面で、本発明による方法は乗算と割算なく並列処理により遂行できる。
【図面の簡単な説明】
【００２９】
【図１】ブロックに基づいて圧縮符号化された映像データを復号化する復号化器と、前記復号化器で映像を復号化する時発生する量子化効果減少のための映像データ後処理装置の構成をブロック図で示すことである。
【図２】MPEG−４の復号化器に対するブロック図及び前記復号化器の逆量子化部で逆量子化された８×８DCT係数ブロックを示すことである。
【図３】インターVOPの８×８ブロック(Ac)と基準VOPにおける隣のブロックとの関係を示すことである。
【図４】インターVOPの水平ブロッキングセマフォ(HBS)、垂直ブロッキングセマフォ(VBS)及びリンギングセマフォ(RS)の検出を説明するための一例を示すことである。
【図５】ブロッキングアーチファクト減少を目的とするディブロッキングフィルターの動作説明のために、ブロック境界とブロック境界の画素位置を示すことである。
【図６】（ａ）は１次元観点のブロッキングアーチファクトの例を示すことであり、（ｂ）は復号化された画素に対して７−タブフィルタリングを遂行した後の結果を示すことであり、（ｃ）は復号化された画素に対して弱フィルタリングを遂行した後の結果を示すことである。
【図７】（ａ）は量子化によってコーナー異常値を生成する映像エッジの例を示すことであり、（ｂ）は量子化によって発生されたコーナー異常値を示すことであり、（ｃ）はコーナー異常値を補償するためのコーナーポイントの座標値を示すことである。
【図８】（ａ）は２次元信号適応フィルター(SAF)のカーネルを示すことであり、（ｂ）はエッジ検出のための１０×１０ブロック及びSAFの例を示すことである。
【発明を実施するための形態】
【００３０】
以下、添付した図面を参照して本発明の望ましい実施例を詳細に説明する。図１はブロックに基づいて圧縮符号化された映像データを復号化する復号化器２０と、前記復号化器２０で映像を復号化する時発生する量子化効果減少のための映像データ後処理装置１０の構成をブロック図で示すことである。前記復号化器２０は通常的な復号化器を使用する。
【００３１】
本発明による、前記映像データ後処理装置はセマフォの検出部１００、ディブロッキングフィルター１１０、コーナー異常値補償部１２０及びディリンギングフィルター１３０を含んでなされる。前記セマフォの検出部１００は逆量子化された前記映像データの逆量子化係数の分布及び以前VOPと現在VOPの差を示す動きベクトルを利用してセマフォを検出する。
【００３２】
前記セマフォは復号化された映像の後処理必要性可否を示す情報であり、ブロッキングセマフォとリンギングセマフォに分けられる。前記ブロッキングセマフォはブロック境界近くのブロッキングアーチファクトを減少させる必要性可否を示し、前記リンギングセマフォは映像エッジ近くのリンギングノイズを減少させる必要性可否を示す。そして前記ブロッキングセマフォは、水平ブロック境界線を基準として隣接したブロックの画素に対する後処理可否を示す水平ブロッキングセマフォ(Horizontal blocking Semaphore: HBS)及び垂直ブロック境界線を基準として隣接したブロックの画素に対する後処理可否を示す垂直ブロッキングセマフォ(Vertical blocking Semaphore : VBS)よりなる。
【００３３】
また、前記セマフォの検出はイントラVOP及びインターVOPに対して検出する。前記イントラVOPに対するセマフォの検出は逆量子化された前記映像データの逆量子化係数の分布を利用する。前記インターVOPに対するセマフォの検出は以前VOPと現在VOPの差を示す動きベクトルを利用し、より詳細なことは後述する。
【００３４】
前記ディブロッキングフィルター１１０は一次元水平及び垂直低域通過フィルター(LPF)を使用して、前記セマフォの検出部１００から検出されたブロッキングセマフォを検査して、前記復号化された映像データをディブロッキングフィルタリングする。
【００３５】
前記異常値補償部１２０は前記ディブロッキングフィルター１１０でディブロッキングフィルタリングされたデータ中コーナー異常値を検出して補償する。
【００３６】
前記ディリンギングフィルター１３０は二次元信号適応フィルターを使用して、前記セマフォの検出部１００から検出されたリンギングセマフォを検査して、前記コーナー異常値補償されたデータをディリンギングフィルタリングする。
【００３７】
一方、望ましい実施例を挙げて発明の動作をより詳細に説明する。本発明による、映像データ後処理方法の基本概念は圧縮データから空間周波数及び時間情報を使用することによって適応的に量子化効果を減らすことである。
【００３８】
そして主観的画質、PSNR(Peak Signal−to−Noise Ratio)及び計算の複雑性を考慮している。特にMPEG−４で計算の複雑性はソフトウェア及びハードウェアで前記基本概念を具現する時、非常に重要な決定要素である。８×８ブロックごとにブロッキングアーチファクトとリンギングノイズのセマフォを検出するために、周波数領域と動きベクトルでの逆量子化係数の分布が調査になる。ブロッキングセマフォ及びリンギングセマフォを使用することによって、１次元LPFと２次元SAFが８×８ブロックごとに適応的に適用される。
【００３９】
まず、前記セマフォの検出部１００におけるブロッキングアーチファクトとリンギングノイズに対するセマフォの検出に対する説明をする。
【００４０】
１. ブロッキングアーチファクト及びリンギングノイズのためのセマフォ
MPEG−４で計算数及び量子化効果の効率的な減少を遂行するために、二種類のセマフォが定義される。最初はブロッキングセマフォで、二番目はリンギングセマフォである。前記ブロッキング及びリンギングセマフォはイントラVOPで８×８ブロックのDCT領域から検出される。またインターVOPのセマフォは残差信号及び基準VOPのセマフォより計算される。
【００４１】
１.１. イントラ−VOPに対するセマフォの検出
逆量子化後のDCT係数の逆量子化係数(IQC)の分布を調べてセマフォを検出する。図２はMPEG−４の復号化器に対するブロック図及び前記復号化器の逆量子化部で逆量子化された８×８DCT係数ブロックを示すことである。図２の８×８逆量子化されたブロックで、係数A、B及びCがブロッキング及びリンギングセマフォを決定する時に使われる。
【００４２】
図２に示した８×８ブロックの６４個の画素DCT係数中位置Aの係数だけ“０”でない値を有すれば、前記８×８符号化されたブロックの６４画素は空間領域で同じ値を有する。したがってDC成分だけを有するブロックは水平及び垂直ブロッキングアーチファクトを誘発できる。この場合、水平ブロッキングセマフォ(HBS)と垂直ブロッキングセマフォ(VBS)二つとも“１”にセットされる。
【００４３】
８×８逆量子化されたブロックの一番上行だけが前記一番上行を構成する８画素の係数中いずれか一つでも“０”でない値を有する時、各列の８個の画素は空間領域で同じ値を有する。このブロックは垂直ブロッキングアーチファクトを誘発し、従ってVBSは“１”にセットされる。
【００４４】
一番左側列だけが前記一番左側列を構成する８画素の係数中いずれか一つでも“０”でない値を有する時、各行の８個の画素は空間領域で同じ値を有する。このブロックは水平ブロッキングアーチファクトを誘発し、従ってHBSは“１”にセットされる。
【００４５】
図２に示したA、B及びC以外の位置に何れか一つでも“０”でない係数値を有する時、リンギングセマフォ(RS)は“１”にセットされる。この高周波係数はブロックが映像エッジを含んでいることを意味する。したがってこのようなブロックは高周波成分係数の打切りによって前記映像エッジ附近にリンギングノイズを作る。
前記HBS、VBS及びRSは各ブロック当３つのビットに貯蔵される。
【００４６】
１.２. インターVOPに対するセマフォ伝播
基準VOPのブロッキングセマフォ及びリンギングセマフォは動きベクトルを使用することによて次のインターVOPに伝播される。また、インターVOPの残差信号はインターVOPのセマフォを決定する時に使われる。
【００４７】
まず、ブロッキングセマフォが基準VOPからインターVOPに伝播されることを説明する。図３はインターVOPの８×８ブロック(Ac)と基準VOPにおける隣のブロックとの関係を示すことである。ブロッキングセマフォの伝播は動きベクトルMVx、MVyにより次のように記述される。
【００４８】
図３でAr、Br、Cr及びDrは基準VOPのブロックで、Acは現在のインターVOPのブロックで、Xは前記Acの動きブロックである。前記動きブロックXは動きベクトルMVx、MVyを使用することによって推定される。まず前記動きブロックXと前記基準ブロックと重なった程度を調べる。もし前記動きブロックXと前記基準ブロックの重なった領域が２×２画素より広いブロックだけ各々計算に使用すれば、前記現在ブロックAcのHBS及びVBSは動き推定されたブロックXにより重なる基準ブロックのHBS及びVBSをビット単位論理積演算することによって計算できる。
【００４９】
例えば、動きベクトルがMVx＝５、MVy＝３.５の時、動き推定されたブロックXは４つの基準ブロックAr、Br、Cr及びDrと重なる。ここで前記４つの重なった領域は全て２×２画素より広い。したがって、現在ブロックAcのHBS及びVBSは図４に示したように４つの基準ブロックAr、Br、Cr及びDrより計算できる。ここで’&’はビット単位論理積演算、’｜’はビット単位論理和演算を示す。次に、リンギングセマフォが基準VOPからインターVOPに伝播されることを説明する。まず、インターVOPの８×８ブロックでの残差信号の逆量子化係数(IQC)を検査して前記IQCが“０”でないと、基準ブロックAcのRSを“１”にセットする。MPEG−４アルゴリズムは一つのマクロブロック(MB)に対する４つの動きベクトルを伝達する８×８予測モードを支援する。前記８×８予測モードは大慨高周波成分を有するビジ領域(busy area)に適用される。したがって、前記ブロックが８×８予測モードを有するかを検査して、８×８予測モードを有するブロックのRSは“１”にセットされる。もしRSが前記２種類の検査後にも相変らずRSが“０”であれば、現在ブロックAcのRSは、前記ブロッキングセマフォと同じ方式で、基準ブロックAr、Br、Cr及びDrと重なった領域が各々２×２より広い基準ブロックのRSに対してビット単位論理積演算により計算できる。RS計算の一例が図４に示されている。
【００５０】
２. セマフォを用いた映像データの後処理
一方、ディブロッキングフィルター１１０、コーナー異常値補償部１２０及びディリンギングフィルター１３０に対して具体的に説明する。
【００５１】
２.１. ブロッキングアーチファクト減少のためのディブロッキングフィルター
ブロッキングアーチファクト減少のための一次元低域通過フィルタリングは水平境界及び垂直境界上のブロッキングセマフォによって強くまたは弱く遂行される。ブロッキングアーチファクトを減らすために、大部分のディブロッキング方法は映像エッジ情報を計算し、前記映像エッジに基づいた低域通過フィルター(LPF)を適応的に適用する。しかし本発明によるディブロッキング方法は前記求めたブロッキングセマフォを利用するため、多くの計算量を要求する映像エッジ検出を必要としない。
【００５２】
処理されるべき８×８ブロックと隣接ブロックが図５に示されている。ブロック−IのHBSとブロック−JのHBS二つとも“１”にセットされているとしたら、７−タブ(１、１、１、２、１、１、１)LPFが図５の水平ブロック境界上の画素A、B、C、D、E及びFに適用される。水平ディブロッキングフィルタリングをアルゴリズムに示すと次の通りである。
if(ブロック−IのHBS＝＝１ andブロック−JのHBS＝＝１)
７−tab フィルタリング; // A、B、C、D、E and Fを変更//
else
if ( ｜D−C｜ ＜ QP )
弱フィルタリング;; // B、C、D及びEを変更//
【００５３】
前記アルゴリズムを説明すると、ブロックI及びブロックJの水平ブロッキングセマフォが“１”にセットされていると、前記ブロックIとブロックJを境界つける水平ブロック境界線を介在した所定個数の画素値を変化させる。前記フィルタリングは前記６個の画素に対して７−タブ(１、１、１、２、１、１、１)低域通過フィルタリングを使用してなされる。
【００５４】
前記ブロックI及びブロックJ中何れか一つでも水平ブロッキングセマフォが“０”であれば、水平ブロック境界線を介在して隣接した二つの画素の差とH.２６３の量子化された要素のQPを比較して、二つの画素の差がQPより小さければ前記７−タブフィルタリングより少ない個数の画素値を変化させる。即ち、前記画素B、C、D及びEに対してフィルタリングを遂行するが、前記画素C及びDの差をdとする時、フィルタリングされた画素C及びDは前記画素C及びDを平均値とし、フィルタリングされた画素B及びEは前記画素B及びE値とd/８の差がある値とする。
【００５５】
図６Aは１次元観点のブロッキングアーチファクトの例を示すことである。図６Bは前記７−タブフィルタリングを遂行した後の結果を示している。図６Cは弱フィルタリングを遂行した後の結果を示すことであって、前記弱フィルタリングはブロック境界の画素値の差d＝｜D−C｜がQPより小さい時遂行される。ここでパラメータQPはH.２６３の量子化要素である。MPEG−４はH.２６３量子化を支援する。図６Cの弱フィルタリング場合において、境界画素C及びDは平均値になる。また隣接した画素B及びEはブロッキングアーチファクトをやんわりとするために少しだけ変わる。本発明によるディブロッキングフィルタリングは、１次元の人為的な不連続を減らすためにブロック境界上の画素値を変更させる。そして垂直ブロック境界線を介在した画素に対しては、前記垂直ブロッキングセマフォを用いて前記水平ブロック境界線を介在した画素と同じ方式でフィルタリングすればよい。即ち、垂直フィルタリングは水平フィルタリングと同じ方式で遂行される。本発明による方法はブロックに基づいた並列処理によりハードウェアに具現でき、７−タブフィルタリングと弱フィルタリングに対してシフト及び加算演算だけ必要とする。例えば７−タブフィルタリングの場合、画素Cをフィルタリングした値をC’とすると、C’＝(A＋A＋B＋２C＋D＋E＋F＋４)/８に求めうり、これはシフト演算及び加算演算で可能である。
【００５６】
２.２. コーナー異常値補償
コーナー異常値は図７に示したようにMPEG−圧縮解除された映像の８×８ブロックのコーナーポイントで、隣る画素よりその画素値がはるかに大きいかまたは小さな画素により。図７Aで斜線の領域が４つのブロックにかけて分布され、前記斜線の領域の一つや二つの画素が隣るブロックのコーナーポイントに位置する時、コーナーポイントは図７Bに示したようにDCT係数の量子化により歪曲できる。このように歪曲されたコーナーポイントをコーナー異常値という。前記コーナー異常値はディブロッキングフィルター及びディリンギングフィルターでは除去できない。前記コーナー異常値を減らすために、まずコーナー異常値を検出し、その後に、前記検出されたコーナー異常値を補償する。図７Cはコーナー異常値検出のための簡単な座標値を記述している。ここでA、B、C及びDは８×８ブロックのコーナーポイントの画素値である。
【００５７】
まず、前記コーナー異常値検出のためのアルゴリズムは次のように示しうる。
value［０］＝A; value［１］＝B;
value［２］＝C; value［３］＝D;
Average＝(A＋B＋C＋D＋２)/４;
Count＝０;
for(m＝０; m＜４; m＋＋)
if (｜value［m］−Average｜ ＞ QP)
Count＋＋; /*候補ポイントの個数*/
ここでQPはH.２６３の量子化要素である。
【００５８】
前記Countはコーナー異常値候補画素の数を貯蔵する変数である。もし前記Countが“０”であれば、コーナー異常値はない。もしAだけ図７Cで候補ポイントであり、｜A−A３｜が３QP/２より小さければ、コーナー異常値補償はA、A３及びA２上に次のように遂行される。Aに対して補償された値をA’、A１に対して補償された値をA’１、A２に対して補償された値をA’２とすると、前記A’、A’１及びA’２は数式１のように決定される。
（数１）
A’＝(４A＋B＋C＋２D＋４)/８
A’１＝(A’＋３A１＋２)/４
A’２＝(A’＋３A２＋２)/４
【００５９】
候補ポイント個数が二つ以上であれば、(A３＋B３＋C３＋D３＋２)/４より最も大きい差を有する候補が選択されて、コーナー異常値補償は前記一つの候補の場合と同じ方法でそのポイントに対して遂行される。
【００６０】
２.３. リンギングノイズ減少のためのディリンギングフィルター
各ブロックに対してディリンギングフィルターを適用する前に、RSを調べる。もし現在ブロックのRSが“１”であれば、ディリンギングフィルタリングは前記ブロックに適用される。映像の細部成分がフィルタリングにより歪曲されることを防止するために、フィルタリング前に簡単なエッジ検出が遂行される。図８A及び図８Bに示したように、エッジ検出及び２次元信号適応フィルタリング(２−D SAF)は“０”でないリンギングセマフォを有する８×８ブロックに適用される。２次元SAFは８×８ブロックの中心に位置した４×４画素に適用される。なぜなら境界画素はディブロッキングフィルターによりやんわりとなるからである。
【００６１】
まず、エッジ検出に対して説明する。映像エッジを発見するために、１次元水平及び垂直傾斜(gradient)演算子が再構成されたブロックに適用される。エッジ画素を決定するためのしきい値はH.２６３の量子化要素QPから選択される。２次元SAFが４×４画素に適用されるために、エッジ情報は図８Bに示したように現在ブロック内の６×６画素に対して得られるべきである。水平エッジ検出は、画素［m］［n］、前記画素［m］［n］の右側画素を画素［m］［n＋１］、左側画素を画素［m］［n−１］、前記画素［m］［n］と画素［m］［n＋１］の差をA１、前記画素［m］［n］と画素［m］［n−１］の差をA２、H.２６３の量子化要素をQPとする時、条件式((A１＞QP) and (A２＞QP)) or (A１＞２QP) or (A２＞２QP)を満足すると、エッジに検出され、エッジ［m］［n］ ＝１になる。そして垂直エッジ検出は、画素［m］［n］、前記画素［m］［n］の上側画素を画素［m＋１］［n］、下側画素を画素［m−１］［n］、前記画素［m］［n］と画素［m＋１］［n］の差をA’１、前記画素［m］［n］と画素［m−１］［n］の差をA’２、H.２６３の量子化要素をQPとする時、条件式((A’１＞QP) and (A’２＞QP)) or (A’１＞２QP) or (A’２＞２QP)を満足すると、エッジに検出され、エッジ［m］［n］＝１になる。
【００６２】
以上のエッジマップEdge［m］［n］を画素値pixel［m］［n］より生成するアルゴリズムで表現すると次の通りである。
/*水平エッジ検出*/
A１＝｜pixel［m］［n］−pixel［m］［n＋１］｜;
A２＝｜pixel［m］［n］−pixel［m］［n−１］｜;
if (((A１＞QP) and (A２＞QP)) or (A１＞２QP) or (A２＞２QP))
Edge［m］［n］ ＝ １ ;
else { /*垂直エッジ検出*/
A１＝｜pixel［m］［n］−pixel［m＋１］［n］｜;
A２＝｜pixel［m］［n］−pixel［m−１］［n］｜;
if (((A１＞QP) and (A２＞QP)) or (A１＞２QP) or (A２＞２QP))
Edge［m］［n］＝１ ;}
【００６３】
次に２次元信号適応フィルター(SAF)を使用したディリンギングフィルタリングに対して説明する。前記フィルタリングは映像の細部成分の深刻な損失なくリンギングノイズをやんわりとするためのことである。本発明によるディリンギングフィルタリングはエッジマップによりたたみこみ(convolution)に対する加重要素が変わる簡単なたたみこみ演算である。前記SAFはEdge［m］［n］を使用することによって復号化されたブロックに適用される。図８Aは２次元SAFに対するカーネル(kernel)を示している。図８Bのフィルターウインドの中心点Aがエッジ画素であれば、２次元フィルタリング演算は遂行されない(図８Bの例１)。４−コネクテッドフィルターウインドでエッジポイントが含まれていないと、低域通過フィルタリングが遂行される(図８Bの例２)。もし、中心点上にないいずれかのエッジポイントが４−コネクテッド フィルタウインドにあれば、エッジ画素を除外した加重フィルタリングが遂行される(図８Bの例３)。加重要素が計算の複雑性を考えて定義され、従ってSAFフィルタリングが表１に示したように簡単なシフト及び加算演算により遂行される。
【表１】
表１で“０”は非エッジを示し、“１”はエッジを示す。
【００６４】
一方、前述した本発明の実施例はコンピュータで実行できるプログラムで作成可能である。そしてコンピュータで用いられる媒体から前記プログラムを動作させる汎用デジタルコンピューターで具現できる。前記媒体はマグネチック貯蔵媒体(例:ROM、フロッピー（登録商標）ディスク、ハードディスク等)、光学的判読媒体(例:CD−ROM、DVD等)及び搬送波(例:インターネットを通じて伝送)のような貯蔵媒体を含む。
【００６５】
例えば、前記貯蔵媒体は、ブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理方法において、逆量子化された前記映像データの逆量子化係数の分布及び以前VOPのブロックと現在VOPのブロック差を示す動きベクトルを利用して、復号化された映像の後処理必要性可否を示すセマフォを検出するセマフォの検出段階がコンピュータにより遂行されるプログラムコード手段と、前記検出されたセマフォを検査して後処理が必要と示すと、前記セマフォに相応する復号化された映像データを所定の方法によりフィルタリングするフィルタリング段階がコンピュータにより遂行されるプログラムコード手段を含むことを特徴とする。
【００６６】
そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは本発明の属する技術分野のプログラマーにより容易に推論できる。
【００６７】
〔発明の効果〕
高圧縮された映像データを復元する時、ブロッキングアーチファクト、コーナー異常値及びリンギングノイズのような量子化効果が発生される。本発明による後処理方法はセマフォと適応フィルターを使用することによって量子化効果を減少させる。各ブロックのブロッキング及びリンギングセマフォは後フィルタリングの計算量を減らすのに大きい助けになる。現ブロックに対するブロッキング及びリンギングセマフォを検出するためには、インターVOPの動きベクトルが使われる。
【００６８】
ビデオコーディングで、高品質の映像及びハードウェア及びソフトウェアへの具現の容易性のためには計算の複雑性及びPSNRが考慮されるべきである。ハードウェア複雑性の側面で、本発明による方法は乗算と割算なく並列処理により遂行できる。
【００６９】
本発明による後処理方法は映像の細部成分を維持しながら主観的画質を大きく向上させるため、広範囲に使われうる。本発明による方法はJPEG、H.２６３＋、MPEG−１及びMPEG−４解体映像に適用できる。
【産業上の利用可能性】
【００７０】
本発明による後処理方法は映像の細部成分を維持しながら主観的画質を大きく向上させるため、広範囲に使われうる。本発明による方法はJPEG、H.２６３＋、MPEG−１及びMPEG−４解体映像に適用できる。
【符号の説明】
【００７１】
１０ 映像データ後処理装置
２０ 映像データ復号化器
１００ セマフォ検出部
１１０ ディブロッキングフィルター
１２０ コーナー異常値補償部
１３０ ディリンギングフィルター
【特許請求の範囲】
【請求項１】
ブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理方法において、
前記映像データのブロックの所定領域に“０”でない値を有するピクセル係数を含んでいるか否かを用いて復号化された映像の隣接したブロック境界近くのブロッキングアーティファクトを減少させるフィルタリングの必要性可否を示すセマフォを抽出するセマフォ抽出段階と、
前記抽出されたセマフォを検査してフィルタリングが必要ということを示すと、復号化された映像データを、前記セマフォの抽出結果によりディブロッキングフィルタリングを行うフィルタリング段階とを含み、
前記セマフォは前記映像データのブロックの所定領域に“０”でない値を有するピクセルを含む場合フィルタリングが必要を示すようにセットし、前記映像データのブロックの所定領域に“０”でない値を有するピクセルを含まない場合フィルタリングが不要を示すようにセットされ、
前記フィルタリングは前記ブロック境界の画素値の差異及び量子化パラメータＱＰによって強くまたは弱く行なわれる
ことを特徴とする量子化効果減少のための映像データ後処理方法。
【請求項２】
前記ブロック境界の画素値の差異が前記量子化パラメータＱＰ値より小さい場合は弱いフィルタリングが行なわれる
ことを特徴とする請求項１に記載の量子化効果減少のための映像データ後処理方法。
【請求項３】
前記フィルタリング段階は、 抽出されたセマフォによってブロックの境界に該当するピクセルに対してブロッキングアーティファクトを減少できるようにフィルタリングする
ことを特徴とする請求項１に記載の量子化効果減少のための映像データ後処理方法。
【請求項４】
前記セマフォは、
水平に隣接したブロック境界近くのブロッキングアーティファクトを減少させる必要性可否を示す水平ブロッキングセマフォと、
垂直に隣接したブロック境界近くのブロッキングアーティファクトを減少させる必要性可否を示す垂直ブロッキングセマフォとを含み、
逆量子化係数のうち、
低周波成分の係数だけ“０”でないならば、水平ブロッキングセマフォと垂直ブロッキングセマフォをフィルタリングが必要を示すようにセットし、
一番上行の係数中いずれか一つでも“０”でないならば、垂直ブロッキングセマフォをフィルタリングが必要を示すようにセットし、
一番左側列の係数中いずれか一つでも“０”でないならば、水平ブロッキングセマフォを後処理必要を示すようにセットする
ことを特徴とする請求項１に記載の量子化効果減少のための映像データ後処理方法。
【請求項１】
ブロックに基づいて圧縮符号化された映像データを復号化する時発生する量子化効果を減少させるための映像データ後処理方法において、
前記映像データのブロックの所定領域に“０”でない値を有するピクセル係数を含んでいるか否かを用いて復号化された映像の隣接したブロック境界近くのブロッキングアーティファクトを減少させるフィルタリングの必要性可否を示すセマフォを抽出するセマフォ抽出段階と、
前記抽出されたセマフォを検査してフィルタリングが必要ということを示すと、復号化された映像データを、前記セマフォの抽出結果によりディブロッキングフィルタリングを行うフィルタリング段階とを含み、
前記セマフォは前記映像データのブロックの所定領域に“０”でない値を有するピクセルを含む場合フィルタリングが必要を示すようにセットし、前記映像データのブロックの所定領域に“０”でない値を有するピクセルを含まない場合フィルタリングが不要を示すようにセットされ、
前記フィルタリングは前記ブロック境界の画素値の差異及び量子化パラメータＱＰによって強くまたは弱く行なわれる
ことを特徴とする量子化効果減少のための映像データ後処理方法。
【請求項２】
前記ブロック境界の画素値の差異が前記量子化パラメータＱＰ値より小さい場合は弱いフィルタリングが行なわれる
ことを特徴とする請求項１に記載の量子化効果減少のための映像データ後処理方法。
【請求項３】
前記フィルタリング段階は、 抽出されたセマフォによってブロックの境界に該当するピクセルに対してブロッキングアーティファクトを減少できるようにフィルタリングする
ことを特徴とする請求項１に記載の量子化効果減少のための映像データ後処理方法。
【請求項４】
前記セマフォは、
水平に隣接したブロック境界近くのブロッキングアーティファクトを減少させる必要性可否を示す水平ブロッキングセマフォと、
垂直に隣接したブロック境界近くのブロッキングアーティファクトを減少させる必要性可否を示す垂直ブロッキングセマフォとを含み、
逆量子化係数のうち、
低周波成分の係数だけ“０”でないならば、水平ブロッキングセマフォと垂直ブロッキングセマフォをフィルタリングが必要を示すようにセットし、
一番上行の係数中いずれか一つでも“０”でないならば、垂直ブロッキングセマフォをフィルタリングが必要を示すようにセットし、
一番左側列の係数中いずれか一つでも“０”でないならば、水平ブロッキングセマフォを後処理必要を示すようにセットする
ことを特徴とする請求項１に記載の量子化効果減少のための映像データ後処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２４９３２１（Ｐ２０１２−２４９３２１Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１２−１７２８６５（Ｐ２０１２−１７２８６５）
【出願日】平成２４年８月３日（２０１２．８．３）
【分割の表示】特願２００８−３１４５５４（Ｐ２００８−３１４５５４）の分割
【原出願日】平成１０年１０月９日（１９９８．１０．９）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【出願人】（５００１９２４７０）コリア・アドヴァンスド・インスティテュート・オブ・サイエンス・アンド・テクノロジー (12)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２４年８月３日（２０１２．８．３）
【分割の表示】特願２００８−３１４５５４（Ｐ２００８−３１４５５４）の分割
【原出願日】平成１０年１０月９日（１９９８．１０．９）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【出願人】（５００１９２４７０）コリア・アドヴァンスド・インスティテュート・オブ・サイエンス・アンド・テクノロジー (12)
【Ｆターム（参考）】
[ Back to top ]