説明

適応型走査を用いる動画の符号化/復号化装置

【課題】本発明は、適応型走査を用いる動画の符号化/復号化装置及びその方法に関し、動画の符号化において、所定サイズのブロックに対するイントラ予測の実行後、残差信号のDCT及び量子化された係数に対する走査方法をイントラ予測モードに応じて適応的に適用することによって、圧縮率を高めることができる適応型走査を用いる動画符号化装置及び方法、並びにそれによる復号化装置を提供すること。
【解決手段】
本発明に係る適応型走査を用いる動画符号化装置は、予測モードを選択して出力するモード選択手段と、前記予測モードに応じて入力映像の符号化する画素値を予測し、残差信号ブロックを出力する予測手段と、前記残差信号ブロックをDCT変換し、量子化する変換/量子化手段と、前記量子化された残差信号ブロックを前記予測モードに応じて適応的に走査して符号化する符号化手段とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画データの符号化及び復号化に関し、より詳しくは、所定サイズのブロックに対するイントラ予測の実行後、残差信号のDCT及び量子化によって生成された係数に対する走査方法をイントラ予測モードによって相違に適用し、圧縮率を高めるための適応型走査を用いる動画の符号化/復号化装置及びその方法に関する。
【背景技術】
【0002】
動画データを符号化(encoding)及び復号化(decoding)するために用いるH.264標準によると、1つのフレームに含まれている複数のマクロブロック単位、又はマクロブロックを二分割又は四分割して得られたサブブロック単位で符号化及び復号化を行う。符号化及び復号化は、時間的予測と空間的予測に基づいて行われる。時間的予測は、現在フレームのマクロブロックの動きの予測において、隣接するフレームのマクロブロックを参照して予測を行うことであり、空間的予測は、符号化しようとする現在フレームのマクロブロックを、そのフレーム内で隣接するブロックを用いて予測を行うことである。
【0003】
空間的予測をイントラ予測(Intra prediction)ともいうが、イントラ予測は、ある画素の予測において、それと隣接する画素が類似値を有する可能性が高いという特徴を用いるものである。H.264標準は、9つの方向性を考慮した予測モードを用いて現在ブロックの画素値を予測する。
【0004】
図1は、H.264における4×4ブロック及び8×8ブロックに対するイントラ予測モードを示す図面である。
【0005】
同図に示すように、H.264標準では、4×4ブロック及び8×8ブロックのイントラ予測において9つの予測モードを用いる。予測方向によって、垂直(Vertical)モード(モード0)、水平(Horizontal)モード(モード1)、DCモード(モード2)、対角左下向モード(Diagonal_Down_Left mode)(モード3)、対角右下向モード(Diagonal_Down_Right mode)(モード4)、垂直右向モード(Vertical_Right)(モード5)、水平下向モード(Horizontal_Down mode)(モード6)、垂直左向モード(Vertical_Left mode)(モード7)、水平上向モード(Horizontal_Up mode)(モード8)が存在する。矢印は予測方向を示す。以下では、4×4ブロックをイントラ予測する場合、垂直モード及び水平モードにおける予測過程を説明する。
【0006】
図2は、垂直モードにおける画素予測過程を説明するための図面である。
【0007】
同図に示すように、垂直モードにおいて、画素a302、e304、i306、m308は、垂直方向に隣接する画素Aから予測し、このような方法によって、画素b、f、j、nは画素Bから予測し、画素c、g、k、oは画素Cから予測し、画素d、h、l、pは画素Dから予測する。
【0008】
図3は、水平モードにおける画素予測過程を説明するための図面である。
【0009】
同図に示すように、水平モードにおいて、画素a312、b314、c316、d318は、水平方向に隣接する画素Iから予測し、このような方法によって、画素e、f、g、hは画素Jから予測し、画素i、j、k、lは画素Kから予測し、画素m、n、o、pは画素Lから予測する。
【0010】
一方、従来の動画符号化器では、予測した信号と現在の信号とを差分した残差信号をDCT及び量子化した後、DCT及び量子化された係数をジグザグ(zig−zag)走査してエントロピー符号化を行う。
【0011】
しかし、予測モードが水平モードか又は垂直モードかによって、残差信号の相関性が水平方向に高いか又は垂直方向に高い可能性が高いという点を考慮すると、予測モードの種類にかかわらず、固定した方式のジグザグ走査を用いて符号化する従来の方法は、高い圧縮率を得るのに不適であるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0012】
本発明は、上記問題を解決するために提案されたものであって、動画の符号化において、所定サイズのブロックに対するイントラ予測の実行後、残差信号のDCT及び量子化された係数に対する走査方法をイントラ予測モードに応じて適応的に適用することによって、圧縮率を高めることができる適応型走査を用いる動画符号化装置及び方法、並びにそれによる復号化装置を提供することにその目的がある。
【課題を解決するための手段】
【0013】
上記目的を達成するための本発明は、適応型走査を用いる動画符号化装置であって、予測モードを選択して出力するモード選択手段と、前記予測モードに応じて入力映像の符号化する画素値を予測して、残差信号ブロックを出力する予測手段と、前記残差信号ブロックをDCT変換し、量子化する変換/量子化手段と、前記量子化された残差信号ブロックを前記予測モードに応じて適応的に走査して符号化する符号化手段とを備えることを特徴とする。
【0014】
一方、本発明は、適応型走査を用いる動画復号化装置であって、符号化されたビットストリームを受信し、エントロピー復号化方法にしたがって復号化して出力するエントロピー復号化部と、該エントロピー復号化部から復号化された信号を受信し、復号化された信号の符号化過程で用いられた走査方式を獲得して、前記復号化された信号と共に出力する走査方式決定部と、前記復号化された信号を前記走査方式にしたがって復元して、復元映像を出力する映像復元部とを備えるが、前記走査方式は、イントラ予測モードによって走査方式を相違に適用した適応型走査方式であることを特徴とする。
【0015】
また一方、本発明は、適応型走査を用いる動画符号化方法であって、予測モードを選択する予測モード選択ステップと、前記選択した予測モードに応じて入力映像の符号化する画素値を予測して、残差信号ブロックを出力する予測ステップと、前記残差信号ブロックをDCT変換し、量子化する変換/量子化ステップと、前記量子化された残差信号ブロックを前記予測モードに応じて適応的に走査し、走査された係数を出力する適応型走査ステップと、前記走査された係数を符号化する符号化ステップとを含むことを特徴とする。
【発明の効果】
【0016】
本発明は、動画の符号化において、所定サイズのブロックに対するイントラ予測の実行後、残差信号のDCT及び量子化された係数に対する走査方法をイントラ予測モードに応じて適応的に適用することによって、符号化の圧縮率を大きく向上させることができる効果がある。
【図面の簡単な説明】
【0017】
【図1】H.264における4×4ブロック及び8×8ブロックに対するイントラ予測モードを示す図面である。
【図2】垂直モードにおける画素予測過程を説明するための図面である。
【図3】水平モードにおける画素予測過程を説明するための図面である。
【図4】本発明による動画符号化装置の一実施形態の構成図である。
【図5】従来のジグザグ走査方式を示す図面である。
【図6】本発明による水平優先走査方式の一実施形態を示す図面である。
【図7】本発明による垂直優先走査方式の一実施形態を示す図面である。
【図8】本発明による適応型走査を用いる動画符号化方法の一実施形態のフローチャートである。
【図9】本発明による適応型走査過程の一実施形態の詳細なフローチャートである。
【図10】本発明による動画復号化装置の一実施形態の構成図である。
【発明を実施するための形態】
【0018】
以下の内容は、単に本発明の原理を例示している。したがって、当業者は、本明細書で明確に説明又は図示していないが、本発明の原理を実現し、本発明の概念と範囲に含まれる様々な装置を発明することができる。また、本明細書に列挙する全ての条件付き用語及び実施形態は、原則的に、本発明の概念を理解させるための目的としてのみ明確に意図され、このように特別に列挙する実施形態及び状態によって制限されるものではないことを理解しなければならない。
【0019】
また、本発明の原理、観点、及び実施形態だけでなく、特定の実施形態を列挙する全ての詳細な説明は、このような事項の構造的及び機能的同等物を含むように意図するものとして理解しなければならない。また、このような同等物は、現在公知となっている同等物だけでなく、将来に開発される同等物、すなわち、構造にかかわらず、同じ機能を行うように発明される全ての素子を含むものとして理解しなければならない。
【0020】
したがって、プロセッサ又はこれと類似する概念で表示した機能ブロックを含む図面に示す多様な素子の機能は、専用ハードウェアだけでなく、適切なソフトウェアに係ってソフトウェアを実行する能力を有するハードウェアの使用に提供できる。プロセッサによって提供されるとき、前記機能は、単一専用プロセッサ、単一共有プロセッサ、又は複数の個別的プロセッサによって提供でき、これらのうち、一部は共有することができる。
【0021】
また、プロセッサ、制御、又はこれと類似する概念で提示する用語の使用は、ソフトウェアを実行する能力を有するハードウェアを排他的に引用して解釈してはならず、制限することなく、デジタル信号プロセッサ(DSP)、ハードウェア、ソフトウェアを格納するためのROM、RAM、及び不揮発性メモリを暗示的に含むものとして理解しなければならない。周知慣用の他のハードウェアも含まれ得る。
【0022】
上述した目的、特徴、及び長所は、添付図面に係る以下の詳細な説明によってより明確になるであろう。本発明の説明において、関連の公知技術についての具体的な説明が、本発明の要旨から逸脱する可能性があると判断される場合、その詳細な説明を省略する。以下、添付図面を参照して本発明による好ましい実施形態を詳細に説明する。
【0023】
図4は、本発明による動画符号化装置の一実施形態の構成図である。同図に示すように、本発明による動画符号化装置は、イントラ予測部110、モード選択部120、DCT/量子化部130、及びエントロピーコーディング部140を備えて構成される。
【0024】
モード選択部120は、前述した様々なイントラ予測モードのうち、最適の予測モードを選択してイントラ予測部110に出力する。すなわち、4×4イントラ予測、16×16イントラ予測、及び8×8イントラ予測時に、可能な様々な符号化予測モードのうち、1つを選択する。一般的に、レート−歪み(Rate−Distortion)を最大に減らしたレート−歪み最適化(RD Optimization)方法にしたがって1つの予測モードを選択する。
【0025】
前記予測モードは、輝度ブロックである場合、H.264のイントラ4×4輝度符号化モードである垂直(Vertical)モード、水平(Horizontal)モード、DCモード、対角左下向モード(Diagonal_Down_Left mode)、対角右下向モード(Diagonal_Down_Right mode)、垂直右向モード(Vertical_Right mode)、水平下向モード(Horizontal_Down mode)、垂直左向モード(Vertical_Left mode)、及び水平上向モード(Horizontal_Up mode)と、イントラ16×16輝度符号化モードである垂直モード、水平モード、プレーン(Plane)モード、及びDCモードであることが好ましい。
【0026】
また、前記予測モードは、色度ブロックである場合、H.264イントラM×N色度符号化モードである垂直モード、水平モード、プレーンモード、及びDCモードであることが好ましい。
【0027】
イントラ予測部110は、モード予測部120から受信した予測モードに応じて入力映像に対する予測を行い、符号化しようとする現在フレームのマクロブロック内の画素値と予測画素値との差を示す残差信号ブロックを出力する。本実施形態では、輝度(luminance)ブロックの画素に対しては4×4イントラ予測を行い、色度(chrominance)ブロックの画素に対しては8×8イントラ予測を行う。
【0028】
DCT/量子化部130は、イントラ予測部110から受信した残差信号ブロックに対してDCT変換し、量子化してエントロピーコーディング部140に出力する。
【0029】
エントロピーコーディング部140は、前記量子化された残差信号ブロックを予測モードの種類に応じて適応的に走査して係数を並べ、エントロピーコーディングして出力する。エントロピーコーディングは、発生頻度の高いデータに対しては少ないビットを割り当て、発生頻度の低いデータに対しては多くのビットを割り当てることによって、データの圧縮率を高めるコーディング方法である。本発明に適用可能なエントロピーコーディング方法としては、CAVLC(Context Adaptive Variable Length Coding)、又はCABAC(Context−Based Adaptive Binary Arithmetic Coding)などがある。
【0030】
図5は、従来のジグザグ走査方式を示す図面である。
【0031】
同図に示すように、従来のジグザグ走査は、DCTの重要係数が左側上段に位置する可能性が高いということを考慮して考案された方法である。しかし、イントラ予測モードとして垂直モードや水平モードを選択する場合、残差信号の相関性が垂直方向や水平方向に高くなる可能性が高いため、重要係数の位置が垂直モードである場合、1行目付近に重要係数が主に現れ、水平モードである場合、1列目付近に重要係数が主に現れる。したがって、上記のような場合、既存のジグザグ走査に代わる他の走査方法が必要となる。以下、本発明のイントラ予測モードの種類による適応型走査方式の実施形態について説明する。
【0032】
図6は、本発明による水平優先走査方式の一実施形態を示し、図7は、本発明による垂直優先走査方式の一実施形態を示す図面である。
【0033】
本発明の好ましい一実施形態によるエントロピーコーディング部140では、イントラ予測モードが垂直モードである場合は、図6のような走査方式(水平優先走査方式)を用い、イントラ予測モードが水平モードである場合は、図7のような走査方式(垂直優先走査方式)を用い、その他の場合は、既存のジグザグ走査方式を用いて係数を並べた後、エントロピーコーディングして出力する。
【0034】
水平優先走査方式は、図6に示すように、まず、1行目の全てのブロックを走査し、次いで2行目のブロックのうち、1番目から3番目のブロック、3行目の2番目及び1番目のブロック、4行目の1番目及び2番目のブロック、3行目の3番目のブロック、2行目の4番目のブロック、3行目の4番目のブロック、4行目の3番目及び4番目のブロックの順に走査する。したがって、本発明による水平優先走査方式は、1行目の全てのブロックを優先走査することによって、行方向に高い相関度を有し、1行目付近に重要係数が主に位置する垂直モードに適合する。
【0035】
垂直優先走査方式は、図7に示すように、まず、1列目の全てのブロックを走査し、次いで2列目の1番目から3番目のブロック、3列目の2番目及び1番目のブロック、4列目の1番目及び2番目のブロック、3列目の3番目のブロック、2列目の4番目のブロック、3列目の4番目のブロック、4列目の3番目及び4番目のブロックの順に走査する。したがって、本発明による垂直優先走査方式は、1列目の全てのブロックを優先走査することによって、列方向に高い相関度を有し、1列目付近に重要係数が主に位置する垂直モードに適合する。
【0036】
本発明は、走査方式の適用をイントラモードに依存して決定するため、既存のシンタックス(syntax)にいかなる影響も与えず、符号化及び復号化段階の走査方式の意味(semantics)のみを若干修正することによって実現できる。したがって、H.264のような動画の符号化/復号化の技術分野の当業者であれば、前述した本発明のイントラ予測モードによる適応型走査方式を既存の動画の符号化/復号化装置に基づいて容易に実現することができるため、その実現に係るより具体的な説明は省略する。
【0037】
図8は、本発明による適応型走査を用いる動画符号化方法の一実施形態のフローチャートである。
【0038】
まず、符号化する映像がイントラ予測部110に入力されると(510)、モード選択部120は、イントラ予測モードを選択する(520)。
【0039】
次いで、イントラ予測部110は、選択された予測モードに応じて入力映像に対する予測を行い(530)、符号化しようとする現在フレームのマクロブロック内の画素値と予測画素値との差分値を有する残差信号ブロックを生成する(540)。
【0040】
次いで、DCT/量子化部130は、前記残差信号ブロックをDCT変換し、量子化する(550)。
【0041】
次いで、エントロピーコーディング部140は、前記量子化された残差信号ブロックを前記予測モードに応じて適応型走査を行い(560)、走査された係数をエントロピーコーディングして出力する(570)。
【0042】
図9は、本発明による適応型走査過程の一実施形態の詳細なフローチャートである。
【0043】
まず、予測モードが垂直モードか否かを判断する(610)。
【0044】
前記判断の結果、垂直モードである場合は、水平優先走査を行う(620)。
【0045】
一方、前記判断の結果、垂直モードではない場合は、予測モードが水平モードか否かを判断する(630)。
【0046】
前記判断の結果、水平モードである場合は、垂直優先走査を行い(640)、水平モードではない場合は、ジグザグ走査を行う(650)。
【0047】
図10は、本発明による動画復号化装置の一実施形態の構成図である。
【0048】
同図に示すように、本発明による動画復号化装置は、エントロピー復号化部210、走査方式決定部220、及び映像復元部230を備えて構成される。
【0049】
エントロピー復号化部210は、符号化されたビットストリームを受信し、CAVLC又はCABACなどのようなエントロピー復号化方法にしたがって復号化を行って出力する。
【0050】
走査方式決定部220は、エントロピー復号化部210から復号化された信号を受信し、復号化された信号が符号化過程で走査された方式を獲得して、前記復号化された信号と共に映像復元部230に伝達する。
【0051】
映像復元部230は、前記復号化された信号を前記走査方式にしたがって復元して復元映像を出力する。
【0052】
上述した方法にしたがって、H.264勧告コデック(Reference Codec)であるJM96(Joint Model 96)を用いて様々なテスト映像に対して実験を行った結果、以下のように圧縮効率が増加することを確認することができた。テスト映像は、H.264で実験映像として勧告する映像を用いて実験を行った。本実験に用いられた具体的な条件は、下記表1のとおりである。
【0053】
【表1】

【0054】
前記表1に記載のように、サイズが異なる7つの映像について実験した。
【0055】
下記表2は、前記実験条件下で従来のH.264ジグザグ走査を用いる符号化方法と、本発明による適応型走査を用いる符号化方法とにしたがってテスト映像を符号化したときの圧縮率を比較した図表である。
【0056】
【表2】

【0057】
前記表2に記載のように、H.264のジグザグ走査方式のみを用いる符号化の圧縮率よりも、本発明で提案したイントラ予測モードによる適応型走査方式を用いる符号化の圧縮率が一層優れていることが分かる。
【0058】
一方、H.264以後に開発されたビデオ圧縮の標準は、既存の9方向イントラ予測モードが相当な複雑度を要求するため、垂直、水平、DC、対角の予測モードのみを用いる可能性が高い点を考慮すると、本実施形態による適応型走査方式を用いる符号化は、更に多くの圧縮率向上を期待することができる(約3%bit saving)。
【0059】
一方、前述した動画の符号化及び復号化方法は、コンピュータプログラムによって作成可能である。当該プログラムを構成するコード及びコードセグメントは、当該分野におけるコンピュータプログラマによって容易に推論できる。また、前記プログラムは、コンピュータが読み取ることができる情報格納媒体(computer readable media)に格納され、コンピュータによって読み取られて実行されることによって、動画の符号化及び復号化方法を実現する。前記情報格納媒体は、磁気記録媒体、光記録媒体、及び搬送波媒体を含む。
【0060】
以上で説明した本発明は、前述した実施形態及び添付図面によって限定されるのではなく、本発明の技術的思想から逸脱しない範囲内で様々な置換、変形、及び変更が可能であることは、本発明の属する技術分野における通常の知識を有する者に明らかである。
【産業上の利用可能性】
【0061】
本発明は、動画符号化システムなどに用いられる。

【特許請求の範囲】
【請求項1】
適応型走査を用いる動画符号化装置であって、
予測モードを選択して出力するモード選択手段(120)と、
前記予測モードに応じて入力映像の符号化する画素値を予測し、残差信号ブロックを出力する予測手段(110)と、
前記残差信号ブロックを変換し、該変換された残差信号ブロックを量子化する変換/量子化手段(130)と、
該変換及び量子化された残差信号ブロックを前記予測モードに応じて適応的に走査して符号化する符号化手段(140)とを備え、
該符号化手段(140)は、前記予測モードが水平モードのときは水平走査を実行し、
及び、前記予測モードが垂直モードのときは垂直走査を実行し、
前記垂直走査の開始地点と終了地点が異なる列に位置し、及び、前記水平走査の開始地点と終了地点が異なる行に位置する、
適応型走査を用いる動画符号化装置。
【請求項2】
前記符号化手段(140)が垂直走査を実行する場合は、前記変換及び量子化された残差信号ブロックにおける1行目の係数を優先走査することを特徴とする請求項1に記載の適応型走査を用いる動画符号化装置。
【請求項3】
前記符号化手段(140)が水平走査を実行する場合は、前記変換及び量子化された残差信号ブロックにおける1列目の係数を優先走査することを特徴とする請求項1に記載の適応型走査を用いる動画符号化装置。
【請求項4】
前記符号化手段(140)が、前記予測モードが垂直モード及び水平モードではない場合、ジグザグ走査方式を用いることを特徴とする請求項1に記載の適応型走査を用いる動画符号化装置。
【請求項5】
前記符号化手段(140)が、前記予測モードに応じて適応的に走査して並べた係数をエントロピー符号化することを特徴とする請求項1に記載の適応型走査を用いる動画符号化装置。
【請求項6】
前記各開始地点と前記各終了地点は前記残差信号ブロックの主対角上に位置することを特徴とする請求項1乃至5のいずれかに記載の適応型走査を用いる動画符号化装置。
【請求項7】
前記残差信号ブロックが4×4ブロックであることを特徴とする請求項1乃至6のいずれかに記載の適応型走査を用いる動画符号化装置。
【請求項8】
適応型走査を用いる動画復号化装置であって、
符号化されたビットストリームを受信し、エントロピー復号化方法にしたがって復号化して出力するエントロピー復号化部(210)と、
該エントロピー復号化部(210)から復号化された信号を受信し、該復号化された信号についての走査方式を獲得して、前記復号化された信号と共に出力する走査方式決定部(220)と、
前記復号化された信号を前記走査方式にしたがって復元して、前記復号化された信号で復元された画像を出力する映像復元部(230)とを備え、
前記走査方式が、前記復号化された信号について使用される予測モードに依存し、及び、
前記映像復元部(230)は、前記予測モードが垂直モードのときは前記復号化された信号を異なる列に位置する開始地点および終了地点を持った垂直走査により復元し、前記予測モードが水平モードのときは前記復号化された信号を異なる行に位置する開始地点および終了地点を持った水平走査により復元する
ことを特徴とする適応型走査を用いる動画復号化装置。
【請求項9】
前記映像復元部(230)は、前記予測モードが垂直モードのときには、前記復元された画像の1列目に対応する前記復号化された信号を優先的に復元することを特徴とする請求項8に記載の適応型走査を用いる動画復号化装置。
【請求項10】
前記映像復元部(230)は、前記予測モードが水平モードのときには、前記復元された画像の1行目に対応する前記復号化された信号を優先的に復元することを特徴とする請求項8に記載の適応型走査を用いる動画復号化装置。
【請求項11】
前記予測モードが垂直モードでも水平モードでもない場合、前記映像復元部(230)は、前記復号化された信号をジグザグ走査に対応して復元することを特徴とする請求項8に記載の適応型走査を用いる動画復号化装置。
【請求項12】
前記各開始地点と前記各終了地点は前記残差信号ブロックの主対角上に位置することを特徴とする請求項8乃至11のいずれかに記載の適応型走査を用いる動画復号化装置。
【請求項13】
前記復元されたエントロピー復号化信号は4×4ブロックに配列された再構築サンプルであることを特徴とする請求項8乃至12のいずれかに記載の適応型走査を用いる動画復号化装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−51741(P2013−51741A)
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願番号】特願2012−270597(P2012−270597)
【出願日】平成24年12月11日(2012.12.11)
【分割の表示】特願2008−536496(P2008−536496)の分割
【原出願日】平成18年10月19日(2006.10.19)
【出願人】(596180076)韓國電子通信研究院 (733)
【氏名又は名称原語表記】Electronics and Telecommunications Research Institute
【住所又は居所原語表記】161 Kajong−dong, Yusong−gu, Taejon korea
【出願人】(508105669)クァンウン ユニバーシティ リサーチ インスティテュート フォー インダストリー コーオペレーション (3)
【Fターム(参考)】