動画像復号化方法及び装置
【課題】フェード画像やディゾルブ画像のような時間的に輝度が変化する動画像に対して高効率の符号化に対応した復号化を可能とする。
【解決手段】可変長復号化器303によって輝度信号と二つの色差信号を有する動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報414、及び少なくとも一つの参照画像番号と、輝度信号及び二つの色差信号毎に予め用意された予測パラメータとの組み合わせを示すインデックス情報415を含む符号化データ300を復号し、フレームメモリ/予測画像作成器308によって、復号化されたインデックス情報により示される組み合わせの参照画像番号と予測パラメータに従って予測画像信号412を生成し、予測誤差信号及び予測画像信号を用いて再生動画像信号を生成する。
【解決手段】可変長復号化器303によって輝度信号と二つの色差信号を有する動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報414、及び少なくとも一つの参照画像番号と、輝度信号及び二つの色差信号毎に予め用意された予測パラメータとの組み合わせを示すインデックス情報415を含む符号化データ300を復号し、フレームメモリ/予測画像作成器308によって、復号化されたインデックス情報により示される組み合わせの参照画像番号と予測パラメータに従って予測画像信号412を生成し、予測誤差信号及び予測画像信号を用いて再生動画像信号を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、特にフェード画像やディゾルブ画像に対して効率の高い符号化/復号化を行う動画像復号化方法及び装置に関する。
【背景技術】
【0002】
ITU−T H.261,H.263,ISO/IEC MPEG−2,MPEG−4といった動画像符号化標準方式では、符号化モードの一つとして動き補償予測フレーム間符号化が用いられる。動き補償予測フレーム間符号化における予測モデルとしては、時間方向には明るさが変化しない場合に最も予測効率が高くなるようなモデルが採用されている。画像の明るさが変化するフェード画像の場合、例えば黒い画像からフェードインして通常の画像になるような場合などにおいて、画像の明るさの変化に対して適切に予測を行う方法は知られていない。従って、フェード画像においても画質を維持するためには、多くの符号量を必要とするという問題がある。
【0003】
この問題に対し、例えば特許第3166716号「フェード画像対応動画像符号化装置及び符号化方法」(特許文献1)では、フェード画像部分を検出して符号量の割り当てを変更することで対応している。具体的には、フェードアウト画像の場合、輝度が変化するフェードアウトの始まり部分に多くの符号量を割り当てる。フェードアウトの最後の部分は、通常、単色の画像になることから容易に符号化が可能となるため、符号量の割り当てを減らす。このようにすることで、総符号量を余り増大させることなく全体の画質を向上させている。
【0004】
一方、特許第2938412号「動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体及び動画像の符号化データを記録した記録媒体」(特許文献2)では、輝度変化量とコントラスト変化量の2つのパラメータに従って参照画像を補償することで、フェード画像に対応する符号化方式を提案している。
【0005】
Thomas Wiegand and Berand Girod, “Multi-frame motion-compensated prediction for video transmission”, Kluwer Academic Publishers 2001 (非特許文献1)には、複数のフレームバッファに基づく符号化方式が提案されている。この方式では、フレームバッファに保持されている複数の参照フレームから選択的に予測画像を作成することで、予測効率の向上を図っている。
【特許文献1】特許第3166716号
【特許文献2】特許第2938412号
【非特許文献1】Thomas Wiegand and Berand Girod, “Multi-frame motion-compensated prediction for video transmission”, Kluwer Academic Publishers 2001
【発明の開示】
【発明が解決しようとする課題】
【0006】
特許文献1では、フェード画像部分を検出して符号量の割り当てを変更することでフェード画像の符号化において総符号量を増大させることなく画質を向上させるために、既存の符号化方式の枠組みの中で実現できる利点はあるが、本質的に予測効率を上げているわけではないので、大きな符号化効率の向上は期待できない。
【0007】
一方、特許文献2では、フェード画像に対する予測効率が向上するというメリットがあるが、画像がある画像から別の画像に徐々に変化する、いわゆるディゾルブ画像(クロスフェード画像とも呼ばれる)に対しては、十分な予測効率が得られない。
【0008】
非特許文献3の方式では、フェード画像やディゾルブ画像に対しては十分な対応がなされておらず、複数の参照フレームを用意しても予測効率の改善を図ることはできない。
【0009】
上述したように従来の技術によると、フェード画像やディゾルブ画像を高い画質を維持しつつ符号化するには多くの符号量を必要とし、符号化効率の向上が期待できないという問題点があった。
【0010】
そこで、本発明は特にフェード画像やディゾルブ画像のような時間的に輝度が変化する動画像に対して、高効率の符号化に対応した復号化を可能とする動画像復号化方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記の課題を解決するため、本発明の第1の態様では動画像の符号化側において、入力動画像信号に対して参照画像及び該入力動画像信号と該参照画像との間の動きベクトルを用いて動き補償予測符号化を行う際、予め用意された少なくとも一つの参照画像番号と予測パラメータとの複数の組合せの中から、入力動画像信号の符号化対象ブロック毎に一つの組み合わせを選択し、選択された組み合わせの参照画像番号と予測パラメータに従って予測画像信号を生成し、入力動画像信号に対する予測画像信号の誤差を表す予測誤差信号を生成し、予測誤差信号、動きベクトルの情報及び選択された組み合わせを示すインデックス情報を符号化する。
【0012】
一方、動画像の復号化側では、動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、及び少なくとも一つの参照画像番号と予測パラメータの組み合わせを示すインデックス情報を含む符号化データを復号化し、復号化されたインデックス情報により示される組み合わせの参照画像番号と予測パラメータに従って予測画像信号を生成し、予測誤差信号及び予測画像信号を用いて再生動画像信号を生成する。
【0013】
本発明の他の態様では、動画像の符号化側において予め用意された予測パラメータの複数の組合せの中から、入力動画像信号の符号化対象ブロック毎に一つの組み合わせを選択し、指定された少なくとも一つの参照画像番号の参照画像と選択された組み合わせの予測パラメータに従って予測画像信号を生成し、入力動画像信号に対する予測画像信号の誤差を表す予測誤差信号を生成し、予測誤差信号、動きベクトルの情報、指定された参照画像番号及び選択された組み合わせを示すインデックス情報を符号化する。
【0014】
動画像の復号化側においては、動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、指定された参照画像番号、及び予測パラメータの組み合わせを示すインデックス情報を含む符号化データを復号化し、復号化された参照画像番号及び復号化されたインデックス情報により示される組み合わせの予測パラメータに従って予測画像信号を生成し、予測誤差信号及び予測画像信号を用いて再生動画像信号を生成する。
【0015】
このように本発明によると、参照画像番号と予測パラメータの組み合わせ、あるいは指定された参照画像番号に対応する複数の予測パラメータの組み合わせの異なる複数の予測方式を用意しておき、フェード画像やディゾルブ画像のような通常の動画像符号化の予測方式では適切な予測画像信号が作成できないような動画像信号に対しても、より予測効率の高い予測方式に基づいて適切な予測画像信号を作成できる。
【0016】
また、動画像信号がプログレッシブ信号のフレーム単位の画像信号、インタレース信号の2フィールドをマージしたフレーム単位の画像信号及びインタレース信号のフィールド単位の画像信号が混在した信号であり、動画像信号がフレーム単位の画像信号の場合は、参照画像番号がフレーム単位の参照画像信号の番号を示し、動画像信号がフィールド単位の画像信号の場合は参照画像番号がフィールド単位の参照画像信号を示すようにする。
【0017】
これにより、動画像信号がフレーム構造とフィールド構造が混在する動画像信号であって、フェード画像やディゾルブ画像のような通常の動画像符号化の予測方式では適切な予測画像信号が作成できないような動画像信号に対しても、より予測効率の高い予測方式に基づいて適切な予測画像信号を作成できる。
【0018】
さらに、符号化側から復号化側に対して参照画像番号や予測パラメータの情報そのものを送るのではなく、参照画像番号と予測パラメータの組み合わせを示すインデックス情報を送るか、あるいは参照画像番号が別途送られる場合には、予測パラメータの組み合わせを示すインデックス情報を送ることによって符号化効率を改善できる。
【発明の効果】
【0019】
本発明によれば特にフェード画像やディゾルブ画像のような時間的に輝度が変化する動画像に対して適切な予測を行い、効率の高い動画像符号化に対応した復号化を行うことができる。
【発明を実施するための最良の形態】
【0020】
以下、図面を参照して本発明の実施形態について説明する。
[第1の実施形態]
(符号化側について)
図1に、本発明の第1の実施形態に係る動画像符号化装置の構成を示す。動画像符号化装置には、この例では例えばフレーム単位で動画像信号100が入力される。この動画像信号100は減算器101に入力され、ここで予測画像信号212との差分がとられて予測誤差信号が生成される。モード選択スイッチ102によって予測誤差信号と入力動画像信号100のいずれか一方が選択され、直交変換器103により直交変換、例えば離散コサイン変換(DCT)が施される。直交変換器103では直交変換係数情報、例えばDCT係数情報が得られる。直交変換係数情報は量子化器104で量子化された後、二分岐される。二分岐された量子化直交変換係数情報210の一方は、可変長符号化器215に導かれる。
【0021】
二分岐された量子化直交変換係数情報210の他方は、逆量子化器105及び逆直交変換器106により量子化器104及び直交変換器103の処理と逆の処理を順次受けて予測誤差信号と同様の信号とされた後、加算器107でスイッチ109を介して入力される予測画像信号212と加算されることにより、局部復号画像信号211が生成される。局部復号画像信号211は、フレームメモリ/予測画像生成器108に入力される。
【0022】
フレームメモリ/予測画像生成器108は、予め用意された参照フレーム番号と予測パラメータの複数の組み合わせの中から一つの組み合わせを選択する。選択された組み合わせの中の参照フレーム番号で示される参照フレームの画像信号(局部復号化画像信号211)について、選択された組み合わせの中の予測パラメータに従って線形和を計算し、さらに予測パラメータに従ったオフセットを加算することにより、この例ではフレーム単位の参照画像信号を生成する。この後、フレームメモリ/予測画像生成器108は参照画像信号に対して動きベクトルを用いて動き補償を行い、予測画像信号212を生成する。
【0023】
この過程でフレームメモリ/予測画像生成器108は、動きベクトル情報214と、参照フレーム番号と予測パラメータの選択された組み合わせを示すインデックス情報215を生成し、さらにモード選択器212に符号化モードの選択に必要な情報を送る。動きベクトル情報214及びインデックス情報215は、可変長符号化器111に入力される。フレームメモリ/予測画像生成器108については、後に詳しく説明する。
【0024】
モード選択器110は、フレームメモリ/予測画像生成器108からの予測情報Pに基づいてマクロブロック単位に符号化モードの選択、すなわちフレーム内符号化(以下、イントラ符号化という)と動き補償予測フレーム間符号化(以下、インター符号化という)のいずれかの選択を行い、スイッチ制御信号M及びSを出力する。
【0025】
イントラ符号化モードでは、スイッチ制御信号M及びSによってスイッチ102,112はA側に切り替えられ、直交変換器103に入力動画像信号100が入力される。インター符号化モードでは、スイッチ制御信号M及びSによってスイッチ102,112はB側に切り替えられ、直交変換器103には減算器102からの予測誤差信号、加算器107にはフレームメモリ/予測画像生成器108からの予測画像信号212がそれぞれ入力される。モード選択器212からはモード情報213が出力され、可変長符号化器111に入力される。
【0026】
可変長符号化器111では、直交変換係数情報210、モード情報213、動きベクトル情報214及びインデックス情報215が可変長符号化され、これによって生成された各可変長符号が多重化器114で多重化された後、出力バッファ115により平滑化される。こうして出力バッファ115から出力される符号化データ116は、図示しない伝送系または蓄積系へ送出される。
【0027】
符号化制御器113は、減算器101から可変長符号化器111までの要素で構成される符号化部112の制御、具体的には例えば出力バッファ115のバッファ量をモニタし、バッファ量が一定となるように量子化器104の量子化ステップサイズなどの符号化パラメータの制御を行う。
【0028】
(フレームメモリ/予測画像生成器108について)
図2には、図1におけるフレームメモリ/予測画像作成器108の詳細な構成を示す。図2において、図1中の加算器107から入力される局部復号画像信号211は、メモリ制御器201による制御の下でフレームメモリセット202に格納される。フレームメモリセット202は、局部復号画像信号211を参照フレームとして一時保持するための複数(N)のフレームメモリFM1〜FMNを有する。
【0029】
予測パラメータ制御器203は、予め参照フレーム番号と予測パラメータの複数の組み合わせをテーブルとして用意しており、入力動画像信号100に基づいて予測画像信号212の生成に用いる参照フレームの参照フレーム番号と予測パラメータの組み合わせを選択し、選択された組み合わせを示すインデックス情報215を出力する。
【0030】
複数フレーム動き評価器204では、予測パラメータ制御器203により選択された参照フレーム番号とインデックス情報の組み合わせに従って参照画像信号を作成し、この参照画像信号と入力画像信号100とから動き量と予測誤差の評価を行い、予測誤差を最小とする動きベクトル情報214を出力する。複数フレーム動き補償器205は、複数フレーム動き評価器204でブロック毎に選択された参照画像信号に対し、動きベクトルに従って動き補償を行うことによって予測画像信号212を生成する。
【0031】
(参照フレーム番号と予測パラメータの組み合わせテーブルについて)
図3は、予測パラメータ制御器203で用意されている参照フレーム番号と予測パラメータの組み合わせテーブルの一例である。インデックスは各ブロック毎に選択され得る予測画像に対応している。この例では、8種類の予測画像が存在していることが分かる。参照フレーム番号nは、言い換えれば参照フレームとして用いられる局部復号画像の番号であり、ここでは過去nフレーム分の局部復号画像の番号を表している。
【0032】
フレームメモリセット202に格納されている複数の参照フレームの画像信号を用いて予測画像信号212を作成する場合には、複数の参照フレーム番号を指定し、予測パラメータについても輝度信号(Y)及び色差信号(Cb,Cr)毎に(参照フレーム数+1)個の係数を指定する。ここで、数式(1)〜(3)に示されるように、参照フレーム数をnとした場合、予測パラメータは輝度信号Yに対してDi(i=,…,n+1)のn+1個、色差信号Cbに対してはEi(i=,…,n+1)のn+1個、色差信号Crに対してFi(i=,…,n+1)のn+1個をそれぞれ用意する。
【数1】
【0033】
図3を用いてさらに具体的に説明すると、図3における予測パラメータの最後の数字はオフセットを表し、予測パラメータの最初の数字を含むそれ以外の数値は重み係数(予測係数)を表す。インデックス0は参照フレーム数がn=2、参照フレーム番号が1で、予測パラメータは輝度信号Yと色差信号Cr,Cbの全てに対して1,0である場合である。この例のように予測パラメータが1,0であるということは、参照フレーム番号1の局部復号画像信号を1倍してオフセット0を加算することを意味し、言い換えれば参照フレーム番号1の局部復号画像信号をそのまま参照画像信号とする場合である。
【0034】
インデックス1は、参照フレーム番号1及び2の局部復号画像信号である2枚の参照フレームを用い、輝度信号Yに対する予測パラメータ2,−1,0に従って、輝度信号Yに対しては参照フレーム番号1の局部復号画像信号を2倍して、参照フレーム番号2の局部復号画像信号を差し引き、オフセット0を加算するという操作を行う。つまり、2フレームの局部復号画像信号からの外挿予測を行って、参照画像信号を生成する。色差信号Cr,Cbについては、予測パラメータが1,0,0であるから、参照フレーム番号1の局部復号画像信号をそのまま参照画像信号とする。このインデックス1に相当する予測方式は、ディゾルブ画像に対して特に有効である。
【0035】
インデックス2は、参照フレーム番号1の局部復号画像信号の輝度信号Yを予測パラメータ5/4,16に従って5/4倍してオフセット16を足している。色差信号Cr,Cbについては、予測パラメータは1なので、そのまま参照画像信号とする。この予測方式は、黒い画面からのフェードイン画像のときに特に有効である。
【0036】
このように使用する参照フレームの番号と予測パラメータとの組み合わせの異なる複数の予測方式に基づいて参照画像信号を選択できるようにすることで、これまで、適切な予測方式がないために画質が劣化していたフェード画像やディゾルブ画像に対しても対応することができる。
【0037】
(予測方式の選択と符号化モード判定の手順について)
次に、図4を用いて本実施形態におけるマクロブロック毎の予測方式(参照フレーム番号と予測パラメータの組み合わせ)の選択と符号化モード判定の具体的な手順の一例について説明する。
まず、変数min_Dに想定可能な最大値を入れておく(ステップS101)。LOOP1(ステップS102)は、インター符号化における予測方式の選択のための繰り返しを示し、変数iは図3に示したインデックスの値を表している。ここでは、予測方式毎の最適な動きベクトルが求めることができるように、動きベクトル情報214に関わる符号量(動きベクトル情報214に対応して可変長符号化器111から出力される可変長符号の符号量)と予測誤差絶対値和から各インデックス(参照フレーム番号と予測パラメータの組み合わせ)の評価値Dを計算し、評価値Dを最小とする動きベクトルを選択する(ステップS103)。この評価値Dをmin_Dと比較し(ステップS104)、min_Dよりも評価値Dが小さければ評価値Dをmin_Dとし、インデックスiをmin_iに代入しておく(ステップS105)。
【0038】
次に、イントラ符号化の場合の評価値Dを計算し(ステップS106)、この評価値Dをmin_Dと比較する(ステップS107)。この比較の結果、min_Dの方が小さければモードMODEはインター符号化と判定し、インデックス情報INDEXにmin_iを代入する(ステップS108)。評価値Dの方が小さければ、モードMODEはイントラ符号化と判定する(ステップS109)。ここで、評価値Dは同一量子化ステップサイズでの符号量の推定量とする。
【0039】
(復号化側について)
次に、図1に示した動画像符号化装置に対応する動画像復号化装置について説明する。図5に、本実施形態に係る動画像復号化装置の構成を示す。図1に示した構成の動画像符号化装置から送出され、伝送系または蓄積系を経て送られてきた符号化データ300は、入力バッファ301に一度蓄えられ、多重化分離器302により1フレーム毎にシンタクスに基づいて分離された後、可変長復号化器303に入力される。可変長復号化器303では、符号化データ300の各シンタクスの可変長符号の復号が行われ、量子化直交変換係数、モード情報413、動きベクトル情報414及びインデックス情報415が再生される。
【0040】
再生された各情報のうち、量子化直交変換係数は逆量子化器304で逆量子化され、逆直交変換器305で逆直交変換される。ここでモード情報413がイントラ符号化モードを示している場合には、逆直交変換器305から再生画像信号が出力され、加算器306を介して最終的な再生画像信号310として出力される。
【0041】
モード情報413がインター符号化モードを示している場合には、逆直交変換器305から予測誤差信号が出力され、さらにモード選択スイッチ309がオンとされる。予測誤差信号とフレームメモリ/予測画像生成器308から出力される予測画像信号412が加算器306で加算されることにより、再生画像信号310が出力される。再生画像信号310は、フレームメモリ/予測画像作成器308に参照画像信号として蓄積される。
【0042】
モード情報413、動きベクトル情報414及びインデックス情報415は、フレームメモリ/予測画像作成器308に入力される。モード情報413はモード選択スイッチ309にも入力され、該スイッチ309をイントラ符号化モードの場合にはオフ、インター符号化モードの場合にはオンとする。
【0043】
フレームメモリ/予測画像生成器308は、図1に示した符号化側のフレームメモリ/予測画像生成器108と同様に、予め用意された参照フレーム番号と予測パラメータの複数の組み合わせをテーブルとして用意しており、この中からインデックス情報415で示される一つの組み合わせを選択する。選択された組み合わせの中の参照フレーム番号で示される参照フレームの画像信号(再生画像信号210)について、選択された組み合わせの中の予測パラメータに従って線形和を計算し、さらに予測パラメータに従ったオフセットを加算することにより、参照画像信号を生成する。この後、生成された参照画像信号に対して動きベクトル情報414で示される動きベクトルを用いて動き補償を行うことにより、予測画像信号412を生成する。
【0044】
(フレームメモリ/予測画像生成器308について)
図6に、図5におけるフレームメモリ/予測画像作成器308の詳細な構成を示す。図6において、図5中の加算器306から出力される再生画像信号310は、メモリ制御器401による制御の下でフレームメモリセット402に格納される。フレームメモリセット402は、再生画像信号310を参照フレームとして一時保持するための複数(N)のフレームメモリFM1〜FMNを有する。
【0045】
予測パラメータ制御器403は、予め参照フレーム番号と予測パラメータの組み合わせを図3に示したと同様のテーブルとして用意しており、図5中の可変長復号化器303からのインデックス情報415に基づいて予測画像信号412の生成に用いる参照フレームの参照フレーム番号と予測パラメータの組み合わせを選択する。複数フレーム動き補償器404は、予測パラメータ制御器403により選択された参照フレーム番号とインデックス情報の組み合わせに従って参照画像信号を作成し、この参照画像信号に対して図5中の可変長復号化器303からの動きベクトル情報414で示される動きベクトルに従ってブロック単位で動き補償を行うことによって、予測画像信号412を生成する。
【0046】
[第2の実施形態]
次に、図7及び図8を用いて本発明の第2の実施形態について説明する。本実施形態における動画像符号化装置及び動画像復号化装置の全体的な構成は、第1の実施形態とほぼ同様であるため、第1の実施形態との相違点のみを説明する。
【0047】
本実施形態では、マクロブロック単位のモード情報によって複数の参照フレーム番号が指定できる方式の予測パラメータの表し方の例を示す。この場合、参照フレーム番号はマクロブロック毎のモード情報によって判明する。従って、第1の実施形態のように参照フレーム番号と予測パラメータの組み合わせテーブルではなく、図7及び図8に示されるように予測パラメータの組み合わせテーブルを用い、インデックス情報は参照フレーム番号を指定せず、予測パラメータの組み合わせのみを指定するようにする。
【0048】
図7に示すテーブルは、参照フレーム数が1つの場合の予測パラメータの組み合わせ例を示している。予測パラメータとしては、輝度信号(Y)及び色差信号(Cb,Cr)毎に、(参照フレーム数+1)個である2個のパラメータ(1個の重み係数と1個のオフセット)を指定する。
【0049】
図8に示すテーブルは、参照フレーム数が2つの場合の予測パラメータの組み合わせ例である。この場合、予測パラメータとしては、輝度信号(Y)及び色差信号(Cb,Cr)毎に、(参照フレーム数+1)個である3個のパラメータ(2個の重み係数と1個のオフセット)を指定するようにする。このテーブルは、第1の実施形態と同様に符号化側及び復号化側に用意される。
【0050】
[第3の実施形態]
次に、図9及び図10を用いて本発明の第3の実施形態について説明する。本実施形態における動画像符号化装置及び復号化装置の全体的な構成は、第1の実施形態とほぼ同様であるため、以下では第1及び第2の実施形態との相違点のみを説明する。
【0051】
第1及び第2の実施形態では、画像をフレーム単位で管理する例について説明してきたが、本実施形態においてはピクチャと呼ばれる画像単位で画像が管理されている。入力画像信号として、プログレッシブ信号とインタレース信号の両方が存在する場合、符号化を行う画像の単位はフレームとは限らない。これを考慮して、ここでいうピクチャとは(a)プログレッシブ信号の1フレームの画像、(b)インタレース信号の2フィールドをマージして生成した1フレームの画像、及び(c)インタレース信号のうちの1フィールドの画像のいずれをも指すこととする。
【0052】
符号化対象画像が(a)または(b)のようなフレーム構造の画像である場合には、動き補償予測で用いられる参照画像についても、参照画像である符号化済み画像がフレーム構造かフィールド構造かに関わらずフレームとして管理され、参照画像番号が割り当てられる。同様に、符号化対象画像が(c)のようなフィールド構造の画像である場合には、動き補償予測で用いられる参照画像についても、参照画像である符号化済み画像がフレーム構造かフィールド構造かに関わらずフィールドとして管理され、参照画像番号が割り当てられる。
【0053】
以下の数式(4)(5)(6)は、予測パラメータ制御器203で用意されている参照画像番号と予測パラメータの予測式の例を示している。ここで示す例は、1つの参照画像(ピクチャ)信号を用いて動き補償予測により予測画像信号を作成する予測式である。
【数2】
【0054】
ここで、Yは輝度信号の予測画像信号、Cb,Crは二つの色差信号の予測画像信号、RY(i),RCb(i),RCr(i)はインデックスiの参照画像信号のうちの輝度信号及び二つの色差信号の画素値をそれぞれ表している。D1(i),D2(i)は、それぞれインデックスiの輝度信号の予測係数及びオフセットである。E1(i),E2(i)は、それぞれインデックスiの色差信号Cbの予測係数及びオフセットである。F1(i),F2(i)はそれぞれインデックスiの色差信号Crの予測係数及びオフセットである。インデックスiは、0から(最大参照画像枚数−1)の値をとり、符号化対象ブロック毎(例えば、マクロブロック毎)に符号化されて動画像復号化装置に伝送される。
【0055】
予測パラメータD1(i),D2(i),E1(i),E2(i),F1(i),F2(i)は、予め動画像符号化装置と復号化装置間で決められた値、あるいはフレーム、フィールド及びスライスといった予め決められた符号化の単位であり、符号化データと共に符号化されて動画像符号化装置から復号化装置へ伝送されることによって、両装置で共有される。
【0056】
数式(4)(5)(6)は、参照画像信号に乗算する予測係数の分母を2のべき乗、すなわち2,4,8,16,…のように選定することによって割り算を避け、算術シフトによって計算できる予測式とされている。これによって、割り算による計算コストの増大を避けることができる。
【0057】
すなわち、数式(4)(5)(6)における>>は、a>>bとおいたときに、整数aを右にbビット算術シフトする演算子である。関数clipは、( )内の値を0よりも小さいときには0とし、255より大きいときには255にするクリッピング関数である。
【0058】
ここで、LYは輝度信号のシフト量であり、LCは色差信号のシフト量である。これらのシフト量LY ,LCは、予め動画像符号化装置と復号化装置とで決められた値が用いられるか、動画像符号化装置においてフレーム、フィールドあるいはスライスといった予め決められた符号化単位でテーブル及び符号化データと共に符号化され動画像復号化装置へ伝送されることにより、両装置で共有される。
【0059】
本実施形態では、図2中の予測パラメータ制御器203において、図9及び図10で示されるような参照画像番号と予測パラメータの組み合わせテーブルが用意される。図9及び図10において、インデックスiはブロック毎に選択され得る予測画像に対応している。この例では、インデックスiの0〜3に対応して4種類の予測画像が存在する。参照画像番号は、言い換えれば参照画像として用いられる局部復号画像の番号である。
【0060】
Flagは、インデックスiが示す参照画像番号に予測パラメータを使った予測式を適用するか否かを示すフラグである。Flagが“0”ならば、予測パラメータを用いないでインデックスiが示す参照画像番号の局部復号画像を用いて動き補償予測を行う。Flagが“1”ならば、インデックスiが示す参照画像番号の局部復号画像と予測パラメータを用いて、数式(4)(5)(6)に従って予測画像を作成して動き補償予測を行う。このFlagの情報についても、予め動画像符号化装置と復号化装置とで決められた値が用いられるか、動画像符号化装置においてフレーム、フィールドあるいはスライスといった予め決められた符号化単位でテーブル及び符号化データと共に符号化され、動画像復号化装置へ伝送されることにより、両装置で共有される。
【0061】
これらの例では、参照画像番号105はインデックスiがi=0の場合は、予測パラメータを用いて予測画像を作成し、i=1の場合は予測パラメータを用いずに動き補償予測を行っている。このように、同じ参照画像番号に対して、複数の予測方式が存在してもよい。
【0062】
図9に示すテーブルは、数式(4)(5)(6)に対応して輝度信号と二つの色差信号に割り当てられた予測パラメータD1(i),D2(i),E1(i),E2(i),F1(i),F2(i)を有する。一方、図10は輝度信号のみに予測パラメータが割り当てられているテーブルの例である。一般に、色差信号の符号量は輝度信号の符号量と比べて多くない。そこで、予測画像信号を作成する際の計算量削減とテーブルの伝送符号量削減のために、図10のように色差信号に対する予測パラメータを削除して、輝度信号のみに予測パラメータを割り当てたテーブルを用意する。このとき、予測式には数式(4)のみを用いる。
【0063】
以下の数式(7)〜(12)は、複数(この例では2つ)の参照画像を予測に用いる場合の予測式の一例である。
【数3】
【0064】
予測パラメータD1(i),D2(i),E1(i),E2(i),F1(i),F2(i),LY,LC 、及びFlagの情報は、予め動画像符号化装置と復号化装置間で決められた値、あるいはフレーム、フィールド及びスライスといった予め決められた符号化の単位であり、符号化データと共に符号化されて動画像符号化装置から復号化装置へ伝送されることにより、両装置で共有される。
【0065】
復号化対象画像がフレーム構造の画像である場合には、動き補償予測で用いられる参照画像についても、参照画像である復号化済み画像がフレーム構造かフィールド構造かに関わらずフレームとして管理され、参照画像番号が割り当てられる。同様に、プログラム対象画像がのようなフィールド構造の画像である場合には、動き補償予測で用いられる参照画像についても、参照画像である復号化済み画像がフレーム構造かフィールド構造かに関わらずフィールドとして管理され、参照画像番号が割り当てられる。
【0066】
(インデックス情報のシンタクスについて)
図11に、各ブロックにおいてインデックス情報を符号化する場合のシンタクスの例を示す。まず、各ブロックに対してモード情報MODEが存在する。モード情報MODEに応じて、インデックスiの値を示すインデックス情報IDiとインデックスjの値を示すインデックス情報IDjを符号化するか否かが決定される。符号化されたインデックス情報の後に、各ブロックの動きベクトル情報として、インデックスiの動き補償予測のための動きベクトル情報MViと、インデックスjの動き補償予測のための動きベクトル情報MVjが符号化される。
【0067】
(符号化ビットストリームのデータ構造について)
図12は、1枚の参照画像を使って予測画像を作成する場合のブロック毎の具体的な符号化ビットストリームの例を示している。モード情報MODEに続いてインデックス情報IDiが配置され、その後に動きベクトル情報MViが配置される。動きベクトル情報MViは、通常、2次元のベクトル情報であるが、モード情報によって示された、ブロック内部の動き補償方法によっては、更に複数の2次元ベクトルが送られる場合もある。
【0068】
図13には、2枚の参照画像を使って予測画像を作成する場合のブロック毎の具体的な符号化ビットストリームの例を示す。モード情報MODEに続いてインデックス情報IDi、インデックス情報IDjが配置され、その後に動きベクトル情報MVi、動きベクトル情報MVjが配置される。動きベクトル情報MVi及び動きベクトル情報jは、通常、2次元のベクトル情報であるが、モード情報によって示された、ブロック内部の動き補償方法によっては、更に複数の2次元ベクトルが送られる場合もある。
なお、上述したシンタックス及びビットストリームの構造は、全ての実施形態について同様の適用できる。
【0069】
[第4の実施形態]
次に、図14及び図15を用いて本発明の第4の実施形態について説明する。本実施形態における動画像符号化装置及び動画像復号化装置の全体的な構成は、第1の実施形態とほぼ同様であるため、第1、第2及び第3の実施形態との相違点のみを説明する。第3の実施形態では、フレーム単位の符号化とフィールド単位の符号化の切り替えを画像(ピクチャ)毎に行っていたのに対して、第4の実施形態はマクロブロック毎にフレーム単位の符号化とフィールド単位の符号化を切り替える例である。
【0070】
マクロブロック毎にフレーム単位の符号化とフィールド単位の符号化を切り替えると、同一画像内でもマクロブロックがフレーム単位で符号化される場合とフィールド単位で符号化される場合とで、同一の参照画像番号が異なる画像を指すことになる。そのため、第3の実施形態で用いた図9及び図10のテーブルでは、適切な予測画像信号を作成できない可能性がある。
【0071】
この点を解決するため、本実施形態では図2中の予測パラメータ制御器203において、図14及び図15で示されるような参照画像番号と予測パラメータの組み合わせテーブルが用意される。マクロブロックがフィールドで符号化される場合には、図14及び図15のテーブルに示されるように、当該マクロブロックがフレーム単位で符号化される場合に使用される参照画像番号(参照フレームインデックス番号)に対応する予測パラメータと同じ予測パラメータを用いるものとする。
【0072】
図14は、当該マクロブロックがフィールド単位で符号化される場合で、かつ符号化対象画像がトップフィールドの場合に使用されるテーブルである。フィールドインデックスの列の上段の行はトップフィールドに対応し、下段の行はボトムフィールドに対応している。図14に示されるように、フレームインデックスjとフィールドインデックスkとは、トップフィールドではk=2j、ボトムフィールドではk=2j+1、という関係が成り立っている。参照フレーム番号mと参照フィールド番号nとは、トップフィールドではn=2m、ボトムフィールドではn=2m+1、という関係が成り立っている。
【0073】
図15は、当該マクロブロックがフィールド単位で符号化される場合で、かつ符号化対象がボトムフィールドのテーブルである。図14のテーブルと同様に、フィールドインデックスの列の上段の行はトップフィールドに対応し、下段の行はボトムフィールドに対応している。図15のテーブルでは、フレームインデックスjとフィールドインデックスkとは、トップフィールドではk=2j+1、ボトムフィールドではk=2j、という関係が成り立っている。このようにすることで、同位相のボトムフィールドに対して、フィールドインデックスkとして小さな値が割り当たるようになる。参照フレーム番号mと参照フィールド番号nの関係は、図14のテーブルと同じである。
【0074】
当該マクロブロックブロックがフィールド単位で符号化される場合、図14及び図15に示したテーブルを用いて、フレームインデックスとフィールドインデックスがインデックス情報として符号化される。一方、当該マクロブロックがフレーム単位で符号化される場合には、インデックス情報としては図14と図15のテーブルに共通のフレームインデックスのみがインデックス符号化されるものとする。
【0075】
本実施形態においては、1つのテーブルでフレームとフィールドの予測パラメータの割り当てを行ったが、1つの画像またはスライスで、フレーム用のテーブルとフィールド用のテーブルを別々に用意してもかまわない。
【0076】
さらに、上述の各実施形態においては、ブロック単位の直交変換を使った動画像符号化/復号化方式の例で説明したが、例えばウェーブレット変換のような他の変換手法を用いた場合にも、上記実施形態で説明した本発明の手法を同様に適用することができる。
【0077】
本発明に係る動画像符号化及び復号化の処理は、ハードウェア(装置)として実現してもよいし、コンピュータを用いてソフトウェアにより実行してもよい。一部の処理をハードウェアで実現し、他の処理をソフトウェアにより行ってもよい。従って、本発明によると上述した動画像符号化または復号化処理をコンピュータに行わせるためのプログラムあるいは該プログラムを格納した記憶媒体を提供することが可能である。
【図面の簡単な説明】
【0078】
【図1】本発明の第1の実施形態に係る動画像符号化装置の構成を示すブロック図
【図2】図2におけるフレームメモリ/予測画像作成器の詳細な構成を示すブロック図
【図3】同実施形態で用いる参照フレーム番号と予測パラメータの組み合わせテーブルの例を示す図
【図4】同実施形態におけるマクロブロック毎の予測方式(参照フレーム番号と予測パラメータの組み合わせ)の選択と符号化モード判定の手順の一例を示すフローチャート
【図5】同実施形態に係る動画像復号化装置の構成を示すブロック図
【図6】図5におけるフレームメモリ/予測画像生成器の詳細な構成を示すブロック図
【図7】本発明の第2の実施形態に係る参照フレーム番号をモード情報として送る場合の予測パラメータの組み合わせテーブルの参照フレーム数1の場合の例を示す図
【図8】同実施形態に係る参照フレーム番号をモード情報として送る場合の予測パラメータの組み合わせテーブルの参照フレーム数2の場合の例を示す図
【図9】本発明の第3の実施形態に係る参照画像番号と予測パラメータの組み合わせテーブルの参照フレーム数1の場合の例を示す図
【図10】同実施形態に係る輝度信号のみのテーブルの場合の例を示す図
【図11】インデックス情報を符号化する場合のブロック毎のシンタクスの例を示す図
【図12】1枚の参照画像を使って予測画像を作成する場合の具体的な符号化ビットストリームの例を示す図
【図13】2枚の参照画像を使って予測画像を作成する場合の具体的な符号化ビットストリームの例を示す図
【図14】本発明の第4の実施形態に係る符号化対象がトップフィールドの場合の参照フレーム番号と参照フィールド番号と予測パラメータの組み合わせテーブルの例を示す図
【図15】同実施形態に係る符号化対象がボトムフィールドの場合の参照フレーム番号と参照フィールド番号と予測パラメータの組み合わせテーブルの例を示す図
【符号の説明】
【0079】
100…入力動画像信号
101…減算器
102,109…モード選択スイッチ
103…直交変換器
104…量子化器
105…逆量子化器
106…逆直交変換器
107…加算器
108…フレームメモリ/予測画像作成器
110…モード選択器
111…可変長符号化器
112…符号化部
113…符号化制御器
114…多重化器
115…出力バッファ
116…符号化データ
201…メモリ制御器
202…複数フレームメモリ
203…予測パラメータ制御器
204…複数フレーム動き評価器
205…複数フレーム動き補償器
211…局部復号画像信号
212…予測画像信号
213…モード情報
214…動きベクトル情報
215…インデックス情報
300…符号化データ
301…入力バッファ
302…多重化分離器
303…可変長復号化器
304…逆量子化器
305…逆直交変換器
306…加算器
307…フレームメモリ/予測画像作成器
308…加算器
309…モード切替スイッチ
310…再生画像信号
401…メモリ制御器
402…複数フレームメモリ
403…予測パラメータ制御器
404…複数フレーム動き補償器
412…予測画像信号
413…モード情報
414…動きベクトル情報
415…インデックス情報
【技術分野】
【0001】
この発明は、特にフェード画像やディゾルブ画像に対して効率の高い符号化/復号化を行う動画像復号化方法及び装置に関する。
【背景技術】
【0002】
ITU−T H.261,H.263,ISO/IEC MPEG−2,MPEG−4といった動画像符号化標準方式では、符号化モードの一つとして動き補償予測フレーム間符号化が用いられる。動き補償予測フレーム間符号化における予測モデルとしては、時間方向には明るさが変化しない場合に最も予測効率が高くなるようなモデルが採用されている。画像の明るさが変化するフェード画像の場合、例えば黒い画像からフェードインして通常の画像になるような場合などにおいて、画像の明るさの変化に対して適切に予測を行う方法は知られていない。従って、フェード画像においても画質を維持するためには、多くの符号量を必要とするという問題がある。
【0003】
この問題に対し、例えば特許第3166716号「フェード画像対応動画像符号化装置及び符号化方法」(特許文献1)では、フェード画像部分を検出して符号量の割り当てを変更することで対応している。具体的には、フェードアウト画像の場合、輝度が変化するフェードアウトの始まり部分に多くの符号量を割り当てる。フェードアウトの最後の部分は、通常、単色の画像になることから容易に符号化が可能となるため、符号量の割り当てを減らす。このようにすることで、総符号量を余り増大させることなく全体の画質を向上させている。
【0004】
一方、特許第2938412号「動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体及び動画像の符号化データを記録した記録媒体」(特許文献2)では、輝度変化量とコントラスト変化量の2つのパラメータに従って参照画像を補償することで、フェード画像に対応する符号化方式を提案している。
【0005】
Thomas Wiegand and Berand Girod, “Multi-frame motion-compensated prediction for video transmission”, Kluwer Academic Publishers 2001 (非特許文献1)には、複数のフレームバッファに基づく符号化方式が提案されている。この方式では、フレームバッファに保持されている複数の参照フレームから選択的に予測画像を作成することで、予測効率の向上を図っている。
【特許文献1】特許第3166716号
【特許文献2】特許第2938412号
【非特許文献1】Thomas Wiegand and Berand Girod, “Multi-frame motion-compensated prediction for video transmission”, Kluwer Academic Publishers 2001
【発明の開示】
【発明が解決しようとする課題】
【0006】
特許文献1では、フェード画像部分を検出して符号量の割り当てを変更することでフェード画像の符号化において総符号量を増大させることなく画質を向上させるために、既存の符号化方式の枠組みの中で実現できる利点はあるが、本質的に予測効率を上げているわけではないので、大きな符号化効率の向上は期待できない。
【0007】
一方、特許文献2では、フェード画像に対する予測効率が向上するというメリットがあるが、画像がある画像から別の画像に徐々に変化する、いわゆるディゾルブ画像(クロスフェード画像とも呼ばれる)に対しては、十分な予測効率が得られない。
【0008】
非特許文献3の方式では、フェード画像やディゾルブ画像に対しては十分な対応がなされておらず、複数の参照フレームを用意しても予測効率の改善を図ることはできない。
【0009】
上述したように従来の技術によると、フェード画像やディゾルブ画像を高い画質を維持しつつ符号化するには多くの符号量を必要とし、符号化効率の向上が期待できないという問題点があった。
【0010】
そこで、本発明は特にフェード画像やディゾルブ画像のような時間的に輝度が変化する動画像に対して、高効率の符号化に対応した復号化を可能とする動画像復号化方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記の課題を解決するため、本発明の第1の態様では動画像の符号化側において、入力動画像信号に対して参照画像及び該入力動画像信号と該参照画像との間の動きベクトルを用いて動き補償予測符号化を行う際、予め用意された少なくとも一つの参照画像番号と予測パラメータとの複数の組合せの中から、入力動画像信号の符号化対象ブロック毎に一つの組み合わせを選択し、選択された組み合わせの参照画像番号と予測パラメータに従って予測画像信号を生成し、入力動画像信号に対する予測画像信号の誤差を表す予測誤差信号を生成し、予測誤差信号、動きベクトルの情報及び選択された組み合わせを示すインデックス情報を符号化する。
【0012】
一方、動画像の復号化側では、動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、及び少なくとも一つの参照画像番号と予測パラメータの組み合わせを示すインデックス情報を含む符号化データを復号化し、復号化されたインデックス情報により示される組み合わせの参照画像番号と予測パラメータに従って予測画像信号を生成し、予測誤差信号及び予測画像信号を用いて再生動画像信号を生成する。
【0013】
本発明の他の態様では、動画像の符号化側において予め用意された予測パラメータの複数の組合せの中から、入力動画像信号の符号化対象ブロック毎に一つの組み合わせを選択し、指定された少なくとも一つの参照画像番号の参照画像と選択された組み合わせの予測パラメータに従って予測画像信号を生成し、入力動画像信号に対する予測画像信号の誤差を表す予測誤差信号を生成し、予測誤差信号、動きベクトルの情報、指定された参照画像番号及び選択された組み合わせを示すインデックス情報を符号化する。
【0014】
動画像の復号化側においては、動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、指定された参照画像番号、及び予測パラメータの組み合わせを示すインデックス情報を含む符号化データを復号化し、復号化された参照画像番号及び復号化されたインデックス情報により示される組み合わせの予測パラメータに従って予測画像信号を生成し、予測誤差信号及び予測画像信号を用いて再生動画像信号を生成する。
【0015】
このように本発明によると、参照画像番号と予測パラメータの組み合わせ、あるいは指定された参照画像番号に対応する複数の予測パラメータの組み合わせの異なる複数の予測方式を用意しておき、フェード画像やディゾルブ画像のような通常の動画像符号化の予測方式では適切な予測画像信号が作成できないような動画像信号に対しても、より予測効率の高い予測方式に基づいて適切な予測画像信号を作成できる。
【0016】
また、動画像信号がプログレッシブ信号のフレーム単位の画像信号、インタレース信号の2フィールドをマージしたフレーム単位の画像信号及びインタレース信号のフィールド単位の画像信号が混在した信号であり、動画像信号がフレーム単位の画像信号の場合は、参照画像番号がフレーム単位の参照画像信号の番号を示し、動画像信号がフィールド単位の画像信号の場合は参照画像番号がフィールド単位の参照画像信号を示すようにする。
【0017】
これにより、動画像信号がフレーム構造とフィールド構造が混在する動画像信号であって、フェード画像やディゾルブ画像のような通常の動画像符号化の予測方式では適切な予測画像信号が作成できないような動画像信号に対しても、より予測効率の高い予測方式に基づいて適切な予測画像信号を作成できる。
【0018】
さらに、符号化側から復号化側に対して参照画像番号や予測パラメータの情報そのものを送るのではなく、参照画像番号と予測パラメータの組み合わせを示すインデックス情報を送るか、あるいは参照画像番号が別途送られる場合には、予測パラメータの組み合わせを示すインデックス情報を送ることによって符号化効率を改善できる。
【発明の効果】
【0019】
本発明によれば特にフェード画像やディゾルブ画像のような時間的に輝度が変化する動画像に対して適切な予測を行い、効率の高い動画像符号化に対応した復号化を行うことができる。
【発明を実施するための最良の形態】
【0020】
以下、図面を参照して本発明の実施形態について説明する。
[第1の実施形態]
(符号化側について)
図1に、本発明の第1の実施形態に係る動画像符号化装置の構成を示す。動画像符号化装置には、この例では例えばフレーム単位で動画像信号100が入力される。この動画像信号100は減算器101に入力され、ここで予測画像信号212との差分がとられて予測誤差信号が生成される。モード選択スイッチ102によって予測誤差信号と入力動画像信号100のいずれか一方が選択され、直交変換器103により直交変換、例えば離散コサイン変換(DCT)が施される。直交変換器103では直交変換係数情報、例えばDCT係数情報が得られる。直交変換係数情報は量子化器104で量子化された後、二分岐される。二分岐された量子化直交変換係数情報210の一方は、可変長符号化器215に導かれる。
【0021】
二分岐された量子化直交変換係数情報210の他方は、逆量子化器105及び逆直交変換器106により量子化器104及び直交変換器103の処理と逆の処理を順次受けて予測誤差信号と同様の信号とされた後、加算器107でスイッチ109を介して入力される予測画像信号212と加算されることにより、局部復号画像信号211が生成される。局部復号画像信号211は、フレームメモリ/予測画像生成器108に入力される。
【0022】
フレームメモリ/予測画像生成器108は、予め用意された参照フレーム番号と予測パラメータの複数の組み合わせの中から一つの組み合わせを選択する。選択された組み合わせの中の参照フレーム番号で示される参照フレームの画像信号(局部復号化画像信号211)について、選択された組み合わせの中の予測パラメータに従って線形和を計算し、さらに予測パラメータに従ったオフセットを加算することにより、この例ではフレーム単位の参照画像信号を生成する。この後、フレームメモリ/予測画像生成器108は参照画像信号に対して動きベクトルを用いて動き補償を行い、予測画像信号212を生成する。
【0023】
この過程でフレームメモリ/予測画像生成器108は、動きベクトル情報214と、参照フレーム番号と予測パラメータの選択された組み合わせを示すインデックス情報215を生成し、さらにモード選択器212に符号化モードの選択に必要な情報を送る。動きベクトル情報214及びインデックス情報215は、可変長符号化器111に入力される。フレームメモリ/予測画像生成器108については、後に詳しく説明する。
【0024】
モード選択器110は、フレームメモリ/予測画像生成器108からの予測情報Pに基づいてマクロブロック単位に符号化モードの選択、すなわちフレーム内符号化(以下、イントラ符号化という)と動き補償予測フレーム間符号化(以下、インター符号化という)のいずれかの選択を行い、スイッチ制御信号M及びSを出力する。
【0025】
イントラ符号化モードでは、スイッチ制御信号M及びSによってスイッチ102,112はA側に切り替えられ、直交変換器103に入力動画像信号100が入力される。インター符号化モードでは、スイッチ制御信号M及びSによってスイッチ102,112はB側に切り替えられ、直交変換器103には減算器102からの予測誤差信号、加算器107にはフレームメモリ/予測画像生成器108からの予測画像信号212がそれぞれ入力される。モード選択器212からはモード情報213が出力され、可変長符号化器111に入力される。
【0026】
可変長符号化器111では、直交変換係数情報210、モード情報213、動きベクトル情報214及びインデックス情報215が可変長符号化され、これによって生成された各可変長符号が多重化器114で多重化された後、出力バッファ115により平滑化される。こうして出力バッファ115から出力される符号化データ116は、図示しない伝送系または蓄積系へ送出される。
【0027】
符号化制御器113は、減算器101から可変長符号化器111までの要素で構成される符号化部112の制御、具体的には例えば出力バッファ115のバッファ量をモニタし、バッファ量が一定となるように量子化器104の量子化ステップサイズなどの符号化パラメータの制御を行う。
【0028】
(フレームメモリ/予測画像生成器108について)
図2には、図1におけるフレームメモリ/予測画像作成器108の詳細な構成を示す。図2において、図1中の加算器107から入力される局部復号画像信号211は、メモリ制御器201による制御の下でフレームメモリセット202に格納される。フレームメモリセット202は、局部復号画像信号211を参照フレームとして一時保持するための複数(N)のフレームメモリFM1〜FMNを有する。
【0029】
予測パラメータ制御器203は、予め参照フレーム番号と予測パラメータの複数の組み合わせをテーブルとして用意しており、入力動画像信号100に基づいて予測画像信号212の生成に用いる参照フレームの参照フレーム番号と予測パラメータの組み合わせを選択し、選択された組み合わせを示すインデックス情報215を出力する。
【0030】
複数フレーム動き評価器204では、予測パラメータ制御器203により選択された参照フレーム番号とインデックス情報の組み合わせに従って参照画像信号を作成し、この参照画像信号と入力画像信号100とから動き量と予測誤差の評価を行い、予測誤差を最小とする動きベクトル情報214を出力する。複数フレーム動き補償器205は、複数フレーム動き評価器204でブロック毎に選択された参照画像信号に対し、動きベクトルに従って動き補償を行うことによって予測画像信号212を生成する。
【0031】
(参照フレーム番号と予測パラメータの組み合わせテーブルについて)
図3は、予測パラメータ制御器203で用意されている参照フレーム番号と予測パラメータの組み合わせテーブルの一例である。インデックスは各ブロック毎に選択され得る予測画像に対応している。この例では、8種類の予測画像が存在していることが分かる。参照フレーム番号nは、言い換えれば参照フレームとして用いられる局部復号画像の番号であり、ここでは過去nフレーム分の局部復号画像の番号を表している。
【0032】
フレームメモリセット202に格納されている複数の参照フレームの画像信号を用いて予測画像信号212を作成する場合には、複数の参照フレーム番号を指定し、予測パラメータについても輝度信号(Y)及び色差信号(Cb,Cr)毎に(参照フレーム数+1)個の係数を指定する。ここで、数式(1)〜(3)に示されるように、参照フレーム数をnとした場合、予測パラメータは輝度信号Yに対してDi(i=,…,n+1)のn+1個、色差信号Cbに対してはEi(i=,…,n+1)のn+1個、色差信号Crに対してFi(i=,…,n+1)のn+1個をそれぞれ用意する。
【数1】
【0033】
図3を用いてさらに具体的に説明すると、図3における予測パラメータの最後の数字はオフセットを表し、予測パラメータの最初の数字を含むそれ以外の数値は重み係数(予測係数)を表す。インデックス0は参照フレーム数がn=2、参照フレーム番号が1で、予測パラメータは輝度信号Yと色差信号Cr,Cbの全てに対して1,0である場合である。この例のように予測パラメータが1,0であるということは、参照フレーム番号1の局部復号画像信号を1倍してオフセット0を加算することを意味し、言い換えれば参照フレーム番号1の局部復号画像信号をそのまま参照画像信号とする場合である。
【0034】
インデックス1は、参照フレーム番号1及び2の局部復号画像信号である2枚の参照フレームを用い、輝度信号Yに対する予測パラメータ2,−1,0に従って、輝度信号Yに対しては参照フレーム番号1の局部復号画像信号を2倍して、参照フレーム番号2の局部復号画像信号を差し引き、オフセット0を加算するという操作を行う。つまり、2フレームの局部復号画像信号からの外挿予測を行って、参照画像信号を生成する。色差信号Cr,Cbについては、予測パラメータが1,0,0であるから、参照フレーム番号1の局部復号画像信号をそのまま参照画像信号とする。このインデックス1に相当する予測方式は、ディゾルブ画像に対して特に有効である。
【0035】
インデックス2は、参照フレーム番号1の局部復号画像信号の輝度信号Yを予測パラメータ5/4,16に従って5/4倍してオフセット16を足している。色差信号Cr,Cbについては、予測パラメータは1なので、そのまま参照画像信号とする。この予測方式は、黒い画面からのフェードイン画像のときに特に有効である。
【0036】
このように使用する参照フレームの番号と予測パラメータとの組み合わせの異なる複数の予測方式に基づいて参照画像信号を選択できるようにすることで、これまで、適切な予測方式がないために画質が劣化していたフェード画像やディゾルブ画像に対しても対応することができる。
【0037】
(予測方式の選択と符号化モード判定の手順について)
次に、図4を用いて本実施形態におけるマクロブロック毎の予測方式(参照フレーム番号と予測パラメータの組み合わせ)の選択と符号化モード判定の具体的な手順の一例について説明する。
まず、変数min_Dに想定可能な最大値を入れておく(ステップS101)。LOOP1(ステップS102)は、インター符号化における予測方式の選択のための繰り返しを示し、変数iは図3に示したインデックスの値を表している。ここでは、予測方式毎の最適な動きベクトルが求めることができるように、動きベクトル情報214に関わる符号量(動きベクトル情報214に対応して可変長符号化器111から出力される可変長符号の符号量)と予測誤差絶対値和から各インデックス(参照フレーム番号と予測パラメータの組み合わせ)の評価値Dを計算し、評価値Dを最小とする動きベクトルを選択する(ステップS103)。この評価値Dをmin_Dと比較し(ステップS104)、min_Dよりも評価値Dが小さければ評価値Dをmin_Dとし、インデックスiをmin_iに代入しておく(ステップS105)。
【0038】
次に、イントラ符号化の場合の評価値Dを計算し(ステップS106)、この評価値Dをmin_Dと比較する(ステップS107)。この比較の結果、min_Dの方が小さければモードMODEはインター符号化と判定し、インデックス情報INDEXにmin_iを代入する(ステップS108)。評価値Dの方が小さければ、モードMODEはイントラ符号化と判定する(ステップS109)。ここで、評価値Dは同一量子化ステップサイズでの符号量の推定量とする。
【0039】
(復号化側について)
次に、図1に示した動画像符号化装置に対応する動画像復号化装置について説明する。図5に、本実施形態に係る動画像復号化装置の構成を示す。図1に示した構成の動画像符号化装置から送出され、伝送系または蓄積系を経て送られてきた符号化データ300は、入力バッファ301に一度蓄えられ、多重化分離器302により1フレーム毎にシンタクスに基づいて分離された後、可変長復号化器303に入力される。可変長復号化器303では、符号化データ300の各シンタクスの可変長符号の復号が行われ、量子化直交変換係数、モード情報413、動きベクトル情報414及びインデックス情報415が再生される。
【0040】
再生された各情報のうち、量子化直交変換係数は逆量子化器304で逆量子化され、逆直交変換器305で逆直交変換される。ここでモード情報413がイントラ符号化モードを示している場合には、逆直交変換器305から再生画像信号が出力され、加算器306を介して最終的な再生画像信号310として出力される。
【0041】
モード情報413がインター符号化モードを示している場合には、逆直交変換器305から予測誤差信号が出力され、さらにモード選択スイッチ309がオンとされる。予測誤差信号とフレームメモリ/予測画像生成器308から出力される予測画像信号412が加算器306で加算されることにより、再生画像信号310が出力される。再生画像信号310は、フレームメモリ/予測画像作成器308に参照画像信号として蓄積される。
【0042】
モード情報413、動きベクトル情報414及びインデックス情報415は、フレームメモリ/予測画像作成器308に入力される。モード情報413はモード選択スイッチ309にも入力され、該スイッチ309をイントラ符号化モードの場合にはオフ、インター符号化モードの場合にはオンとする。
【0043】
フレームメモリ/予測画像生成器308は、図1に示した符号化側のフレームメモリ/予測画像生成器108と同様に、予め用意された参照フレーム番号と予測パラメータの複数の組み合わせをテーブルとして用意しており、この中からインデックス情報415で示される一つの組み合わせを選択する。選択された組み合わせの中の参照フレーム番号で示される参照フレームの画像信号(再生画像信号210)について、選択された組み合わせの中の予測パラメータに従って線形和を計算し、さらに予測パラメータに従ったオフセットを加算することにより、参照画像信号を生成する。この後、生成された参照画像信号に対して動きベクトル情報414で示される動きベクトルを用いて動き補償を行うことにより、予測画像信号412を生成する。
【0044】
(フレームメモリ/予測画像生成器308について)
図6に、図5におけるフレームメモリ/予測画像作成器308の詳細な構成を示す。図6において、図5中の加算器306から出力される再生画像信号310は、メモリ制御器401による制御の下でフレームメモリセット402に格納される。フレームメモリセット402は、再生画像信号310を参照フレームとして一時保持するための複数(N)のフレームメモリFM1〜FMNを有する。
【0045】
予測パラメータ制御器403は、予め参照フレーム番号と予測パラメータの組み合わせを図3に示したと同様のテーブルとして用意しており、図5中の可変長復号化器303からのインデックス情報415に基づいて予測画像信号412の生成に用いる参照フレームの参照フレーム番号と予測パラメータの組み合わせを選択する。複数フレーム動き補償器404は、予測パラメータ制御器403により選択された参照フレーム番号とインデックス情報の組み合わせに従って参照画像信号を作成し、この参照画像信号に対して図5中の可変長復号化器303からの動きベクトル情報414で示される動きベクトルに従ってブロック単位で動き補償を行うことによって、予測画像信号412を生成する。
【0046】
[第2の実施形態]
次に、図7及び図8を用いて本発明の第2の実施形態について説明する。本実施形態における動画像符号化装置及び動画像復号化装置の全体的な構成は、第1の実施形態とほぼ同様であるため、第1の実施形態との相違点のみを説明する。
【0047】
本実施形態では、マクロブロック単位のモード情報によって複数の参照フレーム番号が指定できる方式の予測パラメータの表し方の例を示す。この場合、参照フレーム番号はマクロブロック毎のモード情報によって判明する。従って、第1の実施形態のように参照フレーム番号と予測パラメータの組み合わせテーブルではなく、図7及び図8に示されるように予測パラメータの組み合わせテーブルを用い、インデックス情報は参照フレーム番号を指定せず、予測パラメータの組み合わせのみを指定するようにする。
【0048】
図7に示すテーブルは、参照フレーム数が1つの場合の予測パラメータの組み合わせ例を示している。予測パラメータとしては、輝度信号(Y)及び色差信号(Cb,Cr)毎に、(参照フレーム数+1)個である2個のパラメータ(1個の重み係数と1個のオフセット)を指定する。
【0049】
図8に示すテーブルは、参照フレーム数が2つの場合の予測パラメータの組み合わせ例である。この場合、予測パラメータとしては、輝度信号(Y)及び色差信号(Cb,Cr)毎に、(参照フレーム数+1)個である3個のパラメータ(2個の重み係数と1個のオフセット)を指定するようにする。このテーブルは、第1の実施形態と同様に符号化側及び復号化側に用意される。
【0050】
[第3の実施形態]
次に、図9及び図10を用いて本発明の第3の実施形態について説明する。本実施形態における動画像符号化装置及び復号化装置の全体的な構成は、第1の実施形態とほぼ同様であるため、以下では第1及び第2の実施形態との相違点のみを説明する。
【0051】
第1及び第2の実施形態では、画像をフレーム単位で管理する例について説明してきたが、本実施形態においてはピクチャと呼ばれる画像単位で画像が管理されている。入力画像信号として、プログレッシブ信号とインタレース信号の両方が存在する場合、符号化を行う画像の単位はフレームとは限らない。これを考慮して、ここでいうピクチャとは(a)プログレッシブ信号の1フレームの画像、(b)インタレース信号の2フィールドをマージして生成した1フレームの画像、及び(c)インタレース信号のうちの1フィールドの画像のいずれをも指すこととする。
【0052】
符号化対象画像が(a)または(b)のようなフレーム構造の画像である場合には、動き補償予測で用いられる参照画像についても、参照画像である符号化済み画像がフレーム構造かフィールド構造かに関わらずフレームとして管理され、参照画像番号が割り当てられる。同様に、符号化対象画像が(c)のようなフィールド構造の画像である場合には、動き補償予測で用いられる参照画像についても、参照画像である符号化済み画像がフレーム構造かフィールド構造かに関わらずフィールドとして管理され、参照画像番号が割り当てられる。
【0053】
以下の数式(4)(5)(6)は、予測パラメータ制御器203で用意されている参照画像番号と予測パラメータの予測式の例を示している。ここで示す例は、1つの参照画像(ピクチャ)信号を用いて動き補償予測により予測画像信号を作成する予測式である。
【数2】
【0054】
ここで、Yは輝度信号の予測画像信号、Cb,Crは二つの色差信号の予測画像信号、RY(i),RCb(i),RCr(i)はインデックスiの参照画像信号のうちの輝度信号及び二つの色差信号の画素値をそれぞれ表している。D1(i),D2(i)は、それぞれインデックスiの輝度信号の予測係数及びオフセットである。E1(i),E2(i)は、それぞれインデックスiの色差信号Cbの予測係数及びオフセットである。F1(i),F2(i)はそれぞれインデックスiの色差信号Crの予測係数及びオフセットである。インデックスiは、0から(最大参照画像枚数−1)の値をとり、符号化対象ブロック毎(例えば、マクロブロック毎)に符号化されて動画像復号化装置に伝送される。
【0055】
予測パラメータD1(i),D2(i),E1(i),E2(i),F1(i),F2(i)は、予め動画像符号化装置と復号化装置間で決められた値、あるいはフレーム、フィールド及びスライスといった予め決められた符号化の単位であり、符号化データと共に符号化されて動画像符号化装置から復号化装置へ伝送されることによって、両装置で共有される。
【0056】
数式(4)(5)(6)は、参照画像信号に乗算する予測係数の分母を2のべき乗、すなわち2,4,8,16,…のように選定することによって割り算を避け、算術シフトによって計算できる予測式とされている。これによって、割り算による計算コストの増大を避けることができる。
【0057】
すなわち、数式(4)(5)(6)における>>は、a>>bとおいたときに、整数aを右にbビット算術シフトする演算子である。関数clipは、( )内の値を0よりも小さいときには0とし、255より大きいときには255にするクリッピング関数である。
【0058】
ここで、LYは輝度信号のシフト量であり、LCは色差信号のシフト量である。これらのシフト量LY ,LCは、予め動画像符号化装置と復号化装置とで決められた値が用いられるか、動画像符号化装置においてフレーム、フィールドあるいはスライスといった予め決められた符号化単位でテーブル及び符号化データと共に符号化され動画像復号化装置へ伝送されることにより、両装置で共有される。
【0059】
本実施形態では、図2中の予測パラメータ制御器203において、図9及び図10で示されるような参照画像番号と予測パラメータの組み合わせテーブルが用意される。図9及び図10において、インデックスiはブロック毎に選択され得る予測画像に対応している。この例では、インデックスiの0〜3に対応して4種類の予測画像が存在する。参照画像番号は、言い換えれば参照画像として用いられる局部復号画像の番号である。
【0060】
Flagは、インデックスiが示す参照画像番号に予測パラメータを使った予測式を適用するか否かを示すフラグである。Flagが“0”ならば、予測パラメータを用いないでインデックスiが示す参照画像番号の局部復号画像を用いて動き補償予測を行う。Flagが“1”ならば、インデックスiが示す参照画像番号の局部復号画像と予測パラメータを用いて、数式(4)(5)(6)に従って予測画像を作成して動き補償予測を行う。このFlagの情報についても、予め動画像符号化装置と復号化装置とで決められた値が用いられるか、動画像符号化装置においてフレーム、フィールドあるいはスライスといった予め決められた符号化単位でテーブル及び符号化データと共に符号化され、動画像復号化装置へ伝送されることにより、両装置で共有される。
【0061】
これらの例では、参照画像番号105はインデックスiがi=0の場合は、予測パラメータを用いて予測画像を作成し、i=1の場合は予測パラメータを用いずに動き補償予測を行っている。このように、同じ参照画像番号に対して、複数の予測方式が存在してもよい。
【0062】
図9に示すテーブルは、数式(4)(5)(6)に対応して輝度信号と二つの色差信号に割り当てられた予測パラメータD1(i),D2(i),E1(i),E2(i),F1(i),F2(i)を有する。一方、図10は輝度信号のみに予測パラメータが割り当てられているテーブルの例である。一般に、色差信号の符号量は輝度信号の符号量と比べて多くない。そこで、予測画像信号を作成する際の計算量削減とテーブルの伝送符号量削減のために、図10のように色差信号に対する予測パラメータを削除して、輝度信号のみに予測パラメータを割り当てたテーブルを用意する。このとき、予測式には数式(4)のみを用いる。
【0063】
以下の数式(7)〜(12)は、複数(この例では2つ)の参照画像を予測に用いる場合の予測式の一例である。
【数3】
【0064】
予測パラメータD1(i),D2(i),E1(i),E2(i),F1(i),F2(i),LY,LC 、及びFlagの情報は、予め動画像符号化装置と復号化装置間で決められた値、あるいはフレーム、フィールド及びスライスといった予め決められた符号化の単位であり、符号化データと共に符号化されて動画像符号化装置から復号化装置へ伝送されることにより、両装置で共有される。
【0065】
復号化対象画像がフレーム構造の画像である場合には、動き補償予測で用いられる参照画像についても、参照画像である復号化済み画像がフレーム構造かフィールド構造かに関わらずフレームとして管理され、参照画像番号が割り当てられる。同様に、プログラム対象画像がのようなフィールド構造の画像である場合には、動き補償予測で用いられる参照画像についても、参照画像である復号化済み画像がフレーム構造かフィールド構造かに関わらずフィールドとして管理され、参照画像番号が割り当てられる。
【0066】
(インデックス情報のシンタクスについて)
図11に、各ブロックにおいてインデックス情報を符号化する場合のシンタクスの例を示す。まず、各ブロックに対してモード情報MODEが存在する。モード情報MODEに応じて、インデックスiの値を示すインデックス情報IDiとインデックスjの値を示すインデックス情報IDjを符号化するか否かが決定される。符号化されたインデックス情報の後に、各ブロックの動きベクトル情報として、インデックスiの動き補償予測のための動きベクトル情報MViと、インデックスjの動き補償予測のための動きベクトル情報MVjが符号化される。
【0067】
(符号化ビットストリームのデータ構造について)
図12は、1枚の参照画像を使って予測画像を作成する場合のブロック毎の具体的な符号化ビットストリームの例を示している。モード情報MODEに続いてインデックス情報IDiが配置され、その後に動きベクトル情報MViが配置される。動きベクトル情報MViは、通常、2次元のベクトル情報であるが、モード情報によって示された、ブロック内部の動き補償方法によっては、更に複数の2次元ベクトルが送られる場合もある。
【0068】
図13には、2枚の参照画像を使って予測画像を作成する場合のブロック毎の具体的な符号化ビットストリームの例を示す。モード情報MODEに続いてインデックス情報IDi、インデックス情報IDjが配置され、その後に動きベクトル情報MVi、動きベクトル情報MVjが配置される。動きベクトル情報MVi及び動きベクトル情報jは、通常、2次元のベクトル情報であるが、モード情報によって示された、ブロック内部の動き補償方法によっては、更に複数の2次元ベクトルが送られる場合もある。
なお、上述したシンタックス及びビットストリームの構造は、全ての実施形態について同様の適用できる。
【0069】
[第4の実施形態]
次に、図14及び図15を用いて本発明の第4の実施形態について説明する。本実施形態における動画像符号化装置及び動画像復号化装置の全体的な構成は、第1の実施形態とほぼ同様であるため、第1、第2及び第3の実施形態との相違点のみを説明する。第3の実施形態では、フレーム単位の符号化とフィールド単位の符号化の切り替えを画像(ピクチャ)毎に行っていたのに対して、第4の実施形態はマクロブロック毎にフレーム単位の符号化とフィールド単位の符号化を切り替える例である。
【0070】
マクロブロック毎にフレーム単位の符号化とフィールド単位の符号化を切り替えると、同一画像内でもマクロブロックがフレーム単位で符号化される場合とフィールド単位で符号化される場合とで、同一の参照画像番号が異なる画像を指すことになる。そのため、第3の実施形態で用いた図9及び図10のテーブルでは、適切な予測画像信号を作成できない可能性がある。
【0071】
この点を解決するため、本実施形態では図2中の予測パラメータ制御器203において、図14及び図15で示されるような参照画像番号と予測パラメータの組み合わせテーブルが用意される。マクロブロックがフィールドで符号化される場合には、図14及び図15のテーブルに示されるように、当該マクロブロックがフレーム単位で符号化される場合に使用される参照画像番号(参照フレームインデックス番号)に対応する予測パラメータと同じ予測パラメータを用いるものとする。
【0072】
図14は、当該マクロブロックがフィールド単位で符号化される場合で、かつ符号化対象画像がトップフィールドの場合に使用されるテーブルである。フィールドインデックスの列の上段の行はトップフィールドに対応し、下段の行はボトムフィールドに対応している。図14に示されるように、フレームインデックスjとフィールドインデックスkとは、トップフィールドではk=2j、ボトムフィールドではk=2j+1、という関係が成り立っている。参照フレーム番号mと参照フィールド番号nとは、トップフィールドではn=2m、ボトムフィールドではn=2m+1、という関係が成り立っている。
【0073】
図15は、当該マクロブロックがフィールド単位で符号化される場合で、かつ符号化対象がボトムフィールドのテーブルである。図14のテーブルと同様に、フィールドインデックスの列の上段の行はトップフィールドに対応し、下段の行はボトムフィールドに対応している。図15のテーブルでは、フレームインデックスjとフィールドインデックスkとは、トップフィールドではk=2j+1、ボトムフィールドではk=2j、という関係が成り立っている。このようにすることで、同位相のボトムフィールドに対して、フィールドインデックスkとして小さな値が割り当たるようになる。参照フレーム番号mと参照フィールド番号nの関係は、図14のテーブルと同じである。
【0074】
当該マクロブロックブロックがフィールド単位で符号化される場合、図14及び図15に示したテーブルを用いて、フレームインデックスとフィールドインデックスがインデックス情報として符号化される。一方、当該マクロブロックがフレーム単位で符号化される場合には、インデックス情報としては図14と図15のテーブルに共通のフレームインデックスのみがインデックス符号化されるものとする。
【0075】
本実施形態においては、1つのテーブルでフレームとフィールドの予測パラメータの割り当てを行ったが、1つの画像またはスライスで、フレーム用のテーブルとフィールド用のテーブルを別々に用意してもかまわない。
【0076】
さらに、上述の各実施形態においては、ブロック単位の直交変換を使った動画像符号化/復号化方式の例で説明したが、例えばウェーブレット変換のような他の変換手法を用いた場合にも、上記実施形態で説明した本発明の手法を同様に適用することができる。
【0077】
本発明に係る動画像符号化及び復号化の処理は、ハードウェア(装置)として実現してもよいし、コンピュータを用いてソフトウェアにより実行してもよい。一部の処理をハードウェアで実現し、他の処理をソフトウェアにより行ってもよい。従って、本発明によると上述した動画像符号化または復号化処理をコンピュータに行わせるためのプログラムあるいは該プログラムを格納した記憶媒体を提供することが可能である。
【図面の簡単な説明】
【0078】
【図1】本発明の第1の実施形態に係る動画像符号化装置の構成を示すブロック図
【図2】図2におけるフレームメモリ/予測画像作成器の詳細な構成を示すブロック図
【図3】同実施形態で用いる参照フレーム番号と予測パラメータの組み合わせテーブルの例を示す図
【図4】同実施形態におけるマクロブロック毎の予測方式(参照フレーム番号と予測パラメータの組み合わせ)の選択と符号化モード判定の手順の一例を示すフローチャート
【図5】同実施形態に係る動画像復号化装置の構成を示すブロック図
【図6】図5におけるフレームメモリ/予測画像生成器の詳細な構成を示すブロック図
【図7】本発明の第2の実施形態に係る参照フレーム番号をモード情報として送る場合の予測パラメータの組み合わせテーブルの参照フレーム数1の場合の例を示す図
【図8】同実施形態に係る参照フレーム番号をモード情報として送る場合の予測パラメータの組み合わせテーブルの参照フレーム数2の場合の例を示す図
【図9】本発明の第3の実施形態に係る参照画像番号と予測パラメータの組み合わせテーブルの参照フレーム数1の場合の例を示す図
【図10】同実施形態に係る輝度信号のみのテーブルの場合の例を示す図
【図11】インデックス情報を符号化する場合のブロック毎のシンタクスの例を示す図
【図12】1枚の参照画像を使って予測画像を作成する場合の具体的な符号化ビットストリームの例を示す図
【図13】2枚の参照画像を使って予測画像を作成する場合の具体的な符号化ビットストリームの例を示す図
【図14】本発明の第4の実施形態に係る符号化対象がトップフィールドの場合の参照フレーム番号と参照フィールド番号と予測パラメータの組み合わせテーブルの例を示す図
【図15】同実施形態に係る符号化対象がボトムフィールドの場合の参照フレーム番号と参照フィールド番号と予測パラメータの組み合わせテーブルの例を示す図
【符号の説明】
【0079】
100…入力動画像信号
101…減算器
102,109…モード選択スイッチ
103…直交変換器
104…量子化器
105…逆量子化器
106…逆直交変換器
107…加算器
108…フレームメモリ/予測画像作成器
110…モード選択器
111…可変長符号化器
112…符号化部
113…符号化制御器
114…多重化器
115…出力バッファ
116…符号化データ
201…メモリ制御器
202…複数フレームメモリ
203…予測パラメータ制御器
204…複数フレーム動き評価器
205…複数フレーム動き補償器
211…局部復号画像信号
212…予測画像信号
213…モード情報
214…動きベクトル情報
215…インデックス情報
300…符号化データ
301…入力バッファ
302…多重化分離器
303…可変長復号化器
304…逆量子化器
305…逆直交変換器
306…加算器
307…フレームメモリ/予測画像作成器
308…加算器
309…モード切替スイッチ
310…再生画像信号
401…メモリ制御器
402…複数フレームメモリ
403…予測パラメータ制御器
404…複数フレーム動き補償器
412…予測画像信号
413…モード情報
414…動きベクトル情報
415…インデックス情報
【特許請求の範囲】
【請求項1】
輝度と二つの色差とを有する動画像が動き補償予測符号化された符号化データから前記動画像を復号化する動画像復号化方法において、
(1)輝度及び二つの色差に関する予測誤差信号の量子化直交変換係数と、(2)(A)輝度及び二つの色差毎の重み係数、(B)輝度及び二つの色差毎のオフセット、を含む組み合わせを示すインデックス情報と、が復号化対象ブロック毎に符号化された符号化データを入力として受けるステップと、
復号化対象ブロックの復号化単位が、フレーム単位又はフィールド単位のいずれであるかを判断するステップと、
前記インデックス情報から、復号化対象ブロックの復号化単位に応じて、前記重み係数及び前記オフセットを求めるステップと、
参照画像に前記重み係数を乗じてから前記オフセットを加算することにより、前記復号化対象ブロック毎の動き補償予測画像を生成するステップと、
前記量子化直交変換係数を逆量子化及び逆直交変換することにより、前記復号化対象ブロック毎の予測誤差信号を生成するステップと、
前記予測誤差信号と前記動き補償予測画像との和を求めることにより、前記復号化対象ブロック毎の復号画像信号を生成するステップと、を備え、
前記復号化単位がフレーム単位である場合に前記インデックス情報から求める前記重み係数及び前記オフセットは、前記復号化単位がフィールド単位である場合の前記インデックス情報の値を右へ1ビット算術シフトした値の前記インデックス情報から求められる前記重み係数及び前記オフセットと同一である、動画像復号化方法。
【請求項2】
輝度と二つの色差とを有する動画像が動き補償予測符号化された符号化データから前記動画像を復号化する動画像復号化装置において、
(1)輝度及び二つの色差に関する予測誤差信号の量子化直交変換係数と、(2)(A)輝度及び二つの色差毎の重み係数、(B)輝度及び二つの色差毎のオフセット、を含む組み合わせを示すインデックス情報と、が復号化対象ブロック毎に符号化された符号化データを入力として受ける手段と、
復号化対象ブロックの復号化単位が、フレーム単位又はフィールド単位のいずれであるかを判断する手段と、
前記インデックス情報から、復号化対象ブロックの復号化単位に応じて、前記重み係数及び前記オフセットを求める手段と、
参照画像に前記重み係数を乗じてから前記オフセットを加算することにより、前記復号化対象ブロック毎の動き補償予測画像を生成する手段と、
前記量子化直交変換係数を逆量子化及び逆直交変換することにより、前記復号化対象ブロック毎の予測誤差信号を生成する手段と、
前記予測誤差信号と前記動き補償予測画像との和を求めることにより、前記復号化対象ブロック毎の復号画像信号を生成する手段と、を備え、
前記復号化単位がフレーム単位である場合に前記インデックス情報から求める前記重み係数及び前記オフセットは、前記復号化単位がフィールド単位である場合の前記インデックス情報の値を右へ1ビット算術シフトした値の前記インデックス情報から求められる前記重み係数及び前記オフセットと同一の値である、動画像復号化装置。
【請求項1】
輝度と二つの色差とを有する動画像が動き補償予測符号化された符号化データから前記動画像を復号化する動画像復号化方法において、
(1)輝度及び二つの色差に関する予測誤差信号の量子化直交変換係数と、(2)(A)輝度及び二つの色差毎の重み係数、(B)輝度及び二つの色差毎のオフセット、を含む組み合わせを示すインデックス情報と、が復号化対象ブロック毎に符号化された符号化データを入力として受けるステップと、
復号化対象ブロックの復号化単位が、フレーム単位又はフィールド単位のいずれであるかを判断するステップと、
前記インデックス情報から、復号化対象ブロックの復号化単位に応じて、前記重み係数及び前記オフセットを求めるステップと、
参照画像に前記重み係数を乗じてから前記オフセットを加算することにより、前記復号化対象ブロック毎の動き補償予測画像を生成するステップと、
前記量子化直交変換係数を逆量子化及び逆直交変換することにより、前記復号化対象ブロック毎の予測誤差信号を生成するステップと、
前記予測誤差信号と前記動き補償予測画像との和を求めることにより、前記復号化対象ブロック毎の復号画像信号を生成するステップと、を備え、
前記復号化単位がフレーム単位である場合に前記インデックス情報から求める前記重み係数及び前記オフセットは、前記復号化単位がフィールド単位である場合の前記インデックス情報の値を右へ1ビット算術シフトした値の前記インデックス情報から求められる前記重み係数及び前記オフセットと同一である、動画像復号化方法。
【請求項2】
輝度と二つの色差とを有する動画像が動き補償予測符号化された符号化データから前記動画像を復号化する動画像復号化装置において、
(1)輝度及び二つの色差に関する予測誤差信号の量子化直交変換係数と、(2)(A)輝度及び二つの色差毎の重み係数、(B)輝度及び二つの色差毎のオフセット、を含む組み合わせを示すインデックス情報と、が復号化対象ブロック毎に符号化された符号化データを入力として受ける手段と、
復号化対象ブロックの復号化単位が、フレーム単位又はフィールド単位のいずれであるかを判断する手段と、
前記インデックス情報から、復号化対象ブロックの復号化単位に応じて、前記重み係数及び前記オフセットを求める手段と、
参照画像に前記重み係数を乗じてから前記オフセットを加算することにより、前記復号化対象ブロック毎の動き補償予測画像を生成する手段と、
前記量子化直交変換係数を逆量子化及び逆直交変換することにより、前記復号化対象ブロック毎の予測誤差信号を生成する手段と、
前記予測誤差信号と前記動き補償予測画像との和を求めることにより、前記復号化対象ブロック毎の復号画像信号を生成する手段と、を備え、
前記復号化単位がフレーム単位である場合に前記インデックス情報から求める前記重み係数及び前記オフセットは、前記復号化単位がフィールド単位である場合の前記インデックス情報の値を右へ1ビット算術シフトした値の前記インデックス情報から求められる前記重み係数及び前記オフセットと同一の値である、動画像復号化装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2008−263641(P2008−263641A)
【公開日】平成20年10月30日(2008.10.30)
【国際特許分類】
【出願番号】特願2008−151018(P2008−151018)
【出願日】平成20年6月9日(2008.6.9)
【分割の表示】特願2008−93243(P2008−93243)の分割
【原出願日】平成14年11月22日(2002.11.22)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成20年10月30日(2008.10.30)
【国際特許分類】
【出願日】平成20年6月9日(2008.6.9)
【分割の表示】特願2008−93243(P2008−93243)の分割
【原出願日】平成14年11月22日(2002.11.22)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]