動画像符号化装置の予測動きベクトル生成装置
【課題】隣接する符号化済み各ＭＢ（マクロブロック）の動きベクトルを利用して、処理ＭＢにおける適切な予測動きベクトルを生成すると共に、新たな付加情報を必要としない動画像符号化装置を提供する。
【解決手段】インター符号化予測値生成部９は、隣接する符号化済みＭＢにおける符号化効率に基づいて、該隣接する符号化済みＭＢの動きベクトルに与える重み係数を決定する重み係数算出部と、該重み係数に応じて該隣接する符号化済みＭＢにおける動きベクトルに重み付けを行い、該重み付けを行われた動きベクトルから予測動きベクトルを算出する予測動きベクトル生成部とを具備する。該重み係数算出部および予測動きベクトル生成部は、隣接する符号化済みＭＢにおける動きベクトルについて、各ＭＢにおける残差信号および／または符号量に基づく重み付けを行い、重み付けられた動きベクトルの和を予測動きベクトルとする。
【解決手段】インター符号化予測値生成部９は、隣接する符号化済みＭＢにおける符号化効率に基づいて、該隣接する符号化済みＭＢの動きベクトルに与える重み係数を決定する重み係数算出部と、該重み係数に応じて該隣接する符号化済みＭＢにおける動きベクトルに重み付けを行い、該重み付けを行われた動きベクトルから予測動きベクトルを算出する予測動きベクトル生成部とを具備する。該重み係数算出部および予測動きベクトル生成部は、隣接する符号化済みＭＢにおける動きベクトルについて、各ＭＢにおける残差信号および／または符号量に基づく重み付けを行い、重み付けられた動きベクトルの和を予測動きベクトルとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面内のマクロブロック（以下、MB）単位での符号化の際にインター符号化を許容する動画像符号化装置に関し、特に、符号化済み隣接MBにおける動きベクトルから、処理MBにおける動きベクトルの予測ベクトルを生成する動画像符号化装置の予測動きベクトル生成装置に関する。
【背景技術】
【０００２】
画面内のMB単位での符号化の際にインター符号化を許容する動画像符号化装置において、動き補償により動きベクトルを決定するとともに、隣接する符号化済みMBの動きベクトルに基づいて予測動きベクトルを生成し、動きベクトルと予測動きベクトルの差分を符号化することで、動きベクトルに関する符号量を抑制し、符号化効率の向上を図る手法が、下記の非特許文献１に示されている。この非特許文献１では、予測動きベクトルの生成手法として、隣接する2つ以上の符号化済みＭＢにおける動きベクトルについて、x成分およびy成分に関するメディアン(中央)値を算出し、同x成分およびy成分によって成されるベクトルを予測動きベクトルとする。しかしながら、該非特許文献１の予測動きベクトル生成手法では、隣接する符号化済み各ＭＢの参照先フレームを考慮していない。したがって、各ＭＢが異なるフレームを参照する場合、予測動きベクトルに時間的に異なる動きベクトルのメディアン値が用いられるため、不適切な予測動きベクトルが生成される恐れがある。なお、該非特許文献１に示されている動画像符号化装置の詳細については、図５、図６を参照して後述する。
【０００３】
前記動画像符号化装置の前記の問題を解決するため、下記の特許文献１では、隣接する符号化済み各ＭＢの参照先フレームを考慮して、対象フレームとの時間的な関係又はそれらの時刻情報に基づき各ＭＢにおける動きベクトルの大きさをスケーリングする手法が提案されている。この手法では、隣接する各ＭＢにおける重み付け動きベクトルに対して、メディアン値を算出することで予測動きベクトルを生成する。
【０００４】
また、前記非特許文献１の予測動きベクトル生成手法では、隣接する符号化済み各ＭＢにおける動きベクトルが処理ＭＢにおける予測動きベクトルとして適しているか否かを考慮していない。この問題を解決するために、下記の非特許文献２では、隣接する符号化済みＭＢの動きベクトルについて、それぞれを予測動きベクトルとして適用した場合の符号量を評価する手法が提案されている。同手法では、符号量が最も小さくなる動きベクトルを予測動きベクトルとして採用し、動きベクトルを採用した隣接MBに関する付加情報を符号化する。
【非特許文献１】Joint Video Team (JVT) of ISO/IEC MPEG and ITU-VCEG, "Text of ISO/IEC 14496 10 Advanced Video Coding 3rd Edition", July 2004.
【特許文献１】特開２００４−３３６３６９
【非特許文献２】Tomoyuki Yamamoto, "A new scheme for motion vector predictor encoding", ITU-T SG16, VCEG-AF13, Apr. 2007.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記非特許文献１の予測動きベクトル生成手法では、隣接する符号化済み各ＭＢにおける動きベクトルが処理ＭＢにおける予測ベクトルとして適しているかを考慮していない。したがって、適切な動きベクトルの生成が困難な絵柄では、予測動きベクトルの精度が著しく低下し、符号化効率の悪化を招くという課題がある。
【０００６】
前記特許文献１のものでは、前記非特許文献１の課題の一つである、隣接する符号化済み各ＭＢにおける動きベクトルの参照先を考慮しない問題を解決している。しかしながら、隣接する符号化済み各ＭＢにおける動きベクトルについて、処理ＭＢにおける空間的な妥当性は、非特許文献１と同様に考慮されていない。したがって、適切な動きベクトルの生成が困難な絵柄での、予測動きベクトルの精度低下を抑止できないという課題がある。
【０００７】
前記非特許文献２に記載のものでは、隣接する符号化済み各ＭＢにおける動きベクトルについて、処理ＭＢにおける妥当性を考慮しないという前記非特許文献１の課題に対して、動きベクトルの符号化に要する符号量の観点から妥当性を評価し、最も評価が高い動きベクトルを予測動きベクトルとして採用する。しかしながら、予測動きベクトルとして採用する動きベクトルを識別するための情報である、新たな付加情報が必要となる。さらに、適切な動きベクトルの生成が困難な絵柄では、本手法による改善が見込まれない一方で、従来手法に対して前記の新たな付加情報が発生することになるため、符号化効率が低下することが懸念される。
【０００８】
本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、隣接する符号化済み各ＭＢの動きベクトルを利用して、処理ＭＢにおける適切な予測動きベクトルを生成すると共に、前記非特許文献２のような新たな付加情報を必要としない動画像符号化装置の予測動きベクトル生成装置を提供することにある。
【課題を解決するための手段】
【０００９】
前記した目的を達成するために、本発明は、マクロブロック単位での符号化の際にインター符号化を許容する動画像符号化装置において、隣接する符号化済みマクロブロックにおける符号化効率に基づいて、該隣接する符号化済みマクロブロックの動きベクトルに与える重み係数を決定する重み係数算出部と、該重み係数算出部で得られた重み係数に応じて該隣接する符号化済みマクロブロックにおける動きベクトルに重み付けを行い、該重み付けを行われた動きベクトルから予測動きベクトルを算出する予測動きベクトル生成部とを具備した点に特徴がある。
【発明の効果】
【００１０】
本発明では、隣接する符号化済みＭＢにおける動きベクトルについて、各ＭＢにおける残差信号および／または符号量に基づく重み付けを行い、重み付けられた動きベクトルの和を予測動きベクトルとするので、適切な動きベクトルの生成が困難な領域においても、より確からしい動きベクトルに近い予測動きベクトルを生成することが可能となる。
【００１１】
また、本発明では、予測動きベクトルを生成するための新たな付加情報を必要としない。よって、動きベクトルの生成が困難な領域においても、H.264に対して動きベクトルの符号量を削減し、符号化効率を改善することが期待される。
【発明を実施するための最良の形態】
【００１２】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の前提となる、前記非特許文献１に記載されている動画像符号化装置を、図５、図６を参照して説明する。
【００１３】
図５は、画面内のMB単位での符号化の際にインター符号化を許容し、動き補償により動きベクトルを決定するとともに、隣接する符号化済みＭＢの動きベクトルに基づいて予測動きベクトルを生成し、動きベクトルと予測動きベクトルの差分を符号化する動画像符号化装置のブロック図である。なお、以下では最良の実施形態として、本発明をＨ．２６４符号化のリファレンス符号化器に用いた場合について説明するが、本発明はこれに限定されず、周知のＪＭエンコーダやＪＳＶＭエンコーダ等にも用いることができる。
【００１４】
イントラ符号化予測値生成部１では、入力映像ａ、符号化済みMBにおける局所復号された輝度値ｂ、および符号化済みMBにおけるイントラ予測方向に関する情報ｃを入力とする。ここに、入力映像ａは、輝度値、色差もしくはRGB信号のいずれであってもよいが、以下では輝度値を用いて説明する。該イントラ符号化予測値生成部１では、符号化済みMBにおける局所復号された輝度値ｂに基づき、処理MBにおける各イントラ予測方向の予測値を生成する。該予測値に対して、入力映像ａとの差分を得る事で、イントラ符号化における符号化歪みを算出する。また、符号化歪みおよび符号化済みMBにおけるイントラ予測方向に関する情報ｃに基づき、各イントラ予測方向におけるコスト値を算出する。算出されたコスト値を比較し、最も処理MBの符号化に適したイントラ予測方向を選択する。該イントラ符号化予測値生成部１の出力として、最適なイントラ予測方向における予測値ｄ、同予測方向に関する情報ｅ、および同予測方向におけるコスト値ｆを出力する。
【００１５】
インター符号化予測値生成部２では、入力映像ａ、符号化済みフレームにおける局所復号された輝度値ｂ、および同一フレーム内の隣接する符号化済みMBにおけるMVｃを入力とする。該インター符号化予測値生成部２の詳細については、図６と併せて後述する。
【００１６】
モード判定制御部３では、イントラ符号化予測値生成部１およびインター符号化予測値生成部２から出力されるコスト値ｆ、ｉを入力とし、該コスト値ｆ，ｉの比較を行い、処理MBに適する符号化モードｊを選択する。つまり、モード判定制御部３は、イントラ符号化予測値生成部１およびインター符号化予測値生成部２から出力される予測値ｄ、ｇおよび予測に関する情報ｅ、ｈについて、処理MBの符号化に適する符号化モードが符号化に用いられるように切り替える。
【００１７】
DCT/量子化部４は、入力映像ａに対する予測値ｋとの差分ｌを入力とし、該差分ｌにDCT処理および量子化処理を施す。該DCT/量子化部４の出力として、量子化されたDCT係数ｍを出力する。IDCT/逆量子化部５では、量子化されたDCT係数ｍを入力とする。該IDCT/逆量子化部５は、入力される信号に対して、逆量子化処理および逆DCT処理を施す。そして、該IDCT/逆量子化部５の出力として、逆DCTされた輝度信号ｎを出力する。
【００１８】
エントロピー符号化部６では、量子化されたDCT係数ｍおよび予測に関する情報ｏを入力とする。該エントロピー符号化部６では入力される信号についてエントロピー符号化を行う。該エントロピー符号化部６の出力として、エントロピー符号化された結果を、符号化データｐとして出力する。
【００１９】
ローカルメモリ(1)７は、予測値ｋと逆DCTされた輝度信号ｎの和をとった信号、すなわち局所復号された輝度値ｑを入力とする。ローカルメモリ(1)７では、局所復号された輝度値ｑを蓄積し、適宜、イントラ符号化予測値生成部１およびインター符号化予測値生成部２に同信号ｑ、すなわち符号化済みMBにおける局所復号された輝度値ｂを供給する。
【００２０】
ローカルメモリ(2)８は、符号化済みMBにおいて適用された予測方法に関する情報ｏを入力とする。該ローカルメモリ(2)８では、符号化済みMBにおける予測情報ｏを蓄積し、適宜、イントラ符号化予測値生成部１およびインター符号化予測値生成部２に同信号ｏ、すなわち予測方向に関する情報ｃを供給する。
【００２１】
図６に、前記非特許文献１に記載される予測動きベクトル生成手法に基づく、インター符号化予測値生成部２を示す。近傍MBのMV抽出部２１は、ローカルメモリ(2)８から供給される近傍の符号化済みMBにおける符号化データ予測情報ｃ(動きベクトルについて、予測動きベクトルからの差分)を入力とする。該近傍MBのMV抽出部２１では、入力される符号化データ予測情報ｃから、近傍MBにおけるMVの情報を抽出し、その出力として、処理MBに隣接する符号化済みMBにおけるMV２１ａを出力する。
【００２２】
メディアン値算出部２２は、処理MBに隣接する符号化済みMBにおけるMV２１ａを入力とする。該メディアン値算出部２２では、入力されるMV２１ａのx成分およびy成分について、各成分のメディアン値を求める。メディアン値の求め方を以下に示す。３値x1、x2、x3に対してメディアン値を得る関数をmid()とする。mid()の動作を式(1)に示す。メディアン値算出部２２の出力として、x成分およびy成分に関するメディアン値２２ａの結果の組を出力する。
【００２３】
【数１】
【００２４】
予測動きベクトル生成部２３では、隣接符号化済みMBにおけるMVについてのx成分およびy成分のメディアン値２２ａを入力とする。該予測動きベクトル生成部２３では、入力されるメディアン値２２ａの組を、動きベクトルの予測ベクトル(予測動きベクトル)とし、その出力として、予測動きベクトル２３ａを出力する。
【００２５】
参照先決定部２４では、入力映像ａの輝度値および符号化済みフレームにおける局所復号された輝度値ｂを入力とする。該参照先決定部２４では、処理MBにおける入力映像ａの輝度値について、局所復号された輝度値ｂを対象に探索範囲内で最も輝度信号が近い同矩形の位置を探す。最も輝度信号が近い位置について、処理MBからの空間的な相対位置を、動きベクトルとする。また、最も輝度信号が近い位置における局所復号された輝度値について、同輝度値を予測値とする。さらに、入力映像の輝度値に対する予測値の差分を、予測誤差とする。該参照先決定部２４の出力として、動きベクトル２４ａ、予測誤差２４ｂ、および予測値ｇを出力する。
【００２６】
ベクトル差分抽出部２５では、動きベクトル２４ａおよび予測動きベクトル２３ａを入力とする。該ベクトル差分抽出部２５では、動きベクトル２４ａに対する予測動きベクトル２３ａの差分を、ベクトル差分ｈとする。また、ベクトル差分ｈについて、エントロピー符号化を施し、ベクトル差分により発生する符号量を求める。該ベクトル差分抽出部２５の出力として、ベクトル差分ｈ（デコードする際に用いられる予測に関する情報）およびベクトル差分ｈの符号化に要する符号量２５ａを出力する。
【００２７】
歪み算出部２６では、入力映像ａの輝度値、予測誤差２４ｂ、および予測値ｇを入力とする。該歪み算出部２６では、入力される予測誤差２４ｂについて、DCT、量子化、逆量子化、逆DCTの処理を施す。逆DCTまで施した結果に対して予測値ｇを加えた信号(局所復号信号)を得る。ここで、入力信号に対する局所復号信号の差分を求め、差分信号について二乗和を得る。該歪み算出部２６の出力として、差分信号の二乗和２６ａ（符号化歪み）を出力する。
【００２８】
コスト値算出部２７では、ベクトル差分の符号量２５ａおよび符号化歪み２６ａを入力とする。該コスト値算出部２７では、符号量および符号化歪みをコスト関数に入力し、コスト値を得、その出力として、コスト値ｉを出力する。
【００２９】
以上は、本発明の前提となる動画像符号化装置の説明であるが、以下に、本発明の実施形態を説明する。
【００３０】
図１は、本発明の一実施形態における動画像符号化装置のブロック図である。本実施形態の動画像符号化装置が図５の動画像符号化装置と異なる所は、インター符号化予測値生成部９およびローカルメモリ(3)１０のみであり、それら以外の符号は図５と同一または同等物を示す。
【００３１】
ローカルメモリ(3)１０は、符号化済みMBにおける予測誤差について、DCT、量子化を施した結果を入力とする。該ローカルメモリ(3)１０は、符号化済みMBにおける残差信号ｒを蓄積し、適宜、インター符号化予測値生成部９に同信号ｒを供給する。
【００３２】
図２に、本発明における予測動きベクトル生成に基づく、インター符号化予測値生成部９の一具体例の構成を示す。近傍MBのMV抽出部２１では、ローカルメモリ(2)８から供給される近傍の符号化済みMBにおける符号化データ予測情報ｃを入力とする。該近傍MBのMV抽出部２１では、入力される符号化データ予測情報ｃから、近傍MBにおけるMVの情報を抽出し、その出力として、処理MBに隣接する符号化済みMBにおけるMV２１ａを出力する。
【００３３】
近傍MBの符号化情報残差信号抽出部１１では、ローカルメモリ(1)７から供給される近傍の符号化済みMBにおける予測情報ｃ、およびローカルメモリ(3)１０から供給される近傍の符号化済みMBにおける符号化データ残差信号ｒを入力とする。該近傍MBの符号化情報残差信号抽出部１１では、入力される予測情報ｃから、符号化効率に影響する情報として残差信号および動きベクトルの符号量を算出し、その出力として、隣接する符号化済みMBにおける残差信号および符号量１１ａを出力とする。
【００３４】
重み係数算出部１２は、処理MBに隣接する符号化済みMBにおける残差信号および符号量１１ａを入力とする。該重み係数算出部１２では、残差信号および符号量の大きさに応じて、隣接する符号化済み各MBにおけるMVに対する重み係数を決定する。具体的な重み係数の決定方法については、後述の動作例にて説明する。該重み係数算出部１２の出力として、隣接する符号化済み各MBにおけるMVに対する重み係数１２ａを出力する。
【００３５】
予測動きベクトル生成部１３は、隣接する符号化済み各MBにおけるMVおよび各MVに対する重み係数１２ａを入力とする。該予測動きベクトル生成部１３では、入力される各MVに対して重み係数を乗じた重み付きベクトルを求め、重み付きベクトルの和もしくは代表値から、予測動きベクトルを生成する。該予測動きベクトル生成部１３の出力として、生成された予測動きベクトル１３ａを出力する。
【００３６】
参照先決定部２４は、入力映像ａおよび符号化済みフレームにおける局所復号された信号ｂを入力とする。該参照先決定部２４では、処理MBにおける入力映像について、局所復号された信号を対象に探索範囲内で最も信号が近い同矩形の位置を探す。最も信号が近い位置について、処理MBからの空間的な相対位置を、動きベクトルとする。また、最も信号が近い位置における局所復号された信号について、同輝度値を予測値とする。さらに、入力映像に対する予測値の差分を、予測誤差とする。該参照先決定部２４の出力として、動きベクトル２４ａ、予測誤差２４ｂ、および予測値ｇを出力する。
【００３７】
ベクトル差分抽出部２５は、動きベクトル２４ａおよび予測動きベクトル１３ａを入力とする。該ベクトル差分抽出部２５では、動きベクトル２４ａに対する予測動きベクトル１３ａの差分を、ベクトル差分ｈとする。また、ベクトル差分ｈについて、エントロピー符号化を施し、ベクトル差分により発生する符号量２５ａを求める。ベクトル差分抽出部２５の出力として、ベクトル差分ｈ（デコードする際に用いられる予測に関する情報）およびベクトル差分の符号化に要する符号量２５ａを出力する。
【００３８】
歪み算出部２６は、入力映像ａ、予測誤差２４ｂ、および予測値ｇを入力とする。歪み算出部２６では、入力される予測誤差２４ｂについて、DCT、量子化、逆量子化、逆DCTの処理を施す。逆DCTまで施した結果に対して予測値ｇを加えた信号(局所復号信号)を得る。ここで、入力信号に対する局所復号信号の差分を求め、差分信号について二乗和を得る。歪み算出部２６の出力として、差分信号の二乗和（符号化歪み２６ａ）を出力する。
【００３９】
コスト値算出部２７では、ベクトル差分の符号量２５ａおよび符号化歪み２６ａを入力とする。コスト値算出部２７は、符号量および符号化歪みをコスト関数に入力し、コスト値を得る。コスト値算出部２７の出力として、コスト値を出力する。
【００４０】
次に、本発明の要部である前記重み係数算出部１２および予測動きベクトル生成部１３の動作を具体的に説明する。本発明では、残差信号、発生符号量および隣接する符号化済みＭＢにおける動きベクトルに基づき、処理ＭＢにおける予測動きベクトルを生成する。
【００４１】
ここで、入力映像の輝度値に対する予測値との差分（予測誤差）の大きさは、予測値の精度に強く依存するものであり、予測誤差の大きさで予測性能を評価することが可能である。また、残差信号は、予測誤差について量子化処理を施した信号である。したがって、量子化ステップ幅が一定の条件下では、残差信号の大小により予測性能を評価することが可能である。
【００４２】
ＭＢ単位での量子化ステップ幅の制御に関して、近傍ＭＢ間での極端な量子化ステップ幅の変化は局所的な主観画質を著しく低下する恐れがあるため、隣接ＭＢ間での量子化ステップ幅はほぼ一定に保たれる。したがって、隣接する符号化済みＭＢにおける残差信号の大小により、各ＭＢにおける動きベクトルの精度を相対的に評価することが可能である。
【００４３】
また、符号化における効率は、符号化歪みの大きさに対する発生符号量により評価される。さらに、各MBにおける、符号化歪みと大小関係がほぼ等価である残差信号と、該残差信号に対する発生符号量について、該発生符号量および、残差信号と発生符号量に基づくコスト関数を用いて、各MBにおける動きベクトルの精度による評価を行うことで、符号化効率を評価することが可能である。
【００４４】
以下に、該重み係数算出部１２および予測動きベクトル生成部１３の動作例１〜３について説明する。
【００４５】
なお、該動作例は、次の場合を想定して説明されるが、これに限定されるものではない。すなわち、図３に示されているように、処理MB0に対して、上、右上、左に接するＭＢを、それぞれMB1、MB2、MB3とする。また、MB1、MB2、MB3において、MB0の動きベクトル予測に用いられる分割ブロックを、それぞれDB1、DB2、DB3とする。ただし、MBn (n=1,2,3)における分割ブロックDBn (n=1,2,3)の決定方法は、既存のH.264に従うものとする。図３の各ブロックの分割サイズは、その一例である。
【００４６】
また、図示されているように、分割ブロックDB1、DB2、DB3における動きベクトルをそれぞれV１、V２、V３とし、分割ブロックDB1、DB2、DB3における残差信号の二乗和平均値をp１、p２、p３とする。また、分割ブロックDB1、DB2、DB3における発生符号量をb１、b２、b３とする。
・動作例１・・・残差信号のみによる動作例
【００４７】
(1)重み係数算出部１２の動作
【００４８】
分割ブロックDBn (n=1,2,3)における残差信号は以下の通りである。分割ブロックDBnにおける原画像の輝度値に対する、動きベクトルVｎにより得られる予測値の差分を、Dnとする。ただし、Dnは2次元で表示される輝度値の行列である。Dnに対して、2次元DCT、量子化、逆量子化、2次元逆DCTを施した結果をD'nとするとき、D'nが残差信号に該当する。残差信号D'nにおける(i,j)に位置する要素をD'n(i,j)とし、DBnの大きさを幅w画素、高さhラインとすると、残差信号の二乗和平均値pｎ(n=1,2,3)は式(2)で表される。
【００４９】
【数２】
【００５０】
ここで、pｎの逆数をVｎに関するベクトルの重みとした場合、V１からV３の重み係数w１からw３は式(3)で表される。なお、pｎの対数の逆数をベクトルの重みとした場合でも、同等の効果が得られる。
【００５１】
【数３】
【００５２】
(2)予測動きベクトル生成部１３の動作
【００５３】
(2-1)残差信号に基づく重みベクトルの和による予測動きベクトル生成
【００５４】
前記(3)により得られる重み係数を、動きベクトルVｎに掛けた重み付きベクトル(wｎVｎ）を求め、該重み付きベクトルの和により、予測動きベクトルpreV０を得る。予測動きベクトルを式(4)で表す。
【００５５】
【数４】
【００５６】
(2-2) 残差信号に基づく重み係数による順位付けを用いた予測動きベクトル生成
【００５７】
前記式(3)により得られる重み係数について順位付けを行い、係数値が大きいベクトルを予測動きベクトルとして採用する。判定動作を式(5)に示す。ただし、max()は、引数の中で最大の値を返す関数である。
【００５８】
【数５】
・動作例２・・・ 発生符号量のみによる動作例
【００５９】
(1)重み係数算出部１２の動作
【００６０】
隣接する符号化済みMBにおける発生符号量bｎの逆数をVｎに関するベクトルの重みとした場合、V１からV３の重み係数w１からw３は式(6)で表される。
【００６１】
【数６】
【００６２】
(2)予測動きベクトル生成部１３の動作
【００６３】
(2-1)発生符号量に基づく重み付けベクトルの和による予測動きベクトル生成
【００６４】
前記式(6)により得られる重み係数をVｎに掛けた重み付きベクトルを求め、重み付きベクトルの和により、予測動きベクトルpreV０を得る。予測動きベクトルを式(7)で表す。
【００６５】
【数７】
【００６６】
(2-2)発生符号量に基づく重み係数による順位付けを用いた予測動きベクトル生成
【００６７】
前記式(6)により得られる重み係数について順位付けを行い、係数値が大きいベクトルを予測動きベクトルとして採用する。判定動作を式(8)に示す。ただし、max()は、引数の中で最大の値を返す関数である。
【００６８】
【数８】
・動作例３・・・ コスト関数による動作例
【００６９】
(1)重み係数算出部１２の動作
【００７０】
評価隣接する符号化済みMBにおける残差信号pｎおよび発生符号量bｎからコスト値jｎを求め、jｎの逆数をVｎに関するベクトルの重みとする。コスト値の算出を式(9)に示す。V１からV３の重み係数w１からw３を式(10)に示す。ただし、λはラグランジュ乗数である。
【００７１】
【数９】
【００７２】
(2)予測動きベクトル生成部１３の動作
【００７３】
(2-1)コスト値に基づく重み付けベクトルの和による予測動きベクトル生成
【００７４】
前記式(10)により得られる重み係数をVｎに掛けた重み付きベクトルを求め、重み付きベクトルの和により、予測動きベクトルpreV０を得る。予測動きベクトルを式(11)で表す。
【００７５】
【数１０】
【００７６】
(2-2)コスト値に基づく重み係数による順位付けを用いた予測動きベクトル生成
【００７７】
前記式(10)により得られる重み係数について順位付けを行い、係数値が大きいベクトルを予測動きベクトルとして採用する。判定動作を式(12)に示す。ただし、max()は、引数の中で最大の値を返す関数である。
【００７８】
【数１１】
【００７９】
本発明者は、シミュレーションとして、エンコーダに本発明手法を実装し、符号化実験を行った。処理MBの上、右上、左のMBをそれぞれ、MB1、MB2、MB3とし、該処理MBの近傍符号化済みMBにおける、動きベクトルおよび残差信号の大きさを図４に示す。
【００８０】
該処理MBに対する動き探索結果は、(-7, 1)であった。従来手法のメディアン値による予測ベクトル生成では、該処理MBの予測動きベクトルは(-15, 0)となり、動きベクトルとの差分である(8, 1)を符号化する必要がある。一方で、本発明手法では、残差信号に基づく重み付けによる予測動きベクトル生成（前記動作例１）により、予測動きベクトルは、(-7, 1)となる。
【００８１】
したがって、発明手法では、動きベクトルとの差分が無いため、差分を符号化する必要が無く、上記の例では、本発明を用いると、動きベクトルの符号化に要する符号量が低減していることが分かる。
【図面の簡単な説明】
【００８２】
【図１】本発明の一実施形態の動画像符号化装置の概略の構成を示すブロック図である。
【図２】図１のインター符号化予測値生成部の詳細な構成を示すブロック図である。
【図３】処理ブロックと隣接ブロックとの位置関係を示す図である。
【図４】符号化実験で得られた符号化済みＭＢにおける符号化結果を示す図である。
【図５】従来の動画像符号化装置の概略の構成を示すブロック図である。
【図６】図５のインター符号化予測値生成部の詳細な構成を示すブロック図である。
【符号の説明】
【００８３】
１・・・イントラ符号化予測値生成部、３・・・モード判定制御部、４・・・ＤＣＴ／量子化部、５・・・ＩＤＣＴ／逆量子化部、６・・・エントロピー符号化部、７・・・ローカルメモリ（１）、８・・・ローカルメモリ（２）、９・・・インター符号化予測値生成部、１０・・・ローカルメモリ（３）、１１・・・近傍ＭＢの残差信号抽出部、１２・・・重み係数算出部、１３・・・予測動きベクトル生成部、２１・・・近傍ＭＢのＭＶ抽出部、２４・・・参照先決定部、２５・・・ベクトル差分抽出部、２６・・・歪み算出部、２７・・・コスト値算出部。
【技術分野】
【０００１】
本発明は、画面内のマクロブロック（以下、MB）単位での符号化の際にインター符号化を許容する動画像符号化装置に関し、特に、符号化済み隣接MBにおける動きベクトルから、処理MBにおける動きベクトルの予測ベクトルを生成する動画像符号化装置の予測動きベクトル生成装置に関する。
【背景技術】
【０００２】
画面内のMB単位での符号化の際にインター符号化を許容する動画像符号化装置において、動き補償により動きベクトルを決定するとともに、隣接する符号化済みMBの動きベクトルに基づいて予測動きベクトルを生成し、動きベクトルと予測動きベクトルの差分を符号化することで、動きベクトルに関する符号量を抑制し、符号化効率の向上を図る手法が、下記の非特許文献１に示されている。この非特許文献１では、予測動きベクトルの生成手法として、隣接する2つ以上の符号化済みＭＢにおける動きベクトルについて、x成分およびy成分に関するメディアン(中央)値を算出し、同x成分およびy成分によって成されるベクトルを予測動きベクトルとする。しかしながら、該非特許文献１の予測動きベクトル生成手法では、隣接する符号化済み各ＭＢの参照先フレームを考慮していない。したがって、各ＭＢが異なるフレームを参照する場合、予測動きベクトルに時間的に異なる動きベクトルのメディアン値が用いられるため、不適切な予測動きベクトルが生成される恐れがある。なお、該非特許文献１に示されている動画像符号化装置の詳細については、図５、図６を参照して後述する。
【０００３】
前記動画像符号化装置の前記の問題を解決するため、下記の特許文献１では、隣接する符号化済み各ＭＢの参照先フレームを考慮して、対象フレームとの時間的な関係又はそれらの時刻情報に基づき各ＭＢにおける動きベクトルの大きさをスケーリングする手法が提案されている。この手法では、隣接する各ＭＢにおける重み付け動きベクトルに対して、メディアン値を算出することで予測動きベクトルを生成する。
【０００４】
また、前記非特許文献１の予測動きベクトル生成手法では、隣接する符号化済み各ＭＢにおける動きベクトルが処理ＭＢにおける予測動きベクトルとして適しているか否かを考慮していない。この問題を解決するために、下記の非特許文献２では、隣接する符号化済みＭＢの動きベクトルについて、それぞれを予測動きベクトルとして適用した場合の符号量を評価する手法が提案されている。同手法では、符号量が最も小さくなる動きベクトルを予測動きベクトルとして採用し、動きベクトルを採用した隣接MBに関する付加情報を符号化する。
【非特許文献１】Joint Video Team (JVT) of ISO/IEC MPEG and ITU-VCEG, "Text of ISO/IEC 14496 10 Advanced Video Coding 3rd Edition", July 2004.
【特許文献１】特開２００４−３３６３６９
【非特許文献２】Tomoyuki Yamamoto, "A new scheme for motion vector predictor encoding", ITU-T SG16, VCEG-AF13, Apr. 2007.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記非特許文献１の予測動きベクトル生成手法では、隣接する符号化済み各ＭＢにおける動きベクトルが処理ＭＢにおける予測ベクトルとして適しているかを考慮していない。したがって、適切な動きベクトルの生成が困難な絵柄では、予測動きベクトルの精度が著しく低下し、符号化効率の悪化を招くという課題がある。
【０００６】
前記特許文献１のものでは、前記非特許文献１の課題の一つである、隣接する符号化済み各ＭＢにおける動きベクトルの参照先を考慮しない問題を解決している。しかしながら、隣接する符号化済み各ＭＢにおける動きベクトルについて、処理ＭＢにおける空間的な妥当性は、非特許文献１と同様に考慮されていない。したがって、適切な動きベクトルの生成が困難な絵柄での、予測動きベクトルの精度低下を抑止できないという課題がある。
【０００７】
前記非特許文献２に記載のものでは、隣接する符号化済み各ＭＢにおける動きベクトルについて、処理ＭＢにおける妥当性を考慮しないという前記非特許文献１の課題に対して、動きベクトルの符号化に要する符号量の観点から妥当性を評価し、最も評価が高い動きベクトルを予測動きベクトルとして採用する。しかしながら、予測動きベクトルとして採用する動きベクトルを識別するための情報である、新たな付加情報が必要となる。さらに、適切な動きベクトルの生成が困難な絵柄では、本手法による改善が見込まれない一方で、従来手法に対して前記の新たな付加情報が発生することになるため、符号化効率が低下することが懸念される。
【０００８】
本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、隣接する符号化済み各ＭＢの動きベクトルを利用して、処理ＭＢにおける適切な予測動きベクトルを生成すると共に、前記非特許文献２のような新たな付加情報を必要としない動画像符号化装置の予測動きベクトル生成装置を提供することにある。
【課題を解決するための手段】
【０００９】
前記した目的を達成するために、本発明は、マクロブロック単位での符号化の際にインター符号化を許容する動画像符号化装置において、隣接する符号化済みマクロブロックにおける符号化効率に基づいて、該隣接する符号化済みマクロブロックの動きベクトルに与える重み係数を決定する重み係数算出部と、該重み係数算出部で得られた重み係数に応じて該隣接する符号化済みマクロブロックにおける動きベクトルに重み付けを行い、該重み付けを行われた動きベクトルから予測動きベクトルを算出する予測動きベクトル生成部とを具備した点に特徴がある。
【発明の効果】
【００１０】
本発明では、隣接する符号化済みＭＢにおける動きベクトルについて、各ＭＢにおける残差信号および／または符号量に基づく重み付けを行い、重み付けられた動きベクトルの和を予測動きベクトルとするので、適切な動きベクトルの生成が困難な領域においても、より確からしい動きベクトルに近い予測動きベクトルを生成することが可能となる。
【００１１】
また、本発明では、予測動きベクトルを生成するための新たな付加情報を必要としない。よって、動きベクトルの生成が困難な領域においても、H.264に対して動きベクトルの符号量を削減し、符号化効率を改善することが期待される。
【発明を実施するための最良の形態】
【００１２】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の前提となる、前記非特許文献１に記載されている動画像符号化装置を、図５、図６を参照して説明する。
【００１３】
図５は、画面内のMB単位での符号化の際にインター符号化を許容し、動き補償により動きベクトルを決定するとともに、隣接する符号化済みＭＢの動きベクトルに基づいて予測動きベクトルを生成し、動きベクトルと予測動きベクトルの差分を符号化する動画像符号化装置のブロック図である。なお、以下では最良の実施形態として、本発明をＨ．２６４符号化のリファレンス符号化器に用いた場合について説明するが、本発明はこれに限定されず、周知のＪＭエンコーダやＪＳＶＭエンコーダ等にも用いることができる。
【００１４】
イントラ符号化予測値生成部１では、入力映像ａ、符号化済みMBにおける局所復号された輝度値ｂ、および符号化済みMBにおけるイントラ予測方向に関する情報ｃを入力とする。ここに、入力映像ａは、輝度値、色差もしくはRGB信号のいずれであってもよいが、以下では輝度値を用いて説明する。該イントラ符号化予測値生成部１では、符号化済みMBにおける局所復号された輝度値ｂに基づき、処理MBにおける各イントラ予測方向の予測値を生成する。該予測値に対して、入力映像ａとの差分を得る事で、イントラ符号化における符号化歪みを算出する。また、符号化歪みおよび符号化済みMBにおけるイントラ予測方向に関する情報ｃに基づき、各イントラ予測方向におけるコスト値を算出する。算出されたコスト値を比較し、最も処理MBの符号化に適したイントラ予測方向を選択する。該イントラ符号化予測値生成部１の出力として、最適なイントラ予測方向における予測値ｄ、同予測方向に関する情報ｅ、および同予測方向におけるコスト値ｆを出力する。
【００１５】
インター符号化予測値生成部２では、入力映像ａ、符号化済みフレームにおける局所復号された輝度値ｂ、および同一フレーム内の隣接する符号化済みMBにおけるMVｃを入力とする。該インター符号化予測値生成部２の詳細については、図６と併せて後述する。
【００１６】
モード判定制御部３では、イントラ符号化予測値生成部１およびインター符号化予測値生成部２から出力されるコスト値ｆ、ｉを入力とし、該コスト値ｆ，ｉの比較を行い、処理MBに適する符号化モードｊを選択する。つまり、モード判定制御部３は、イントラ符号化予測値生成部１およびインター符号化予測値生成部２から出力される予測値ｄ、ｇおよび予測に関する情報ｅ、ｈについて、処理MBの符号化に適する符号化モードが符号化に用いられるように切り替える。
【００１７】
DCT/量子化部４は、入力映像ａに対する予測値ｋとの差分ｌを入力とし、該差分ｌにDCT処理および量子化処理を施す。該DCT/量子化部４の出力として、量子化されたDCT係数ｍを出力する。IDCT/逆量子化部５では、量子化されたDCT係数ｍを入力とする。該IDCT/逆量子化部５は、入力される信号に対して、逆量子化処理および逆DCT処理を施す。そして、該IDCT/逆量子化部５の出力として、逆DCTされた輝度信号ｎを出力する。
【００１８】
エントロピー符号化部６では、量子化されたDCT係数ｍおよび予測に関する情報ｏを入力とする。該エントロピー符号化部６では入力される信号についてエントロピー符号化を行う。該エントロピー符号化部６の出力として、エントロピー符号化された結果を、符号化データｐとして出力する。
【００１９】
ローカルメモリ(1)７は、予測値ｋと逆DCTされた輝度信号ｎの和をとった信号、すなわち局所復号された輝度値ｑを入力とする。ローカルメモリ(1)７では、局所復号された輝度値ｑを蓄積し、適宜、イントラ符号化予測値生成部１およびインター符号化予測値生成部２に同信号ｑ、すなわち符号化済みMBにおける局所復号された輝度値ｂを供給する。
【００２０】
ローカルメモリ(2)８は、符号化済みMBにおいて適用された予測方法に関する情報ｏを入力とする。該ローカルメモリ(2)８では、符号化済みMBにおける予測情報ｏを蓄積し、適宜、イントラ符号化予測値生成部１およびインター符号化予測値生成部２に同信号ｏ、すなわち予測方向に関する情報ｃを供給する。
【００２１】
図６に、前記非特許文献１に記載される予測動きベクトル生成手法に基づく、インター符号化予測値生成部２を示す。近傍MBのMV抽出部２１は、ローカルメモリ(2)８から供給される近傍の符号化済みMBにおける符号化データ予測情報ｃ(動きベクトルについて、予測動きベクトルからの差分)を入力とする。該近傍MBのMV抽出部２１では、入力される符号化データ予測情報ｃから、近傍MBにおけるMVの情報を抽出し、その出力として、処理MBに隣接する符号化済みMBにおけるMV２１ａを出力する。
【００２２】
メディアン値算出部２２は、処理MBに隣接する符号化済みMBにおけるMV２１ａを入力とする。該メディアン値算出部２２では、入力されるMV２１ａのx成分およびy成分について、各成分のメディアン値を求める。メディアン値の求め方を以下に示す。３値x1、x2、x3に対してメディアン値を得る関数をmid()とする。mid()の動作を式(1)に示す。メディアン値算出部２２の出力として、x成分およびy成分に関するメディアン値２２ａの結果の組を出力する。
【００２３】
【数１】
【００２４】
予測動きベクトル生成部２３では、隣接符号化済みMBにおけるMVについてのx成分およびy成分のメディアン値２２ａを入力とする。該予測動きベクトル生成部２３では、入力されるメディアン値２２ａの組を、動きベクトルの予測ベクトル(予測動きベクトル)とし、その出力として、予測動きベクトル２３ａを出力する。
【００２５】
参照先決定部２４では、入力映像ａの輝度値および符号化済みフレームにおける局所復号された輝度値ｂを入力とする。該参照先決定部２４では、処理MBにおける入力映像ａの輝度値について、局所復号された輝度値ｂを対象に探索範囲内で最も輝度信号が近い同矩形の位置を探す。最も輝度信号が近い位置について、処理MBからの空間的な相対位置を、動きベクトルとする。また、最も輝度信号が近い位置における局所復号された輝度値について、同輝度値を予測値とする。さらに、入力映像の輝度値に対する予測値の差分を、予測誤差とする。該参照先決定部２４の出力として、動きベクトル２４ａ、予測誤差２４ｂ、および予測値ｇを出力する。
【００２６】
ベクトル差分抽出部２５では、動きベクトル２４ａおよび予測動きベクトル２３ａを入力とする。該ベクトル差分抽出部２５では、動きベクトル２４ａに対する予測動きベクトル２３ａの差分を、ベクトル差分ｈとする。また、ベクトル差分ｈについて、エントロピー符号化を施し、ベクトル差分により発生する符号量を求める。該ベクトル差分抽出部２５の出力として、ベクトル差分ｈ（デコードする際に用いられる予測に関する情報）およびベクトル差分ｈの符号化に要する符号量２５ａを出力する。
【００２７】
歪み算出部２６では、入力映像ａの輝度値、予測誤差２４ｂ、および予測値ｇを入力とする。該歪み算出部２６では、入力される予測誤差２４ｂについて、DCT、量子化、逆量子化、逆DCTの処理を施す。逆DCTまで施した結果に対して予測値ｇを加えた信号(局所復号信号)を得る。ここで、入力信号に対する局所復号信号の差分を求め、差分信号について二乗和を得る。該歪み算出部２６の出力として、差分信号の二乗和２６ａ（符号化歪み）を出力する。
【００２８】
コスト値算出部２７では、ベクトル差分の符号量２５ａおよび符号化歪み２６ａを入力とする。該コスト値算出部２７では、符号量および符号化歪みをコスト関数に入力し、コスト値を得、その出力として、コスト値ｉを出力する。
【００２９】
以上は、本発明の前提となる動画像符号化装置の説明であるが、以下に、本発明の実施形態を説明する。
【００３０】
図１は、本発明の一実施形態における動画像符号化装置のブロック図である。本実施形態の動画像符号化装置が図５の動画像符号化装置と異なる所は、インター符号化予測値生成部９およびローカルメモリ(3)１０のみであり、それら以外の符号は図５と同一または同等物を示す。
【００３１】
ローカルメモリ(3)１０は、符号化済みMBにおける予測誤差について、DCT、量子化を施した結果を入力とする。該ローカルメモリ(3)１０は、符号化済みMBにおける残差信号ｒを蓄積し、適宜、インター符号化予測値生成部９に同信号ｒを供給する。
【００３２】
図２に、本発明における予測動きベクトル生成に基づく、インター符号化予測値生成部９の一具体例の構成を示す。近傍MBのMV抽出部２１では、ローカルメモリ(2)８から供給される近傍の符号化済みMBにおける符号化データ予測情報ｃを入力とする。該近傍MBのMV抽出部２１では、入力される符号化データ予測情報ｃから、近傍MBにおけるMVの情報を抽出し、その出力として、処理MBに隣接する符号化済みMBにおけるMV２１ａを出力する。
【００３３】
近傍MBの符号化情報残差信号抽出部１１では、ローカルメモリ(1)７から供給される近傍の符号化済みMBにおける予測情報ｃ、およびローカルメモリ(3)１０から供給される近傍の符号化済みMBにおける符号化データ残差信号ｒを入力とする。該近傍MBの符号化情報残差信号抽出部１１では、入力される予測情報ｃから、符号化効率に影響する情報として残差信号および動きベクトルの符号量を算出し、その出力として、隣接する符号化済みMBにおける残差信号および符号量１１ａを出力とする。
【００３４】
重み係数算出部１２は、処理MBに隣接する符号化済みMBにおける残差信号および符号量１１ａを入力とする。該重み係数算出部１２では、残差信号および符号量の大きさに応じて、隣接する符号化済み各MBにおけるMVに対する重み係数を決定する。具体的な重み係数の決定方法については、後述の動作例にて説明する。該重み係数算出部１２の出力として、隣接する符号化済み各MBにおけるMVに対する重み係数１２ａを出力する。
【００３５】
予測動きベクトル生成部１３は、隣接する符号化済み各MBにおけるMVおよび各MVに対する重み係数１２ａを入力とする。該予測動きベクトル生成部１３では、入力される各MVに対して重み係数を乗じた重み付きベクトルを求め、重み付きベクトルの和もしくは代表値から、予測動きベクトルを生成する。該予測動きベクトル生成部１３の出力として、生成された予測動きベクトル１３ａを出力する。
【００３６】
参照先決定部２４は、入力映像ａおよび符号化済みフレームにおける局所復号された信号ｂを入力とする。該参照先決定部２４では、処理MBにおける入力映像について、局所復号された信号を対象に探索範囲内で最も信号が近い同矩形の位置を探す。最も信号が近い位置について、処理MBからの空間的な相対位置を、動きベクトルとする。また、最も信号が近い位置における局所復号された信号について、同輝度値を予測値とする。さらに、入力映像に対する予測値の差分を、予測誤差とする。該参照先決定部２４の出力として、動きベクトル２４ａ、予測誤差２４ｂ、および予測値ｇを出力する。
【００３７】
ベクトル差分抽出部２５は、動きベクトル２４ａおよび予測動きベクトル１３ａを入力とする。該ベクトル差分抽出部２５では、動きベクトル２４ａに対する予測動きベクトル１３ａの差分を、ベクトル差分ｈとする。また、ベクトル差分ｈについて、エントロピー符号化を施し、ベクトル差分により発生する符号量２５ａを求める。ベクトル差分抽出部２５の出力として、ベクトル差分ｈ（デコードする際に用いられる予測に関する情報）およびベクトル差分の符号化に要する符号量２５ａを出力する。
【００３８】
歪み算出部２６は、入力映像ａ、予測誤差２４ｂ、および予測値ｇを入力とする。歪み算出部２６では、入力される予測誤差２４ｂについて、DCT、量子化、逆量子化、逆DCTの処理を施す。逆DCTまで施した結果に対して予測値ｇを加えた信号(局所復号信号)を得る。ここで、入力信号に対する局所復号信号の差分を求め、差分信号について二乗和を得る。歪み算出部２６の出力として、差分信号の二乗和（符号化歪み２６ａ）を出力する。
【００３９】
コスト値算出部２７では、ベクトル差分の符号量２５ａおよび符号化歪み２６ａを入力とする。コスト値算出部２７は、符号量および符号化歪みをコスト関数に入力し、コスト値を得る。コスト値算出部２７の出力として、コスト値を出力する。
【００４０】
次に、本発明の要部である前記重み係数算出部１２および予測動きベクトル生成部１３の動作を具体的に説明する。本発明では、残差信号、発生符号量および隣接する符号化済みＭＢにおける動きベクトルに基づき、処理ＭＢにおける予測動きベクトルを生成する。
【００４１】
ここで、入力映像の輝度値に対する予測値との差分（予測誤差）の大きさは、予測値の精度に強く依存するものであり、予測誤差の大きさで予測性能を評価することが可能である。また、残差信号は、予測誤差について量子化処理を施した信号である。したがって、量子化ステップ幅が一定の条件下では、残差信号の大小により予測性能を評価することが可能である。
【００４２】
ＭＢ単位での量子化ステップ幅の制御に関して、近傍ＭＢ間での極端な量子化ステップ幅の変化は局所的な主観画質を著しく低下する恐れがあるため、隣接ＭＢ間での量子化ステップ幅はほぼ一定に保たれる。したがって、隣接する符号化済みＭＢにおける残差信号の大小により、各ＭＢにおける動きベクトルの精度を相対的に評価することが可能である。
【００４３】
また、符号化における効率は、符号化歪みの大きさに対する発生符号量により評価される。さらに、各MBにおける、符号化歪みと大小関係がほぼ等価である残差信号と、該残差信号に対する発生符号量について、該発生符号量および、残差信号と発生符号量に基づくコスト関数を用いて、各MBにおける動きベクトルの精度による評価を行うことで、符号化効率を評価することが可能である。
【００４４】
以下に、該重み係数算出部１２および予測動きベクトル生成部１３の動作例１〜３について説明する。
【００４５】
なお、該動作例は、次の場合を想定して説明されるが、これに限定されるものではない。すなわち、図３に示されているように、処理MB0に対して、上、右上、左に接するＭＢを、それぞれMB1、MB2、MB3とする。また、MB1、MB2、MB3において、MB0の動きベクトル予測に用いられる分割ブロックを、それぞれDB1、DB2、DB3とする。ただし、MBn (n=1,2,3)における分割ブロックDBn (n=1,2,3)の決定方法は、既存のH.264に従うものとする。図３の各ブロックの分割サイズは、その一例である。
【００４６】
また、図示されているように、分割ブロックDB1、DB2、DB3における動きベクトルをそれぞれV１、V２、V３とし、分割ブロックDB1、DB2、DB3における残差信号の二乗和平均値をp１、p２、p３とする。また、分割ブロックDB1、DB2、DB3における発生符号量をb１、b２、b３とする。
・動作例１・・・残差信号のみによる動作例
【００４７】
(1)重み係数算出部１２の動作
【００４８】
分割ブロックDBn (n=1,2,3)における残差信号は以下の通りである。分割ブロックDBnにおける原画像の輝度値に対する、動きベクトルVｎにより得られる予測値の差分を、Dnとする。ただし、Dnは2次元で表示される輝度値の行列である。Dnに対して、2次元DCT、量子化、逆量子化、2次元逆DCTを施した結果をD'nとするとき、D'nが残差信号に該当する。残差信号D'nにおける(i,j)に位置する要素をD'n(i,j)とし、DBnの大きさを幅w画素、高さhラインとすると、残差信号の二乗和平均値pｎ(n=1,2,3)は式(2)で表される。
【００４９】
【数２】
【００５０】
ここで、pｎの逆数をVｎに関するベクトルの重みとした場合、V１からV３の重み係数w１からw３は式(3)で表される。なお、pｎの対数の逆数をベクトルの重みとした場合でも、同等の効果が得られる。
【００５１】
【数３】
【００５２】
(2)予測動きベクトル生成部１３の動作
【００５３】
(2-1)残差信号に基づく重みベクトルの和による予測動きベクトル生成
【００５４】
前記(3)により得られる重み係数を、動きベクトルVｎに掛けた重み付きベクトル(wｎVｎ）を求め、該重み付きベクトルの和により、予測動きベクトルpreV０を得る。予測動きベクトルを式(4)で表す。
【００５５】
【数４】
【００５６】
(2-2) 残差信号に基づく重み係数による順位付けを用いた予測動きベクトル生成
【００５７】
前記式(3)により得られる重み係数について順位付けを行い、係数値が大きいベクトルを予測動きベクトルとして採用する。判定動作を式(5)に示す。ただし、max()は、引数の中で最大の値を返す関数である。
【００５８】
【数５】
・動作例２・・・ 発生符号量のみによる動作例
【００５９】
(1)重み係数算出部１２の動作
【００６０】
隣接する符号化済みMBにおける発生符号量bｎの逆数をVｎに関するベクトルの重みとした場合、V１からV３の重み係数w１からw３は式(6)で表される。
【００６１】
【数６】
【００６２】
(2)予測動きベクトル生成部１３の動作
【００６３】
(2-1)発生符号量に基づく重み付けベクトルの和による予測動きベクトル生成
【００６４】
前記式(6)により得られる重み係数をVｎに掛けた重み付きベクトルを求め、重み付きベクトルの和により、予測動きベクトルpreV０を得る。予測動きベクトルを式(7)で表す。
【００６５】
【数７】
【００６６】
(2-2)発生符号量に基づく重み係数による順位付けを用いた予測動きベクトル生成
【００６７】
前記式(6)により得られる重み係数について順位付けを行い、係数値が大きいベクトルを予測動きベクトルとして採用する。判定動作を式(8)に示す。ただし、max()は、引数の中で最大の値を返す関数である。
【００６８】
【数８】
・動作例３・・・ コスト関数による動作例
【００６９】
(1)重み係数算出部１２の動作
【００７０】
評価隣接する符号化済みMBにおける残差信号pｎおよび発生符号量bｎからコスト値jｎを求め、jｎの逆数をVｎに関するベクトルの重みとする。コスト値の算出を式(9)に示す。V１からV３の重み係数w１からw３を式(10)に示す。ただし、λはラグランジュ乗数である。
【００７１】
【数９】
【００７２】
(2)予測動きベクトル生成部１３の動作
【００７３】
(2-1)コスト値に基づく重み付けベクトルの和による予測動きベクトル生成
【００７４】
前記式(10)により得られる重み係数をVｎに掛けた重み付きベクトルを求め、重み付きベクトルの和により、予測動きベクトルpreV０を得る。予測動きベクトルを式(11)で表す。
【００７５】
【数１０】
【００７６】
(2-2)コスト値に基づく重み係数による順位付けを用いた予測動きベクトル生成
【００７７】
前記式(10)により得られる重み係数について順位付けを行い、係数値が大きいベクトルを予測動きベクトルとして採用する。判定動作を式(12)に示す。ただし、max()は、引数の中で最大の値を返す関数である。
【００７８】
【数１１】
【００７９】
本発明者は、シミュレーションとして、エンコーダに本発明手法を実装し、符号化実験を行った。処理MBの上、右上、左のMBをそれぞれ、MB1、MB2、MB3とし、該処理MBの近傍符号化済みMBにおける、動きベクトルおよび残差信号の大きさを図４に示す。
【００８０】
該処理MBに対する動き探索結果は、(-7, 1)であった。従来手法のメディアン値による予測ベクトル生成では、該処理MBの予測動きベクトルは(-15, 0)となり、動きベクトルとの差分である(8, 1)を符号化する必要がある。一方で、本発明手法では、残差信号に基づく重み付けによる予測動きベクトル生成（前記動作例１）により、予測動きベクトルは、(-7, 1)となる。
【００８１】
したがって、発明手法では、動きベクトルとの差分が無いため、差分を符号化する必要が無く、上記の例では、本発明を用いると、動きベクトルの符号化に要する符号量が低減していることが分かる。
【図面の簡単な説明】
【００８２】
【図１】本発明の一実施形態の動画像符号化装置の概略の構成を示すブロック図である。
【図２】図１のインター符号化予測値生成部の詳細な構成を示すブロック図である。
【図３】処理ブロックと隣接ブロックとの位置関係を示す図である。
【図４】符号化実験で得られた符号化済みＭＢにおける符号化結果を示す図である。
【図５】従来の動画像符号化装置の概略の構成を示すブロック図である。
【図６】図５のインター符号化予測値生成部の詳細な構成を示すブロック図である。
【符号の説明】
【００８３】
１・・・イントラ符号化予測値生成部、３・・・モード判定制御部、４・・・ＤＣＴ／量子化部、５・・・ＩＤＣＴ／逆量子化部、６・・・エントロピー符号化部、７・・・ローカルメモリ（１）、８・・・ローカルメモリ（２）、９・・・インター符号化予測値生成部、１０・・・ローカルメモリ（３）、１１・・・近傍ＭＢの残差信号抽出部、１２・・・重み係数算出部、１３・・・予測動きベクトル生成部、２１・・・近傍ＭＢのＭＶ抽出部、２４・・・参照先決定部、２５・・・ベクトル差分抽出部、２６・・・歪み算出部、２７・・・コスト値算出部。
【特許請求の範囲】
【請求項１】
マクロブロック単位での符号化の際にインター符号化を許容する動画像符号化装置において、
隣接する符号化済みマクロブロックにおける符号化効率に基づいて、該隣接する符号化済みマクロブロックの動きベクトルに与える重み係数を決定する重み係数算出部と、
該重み係数算出部で得られた重み係数に応じて該隣接する符号化済みマクロブロックにおける動きベクトルに重み付けを行い、該重み付けを行われた動きベクトルから予測動きベクトルを算出する予測動きベクトル生成部とを具備することを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項２】
請求項１に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記重み係数算出部は、隣接する符号化済みマクロブロックにおける残差信号について、該残差信号の関数として表される係数を当該符号化済みマクロブロックにおける動きベクトルの重みとすることを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項３】
請求項２に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記残差信号の関数は、前記隣接する符号化済みマクロブロックにおける残差信号の積の和の逆数に比例することを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項４】
請求項２に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記残差信号の関数は、前記隣接する符号化済みマクロブロックにおける残差信号の対数の積の和の逆数に比例することを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項５】
請求項１に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記重み係数算出部は、隣接する符号化済みマクロブロックにおける発生符号量について、該発生符号量の値の関数として表される係数を当該符号化済みマクロブロックにおける動きベクトルの重みとすることを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項６】
請求項１に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記重み係数算出部は、隣接する符号化済みマクロブロックにおける残差信号および発生符号量について、該残差信号および発生符号量を入力とするコスト関数により得られる係数を当該符号化済みマクロブロックにおける動きベクトルの重みとすることを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項７】
請求項１に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記予測動きベクトル生成部は、隣接する符号化済みマクロブロックにおける動きベクトルに対して、請求項２から請求項６のいずれか１つで得られる重み付け係数を乗じた重みベクトルを求め、該重みベクトルの和を予測動きベクトルとすることを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項８】
請求項１に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記予測動きベクトル生成部は、隣接する符号化済みマクロブロックにおける動きベクトルについて、請求項２から請求項６のいずれか１つで得られる重み付け係数に関する順位付けにより得られた動きベクトルを、予測動きベクトルとすることを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項９】
請求項１ないし８のいずれかに記載の動画像符号化装置の予測動きベクトル生成装置において、
前記インター符号化は、輝度値、色差もしくはRGB信号に対するインター符号化であることを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項１】
マクロブロック単位での符号化の際にインター符号化を許容する動画像符号化装置において、
隣接する符号化済みマクロブロックにおける符号化効率に基づいて、該隣接する符号化済みマクロブロックの動きベクトルに与える重み係数を決定する重み係数算出部と、
該重み係数算出部で得られた重み係数に応じて該隣接する符号化済みマクロブロックにおける動きベクトルに重み付けを行い、該重み付けを行われた動きベクトルから予測動きベクトルを算出する予測動きベクトル生成部とを具備することを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項２】
請求項１に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記重み係数算出部は、隣接する符号化済みマクロブロックにおける残差信号について、該残差信号の関数として表される係数を当該符号化済みマクロブロックにおける動きベクトルの重みとすることを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項３】
請求項２に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記残差信号の関数は、前記隣接する符号化済みマクロブロックにおける残差信号の積の和の逆数に比例することを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項４】
請求項２に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記残差信号の関数は、前記隣接する符号化済みマクロブロックにおける残差信号の対数の積の和の逆数に比例することを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項５】
請求項１に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記重み係数算出部は、隣接する符号化済みマクロブロックにおける発生符号量について、該発生符号量の値の関数として表される係数を当該符号化済みマクロブロックにおける動きベクトルの重みとすることを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項６】
請求項１に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記重み係数算出部は、隣接する符号化済みマクロブロックにおける残差信号および発生符号量について、該残差信号および発生符号量を入力とするコスト関数により得られる係数を当該符号化済みマクロブロックにおける動きベクトルの重みとすることを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項７】
請求項１に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記予測動きベクトル生成部は、隣接する符号化済みマクロブロックにおける動きベクトルに対して、請求項２から請求項６のいずれか１つで得られる重み付け係数を乗じた重みベクトルを求め、該重みベクトルの和を予測動きベクトルとすることを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項８】
請求項１に記載の動画像符号化装置の予測動きベクトル生成装置において、
前記予測動きベクトル生成部は、隣接する符号化済みマクロブロックにおける動きベクトルについて、請求項２から請求項６のいずれか１つで得られる重み付け係数に関する順位付けにより得られた動きベクトルを、予測動きベクトルとすることを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【請求項９】
請求項１ないし８のいずれかに記載の動画像符号化装置の予測動きベクトル生成装置において、
前記インター符号化は、輝度値、色差もしくはRGB信号に対するインター符号化であることを特徴とする動画像符号化装置の予測動きベクトル生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−４９５１９（Ｐ２００９−４９５１９Ａ）
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００７−２１１４９４（Ｐ２００７−２１１４９４）
【出願日】平成１９年８月１４日（２００７．８．１４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成１９年８月１４日（２００７．８．１４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]