動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
【課題】一意に左の隣接ブロックの量子化パラメータを選択して符号化対象ブロックの量子化パラメータを予測符号化すると、符号量が増加することがある。
【解決手段】量子化パラメータ算出部１１０は、画像の複雑度合いを表すアクティビティに基づき符号化対象ブロックの量子化パラメータを算出する。予測量子化パラメータ算出部１１４は、量子化パラメータを含む符号化情報を記憶する符号化情報格納メモリ１１３から符号化対象ブロックの周囲に隣接する複数の符号化済みの隣接ブロックの量子化パラメータを読み出し、複数の隣接ブロックの量子化パラメータから符号化対象ブロックの予測量子化パラメータを算出する。差分量子化パラメータ生成部１１１は、符号化対象ブロックの量子化パラメータと予測量子化パラメータとの差分により差分量子化パラメータを生成する。第１の符号化ビット列生成部１１２は、差分量子化パラメータを符号化する。
【解決手段】量子化パラメータ算出部１１０は、画像の複雑度合いを表すアクティビティに基づき符号化対象ブロックの量子化パラメータを算出する。予測量子化パラメータ算出部１１４は、量子化パラメータを含む符号化情報を記憶する符号化情報格納メモリ１１３から符号化対象ブロックの周囲に隣接する複数の符号化済みの隣接ブロックの量子化パラメータを読み出し、複数の隣接ブロックの量子化パラメータから符号化対象ブロックの予測量子化パラメータを算出する。差分量子化パラメータ生成部１１１は、符号化対象ブロックの量子化パラメータと予測量子化パラメータとの差分により差分量子化パラメータを生成する。第１の符号化ビット列生成部１１２は、差分量子化パラメータを符号化する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化技術に関し、特に量子化パラメータの予測符号化を利用した動画像の符号化技術に関する。
【背景技術】
【０００２】
ＭＰＥＧ−２ Ｐａｒｔ２（以下ＭＰＥＧ−２と呼ぶ）やＭＰＥＧ−４ Ｐａｒｔ１０／Ｈ．２６４（以下ＡＶＣと呼ぶ）等のデジタル動画像符号化では、画像を所定の大きさのブロックに分割して符号化を行い、予測誤差信号（又は単に画像信号）に対する量子化の粗さを示す量子化パラメータを伝送する。符号化側でこの量子化パラメータを所定ブロック単位で可変制御することにより、符号量を制御することや主観画質を向上させることが可能である。
【０００３】
主観画質を向上させる量子化パラメータの制御としては、Ａｄａｐｔｉｖｅ Ｑｕａｎｔｉｚａｔｉｏｎ（適応量子化）が度々用いられる。適応量子化では、視覚的に劣化の目立ちやすい平坦部ではより細かく量子化され、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化されるように、各マクロブロックのアクティビティによって変化させる。即ち、符号化されたときの割り当てビット量が大きくなりやすいアクティビティの高いマクロブロックにおいては、大きい量子化スケールが設定されるように、量子化パラメータを変化させ、その結果、符号化された画像のデータにおいてビット数が出来るだけ少なくなるように制御しながら、主観画質を向上させることになる。
【０００４】
ＭＰＥＧ−２では符号化／復号する順序で１つ前のブロックの量子化パラメータと符号化対象ブロックの量子化パラメータが同一であるかどうかを判断し、同一でない場合には量子化パラメータを伝送する。ＡＶＣでは符号化／復号する順序で１つ前のブロックの量子化パラメータを予測値として、符号化対象ブロックの量子化パラメータを差分符号化する。これは、一般的に符号量制御は符号化順に行うため、符号化順で１つ前のブロックの量子化パラメータが最も符号化ブロックの量子化パラメータに近いということに基いており、伝送する量子化パラメータの情報量を抑制することを狙っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−９１７７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の量子化パラメータの制御では、符号化済みの左側のブロックの量子化パラメータを予測量子化パラメータとして、符号化対象のブロックの量子化パラメータとの差分を算出し、算出された差分量子化パラメータを符号化することで、量子化パラメータの符号量を削減した。しかしながら、画面内のコンテンツによっては、例えば図３に示されるように、符号化対象のブロック内の画像と符号化済みの左側のブロック内の画像の特徴が異なる場合、適応量子化にて算出される量子化パラメータは差が大きくなるので、一意に左側のブロックとの量子化パラメータ予測を実行しても差分量子化パラメータが大きくなり、符号量が増加する課題があった。
【０００７】
本発明はこうした状況に鑑みてなされたものであり、その目的は、量子化パラメータの符号量を削減して、符号化効率を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様の動画像符号化装置は、動画像の各ピクチャを分割したブロック単位で前記動画像を符号化する動画像符号化装置であって、ブロック単位で画像の複雑度合いを表すアクティビティを算出するアクティビティ算出部（１０９）と、前記アクティビティに基づき符号化対象ブロックの量子化パラメータを算出する量子化パラメータ算出部（１１０）と、前記量子化パラメータを含む符号化情報を記憶する符号化情報格納メモリから前記符号化対象ブロックの周囲に隣接する複数の符号化済みの隣接ブロックの量子化パラメータを読み出し、複数の前記隣接ブロックの量子化パラメータから前記符号化対象ブロックの予測量子化パラメータを算出する予測量子化パラメータ算出部（１１４）と、前記符号化対象ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象ブロックの差分量子化パラメータを生成する差分量子化パラメータ生成部（１１１）と、前記符号化対象ブロックの差分量子化パラメータを符号化する符号化部（１１２）とを備える。
【０００９】
本発明の別の態様は、動画像符号化方法である。この方法は、動画像の各ピクチャを分割したブロック単位で前記動画像を符号化する動画像符号化方法であって、ブロック単位で画像の複雑度合いを表すアクティビティを算出するアクティビティ算出ステップと、前記アクティビティに基づき符号化対象ブロックの量子化パラメータを算出する量子化パラメータ算出ステップと、前記量子化パラメータを含む符号化情報を記憶する符号化情報格納メモリから前記符号化対象ブロックの周囲に隣接する複数の符号化済みの隣接ブロックの量子化パラメータを読み出し、複数の前記隣接ブロックの量子化パラメータから前記符号化対象ブロックの予測量子化パラメータを算出する予測量子化パラメータ算出ステップと、前記符号化対象ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象ブロックの差分量子化パラメータを生成する差分量子化パラメータ生成ステップと、前記符号化対象ブロックの差分量子化パラメータを符号化する符号化ステップとを備える。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、量子化パラメータの符号量を削減して、符号化効率を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態に係る予測量子化パラメータの算出方法を具備した動画像符号化装置の構成を示すブロック図である。
【図２】実施の形態に係る予測量子化パラメータの算出方法を具備した動画像復号装置の構成を示すブロック図である。
【図３】符号化対象ブロックと隣接する既符号化済みの周囲のブロックに対して、絵柄が左及び左上のブロックに含まれる一例を表す図である。
【図４】隣接する既符号化済みの周囲のブロックの量子化パラメータを、符号化対象ブロックの予測量子化パラメータとして参照先として示す一例を表す図である。
【図５】第１の実施例において、符号化対象ブロックの予測量子化パラメータを算出する為の判定条件として、隣接ブロックの量子化パラメータ間の比較を表す図である。
【図６】第１の実施例の予測量子化パラメータ算出部の動作を説明する為のフローチャートである。
【図７】差分量子化パラメータの符号付き指数符号付ゴロム符号化テーブルの一例を表す図である。
【図８】第１の実施例の予測量子化パラメータの判定において、簡易的な判定に置き換えた場合を説明する為のフローチャートである。
【図９】第１の実施例において、符号化対象ブロックの予測量子化パラメータを算出する為の判定条件として、隣接ブロックの量子化パラメータ間の比較を表す図である。
【図１０】上と左上の隣接ブロックの間の量子化パラメータの差が大きい場合に上の隣接ブロックの量子化パラメータを選択する一例を表す図である。
【図１１】第１の実施例の予測量子化パラメータの判定において、簡易的な判定に置き換えた場合を説明する為の別のフローチャートである。
【図１２】第２の実施例の予測量子化パラメータ算出部の動作を説明する為のフローチャートである。
【図１３】第２の実施例の予測量子化パラメータ算出部において、状態判定フラグＳＡ及びＳＬに基づいて予測量子化パラメータを算出する為の判定に用いる２次元配置を表す図である。
【図１４】第３の実施例の予測量子化パラメータ算出部の動作を説明する為のフローチャートである。
【図１５】第３の実施例の予測量子化パラメータの判定において、簡易的な判定に置き換えた場合を説明する為のフローチャートである。
【図１６】第３の実施例の予測量子化パラメータの判定を、第２の実施例の予測量子化パラメータ算出部の２次元配置に適用した場合を説明する為の図である。
【図１７】第４の実施例の予測量子化パラメータ算出部の動作を説明する為のフローチャートである。
【図１８】左と左上の隣接ブロックの量子化パラメータの差分絶対値と上と左上の隣接ブロックの量子化パラメータの差分絶対値の差分を量子化した値δを説明する図である。
【図１９】上限及び下限を設定した場合の図１８の量子化値δの一例を説明する図である。
【図２０】重み付け係数の設定テーブルを説明する図である。
【図２１】左と左上の隣接ブロックの量子化パラメータの差分絶対値と上と左上の隣接ブロックの量子化パラメータの差分絶対値の差分を量子化した値δの別の例を説明する図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態は、ピクチャを矩形ブロックに分割し、ブロック単位に量子化・符号化を行う動画像符号化において、処理対象のブロックの量子化パラメータの符号量を削減するために、既符号化済みの周囲のブロックの符号化情報から最適な予測量子化パラメータを導出し、予測量子化パラメータとの差分を算出して、符号化する符号量制御技術を提供する。
【００１４】
本発明を実施する好適な動画像符号化装置１００及び動画像復号装置２００について説明する。図１は本発明を実施する動画像符号化装置１００の構成を示すブロック図であり、画像メモリ１０１、残差信号生成部１０２、直交変換・量子化部１０３、第２の符号化ビット列生成部１０４、逆量子化・逆直交変換部１０５、復号画像信号重畳部１０６、復号画像メモリ１０７、予測画像生成部１０８、アクティビティ算出部１０９、量子化パラメータ算出部１１０、差分量子化パラメータ生成部１１１、第１の符号化ビット列生成部１１２、符号化情報格納メモリ１１３、予測量子化パラメータ算出部１１４及び符号化ビット列多重化部１１５から構成される。尚、各ブロック間を結ぶ太実線の矢印はピクチャの画像信号、細実線の矢印は符号化を制御するパラメータ信号の流れを表すものである。
画像メモリ１０１は、撮影／表示時間順に供給された符号化対象の画像信号を一時格納する。画像メモリ１０１は、格納された符号化対象の画像信号を、所定の画素ブロック単位で、残差信号生成部１０２、予測画像生成部１０８及びアクティビティ算出部１０９に供給する。その際、撮影／表示時間順に格納された画像は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ１０１から出力される。
【００１５】
残差信号生成部１０２は、符号化する画像信号と予測画像生成部１０８にて生成された予測信号との引き算を行い残差信号を生成し、直交変換・量子化部１０３に供給する。
直交変換・量子化部１０３は、残差信号に対して直交変換及び量子化を行い、直交変換・量子化された残差信号を生成し、第２の符号化ビット列生成部１０４と逆量子化・逆直交変換部１０に供給する。
【００１６】
第２の符号化ビット列生成部１０４は、直交変換及び量子化された残差信号を規定のシンタックス規則に従ってエントロピー符号化して第２の符号化ビット列を生成し、符号化ビット列多重化部１１５に供給する。
【００１７】
逆量子化・逆直交変換部１０５は、直交変換・量子化部１０３から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部１０６に供給する。
【００１８】
復号画像信号重畳部１０６は、予測画像生成部１０８により生成された予測画像信号と逆量子化・逆直交変換部１０５で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ１０７に格納する。尚、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施して、復号画像メモリ１０７に格納されることもあり、その場合、必要に応じてデブロッキングフィルタ等のポストフィルタの情報を識別するフラグ等の予測された符号化情報を符号化情報格納メモリ１１３に格納する。
【００１９】
予測画像生成部１０８は、画像メモリ１０１から供給される画像信号と復号画像メモリ１０７から供給される復号画像信号から、予測モードを基にフレーム内予測或いはフレーム間予測を行い、予測画像信号を生成する。フレーム内予測は、画像メモリ１０１から供給される画像信号を所定のブロック単位で分割された符号化対象ブロックと、復号画像メモリ１０７から供給される符号化対象ブロックと同じフレーム内に存在する符号化対象ブロックに隣接する周囲の符号化済みブロックの画素信号を用いて予測画像信号を生成する。フレーム間予測は、画像メモリ１０１から供給される画像信号を所定のブロック単位で分割された符号化対象ブロックのフレーム（符号化フレーム）の時系列で前または後ろに数フレーム離れた復号画像メモリ１０７に格納されている符号化済みフレームを参照フレームとし、符号化フレームと参照フレームとの間でブロックマッチングを行い、動きベクトルと呼ばれる動き量を求め、この動き量を基に参照フレームから動き補償を行い、予測画像信号を生成する。こうして生成された予測画像信号を残差信号生成部１０２に供給する。予測画像生成部１０８にて得られた動きベクトル等の符号化情報は、必要に応じて符号化情報格納メモリ１１３に格納する。尚、予測画像生成部１０８で、複数の予測モードの選択が可能である場合、生成された予測画像信号と元の画像信号との間の歪量等を評価することにより、最適な予測モードを決定し、決定された予測モードによる予測により生成された予測画像信号を選択し、残差信号生成部１０２に供給することも可能である。
【００２０】
アクティビティ算出部１０９は、画像メモリ１０１から供給される符号化対象ブロックの画像の複雑さや滑らかさを示す係数であるアクティビティが計算され、量子化パラメータ算出部１１０に供給する。アクティビティ算出部１０９の詳細な構成と動作は、後述する実施例にて説明する。
【００２１】
量子化パラメータ算出部１１０は、アクティビティ算出部１０９にて算出されたアクティビティによって、符号化対象ブロックの量子化パラメータを算出し、差分量子化パラメータ生成部１１１及び符号化情報格納メモリ１１３に供給する。量子化パラメータ算出部１１０の詳細な構成と動作は、後述する実施例にて説明する。
【００２２】
差分量子化パラメータ生成部１１１は、量子化パラメータ算出部１１０にて算出された量子化パラメータに対して、予測量子化パラメータ算出部１１４にて算出された予測量子化パラメータと引き算を行い、差分量子化パラメータを算出し、第１の符号化ビット列生成部１１２に供給する。
【００２３】
第１の符号化ビット列生成部１１２は、差分量子化パラメータ生成部１１１によって算出された差分量子化パラメータを規定のシンタックス規則に従って符号化して第１の符号化ビット列を生成し、符号化ビット列多重化部１１５に供給する。
【００２４】
符号化情報格納メモリ１１３は、符号化が終了したブロックの量子化パラメータを格納する。また、図１に結線を図示していないが、予測画像生成部１０８にて生成される予測モードや動きベクトル等の符号化情報も、次の符号化対象ブロックを符号化に必要な情報として格納する。更に、ピクチャやスライス単位で生成される符号化情報も必要に応じて格納する。
【００２５】
予測量子化パラメータ算出部１１４は、符号化対象ブロックの周囲に隣接する既符号化済みのブロックの量子化パラメータや符号化情報を用いて、予測量子化パラメータを算出し、差分量子化パラメータ生成部１１１に供給する。予測量子化パラメータ算出部１１４の詳細な構成と動作は、後述する実施例にて説明する。
【００２６】
符号化ビット列多重化部１１５は、第１の符号化ビット列と第２の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。
【００２７】
図２は図１の動画像符号化装置１００に対応した実施の形態に係る動画像復号装置２００の構成を示すブロック図である。実施の形態の動画像復号装置２００は、ビット列分離部２０１、第１符号化ビット列復号部２０２、量子化パラメータ生成部２０３、符号化情報格納メモリ２０４、予測量子化パラメータ算出部２０５、第２符号化ビット列復号部２０６、逆量子化・逆直交変換部２０７、復号画像信号重畳部２０８、予測画像生成部２０９及び復号画像メモリ２１０を備える。尚、図１の動画像符号化装置１００と同様に、各ブロック間を結ぶ太実線の矢印はピクチャの画像信号、細実線の矢印は符号化を制御するパラメータ信号の流れを表すものである。
【００２８】
図２の動画像復号装置２００の復号処理は、図１の動画像符号化装置１００の内部に設けられている復号処理に対応するものであるから、図２の逆量子化・逆直交変換部２０７、復号画像信号重畳部２０８、予測画像生成部２０９、復号画像メモリ２１０及び符号化情報格納メモリ２０４の各構成は、図１の動画像符号化装置１００の逆量子化・逆直交変換部１０５、復号画像信号重畳部１０６、予測画像生成部１０８、復号画像メモリ１０７及び符号化情報格納メモリ１１３の各構成とそれぞれ対応する機能を有する。
【００２９】
ビット列分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、分離された符号化ビット列が第１符号化ビット列復号部２０２、第２符号化ビット列復号部２０６に供給される。
【００３０】
第１符号化ビット列復号部２０２は、供給された符号化ビット列を復号して予測モード、動きベクトル、差分量子化パラメータ等に関する符号化情報を出力し、差分量子化パラメータを量子化パラメータ生成部２０３に与えるとともに、符号化情報を符号化情報格納メモリ２０４に格納する。
【００３１】
量子化パラメータ生成部２０３は、第１符号化ビット列復号部２０２から供給される差分量子化パラメータと予測量子化パラメータ算出部２０５にて算出される量子化パラメータとを加算して量子化パラメータを算出し、逆量子化・逆直交変換部２０７及び符号化情報格納メモリ２０４に供給する。
【００３２】
符号化情報格納メモリ１１３は、復号が終了したブロックの量子化パラメータを格納する。更に、第１符号化ビット列復号部２０２にて復号されたブロック単位の符号化情報だけでなく、ピクチャやスライス単位で生成される符号化情報も必要に応じて格納する。また、図２に結線を図示していないが、復号された予測モードや動きベクトル等の符号化情報を予測画像生成部２０９に供給する。
【００３３】
予測量子化パラメータ算出部２０５は、復号対象ブロックの周囲に隣接する既復号済みのブロックの量子化パラメータや符号化情報を用いて、予測量子化パラメータを算出し、量子化パラメータ生成部２０３に供給する。予測量子化パラメータ算出部２０５は動画像符号化装置１００の予測量子化パラメータ算出部１１４と同等の機能を有しており、詳細な構成と動作は後述する実施例にて説明する。
【００３４】
第２符号化ビット列復号部２０６は、供給された符号化ビット列を復号して直交変換・量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０７に与える。
【００３５】
逆量子化・逆直交変換部２０７は、第２符号化ビット列復号部２０６で復号された直交変換・量子化された残差信号に対して、量子化パラメータ生成部２０３にて生成された量子化パラメータを用いて、逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
【００３６】
復号画像信号重畳部２０８は、予測画像生成部２０９で生成された予測画像信号と、逆量子化・逆直交変換部２０７により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を生成し、出力するとともに復号画像メモリ２１０に格納する。復号画像メモリ２１０に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２１０に格納されることもある。
【００３７】
予測画像生成部２０９は、第２符号化ビット列復号部２０６で復号される予測モードや動きベクトル等の符号化情報、更に符号化情報格納メモリ２０４から符号化情報を基にして、復号画像メモリ２１０から供給される復号画像信号から予測画像信号を生成し、復号画像信号重畳部２０８に供給する。
【００３８】
以下の実施例では、動画像符号化装置１００の中で太点線に囲まれた諸部１２０、特に予測量子化パラメータ算出部１１４と、動画像復号装置２００の中で太点線に囲まれた諸部２２０、特に予測量子化パラメータ算出部２０５とで共通に実施される予測量子化パラメータを算出する方法の詳細について説明する。
【００３９】
［実施例１］
まず、本発明の動画像符号化装置１００の中で太点線で囲まれた諸部１２０の各部の動作について説明する。諸部１２０では、最初に画像メモリ１０１から所定画素サイズ単位の画素ブロックを符号化対象ブロックとして、アクティビティ算出部１０９に供給される。
アクティビティ算出部１０９では、一般に人間の視覚特性はエッジの少ない低周波成分に敏感である為、視覚的に劣化の目立ちやすい平坦部ではより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化するように、所定ブロック単位に画像の複雑さや滑らかさを表現するアクティビティを算出する。
【００４０】
アクティビティの一例として、ＭＰＥＧ−２ ＴｅｓｔＭｏｄｅｌ５（ＴＭ５）に記載される符号化対象ブロック内の画素の分散値による算出が挙げられる。分散値はブロック内の画像を構成する画素の平均からの散らばりの度合いを示す値であり、ブロック内に画像が平坦である（輝度変化が小さい）程小さく、複雑な絵柄である（輝度変化が大きい）もの程値が大きくなるので、ブロックのアクティビティとして利用する。ブロック内の画素値をｐ（ｘ，ｙ）で表すと、ブロックのアクティビティａｃｔは次式で算出される。
【００４１】
【数１】
【００４２】
ここで、ＢＬＫは符号化対象ブロックの画素総数であり、ｐ＿ｍｅａｎはブロック内の画素の平均値である。
【００４３】
また、以上のような分散に限らず、符号化対象ブロック内の画素に対して、水平方向及び垂直方向で隣接する画素との差分絶対値をとり、ブロック内で総和をとっても良い。この場合でも、画像が平坦である場合は小さく、エッジが多い複雑な絵柄部分では大きい値となり、アクティビティとして利用可能である。次式により算出される。
【００４４】
【数２】
【００４５】
こうして算出されたアクティビティａｃｔは量子化パラメータ算出部１１０に供給される。
【００４６】
量子化パラメータ算出部１１０は、アクティビティ算出部１０９で算出されたアクティビティａｃｔを基にして、符号化対象ブロックの最適な量子化パラメータＱＰを算出する。
【００４７】
量子化パラメータ算出部１１０は、直前に符号化したフレーム内の平均アクティビティをａｖｇ＿ａｃｔとして記録しておき、符号化対象ブロックの正規化アクティビティＮａｃｔを次式により算出する。
【００４８】
【数３】
【００４９】
ここで、上式の係数２は量子化パラメータのダイナミックレンジを表す値であり、０．５〜２．０の範囲をとる正規化アクティビティＮａｃｔが算出される。
【００５０】
尚、ａｖｇ＿ａｃｔは、符号化過程の前に、予めフレーム内の全てのブロックに対してアクティビティを算出し、その平均値をａｖｇ＿ａｃｔとしてもよい。更に、ａｖｃ＿ａｃｔは符号化情報格納メモリ１１３に格納しておいてもよく、必要に応じて量子化パラメータ算出部１１０が符号化情報格納メモリ１１３からａｖｇ＿ａｃｔを取得してもよい。
【００５１】
算出された正規化アクティビティＮａｃｔを基準となる量子化パラメータｂａｓｅＱＰと次式の如く乗算を行い、符号化対象ブロックの量子化パラメータＱＰを得る。
【００５２】
【数４】
【００５３】
ここで、ｂａｓｅＱＰは符号化対象ブロックを含むフレーム或いはスライスを代表する量子化パラメータであってもよい。また、ＭＰＥＧ−２ ＴＭ５に記載されているレート制御方法により、ピクチャ数フレーム分を１つのグループ（以下、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）と称す）とし、そのＧＯＰの中でピクチャタイプ別に符号量を配分し、配分された符号量を仮想バッファ制御を用いたレート制御で算出されるブロック単位の量子化パラメータとしてもよい。更に、直前に符号化したフレームや符号化済みの同じ符号化タイプ（画像内符号化或いは画像間符号化）のフレームの平均量子化パラメータであってもよく、本発明では特に算出方法について限定しない。
【００５４】
尚、ｂａｓｅＱＰは符号化時に算出或いは供給され、量子化パラメータ算出部１１０の内部或いは符号化情報格納メモリ１１３に格納し、随時取得してもよい。
【００５５】
こうして算出された符号化対象ブロックの量子化パラメータは、符号化情報格納メモリ１１３及び差分量子化パラメータ生成部１１１に供給される。
【００５６】
符号化情報格納メモリ１１３は、量子化パラメータ算出部１１０にて算出された量子化パラメータや既に符号化が終了した過去の符号化対象ブロックの量子化パラメータが格納されるだけでなく、符号化対象ブロックの符号化となる動きベクトルや予測モード等の符号化情報も格納され、必要に応じて各部が符号化情報を取得する。
【００５７】
予測量子化パラメータ算出部１１４は、符号化情報格納メモリ１１３から符号化対象ブロックの周囲の既符号化済みの隣接ブロックの量子化パラメータやその他符号化情報を用いて、符号化対象ブロックの量子化パラメータを効率良く符号化、伝送する為の予測量子化パラメータを算出する。
【００５８】
量子化パラメータを効率良く符号化、伝送する為には、量子化パラメータのまま符号化するよりも、周囲の既符号化済みのブロックの量子化パラメータとの差分（差分量子化パラメータ）をとって、その差分量子化パラメータを符号化、伝送する方が効率が良い。符号化対象ブロックと周囲の隣接ブロックとは、隣接している為、同じ或いは似た絵柄となることが多いので、各ブロックで比較的近い量子化パラメータが算出される傾向がある。その為、Ｈ．２６４では、ラスタスキャン順に符号化対象ブロックの直前に符号化をした左隣に隣接するブロックの量子化パラメータを予測量子化パラメータとし、符号化対象ブロックの量子化パラメータと予測量子化パラメータとの差分をとり、差分量子化パラメータを符号化、伝送する方法を採用した。
【００５９】
しかしながら、図３が示される事例では、一意に左隣のブロックの量子化パラメータを予測量子化パラメータとすると、符号化対象ブロックと左の隣接ブロックとの画像の絵柄が異なるので、それぞれの量子化パラメータに影響を及ぼし、差分量子化パラメータも大きな値となり、発生符号量も大きくなり、効率的な符号化、伝送が出来ない恐れが生じる。
そこで、本発明に係る予測量子化パラメータ算出部１１４は、左隣のブロックから予測量子化パラメータを一意に選択せず、周囲の既符号化済みのブロックから最適な予測量子化パラメータを選択或いは算出して、差分量子化パラメータの発生符号量の効率を向上させる。
【００６０】
図４は符号化対象ブロックと周囲に隣接する既符号化済みのブロックとの配置の定義を示す。本発明では説明の都合上、各ブロックのサイズを同じものとして表記しているが、例えば動き予測等でブロックサイズを変えて、最適な動き予測を行う場合にでも、符号化対象ブロックの左上の点を基準として、その周囲に隣接するブロックを選抜することで実現可能である。
【００６１】
図５の記載の記号ＱＰｘ（ｘ＝Ｌ，Ａ，ＡＬ）は、図４で定義された周囲の既符号化済みの隣接ブロックの量子化パラメータを表す。予測量子化パラメータ算出部１１４は、図５に示される左と左上、上と左上との比較により、予測量子化パラメータを判定する。
【００６２】
予測量子化パラメータ算出部１１４の動作について説明する。図６は実施例１における予測量子化パラメータ算出部１１４の動作を示すフローチャートである。
【００６３】
まず、符号化情報格納メモリ１１３から符号化対象ブロックに隣接する周囲の既符号化済みのブロックの量子化パラメータを取得する（Ｓ１００）。符号化対象ブロックの左上の基準位置情報から、符号化情報格納メモリ１１３に格納された記憶領域をアクセスして、該当するブロックの量子化パラメータを予測量子化パラメータ算出部１１４に供給する。
【００６４】
画像の左端或いは上端に符号化対象ブロックが位置している場合、左或いは上及び左上の隣接ブロックは存在しない。ここで、量子化パラメータは常に正値をとることに着目して、隣接ブロックが存在しない場合、隣接ブロックの量子化パラメータＱＰｘ（ｘ＝Ｌ，Ａ，ＡＬ）を０に設定して、予測量子化パラメータ算出部１１４に供給する。
【００６５】
次に左と上の隣接ブロックが存在するか否かを判定する（Ｓ１０１）。左及び上の隣接ブロックの量子化パラメータがともに正の場合、両方が存在するので、Ｓ１０５に進む。そうでない場合、即ち一方が存在しない場合はＳ１０２に進む。
【００６６】
次に左及び上の隣接ブロックがともに存在しないか否かを判定する（Ｓ１０２）。即ち、左及び上の隣接ブロックの量子化パラメータがともに０の場合、両方ともに存在しないので、予測量子化パラメータとして左及び上の隣接ブロックの量子化パラメータを参照出来ない。そこで、直前に符号化を終了したブロックの量子化パラメータを予測量子化パラメータとする。
【００６７】
尚、画像の左上端のブロックが符号化対象ブロックである場合は、左と上の隣接ブロック、更に直前に符号化したブロックが存在しないので、ピクチャ或いはスライスの量子化パラメータを予測量子化パラメータとする（Ｓ１０３）。
【００６８】
左或いは上の隣接ブロックのどちらか一方が存在する場合、正である一方の量子化パラメータを予測量子化パラメータとする（Ｓ１０４）。
【００６９】
左及び上の隣接ブロックの両方が存在する場合、最初に左の隣接ブロックの量子化パラメータＱＰＬと左上の隣接ブロックの量子化パラメータＱＰＡＬとの一致判定を行う（Ｓ１０５）。ＱＰＬとＱＰＡＬが一致する場合、上の隣接ブロックの量子化パラメータＱＰＡを予測量子化パラメータとする（Ｓ１０６）。この場合、一例として図３で示される量子化パラメータの配置が考えられるので、ＯＰＡを選択することは適当と言える。また、ＱＰＡもＱＰＬ及びＱＰＡＬと一致する場合は、全ての隣接ブロックの量子化パラメータが同じとなり、ＱＰＡの選択は問題ない。
【００７０】
ＱＰＬとＱＰＡＬが一致しない場合、Ｓ１０７に進む。次に、ＱＰＡとＱＰＡＬとの一致判定を行う（Ｓ１０７）。ＱＰＡとＱＰＡＬが一致する場合、左の隣接ブロックの量子化パラメータＱＰＬを予測量子化パラメータとする（Ｓ１０８）。前述したＱＰＬとＱＰＡＬの一致の場合と同様の判定を考慮すれば、ＱＰＬが選択される。ＱＰＡとＱＰＡＬが一致しない場合、ＱＰＬとＱＰＡの平均値を予測量子化パラメータとする（Ｓ１０９）。この場合、左、上及び左上の隣接ブロックの量子化パラメータが全て異なるので、ＱＰＬ或いはＱＰＡのどちらか一方を選択するには十分な条件判定が出来ない。そこで、ＱＰＬとＱＰＡの平均を予測量子化パラメータとして、均等な判定値とする。こうして算出された予測量子化パラメータは差分量子化パラメータ生成部１１１に供給される。
【００７１】
差分量子化パラメータ生成部１１１は、量子化パラメータ算出部１１０にて算出された符号化対象ブロックの量子化パラメータに対して、予測量子化パラメータ算出部１１４にて算出された予測量子化パラメータと引き算を行い、差分量子化パラメータを算出する。予測量子化パラメータは復号時にも復号済みの周囲の隣接ブロックから符号化時と同様に算出されるので、差分符号化パラメータを符号化対象とすることで、符号化と復号で矛盾が生じず、量子化パラメータの符号量を削減することが可能となる。算出された差分量子化パラメータは第１の符号化ビット列生成部１１２に供給される。
【００７２】
第１の符号化ビット列生成部１１２は、差分量子化パラメータ生成部１１１によって算出された差分量子化パラメータを規定のシンタックス規則に従ってエントロピー符号化して第１の符号化ビット列を生成する。
【００７３】
図７に差分量子化パラメータのエントロピー符号化に使用される符号化変換テーブルの一例を示す。これは符号付き指数ゴロム符号化と呼ばれるテーブルであり、差分量子化パラメータの絶対値が小さい程短い符号長が与えられる。
【００７４】
一般に画像をブロックで分割した場合、隣接したブロックでは似たような画像となるので、アクティビティが近い値となり、算出されるブロックの量子化パラメータも近い値になる。その為、差分量子化パラメータの発生頻度は、０が最も高く、絶対値が大きくなるにつれて低くなる傾向となり、図７のテーブルもその特徴を反映して、発生頻度が高い値に対して短い符号長を割り当てられている。予測量子化パラメータが符号化対象ブロックの量子化パラメータに近い値で予測されれば、０に近い差分量子化パラメータが算出され、発生符号量を抑制することが可能となる。
【００７５】
第１の符号化ビット列生成部１１２は、差分量子化パラメータに対応する符号ビット列を図７のテーブルから抽出し、その符号ビット列を符号化ビット列多重化部１１５に供給する。
【００７６】
上述した本実施例の動画像符号化装置１００に対応する動画像復号装置２００の中で太点線で囲まれた諸部２２０の各部の動作について説明する。
【００７７】
諸部２２０では、最初に第１符号化ビット列復号部２０２にて復号された差分量子化パラメータが量子化パラメータ生成部２０３に供給される。また、差分量子化パラメータ以外の符号化情報が必要に応じて符号化情報格納メモリ２０４に格納される。
【００７８】
量子化パラメータ生成部２０３では、第１符号化ビット列復号部２０２から供給される差分量子化パラメータと予測量子化パラメータ算出部２０５にて算出される量子化パラメータとを加算して、復号対象ブロックの量子化パラメータを算出し、逆量子化・逆直交変換部２０７及び符号化情報格納メモリ２０４に供給する。
【００７９】
符号化情報格納メモリ２０４は、復号が終了したブロックの量子化パラメータが格納される。更に、第１符号化ビット列復号部２０２にて復号されたブロック単位の符号化情報だけでなく、ピクチャやスライス単位で生成される符号化情報も必要に応じて格納される。
【００８０】
予測量子化パラメータ算出部２０５は、復号対象ブロックの周囲に隣接する既復号済みのブロックの量子化パラメータや符号化情報を用いて、予測量子化パラメータを算出し、量子化パラメータ生成部２０３に供給する。量子化パラメータ生成部２０３で算出された量子化パラメータは符号化情報格納メモリ２０４に格納され、次の復号対象ブロックの予測量子化パラメータの算出時に、復号対象ブロックの周囲に位置する復号済みの隣接ブロックを判定し、隣接ブロックの量子化パラメータを符号化情報格納メモリ２０４から取得する。こうして得られる復号済みの隣接ブロックの量子化パラメータは、動画像符号化装置１００の予測量子化パラメータ算出部１１４が符号化情報格納メモリ１１３から取得する量子化パラメータと同一である。予測量子化パラメータ算出部２０５は動画像符号化装置１００の予測量子化パラメータ算出部１１４と同等の機能を有しているので、符号化情報格納メモリ２０４から供給される隣接ブロックの量子化パラメータが同じであれば、符号化時と同一の予測量子化パラメータが算出される。
【００８１】
予測量子化パラメータ算出部２０５では、符号化済みの隣接ブロックを復号済みの隣接ブロックと変更する以外同様の処理を行うので、量子化パラメータ予測の説明は割愛する。
こうして符号化側で算出された予測量子化パラメータが、復号側でも矛盾無く算出されることになる。
【００８２】
また、予測量子化パラメータ算出部１１４及び２０５の予測量子化パラメータの判定処理において、Ｓ１０５で一致と判定された場合にのみ、上の隣接ブロックの量子化パラメータを選択し、それ以外は左の隣接ブロックの量子化パラメータ選択するこようにして、負荷の軽い判定とすることも可能である。この手法は、符号化及び復号がラスタースキャン順（画面の左上から右下への順次走査）に行われることから、左の符号化済み或いは復号済みの隣接ブロックを優先することとして、簡易的な判定を行うものである。
【００８３】
上述の予測量子化パラメータの判定処理において、図６のＳ１０１の左と上の隣接ブロックの量子化パラメータがともに正である、即ち左と上の隣接ブロックがともに存在すると判定された場合から説明する。
【００８４】
図８は、左と上の隣接ブロックがともに存在すると判定された後の簡易判定処理の動作を表すフローチャートである。左及び上の隣接ブロックの両方が存在する場合、ＱＰＬとＱＰＡＬとの一致判定を行う（Ｓ１１０）。ＱＰＬとＱＰＡＬが一致する場合、上の隣接ブロックの量子化パラメータＱＰＡを予測量子化パラメータとする（Ｓ１１１）。ＱＰＬとＱＰＡＬが一致しない場合、左の隣接ブロックの量子化パラメータＱＰＬを予測量子化パラメータとする（Ｓ１１２）。こうして算出された予測量子化パラメータは差分量子化パラメータ生成部１１１に供給される。
【００８５】
更に、左と左上の隣接ブロックの量子化パラメータの差分絶対値をΔＬ、上と左上の隣接ブロックの量子化パラメータの差分絶対値をΔＡとして、ΔＬとΔＡの比較に基づいて、左或いは上の量子化パラメータを予測量子化パラメータとして選択することも可能である。
【００８６】
符号化対象ブロックとその周囲の既符号化済みの隣接ブロックにおいて、図９で示すようにΔＬ及びΔＡは左と左上、上と左上の隣接ブロックの量子化パラメータの差分絶対値を表し、それぞれ次式で表される。
【００８７】
【数５】
【００８８】
【数６】
【００８９】
ΔＡがΔＬよりも大きくなる場合は、ＱＰＡとＱＰＡＬとの差が大きい場合であり、上と左上の隣接ブロックの間で画像の滑らかさ或いは複雑さが左と左上の隣接ブロック間よりも異なっている（変化が大きい）と推察される。その為、図１０の太点線で示されるように、符号化対象ブロックとその周囲の既符号化済みの隣接ブロックにおいて、左２つのブロック（左と左上の隣接ブロック）と右２つのブロック（符号化対象ブロックと上の隣接ブロック）とで量子化パラメータの差が生じると考えられるので、符号化対象ブロックの量子化パラメータは左の隣接ブロックの量子化パラメータよりも上の隣接ブロックの量子化パラメータに近いと判定する。
【００９０】
以上の判定をフローチャートにしたものが図１１である。図１１を用いて、図６のＳ１０１の左と上の隣接ブロックの量子化パラメータがともに正である、即ち左と上の隣接ブロックがともに存在すると判定された場合から説明する。
【００９１】
左及び上の隣接ブロックの両方が存在する場合、ΔＬとΔＡとの比較判定を行う（Ｓ１１３）。ΔＡがΔＬよりも大きい場合、上の隣接ブロックの量子化パラメータＱＰＡを予測量子化パラメータとする（Ｓ１１４）。そうでない場合、左の隣接ブロックの量子化パラメータＱＰＬを予測量子化パラメータとする（Ｓ１１５）。こうして算出された予測量子化パラメータは差分量子化パラメータ生成部１１１に供給される。
【００９２】
［実施例２］
本実施例において、予測量子化パラメータの算出を行う場合に、動画像符号化装置１００の予測量子化パラメータ算出部１１４で参照する隣接ブロックは符号化済みのブロックであり、動画像復号装置２００の予測量子化パラメータ算出部２０５で参照する隣接ブロックは復号済みのブロックである。符号化側で参照される符号化済みのブロックは、符号化内部で次の符号化の為に局部復号されたブロックであり、復号側で参照される復号済みブロックと同じである。その為、予測量子化パラメータ算出部１１４及び２０５の機能も共通であり、それぞれで算出される予測量子化パラメータも同じある。以降の実施例では、予測量子化パラメータの算出について、符号化と復号で切り分けず、共通の機能として符号化側で説明する。
【００９３】
実施例２における予測量子化パラメータ算出部１１４の動作について説明する。図１２は実施例２における予測量子化パラメータ算出部１１４の動作を示すフローチャートである。
【００９４】
最初に、符号化情報格納メモリ１１３から符号化対象ブロックに隣接する周囲の既符号化済みのブロックの量子化パラメータを取得する（Ｓ２００）。符号化対象ブロックの左上の基準位置情報から、符号化情報格納メモリ１１３に格納された記憶領域をアクセスして、該当するブロックの量子化パラメータを予測量子化パラメータ算出部１１４に供給する。画像の左端或いは上端に符号化対象ブロックが位置している場合、左或いは上及び左上の隣接ブロックは存在しない。ここで、量子化パラメータは常に正値をとることに着目して、隣接ブロックが存在しない場合、隣接ブロックの量子化パラメータＱＰｘ（ｘ＝Ｌ，Ａ，ＡＬ）を０に設定して、予測量子化パラメータ算出部１１４に供給する。次に左と上の隣接ブロックが存在するか否かを判定する（Ｓ２０１）。左及び上の隣接ブロックの量子化パラメータがともに正の場合、両方が存在するので、Ｓ２０５に進む。そうでない場合、即ち一方が存在しない場合はＳ２０２に進む。Ｓ２０２からＳ２０４の処理過程について実施例１と同様なので割愛する。
【００９５】
左及び上の隣接ブロックの両方が存在する場合、左の隣接ブロックの量子化パラメータＱＰＬと左上の隣接ブロックの量子化パラメータＱＰＡＬとの差分絶対値ΔＬが閾値ＴＨＬ未満か否かを判定する（Ｓ２０５）。差分絶対値ΔＬは次式で算出される。
【００９６】
【数７】
【００９７】
ΔＬがＴＨＬ未満となる場合、状態判定フラグＳＬを”１”に設定する（Ｓ２０６）。一方、ΔＬがＴＨＬ未満でない場合、状態判定フラグＳＬを”０”に設定する（Ｓ２０７）。実施例２では、ＱＰＬとＱＰＡＬとが閾値ＴＨＬ未満で収まる場合、左と左上の各隣接ブロックは量子化パラメータが一致していると判断することとし、実施例１におけるＱＰＬとＱＰＡＬの一致と同様の判定を行う。その為、状態判定フラグＳＬが”１”となる場合はＱＰＡを予測量子化パラメータとすることを表す。次に、上の隣接ブロックの量子化パラメータＱＰＡとＱＰＡＬとの差分絶対値ΔＡが閾値ＴＨＡ未満か否かを判定する（Ｓ２０８）。差分絶対値ΔＡは次式で算出される。
【００９８】
【数８】
【００９９】
ΔＡがＴＨＡ未満となる場合、状態判定フラグＳＡを”１”に設定する（Ｓ２０９）。一方、ΔＡがＴＨＡ未満でない場合、状態判定フラグＳＡを”０”に設定する（Ｓ２１０）。実施例２では、ＱＰＡとＱＰＡＬとが閾値ＴＨＡ未満で収まる場合、上と左上の各隣接ブロックは量子化パラメータが一致していると判断することとし、実施例１におけるＱＰＡとＱＰＡＬの一致と同様の判定を行う。その為、状態判定フラグＳＡが”１”となる場合はＱＰＬを予測量子化パラメータとすることを表す。状態判定フラグＳＬ及びＳＡに基づいて、予測量子化パラメータを算出する（Ｓ２１１）。図１３は差分絶対値ΔＬ及びΔＡと閾値ＴＨＬ及びＴＨＡとの比較を状態判定フラグＳＬ及びＳＡと関連付けを行った２次元配置図である。左下の原点０を基準に、横軸をΔＬの大きさ、縦軸をΔＡの大きさをとり、閾値ＴＨＬ及びＴＨＡによって４つに領域に区分され、それぞれの領域で選択する予測量子化パラメータを示す（図１３中に領域１〜４で示される）。
【０１００】
領域１
状態判定フラグＳＬが”１”、ＳＡが”０”の場合であり、左と左上の隣接ブロックの量子化パラメータの差が小さく、上と左上の量子化パラメータの差が大きくなり、図３に示される事例のように縦方向のブロックで量子化パラメータが近似していると考えられる。その為、符号化対象ブロックの量子化パラメータは上の隣接ブロックの量子化パラメータＱＰＡに近い値になると判断し、予測量子化パラメータをＱＰＡとする。
【０１０１】
領域２
状態判定フラグＳＬが”０”、ＳＡが”１”の場合であり、領域１と同様の判断を行うと、横方向のブロックで量子化パラメータが近似していると考えられ、符号化対象ブロックの量子化パラメータは左の隣接ブロックの量子化パラメータＱＰＬに近い値になると判断し、予測量子化パラメータをＱＰＬとする。
【０１０２】
領域３
状態判定フラグＳＬ及びＳＡがともに”０”の場合である。即ち、ＱＰＬ及びＱＰＡがともにＱＰＡＬとの差分絶対値が大きい場合であり、左、上及び左上の隣接ブロックの量子化パラメータが全て異なるので、ＱＰＬ或いはＱＰＡのどちらか一方を選択するには十分な条件判定が出来ない。そこで、ＱＰＬとＱＰＡの平均を予測量子化パラメータとして、均等な判定値とする。
【０１０３】
領域４
状態判定フラグＳＬ及びＳＡがともに”１”の場合である。即ち、ＱＰＬ及びＱＰＡがともにＱＰＡＬとの差分絶対値が小さい場合であり、どちらか一方を選択せず、ＱＰＬとＱＰＡの平均値を予測量子化パラメータとする。
【０１０４】
こうして判定、算出された予測量子化パラメータは差分量子化パラメータ生成部１１１に供給される。
【０１０５】
閾値ＴＨＬ及びＴＨＡを１とすると、量子化パラメータは正整数であるので、実施例１と同等の判定となる。但し、上述した領域４は、左、上及び左上の全ての値が同じとなるので、平均値処理を必要としない。また、判定として各隣接ブロックの量子化パラメータの一致を調べるだけで済み、差分絶対値を演算で算出する必要が無い為、処理負荷を低減した実施例２のスペシャルケースとなり、高い実効性を備えるものである。
【０１０６】
閾値ＴＨＬ及びＴＨＡはあまり大きな値に設定すると、平均値の発生確率が高くなり、予測量子化パラメータの参照先に偏りがある場合には有効性が弱くなるので、２前後に設定することが望ましい。
【０１０７】
また、図１３の領域３及び４において、予測量子化パラメータとしてＱＰＬとＱＰＡの平均値をとることとしたが、ΔＬ及びΔＡの比較を行い、予測量子化パラメータとして参照する隣接ブロックの量子化パラメータを判定してもよい。図１２のフローチャートのＳ２１１の中で、或いはＳ２１１の後に、ΔＬとΔＡを比較する。ΔＬが大きい場合はＱＰＡ、ΔＡが大きい場合はＱＰＬ、同じ大きさの場合はＱＰＬとＱＰＡの平均値を予測量子化パラメータとする。
【０１０８】
［実施例３］
実施例３における予測量子化パラメータ算出部１１４の動作について説明する。実施例１との相違は、左或いは上の隣接ブロックの量子化パラメータを予測量子化パラメータとして参照していたのを、予測量子化パラメータの判定に基づいて、左及び上の隣接ブロックの量子化パラメータに重み付けを行い、算出される値を予測量子化パラメータとする点である。
【０１０９】
図１４は実施例３における予測量子化パラメータ算出部１１４の動作を示すフローチャートである。図１４のフローチャートのＳ３００からＳ３０４までは実施例１の図６のＳ１００からＳ１０４までと同じであるので、説明を割愛し、Ｓ３０１の左と上の隣接ブロックの量子化パラメータがともに正である、即ち左と上の隣接ブロックがともに存在すると判定された場合から説明する。
【０１１０】
左及び上の隣接ブロックの両方が存在する場合、ＱＰＬとＱＰＡＬとの一致判定を行う（Ｓ３０５）。ＱＰＬとＱＰＡＬが一致する場合、上の隣接ブロックの量子化パラメータの重み付け係数ＦＡを５、左の隣接ブロックの量子化パラメータの重み付け係数ＦＬを３とし、上の隣接ブロックの量子化パラメータに対して重み付けを大きくする（Ｓ３０６）。ＱＰＬとＱＰＡＬが一致しない場合、Ｓ３０７に進み、ＱＰＡとＱＰＡＬとの一致判定を行う（Ｓ３０７）。ＱＰＡとＱＰＡＬが一致する場合、ＦＡを３、ＦＬを５として、左の隣接ブロックの量子化パラメータに対して重み付けを大きくする（Ｓ３０８）。ＱＰＡとＱＰＡＬが一致しない場合、ＦＡとＦＬをともに４とし、左と上の隣接ブロックの量子化パラメータに対する重み付けを均等化する（Ｓ３０９）。これはＱＰＬとＱＰＡの平均値を算出することと等価であり、実施例１と同等となる。決定した重み付け係数からと各量子化パラメータから次式にて予測量子化パラメータｐｒｅｄＱＰを算出する（Ｓ３１０）。
【０１１１】
【数９】
【０１１２】
ここで、上式の分母はＦＡ＋ＦＬであり、分子の２は四捨五入の為に加算される（ＦＡ＋ＦＬ）／２の値である。
【０１１３】
こうして算出された予測量子化パラメータは差分量子化パラメータ生成部１１１に供給される。
【０１１４】
また、予測量子化パラメータの判定処理において、Ｓ３０５で一致と判定された場合にのみ、上の隣接ブロックの量子化パラメータの重み付け係数を大きくして、それ以外は左の隣接ブロックの量子化パラメータの重み付け係数を大きくするこようにして、負荷の軽い判定とすることも可能である。この手法は、符号化及び復号がラスタースキャン順（画面の左上から右下への順次走査）に行われることから、左の隣接ブロックの量子化パラメータの重み付け係数への重み付けを優先することとして、簡易的な判定を行うものである。
【０１１５】
上述の予測量子化パラメータの判定処理において、図１４のＳ３０１の左と上の隣接ブロックの量子化パラメータがともに正である、即ち左と上の隣接ブロックがともに存在すると判定された場合から説明する。
【０１１６】
図１５は、左と上の隣接ブロックがともに存在すると判定された後の簡易判定処理の動作を表すフローチャートである。左及び上の隣接ブロックの両方が存在する場合、ＱＰＬとＱＰＡＬとの一致判定を行う（Ｓ３１１）。ＱＰＬとＱＰＡＬが一致する場合、上の隣接ブロックの量子化パラメータの重み付け係数ＦＡを５、左の隣接ブロックの量子化パラメータの重み付け係数ＦＬを３とし、上の隣接ブロックの量子化パラメータに対して重み付けを大きくする（Ｓ３１２）。ＱＰＬとＱＰＡＬが一致しない場合、ＦＡを３、ＦＡを５として、左の隣接ブロックの量子化パラメータに対して重み付けを大きくする（Ｓ３１３）。決定した重み付け係数に基づいて、上述したＳ３１０にて予測量子化パラメータｐｒｅｄＱＰを算出する。
【０１１７】
更に、実施例２の判定処理とも組合せは可能である。この場合、図１３で示される差分絶対値ΔＬ及びΔＡと閾値ＴＨＬ及びＴＨＡとの比較を状態判定フラグＳＬ及びＳＡと関連付けを行った２次元配置図に対して、各領域に重み付け係数を設定しておくことで可能となる。図１６に重み付け係数を設定した２次元配置の一例を示す。領域１はＦＡを５、ＦＬを３とし、領域２はＦＡを３、ＦＬを５とし、残りの領域３及び４ではＦＡ、ＦＬともに４と設定する。状態判定フラグにより選択された領域の重み付け係数により、予測量子化パラメータを算出する。こうして算出された予測量子化パラメータは差分量子化パラメータ生成部１１１に供給される。
【０１１８】
尚、ここでは重み付け係数ＦＡ及びＦＬの係数の組合せとして、（ＦＡ，ＦＬ）＝（５，３）、（４，４）、（３，５）としたが、これ以外の係数を設定してもよい。但し、計算の高速化を重視する場合、ＦＡ＋ＦＬが２の冪乗で表される変数を選択することが望ましい。
【０１１９】
［実施例４］
実施例４における予測量子化パラメータ算出部１１４の動作について説明する。図１７は実施例４における予測量子化パラメータ算出部１１４の動作を示すフローチャートである。
【０１２０】
最初に、符号化情報格納メモリ１１３から符号化対象ブロックに隣接する周囲の既符号化済みのブロックの量子化パラメータを取得する（Ｓ４００）。符号化対象ブロックの左上の基準位置情報から、符号化情報格納メモリ１１３に格納された記憶領域をアクセスして、該当するブロックの量子化パラメータを予測量子化パラメータ算出部１１４に供給する。画像の左端或いは上端に符号化対象ブロックが位置している場合、左或いは上及び左上の隣接ブロックは存在しない。ここで、量子化パラメータは常に正値をとることに着目して、隣接ブロックが存在しない場合、隣接ブロックの量子化パラメータＱＰｘ（ｘ＝Ｌ，Ａ，ＡＬ）を０に設定して、予測量子化パラメータ算出部１１４に供給する。次に左と上の隣接ブロックが存在するか否かを判定する（Ｓ４０１）。左及び上の隣接ブロックの量子化パラメータがともに正の場合、両方が存在するので、Ｓ４０５に進む。そうでない場合、即ち一方が存在しない場合はＳ４０２に進む。Ｓ４０２からＳ４０４の処理過程について実施例１至乃３と同様なので割愛する。
【０１２１】
左及び上の隣接ブロックの両方が存在する場合、左の隣接ブロックの量子化パラメータＱＰＬと左上の隣接ブロックの量子化パラメータＱＰＡＬとの差分絶対値ΔＬ及び上の隣接ブロックの量子化パラメータＱＰＡと左上の隣接ブロックの量子化パラメータＱＰＡＬとの差分絶対値ΔＡとを算出する。算出されたΔＬとΔＡとの差分をとり、その差分をパラメータＤで除算を行い、得られる商を量子化ファクターδとすると、δは次式から算出される（Ｓ４０５）。
【０１２２】
【数１０】
【０１２３】
ここで、パラメータＤは、ΔＬとΔＡとの差分をＤ単位に量子化するステップであり、図１８に示されるように、パラメータＤによりΔＬとΔＡとの差分の量子化値としてδが算出される。
【０１２４】
本実施例では、上式で得られたδに応じて、左及び上の隣接ブロックの量子化パラメータに係る重み付け係数を変更して、予測量子化パラメータを算出する。ΔＬとΔＡとの差分が正で大きい場合は、左と左上の隣接ブロックの量子化パラメータとの差が大きい場合である。符号化対象ブロックとその周囲の既符号化済みの隣接ブロックは、上２つのブロック（上と左上の隣接ブロック）と下２つのブロック（左の隣接ブロックと符号化対象ブロック）との間で量子化パラメータの差が生じる傾向にある。この場合、符号化対象ブロックは左の隣接ブロックに近い量子化パラメータをとると判定し、左の隣接ブロックの量子化パラメータに対する重み付けを大きくする。
【０１２５】
逆に、ΔＬとΔＡとの差分が負で大きい場合は、上と左上の隣接ブロックの量子化パラメータとの差が大きい場合である。符号化対象ブロックとその周囲の既符号化済みの隣接ブロックは、左２つのブロック（左と左上の隣接ブロック）と右２つのブロック（上の隣接ブロックと符号化対象ブロック）との間で量子化パラメータの差が生じる傾向にある。この場合、符号化対象ブロックは上の隣接ブロックに近い量子化パラメータをとると判定し、上の隣接ブロックの量子化パラメータに対する重み付けを大きくする。
【０１２６】
ΔＬとΔＡとの差分が０に近い場合は、符号化対象の左及び上の隣接ブロックが近い量子化パラメータとなる場合である。この場合、左と上の隣接ブロックの量子化パラメータに対する重み付けを均等化する。
【０１２７】
このように、量子化ファクターδに応じて左と上の隣接ブロックの量子化パラメータの重み付け係数を可変させて、最適な予測量子化パラメータを算出する為に、以下ではδの正規化を行う。
【０１２８】
まず、δの上限ＭＡＸ及び下限ＭＩＮを設定し、δをＭＡＸ及びＭＩＮの範囲内に収まる値に制限する（Ｓ４０６）。ここで、ＭＩＮは−ＭＡＸと等価であり、ＭＡＸ及びＭＩＮは後工程のＳ４０８で設定されるテーブルの標本数に合わせるように設定する。次に、δにオフセット値ｏｆｆｓｅｔを加算してｉｎｄｅｘを算出する（Ｓ４０７）。ｉｎｄｅｘは後工程のＳ４０８で設定されるテーブルのインデックスであり、０を含む整数として表される。その為、δにｏｆｆｓｅｔを加算して、正整数に変換する。ｏｆｆｓｅｔにはＭＡＸが設定され、ｉｎｄｅｘの最小数はδ＋ｏｆｆｓｅｔ＝−ＭＩＮ＋ＭＡＸ＝０として表すことが可能となる。算出されたｉｎｄｅｘから該当する重み付け係数の変換テーブルから読み出す（Ｓ４０８）。ここでは、ＭＡＸ＝２とした場合の例を用いて説明する。
【０１２９】
図１９はＭＡＸを２として場合に、ΔＬとΔＡとの差分からδを算出し、上限と下限を設けた場合の変換例である。δは−２≦δ≦２の範囲で５つの整数値をとるので、これら５つの値に合わせて、重み付け係数のテーブルが設定される。図２０に重み付け係数のテーブルの一例を示す。重み付け係数のテーブルの中でＭＡＸの値となるｉｎｄｅｘ（この場合２となる）で左及び上の隣接ブロックの量子化パラメータに対する重み付けを均等とし、ｉｎｄｅｘが小さくなるに従い、上の隣接ブロックの量子化パラメータに対する重み付け係数ＦＡを大きくし、ｉｎｄｅｘが大きくなるに従い、左の隣接ブロックの量子化パラメータに対する重み付け係数ＦＬを大きくなるように設定する。続いて、ｉｎｄｅｘで指定される重み付け係数の組（ＦＡ，ＦＬ）を選択して、予測量子化パラメータを算出する（Ｓ４０９）。決定した重み付け係数からと各量子化パラメータから次式にて予測量子化パラメータｐｒｅｄＱＰを算出する。
【０１３０】
【数１１】
【０１３１】
ここで、上式の分母はＦＡ＋ＦＬであり、分子の２は四捨五入の為に加算される（ＦＡ＋ＦＬ）／２の値である。
【０１３２】
以上のようにして、予測量子化パラメータが算出される。上述した実施例では、パラメータＤによる除算を行った為、図１８で示されるように０近傍付近の発生頻度が高くなる傾向にあるので、図２１で示されるように均等分割をして発生頻度を均等化しても構わない。この場合、Ｓ４０５の量子化ファクターδの演算方式を変更することで解決される。
【０１３３】
尚、ここでは重み付け係数ＦＡ及びＦＬの係数の組合せとして、（４，０）、（３，１）、（２，２）としたが、これ以外の係数を設定してもよい。但し、計算の高速化を重視する場合、ＦＡ＋ＦＬが２の冪乗で表される変数を選択することが望ましい。
【０１３４】
また、δを演算として除算を行っているが、パラメータＤを２の冪乗の値とし、δの演算をシフト演算やビットマスクにより、処理を高速化することも可能である。
【０１３５】
実施の形態の動画像符号化装置によれば、符号化対象のブロック毎に符号化される量子化パラメータを、周囲の符号化済みのブロックの量子化パラメータ及び符号化情報を用いて、最適な予測量子化パラメータを予測して算出し、量子化パラメータと予測量子化パラメータとの差分をとり符号化することで、画質を変化させずに、量子化パラメータの符号量を削減して、符号化効率を向上させることが出来る。
【０１３６】
また、符号化側と復号側で、量子化パラメータ予測の共通の機能として実装出来るので、回路規模を縮小することが出来る。これは、符号化済みの隣接ブロックが符号化側では次の符号化対象ブロックの予測の為に局部復号したブロックとなり、復号済みブロックと同一である為、符号化側と復号側で矛盾を生じないように量子化パラメータ予測の判定を実現したことによる。
【０１３７】
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
【０１３８】
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
【０１３９】
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
【０１４０】
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１４１】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１４２】
１００ 動画像符号化装置、 １０１ 画像メモリ、 １０２ 残差信号生成部、 １０３ 直交変換・量子化部、 １０４ 第２の符号化ビット列生成部、 １０５ 逆量子化・逆直交変換部、 １０６ 復号画像信号重畳部、 １０７ 復号画像メモリ、 １０８ 予測画像生成部、 １０９ アクティビティ算出部、 １１０ 量子化パラメータ算出部、 １１１ 差分量子化パラメータ生成部、 １１２ 第１の符号化ビット列生成部、 １１３ 符号化情報格納メモリ、 １１４ 予測量子化パラメータ算出部、 １１５ 符号化ビット列多重化部、 ２００ 動画像復号装置、 ２０１ ビット列分離部、 ２０２ 第１符号化ビット列復号部、 ２０３ 量子化パラメータ生成部、 ２０４ 符号化情報格納メモリ、 ２０５ 予測量子化パラメータ算出部、 ２０６ 第２符号化ビット列復号部、 ２０７ 逆量子化・逆直交変換部、 ２０８ 復号画像信号重畳部、 ２０９ 予測画像生成部、 ２１０ 復号画像メモリ。
【技術分野】
【０００１】
本発明は、動画像の符号化技術に関し、特に量子化パラメータの予測符号化を利用した動画像の符号化技術に関する。
【背景技術】
【０００２】
ＭＰＥＧ−２ Ｐａｒｔ２（以下ＭＰＥＧ−２と呼ぶ）やＭＰＥＧ−４ Ｐａｒｔ１０／Ｈ．２６４（以下ＡＶＣと呼ぶ）等のデジタル動画像符号化では、画像を所定の大きさのブロックに分割して符号化を行い、予測誤差信号（又は単に画像信号）に対する量子化の粗さを示す量子化パラメータを伝送する。符号化側でこの量子化パラメータを所定ブロック単位で可変制御することにより、符号量を制御することや主観画質を向上させることが可能である。
【０００３】
主観画質を向上させる量子化パラメータの制御としては、Ａｄａｐｔｉｖｅ Ｑｕａｎｔｉｚａｔｉｏｎ（適応量子化）が度々用いられる。適応量子化では、視覚的に劣化の目立ちやすい平坦部ではより細かく量子化され、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化されるように、各マクロブロックのアクティビティによって変化させる。即ち、符号化されたときの割り当てビット量が大きくなりやすいアクティビティの高いマクロブロックにおいては、大きい量子化スケールが設定されるように、量子化パラメータを変化させ、その結果、符号化された画像のデータにおいてビット数が出来るだけ少なくなるように制御しながら、主観画質を向上させることになる。
【０００４】
ＭＰＥＧ−２では符号化／復号する順序で１つ前のブロックの量子化パラメータと符号化対象ブロックの量子化パラメータが同一であるかどうかを判断し、同一でない場合には量子化パラメータを伝送する。ＡＶＣでは符号化／復号する順序で１つ前のブロックの量子化パラメータを予測値として、符号化対象ブロックの量子化パラメータを差分符号化する。これは、一般的に符号量制御は符号化順に行うため、符号化順で１つ前のブロックの量子化パラメータが最も符号化ブロックの量子化パラメータに近いということに基いており、伝送する量子化パラメータの情報量を抑制することを狙っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−９１７７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の量子化パラメータの制御では、符号化済みの左側のブロックの量子化パラメータを予測量子化パラメータとして、符号化対象のブロックの量子化パラメータとの差分を算出し、算出された差分量子化パラメータを符号化することで、量子化パラメータの符号量を削減した。しかしながら、画面内のコンテンツによっては、例えば図３に示されるように、符号化対象のブロック内の画像と符号化済みの左側のブロック内の画像の特徴が異なる場合、適応量子化にて算出される量子化パラメータは差が大きくなるので、一意に左側のブロックとの量子化パラメータ予測を実行しても差分量子化パラメータが大きくなり、符号量が増加する課題があった。
【０００７】
本発明はこうした状況に鑑みてなされたものであり、その目的は、量子化パラメータの符号量を削減して、符号化効率を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様の動画像符号化装置は、動画像の各ピクチャを分割したブロック単位で前記動画像を符号化する動画像符号化装置であって、ブロック単位で画像の複雑度合いを表すアクティビティを算出するアクティビティ算出部（１０９）と、前記アクティビティに基づき符号化対象ブロックの量子化パラメータを算出する量子化パラメータ算出部（１１０）と、前記量子化パラメータを含む符号化情報を記憶する符号化情報格納メモリから前記符号化対象ブロックの周囲に隣接する複数の符号化済みの隣接ブロックの量子化パラメータを読み出し、複数の前記隣接ブロックの量子化パラメータから前記符号化対象ブロックの予測量子化パラメータを算出する予測量子化パラメータ算出部（１１４）と、前記符号化対象ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象ブロックの差分量子化パラメータを生成する差分量子化パラメータ生成部（１１１）と、前記符号化対象ブロックの差分量子化パラメータを符号化する符号化部（１１２）とを備える。
【０００９】
本発明の別の態様は、動画像符号化方法である。この方法は、動画像の各ピクチャを分割したブロック単位で前記動画像を符号化する動画像符号化方法であって、ブロック単位で画像の複雑度合いを表すアクティビティを算出するアクティビティ算出ステップと、前記アクティビティに基づき符号化対象ブロックの量子化パラメータを算出する量子化パラメータ算出ステップと、前記量子化パラメータを含む符号化情報を記憶する符号化情報格納メモリから前記符号化対象ブロックの周囲に隣接する複数の符号化済みの隣接ブロックの量子化パラメータを読み出し、複数の前記隣接ブロックの量子化パラメータから前記符号化対象ブロックの予測量子化パラメータを算出する予測量子化パラメータ算出ステップと、前記符号化対象ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象ブロックの差分量子化パラメータを生成する差分量子化パラメータ生成ステップと、前記符号化対象ブロックの差分量子化パラメータを符号化する符号化ステップとを備える。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、量子化パラメータの符号量を削減して、符号化効率を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態に係る予測量子化パラメータの算出方法を具備した動画像符号化装置の構成を示すブロック図である。
【図２】実施の形態に係る予測量子化パラメータの算出方法を具備した動画像復号装置の構成を示すブロック図である。
【図３】符号化対象ブロックと隣接する既符号化済みの周囲のブロックに対して、絵柄が左及び左上のブロックに含まれる一例を表す図である。
【図４】隣接する既符号化済みの周囲のブロックの量子化パラメータを、符号化対象ブロックの予測量子化パラメータとして参照先として示す一例を表す図である。
【図５】第１の実施例において、符号化対象ブロックの予測量子化パラメータを算出する為の判定条件として、隣接ブロックの量子化パラメータ間の比較を表す図である。
【図６】第１の実施例の予測量子化パラメータ算出部の動作を説明する為のフローチャートである。
【図７】差分量子化パラメータの符号付き指数符号付ゴロム符号化テーブルの一例を表す図である。
【図８】第１の実施例の予測量子化パラメータの判定において、簡易的な判定に置き換えた場合を説明する為のフローチャートである。
【図９】第１の実施例において、符号化対象ブロックの予測量子化パラメータを算出する為の判定条件として、隣接ブロックの量子化パラメータ間の比較を表す図である。
【図１０】上と左上の隣接ブロックの間の量子化パラメータの差が大きい場合に上の隣接ブロックの量子化パラメータを選択する一例を表す図である。
【図１１】第１の実施例の予測量子化パラメータの判定において、簡易的な判定に置き換えた場合を説明する為の別のフローチャートである。
【図１２】第２の実施例の予測量子化パラメータ算出部の動作を説明する為のフローチャートである。
【図１３】第２の実施例の予測量子化パラメータ算出部において、状態判定フラグＳＡ及びＳＬに基づいて予測量子化パラメータを算出する為の判定に用いる２次元配置を表す図である。
【図１４】第３の実施例の予測量子化パラメータ算出部の動作を説明する為のフローチャートである。
【図１５】第３の実施例の予測量子化パラメータの判定において、簡易的な判定に置き換えた場合を説明する為のフローチャートである。
【図１６】第３の実施例の予測量子化パラメータの判定を、第２の実施例の予測量子化パラメータ算出部の２次元配置に適用した場合を説明する為の図である。
【図１７】第４の実施例の予測量子化パラメータ算出部の動作を説明する為のフローチャートである。
【図１８】左と左上の隣接ブロックの量子化パラメータの差分絶対値と上と左上の隣接ブロックの量子化パラメータの差分絶対値の差分を量子化した値δを説明する図である。
【図１９】上限及び下限を設定した場合の図１８の量子化値δの一例を説明する図である。
【図２０】重み付け係数の設定テーブルを説明する図である。
【図２１】左と左上の隣接ブロックの量子化パラメータの差分絶対値と上と左上の隣接ブロックの量子化パラメータの差分絶対値の差分を量子化した値δの別の例を説明する図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態は、ピクチャを矩形ブロックに分割し、ブロック単位に量子化・符号化を行う動画像符号化において、処理対象のブロックの量子化パラメータの符号量を削減するために、既符号化済みの周囲のブロックの符号化情報から最適な予測量子化パラメータを導出し、予測量子化パラメータとの差分を算出して、符号化する符号量制御技術を提供する。
【００１４】
本発明を実施する好適な動画像符号化装置１００及び動画像復号装置２００について説明する。図１は本発明を実施する動画像符号化装置１００の構成を示すブロック図であり、画像メモリ１０１、残差信号生成部１０２、直交変換・量子化部１０３、第２の符号化ビット列生成部１０４、逆量子化・逆直交変換部１０５、復号画像信号重畳部１０６、復号画像メモリ１０７、予測画像生成部１０８、アクティビティ算出部１０９、量子化パラメータ算出部１１０、差分量子化パラメータ生成部１１１、第１の符号化ビット列生成部１１２、符号化情報格納メモリ１１３、予測量子化パラメータ算出部１１４及び符号化ビット列多重化部１１５から構成される。尚、各ブロック間を結ぶ太実線の矢印はピクチャの画像信号、細実線の矢印は符号化を制御するパラメータ信号の流れを表すものである。
画像メモリ１０１は、撮影／表示時間順に供給された符号化対象の画像信号を一時格納する。画像メモリ１０１は、格納された符号化対象の画像信号を、所定の画素ブロック単位で、残差信号生成部１０２、予測画像生成部１０８及びアクティビティ算出部１０９に供給する。その際、撮影／表示時間順に格納された画像は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ１０１から出力される。
【００１５】
残差信号生成部１０２は、符号化する画像信号と予測画像生成部１０８にて生成された予測信号との引き算を行い残差信号を生成し、直交変換・量子化部１０３に供給する。
直交変換・量子化部１０３は、残差信号に対して直交変換及び量子化を行い、直交変換・量子化された残差信号を生成し、第２の符号化ビット列生成部１０４と逆量子化・逆直交変換部１０に供給する。
【００１６】
第２の符号化ビット列生成部１０４は、直交変換及び量子化された残差信号を規定のシンタックス規則に従ってエントロピー符号化して第２の符号化ビット列を生成し、符号化ビット列多重化部１１５に供給する。
【００１７】
逆量子化・逆直交変換部１０５は、直交変換・量子化部１０３から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部１０６に供給する。
【００１８】
復号画像信号重畳部１０６は、予測画像生成部１０８により生成された予測画像信号と逆量子化・逆直交変換部１０５で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ１０７に格納する。尚、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施して、復号画像メモリ１０７に格納されることもあり、その場合、必要に応じてデブロッキングフィルタ等のポストフィルタの情報を識別するフラグ等の予測された符号化情報を符号化情報格納メモリ１１３に格納する。
【００１９】
予測画像生成部１０８は、画像メモリ１０１から供給される画像信号と復号画像メモリ１０７から供給される復号画像信号から、予測モードを基にフレーム内予測或いはフレーム間予測を行い、予測画像信号を生成する。フレーム内予測は、画像メモリ１０１から供給される画像信号を所定のブロック単位で分割された符号化対象ブロックと、復号画像メモリ１０７から供給される符号化対象ブロックと同じフレーム内に存在する符号化対象ブロックに隣接する周囲の符号化済みブロックの画素信号を用いて予測画像信号を生成する。フレーム間予測は、画像メモリ１０１から供給される画像信号を所定のブロック単位で分割された符号化対象ブロックのフレーム（符号化フレーム）の時系列で前または後ろに数フレーム離れた復号画像メモリ１０７に格納されている符号化済みフレームを参照フレームとし、符号化フレームと参照フレームとの間でブロックマッチングを行い、動きベクトルと呼ばれる動き量を求め、この動き量を基に参照フレームから動き補償を行い、予測画像信号を生成する。こうして生成された予測画像信号を残差信号生成部１０２に供給する。予測画像生成部１０８にて得られた動きベクトル等の符号化情報は、必要に応じて符号化情報格納メモリ１１３に格納する。尚、予測画像生成部１０８で、複数の予測モードの選択が可能である場合、生成された予測画像信号と元の画像信号との間の歪量等を評価することにより、最適な予測モードを決定し、決定された予測モードによる予測により生成された予測画像信号を選択し、残差信号生成部１０２に供給することも可能である。
【００２０】
アクティビティ算出部１０９は、画像メモリ１０１から供給される符号化対象ブロックの画像の複雑さや滑らかさを示す係数であるアクティビティが計算され、量子化パラメータ算出部１１０に供給する。アクティビティ算出部１０９の詳細な構成と動作は、後述する実施例にて説明する。
【００２１】
量子化パラメータ算出部１１０は、アクティビティ算出部１０９にて算出されたアクティビティによって、符号化対象ブロックの量子化パラメータを算出し、差分量子化パラメータ生成部１１１及び符号化情報格納メモリ１１３に供給する。量子化パラメータ算出部１１０の詳細な構成と動作は、後述する実施例にて説明する。
【００２２】
差分量子化パラメータ生成部１１１は、量子化パラメータ算出部１１０にて算出された量子化パラメータに対して、予測量子化パラメータ算出部１１４にて算出された予測量子化パラメータと引き算を行い、差分量子化パラメータを算出し、第１の符号化ビット列生成部１１２に供給する。
【００２３】
第１の符号化ビット列生成部１１２は、差分量子化パラメータ生成部１１１によって算出された差分量子化パラメータを規定のシンタックス規則に従って符号化して第１の符号化ビット列を生成し、符号化ビット列多重化部１１５に供給する。
【００２４】
符号化情報格納メモリ１１３は、符号化が終了したブロックの量子化パラメータを格納する。また、図１に結線を図示していないが、予測画像生成部１０８にて生成される予測モードや動きベクトル等の符号化情報も、次の符号化対象ブロックを符号化に必要な情報として格納する。更に、ピクチャやスライス単位で生成される符号化情報も必要に応じて格納する。
【００２５】
予測量子化パラメータ算出部１１４は、符号化対象ブロックの周囲に隣接する既符号化済みのブロックの量子化パラメータや符号化情報を用いて、予測量子化パラメータを算出し、差分量子化パラメータ生成部１１１に供給する。予測量子化パラメータ算出部１１４の詳細な構成と動作は、後述する実施例にて説明する。
【００２６】
符号化ビット列多重化部１１５は、第１の符号化ビット列と第２の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。
【００２７】
図２は図１の動画像符号化装置１００に対応した実施の形態に係る動画像復号装置２００の構成を示すブロック図である。実施の形態の動画像復号装置２００は、ビット列分離部２０１、第１符号化ビット列復号部２０２、量子化パラメータ生成部２０３、符号化情報格納メモリ２０４、予測量子化パラメータ算出部２０５、第２符号化ビット列復号部２０６、逆量子化・逆直交変換部２０７、復号画像信号重畳部２０８、予測画像生成部２０９及び復号画像メモリ２１０を備える。尚、図１の動画像符号化装置１００と同様に、各ブロック間を結ぶ太実線の矢印はピクチャの画像信号、細実線の矢印は符号化を制御するパラメータ信号の流れを表すものである。
【００２８】
図２の動画像復号装置２００の復号処理は、図１の動画像符号化装置１００の内部に設けられている復号処理に対応するものであるから、図２の逆量子化・逆直交変換部２０７、復号画像信号重畳部２０８、予測画像生成部２０９、復号画像メモリ２１０及び符号化情報格納メモリ２０４の各構成は、図１の動画像符号化装置１００の逆量子化・逆直交変換部１０５、復号画像信号重畳部１０６、予測画像生成部１０８、復号画像メモリ１０７及び符号化情報格納メモリ１１３の各構成とそれぞれ対応する機能を有する。
【００２９】
ビット列分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、分離された符号化ビット列が第１符号化ビット列復号部２０２、第２符号化ビット列復号部２０６に供給される。
【００３０】
第１符号化ビット列復号部２０２は、供給された符号化ビット列を復号して予測モード、動きベクトル、差分量子化パラメータ等に関する符号化情報を出力し、差分量子化パラメータを量子化パラメータ生成部２０３に与えるとともに、符号化情報を符号化情報格納メモリ２０４に格納する。
【００３１】
量子化パラメータ生成部２０３は、第１符号化ビット列復号部２０２から供給される差分量子化パラメータと予測量子化パラメータ算出部２０５にて算出される量子化パラメータとを加算して量子化パラメータを算出し、逆量子化・逆直交変換部２０７及び符号化情報格納メモリ２０４に供給する。
【００３２】
符号化情報格納メモリ１１３は、復号が終了したブロックの量子化パラメータを格納する。更に、第１符号化ビット列復号部２０２にて復号されたブロック単位の符号化情報だけでなく、ピクチャやスライス単位で生成される符号化情報も必要に応じて格納する。また、図２に結線を図示していないが、復号された予測モードや動きベクトル等の符号化情報を予測画像生成部２０９に供給する。
【００３３】
予測量子化パラメータ算出部２０５は、復号対象ブロックの周囲に隣接する既復号済みのブロックの量子化パラメータや符号化情報を用いて、予測量子化パラメータを算出し、量子化パラメータ生成部２０３に供給する。予測量子化パラメータ算出部２０５は動画像符号化装置１００の予測量子化パラメータ算出部１１４と同等の機能を有しており、詳細な構成と動作は後述する実施例にて説明する。
【００３４】
第２符号化ビット列復号部２０６は、供給された符号化ビット列を復号して直交変換・量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０７に与える。
【００３５】
逆量子化・逆直交変換部２０７は、第２符号化ビット列復号部２０６で復号された直交変換・量子化された残差信号に対して、量子化パラメータ生成部２０３にて生成された量子化パラメータを用いて、逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
【００３６】
復号画像信号重畳部２０８は、予測画像生成部２０９で生成された予測画像信号と、逆量子化・逆直交変換部２０７により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を生成し、出力するとともに復号画像メモリ２１０に格納する。復号画像メモリ２１０に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２１０に格納されることもある。
【００３７】
予測画像生成部２０９は、第２符号化ビット列復号部２０６で復号される予測モードや動きベクトル等の符号化情報、更に符号化情報格納メモリ２０４から符号化情報を基にして、復号画像メモリ２１０から供給される復号画像信号から予測画像信号を生成し、復号画像信号重畳部２０８に供給する。
【００３８】
以下の実施例では、動画像符号化装置１００の中で太点線に囲まれた諸部１２０、特に予測量子化パラメータ算出部１１４と、動画像復号装置２００の中で太点線に囲まれた諸部２２０、特に予測量子化パラメータ算出部２０５とで共通に実施される予測量子化パラメータを算出する方法の詳細について説明する。
【００３９】
［実施例１］
まず、本発明の動画像符号化装置１００の中で太点線で囲まれた諸部１２０の各部の動作について説明する。諸部１２０では、最初に画像メモリ１０１から所定画素サイズ単位の画素ブロックを符号化対象ブロックとして、アクティビティ算出部１０９に供給される。
アクティビティ算出部１０９では、一般に人間の視覚特性はエッジの少ない低周波成分に敏感である為、視覚的に劣化の目立ちやすい平坦部ではより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化するように、所定ブロック単位に画像の複雑さや滑らかさを表現するアクティビティを算出する。
【００４０】
アクティビティの一例として、ＭＰＥＧ−２ ＴｅｓｔＭｏｄｅｌ５（ＴＭ５）に記載される符号化対象ブロック内の画素の分散値による算出が挙げられる。分散値はブロック内の画像を構成する画素の平均からの散らばりの度合いを示す値であり、ブロック内に画像が平坦である（輝度変化が小さい）程小さく、複雑な絵柄である（輝度変化が大きい）もの程値が大きくなるので、ブロックのアクティビティとして利用する。ブロック内の画素値をｐ（ｘ，ｙ）で表すと、ブロックのアクティビティａｃｔは次式で算出される。
【００４１】
【数１】
【００４２】
ここで、ＢＬＫは符号化対象ブロックの画素総数であり、ｐ＿ｍｅａｎはブロック内の画素の平均値である。
【００４３】
また、以上のような分散に限らず、符号化対象ブロック内の画素に対して、水平方向及び垂直方向で隣接する画素との差分絶対値をとり、ブロック内で総和をとっても良い。この場合でも、画像が平坦である場合は小さく、エッジが多い複雑な絵柄部分では大きい値となり、アクティビティとして利用可能である。次式により算出される。
【００４４】
【数２】
【００４５】
こうして算出されたアクティビティａｃｔは量子化パラメータ算出部１１０に供給される。
【００４６】
量子化パラメータ算出部１１０は、アクティビティ算出部１０９で算出されたアクティビティａｃｔを基にして、符号化対象ブロックの最適な量子化パラメータＱＰを算出する。
【００４７】
量子化パラメータ算出部１１０は、直前に符号化したフレーム内の平均アクティビティをａｖｇ＿ａｃｔとして記録しておき、符号化対象ブロックの正規化アクティビティＮａｃｔを次式により算出する。
【００４８】
【数３】
【００４９】
ここで、上式の係数２は量子化パラメータのダイナミックレンジを表す値であり、０．５〜２．０の範囲をとる正規化アクティビティＮａｃｔが算出される。
【００５０】
尚、ａｖｇ＿ａｃｔは、符号化過程の前に、予めフレーム内の全てのブロックに対してアクティビティを算出し、その平均値をａｖｇ＿ａｃｔとしてもよい。更に、ａｖｃ＿ａｃｔは符号化情報格納メモリ１１３に格納しておいてもよく、必要に応じて量子化パラメータ算出部１１０が符号化情報格納メモリ１１３からａｖｇ＿ａｃｔを取得してもよい。
【００５１】
算出された正規化アクティビティＮａｃｔを基準となる量子化パラメータｂａｓｅＱＰと次式の如く乗算を行い、符号化対象ブロックの量子化パラメータＱＰを得る。
【００５２】
【数４】
【００５３】
ここで、ｂａｓｅＱＰは符号化対象ブロックを含むフレーム或いはスライスを代表する量子化パラメータであってもよい。また、ＭＰＥＧ−２ ＴＭ５に記載されているレート制御方法により、ピクチャ数フレーム分を１つのグループ（以下、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）と称す）とし、そのＧＯＰの中でピクチャタイプ別に符号量を配分し、配分された符号量を仮想バッファ制御を用いたレート制御で算出されるブロック単位の量子化パラメータとしてもよい。更に、直前に符号化したフレームや符号化済みの同じ符号化タイプ（画像内符号化或いは画像間符号化）のフレームの平均量子化パラメータであってもよく、本発明では特に算出方法について限定しない。
【００５４】
尚、ｂａｓｅＱＰは符号化時に算出或いは供給され、量子化パラメータ算出部１１０の内部或いは符号化情報格納メモリ１１３に格納し、随時取得してもよい。
【００５５】
こうして算出された符号化対象ブロックの量子化パラメータは、符号化情報格納メモリ１１３及び差分量子化パラメータ生成部１１１に供給される。
【００５６】
符号化情報格納メモリ１１３は、量子化パラメータ算出部１１０にて算出された量子化パラメータや既に符号化が終了した過去の符号化対象ブロックの量子化パラメータが格納されるだけでなく、符号化対象ブロックの符号化となる動きベクトルや予測モード等の符号化情報も格納され、必要に応じて各部が符号化情報を取得する。
【００５７】
予測量子化パラメータ算出部１１４は、符号化情報格納メモリ１１３から符号化対象ブロックの周囲の既符号化済みの隣接ブロックの量子化パラメータやその他符号化情報を用いて、符号化対象ブロックの量子化パラメータを効率良く符号化、伝送する為の予測量子化パラメータを算出する。
【００５８】
量子化パラメータを効率良く符号化、伝送する為には、量子化パラメータのまま符号化するよりも、周囲の既符号化済みのブロックの量子化パラメータとの差分（差分量子化パラメータ）をとって、その差分量子化パラメータを符号化、伝送する方が効率が良い。符号化対象ブロックと周囲の隣接ブロックとは、隣接している為、同じ或いは似た絵柄となることが多いので、各ブロックで比較的近い量子化パラメータが算出される傾向がある。その為、Ｈ．２６４では、ラスタスキャン順に符号化対象ブロックの直前に符号化をした左隣に隣接するブロックの量子化パラメータを予測量子化パラメータとし、符号化対象ブロックの量子化パラメータと予測量子化パラメータとの差分をとり、差分量子化パラメータを符号化、伝送する方法を採用した。
【００５９】
しかしながら、図３が示される事例では、一意に左隣のブロックの量子化パラメータを予測量子化パラメータとすると、符号化対象ブロックと左の隣接ブロックとの画像の絵柄が異なるので、それぞれの量子化パラメータに影響を及ぼし、差分量子化パラメータも大きな値となり、発生符号量も大きくなり、効率的な符号化、伝送が出来ない恐れが生じる。
そこで、本発明に係る予測量子化パラメータ算出部１１４は、左隣のブロックから予測量子化パラメータを一意に選択せず、周囲の既符号化済みのブロックから最適な予測量子化パラメータを選択或いは算出して、差分量子化パラメータの発生符号量の効率を向上させる。
【００６０】
図４は符号化対象ブロックと周囲に隣接する既符号化済みのブロックとの配置の定義を示す。本発明では説明の都合上、各ブロックのサイズを同じものとして表記しているが、例えば動き予測等でブロックサイズを変えて、最適な動き予測を行う場合にでも、符号化対象ブロックの左上の点を基準として、その周囲に隣接するブロックを選抜することで実現可能である。
【００６１】
図５の記載の記号ＱＰｘ（ｘ＝Ｌ，Ａ，ＡＬ）は、図４で定義された周囲の既符号化済みの隣接ブロックの量子化パラメータを表す。予測量子化パラメータ算出部１１４は、図５に示される左と左上、上と左上との比較により、予測量子化パラメータを判定する。
【００６２】
予測量子化パラメータ算出部１１４の動作について説明する。図６は実施例１における予測量子化パラメータ算出部１１４の動作を示すフローチャートである。
【００６３】
まず、符号化情報格納メモリ１１３から符号化対象ブロックに隣接する周囲の既符号化済みのブロックの量子化パラメータを取得する（Ｓ１００）。符号化対象ブロックの左上の基準位置情報から、符号化情報格納メモリ１１３に格納された記憶領域をアクセスして、該当するブロックの量子化パラメータを予測量子化パラメータ算出部１１４に供給する。
【００６４】
画像の左端或いは上端に符号化対象ブロックが位置している場合、左或いは上及び左上の隣接ブロックは存在しない。ここで、量子化パラメータは常に正値をとることに着目して、隣接ブロックが存在しない場合、隣接ブロックの量子化パラメータＱＰｘ（ｘ＝Ｌ，Ａ，ＡＬ）を０に設定して、予測量子化パラメータ算出部１１４に供給する。
【００６５】
次に左と上の隣接ブロックが存在するか否かを判定する（Ｓ１０１）。左及び上の隣接ブロックの量子化パラメータがともに正の場合、両方が存在するので、Ｓ１０５に進む。そうでない場合、即ち一方が存在しない場合はＳ１０２に進む。
【００６６】
次に左及び上の隣接ブロックがともに存在しないか否かを判定する（Ｓ１０２）。即ち、左及び上の隣接ブロックの量子化パラメータがともに０の場合、両方ともに存在しないので、予測量子化パラメータとして左及び上の隣接ブロックの量子化パラメータを参照出来ない。そこで、直前に符号化を終了したブロックの量子化パラメータを予測量子化パラメータとする。
【００６７】
尚、画像の左上端のブロックが符号化対象ブロックである場合は、左と上の隣接ブロック、更に直前に符号化したブロックが存在しないので、ピクチャ或いはスライスの量子化パラメータを予測量子化パラメータとする（Ｓ１０３）。
【００６８】
左或いは上の隣接ブロックのどちらか一方が存在する場合、正である一方の量子化パラメータを予測量子化パラメータとする（Ｓ１０４）。
【００６９】
左及び上の隣接ブロックの両方が存在する場合、最初に左の隣接ブロックの量子化パラメータＱＰＬと左上の隣接ブロックの量子化パラメータＱＰＡＬとの一致判定を行う（Ｓ１０５）。ＱＰＬとＱＰＡＬが一致する場合、上の隣接ブロックの量子化パラメータＱＰＡを予測量子化パラメータとする（Ｓ１０６）。この場合、一例として図３で示される量子化パラメータの配置が考えられるので、ＯＰＡを選択することは適当と言える。また、ＱＰＡもＱＰＬ及びＱＰＡＬと一致する場合は、全ての隣接ブロックの量子化パラメータが同じとなり、ＱＰＡの選択は問題ない。
【００７０】
ＱＰＬとＱＰＡＬが一致しない場合、Ｓ１０７に進む。次に、ＱＰＡとＱＰＡＬとの一致判定を行う（Ｓ１０７）。ＱＰＡとＱＰＡＬが一致する場合、左の隣接ブロックの量子化パラメータＱＰＬを予測量子化パラメータとする（Ｓ１０８）。前述したＱＰＬとＱＰＡＬの一致の場合と同様の判定を考慮すれば、ＱＰＬが選択される。ＱＰＡとＱＰＡＬが一致しない場合、ＱＰＬとＱＰＡの平均値を予測量子化パラメータとする（Ｓ１０９）。この場合、左、上及び左上の隣接ブロックの量子化パラメータが全て異なるので、ＱＰＬ或いはＱＰＡのどちらか一方を選択するには十分な条件判定が出来ない。そこで、ＱＰＬとＱＰＡの平均を予測量子化パラメータとして、均等な判定値とする。こうして算出された予測量子化パラメータは差分量子化パラメータ生成部１１１に供給される。
【００７１】
差分量子化パラメータ生成部１１１は、量子化パラメータ算出部１１０にて算出された符号化対象ブロックの量子化パラメータに対して、予測量子化パラメータ算出部１１４にて算出された予測量子化パラメータと引き算を行い、差分量子化パラメータを算出する。予測量子化パラメータは復号時にも復号済みの周囲の隣接ブロックから符号化時と同様に算出されるので、差分符号化パラメータを符号化対象とすることで、符号化と復号で矛盾が生じず、量子化パラメータの符号量を削減することが可能となる。算出された差分量子化パラメータは第１の符号化ビット列生成部１１２に供給される。
【００７２】
第１の符号化ビット列生成部１１２は、差分量子化パラメータ生成部１１１によって算出された差分量子化パラメータを規定のシンタックス規則に従ってエントロピー符号化して第１の符号化ビット列を生成する。
【００７３】
図７に差分量子化パラメータのエントロピー符号化に使用される符号化変換テーブルの一例を示す。これは符号付き指数ゴロム符号化と呼ばれるテーブルであり、差分量子化パラメータの絶対値が小さい程短い符号長が与えられる。
【００７４】
一般に画像をブロックで分割した場合、隣接したブロックでは似たような画像となるので、アクティビティが近い値となり、算出されるブロックの量子化パラメータも近い値になる。その為、差分量子化パラメータの発生頻度は、０が最も高く、絶対値が大きくなるにつれて低くなる傾向となり、図７のテーブルもその特徴を反映して、発生頻度が高い値に対して短い符号長を割り当てられている。予測量子化パラメータが符号化対象ブロックの量子化パラメータに近い値で予測されれば、０に近い差分量子化パラメータが算出され、発生符号量を抑制することが可能となる。
【００７５】
第１の符号化ビット列生成部１１２は、差分量子化パラメータに対応する符号ビット列を図７のテーブルから抽出し、その符号ビット列を符号化ビット列多重化部１１５に供給する。
【００７６】
上述した本実施例の動画像符号化装置１００に対応する動画像復号装置２００の中で太点線で囲まれた諸部２２０の各部の動作について説明する。
【００７７】
諸部２２０では、最初に第１符号化ビット列復号部２０２にて復号された差分量子化パラメータが量子化パラメータ生成部２０３に供給される。また、差分量子化パラメータ以外の符号化情報が必要に応じて符号化情報格納メモリ２０４に格納される。
【００７８】
量子化パラメータ生成部２０３では、第１符号化ビット列復号部２０２から供給される差分量子化パラメータと予測量子化パラメータ算出部２０５にて算出される量子化パラメータとを加算して、復号対象ブロックの量子化パラメータを算出し、逆量子化・逆直交変換部２０７及び符号化情報格納メモリ２０４に供給する。
【００７９】
符号化情報格納メモリ２０４は、復号が終了したブロックの量子化パラメータが格納される。更に、第１符号化ビット列復号部２０２にて復号されたブロック単位の符号化情報だけでなく、ピクチャやスライス単位で生成される符号化情報も必要に応じて格納される。
【００８０】
予測量子化パラメータ算出部２０５は、復号対象ブロックの周囲に隣接する既復号済みのブロックの量子化パラメータや符号化情報を用いて、予測量子化パラメータを算出し、量子化パラメータ生成部２０３に供給する。量子化パラメータ生成部２０３で算出された量子化パラメータは符号化情報格納メモリ２０４に格納され、次の復号対象ブロックの予測量子化パラメータの算出時に、復号対象ブロックの周囲に位置する復号済みの隣接ブロックを判定し、隣接ブロックの量子化パラメータを符号化情報格納メモリ２０４から取得する。こうして得られる復号済みの隣接ブロックの量子化パラメータは、動画像符号化装置１００の予測量子化パラメータ算出部１１４が符号化情報格納メモリ１１３から取得する量子化パラメータと同一である。予測量子化パラメータ算出部２０５は動画像符号化装置１００の予測量子化パラメータ算出部１１４と同等の機能を有しているので、符号化情報格納メモリ２０４から供給される隣接ブロックの量子化パラメータが同じであれば、符号化時と同一の予測量子化パラメータが算出される。
【００８１】
予測量子化パラメータ算出部２０５では、符号化済みの隣接ブロックを復号済みの隣接ブロックと変更する以外同様の処理を行うので、量子化パラメータ予測の説明は割愛する。
こうして符号化側で算出された予測量子化パラメータが、復号側でも矛盾無く算出されることになる。
【００８２】
また、予測量子化パラメータ算出部１１４及び２０５の予測量子化パラメータの判定処理において、Ｓ１０５で一致と判定された場合にのみ、上の隣接ブロックの量子化パラメータを選択し、それ以外は左の隣接ブロックの量子化パラメータ選択するこようにして、負荷の軽い判定とすることも可能である。この手法は、符号化及び復号がラスタースキャン順（画面の左上から右下への順次走査）に行われることから、左の符号化済み或いは復号済みの隣接ブロックを優先することとして、簡易的な判定を行うものである。
【００８３】
上述の予測量子化パラメータの判定処理において、図６のＳ１０１の左と上の隣接ブロックの量子化パラメータがともに正である、即ち左と上の隣接ブロックがともに存在すると判定された場合から説明する。
【００８４】
図８は、左と上の隣接ブロックがともに存在すると判定された後の簡易判定処理の動作を表すフローチャートである。左及び上の隣接ブロックの両方が存在する場合、ＱＰＬとＱＰＡＬとの一致判定を行う（Ｓ１１０）。ＱＰＬとＱＰＡＬが一致する場合、上の隣接ブロックの量子化パラメータＱＰＡを予測量子化パラメータとする（Ｓ１１１）。ＱＰＬとＱＰＡＬが一致しない場合、左の隣接ブロックの量子化パラメータＱＰＬを予測量子化パラメータとする（Ｓ１１２）。こうして算出された予測量子化パラメータは差分量子化パラメータ生成部１１１に供給される。
【００８５】
更に、左と左上の隣接ブロックの量子化パラメータの差分絶対値をΔＬ、上と左上の隣接ブロックの量子化パラメータの差分絶対値をΔＡとして、ΔＬとΔＡの比較に基づいて、左或いは上の量子化パラメータを予測量子化パラメータとして選択することも可能である。
【００８６】
符号化対象ブロックとその周囲の既符号化済みの隣接ブロックにおいて、図９で示すようにΔＬ及びΔＡは左と左上、上と左上の隣接ブロックの量子化パラメータの差分絶対値を表し、それぞれ次式で表される。
【００８７】
【数５】
【００８８】
【数６】
【００８９】
ΔＡがΔＬよりも大きくなる場合は、ＱＰＡとＱＰＡＬとの差が大きい場合であり、上と左上の隣接ブロックの間で画像の滑らかさ或いは複雑さが左と左上の隣接ブロック間よりも異なっている（変化が大きい）と推察される。その為、図１０の太点線で示されるように、符号化対象ブロックとその周囲の既符号化済みの隣接ブロックにおいて、左２つのブロック（左と左上の隣接ブロック）と右２つのブロック（符号化対象ブロックと上の隣接ブロック）とで量子化パラメータの差が生じると考えられるので、符号化対象ブロックの量子化パラメータは左の隣接ブロックの量子化パラメータよりも上の隣接ブロックの量子化パラメータに近いと判定する。
【００９０】
以上の判定をフローチャートにしたものが図１１である。図１１を用いて、図６のＳ１０１の左と上の隣接ブロックの量子化パラメータがともに正である、即ち左と上の隣接ブロックがともに存在すると判定された場合から説明する。
【００９１】
左及び上の隣接ブロックの両方が存在する場合、ΔＬとΔＡとの比較判定を行う（Ｓ１１３）。ΔＡがΔＬよりも大きい場合、上の隣接ブロックの量子化パラメータＱＰＡを予測量子化パラメータとする（Ｓ１１４）。そうでない場合、左の隣接ブロックの量子化パラメータＱＰＬを予測量子化パラメータとする（Ｓ１１５）。こうして算出された予測量子化パラメータは差分量子化パラメータ生成部１１１に供給される。
【００９２】
［実施例２］
本実施例において、予測量子化パラメータの算出を行う場合に、動画像符号化装置１００の予測量子化パラメータ算出部１１４で参照する隣接ブロックは符号化済みのブロックであり、動画像復号装置２００の予測量子化パラメータ算出部２０５で参照する隣接ブロックは復号済みのブロックである。符号化側で参照される符号化済みのブロックは、符号化内部で次の符号化の為に局部復号されたブロックであり、復号側で参照される復号済みブロックと同じである。その為、予測量子化パラメータ算出部１１４及び２０５の機能も共通であり、それぞれで算出される予測量子化パラメータも同じある。以降の実施例では、予測量子化パラメータの算出について、符号化と復号で切り分けず、共通の機能として符号化側で説明する。
【００９３】
実施例２における予測量子化パラメータ算出部１１４の動作について説明する。図１２は実施例２における予測量子化パラメータ算出部１１４の動作を示すフローチャートである。
【００９４】
最初に、符号化情報格納メモリ１１３から符号化対象ブロックに隣接する周囲の既符号化済みのブロックの量子化パラメータを取得する（Ｓ２００）。符号化対象ブロックの左上の基準位置情報から、符号化情報格納メモリ１１３に格納された記憶領域をアクセスして、該当するブロックの量子化パラメータを予測量子化パラメータ算出部１１４に供給する。画像の左端或いは上端に符号化対象ブロックが位置している場合、左或いは上及び左上の隣接ブロックは存在しない。ここで、量子化パラメータは常に正値をとることに着目して、隣接ブロックが存在しない場合、隣接ブロックの量子化パラメータＱＰｘ（ｘ＝Ｌ，Ａ，ＡＬ）を０に設定して、予測量子化パラメータ算出部１１４に供給する。次に左と上の隣接ブロックが存在するか否かを判定する（Ｓ２０１）。左及び上の隣接ブロックの量子化パラメータがともに正の場合、両方が存在するので、Ｓ２０５に進む。そうでない場合、即ち一方が存在しない場合はＳ２０２に進む。Ｓ２０２からＳ２０４の処理過程について実施例１と同様なので割愛する。
【００９５】
左及び上の隣接ブロックの両方が存在する場合、左の隣接ブロックの量子化パラメータＱＰＬと左上の隣接ブロックの量子化パラメータＱＰＡＬとの差分絶対値ΔＬが閾値ＴＨＬ未満か否かを判定する（Ｓ２０５）。差分絶対値ΔＬは次式で算出される。
【００９６】
【数７】
【００９７】
ΔＬがＴＨＬ未満となる場合、状態判定フラグＳＬを”１”に設定する（Ｓ２０６）。一方、ΔＬがＴＨＬ未満でない場合、状態判定フラグＳＬを”０”に設定する（Ｓ２０７）。実施例２では、ＱＰＬとＱＰＡＬとが閾値ＴＨＬ未満で収まる場合、左と左上の各隣接ブロックは量子化パラメータが一致していると判断することとし、実施例１におけるＱＰＬとＱＰＡＬの一致と同様の判定を行う。その為、状態判定フラグＳＬが”１”となる場合はＱＰＡを予測量子化パラメータとすることを表す。次に、上の隣接ブロックの量子化パラメータＱＰＡとＱＰＡＬとの差分絶対値ΔＡが閾値ＴＨＡ未満か否かを判定する（Ｓ２０８）。差分絶対値ΔＡは次式で算出される。
【００９８】
【数８】
【００９９】
ΔＡがＴＨＡ未満となる場合、状態判定フラグＳＡを”１”に設定する（Ｓ２０９）。一方、ΔＡがＴＨＡ未満でない場合、状態判定フラグＳＡを”０”に設定する（Ｓ２１０）。実施例２では、ＱＰＡとＱＰＡＬとが閾値ＴＨＡ未満で収まる場合、上と左上の各隣接ブロックは量子化パラメータが一致していると判断することとし、実施例１におけるＱＰＡとＱＰＡＬの一致と同様の判定を行う。その為、状態判定フラグＳＡが”１”となる場合はＱＰＬを予測量子化パラメータとすることを表す。状態判定フラグＳＬ及びＳＡに基づいて、予測量子化パラメータを算出する（Ｓ２１１）。図１３は差分絶対値ΔＬ及びΔＡと閾値ＴＨＬ及びＴＨＡとの比較を状態判定フラグＳＬ及びＳＡと関連付けを行った２次元配置図である。左下の原点０を基準に、横軸をΔＬの大きさ、縦軸をΔＡの大きさをとり、閾値ＴＨＬ及びＴＨＡによって４つに領域に区分され、それぞれの領域で選択する予測量子化パラメータを示す（図１３中に領域１〜４で示される）。
【０１００】
領域１
状態判定フラグＳＬが”１”、ＳＡが”０”の場合であり、左と左上の隣接ブロックの量子化パラメータの差が小さく、上と左上の量子化パラメータの差が大きくなり、図３に示される事例のように縦方向のブロックで量子化パラメータが近似していると考えられる。その為、符号化対象ブロックの量子化パラメータは上の隣接ブロックの量子化パラメータＱＰＡに近い値になると判断し、予測量子化パラメータをＱＰＡとする。
【０１０１】
領域２
状態判定フラグＳＬが”０”、ＳＡが”１”の場合であり、領域１と同様の判断を行うと、横方向のブロックで量子化パラメータが近似していると考えられ、符号化対象ブロックの量子化パラメータは左の隣接ブロックの量子化パラメータＱＰＬに近い値になると判断し、予測量子化パラメータをＱＰＬとする。
【０１０２】
領域３
状態判定フラグＳＬ及びＳＡがともに”０”の場合である。即ち、ＱＰＬ及びＱＰＡがともにＱＰＡＬとの差分絶対値が大きい場合であり、左、上及び左上の隣接ブロックの量子化パラメータが全て異なるので、ＱＰＬ或いはＱＰＡのどちらか一方を選択するには十分な条件判定が出来ない。そこで、ＱＰＬとＱＰＡの平均を予測量子化パラメータとして、均等な判定値とする。
【０１０３】
領域４
状態判定フラグＳＬ及びＳＡがともに”１”の場合である。即ち、ＱＰＬ及びＱＰＡがともにＱＰＡＬとの差分絶対値が小さい場合であり、どちらか一方を選択せず、ＱＰＬとＱＰＡの平均値を予測量子化パラメータとする。
【０１０４】
こうして判定、算出された予測量子化パラメータは差分量子化パラメータ生成部１１１に供給される。
【０１０５】
閾値ＴＨＬ及びＴＨＡを１とすると、量子化パラメータは正整数であるので、実施例１と同等の判定となる。但し、上述した領域４は、左、上及び左上の全ての値が同じとなるので、平均値処理を必要としない。また、判定として各隣接ブロックの量子化パラメータの一致を調べるだけで済み、差分絶対値を演算で算出する必要が無い為、処理負荷を低減した実施例２のスペシャルケースとなり、高い実効性を備えるものである。
【０１０６】
閾値ＴＨＬ及びＴＨＡはあまり大きな値に設定すると、平均値の発生確率が高くなり、予測量子化パラメータの参照先に偏りがある場合には有効性が弱くなるので、２前後に設定することが望ましい。
【０１０７】
また、図１３の領域３及び４において、予測量子化パラメータとしてＱＰＬとＱＰＡの平均値をとることとしたが、ΔＬ及びΔＡの比較を行い、予測量子化パラメータとして参照する隣接ブロックの量子化パラメータを判定してもよい。図１２のフローチャートのＳ２１１の中で、或いはＳ２１１の後に、ΔＬとΔＡを比較する。ΔＬが大きい場合はＱＰＡ、ΔＡが大きい場合はＱＰＬ、同じ大きさの場合はＱＰＬとＱＰＡの平均値を予測量子化パラメータとする。
【０１０８】
［実施例３］
実施例３における予測量子化パラメータ算出部１１４の動作について説明する。実施例１との相違は、左或いは上の隣接ブロックの量子化パラメータを予測量子化パラメータとして参照していたのを、予測量子化パラメータの判定に基づいて、左及び上の隣接ブロックの量子化パラメータに重み付けを行い、算出される値を予測量子化パラメータとする点である。
【０１０９】
図１４は実施例３における予測量子化パラメータ算出部１１４の動作を示すフローチャートである。図１４のフローチャートのＳ３００からＳ３０４までは実施例１の図６のＳ１００からＳ１０４までと同じであるので、説明を割愛し、Ｓ３０１の左と上の隣接ブロックの量子化パラメータがともに正である、即ち左と上の隣接ブロックがともに存在すると判定された場合から説明する。
【０１１０】
左及び上の隣接ブロックの両方が存在する場合、ＱＰＬとＱＰＡＬとの一致判定を行う（Ｓ３０５）。ＱＰＬとＱＰＡＬが一致する場合、上の隣接ブロックの量子化パラメータの重み付け係数ＦＡを５、左の隣接ブロックの量子化パラメータの重み付け係数ＦＬを３とし、上の隣接ブロックの量子化パラメータに対して重み付けを大きくする（Ｓ３０６）。ＱＰＬとＱＰＡＬが一致しない場合、Ｓ３０７に進み、ＱＰＡとＱＰＡＬとの一致判定を行う（Ｓ３０７）。ＱＰＡとＱＰＡＬが一致する場合、ＦＡを３、ＦＬを５として、左の隣接ブロックの量子化パラメータに対して重み付けを大きくする（Ｓ３０８）。ＱＰＡとＱＰＡＬが一致しない場合、ＦＡとＦＬをともに４とし、左と上の隣接ブロックの量子化パラメータに対する重み付けを均等化する（Ｓ３０９）。これはＱＰＬとＱＰＡの平均値を算出することと等価であり、実施例１と同等となる。決定した重み付け係数からと各量子化パラメータから次式にて予測量子化パラメータｐｒｅｄＱＰを算出する（Ｓ３１０）。
【０１１１】
【数９】
【０１１２】
ここで、上式の分母はＦＡ＋ＦＬであり、分子の２は四捨五入の為に加算される（ＦＡ＋ＦＬ）／２の値である。
【０１１３】
こうして算出された予測量子化パラメータは差分量子化パラメータ生成部１１１に供給される。
【０１１４】
また、予測量子化パラメータの判定処理において、Ｓ３０５で一致と判定された場合にのみ、上の隣接ブロックの量子化パラメータの重み付け係数を大きくして、それ以外は左の隣接ブロックの量子化パラメータの重み付け係数を大きくするこようにして、負荷の軽い判定とすることも可能である。この手法は、符号化及び復号がラスタースキャン順（画面の左上から右下への順次走査）に行われることから、左の隣接ブロックの量子化パラメータの重み付け係数への重み付けを優先することとして、簡易的な判定を行うものである。
【０１１５】
上述の予測量子化パラメータの判定処理において、図１４のＳ３０１の左と上の隣接ブロックの量子化パラメータがともに正である、即ち左と上の隣接ブロックがともに存在すると判定された場合から説明する。
【０１１６】
図１５は、左と上の隣接ブロックがともに存在すると判定された後の簡易判定処理の動作を表すフローチャートである。左及び上の隣接ブロックの両方が存在する場合、ＱＰＬとＱＰＡＬとの一致判定を行う（Ｓ３１１）。ＱＰＬとＱＰＡＬが一致する場合、上の隣接ブロックの量子化パラメータの重み付け係数ＦＡを５、左の隣接ブロックの量子化パラメータの重み付け係数ＦＬを３とし、上の隣接ブロックの量子化パラメータに対して重み付けを大きくする（Ｓ３１２）。ＱＰＬとＱＰＡＬが一致しない場合、ＦＡを３、ＦＡを５として、左の隣接ブロックの量子化パラメータに対して重み付けを大きくする（Ｓ３１３）。決定した重み付け係数に基づいて、上述したＳ３１０にて予測量子化パラメータｐｒｅｄＱＰを算出する。
【０１１７】
更に、実施例２の判定処理とも組合せは可能である。この場合、図１３で示される差分絶対値ΔＬ及びΔＡと閾値ＴＨＬ及びＴＨＡとの比較を状態判定フラグＳＬ及びＳＡと関連付けを行った２次元配置図に対して、各領域に重み付け係数を設定しておくことで可能となる。図１６に重み付け係数を設定した２次元配置の一例を示す。領域１はＦＡを５、ＦＬを３とし、領域２はＦＡを３、ＦＬを５とし、残りの領域３及び４ではＦＡ、ＦＬともに４と設定する。状態判定フラグにより選択された領域の重み付け係数により、予測量子化パラメータを算出する。こうして算出された予測量子化パラメータは差分量子化パラメータ生成部１１１に供給される。
【０１１８】
尚、ここでは重み付け係数ＦＡ及びＦＬの係数の組合せとして、（ＦＡ，ＦＬ）＝（５，３）、（４，４）、（３，５）としたが、これ以外の係数を設定してもよい。但し、計算の高速化を重視する場合、ＦＡ＋ＦＬが２の冪乗で表される変数を選択することが望ましい。
【０１１９】
［実施例４］
実施例４における予測量子化パラメータ算出部１１４の動作について説明する。図１７は実施例４における予測量子化パラメータ算出部１１４の動作を示すフローチャートである。
【０１２０】
最初に、符号化情報格納メモリ１１３から符号化対象ブロックに隣接する周囲の既符号化済みのブロックの量子化パラメータを取得する（Ｓ４００）。符号化対象ブロックの左上の基準位置情報から、符号化情報格納メモリ１１３に格納された記憶領域をアクセスして、該当するブロックの量子化パラメータを予測量子化パラメータ算出部１１４に供給する。画像の左端或いは上端に符号化対象ブロックが位置している場合、左或いは上及び左上の隣接ブロックは存在しない。ここで、量子化パラメータは常に正値をとることに着目して、隣接ブロックが存在しない場合、隣接ブロックの量子化パラメータＱＰｘ（ｘ＝Ｌ，Ａ，ＡＬ）を０に設定して、予測量子化パラメータ算出部１１４に供給する。次に左と上の隣接ブロックが存在するか否かを判定する（Ｓ４０１）。左及び上の隣接ブロックの量子化パラメータがともに正の場合、両方が存在するので、Ｓ４０５に進む。そうでない場合、即ち一方が存在しない場合はＳ４０２に進む。Ｓ４０２からＳ４０４の処理過程について実施例１至乃３と同様なので割愛する。
【０１２１】
左及び上の隣接ブロックの両方が存在する場合、左の隣接ブロックの量子化パラメータＱＰＬと左上の隣接ブロックの量子化パラメータＱＰＡＬとの差分絶対値ΔＬ及び上の隣接ブロックの量子化パラメータＱＰＡと左上の隣接ブロックの量子化パラメータＱＰＡＬとの差分絶対値ΔＡとを算出する。算出されたΔＬとΔＡとの差分をとり、その差分をパラメータＤで除算を行い、得られる商を量子化ファクターδとすると、δは次式から算出される（Ｓ４０５）。
【０１２２】
【数１０】
【０１２３】
ここで、パラメータＤは、ΔＬとΔＡとの差分をＤ単位に量子化するステップであり、図１８に示されるように、パラメータＤによりΔＬとΔＡとの差分の量子化値としてδが算出される。
【０１２４】
本実施例では、上式で得られたδに応じて、左及び上の隣接ブロックの量子化パラメータに係る重み付け係数を変更して、予測量子化パラメータを算出する。ΔＬとΔＡとの差分が正で大きい場合は、左と左上の隣接ブロックの量子化パラメータとの差が大きい場合である。符号化対象ブロックとその周囲の既符号化済みの隣接ブロックは、上２つのブロック（上と左上の隣接ブロック）と下２つのブロック（左の隣接ブロックと符号化対象ブロック）との間で量子化パラメータの差が生じる傾向にある。この場合、符号化対象ブロックは左の隣接ブロックに近い量子化パラメータをとると判定し、左の隣接ブロックの量子化パラメータに対する重み付けを大きくする。
【０１２５】
逆に、ΔＬとΔＡとの差分が負で大きい場合は、上と左上の隣接ブロックの量子化パラメータとの差が大きい場合である。符号化対象ブロックとその周囲の既符号化済みの隣接ブロックは、左２つのブロック（左と左上の隣接ブロック）と右２つのブロック（上の隣接ブロックと符号化対象ブロック）との間で量子化パラメータの差が生じる傾向にある。この場合、符号化対象ブロックは上の隣接ブロックに近い量子化パラメータをとると判定し、上の隣接ブロックの量子化パラメータに対する重み付けを大きくする。
【０１２６】
ΔＬとΔＡとの差分が０に近い場合は、符号化対象の左及び上の隣接ブロックが近い量子化パラメータとなる場合である。この場合、左と上の隣接ブロックの量子化パラメータに対する重み付けを均等化する。
【０１２７】
このように、量子化ファクターδに応じて左と上の隣接ブロックの量子化パラメータの重み付け係数を可変させて、最適な予測量子化パラメータを算出する為に、以下ではδの正規化を行う。
【０１２８】
まず、δの上限ＭＡＸ及び下限ＭＩＮを設定し、δをＭＡＸ及びＭＩＮの範囲内に収まる値に制限する（Ｓ４０６）。ここで、ＭＩＮは−ＭＡＸと等価であり、ＭＡＸ及びＭＩＮは後工程のＳ４０８で設定されるテーブルの標本数に合わせるように設定する。次に、δにオフセット値ｏｆｆｓｅｔを加算してｉｎｄｅｘを算出する（Ｓ４０７）。ｉｎｄｅｘは後工程のＳ４０８で設定されるテーブルのインデックスであり、０を含む整数として表される。その為、δにｏｆｆｓｅｔを加算して、正整数に変換する。ｏｆｆｓｅｔにはＭＡＸが設定され、ｉｎｄｅｘの最小数はδ＋ｏｆｆｓｅｔ＝−ＭＩＮ＋ＭＡＸ＝０として表すことが可能となる。算出されたｉｎｄｅｘから該当する重み付け係数の変換テーブルから読み出す（Ｓ４０８）。ここでは、ＭＡＸ＝２とした場合の例を用いて説明する。
【０１２９】
図１９はＭＡＸを２として場合に、ΔＬとΔＡとの差分からδを算出し、上限と下限を設けた場合の変換例である。δは−２≦δ≦２の範囲で５つの整数値をとるので、これら５つの値に合わせて、重み付け係数のテーブルが設定される。図２０に重み付け係数のテーブルの一例を示す。重み付け係数のテーブルの中でＭＡＸの値となるｉｎｄｅｘ（この場合２となる）で左及び上の隣接ブロックの量子化パラメータに対する重み付けを均等とし、ｉｎｄｅｘが小さくなるに従い、上の隣接ブロックの量子化パラメータに対する重み付け係数ＦＡを大きくし、ｉｎｄｅｘが大きくなるに従い、左の隣接ブロックの量子化パラメータに対する重み付け係数ＦＬを大きくなるように設定する。続いて、ｉｎｄｅｘで指定される重み付け係数の組（ＦＡ，ＦＬ）を選択して、予測量子化パラメータを算出する（Ｓ４０９）。決定した重み付け係数からと各量子化パラメータから次式にて予測量子化パラメータｐｒｅｄＱＰを算出する。
【０１３０】
【数１１】
【０１３１】
ここで、上式の分母はＦＡ＋ＦＬであり、分子の２は四捨五入の為に加算される（ＦＡ＋ＦＬ）／２の値である。
【０１３２】
以上のようにして、予測量子化パラメータが算出される。上述した実施例では、パラメータＤによる除算を行った為、図１８で示されるように０近傍付近の発生頻度が高くなる傾向にあるので、図２１で示されるように均等分割をして発生頻度を均等化しても構わない。この場合、Ｓ４０５の量子化ファクターδの演算方式を変更することで解決される。
【０１３３】
尚、ここでは重み付け係数ＦＡ及びＦＬの係数の組合せとして、（４，０）、（３，１）、（２，２）としたが、これ以外の係数を設定してもよい。但し、計算の高速化を重視する場合、ＦＡ＋ＦＬが２の冪乗で表される変数を選択することが望ましい。
【０１３４】
また、δを演算として除算を行っているが、パラメータＤを２の冪乗の値とし、δの演算をシフト演算やビットマスクにより、処理を高速化することも可能である。
【０１３５】
実施の形態の動画像符号化装置によれば、符号化対象のブロック毎に符号化される量子化パラメータを、周囲の符号化済みのブロックの量子化パラメータ及び符号化情報を用いて、最適な予測量子化パラメータを予測して算出し、量子化パラメータと予測量子化パラメータとの差分をとり符号化することで、画質を変化させずに、量子化パラメータの符号量を削減して、符号化効率を向上させることが出来る。
【０１３６】
また、符号化側と復号側で、量子化パラメータ予測の共通の機能として実装出来るので、回路規模を縮小することが出来る。これは、符号化済みの隣接ブロックが符号化側では次の符号化対象ブロックの予測の為に局部復号したブロックとなり、復号済みブロックと同一である為、符号化側と復号側で矛盾を生じないように量子化パラメータ予測の判定を実現したことによる。
【０１３７】
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
【０１３８】
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
【０１３９】
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
【０１４０】
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１４１】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１４２】
１００ 動画像符号化装置、 １０１ 画像メモリ、 １０２ 残差信号生成部、 １０３ 直交変換・量子化部、 １０４ 第２の符号化ビット列生成部、 １０５ 逆量子化・逆直交変換部、 １０６ 復号画像信号重畳部、 １０７ 復号画像メモリ、 １０８ 予測画像生成部、 １０９ アクティビティ算出部、 １１０ 量子化パラメータ算出部、 １１１ 差分量子化パラメータ生成部、 １１２ 第１の符号化ビット列生成部、 １１３ 符号化情報格納メモリ、 １１４ 予測量子化パラメータ算出部、 １１５ 符号化ビット列多重化部、 ２００ 動画像復号装置、 ２０１ ビット列分離部、 ２０２ 第１符号化ビット列復号部、 ２０３ 量子化パラメータ生成部、 ２０４ 符号化情報格納メモリ、 ２０５ 予測量子化パラメータ算出部、 ２０６ 第２符号化ビット列復号部、 ２０７ 逆量子化・逆直交変換部、 ２０８ 復号画像信号重畳部、 ２０９ 予測画像生成部、 ２１０ 復号画像メモリ。
【特許請求の範囲】
【請求項１】
動画像の各ピクチャを分割したブロック単位で前記動画像を符号化する動画像符号化装置であって、
ブロック単位で画像の複雑度合いを表すアクティビティを算出するアクティビティ算出部と、
前記アクティビティに基づき符号化対象ブロックの量子化パラメータを算出する量子化パラメータ算出部と、
前記量子化パラメータを含む符号化情報を記憶する符号化情報格納メモリから前記符号化対象ブロックの周囲に隣接する複数の符号化済みの隣接ブロックの量子化パラメータを読み出し、複数の前記隣接ブロックの量子化パラメータから前記符号化対象ブロックの予測量子化パラメータを算出する予測量子化パラメータ算出部と、
前記符号化対象ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象ブロックの差分量子化パラメータを生成する差分量子化パラメータ生成部と、
前記符号化対象ブロックの差分量子化パラメータを符号化する符号化部とを備えることを特徴とする動画像符号化装置。
【請求項２】
前記予測量子化パラメータ算出部は、前記符号化情報格納メモリから前記符号化対象ブロックの左、左上及び上に隣接する３つの隣接ブロックの量子化パラメータを読み出し、左及び左上に隣接する隣接ブロックの量子化パラメータの差分に基づく条件、または、上及び左上に隣接する隣接ブロックの量子化パラメータの差分に基づく条件に従って、左及び上に隣接する隣接ブロックの少なくとも一方の隣接ブロックの量子化パラメータを用いて、前記符号化対象ブロックの予測量子化パラメータを算出することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記予測量子化パラメータ算出部は、前記符号化対象ブロックの左及び左上に隣接する隣接ブロックの量子化パラメータが一致するという条件を満たす場合、前記符号化対象ブロックの上に隣接する隣接ブロックの量子化パラメータを前記符号化対象ブロックの予測量子化パラメータとして算出することを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記予測量子化パラメータ算出部は、前記符号化対象ブロックの上及び左上に隣接する隣接ブロックの量子化パラメータが一致するという条件を満たす場合、前記符号化対象ブロックの左に隣接する隣接ブロックの量子化パラメータを前記符号化対象ブロックの予測量子化パラメータとして算出することを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
前記２つの条件のいずれも満たさない場合、前記符号化対象ブロックの左及び上の隣接ブロックの量子化パラメータの平均値を前記符号化対象ブロックの予測量子化パラメータとして算出することを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
前記予測量子化パラメータ算出部は、前記符号化対象ブロックの左及び左上に隣接する隣接ブロックの量子化パラメータの差分絶対値と所定の閾値との大小比較に関する条件と前記符号化対象ブロックの上及び左上に隣接する隣接ブロックの量子化パラメータの差分絶対値と所定の閾値との大小比較に関する条件の成否に基づいて、前記符号化対象ブロックの上に隣接する隣接ブロックの量子化パラメータ、前記符号化対象ブロックの左に隣接する隣接ブロックの量子化パラメータ、及び前記符号化対象ブロックの左及び上の隣接ブロックの量子化パラメータの平均値のいずれかを、前記符号化対象ブロックの予測量子化パラメータとして算出することを特徴とする請求項２に記載の動画像符号化装置。
【請求項７】
前記予測量子化パラメータ算出部は、前記符号化対象ブロックの左及び左上に隣接する隣接ブロックの量子化パラメータが一致する場合、上の隣接ブロックの量子化パラメータの重み付け係数を左の隣接ブロックの量子化パラメータの重み付け係数よりも大きく設定し、前記符号化対象ブロックの上及び左上に隣接する隣接ブロックの量子化パラメータが一致するという条件を満たす場合、左の隣接ブロックの量子化パラメータの重み付け係数を上の隣接ブロックの量子化パラメータの重み付け係数よりも大きく設定し、左及び上の隣接ブロックの量子化パラメータの重み付け平均値を前記符号化対象ブロックの予測量子化パラメータとして算出することを特徴とする請求項２に記載の動画像符号化装置。
【請求項８】
前記予測量子化パラメータ算出部は、前記符号化対象ブロックの左及び左上に隣接する隣接ブロックの量子化パラメータの差分絶対値と前記符号化対象ブロックの上及び左上に隣接する隣接ブロックの量子化パラメータの差分絶対値との差分値を算出し、前記差分値を所定の値で除算した商に基づいて、左及び上の隣接ブロックの量子化パラメータの重み付け係数を変更し、左及び上の隣接ブロックの量子化パラメータの重み付け平均値を前記符号化対象ブロックの予測量子化パラメータとして算出することを特徴とする請求項２に記載の動画像符号化装置。
【請求項９】
動画像の各ピクチャを分割したブロック単位で前記動画像を符号化する動画像符号化方法であって、
ブロック単位で画像の複雑度合いを表すアクティビティを算出するアクティビティ算出ステップと、
前記アクティビティに基づき符号化対象ブロックの量子化パラメータを算出する量子化パラメータ算出ステップと、
前記量子化パラメータを含む符号化情報を記憶する符号化情報格納メモリから前記符号化対象ブロックの周囲に隣接する複数の符号化済みの隣接ブロックの量子化パラメータを読み出し、複数の前記隣接ブロックの量子化パラメータから前記符号化対象ブロックの予測量子化パラメータを算出する予測量子化パラメータ算出ステップと、
前記符号化対象ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象ブロックの差分量子化パラメータを生成する差分量子化パラメータ生成ステップと、
前記符号化対象ブロックの差分量子化パラメータを符号化する符号化ステップとを備えることを特徴とする動画像符号化方法。
【請求項１０】
動画像の各ピクチャを分割したブロック単位で前記動画像を符号化する動画像符号化プログラムであって、
ブロック単位で画像の複雑度合いを表すアクティビティを算出するアクティビティ算出ステップと、
前記アクティビティに基づき符号化対象ブロックの量子化パラメータを算出する量子化パラメータ算出ステップと、
前記量子化パラメータを含む符号化情報を記憶する符号化情報格納メモリから前記符号化対象ブロックの周囲に隣接する複数の符号化済みの隣接ブロックの量子化パラメータを読み出し、複数の前記隣接ブロックの量子化パラメータから前記符号化対象ブロックの予測量子化パラメータを算出する予測量子化パラメータ算出ステップと、
前記符号化対象ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象ブロックの差分量子化パラメータを生成する差分量子化パラメータ生成ステップと、
前記符号化対象ブロックの差分量子化パラメータを符号化する符号化ステップとをコンピュータに実行させることを特徴とする動画像符号化プログラム。
【請求項１】
動画像の各ピクチャを分割したブロック単位で前記動画像を符号化する動画像符号化装置であって、
ブロック単位で画像の複雑度合いを表すアクティビティを算出するアクティビティ算出部と、
前記アクティビティに基づき符号化対象ブロックの量子化パラメータを算出する量子化パラメータ算出部と、
前記量子化パラメータを含む符号化情報を記憶する符号化情報格納メモリから前記符号化対象ブロックの周囲に隣接する複数の符号化済みの隣接ブロックの量子化パラメータを読み出し、複数の前記隣接ブロックの量子化パラメータから前記符号化対象ブロックの予測量子化パラメータを算出する予測量子化パラメータ算出部と、
前記符号化対象ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象ブロックの差分量子化パラメータを生成する差分量子化パラメータ生成部と、
前記符号化対象ブロックの差分量子化パラメータを符号化する符号化部とを備えることを特徴とする動画像符号化装置。
【請求項２】
前記予測量子化パラメータ算出部は、前記符号化情報格納メモリから前記符号化対象ブロックの左、左上及び上に隣接する３つの隣接ブロックの量子化パラメータを読み出し、左及び左上に隣接する隣接ブロックの量子化パラメータの差分に基づく条件、または、上及び左上に隣接する隣接ブロックの量子化パラメータの差分に基づく条件に従って、左及び上に隣接する隣接ブロックの少なくとも一方の隣接ブロックの量子化パラメータを用いて、前記符号化対象ブロックの予測量子化パラメータを算出することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記予測量子化パラメータ算出部は、前記符号化対象ブロックの左及び左上に隣接する隣接ブロックの量子化パラメータが一致するという条件を満たす場合、前記符号化対象ブロックの上に隣接する隣接ブロックの量子化パラメータを前記符号化対象ブロックの予測量子化パラメータとして算出することを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記予測量子化パラメータ算出部は、前記符号化対象ブロックの上及び左上に隣接する隣接ブロックの量子化パラメータが一致するという条件を満たす場合、前記符号化対象ブロックの左に隣接する隣接ブロックの量子化パラメータを前記符号化対象ブロックの予測量子化パラメータとして算出することを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
前記２つの条件のいずれも満たさない場合、前記符号化対象ブロックの左及び上の隣接ブロックの量子化パラメータの平均値を前記符号化対象ブロックの予測量子化パラメータとして算出することを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
前記予測量子化パラメータ算出部は、前記符号化対象ブロックの左及び左上に隣接する隣接ブロックの量子化パラメータの差分絶対値と所定の閾値との大小比較に関する条件と前記符号化対象ブロックの上及び左上に隣接する隣接ブロックの量子化パラメータの差分絶対値と所定の閾値との大小比較に関する条件の成否に基づいて、前記符号化対象ブロックの上に隣接する隣接ブロックの量子化パラメータ、前記符号化対象ブロックの左に隣接する隣接ブロックの量子化パラメータ、及び前記符号化対象ブロックの左及び上の隣接ブロックの量子化パラメータの平均値のいずれかを、前記符号化対象ブロックの予測量子化パラメータとして算出することを特徴とする請求項２に記載の動画像符号化装置。
【請求項７】
前記予測量子化パラメータ算出部は、前記符号化対象ブロックの左及び左上に隣接する隣接ブロックの量子化パラメータが一致する場合、上の隣接ブロックの量子化パラメータの重み付け係数を左の隣接ブロックの量子化パラメータの重み付け係数よりも大きく設定し、前記符号化対象ブロックの上及び左上に隣接する隣接ブロックの量子化パラメータが一致するという条件を満たす場合、左の隣接ブロックの量子化パラメータの重み付け係数を上の隣接ブロックの量子化パラメータの重み付け係数よりも大きく設定し、左及び上の隣接ブロックの量子化パラメータの重み付け平均値を前記符号化対象ブロックの予測量子化パラメータとして算出することを特徴とする請求項２に記載の動画像符号化装置。
【請求項８】
前記予測量子化パラメータ算出部は、前記符号化対象ブロックの左及び左上に隣接する隣接ブロックの量子化パラメータの差分絶対値と前記符号化対象ブロックの上及び左上に隣接する隣接ブロックの量子化パラメータの差分絶対値との差分値を算出し、前記差分値を所定の値で除算した商に基づいて、左及び上の隣接ブロックの量子化パラメータの重み付け係数を変更し、左及び上の隣接ブロックの量子化パラメータの重み付け平均値を前記符号化対象ブロックの予測量子化パラメータとして算出することを特徴とする請求項２に記載の動画像符号化装置。
【請求項９】
動画像の各ピクチャを分割したブロック単位で前記動画像を符号化する動画像符号化方法であって、
ブロック単位で画像の複雑度合いを表すアクティビティを算出するアクティビティ算出ステップと、
前記アクティビティに基づき符号化対象ブロックの量子化パラメータを算出する量子化パラメータ算出ステップと、
前記量子化パラメータを含む符号化情報を記憶する符号化情報格納メモリから前記符号化対象ブロックの周囲に隣接する複数の符号化済みの隣接ブロックの量子化パラメータを読み出し、複数の前記隣接ブロックの量子化パラメータから前記符号化対象ブロックの予測量子化パラメータを算出する予測量子化パラメータ算出ステップと、
前記符号化対象ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象ブロックの差分量子化パラメータを生成する差分量子化パラメータ生成ステップと、
前記符号化対象ブロックの差分量子化パラメータを符号化する符号化ステップとを備えることを特徴とする動画像符号化方法。
【請求項１０】
動画像の各ピクチャを分割したブロック単位で前記動画像を符号化する動画像符号化プログラムであって、
ブロック単位で画像の複雑度合いを表すアクティビティを算出するアクティビティ算出ステップと、
前記アクティビティに基づき符号化対象ブロックの量子化パラメータを算出する量子化パラメータ算出ステップと、
前記量子化パラメータを含む符号化情報を記憶する符号化情報格納メモリから前記符号化対象ブロックの周囲に隣接する複数の符号化済みの隣接ブロックの量子化パラメータを読み出し、複数の前記隣接ブロックの量子化パラメータから前記符号化対象ブロックの予測量子化パラメータを算出する予測量子化パラメータ算出ステップと、
前記符号化対象ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象ブロックの差分量子化パラメータを生成する差分量子化パラメータ生成ステップと、
前記符号化対象ブロックの差分量子化パラメータを符号化する符号化ステップとをコンピュータに実行させることを特徴とする動画像符号化プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−１０２２７７（Ｐ２０１３−１０２２７７Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４３６４１（Ｐ２０１１−２４３６４１）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]