動画像符号量制御方式
【課題】伝送レートが制限される状況下においても画質を向上させることができ、シーンチェンジによる画像性質の変化にも対応できる動画像符号量制御を可能にすること。
【解決手段】SOP符号量を設定し(S21)、R-D特性を元に符号化対象ブロックにおける適切なＱ値を各マクロブロックタイプにおいて選出する(S22)。このＱ値を用いてマクロブロックタイプの選択および符号化処理(S23)を行う。マクロブロックの符号化終了後、R-D特性のパラメータ更新を行う(S24)。シーンチェンジに対応させた量子化制御を行う場合にはシーンチェンジの判定も行う。未符号化マクロブロックが存在する場合には、続くマクロブロックについてＱ値設定(S22)、符号化処理(S23)を繰り返す。当該フレームについて符号化が完了すれば、未符号化フレームに対するR-D特性のパラメータ更新を行い(S26)、SOP符号量設定(S21)以下の処理を繰り返す。
【解決手段】SOP符号量を設定し(S21)、R-D特性を元に符号化対象ブロックにおける適切なＱ値を各マクロブロックタイプにおいて選出する(S22)。このＱ値を用いてマクロブロックタイプの選択および符号化処理(S23)を行う。マクロブロックの符号化終了後、R-D特性のパラメータ更新を行う(S24)。シーンチェンジに対応させた量子化制御を行う場合にはシーンチェンジの判定も行う。未符号化マクロブロックが存在する場合には、続くマクロブロックについてＱ値設定(S22)、符号化処理(S23)を繰り返す。当該フレームについて符号化が完了すれば、未符号化フレームに対するR-D特性のパラメータ更新を行い(S26)、SOP符号量設定(S21)以下の処理を繰り返す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号量制御方式に関し、特に、適切な符号量制御により画質を向上させることができる動画像符号量制御方式に関する。
【背景技術】
【０００２】
動画像符号化の新方式であるH.264は、地上デジタル放送の携帯受信サービスなど、主に低ビットレートの動画像アプリケーションで採用されつつある。この方式を固定ビットレートにて利用する際には符号量の制御が必要となる。符号量の制御を目的とした方式として、MPEG-2やMPEG-4などの従来の符号化方式を対象としたものがいくつか提案されている。
【０００３】
例えば、非特許文献１では、ピクチャタイプの性質を考慮した上で、各フレームに対する目標符号量を決定する方式が提案されている。また、非特許文献２では、SOPと呼ばれる一連のピクチャセットに対する目標符号量を設定し、それに基づいて符号量の配分を行うことが提案されている。
【非特許文献１】水野修,鹿喰善明,野尻裕司,大塚吉道,田中豊,“ピクチャ別レートひずみ特性に基づいた符号量分配手法の検討”信学論,Vol.J82-D-2,No.8,pp.1239-1251,Aug.1999
【非特許文献２】内藤整,小池淳,和田正裕,松本修一,羽鳥好律,“ひずみ最小型レート制御の高度利用に基づくMPEG-2ビット配分の最適化”信学論,Vol.J86-D-2,No.11,pp.1565-1574,Nov.2003
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１で提案された方式では、マクロブロックタイプごとの量子化制御については考慮されていない。また、シーンチェンジなどに代表される対象画像の性質の変化を考慮に入れていないため、対象画像の性質に変化が起こった際に画質劣化が生じるという課題がある。
【０００５】
また、非特許文献２で提案された方式は、MPEG-2の符号化方式での符号量の配分を対象とし、各フレームの符号量のみを算出するものであるため、H.264におけるマクロブロックごとに符号化方式を変更させる機能を用いる場合にはそのまま適用することができないという課題がある。
【０００６】
本発明の目的は、上記課題を解決し、適切な符号量制御を行うことにより、伝送ビットレートが制限される状況下においても画質を向上させることができ、また、シーンチェンジによる画像性質の変化にも対応できる動画像符号量制御方式を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明は、局所的なフレーム群に対する目標符号量を設定する目標符号量設定手段と、符号量−歪み量特性を元に符号化対象マクロブロックにおける量子化パラメータを設定する量子化パラメータ設定手段と、前記量子化パラメータ設定手段で設定された量子化パラメータを用いて符号化対象マクロブロックが符号化処理された後に該符号化処理の結果に従って前記符号量−歪み量特性のパラメータを更新して次のマクロブロックに対する量子化パラメータに反映させる第１の量子化パラメータ更新手段と、当該フレームの全マクロブロックが符号化処理された後に該符号化処理の結果に従って前記符号量−歪み量特性のパラメータを更新して前記目標符号量設定手段での目標符号量に反映させる第２のパラメータ更新手段とを備えることを特徴としている。
【０００８】
また、本発明は、前記符号量−歪み量特性が、マクロブロックタイプ別に符号量と歪み量が集計されたものであることを特徴としている。
【０００９】
さらに、本発明は、前記符号化対象マクロブロックが符号化処理された後にシーンチェンジが存在するか否かを判定するシーンチェンジ判定手段を備え、前記第２のパラメータ更新手段は、前記シーンチェンジ判定手段によるシーンチェンジが存在すると判定された場合には前記符号量−歪み量特性のパラメータを初期化して前記目標符号量設定手段での目標符号量に反映させることを特徴としている。
【発明の効果】
【００１０】
本発明によれば、目標符号量内において、同一フレームにおける各マクロブロックの歪み量を一定にし、かつSOP内の各フレームにおけるピクチャタイプごとの歪み量割合を一定にすることができるので、伝送ビットレートが制限される状況下においても画質を向上させることができる。また、対象画像の性質に変化をもたらすシーンチェンジへの対応も行うので、シーンチェンジによる画質劣化を抑制することができる。
【発明を実施するための最良の形態】
【００１１】
以下に、図面を参照して本発明を説明する。図１は、H.264の符号化参照ソフトであるＪＭ(Karstein Suhring, H.264/AVC Software Coordination, htt://bs.hhi.de/suehring/tml/download/old_jm/)に従う符号化手順を示すフローチャートである。
【００１２】
まず、直前の符号化マクロブロックおよびビットレートを元に、符号化対象マクロブロックに対する量子化パラメータ（以下、Ｑ値と称す。）を算出する(S11)。次に、S11で算出されたＱ値を用いて、各マクロブロックタイプによる符号化処理を行った上で、最適なマクロブロックタイプを選択する(S12)。続いて、S12で選択がなされたマクロブロックタイプによる符号化処理結果を符号化データとして出力し、算術符号化におけるパラメータを更新する(S13)。
【００１３】
本発明は、上記S11において符号化対象マクロブロックに対する適切なＱ値を設定するための符号量制御方式を提供する。ここで、適切なＱ値とは、目標符号量内において、同一フレームにおける各マクロブロックの歪み量が一定となり、かつSOP内の各フレームにおけるピクチャタイプごとの歪み量割合が一定となるような値を意味する。SOPについては後述する。
【００１４】
図２は、本発明に係る動画像符号量制御方式における処理を示すフローチャートである。まず、SOPに対する目標符号量を設定する(S21)。次に、符号化対象ブロックにおける適切なＱ値を各マクロブロックタイプにおいて選出する(S22)。Ｑ値は、符号量−歪み量特性(以下、R-D特性と称す。）を元に選出され、R-D特性のパラメータはマクロブロックごとおよびフレームごとに更新される。適切なＱ値とは上記の内容を意味する。
【００１５】
次に、S22で選出されたＱ値を用いてＪＭによるマクロブロックタイプの選択および符号化処理(S23)を行う。符号化対象マクロブロックの符号化が終了した後、R-D特性のパラメータ更新を行う(S24)。なお、シーンチェンジに対応させた量子化制御を行う場合には、ここでシーンチェンジの判定を行い、シーンチェンジと判定された場合には、後述するフレームごとのパラメータ更新(S26)でR-D特性のパラメータの初期化処理を行う。
【００１６】
次に、当該フレームについて全マクロブロックの符号化が完了したか否かを調べ(S25)、当該フレームにおける未符号化マクロブロックが存在する場合にはS22に戻って、次のマクロブロックについてＱ値選出(S22)、符号化処理(S23)を繰り返す。
【００１７】
当該フレームについて全マクロブロックの符号化が完了し、未符号化マクロブロックが存在しなければ、未符号化フレームに対するR-D特性のパラメータ更新を必要に応じて行う(S26)。次に、全フレームの符号化が完了したか否かを調べ(S27)、未符号化フレームが存在する場合にはS21に戻って、続くフレームについてSOP符号量設定(S21)以下の処理を繰り返し、未符号化フレームが存在しなければ符号化処理を終了する。
【００１８】
図３は、本発明におけるＱ値設定の概念図である。SOP内フレーム群に対して設定された目標符号量（目標ビットレート）が達成されるように、また、同一フレームにおける各マクロブロックの歪み量が一定となるように、さらに、SOP内の各フレームにおけるピクチャタイプごとの歪み量割合（Ｉピクチャの歪み量とＰピクチャの歪み量とＢピクチャの歪み量の割合）が一定、例えば１：１：0.5となるようにＱ値が選出される。Ｑ値は、各マクロブロックの符号化終了ごとおよび各フレームの符号化終了ごとにR-D特性のパラメータを更新することにより更新される。以下に、図２の各ステップでの処理について詳細に説明する。
【００１９】
1.SOP符号量設定(S21)
本発明では、バッファ量を考慮に入れた局所的な目標符号量を設定し、それに基づいた符号量制御を行う。これによって、CBP内の破綻防止に繋がる制御が可能となる。まず、一般的なビット配分の制御単位であるGOPの他に、SOPという単位を定義する。GOPおよびSOPは、以下のように定義される。
【００２０】
GOPは、ビット配分を行う際に用いられる複数枚のフレームの集合を表し、Ｉピクチャから次のＩピクチャの直前（終端GOPにおいてはＩピクチャから終端）までの一連のフレームを表すのが一般的である。ＪＭに従い、先頭と終端以外のGOPにおいて、ピクチャの枚数は常に定数ＮＧであると定義する。GOPの例を図４に示し、図示する符号化順にフレームが並んでいるものとする。GOP内の先頭ピクチャはＩピクチャであり、その後にＢピクチャがＮＢ枚(図４では２枚)続く。以下、Ｐピクチャ１枚とＢピクチャがＮＢ枚の組がＮＰ回(図４では４回)続く。従って、ＮＧは、下記式(1)によって算出される。
NＧ＝(1＋NＰ)×(1＋NＢ) (1)
例えば、図４の例では、ＮＰ＝４、ＮＢ＝２であるので、ＮＧ＝１５となる。
一方、SOPは、局所的なフレーム群を意味し、当該フレームからＮＧ枚分のフレームを表す。
【００２１】
1-1.SOP符号量ＲＳの初期値の設定
まず、SOP内の目標符号量の初期値を算出する。GOP先頭でピクチャデータの引き抜きが開始されるバッファ占有量ｖ０、および理想とするバッファ量ｖＴを別途定め、初期段階におけるSOP内の目標符号量ＲＳを下記式(2)により定義する。
RＳ＝NＧ×(bit_rate/frame_rate)＋ｖ０−ｖＴ (2)
RＧ＝RＳ (3)
【００２２】
ただし、ＲＧは、ＲＳの初期値を蓄積するための変数であり、後述する「1-3.ＲＳの再定義」にて参照および更新されてシーンチェンジへの対応を可能にする。
【００２３】
1-2.SOP符号量ＲＳの更新
各フレームにおける符号量は、フレームごとの性質や参照画像の信頼性、ピクチャタイプなどにも依存するため、目標符号量を定めた場合においても実際の発生符号量は目標符号量と異なる場合がある。そこで、目標符号量と実際の発生符号量との差分を吸収するため、フレームごとの符号化処理が終了した後、 下記式(4)によって目標符号量ＲＳの更新を行う。この更新は、後述するS26でのパラメータ更新が反映された結果である。
RＳ←RＳ＋R(C)−S(C) (4)
【００２４】
ただし、←は右辺の値を左辺に代入することを表し、Ｒ(C)、Ｓ(C)はそれぞれ、当該フレームＣにおける目標符号量、実際の発生符号量を表す。Ｒ(C)は、後述する「2-2.符号化当該フレームの符号量予測」で算出されるマクロブロックごとの目標符号量の合計とする。
【００２５】
1-3.SOP符号量ＲＳの再定義
上記「1-2.SOP符号量ＲＳの更新」によっては目標符号量に完全に準拠しているとは限らない。SOP符号量ＲＳを再定義することによって、上記「1-2.SOP符号量ＲＳの更新」によって生じてくる符号量の増減を完全に吸収し、SOP符号量を目標符号量に完全に準拠させることができる。また、画像の性質に変化をもたらすシーンチェンジへ対応させることができる。
【００２６】
下記(5)によってＲＧの更新をＩピクチャを符号化する直前において行い、さらに同様のタイミングでＲＳとＲＧの整合性をとるため、下記(6)式によってＲＳの再定義を行う。この再定義も、後述するS26でのパラメータ更新が反映された結果である。
RＧ←RＧ＋N(I)×(bit_rate/frame_rate)−S(I) (5)
RＳ＝RＧ (6)
【００２７】
ただし、Ｎ(I)、Ｓ(I)はそれぞれ、ＲＧの更新後の符号化を行ったフレームの枚数(最初の更新においては全符号化済フレームの枚数)、同フレームにおける符号量の合計を表す。
【００２８】
2.各マクロブロックの符号量設定(S22)
各マクロブロックごとの符号量設定を行うに際し、マクロブロックごとに、マクロブロックタイプ別にＱ値に対する評価を行う。まず、「2-3.適切なQ値の選出」で述べる手法によって評価対象となるＱ値から歪み量を予測し、該歪み量を用いてSOP内の符号量を予測する。
【００２９】
次に、予測された符号量とＲＳとの差分の絶対値をＱ値に対する評価値とし、該評価値が最も低いものを選出する。ただし、ＰピクチャもしくはＢピクチャにおいてそれぞれ符号化済のピクチャが存在しない場合は、Ｑ値として初期値Ｑｄを(例えばｑ＝0〜51としたとき、41とする。)用いる。歪み量が決まった際の予測符号量は、以下の「2-1.未符号化フレームの符号量予測」および「2-2.符号化当該フレームの符号量予測」で説明するように定義され、適切なＱ値は、「2-3.適切なQ値の選出」で説明するように選出される。
【００３０】
2-1.未符号化フレームの符号量予測
フレーム番号ｍ＋ＮＧにおける各マクロブロックタイプｎ(n∈1,2,・・・,M)の歪み量がＤ′(ｍ＋ＮＧ,ｎ)として与えられた際におけるフレームの予測符号量Ｒ(ｍ＋ＮＧ)は、以下のようにして算出できる。
【００３１】
初期GOP以降におけるGOP内のピクチャの出現パターンは一定であるため、図５に示すように、ストリーム内における符号化対象フレームのピクチャタイプをＦ(ｉ)と表すと、Ｆ(ｉ＋１)からＦ(ｉ＋ＮＧ−１)はＦ(ｉ−ＮＧ＋１)からＦ(ｉ−１)と完全に一致する。同一ピクチャタイプにおけるマクロブロックタイプの割合が一定であると仮定すると、Ｆ(ｉ＋１)からＦ(ｉ＋ＮＧ−１)におけるマクロブロックタイプの発生数はＦ(ｉ−ＮＧ＋１)からＦ(ｉ−１)までのマクロブロックタイプの発生数によって表すことができる。
【００３２】
R-D特性をGOP内における符号化順序およびマクロブロックタイプのみに依存すると仮定し、R-D特性を表す関数(R-D関数)を下記(7)式によって定義する。
log(T(m,n)×D′(m＋NＧ,n))＝log(T(m,n)＋logD′(m＋NＧ,n)＝A(m,n)R(m＋NＧ,n)＋B(m,n) (7)
【００３３】
ここで、Ｔ(ｍ,ｎ)、Ｒ(ｍ＋ＮＧ,ｎ)はそれぞれ、第ｍレームにおけるマクロブロックタイプｎの発生回数、第ｍ＋ＮＧフレームにおけるマクロブロックタイプｎの発生符号量の合計を表し、Ａ(ｍ,ｎ)およびＢ(ｍ,ｎ)は、第ｍフレームにおけるマクロブロックタイプｎにおけるR-D特性を表す係数とする。ただし、R-D特性は、直線にて表現するのが困難であるため、下記式(8)、(9)の条件に従ってＡ(ｍ,ｎ)およびＢ(ｍ,ｎ)の適用範囲を定め、算出には下記式(10)、(11)を用いる。
A(m,n)＝A(m,n,q)
if D(m,n,q)≦D′(m＋NＧ,n)×T(m,n)≦D(m,n,q＋1) (8)
B(m,n)＝B(m,n,q)
if D(m,n,q)≦D′(m＋NＧ,n)×T(m,n)≦D(m,n,q＋1) (9)
A(m,n,q)＝(D(m,n,q)−D(m,n,q＋1))/(R(m,n,q)−R(m,n,q＋1)) (10)
B(m,n,q)＝D(m,n,q)−A(m,n,q)R(m,n,q) (11)
【００３４】
ただし、Ｄ(ｍ,ｎ,ｑ)、Ｒ(ｍ,ｎ,ｑ)はそれぞれ、Ｑ値がｑの際の各ブロックにおける歪み量の合計、符号量の合計を表し、後述する「4.マクロブロック符号化処理後のパラメータ更新」で定義される値を用いる。Ｑ値の増加に伴って符号量は常に減少し、歪み量は常に増加することから、Ａ(ｍ,ｎ)の値は常に負となる。従って、ｑ＝0,・・・,51とすると、Ｄ(ｍ,ｎ,０)からＤ(ｍ,ｎ,５１)の範囲においてＤ(ｍ,ｎ)が決定すれば、Ｒ(ｍ,ｎ)は一意に決定される。
【００３５】
上記式(7)をＲ(ｍ＋ＮＧ,ｎ)について解くと、R-D関数として下記式(12)が導出される。従って、下記式(13)によってフレーム番号ｍ＋ＮＧにおける予測符号量Ｒ(ｍ＋ＮＧ)が算出される。
R(m＋NＧ,n)＝(logT(m,n)＋logD′(m＋NＧ,n)−B(m,n))/A(m,n) (12)
【００３６】
【数１】
【００３７】
2-2.符号化当該フレームの符号量予測
一部のフレームでは、当該フレームにおけるR-D特性やマクロブロックタイプの出現割合が局所的に変動することがある。このようなフレームにおいては、それにおけるマクロブロックタイプの出現割合およびR-D特性を上記「2-1.未符号化フレームの符号量予測」とは別に算出する。以下に、当該フレームにおける各マクロブロックタイプｎの歪み量がＤ′(Ｃ,ｎ)として与えられた際におけるフレームの予測符号量Ｒ″(Ｃ)の算出について説明する。
【００３８】
まず、当該フレームの先頭マクロブロックから符号化対象マクロブロックまでのマクロブロックタイプｎの発生回数Ｔ(Ｃ,ｎ)をマクロブロックタイプごとに観測した上で、下記式(14)によってフレーム全体の符号量Ｒ″(Ｃ)と１マクロブロックの平均符号量Ｒ′(Ｃ,ｎ)の関係を表す。
【００３９】
【数２】
【００４０】
ただし、Ｒｆ(Ｃ)、Ｔ(Ｃ,ｎ)、ｎｙ(Ｃ)、ｎｆ(Ｃ)はそれぞれ、当該フレームにおける当該マクロブロックまでの符号量、マクロブロックタイプｎの発生回数、未符号化マクロブロック数、符号化済マクロブロック数を表す。Ｒ(Ｃ,ｎ)を符号化済マクロブロックにおけるマクロブロックタイプ別の符号量の合計とすると、下記式(15)が成り立つため、下記式(16)におけるR-D特性は下記式(17)となる。
R(C,n)＝R′(C,n)T(C,n) (15)
log(T(C,n)×D′(C,n))＝A(C,n)R(C,n)＋B(C,n) (16)
log(T(C,n)×D′(C,n))＝logD′(C,n)＋logT(C,n)＝A(C,n)T(C,n)R′(C,n)＋B(C,n) (17)
【００４１】
ただし、Ａ(Ｃ,ｎ)およびＢ(Ｃ,ｎ)は、当該フレームにおける符号化済マクロブロックより、Ａ(ｍ,ｎ)、Ｂ(ｍ,ｎ)の算出(「2-1.未符号化フレームの符号量予測」参照)と同様に算出されるR-D特性を表す係数であり、上記式(8)、(9)の条件に従うこととする。上記式(14)と式(17)によて下記式(18)が導出される。下記式(12)の右辺第１項は当該フレームにおける符号化済マクロブロックに対する符号量を表し、第２項は未符号化マクロマクロブロックに対する予測符号量を表している。
【００４２】
【数３】
【００４３】
しかしながら、当該フレームにおけるサンプル数(符号化済マクロブロック数)が少ない場合には、Ｔ(Ｃ,ｎ)、Ａ(Ｃ,ｎ)およびＢ(Ｃ,ｎ)における信頼性が低いため、当該ピクチャにおける符号化済ブロック数の割合が閾値Ｔｂ(例えば1/8)より低いときのみ、Ｒ(Ｃ,ｎ)、Ｔ(Ｃ,ｎ)およびｎｆ(Ｃ)を下記式(19)−(21)によって置き換える。なお、ｎａｌｌは、１フレームあたりの全マクロブロック数を表す。
R(C,n)←R(C,n)＋R(i−NＧ,n) (19)
T(C,n)←T(C,n)＋T(i−NＧ,n) (20)
nｆ(C)←nｆ(C)＋nａｌｌ (21)
【００４４】
2-3.適切なQ値の選出
「2-1.未符号化フレームの符号量予測」および「2-2.符号化当該フレームの符号量予測」で定義された符号量算出式を用いて当該マクロブロックにおけるＱ値をマクロブロックタイプ別に選出する。ここでは、フレーム間の歪み量の割合が下記式(23)に従うことを目標とする。
D(I)＝D(P)＝wｂ×D(B) (22)
【００４５】
ただし、Ｄ(Ｉ)、Ｄ(Ｐ)、Ｄ(Ｂ)はそれぞれ、Ｉ、Ｐ、Ｂピクチャにおける各フレームの歪み量を表し、wｂは重み係数を表す。上記式(22)は、SOP内の各フレームにおけるピクチャタイプごとの歪み量割合が一定となることを規定する。
【００４６】
上記目標に従って、当該マクロブロックにおけるマクロブロックタイプをｎ″、Ｑ値をｑ(Ｃ,ｎ″)と仮定した際の評価値Ｅ(Ｃ,ｎ″,ｑ(Ｃ,ｎ″))を以下の手順で算出する。まず、図６に従い、マクロブロックごとの目標歪み量Ｄ′(ｍ,ｎ)を定義する。ここで、Ｄ(Ｃ,ｎ,ｑ(Ｃ,ｎ″))は、後述する「4.マクロブロック符号化処理後のパラメータ更新」で定義される値を用いることとし、当該ピクチャにおける符号化済マクロブロック数の割合が閾値Ｔｂより低い場合には、Ｔ(Ｃ,ｎ)およびＤ(Ｃ,ｎ,ｑ(Ｃ,ｎ″))を上記式(20)および下記式(23)によって置き換えることとする。
D(C,n,q(C,n″))←D(C,n,q(C,n″))＋D(i−NＧ,n,q(C,n″)) (23)
【００４７】
上記定義による目標歪み量Ｄ′(ｍ,ｎ)を上記式(13)および(18)に当てはめ、下記式(24)を用いてｑ(Ｃ,ｎ″)に対する評価値Ｅ(Ｃ,ｎ″,ｑ(Ｃ,ｎ″))を算出する。
【００４８】
【数４】
【００４９】
評価値Ｅ(Ｃ,ｎ″,ｑ(Ｃ,ｎ″))が最小となるようなｑ(Ｃ,ｎ″)を探索し、この値をマクロブロックタイプｎ″における適切なＱ値Ｑ(Ｃ,ｎ″)とする。
【００５０】
3.符号化処理(S23)
上記2-3で選出されたＱ値を用いてマクロブロックタイプの選択および符号化処理を行う。この処理にはＪＭで用いられる処理をそのまま適用することができるので、説明は省略する。
【００５１】
4.マクロブロック符号化処理後のパラメータ更新(S24)
各マクロブロックの符号化処理が終了した後、以下に説明するように、R-D特性のびパラメータ更新を行う。また、シーンチェンジに対応させた量子化制御を行う場合には、ここでシーンチェンジの判定を行う。これによって、当該フレームの画像の性質を反映させた符号量制御が可能になる。
【００５２】
4-1.パラメータ更新
各マクロブロックの符号化処理終了ごとに、当該フレームにおける当該マクロブロックまでの符号量Ｒｆ(Ｃ)の更新を下記式(25)によって行う。ただし、Ｒｆ(Ｃ)の初期値は０とする。
Rｆ(C)＝Rｆ(C)＋r(C,C′ｎ,Q(C,C′ｎ)) (25)
【００５３】
ここで、Ｃ′ｎ、r(Ｃ,Ｃ′ｎ,Ｑ(Ｃ,Ｃ′ｎ))はそれぞれ、選択がなされたマクロブロックタイプ、当該マクロブロックにおける符号量を表す。この更新終了後、当該マクロブロックに対して、Ｑ値をｑ＝0,・・・,51に変化させることによって仮符号化を行い、符号量および歪み量の合計値Ｒ(Ｃ,Ｃ′ｎ,ｑ)、Ｄ(Ｃ,Ｃ′ｎ,ｑ)を下記式(26)、(27)によって更新する。
R(C,C′ｎ,q)←R(C,C′ｎ,q)＋r(C,C′ｎ,q) (26)
D(C,C′ｎ,q)←D(C,C′ｎ,q)＋d(C,C′ｎ,q) (27)
【００５４】
ただし、ｒ(Ｃ,Ｃ′ｎ,ｑ)、ｄ(Ｃ,Ｃ′ｎ,ｑ)はそれぞれ、当該マクロブロックにおいてＱ値をｑとしたときの符号量、歪み量を表す。
【００５５】
最後に、マクロブロックタイプの発生回数Ｔ(Ｃ,Ｃ′ｎ)を下記式(28)によって更新する
T(C,C′ｎ)←T(C,C′ｎ)＋1 (28)
【００５６】
4−2.シーンチェンジ判定
動画像中にシーンチェンジが存在する場合、その前後のフレームにおける画像の性質が大きく異なる。これに対しても適切なレート制御を可能にするためには、シーンチェンジの判定を行い、シーンチェンジが存在した場合には以下に説明する処理を行えばよい。
【００５７】
シーンチェンジの発生は、例えば、以下のようにして判定できる。シーンチェンジの直後の画像の性質として、前フレームとの間の相関が低くなるため、イントラ符号化の割合が増加する。そこで、以下の２つの条件(1)、(2)を共に満たした場合にシーンチェンジが発生したと見なすことができる。
条件(1):当該ピクチャにおける符号化済マクロブロックの割合が定数Ｔｈ(ＭＢ)(例えば1/8)を超えている。
条件(2):当該ピクチャにおける符号化済マクロブロックのうち、イントラ符号化の割合が一定値Ｔｈ(ＩＴ)(例えば3/4)を超えている。
【００５８】
シーンチェンジと見なされた際には、当該フレームの符号化が終了した後、つまり 後述する「5.フレーム符号化終了後のパラメータ更新(S26)」で以下の処理(1)、(2)を行い、ｉ＋１フレーム目以後ＰピクチャもしくはＢピクチャがシーンチェンジ後にシーンチェンジ先頭を除き符号化がなされない場合においては、Ｑ値を初期値Ｑｄとして符号化を行う。
処理(1):ＲＳの再定義−シーンチェンジ直後の目標符号量Ｒ(Ｃ)の予測は困難であるため、上記式(5)、(6)を適用させる。
処理(2):R-D関数の代入−シーンチェンジ直後のピクチャにおける全マクロブロックの符号化が終わった後、当該GOP内のＩピクチャにおけるマクロブロック発生割合Ｔ(ｋ(Ｃ),ｎ)、ビットレートＲ(ｋ(Ｃ),ｎ,ｑ)、および歪み量Ｄ(ｋ(Ｃ),ｎ,ｑ)を下記式(31)、(32)、(33)によって更新する。
T(k(C),n)＝T(C,n)×(ｎａｌｌ/nｉ(C)) (29)
R(k(C),n,q)＝R(C,n,q)×(ｎａｌｌ/nｉ(C)) (30)
D(k(C),n,q)＝D(C,n,q)×(ｎａｌｌ/nｉ(C)) (31)
【００５９】
ここで、ｋ(C)は、当該GOP内のＩピクチャを表し、ｎｉ(C)は、当該フレームにおけるイントラマクロブロックの発生回数を表す。
【００６０】
5.フレーム符号化終了後のパラメータ更新(S26)
フレーム内のマクロブロックの符号化が全て終了した後、下記式(32)をｍ(m∈i−NＧ＋1,i−NＧ＋2,・・・,i−1)に対して適用させることによって、符号量、歪み量、および発生回数の代入を行う。この処理によって先頭GOPやシーンチェンジを含むGOPなどにおいても適切な符号量制御が可能になる。ただし、シーンチェンジ直後のフレームにおいては該フレームの信頼性が低いと考えられるので、この処理は行わないこととする。
R(m,n,q)←R(C,n,q)
D(m,n,q)←D(C,n,q)
T(m,n)←T(C,n)
if F(C)＝F(m)and(m≦s(C)) (32)
【００６１】
ここで、ｓ(Ｃ)は直前に発生したシーンチェンジ(初期値は０)におけるフレーム番号とする。
【００６２】
本発明は、携帯向けの地上波デジテル放送などのH.264符号化を伴う映像伝送システムに適用することができる。例えば、広告のシーンチェンジなどを含む携帯向け放送サービスにおいて、画質劣化が少ない符号化を実現でき、これによって視聴者側においてもストレスの少ない映像の受信が可能になる。また、ADSL環境などの比較的中規模な帯域を主眼とした動画像の提供環境において、画質劣化が少ない映像を提供することが可能となるため、FTTH環境が整備されていない地域における動画像コンテンツの配信が可能になる。
【図面の簡単な説明】
【００６３】
【図１】H.264の符号化参照ソフトＪＭに従う符号化手順を示すフローチャートである。
【図２】本発明に係る動画像符号量制御方式における処理を示すフローチャートである。
【図３】本発明におけるＱ値設定の概念図である。
【図４】GOPの例を示す説明図である。
【図５】ストリーム内における符号化対象フレームを示す説明図である。
【図６】Ｑ値に従った各マクロブロックの目標歪み量の定義を示す説明図である。
【符号の説明】
【００６４】
１・・・符号化済マクロブロック、２・・・符号化対象マクロブロック、３・・・未符号化フレーム、４・・・ＳＯＰ
【技術分野】
【０００１】
本発明は、動画像符号量制御方式に関し、特に、適切な符号量制御により画質を向上させることができる動画像符号量制御方式に関する。
【背景技術】
【０００２】
動画像符号化の新方式であるH.264は、地上デジタル放送の携帯受信サービスなど、主に低ビットレートの動画像アプリケーションで採用されつつある。この方式を固定ビットレートにて利用する際には符号量の制御が必要となる。符号量の制御を目的とした方式として、MPEG-2やMPEG-4などの従来の符号化方式を対象としたものがいくつか提案されている。
【０００３】
例えば、非特許文献１では、ピクチャタイプの性質を考慮した上で、各フレームに対する目標符号量を決定する方式が提案されている。また、非特許文献２では、SOPと呼ばれる一連のピクチャセットに対する目標符号量を設定し、それに基づいて符号量の配分を行うことが提案されている。
【非特許文献１】水野修,鹿喰善明,野尻裕司,大塚吉道,田中豊,“ピクチャ別レートひずみ特性に基づいた符号量分配手法の検討”信学論,Vol.J82-D-2,No.8,pp.1239-1251,Aug.1999
【非特許文献２】内藤整,小池淳,和田正裕,松本修一,羽鳥好律,“ひずみ最小型レート制御の高度利用に基づくMPEG-2ビット配分の最適化”信学論,Vol.J86-D-2,No.11,pp.1565-1574,Nov.2003
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１で提案された方式では、マクロブロックタイプごとの量子化制御については考慮されていない。また、シーンチェンジなどに代表される対象画像の性質の変化を考慮に入れていないため、対象画像の性質に変化が起こった際に画質劣化が生じるという課題がある。
【０００５】
また、非特許文献２で提案された方式は、MPEG-2の符号化方式での符号量の配分を対象とし、各フレームの符号量のみを算出するものであるため、H.264におけるマクロブロックごとに符号化方式を変更させる機能を用いる場合にはそのまま適用することができないという課題がある。
【０００６】
本発明の目的は、上記課題を解決し、適切な符号量制御を行うことにより、伝送ビットレートが制限される状況下においても画質を向上させることができ、また、シーンチェンジによる画像性質の変化にも対応できる動画像符号量制御方式を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明は、局所的なフレーム群に対する目標符号量を設定する目標符号量設定手段と、符号量−歪み量特性を元に符号化対象マクロブロックにおける量子化パラメータを設定する量子化パラメータ設定手段と、前記量子化パラメータ設定手段で設定された量子化パラメータを用いて符号化対象マクロブロックが符号化処理された後に該符号化処理の結果に従って前記符号量−歪み量特性のパラメータを更新して次のマクロブロックに対する量子化パラメータに反映させる第１の量子化パラメータ更新手段と、当該フレームの全マクロブロックが符号化処理された後に該符号化処理の結果に従って前記符号量−歪み量特性のパラメータを更新して前記目標符号量設定手段での目標符号量に反映させる第２のパラメータ更新手段とを備えることを特徴としている。
【０００８】
また、本発明は、前記符号量−歪み量特性が、マクロブロックタイプ別に符号量と歪み量が集計されたものであることを特徴としている。
【０００９】
さらに、本発明は、前記符号化対象マクロブロックが符号化処理された後にシーンチェンジが存在するか否かを判定するシーンチェンジ判定手段を備え、前記第２のパラメータ更新手段は、前記シーンチェンジ判定手段によるシーンチェンジが存在すると判定された場合には前記符号量−歪み量特性のパラメータを初期化して前記目標符号量設定手段での目標符号量に反映させることを特徴としている。
【発明の効果】
【００１０】
本発明によれば、目標符号量内において、同一フレームにおける各マクロブロックの歪み量を一定にし、かつSOP内の各フレームにおけるピクチャタイプごとの歪み量割合を一定にすることができるので、伝送ビットレートが制限される状況下においても画質を向上させることができる。また、対象画像の性質に変化をもたらすシーンチェンジへの対応も行うので、シーンチェンジによる画質劣化を抑制することができる。
【発明を実施するための最良の形態】
【００１１】
以下に、図面を参照して本発明を説明する。図１は、H.264の符号化参照ソフトであるＪＭ(Karstein Suhring, H.264/AVC Software Coordination, htt://bs.hhi.de/suehring/tml/download/old_jm/)に従う符号化手順を示すフローチャートである。
【００１２】
まず、直前の符号化マクロブロックおよびビットレートを元に、符号化対象マクロブロックに対する量子化パラメータ（以下、Ｑ値と称す。）を算出する(S11)。次に、S11で算出されたＱ値を用いて、各マクロブロックタイプによる符号化処理を行った上で、最適なマクロブロックタイプを選択する(S12)。続いて、S12で選択がなされたマクロブロックタイプによる符号化処理結果を符号化データとして出力し、算術符号化におけるパラメータを更新する(S13)。
【００１３】
本発明は、上記S11において符号化対象マクロブロックに対する適切なＱ値を設定するための符号量制御方式を提供する。ここで、適切なＱ値とは、目標符号量内において、同一フレームにおける各マクロブロックの歪み量が一定となり、かつSOP内の各フレームにおけるピクチャタイプごとの歪み量割合が一定となるような値を意味する。SOPについては後述する。
【００１４】
図２は、本発明に係る動画像符号量制御方式における処理を示すフローチャートである。まず、SOPに対する目標符号量を設定する(S21)。次に、符号化対象ブロックにおける適切なＱ値を各マクロブロックタイプにおいて選出する(S22)。Ｑ値は、符号量−歪み量特性(以下、R-D特性と称す。）を元に選出され、R-D特性のパラメータはマクロブロックごとおよびフレームごとに更新される。適切なＱ値とは上記の内容を意味する。
【００１５】
次に、S22で選出されたＱ値を用いてＪＭによるマクロブロックタイプの選択および符号化処理(S23)を行う。符号化対象マクロブロックの符号化が終了した後、R-D特性のパラメータ更新を行う(S24)。なお、シーンチェンジに対応させた量子化制御を行う場合には、ここでシーンチェンジの判定を行い、シーンチェンジと判定された場合には、後述するフレームごとのパラメータ更新(S26)でR-D特性のパラメータの初期化処理を行う。
【００１６】
次に、当該フレームについて全マクロブロックの符号化が完了したか否かを調べ(S25)、当該フレームにおける未符号化マクロブロックが存在する場合にはS22に戻って、次のマクロブロックについてＱ値選出(S22)、符号化処理(S23)を繰り返す。
【００１７】
当該フレームについて全マクロブロックの符号化が完了し、未符号化マクロブロックが存在しなければ、未符号化フレームに対するR-D特性のパラメータ更新を必要に応じて行う(S26)。次に、全フレームの符号化が完了したか否かを調べ(S27)、未符号化フレームが存在する場合にはS21に戻って、続くフレームについてSOP符号量設定(S21)以下の処理を繰り返し、未符号化フレームが存在しなければ符号化処理を終了する。
【００１８】
図３は、本発明におけるＱ値設定の概念図である。SOP内フレーム群に対して設定された目標符号量（目標ビットレート）が達成されるように、また、同一フレームにおける各マクロブロックの歪み量が一定となるように、さらに、SOP内の各フレームにおけるピクチャタイプごとの歪み量割合（Ｉピクチャの歪み量とＰピクチャの歪み量とＢピクチャの歪み量の割合）が一定、例えば１：１：0.5となるようにＱ値が選出される。Ｑ値は、各マクロブロックの符号化終了ごとおよび各フレームの符号化終了ごとにR-D特性のパラメータを更新することにより更新される。以下に、図２の各ステップでの処理について詳細に説明する。
【００１９】
1.SOP符号量設定(S21)
本発明では、バッファ量を考慮に入れた局所的な目標符号量を設定し、それに基づいた符号量制御を行う。これによって、CBP内の破綻防止に繋がる制御が可能となる。まず、一般的なビット配分の制御単位であるGOPの他に、SOPという単位を定義する。GOPおよびSOPは、以下のように定義される。
【００２０】
GOPは、ビット配分を行う際に用いられる複数枚のフレームの集合を表し、Ｉピクチャから次のＩピクチャの直前（終端GOPにおいてはＩピクチャから終端）までの一連のフレームを表すのが一般的である。ＪＭに従い、先頭と終端以外のGOPにおいて、ピクチャの枚数は常に定数ＮＧであると定義する。GOPの例を図４に示し、図示する符号化順にフレームが並んでいるものとする。GOP内の先頭ピクチャはＩピクチャであり、その後にＢピクチャがＮＢ枚(図４では２枚)続く。以下、Ｐピクチャ１枚とＢピクチャがＮＢ枚の組がＮＰ回(図４では４回)続く。従って、ＮＧは、下記式(1)によって算出される。
NＧ＝(1＋NＰ)×(1＋NＢ) (1)
例えば、図４の例では、ＮＰ＝４、ＮＢ＝２であるので、ＮＧ＝１５となる。
一方、SOPは、局所的なフレーム群を意味し、当該フレームからＮＧ枚分のフレームを表す。
【００２１】
1-1.SOP符号量ＲＳの初期値の設定
まず、SOP内の目標符号量の初期値を算出する。GOP先頭でピクチャデータの引き抜きが開始されるバッファ占有量ｖ０、および理想とするバッファ量ｖＴを別途定め、初期段階におけるSOP内の目標符号量ＲＳを下記式(2)により定義する。
RＳ＝NＧ×(bit_rate/frame_rate)＋ｖ０−ｖＴ (2)
RＧ＝RＳ (3)
【００２２】
ただし、ＲＧは、ＲＳの初期値を蓄積するための変数であり、後述する「1-3.ＲＳの再定義」にて参照および更新されてシーンチェンジへの対応を可能にする。
【００２３】
1-2.SOP符号量ＲＳの更新
各フレームにおける符号量は、フレームごとの性質や参照画像の信頼性、ピクチャタイプなどにも依存するため、目標符号量を定めた場合においても実際の発生符号量は目標符号量と異なる場合がある。そこで、目標符号量と実際の発生符号量との差分を吸収するため、フレームごとの符号化処理が終了した後、 下記式(4)によって目標符号量ＲＳの更新を行う。この更新は、後述するS26でのパラメータ更新が反映された結果である。
RＳ←RＳ＋R(C)−S(C) (4)
【００２４】
ただし、←は右辺の値を左辺に代入することを表し、Ｒ(C)、Ｓ(C)はそれぞれ、当該フレームＣにおける目標符号量、実際の発生符号量を表す。Ｒ(C)は、後述する「2-2.符号化当該フレームの符号量予測」で算出されるマクロブロックごとの目標符号量の合計とする。
【００２５】
1-3.SOP符号量ＲＳの再定義
上記「1-2.SOP符号量ＲＳの更新」によっては目標符号量に完全に準拠しているとは限らない。SOP符号量ＲＳを再定義することによって、上記「1-2.SOP符号量ＲＳの更新」によって生じてくる符号量の増減を完全に吸収し、SOP符号量を目標符号量に完全に準拠させることができる。また、画像の性質に変化をもたらすシーンチェンジへ対応させることができる。
【００２６】
下記(5)によってＲＧの更新をＩピクチャを符号化する直前において行い、さらに同様のタイミングでＲＳとＲＧの整合性をとるため、下記(6)式によってＲＳの再定義を行う。この再定義も、後述するS26でのパラメータ更新が反映された結果である。
RＧ←RＧ＋N(I)×(bit_rate/frame_rate)−S(I) (5)
RＳ＝RＧ (6)
【００２７】
ただし、Ｎ(I)、Ｓ(I)はそれぞれ、ＲＧの更新後の符号化を行ったフレームの枚数(最初の更新においては全符号化済フレームの枚数)、同フレームにおける符号量の合計を表す。
【００２８】
2.各マクロブロックの符号量設定(S22)
各マクロブロックごとの符号量設定を行うに際し、マクロブロックごとに、マクロブロックタイプ別にＱ値に対する評価を行う。まず、「2-3.適切なQ値の選出」で述べる手法によって評価対象となるＱ値から歪み量を予測し、該歪み量を用いてSOP内の符号量を予測する。
【００２９】
次に、予測された符号量とＲＳとの差分の絶対値をＱ値に対する評価値とし、該評価値が最も低いものを選出する。ただし、ＰピクチャもしくはＢピクチャにおいてそれぞれ符号化済のピクチャが存在しない場合は、Ｑ値として初期値Ｑｄを(例えばｑ＝0〜51としたとき、41とする。)用いる。歪み量が決まった際の予測符号量は、以下の「2-1.未符号化フレームの符号量予測」および「2-2.符号化当該フレームの符号量予測」で説明するように定義され、適切なＱ値は、「2-3.適切なQ値の選出」で説明するように選出される。
【００３０】
2-1.未符号化フレームの符号量予測
フレーム番号ｍ＋ＮＧにおける各マクロブロックタイプｎ(n∈1,2,・・・,M)の歪み量がＤ′(ｍ＋ＮＧ,ｎ)として与えられた際におけるフレームの予測符号量Ｒ(ｍ＋ＮＧ)は、以下のようにして算出できる。
【００３１】
初期GOP以降におけるGOP内のピクチャの出現パターンは一定であるため、図５に示すように、ストリーム内における符号化対象フレームのピクチャタイプをＦ(ｉ)と表すと、Ｆ(ｉ＋１)からＦ(ｉ＋ＮＧ−１)はＦ(ｉ−ＮＧ＋１)からＦ(ｉ−１)と完全に一致する。同一ピクチャタイプにおけるマクロブロックタイプの割合が一定であると仮定すると、Ｆ(ｉ＋１)からＦ(ｉ＋ＮＧ−１)におけるマクロブロックタイプの発生数はＦ(ｉ−ＮＧ＋１)からＦ(ｉ−１)までのマクロブロックタイプの発生数によって表すことができる。
【００３２】
R-D特性をGOP内における符号化順序およびマクロブロックタイプのみに依存すると仮定し、R-D特性を表す関数(R-D関数)を下記(7)式によって定義する。
log(T(m,n)×D′(m＋NＧ,n))＝log(T(m,n)＋logD′(m＋NＧ,n)＝A(m,n)R(m＋NＧ,n)＋B(m,n) (7)
【００３３】
ここで、Ｔ(ｍ,ｎ)、Ｒ(ｍ＋ＮＧ,ｎ)はそれぞれ、第ｍレームにおけるマクロブロックタイプｎの発生回数、第ｍ＋ＮＧフレームにおけるマクロブロックタイプｎの発生符号量の合計を表し、Ａ(ｍ,ｎ)およびＢ(ｍ,ｎ)は、第ｍフレームにおけるマクロブロックタイプｎにおけるR-D特性を表す係数とする。ただし、R-D特性は、直線にて表現するのが困難であるため、下記式(8)、(9)の条件に従ってＡ(ｍ,ｎ)およびＢ(ｍ,ｎ)の適用範囲を定め、算出には下記式(10)、(11)を用いる。
A(m,n)＝A(m,n,q)
if D(m,n,q)≦D′(m＋NＧ,n)×T(m,n)≦D(m,n,q＋1) (8)
B(m,n)＝B(m,n,q)
if D(m,n,q)≦D′(m＋NＧ,n)×T(m,n)≦D(m,n,q＋1) (9)
A(m,n,q)＝(D(m,n,q)−D(m,n,q＋1))/(R(m,n,q)−R(m,n,q＋1)) (10)
B(m,n,q)＝D(m,n,q)−A(m,n,q)R(m,n,q) (11)
【００３４】
ただし、Ｄ(ｍ,ｎ,ｑ)、Ｒ(ｍ,ｎ,ｑ)はそれぞれ、Ｑ値がｑの際の各ブロックにおける歪み量の合計、符号量の合計を表し、後述する「4.マクロブロック符号化処理後のパラメータ更新」で定義される値を用いる。Ｑ値の増加に伴って符号量は常に減少し、歪み量は常に増加することから、Ａ(ｍ,ｎ)の値は常に負となる。従って、ｑ＝0,・・・,51とすると、Ｄ(ｍ,ｎ,０)からＤ(ｍ,ｎ,５１)の範囲においてＤ(ｍ,ｎ)が決定すれば、Ｒ(ｍ,ｎ)は一意に決定される。
【００３５】
上記式(7)をＲ(ｍ＋ＮＧ,ｎ)について解くと、R-D関数として下記式(12)が導出される。従って、下記式(13)によってフレーム番号ｍ＋ＮＧにおける予測符号量Ｒ(ｍ＋ＮＧ)が算出される。
R(m＋NＧ,n)＝(logT(m,n)＋logD′(m＋NＧ,n)−B(m,n))/A(m,n) (12)
【００３６】
【数１】
【００３７】
2-2.符号化当該フレームの符号量予測
一部のフレームでは、当該フレームにおけるR-D特性やマクロブロックタイプの出現割合が局所的に変動することがある。このようなフレームにおいては、それにおけるマクロブロックタイプの出現割合およびR-D特性を上記「2-1.未符号化フレームの符号量予測」とは別に算出する。以下に、当該フレームにおける各マクロブロックタイプｎの歪み量がＤ′(Ｃ,ｎ)として与えられた際におけるフレームの予測符号量Ｒ″(Ｃ)の算出について説明する。
【００３８】
まず、当該フレームの先頭マクロブロックから符号化対象マクロブロックまでのマクロブロックタイプｎの発生回数Ｔ(Ｃ,ｎ)をマクロブロックタイプごとに観測した上で、下記式(14)によってフレーム全体の符号量Ｒ″(Ｃ)と１マクロブロックの平均符号量Ｒ′(Ｃ,ｎ)の関係を表す。
【００３９】
【数２】
【００４０】
ただし、Ｒｆ(Ｃ)、Ｔ(Ｃ,ｎ)、ｎｙ(Ｃ)、ｎｆ(Ｃ)はそれぞれ、当該フレームにおける当該マクロブロックまでの符号量、マクロブロックタイプｎの発生回数、未符号化マクロブロック数、符号化済マクロブロック数を表す。Ｒ(Ｃ,ｎ)を符号化済マクロブロックにおけるマクロブロックタイプ別の符号量の合計とすると、下記式(15)が成り立つため、下記式(16)におけるR-D特性は下記式(17)となる。
R(C,n)＝R′(C,n)T(C,n) (15)
log(T(C,n)×D′(C,n))＝A(C,n)R(C,n)＋B(C,n) (16)
log(T(C,n)×D′(C,n))＝logD′(C,n)＋logT(C,n)＝A(C,n)T(C,n)R′(C,n)＋B(C,n) (17)
【００４１】
ただし、Ａ(Ｃ,ｎ)およびＢ(Ｃ,ｎ)は、当該フレームにおける符号化済マクロブロックより、Ａ(ｍ,ｎ)、Ｂ(ｍ,ｎ)の算出(「2-1.未符号化フレームの符号量予測」参照)と同様に算出されるR-D特性を表す係数であり、上記式(8)、(9)の条件に従うこととする。上記式(14)と式(17)によて下記式(18)が導出される。下記式(12)の右辺第１項は当該フレームにおける符号化済マクロブロックに対する符号量を表し、第２項は未符号化マクロマクロブロックに対する予測符号量を表している。
【００４２】
【数３】
【００４３】
しかしながら、当該フレームにおけるサンプル数(符号化済マクロブロック数)が少ない場合には、Ｔ(Ｃ,ｎ)、Ａ(Ｃ,ｎ)およびＢ(Ｃ,ｎ)における信頼性が低いため、当該ピクチャにおける符号化済ブロック数の割合が閾値Ｔｂ(例えば1/8)より低いときのみ、Ｒ(Ｃ,ｎ)、Ｔ(Ｃ,ｎ)およびｎｆ(Ｃ)を下記式(19)−(21)によって置き換える。なお、ｎａｌｌは、１フレームあたりの全マクロブロック数を表す。
R(C,n)←R(C,n)＋R(i−NＧ,n) (19)
T(C,n)←T(C,n)＋T(i−NＧ,n) (20)
nｆ(C)←nｆ(C)＋nａｌｌ (21)
【００４４】
2-3.適切なQ値の選出
「2-1.未符号化フレームの符号量予測」および「2-2.符号化当該フレームの符号量予測」で定義された符号量算出式を用いて当該マクロブロックにおけるＱ値をマクロブロックタイプ別に選出する。ここでは、フレーム間の歪み量の割合が下記式(23)に従うことを目標とする。
D(I)＝D(P)＝wｂ×D(B) (22)
【００４５】
ただし、Ｄ(Ｉ)、Ｄ(Ｐ)、Ｄ(Ｂ)はそれぞれ、Ｉ、Ｐ、Ｂピクチャにおける各フレームの歪み量を表し、wｂは重み係数を表す。上記式(22)は、SOP内の各フレームにおけるピクチャタイプごとの歪み量割合が一定となることを規定する。
【００４６】
上記目標に従って、当該マクロブロックにおけるマクロブロックタイプをｎ″、Ｑ値をｑ(Ｃ,ｎ″)と仮定した際の評価値Ｅ(Ｃ,ｎ″,ｑ(Ｃ,ｎ″))を以下の手順で算出する。まず、図６に従い、マクロブロックごとの目標歪み量Ｄ′(ｍ,ｎ)を定義する。ここで、Ｄ(Ｃ,ｎ,ｑ(Ｃ,ｎ″))は、後述する「4.マクロブロック符号化処理後のパラメータ更新」で定義される値を用いることとし、当該ピクチャにおける符号化済マクロブロック数の割合が閾値Ｔｂより低い場合には、Ｔ(Ｃ,ｎ)およびＤ(Ｃ,ｎ,ｑ(Ｃ,ｎ″))を上記式(20)および下記式(23)によって置き換えることとする。
D(C,n,q(C,n″))←D(C,n,q(C,n″))＋D(i−NＧ,n,q(C,n″)) (23)
【００４７】
上記定義による目標歪み量Ｄ′(ｍ,ｎ)を上記式(13)および(18)に当てはめ、下記式(24)を用いてｑ(Ｃ,ｎ″)に対する評価値Ｅ(Ｃ,ｎ″,ｑ(Ｃ,ｎ″))を算出する。
【００４８】
【数４】
【００４９】
評価値Ｅ(Ｃ,ｎ″,ｑ(Ｃ,ｎ″))が最小となるようなｑ(Ｃ,ｎ″)を探索し、この値をマクロブロックタイプｎ″における適切なＱ値Ｑ(Ｃ,ｎ″)とする。
【００５０】
3.符号化処理(S23)
上記2-3で選出されたＱ値を用いてマクロブロックタイプの選択および符号化処理を行う。この処理にはＪＭで用いられる処理をそのまま適用することができるので、説明は省略する。
【００５１】
4.マクロブロック符号化処理後のパラメータ更新(S24)
各マクロブロックの符号化処理が終了した後、以下に説明するように、R-D特性のびパラメータ更新を行う。また、シーンチェンジに対応させた量子化制御を行う場合には、ここでシーンチェンジの判定を行う。これによって、当該フレームの画像の性質を反映させた符号量制御が可能になる。
【００５２】
4-1.パラメータ更新
各マクロブロックの符号化処理終了ごとに、当該フレームにおける当該マクロブロックまでの符号量Ｒｆ(Ｃ)の更新を下記式(25)によって行う。ただし、Ｒｆ(Ｃ)の初期値は０とする。
Rｆ(C)＝Rｆ(C)＋r(C,C′ｎ,Q(C,C′ｎ)) (25)
【００５３】
ここで、Ｃ′ｎ、r(Ｃ,Ｃ′ｎ,Ｑ(Ｃ,Ｃ′ｎ))はそれぞれ、選択がなされたマクロブロックタイプ、当該マクロブロックにおける符号量を表す。この更新終了後、当該マクロブロックに対して、Ｑ値をｑ＝0,・・・,51に変化させることによって仮符号化を行い、符号量および歪み量の合計値Ｒ(Ｃ,Ｃ′ｎ,ｑ)、Ｄ(Ｃ,Ｃ′ｎ,ｑ)を下記式(26)、(27)によって更新する。
R(C,C′ｎ,q)←R(C,C′ｎ,q)＋r(C,C′ｎ,q) (26)
D(C,C′ｎ,q)←D(C,C′ｎ,q)＋d(C,C′ｎ,q) (27)
【００５４】
ただし、ｒ(Ｃ,Ｃ′ｎ,ｑ)、ｄ(Ｃ,Ｃ′ｎ,ｑ)はそれぞれ、当該マクロブロックにおいてＱ値をｑとしたときの符号量、歪み量を表す。
【００５５】
最後に、マクロブロックタイプの発生回数Ｔ(Ｃ,Ｃ′ｎ)を下記式(28)によって更新する
T(C,C′ｎ)←T(C,C′ｎ)＋1 (28)
【００５６】
4−2.シーンチェンジ判定
動画像中にシーンチェンジが存在する場合、その前後のフレームにおける画像の性質が大きく異なる。これに対しても適切なレート制御を可能にするためには、シーンチェンジの判定を行い、シーンチェンジが存在した場合には以下に説明する処理を行えばよい。
【００５７】
シーンチェンジの発生は、例えば、以下のようにして判定できる。シーンチェンジの直後の画像の性質として、前フレームとの間の相関が低くなるため、イントラ符号化の割合が増加する。そこで、以下の２つの条件(1)、(2)を共に満たした場合にシーンチェンジが発生したと見なすことができる。
条件(1):当該ピクチャにおける符号化済マクロブロックの割合が定数Ｔｈ(ＭＢ)(例えば1/8)を超えている。
条件(2):当該ピクチャにおける符号化済マクロブロックのうち、イントラ符号化の割合が一定値Ｔｈ(ＩＴ)(例えば3/4)を超えている。
【００５８】
シーンチェンジと見なされた際には、当該フレームの符号化が終了した後、つまり 後述する「5.フレーム符号化終了後のパラメータ更新(S26)」で以下の処理(1)、(2)を行い、ｉ＋１フレーム目以後ＰピクチャもしくはＢピクチャがシーンチェンジ後にシーンチェンジ先頭を除き符号化がなされない場合においては、Ｑ値を初期値Ｑｄとして符号化を行う。
処理(1):ＲＳの再定義−シーンチェンジ直後の目標符号量Ｒ(Ｃ)の予測は困難であるため、上記式(5)、(6)を適用させる。
処理(2):R-D関数の代入−シーンチェンジ直後のピクチャにおける全マクロブロックの符号化が終わった後、当該GOP内のＩピクチャにおけるマクロブロック発生割合Ｔ(ｋ(Ｃ),ｎ)、ビットレートＲ(ｋ(Ｃ),ｎ,ｑ)、および歪み量Ｄ(ｋ(Ｃ),ｎ,ｑ)を下記式(31)、(32)、(33)によって更新する。
T(k(C),n)＝T(C,n)×(ｎａｌｌ/nｉ(C)) (29)
R(k(C),n,q)＝R(C,n,q)×(ｎａｌｌ/nｉ(C)) (30)
D(k(C),n,q)＝D(C,n,q)×(ｎａｌｌ/nｉ(C)) (31)
【００５９】
ここで、ｋ(C)は、当該GOP内のＩピクチャを表し、ｎｉ(C)は、当該フレームにおけるイントラマクロブロックの発生回数を表す。
【００６０】
5.フレーム符号化終了後のパラメータ更新(S26)
フレーム内のマクロブロックの符号化が全て終了した後、下記式(32)をｍ(m∈i−NＧ＋1,i−NＧ＋2,・・・,i−1)に対して適用させることによって、符号量、歪み量、および発生回数の代入を行う。この処理によって先頭GOPやシーンチェンジを含むGOPなどにおいても適切な符号量制御が可能になる。ただし、シーンチェンジ直後のフレームにおいては該フレームの信頼性が低いと考えられるので、この処理は行わないこととする。
R(m,n,q)←R(C,n,q)
D(m,n,q)←D(C,n,q)
T(m,n)←T(C,n)
if F(C)＝F(m)and(m≦s(C)) (32)
【００６１】
ここで、ｓ(Ｃ)は直前に発生したシーンチェンジ(初期値は０)におけるフレーム番号とする。
【００６２】
本発明は、携帯向けの地上波デジテル放送などのH.264符号化を伴う映像伝送システムに適用することができる。例えば、広告のシーンチェンジなどを含む携帯向け放送サービスにおいて、画質劣化が少ない符号化を実現でき、これによって視聴者側においてもストレスの少ない映像の受信が可能になる。また、ADSL環境などの比較的中規模な帯域を主眼とした動画像の提供環境において、画質劣化が少ない映像を提供することが可能となるため、FTTH環境が整備されていない地域における動画像コンテンツの配信が可能になる。
【図面の簡単な説明】
【００６３】
【図１】H.264の符号化参照ソフトＪＭに従う符号化手順を示すフローチャートである。
【図２】本発明に係る動画像符号量制御方式における処理を示すフローチャートである。
【図３】本発明におけるＱ値設定の概念図である。
【図４】GOPの例を示す説明図である。
【図５】ストリーム内における符号化対象フレームを示す説明図である。
【図６】Ｑ値に従った各マクロブロックの目標歪み量の定義を示す説明図である。
【符号の説明】
【００６４】
１・・・符号化済マクロブロック、２・・・符号化対象マクロブロック、３・・・未符号化フレーム、４・・・ＳＯＰ
【特許請求の範囲】
【請求項１】
局所的なフレーム群に対する目標符号量を設定する目標符号量設定手段と、
符号量−歪み量特性を元に符号化対象マクロブロックにおける量子化パラメータを設定する量子化パラメータ設定手段と、
前記量子化パラメータ設定手段で設定された量子化パラメータを用いて符号化対象マクロブロックが符号化処理された後に該符号化処理の結果に従って前記符号量−歪み量特性のパラメータを更新して次のマクロブロックに対する量子化パラメータに反映させる第１の量子化パラメータ更新手段と、
当該フレームの全マクロブロックが符号化処理された後に該符号化処理の結果に従って前記符号量−歪み量特性のパラメータを更新して前記目標符号量設定手段での目標符号量に反映させる第２のパラメータ更新手段とを備えることを特徴とする動画像符号量制御方式。
【請求項２】
前記符号量−歪み量特性は、マクロブロックタイプ別に符号量と歪み量が集計されたものであることを特徴とする請求項１に記載の動画像符号量制御方式。
【請求項３】
前記符号化対象マクロブロックが符号化処理された後にシーンチェンジが存在するか否かを判定するシーンチェンジ判定手段を備え、
前記第２のパラメータ更新手段は、前記シーンチェンジ判定手段によるシーンチェンジが存在すると判定された場合には前記符号量−歪み量特性のパラメータを初期化して前記目標符号量設定手段での目標符号量に反映させることを特徴とする請求項１に記載の動画像符号量制御方式。
【請求項１】
局所的なフレーム群に対する目標符号量を設定する目標符号量設定手段と、
符号量−歪み量特性を元に符号化対象マクロブロックにおける量子化パラメータを設定する量子化パラメータ設定手段と、
前記量子化パラメータ設定手段で設定された量子化パラメータを用いて符号化対象マクロブロックが符号化処理された後に該符号化処理の結果に従って前記符号量−歪み量特性のパラメータを更新して次のマクロブロックに対する量子化パラメータに反映させる第１の量子化パラメータ更新手段と、
当該フレームの全マクロブロックが符号化処理された後に該符号化処理の結果に従って前記符号量−歪み量特性のパラメータを更新して前記目標符号量設定手段での目標符号量に反映させる第２のパラメータ更新手段とを備えることを特徴とする動画像符号量制御方式。
【請求項２】
前記符号量−歪み量特性は、マクロブロックタイプ別に符号量と歪み量が集計されたものであることを特徴とする請求項１に記載の動画像符号量制御方式。
【請求項３】
前記符号化対象マクロブロックが符号化処理された後にシーンチェンジが存在するか否かを判定するシーンチェンジ判定手段を備え、
前記第２のパラメータ更新手段は、前記シーンチェンジ判定手段によるシーンチェンジが存在すると判定された場合には前記符号量−歪み量特性のパラメータを初期化して前記目標符号量設定手段での目標符号量に反映させることを特徴とする請求項１に記載の動画像符号量制御方式。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−９４３４７（Ｐ２００６−９４３４７Ａ）
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願番号】特願２００４−２７９９３９（Ｐ２００４−２７９９３９）
【出願日】平成１６年９月２７日（２００４．９．２７）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願日】平成１６年９月２７日（２００４．９．２７）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]