ビデオ品質の測定
圧縮されたビデオ信号の品質の基準は、元の圧縮されていないバージョンとは無関係に得られるが、符号化された画像パラメータから直接的に作り出され、それにより前記圧縮済み信号を復号する必要性を回避する。第1の基準は量子化器ステップサイズから作り出され(3)、第2の基準は、ただ1つの変形係数NCを有するピクチャ内のブロック数の関数として作り出される(10、11)。前記2つの基準は414で結合される。空間マスキング効果または時間マスキング効果を補償するために、前記ステップサイズに基づいた基準に対して調整が加えられてよい。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はビデオ品質の測定に関し、さらに詳細には、歪みがない元のピクチャのコピーに無関係な画質の評価に関する。
【発明の開示】
【課題を解決するための手段】
【0002】
本発明のある態様に従って、可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のために品質の基準を作り出す方法が提供され、その結果前記符号化された信号は量子化器ステップサイズパラメータ、及び前記ピクチャのブロックの場合、変形係数を含み、前記方法は、
a)前記量子化器ステップサイズパラメータの関数である第1の品質基準を作り出すことと、
b)単一の変形係数を有するブロックの数の関数である第2の品質基準を作り出すことと、
c)前記第1の基準と前記第2の基準を結合することと、
を備える。
【0003】
別の態様では、本発明は、可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のための品質の基準を作り出すための装置を提供し、その結果前記符号化された信号は量子化器ステップサイズパラメータ、及び前記ピクチャのブロックの場合、変形係数を含み、前記装置は、
a)前記量子化器ステップサイズパラメータの関数である第1の品質基準を作り出すための手段と、
b)単一の変形係数を有するブロックの数の関数である第2の品質基準を作り出すための手段と、
c)前記第1の基準と第2の基準を結合するための手段と、
を備える。
【0004】
本発明の他の態様は請求項の中に定められる。
【0005】
ここで本発明のいくつかの実施形態が、添付図面を参照して例証として説明される。
【発明を実施するための最良の形態】
【0006】
原則的には、使用される測定プロセスは、変形符号化を使用し、可変量子化器ステップサイズを有する圧縮技法を使用して符号化されたビデオ信号に、概して適用可能である。しかしながら、記述されるバージョンはMPEG−2規格に従って符号化された信号と使用するために設計されている。(記述される前記バージョンはMPEG−2ビデオコーデックに基づいているが、それはH.261、H.263、MPEG−4(フレームベース)等の他のDCTベースの規格のコーデックも適用する。)
前記測定方法は非侵入型または「非参照(no−refereence)」型である。つまり、それは元の信号のコピーにアクセスできる必要がない。さらに、それは前記受信された信号をビデオ信号に復号する必要なくこの測定を実行することを目的とする。むしろ、それは受信されたMPEGストリームの中に含まれるパラメータを活用する。
【0007】
図1に図示されている装置では、入信信号は入力1で受信され、VLCデコーダ、及び可変長コードを復号し以下のパラメータを出力するデータパーサ2に移動する。
【0008】
(a)ピクチャごとに:
ピクチャ型PT(=I、PまたはB)
(b)ピクチャが分割されるマクロブロック(MB)ごとに:
マクロブロック型MT(例えば、INTRA(内部)またはINTER(相互)、省略済み、符号化されていない等)
量子化器ステップサイズQ
(c)マクロブロック内のブロックごとに:
係数の数Nc
係数C
運動ベクトルMV
装置には、それぞれ信号のピーク信号対雑音比(PSNR)及び信号の「ブロック歪み(ブロック歪み)」を推定するのに役立つ、2つの分析経路がある。要素3から14は、個々のハードウェア要素により実現できるであろうが、さらに便利なインプリメンテーションは適切にプログラミングされたプロセッサを使用して全てのそれらの段階を実行することである。
【0009】
(PSNR推定)
これは量子化器ステップサイズQを利用する。(後述される)いくつかの調整の後、以下に従って推定されたPSNRを計算するために、調整されたステップサイズQMが3で使用される。
【数1】
【0010】
この方程式の、及びさらに精密な代替策の導出が、以下に示される。
【0011】
調整は、3つの段階からなる。
【0012】
段階4:Bピクチャの量子化器ステップサイズは1.4での除算により調整される。
【0013】
段階5:量子化器ステップサイズは、各ブロックのゼロ以外の係数Ncの数をカウントし、Xの値を以下のように割り当てる(段階6)ことにより生成される、空間複雑度係数Xを利用して、空間マスキング効果を考慮に入れるために調整される。
【数2】
【0014】
次に、調整された値Qxは(5で)、
【数3】
【0015】
のように計算される。
【0016】
この点で、フレーム全体でこれらの値を合計するためにこの機会が利用されることにも留意されたい。
【0017】
次に、時間マスキングを考慮に入れるための追加の調整がある。フレーム全体で平均化される(ブロックタイプについて調整される。詳細については以下を参照されたい)運動絶対値(magnitude)Vを引き出すために、運動ベクトルが使用される(段階8)。
【0018】
調整されたQは次に(段階9)、
【数4】
【0019】
である。
【0020】
前記PSNR計算のために前記に示された式が、量子化器ステップサイズのために均一な確率分布関数を仮定することに留意されたい。これはINTRAブロックのDC係数にとって妥当な仮定であるが、他の係数にとってはあまり正確ではない。不均等確率分布のための代替式は以下の説明(方程式(7))で引き出される。つまり、これが使用される場合には、好ましくはpdfのパラメータαが、フレームの型(I、PまたはB)に従って切り替えられる。(INTRAブロックの前記DC係数が少数であることに基づき)全ての係数について方程式7を使用することを好み、これが実際には優れた結果を出すことが判明することに留意されたい。両方の分布の使用を希望すると、段階5でフレーム全体で合計することを回避し、さまざまなpdfとQ値を結合することを考慮に入れるであろうPSNRのための式を使用することが必要になるであろう。
【0021】
(ブロック歪み推定)
この最も簡略な形式は、INTRA符号化済みマクロブロック内では、ただ1つの係数を有するブロックによりピクチャ内に濃淡のむらがある外観が引き起こされるという事実を利用し、この基準を満たすフレーム内のブロックのパーセンテージを計算することである。
【0022】
したがって、段階10では、各ブロックはb=1(むらがある)またはb=0(むらがない)として記され、次に(段階11)このようなブロックの数NDCが符号化されたブロックの総数NTでのように数えられ、指数B=NDC/NTが計算される。
【0023】
強化されたブロック歪み基準は、全ての係数がゼロであるINTER符号化されたブロックも、(デコーダがそこからコピーする)初期ピクチャがこの位置でむらがある場合にブロック歪みを生じさせるという事実を考慮に入れる可能性がある。したがって、段階10も(この持続時間が、例えばPフレームごとに2つのBフレームを備えるMPEGの場合に変化する前記初期のフレームと符号化されたフレームの間の遅延に相当し、それは3フレーム期間となるであろう)遅延を介してbという過去の値を受け取る可能性がある。
【0024】
このケースでは、段階10の式は以下のようになる。
【0025】
(MT=INTRAかつN=1)または(MT=INTERかつN=0かつb−1=1)の場合には、THENb=1である。
【0026】
それ以外の場合b=0である。
【0027】
(ここではb−1は、同じブロック位置のbの過去のフレーム値である)
(結合)
PSNR基準とブロック歪み基準を結合するためには、最初にこれらの基準を同じスケールでの測定値に変換することが必要である(段階12、13)。これを行うための便利な方法とは、PSNRまたはBの考えられる範囲を等しいステップに分割する、あるいは代わりに鑑賞(viewing)試験に基づいた経験的表を用いるかのどちらかで、複雑度基準Xのために使用されるような変換表を使用して、前記基準を、例えば0から9(0=不可、及び9=可)の任意のスケールでの基準MQ及びMBに変換することである。
【0028】
同じスケールで前記2つの基準MQ及びMBを取得すると、それらは単一の基準に結合される。これが行われる根拠は、ある特定のフレームの強力なブロック歪みの場合には、段階14からの出力基準Mはブロック歪み基準MBにすぎないということである。他方、ブロック歪み基準が低い場合には、出力基準MOはPSNR基準MQである。
【0029】
例えば、
【数5】
【0030】
(説明)
以下の説明は、前述した方法の背後にある理論的根拠を説明し、方程式及び何らかの実験結果の導出を行い、いくつかの修正案及び改善策を説明する。
【0031】
本研究は、参照なしに、必要とされるデータを圧縮されたビットストリームからどのようにして抽出し、ビデオ品質測定基準(VQM)として使用できるかを明示することを目的とする。VQMの最も重要なパラメータが、マクロブロック(MB)ごとに抽出できる量子化器ステップサイズであることが示される。人間の視覚系を含むために、この値は空間−時間画像コンテンツで修正される。ここでは、前記空間コンテンツは符号化されたMBのAC係数の数から引き出され、時間活動は運動ベクトルから引き出される。コントラスト感度を考慮するためには、ピクチャ内で、INTRA符号化されたブロックのDC係数も使用されてよい。最後に、激しい歪みのケースでは、主要な歪みであるピクチャブロック歪みが抽出できる。これは、符号化されたブロック全体で、ブロックの中の唯一のゼロ以外の係数として、DCを有するINTRA符号化ブロックのパーセンテージを取ることによって行われる。この値は、検出の信頼性を高めるために、省略されたMB及び符号化されていないMBの数で修正される。これらは全て前記圧縮されたビットストリームから抽出される。
【0032】
現在、ビデオ品質の客観的な測定は、以下の3つの主要なカテゴリの元で実施される。つまり完全(full)参照モデル、削減(reduced)参照モデル、及び非(no)参照モデルである。非参照モデルは他の2つより簡略となる大きな可能性があり、参照データ(完全または削減のどちらか)に対するアクセスが高価である、あるいは不可能であるネットワーク全体での品質の評価または監視のために使用される可能性が高いと考えられる。したがって、この評価精度を犠牲にせずに非参照モデルの処理複雑度をどのようにして削減できるのかを確かめることはきわめて重要である。
【0033】
非参照モデルの複雑度を簡略化する1つの方法とは、ピクチャを完全に復号することなくビットストリームから直接的にモデルパラメータを抽出することである。事実上、現在の非参照モデルの大部分は、必要とされるモデルパラメータを抽出するために、復号されたピクチャに作用する。したがって相対的な簡略さの程度、つまり非参照モデルのこれら2つの方法の処理効率は、それぞれの方式の下で必要とされる個々の処理操作量である。
【0034】
一般的には、非参照モデルパラメータは、運動、空間詳細または文脈上の詳細、端縁、コントラスト感度等を含む。これらのそれぞれを復号されたピクチャから生成するには、大きな処理が必要になる場合がある。例えば、エンコーダでの運動ベクトルの推定は、通常、エンコーダの処理能力の約60%を要する(速度の基準としては1つのモードだけで十分であるが、エンコーダが種々の運動推定モードを試験する可能性があり、したがって前記パーセンテージは60%未満となる場合があるが、依然として高い場合があることに留意されたい)。ビデオエンコーダがビデオデコーダより3倍から5倍多くの処理を要求していることを考えると、運動の推定だけでピクチャを復号するより2−3倍多くの処理を必要とする場合があると言うことができる。したがって、復号されたピクチャでの非参照モデルパラメータ(例えば、運動、空間または文脈上の詳細、端縁、コントラスト感度、ブロック歪み)の導出は、ピクチャの復号より数倍(例えば5倍)多くの処理を要求する場合がある。正確な比率は、これらのそれぞれのインプリメンテーションがどれほど複雑である可能性があるのかに依存する。
【0035】
他方、ビットストリームからモデルパラメータを導出することは、必要とされている情報がすでにビットストリームの中に埋め込まれていることを考慮すると、ピクチャを復号するために必要とされる処理の一部分に過ぎない。ここで、必要とされるのは、ピクチャを復号することの非常に微小な一部分である逆VLC(テーブルルックアップを使用して非常に高速)である。したがって復号されたピクチャから導出されるものと比較して、ビットストリームからモデルパラメータを抽出する複雑度は非常にごくわずかであり(例えば5%から10%、あるいはさらに低い)、前記提案されている方法は限界費用でのビデオ品質のオンライン監視のために使用できる。
【0036】
画質評価のための完全参照モデルでは、多くの場合符号化歪みまたはピーク信号対雑音比(PSNR)が使用される。PSNRが画像品質(歪み)の人間の認知を正確に表していないと主張することはできるが、それにも関わらずそれは非常に強力な指標である。事実上、全ての既知の完全参照モデルは、何らかの形で、いくつかの他の知覚的に最適化されたパラメータを引き出すために元の画像と処理済みの画像の差異(歪み)を使用する。
【0037】
ここで、PSNRが品質の指標であると仮定する場合には、問題は、参照ピクチャを使用しない非参照モデルでは、どのようにしてそれを品質(歪み)の基準として使用できるのかという点である。PSNRがどのように定義されるのかを見ると、これを行うことができることが明らかになる。
【0038】
完全参照モデルでは、PSNRは以下のように定義されている。
【数6】
【0039】
この方程式の中で、ε2は元のピクチャと処理済みのピクチャの間の二乗平均誤差である。符号化歪みが単に(ビデオ符号化のケースである)量子化歪みのためだけである場合には、二乗平均誤差、ε2、および量子化器ステップサイズQの間に直接的な関係がある。例えば、量子化器ステップサイズQで均一に分散される信号の場合、平均二乗量子化歪みは図2に図示されるとおりであり、ここで(a)は量子化歪みの分散を示し、(b)は量子化された範囲内での係数の確率密度関数を示す。
【0040】
平均歪みは以下のように計算される。
【数7】
【0041】
このようにして、量子化器ステップサイズQで言うと、(dB単位の)PSNRは以下のように定義できる。
【数8】
【0042】
ビデオコーデックでは、量子化は変形係数に適用されるが、測定済みの歪みは元のピクセルと復号されたピクセルの間であることに留意されたい。しかしながら、DCT変形は線形演算子であるため、パーセバルの定理のために、変形領域及びピクセル領域におけるエネルギーは等しい(これは、順方向変形及び逆方向変形での変形係数のスケーリングに応じて、定数因子により変化する場合がある)。
【0043】
図3は、測定済みのPSNRを、毎秒2Mbitで試験シーケンス「New York(ニューヨーク)」について方程式(1)を使用して(つまり均一のpdfを仮定して)量子化器ステップサイズから計算されるPSNRと比較する。分かるように、モデルの非常に大雑把な見積もりにも関わらず、計算されたPSNRは測定されたPSNRに非常に緊密に近似する。しかしながら、測定されたPSNRは安定し、円滑であるが、計算されたPSNRはアンカー(I、P)ピクチャとB−ピクチャの値の間で揺れる。この挙動を分析するために、図4は、さらに細かいスケールで前記シーケンスの2、3のフレームを示している。この図は、Bピクチャについて、計算されたPSNRが測定された値未満であり、Pピクチャ及びIピクチャについては逆であることを示している。差異は、毎秒1.5Mbitでの同じシーケンスについての、図5及び図6に図示されるようなさらに大きな量子化器ステップサイズ(さらに低いビットレート)の場合、さらに大きくなる。
【0044】
言うまでもなく、2つの方法が正確に等しい値を示さなければならないことは期待されていない。しかしながら、Bピクチャの計算済みのPSNR値が、それらの測定済みの値はほぼ等しいが、Iピクチャ及びPピクチャの計算済みのPSNR値よりも少ない理由は2つの要因のためである。第1に、係数についての均一な量子化歪みの仮定は正しくない。ほぼ均一なpdfを有する唯一の係数はINTRA符号化されたブロックのDC係数である。したがって、不均等な振幅分布を有するIピクチャのAC係数の場合でさえも、方程式(1)は有利に、1/Qという均一な分布よりむしろ既知の不均等な密度関数f(x)で修正できるであろう。
【0045】
係数の分布は不均等であるが、不均等の程度はピクチャ型ごとに変わることに留意されたい。効率的な運動補償の結果のBピクチャでは、分布は非常に急勾配であり、係数の大部分はゼロに近い。好ましくはこれも考慮に入れる必要がある。
【0046】
第2に、エンコーダでは、Bピクチャの量子化器ステップサイズは2つの理由から慎重に増加される。第1に、分かるように、Bピクチャは効率的に運動補償されるため、それらは、量子化器ステップサイズの値が何であれ、通常小さい。しかしながら、それらが符号化されるには大きい場合には、それらが相対的に粗く量子化されていても変わりはない。第2の理由は、Bピクチャはエンコーダの予測ループによって使用されないため、たとえそれらがひずんでいようとも、この歪みは続くピクチャの中に広がらないという点である。これは、この粗い量子化によるビットの任意の節減が後に返されなければならないIピクチャ及びPピクチャでは当てはまらない。
【0047】
ここで、不均等な密度関数を仮定する推定されたPSNRの計算を考える。量子化のための実際の二乗平均誤差は以下のとおりでなければならない。
【数9】
【0048】
この積分の解決済みの解を導出するために、係数が、図7に描かれる以下の型の不均等分布を有すると仮定する。
【数10】
【0049】
αが密度関数の崩壊速度であり、βが重み係数である場合、pdfが単一性に正規化されることを確認する。すなわち、
【数11】
【0050】
したがって、βはαという点で以下のように検出できる。
【数12】
【0051】
その結果、
【数13】
【0052】
となる。
【0053】
この不均等なpdfを用いると、二乗平均誤差は、
【数14】
【0054】
である。
【0055】
整数は、αx=uとすることにより簡略化でき、この場合、
【数15】
【0056】
簡略な操作及び積分後、それは、
【数16】
【0057】
となり、積分限度及び方程式(4)からのβの値を代入すると、二乗平均歪みは、
【数17】
【0058】
となり、この歪みのあるPSNRは、
【数18】
【0059】
となる。
【0060】
図8は、毎秒1.5MbitでのNew Yorkシーケンスについて、PSNRを均一な密度関数と比較するだけではなく、この新しいPSNRを測定された値とも比較する。この図では、全てのピクチャ型に、理想的な選択肢ではないα=1が仮定されるが、簡単にする目的でこれが選ばれた。現実には、αは異なるピクチャ型について別に、それぞれの型について測定されたPSNRに適合するために選ばれなければならない。また、それはさらに低いビットレートの場合大きくなくてはならない(さらに大きな予想量子化器ステップサイズ)。
【0061】
図9はさらに細かいスケールでPSNRを示す。分かるように、優れた適合にも関わらず、依然としてある程度の振幅がある。すなわち、計算されたBピクチャのPSNRは、Pピクチャ及びIピクチャと比較してある程度の落下がある。
【0062】
この振幅は、エンコーダが、Iピクチャ及びPピクチャの量子化器ステップサイズに比べて、Bピクチャについてさらに大きな量子化器ステップサイズを選ぶという事実のためである。これは、1.4という係数でBピクチャにさらに少ないビットを割り当てるために、複雑度インデックスを通してエンコーダのビットレート割り当てアルゴリズムに実現される。したがって、割り当てられたビットは1.4で削減されるため、Bピクチャの量子化器ステップサイズ、QBはこの係数で累乗される。したがって、PSNR計算では、図1のステップ4についてすでに説明されたように、それらを1.4で除算する(QBが112というこの飽和値に達した場合には、この低い画質では、Iピクチャ及びPピクチャの量子化器ステップサイズも飽和した可能性があるため、除算するべきではないことに留意されたい)。
【0063】
図10は、測定された値と対照して、不均等分布のPSNRを、修正されたBピクチャ量子化器ステップサイズに比較する。分かるように、PSNRはここでははるかに円滑であり、さらに細かいスケールでのこの変動は図11に図示されている。
【0064】
したがって、ここまで、量子化器ステップサイズが、参照モデルにおける二乗平均誤差(PSNR)と類似するように作用できることを示した。さらに信頼できる品質測定基準であるためには、二乗平均歪みは人間の視覚系の応答を考慮に入れる必要があると考えられるため、非参照モデルも考慮に入れるべきである。以下では、非参照モデルのための必要とされるパラメータを、圧縮されたビットストリームからどのようにして抽出できるのかを示す。
【0065】
視聴者は、ピクチャの詳細な領域または端縁近くでのより多くの歪みに耐える。これは人間の視覚系の空間マスキングとして知られている。したがって、これらの領域での画質に対する量子化器ステップサイズの影響は、空間的な詳細の量だけ、削減できる。
【0066】
ピクチャ詳細、つまり空間的な複雑度もビットストリームから導出できる。これはビットストリーム内の符号化されたブロックあたりのゼロ以外の量子化済み係数の数をカウントすることにより行うことができる。これは、ピクチャ内の空間的な詳細が高いほど、画像エネルギーは係数の間でより分散されるためである。
【0067】
水平の端縁、垂直の端縁及び対角線の端縁も、これらの方向のそれぞれでの量子化されたゼロ以外の係数の大半を検査することにより決定できる。
【0068】
この方法はある程度まで信頼できるが、より高い量子化器ステップサイズではこれの長所を失うことが言及されなければならない。しかしながら、さらに高い量子化器ステップサイズでは、ピクチャはむらがあるようになり、ピクチャのブロック歪みは後述される主要な品質(歪み)指標となるため、ビデオ品質測定基準の場合、これは重要ではない。
【0069】
実験では、ゼロ以外の符号化された係数の数から導出された空間複雑度係数Xで、マクロブロックあたりの量子化器ステップサイズQを除算した。例えば、ジグザグ走査順序でのブロックあたりのゼロ以外の係数の数がそれぞれ3、6、10または15未満である場合、Xは1、1.2、1.4及び1.6で、それ以外の場合1.8となる場合がある(これは近似である。つまり、INTRA MBでは、INTER MBよりブロックあたりさらに多くの係数が符号化されるため、適切な値を検出するさらに精密な手法では、MB型が考慮に入れられるであろう。)したがって、いままでのところ、ピクチャのための品質測定基準はこのピクチャ内のこの修正された量子化器ステップサイズの平均である。
【数19】
【0070】
ピクチャの表示品位とピクチャあたりのQxの本発明者らの大雑把な主観的な比較は非常に強力な相関を示す。これは、ピクチャあたりQxのグラフに対照して、符号化されたフレームを指すポインタ(残念なことにそれはIピクチャだけを示している)を用いて符号化されたビデオのセグメントを実行することにより行われた。
【0071】
空間マスキングと同様に、ひずんだオブジェクトの運動は、運動量(時間マスキング)に応じてさまざまな外観を有する。ビットストリーム中の運動ベクトルは、ピクチャ内での運動のための測定の基準として抽出、使用できる。マクロブロック(MB)ごとに以下のように定義される運動絶対値を使用し、
【数20】
【0072】
次に、ピクチャあたりの運動量の表示として使用されるフレーム全体でそれらを平均した。ビットストリームから運動絶対値を導出する上で、ピクチャ型を考慮して注意を払う必要がある。例えば、Pピクチャの中の運動ベクトルは過去のアンカーピクチャを指すため、それらの絶対値は3で除算されなければならない(M=3、N=12のGoPフォーマットを使用した。つまり、アンカーピクチャは3個の離れたフレームであり、Iピクチャの期間は12フレームである)。Bピクチャでは、B1ピクチャの場合、順方向運動ベクトルが直接的に使用されるが、逆方向運動ベクトルの絶対値は2で除算される必要がある。逆はB2ピクチャに当てはまる。言うまでもなく、Iピクチャのための運動ベクトルはないであろうが、これはIピクチャがいかなる運動も有さないことを意味するのではない。
【0073】
実験では、シーケンスの移動指標として、単にPピクチャから導出された運動絶対値を使用した。運動の変化がフレームの速度よりはるかに低速であり、Pピクチャの運動絶対値(that)がシーケンス内の他のフレームにも使用できるため、これは適切に作用する。シーンカットでは、Pピクチャのためのいかなる運動ベクトルもないであろうことに留意されたい。したがって、ビットストリームからシーンカットを検出する方法はきわめて望ましい。これを以下に説明する。
【0074】
運動値を検出すると、問題は、ビデオ品質測定基準を修正するためにそれをどのように使用できるかである。それがどのように使用されるのかを確かめる最善の方法は、完全参照モデルにある。本発明者らの実験では、運動の強さに従って歪みの影響を削減する単純なモデルを使用した。ブロック歪み及び端縁での歪みのような特定の歪みは、例えば中間速度よりさらに高速でさらに可視となる可能性があるために、これは最適モデルではない。
【0075】
本発明者らのモデルでは、量子化器ステップサイズ、空間マスキング及び時間マスキングを考慮すると、これまで品質測定基準QMは以下のように定義され、
【数21】
【0076】
ここではQxはフレームあたりの空間的に修正された平均量子化器ステップサイズであり、Vはフレームあたりの運動の絶対値である。
【0077】
図12に示されている毎秒1Mbit、毎秒1.5Mbit及び毎秒2Mbitで「Scorpion(さそり)」シーケンスの品質測定基準(QM)曲線に対してビデオのセグメントを実行すると、強力な相関が示される。
【0078】
視聴者は、中間範囲においてよりも、ピクチャのさらに暗い領域及びさらに明るい領域において、より大きな歪みに耐えることができる。これは、人間の視覚系のコントラスト感度として知られている。したがって、フレーム内のピクセルの平均強度は、品質測定基準指標を修正し、コントラスト感度を補償するために使用できる。
【0079】
各INTRA符号化ブロックのDC係数は、DCつまりこのブロックの中の量子化されたピクセルの平均値を表す。したがって、全てのブロックが内部符号化されているIピクチャのDC係数を抽出すると、Iピクチャの全体的な強度を示すことができる。言うまでもなく、それらが主に予測的に符号化されるため、これはPピクチャ及びBピクチャには適用できない。しかしながら、運動のように、ピクチャの暗さは高速で変化しないため、Iピクチャの暗さはピクチャのグループ(GoP)内のピクチャ全体を表すのに十分である可能性がある。
【0080】
Iピクチャ内のDC値を抽出することはある程度注意深く行う必要があることに留意されたい。事実は、多くの場合、DC係数がそれらの近隣DC値から空間的に予測され、したがってそれらは適切に復号される必要がある。しかしながら、これは係数を逆変形することを意味するのではなく、それらの予測されるDC係数に追加することを意味する。
【0081】
ここで「ブロック歪み」の検出を見ると、低ビットレートでは、あるいはさらに大きな量子化器ステップサイズでは、ピクチャはむらになる。量子化器ステップサイズはピクチャブロック歪みに関与しているが、それは直接的にブロック歪み指標として使用することはできない。例えば、ピクチャの単調な領域では、いくつかの小さな量子化器ステップサイズがピクチャブロック歪みを示してよいが、詳細な領域では、たとえいくらかのピクチャ詳細が失われることがあっても、なおほどよく大きな量子化器ステップサイズはいかなるブロック歪みも示してはならない。
【0082】
圧縮されたビットストリームが、ピクチャにむらがあるかどうかを示すためには、なぜピクチャがむらになるのかを理解しなければならない。
【0083】
一般的には、ピクチャブロック歪みはMB型に依存している。マクロブロックがINTRA符号化される場合、そしてDC係数がこのブロックの唯一のゼロ以外の係数である場合には、このような復号されたブロックはむらがあるように見える。これは、ブロックの8×8=64ピクセル全てが単一の値(DC)から再構築され、全てが等しくなるためである。他方、さらに多くの係数が符号化される場合には、ブロック内のピクセル値は互いと異なり、ブロックはむらがあるように見えない。したがって、ブロックがDC係数だけを有し、全てのAC係数がゼロであるならば、全てのピクチャ型のINTRA符号化されたブロックがブロック歪みにつながることがある。
【0084】
ただ1つのDC係数のある(Pピクチャ及びBピクチャの)INTER符号化ブロックがブロック歪みを引き起こさないことに留意されたい。これは、予測ブロックがむらでないならば、このブロックのための再構築されたフレーム差異が、それらの予測に追加されるときに等しい値を有しているとしても、再構築されるピクセルはむらがあるように見えないためである。ブロック歪みは他のMB型でも作成されてよい。言うまでもなく、これはピクチャに依存している。例えばPピクチャでは、符号化されていないMBは全ての係数をゼロに設定させる(cbp=0)が、運動ベクトルはゼロ以外である。この場合、デコーダにおいて、MBの全ての16×16ピクセルが過去のフレームからコピーされ、運動ベクトルにより変位される。運動ベクトルの値及び方向はフレームごとに変化するため、この種のブロック歪みは前述されたものよりは不穏ではないが、これらのブロックのコピーは、ピクチャをむらがあるように見せるMB境界の周りにいくつかの端縁を生じさせる。
【0085】
Pピクチャでは、省略されたMBもブロック歪みにつながる可能性がある。これらのピクチャでは、MBの中で量子化された係数の全てがゼロ(cbp=0)であり、運動ベクトルもゼロである場合、(符号化されていないとして処理されるであろうスライス内の最初のMB及び最後のMBを除き)MBは省略される。デコーダはこれらのMBに対して処置を講じず、したがってピクチャのこれらの部分は更新されない(過去のフレームからの直接的なコピー)。したがって、この位置での過去のピクチャにむらがある場合、それは現在のピクチャに転送される。
【0086】
Bピクチャでは、符号化されていないMB及び省略されたMBはPピクチャのそれらとは異なる。このピクチャ型では、省略されたMBはcbp=0を有するだけではなく、これの隣接するMBの同じ運動予測も有さなければならない(運動及び予測の方向の同じ値)。したがって、この種の復号されたMBは、何らかの運動ベクトルにより変位される過去のフレームからMBの16×16ピクセルをコピーし、したがってブロック歪みを生じさせる。Bピクチャ内の符号化されていないMBはcbp=0のものであるが、予測の方向またはこれの運動ベクトルはこのじかに隣接するMBと同じではない。したがって、符号化されていないMBもブロック歪みにつながることがある。
【0087】
ゼロ以外の符号化されたブロックパターン(cbp)のMBの符号化されていないブロック(全ての係数がゼロであるブロック)も、ブロック歪みにつながることがあることに留意されたい。これは、これらのブロックの場合、過去のフレームからのピクセルがコピーされるためであり、運動ベクトルがフレームごとにさまざまな方向で指す場合、あるいは過去のブロックにそれ自体むらがあるときには、それらはむらがあるように見える場合がある。
【0088】
要約すると、全ての型のマクロブロックがブロック歪みにつながることがある。しかしながら、省略されたMB及び符号化されていないMBは、予測されるピクチャにむらがある場合にブロック歪みを引き起こすことがあり、それ以外の場合には、それらは何の問題も引き起こさない。必ずブロック歪みを引き起こす唯一の状況は、DCのもの(one)でなければならない、ブロック内にただ1つのゼロ以外の係数があるINTRA符号化MBである。したがって、ブロック歪み検出のためのさらに信頼できる方法は、INTRA符号化されたMB型を探すことであり、このブロックのどれかがDC係数だけしか有さない(全てのAC係数はゼロである)場合、このMBはむらがあると記される。その結果、符号化されたブロックの総数(相互及び内部)でDC係数だけがあるINTRA符号化されたブロックのパーセンテージが、ブロック歪みの基準として定義される。省略されたMB及び符号化されていないMBのブロック歪みに対する影響を考慮すると、フレームの中の全てのMBのブロック歪みステータスがフレームごとに記録され、更新される。したがって、フレームNで、MBが省略されるかあるいは符号化されていないかのどちらかである場合、それがフレームN−1でむらがあるならば、それは現在むらがあると宣言される。MBのブロック歪みステータスはそれが符号化されると変化し、このINTRA符号化ブロックのどれかがDC係数だけを有する場合には、言うまでもなくむらがあるままとなる。したがって、ブロック歪みの総合的なパーセンテージを相応して計算し直す必要がある。しかしながら、ブロック歪みに対する省略されたMB及び符号化されていないMBの影響は実現されていないため、DC係数だけのINTER符号化ブロックとINTRA符号化ブロックの合計を考慮してよい。INTER符号化ブロックを含めると、ある程度まで、省略されたMB及び符号化されていないMBの欠如を補償してよい。
【0089】
図13は、毎秒1Mbit、毎秒1.5Mbit及び毎秒2Mbitで符号化される「Scorpion(さそり)」シーケンスのブロック歪みを描く。この図では、省略されたMB及び符号化されていないMBの影響は考慮に入れられていないが、代わりに、DC係数だけの相互符号化ブロック及び内部符号化ブロックの合計が考慮される。主観的には、ピクチャは毎秒1Mbitでのシーケンスを通してむらがある。毎秒2Mbitでは、ピクチャ内にブロック歪みはない。毎秒1.5Mbitでは、ピクチャは真中でむらがあり、他の部分ではむらがない。これらの全てが、やはり図13に示されるブロック歪み指標に一致する。
【0090】
このグラフでは、省略されたMB及び符号化されていないMBの影響が考慮に入れられていないことに留意されたい。Pピクチャ及びBピクチャで、省略されたMB及び符号化されていないMBが多すぎる場合(より低いビットレートで起こる)、それらは考慮されてよく、その結果それらは多すぎるINTRA符号化されたMBを有することはできない。これによりこれらのピクチャのための検出器に対する信頼性が減じる。省略されたMb及び符号化されていないMbの割合が大きいほど、検出器はより信頼できない。
【0091】
シーン変更(カット)はピクチャ、したがって品質測定基準モデルの主観的な品質に影響を及ぼす。例えば、シーンカットのために、新しいシーンの平均的な輝度は、過去のシーンと非常に異なる可能性がある。運動の概念もシーンカットで変化し、何らかの他の影響がある。Pピクチャの場合、シーンカットでは、MBは主にIntra符号化であり、これにより相互符号化されたMbの数、したがってPピクチャあたりの運動ベクトルが削減され、それは誤った運動強度測定につながる可能性がある。
【0092】
事実は、シーンカットもビットストリームから検出できるということである。しかしながら検出の機構はピクチャ型に依存している。ピクチャヘッダからピクチャ型が既知であることを考慮すると、多様なピクチャタイプのシーンカットは以下の方法で検索できる。
【0093】
Pピクチャでは、シーンカットはINTRA符号化MBの割合を計算することにより確実に検出される。これは、シーンカットでは、フレーム差異信号が内部MBより大きなエネルギーを有する場合があるためであり、したがってエンコーダは通常INTRAモードでそれらを符号化する。
【0094】
Bピクチャでは、順方向運動ベクトル、逆方向運動ベクトル及び補間された運動ベクトルの割合を見なければならない。これは、シーンカットがBピクチャで発生するときには、ピクチャが新しいシーンに属し、運動ベクトルの大半が逆方向となる(それらが将来のアンカーピクチャを指す)ためである。さらに重要なことには、補間された運動ベクトルの数は非常に少ないか、あるいはおそらく空である。したがって、シーンカットを検出する確実性の基準は、逆方向運動ベクトル対順方向運動ベクトルの割合となるであろう。あるいは、逆方向の場合非常に高くなくてはならないが、順方向または特に補間されたものの場合は非常に小さくなくてはならないピクチャ内のそれらのパーセンテージ。
【0095】
シーンカットが第1または第2のBピクチャで発生したかどうかを決定することもできる。これは、2つのBピクチャの順方向運動ベクトルと逆方向運動ベクトルの割合を一緒に比較することにより実行できる。すなわち、両方のBピクチャが主に逆方向運動ベクトルを有する場合には、これは、両方のBピクチャとも新しいシーンに属することを意味する。したがって、シーンカットは第1のBピクチャで発生しなければならなかったが、発生しなかった。他方、一方が主に(第1のピクチャである)順方向を有し、他方が主に逆方向を有し、シーンカットは第2のBピクチャで発生しなければならなかったが、発生しなかった。これは、第1のBピクチャが旧いシーンに属し、第2のBピクチャが新しいシーンに属するために発生する。
【0096】
Iピクチャでシーンカットを検出することもできる。これを行うには、これの2つの過去のBピクチャの順方向/逆方向運動ベクトルの割合を見なければならない。シーンカットがIピクチャで発生するとき、これの2つの過去のBピクチャの運動ベクトルの大半が順方向となるであろう。したがって、両方のBピクチャが主に順方向の運動ベクトルを有する場合、PピクチャまたはIピクチャである場合がある将来のアンカーピクチャにシーンカットがある。したがって、ピクチャ型を加えたこの情報が、シーンカットがIピクチャで発生したのか、あるいはPピクチャで発生したのかを決定する。Pピクチャでシーンカット(INTRA符号化MBの割合)を検出する前述された方法は、Pピクチャでシーンカットを検出する信頼性を改善するためにこれと結合できる。
【0097】
圧縮されたビットストリームからのシーンカットの検出は、時間マスキングの精度にとって有効である。例えば、シーンカットで、Pピクチャが主にINTRA符号化されることが分かっているため、時間マスキングで使用されるPピクチャビットストリームには十分な運動ベクトルがないであろう。しかしながら、これがシーンカットであることを検出すると、このピクチャのための運動ベクトルの抽出を無視し、過去の値を使用する可能性がある。
【0098】
図14は、毎秒1Mbit、毎秒1.5Mbit、及び毎秒2Mbitでの(Iピクチャが有さない)Scorpion(さそり)シーケンスのPピクチャの、省略されたマクロブロック及び符号化されていないマクロブロックの合計の数を示している。提示の目的のために、この数は他のピクチャ型に対して繰り返される。まず最初に、このグラフを調べると、これらの値は単独でブロック歪みを決定することはできないが、それらの数は大変重要であるため、ブロック歪み検出器の精度に影響を及ぼす(例えば、過去のフレームのどのパーセンテージにむらがあったのかに依存する)ことがあることが明らかになる。第2に、全てのビットレートで確かめるように、この数は、シーンカットである218の周りのフレームで大幅に削減される。したがって、Pピクチャでは、少数の省略されたMB及び符号化されないMBがシーンカットの表示となることがある。
【0099】
ビデオ品質測定基準(VQM)は多様な形式で実現できる。1つの方法は、ブロックベースのエンコーダの主要な歪みであるブロック歪みを他の歪みから分離することである。強力なブロック歪みの場合、ビデオ品質(歪み)は唯一ブロック歪みの強さにより単に決定される。他方、より高い品質のビデオのためには、知覚モデルが使用される。
【0100】
量子化器ステップサイズは前記知覚モデルの主要なパラメータである。それは、好ましくは、品質指標として、ピクチャ内の空間活動、時間活動、及びコントラスト感度パラメータにより修正される。
【0101】
ブロック歪み指標及び知覚指標の両方とも、フレームごとに引き出すことができる。結果として生じる値は、ビデオ品質の連続監視のために使用されてよい。ビデオセグメント(例えば、10秒の長さ)の場合、フレームごとの品質指標はビデオ品質の単一の値を表すために統合される可能性がある。この値は、前記モデルの妥当性を正当化するために主観的な試験結果と比較できる。
【図面の簡単な説明】
【0102】
【図1】受信されたビデオ信号の品質を測定するための装置の一例のブロック図である。
【図2】量子化歪みの特性を図表を用いて描く図である。
【図3】試験結果を示すグラフである。
【図4】試験結果を示すグラフである。
【図5】試験結果を示すグラフである。
【図6】試験結果を示すグラフである。
【図7】係数振幅分布を図表を用いて描く図である。
【図8】追加の試験結果を描くグラフである。
【図9】追加の試験結果を描くグラフである。
【図10】追加の試験結果を描くグラフである。
【図11】追加の試験結果を描くグラフである。
【図12】追加の試験結果を描くグラフである。
【図13】追加の試験結果を描くグラフである。
【図14】追加の試験結果を描くグラフである。
【技術分野】
【0001】
本発明はビデオ品質の測定に関し、さらに詳細には、歪みがない元のピクチャのコピーに無関係な画質の評価に関する。
【発明の開示】
【課題を解決するための手段】
【0002】
本発明のある態様に従って、可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のために品質の基準を作り出す方法が提供され、その結果前記符号化された信号は量子化器ステップサイズパラメータ、及び前記ピクチャのブロックの場合、変形係数を含み、前記方法は、
a)前記量子化器ステップサイズパラメータの関数である第1の品質基準を作り出すことと、
b)単一の変形係数を有するブロックの数の関数である第2の品質基準を作り出すことと、
c)前記第1の基準と前記第2の基準を結合することと、
を備える。
【0003】
別の態様では、本発明は、可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のための品質の基準を作り出すための装置を提供し、その結果前記符号化された信号は量子化器ステップサイズパラメータ、及び前記ピクチャのブロックの場合、変形係数を含み、前記装置は、
a)前記量子化器ステップサイズパラメータの関数である第1の品質基準を作り出すための手段と、
b)単一の変形係数を有するブロックの数の関数である第2の品質基準を作り出すための手段と、
c)前記第1の基準と第2の基準を結合するための手段と、
を備える。
【0004】
本発明の他の態様は請求項の中に定められる。
【0005】
ここで本発明のいくつかの実施形態が、添付図面を参照して例証として説明される。
【発明を実施するための最良の形態】
【0006】
原則的には、使用される測定プロセスは、変形符号化を使用し、可変量子化器ステップサイズを有する圧縮技法を使用して符号化されたビデオ信号に、概して適用可能である。しかしながら、記述されるバージョンはMPEG−2規格に従って符号化された信号と使用するために設計されている。(記述される前記バージョンはMPEG−2ビデオコーデックに基づいているが、それはH.261、H.263、MPEG−4(フレームベース)等の他のDCTベースの規格のコーデックも適用する。)
前記測定方法は非侵入型または「非参照(no−refereence)」型である。つまり、それは元の信号のコピーにアクセスできる必要がない。さらに、それは前記受信された信号をビデオ信号に復号する必要なくこの測定を実行することを目的とする。むしろ、それは受信されたMPEGストリームの中に含まれるパラメータを活用する。
【0007】
図1に図示されている装置では、入信信号は入力1で受信され、VLCデコーダ、及び可変長コードを復号し以下のパラメータを出力するデータパーサ2に移動する。
【0008】
(a)ピクチャごとに:
ピクチャ型PT(=I、PまたはB)
(b)ピクチャが分割されるマクロブロック(MB)ごとに:
マクロブロック型MT(例えば、INTRA(内部)またはINTER(相互)、省略済み、符号化されていない等)
量子化器ステップサイズQ
(c)マクロブロック内のブロックごとに:
係数の数Nc
係数C
運動ベクトルMV
装置には、それぞれ信号のピーク信号対雑音比(PSNR)及び信号の「ブロック歪み(ブロック歪み)」を推定するのに役立つ、2つの分析経路がある。要素3から14は、個々のハードウェア要素により実現できるであろうが、さらに便利なインプリメンテーションは適切にプログラミングされたプロセッサを使用して全てのそれらの段階を実行することである。
【0009】
(PSNR推定)
これは量子化器ステップサイズQを利用する。(後述される)いくつかの調整の後、以下に従って推定されたPSNRを計算するために、調整されたステップサイズQMが3で使用される。
【数1】
【0010】
この方程式の、及びさらに精密な代替策の導出が、以下に示される。
【0011】
調整は、3つの段階からなる。
【0012】
段階4:Bピクチャの量子化器ステップサイズは1.4での除算により調整される。
【0013】
段階5:量子化器ステップサイズは、各ブロックのゼロ以外の係数Ncの数をカウントし、Xの値を以下のように割り当てる(段階6)ことにより生成される、空間複雑度係数Xを利用して、空間マスキング効果を考慮に入れるために調整される。
【数2】
【0014】
次に、調整された値Qxは(5で)、
【数3】
【0015】
のように計算される。
【0016】
この点で、フレーム全体でこれらの値を合計するためにこの機会が利用されることにも留意されたい。
【0017】
次に、時間マスキングを考慮に入れるための追加の調整がある。フレーム全体で平均化される(ブロックタイプについて調整される。詳細については以下を参照されたい)運動絶対値(magnitude)Vを引き出すために、運動ベクトルが使用される(段階8)。
【0018】
調整されたQは次に(段階9)、
【数4】
【0019】
である。
【0020】
前記PSNR計算のために前記に示された式が、量子化器ステップサイズのために均一な確率分布関数を仮定することに留意されたい。これはINTRAブロックのDC係数にとって妥当な仮定であるが、他の係数にとってはあまり正確ではない。不均等確率分布のための代替式は以下の説明(方程式(7))で引き出される。つまり、これが使用される場合には、好ましくはpdfのパラメータαが、フレームの型(I、PまたはB)に従って切り替えられる。(INTRAブロックの前記DC係数が少数であることに基づき)全ての係数について方程式7を使用することを好み、これが実際には優れた結果を出すことが判明することに留意されたい。両方の分布の使用を希望すると、段階5でフレーム全体で合計することを回避し、さまざまなpdfとQ値を結合することを考慮に入れるであろうPSNRのための式を使用することが必要になるであろう。
【0021】
(ブロック歪み推定)
この最も簡略な形式は、INTRA符号化済みマクロブロック内では、ただ1つの係数を有するブロックによりピクチャ内に濃淡のむらがある外観が引き起こされるという事実を利用し、この基準を満たすフレーム内のブロックのパーセンテージを計算することである。
【0022】
したがって、段階10では、各ブロックはb=1(むらがある)またはb=0(むらがない)として記され、次に(段階11)このようなブロックの数NDCが符号化されたブロックの総数NTでのように数えられ、指数B=NDC/NTが計算される。
【0023】
強化されたブロック歪み基準は、全ての係数がゼロであるINTER符号化されたブロックも、(デコーダがそこからコピーする)初期ピクチャがこの位置でむらがある場合にブロック歪みを生じさせるという事実を考慮に入れる可能性がある。したがって、段階10も(この持続時間が、例えばPフレームごとに2つのBフレームを備えるMPEGの場合に変化する前記初期のフレームと符号化されたフレームの間の遅延に相当し、それは3フレーム期間となるであろう)遅延を介してbという過去の値を受け取る可能性がある。
【0024】
このケースでは、段階10の式は以下のようになる。
【0025】
(MT=INTRAかつN=1)または(MT=INTERかつN=0かつb−1=1)の場合には、THENb=1である。
【0026】
それ以外の場合b=0である。
【0027】
(ここではb−1は、同じブロック位置のbの過去のフレーム値である)
(結合)
PSNR基準とブロック歪み基準を結合するためには、最初にこれらの基準を同じスケールでの測定値に変換することが必要である(段階12、13)。これを行うための便利な方法とは、PSNRまたはBの考えられる範囲を等しいステップに分割する、あるいは代わりに鑑賞(viewing)試験に基づいた経験的表を用いるかのどちらかで、複雑度基準Xのために使用されるような変換表を使用して、前記基準を、例えば0から9(0=不可、及び9=可)の任意のスケールでの基準MQ及びMBに変換することである。
【0028】
同じスケールで前記2つの基準MQ及びMBを取得すると、それらは単一の基準に結合される。これが行われる根拠は、ある特定のフレームの強力なブロック歪みの場合には、段階14からの出力基準Mはブロック歪み基準MBにすぎないということである。他方、ブロック歪み基準が低い場合には、出力基準MOはPSNR基準MQである。
【0029】
例えば、
【数5】
【0030】
(説明)
以下の説明は、前述した方法の背後にある理論的根拠を説明し、方程式及び何らかの実験結果の導出を行い、いくつかの修正案及び改善策を説明する。
【0031】
本研究は、参照なしに、必要とされるデータを圧縮されたビットストリームからどのようにして抽出し、ビデオ品質測定基準(VQM)として使用できるかを明示することを目的とする。VQMの最も重要なパラメータが、マクロブロック(MB)ごとに抽出できる量子化器ステップサイズであることが示される。人間の視覚系を含むために、この値は空間−時間画像コンテンツで修正される。ここでは、前記空間コンテンツは符号化されたMBのAC係数の数から引き出され、時間活動は運動ベクトルから引き出される。コントラスト感度を考慮するためには、ピクチャ内で、INTRA符号化されたブロックのDC係数も使用されてよい。最後に、激しい歪みのケースでは、主要な歪みであるピクチャブロック歪みが抽出できる。これは、符号化されたブロック全体で、ブロックの中の唯一のゼロ以外の係数として、DCを有するINTRA符号化ブロックのパーセンテージを取ることによって行われる。この値は、検出の信頼性を高めるために、省略されたMB及び符号化されていないMBの数で修正される。これらは全て前記圧縮されたビットストリームから抽出される。
【0032】
現在、ビデオ品質の客観的な測定は、以下の3つの主要なカテゴリの元で実施される。つまり完全(full)参照モデル、削減(reduced)参照モデル、及び非(no)参照モデルである。非参照モデルは他の2つより簡略となる大きな可能性があり、参照データ(完全または削減のどちらか)に対するアクセスが高価である、あるいは不可能であるネットワーク全体での品質の評価または監視のために使用される可能性が高いと考えられる。したがって、この評価精度を犠牲にせずに非参照モデルの処理複雑度をどのようにして削減できるのかを確かめることはきわめて重要である。
【0033】
非参照モデルの複雑度を簡略化する1つの方法とは、ピクチャを完全に復号することなくビットストリームから直接的にモデルパラメータを抽出することである。事実上、現在の非参照モデルの大部分は、必要とされるモデルパラメータを抽出するために、復号されたピクチャに作用する。したがって相対的な簡略さの程度、つまり非参照モデルのこれら2つの方法の処理効率は、それぞれの方式の下で必要とされる個々の処理操作量である。
【0034】
一般的には、非参照モデルパラメータは、運動、空間詳細または文脈上の詳細、端縁、コントラスト感度等を含む。これらのそれぞれを復号されたピクチャから生成するには、大きな処理が必要になる場合がある。例えば、エンコーダでの運動ベクトルの推定は、通常、エンコーダの処理能力の約60%を要する(速度の基準としては1つのモードだけで十分であるが、エンコーダが種々の運動推定モードを試験する可能性があり、したがって前記パーセンテージは60%未満となる場合があるが、依然として高い場合があることに留意されたい)。ビデオエンコーダがビデオデコーダより3倍から5倍多くの処理を要求していることを考えると、運動の推定だけでピクチャを復号するより2−3倍多くの処理を必要とする場合があると言うことができる。したがって、復号されたピクチャでの非参照モデルパラメータ(例えば、運動、空間または文脈上の詳細、端縁、コントラスト感度、ブロック歪み)の導出は、ピクチャの復号より数倍(例えば5倍)多くの処理を要求する場合がある。正確な比率は、これらのそれぞれのインプリメンテーションがどれほど複雑である可能性があるのかに依存する。
【0035】
他方、ビットストリームからモデルパラメータを導出することは、必要とされている情報がすでにビットストリームの中に埋め込まれていることを考慮すると、ピクチャを復号するために必要とされる処理の一部分に過ぎない。ここで、必要とされるのは、ピクチャを復号することの非常に微小な一部分である逆VLC(テーブルルックアップを使用して非常に高速)である。したがって復号されたピクチャから導出されるものと比較して、ビットストリームからモデルパラメータを抽出する複雑度は非常にごくわずかであり(例えば5%から10%、あるいはさらに低い)、前記提案されている方法は限界費用でのビデオ品質のオンライン監視のために使用できる。
【0036】
画質評価のための完全参照モデルでは、多くの場合符号化歪みまたはピーク信号対雑音比(PSNR)が使用される。PSNRが画像品質(歪み)の人間の認知を正確に表していないと主張することはできるが、それにも関わらずそれは非常に強力な指標である。事実上、全ての既知の完全参照モデルは、何らかの形で、いくつかの他の知覚的に最適化されたパラメータを引き出すために元の画像と処理済みの画像の差異(歪み)を使用する。
【0037】
ここで、PSNRが品質の指標であると仮定する場合には、問題は、参照ピクチャを使用しない非参照モデルでは、どのようにしてそれを品質(歪み)の基準として使用できるのかという点である。PSNRがどのように定義されるのかを見ると、これを行うことができることが明らかになる。
【0038】
完全参照モデルでは、PSNRは以下のように定義されている。
【数6】
【0039】
この方程式の中で、ε2は元のピクチャと処理済みのピクチャの間の二乗平均誤差である。符号化歪みが単に(ビデオ符号化のケースである)量子化歪みのためだけである場合には、二乗平均誤差、ε2、および量子化器ステップサイズQの間に直接的な関係がある。例えば、量子化器ステップサイズQで均一に分散される信号の場合、平均二乗量子化歪みは図2に図示されるとおりであり、ここで(a)は量子化歪みの分散を示し、(b)は量子化された範囲内での係数の確率密度関数を示す。
【0040】
平均歪みは以下のように計算される。
【数7】
【0041】
このようにして、量子化器ステップサイズQで言うと、(dB単位の)PSNRは以下のように定義できる。
【数8】
【0042】
ビデオコーデックでは、量子化は変形係数に適用されるが、測定済みの歪みは元のピクセルと復号されたピクセルの間であることに留意されたい。しかしながら、DCT変形は線形演算子であるため、パーセバルの定理のために、変形領域及びピクセル領域におけるエネルギーは等しい(これは、順方向変形及び逆方向変形での変形係数のスケーリングに応じて、定数因子により変化する場合がある)。
【0043】
図3は、測定済みのPSNRを、毎秒2Mbitで試験シーケンス「New York(ニューヨーク)」について方程式(1)を使用して(つまり均一のpdfを仮定して)量子化器ステップサイズから計算されるPSNRと比較する。分かるように、モデルの非常に大雑把な見積もりにも関わらず、計算されたPSNRは測定されたPSNRに非常に緊密に近似する。しかしながら、測定されたPSNRは安定し、円滑であるが、計算されたPSNRはアンカー(I、P)ピクチャとB−ピクチャの値の間で揺れる。この挙動を分析するために、図4は、さらに細かいスケールで前記シーケンスの2、3のフレームを示している。この図は、Bピクチャについて、計算されたPSNRが測定された値未満であり、Pピクチャ及びIピクチャについては逆であることを示している。差異は、毎秒1.5Mbitでの同じシーケンスについての、図5及び図6に図示されるようなさらに大きな量子化器ステップサイズ(さらに低いビットレート)の場合、さらに大きくなる。
【0044】
言うまでもなく、2つの方法が正確に等しい値を示さなければならないことは期待されていない。しかしながら、Bピクチャの計算済みのPSNR値が、それらの測定済みの値はほぼ等しいが、Iピクチャ及びPピクチャの計算済みのPSNR値よりも少ない理由は2つの要因のためである。第1に、係数についての均一な量子化歪みの仮定は正しくない。ほぼ均一なpdfを有する唯一の係数はINTRA符号化されたブロックのDC係数である。したがって、不均等な振幅分布を有するIピクチャのAC係数の場合でさえも、方程式(1)は有利に、1/Qという均一な分布よりむしろ既知の不均等な密度関数f(x)で修正できるであろう。
【0045】
係数の分布は不均等であるが、不均等の程度はピクチャ型ごとに変わることに留意されたい。効率的な運動補償の結果のBピクチャでは、分布は非常に急勾配であり、係数の大部分はゼロに近い。好ましくはこれも考慮に入れる必要がある。
【0046】
第2に、エンコーダでは、Bピクチャの量子化器ステップサイズは2つの理由から慎重に増加される。第1に、分かるように、Bピクチャは効率的に運動補償されるため、それらは、量子化器ステップサイズの値が何であれ、通常小さい。しかしながら、それらが符号化されるには大きい場合には、それらが相対的に粗く量子化されていても変わりはない。第2の理由は、Bピクチャはエンコーダの予測ループによって使用されないため、たとえそれらがひずんでいようとも、この歪みは続くピクチャの中に広がらないという点である。これは、この粗い量子化によるビットの任意の節減が後に返されなければならないIピクチャ及びPピクチャでは当てはまらない。
【0047】
ここで、不均等な密度関数を仮定する推定されたPSNRの計算を考える。量子化のための実際の二乗平均誤差は以下のとおりでなければならない。
【数9】
【0048】
この積分の解決済みの解を導出するために、係数が、図7に描かれる以下の型の不均等分布を有すると仮定する。
【数10】
【0049】
αが密度関数の崩壊速度であり、βが重み係数である場合、pdfが単一性に正規化されることを確認する。すなわち、
【数11】
【0050】
したがって、βはαという点で以下のように検出できる。
【数12】
【0051】
その結果、
【数13】
【0052】
となる。
【0053】
この不均等なpdfを用いると、二乗平均誤差は、
【数14】
【0054】
である。
【0055】
整数は、αx=uとすることにより簡略化でき、この場合、
【数15】
【0056】
簡略な操作及び積分後、それは、
【数16】
【0057】
となり、積分限度及び方程式(4)からのβの値を代入すると、二乗平均歪みは、
【数17】
【0058】
となり、この歪みのあるPSNRは、
【数18】
【0059】
となる。
【0060】
図8は、毎秒1.5MbitでのNew Yorkシーケンスについて、PSNRを均一な密度関数と比較するだけではなく、この新しいPSNRを測定された値とも比較する。この図では、全てのピクチャ型に、理想的な選択肢ではないα=1が仮定されるが、簡単にする目的でこれが選ばれた。現実には、αは異なるピクチャ型について別に、それぞれの型について測定されたPSNRに適合するために選ばれなければならない。また、それはさらに低いビットレートの場合大きくなくてはならない(さらに大きな予想量子化器ステップサイズ)。
【0061】
図9はさらに細かいスケールでPSNRを示す。分かるように、優れた適合にも関わらず、依然としてある程度の振幅がある。すなわち、計算されたBピクチャのPSNRは、Pピクチャ及びIピクチャと比較してある程度の落下がある。
【0062】
この振幅は、エンコーダが、Iピクチャ及びPピクチャの量子化器ステップサイズに比べて、Bピクチャについてさらに大きな量子化器ステップサイズを選ぶという事実のためである。これは、1.4という係数でBピクチャにさらに少ないビットを割り当てるために、複雑度インデックスを通してエンコーダのビットレート割り当てアルゴリズムに実現される。したがって、割り当てられたビットは1.4で削減されるため、Bピクチャの量子化器ステップサイズ、QBはこの係数で累乗される。したがって、PSNR計算では、図1のステップ4についてすでに説明されたように、それらを1.4で除算する(QBが112というこの飽和値に達した場合には、この低い画質では、Iピクチャ及びPピクチャの量子化器ステップサイズも飽和した可能性があるため、除算するべきではないことに留意されたい)。
【0063】
図10は、測定された値と対照して、不均等分布のPSNRを、修正されたBピクチャ量子化器ステップサイズに比較する。分かるように、PSNRはここでははるかに円滑であり、さらに細かいスケールでのこの変動は図11に図示されている。
【0064】
したがって、ここまで、量子化器ステップサイズが、参照モデルにおける二乗平均誤差(PSNR)と類似するように作用できることを示した。さらに信頼できる品質測定基準であるためには、二乗平均歪みは人間の視覚系の応答を考慮に入れる必要があると考えられるため、非参照モデルも考慮に入れるべきである。以下では、非参照モデルのための必要とされるパラメータを、圧縮されたビットストリームからどのようにして抽出できるのかを示す。
【0065】
視聴者は、ピクチャの詳細な領域または端縁近くでのより多くの歪みに耐える。これは人間の視覚系の空間マスキングとして知られている。したがって、これらの領域での画質に対する量子化器ステップサイズの影響は、空間的な詳細の量だけ、削減できる。
【0066】
ピクチャ詳細、つまり空間的な複雑度もビットストリームから導出できる。これはビットストリーム内の符号化されたブロックあたりのゼロ以外の量子化済み係数の数をカウントすることにより行うことができる。これは、ピクチャ内の空間的な詳細が高いほど、画像エネルギーは係数の間でより分散されるためである。
【0067】
水平の端縁、垂直の端縁及び対角線の端縁も、これらの方向のそれぞれでの量子化されたゼロ以外の係数の大半を検査することにより決定できる。
【0068】
この方法はある程度まで信頼できるが、より高い量子化器ステップサイズではこれの長所を失うことが言及されなければならない。しかしながら、さらに高い量子化器ステップサイズでは、ピクチャはむらがあるようになり、ピクチャのブロック歪みは後述される主要な品質(歪み)指標となるため、ビデオ品質測定基準の場合、これは重要ではない。
【0069】
実験では、ゼロ以外の符号化された係数の数から導出された空間複雑度係数Xで、マクロブロックあたりの量子化器ステップサイズQを除算した。例えば、ジグザグ走査順序でのブロックあたりのゼロ以外の係数の数がそれぞれ3、6、10または15未満である場合、Xは1、1.2、1.4及び1.6で、それ以外の場合1.8となる場合がある(これは近似である。つまり、INTRA MBでは、INTER MBよりブロックあたりさらに多くの係数が符号化されるため、適切な値を検出するさらに精密な手法では、MB型が考慮に入れられるであろう。)したがって、いままでのところ、ピクチャのための品質測定基準はこのピクチャ内のこの修正された量子化器ステップサイズの平均である。
【数19】
【0070】
ピクチャの表示品位とピクチャあたりのQxの本発明者らの大雑把な主観的な比較は非常に強力な相関を示す。これは、ピクチャあたりQxのグラフに対照して、符号化されたフレームを指すポインタ(残念なことにそれはIピクチャだけを示している)を用いて符号化されたビデオのセグメントを実行することにより行われた。
【0071】
空間マスキングと同様に、ひずんだオブジェクトの運動は、運動量(時間マスキング)に応じてさまざまな外観を有する。ビットストリーム中の運動ベクトルは、ピクチャ内での運動のための測定の基準として抽出、使用できる。マクロブロック(MB)ごとに以下のように定義される運動絶対値を使用し、
【数20】
【0072】
次に、ピクチャあたりの運動量の表示として使用されるフレーム全体でそれらを平均した。ビットストリームから運動絶対値を導出する上で、ピクチャ型を考慮して注意を払う必要がある。例えば、Pピクチャの中の運動ベクトルは過去のアンカーピクチャを指すため、それらの絶対値は3で除算されなければならない(M=3、N=12のGoPフォーマットを使用した。つまり、アンカーピクチャは3個の離れたフレームであり、Iピクチャの期間は12フレームである)。Bピクチャでは、B1ピクチャの場合、順方向運動ベクトルが直接的に使用されるが、逆方向運動ベクトルの絶対値は2で除算される必要がある。逆はB2ピクチャに当てはまる。言うまでもなく、Iピクチャのための運動ベクトルはないであろうが、これはIピクチャがいかなる運動も有さないことを意味するのではない。
【0073】
実験では、シーケンスの移動指標として、単にPピクチャから導出された運動絶対値を使用した。運動の変化がフレームの速度よりはるかに低速であり、Pピクチャの運動絶対値(that)がシーケンス内の他のフレームにも使用できるため、これは適切に作用する。シーンカットでは、Pピクチャのためのいかなる運動ベクトルもないであろうことに留意されたい。したがって、ビットストリームからシーンカットを検出する方法はきわめて望ましい。これを以下に説明する。
【0074】
運動値を検出すると、問題は、ビデオ品質測定基準を修正するためにそれをどのように使用できるかである。それがどのように使用されるのかを確かめる最善の方法は、完全参照モデルにある。本発明者らの実験では、運動の強さに従って歪みの影響を削減する単純なモデルを使用した。ブロック歪み及び端縁での歪みのような特定の歪みは、例えば中間速度よりさらに高速でさらに可視となる可能性があるために、これは最適モデルではない。
【0075】
本発明者らのモデルでは、量子化器ステップサイズ、空間マスキング及び時間マスキングを考慮すると、これまで品質測定基準QMは以下のように定義され、
【数21】
【0076】
ここではQxはフレームあたりの空間的に修正された平均量子化器ステップサイズであり、Vはフレームあたりの運動の絶対値である。
【0077】
図12に示されている毎秒1Mbit、毎秒1.5Mbit及び毎秒2Mbitで「Scorpion(さそり)」シーケンスの品質測定基準(QM)曲線に対してビデオのセグメントを実行すると、強力な相関が示される。
【0078】
視聴者は、中間範囲においてよりも、ピクチャのさらに暗い領域及びさらに明るい領域において、より大きな歪みに耐えることができる。これは、人間の視覚系のコントラスト感度として知られている。したがって、フレーム内のピクセルの平均強度は、品質測定基準指標を修正し、コントラスト感度を補償するために使用できる。
【0079】
各INTRA符号化ブロックのDC係数は、DCつまりこのブロックの中の量子化されたピクセルの平均値を表す。したがって、全てのブロックが内部符号化されているIピクチャのDC係数を抽出すると、Iピクチャの全体的な強度を示すことができる。言うまでもなく、それらが主に予測的に符号化されるため、これはPピクチャ及びBピクチャには適用できない。しかしながら、運動のように、ピクチャの暗さは高速で変化しないため、Iピクチャの暗さはピクチャのグループ(GoP)内のピクチャ全体を表すのに十分である可能性がある。
【0080】
Iピクチャ内のDC値を抽出することはある程度注意深く行う必要があることに留意されたい。事実は、多くの場合、DC係数がそれらの近隣DC値から空間的に予測され、したがってそれらは適切に復号される必要がある。しかしながら、これは係数を逆変形することを意味するのではなく、それらの予測されるDC係数に追加することを意味する。
【0081】
ここで「ブロック歪み」の検出を見ると、低ビットレートでは、あるいはさらに大きな量子化器ステップサイズでは、ピクチャはむらになる。量子化器ステップサイズはピクチャブロック歪みに関与しているが、それは直接的にブロック歪み指標として使用することはできない。例えば、ピクチャの単調な領域では、いくつかの小さな量子化器ステップサイズがピクチャブロック歪みを示してよいが、詳細な領域では、たとえいくらかのピクチャ詳細が失われることがあっても、なおほどよく大きな量子化器ステップサイズはいかなるブロック歪みも示してはならない。
【0082】
圧縮されたビットストリームが、ピクチャにむらがあるかどうかを示すためには、なぜピクチャがむらになるのかを理解しなければならない。
【0083】
一般的には、ピクチャブロック歪みはMB型に依存している。マクロブロックがINTRA符号化される場合、そしてDC係数がこのブロックの唯一のゼロ以外の係数である場合には、このような復号されたブロックはむらがあるように見える。これは、ブロックの8×8=64ピクセル全てが単一の値(DC)から再構築され、全てが等しくなるためである。他方、さらに多くの係数が符号化される場合には、ブロック内のピクセル値は互いと異なり、ブロックはむらがあるように見えない。したがって、ブロックがDC係数だけを有し、全てのAC係数がゼロであるならば、全てのピクチャ型のINTRA符号化されたブロックがブロック歪みにつながることがある。
【0084】
ただ1つのDC係数のある(Pピクチャ及びBピクチャの)INTER符号化ブロックがブロック歪みを引き起こさないことに留意されたい。これは、予測ブロックがむらでないならば、このブロックのための再構築されたフレーム差異が、それらの予測に追加されるときに等しい値を有しているとしても、再構築されるピクセルはむらがあるように見えないためである。ブロック歪みは他のMB型でも作成されてよい。言うまでもなく、これはピクチャに依存している。例えばPピクチャでは、符号化されていないMBは全ての係数をゼロに設定させる(cbp=0)が、運動ベクトルはゼロ以外である。この場合、デコーダにおいて、MBの全ての16×16ピクセルが過去のフレームからコピーされ、運動ベクトルにより変位される。運動ベクトルの値及び方向はフレームごとに変化するため、この種のブロック歪みは前述されたものよりは不穏ではないが、これらのブロックのコピーは、ピクチャをむらがあるように見せるMB境界の周りにいくつかの端縁を生じさせる。
【0085】
Pピクチャでは、省略されたMBもブロック歪みにつながる可能性がある。これらのピクチャでは、MBの中で量子化された係数の全てがゼロ(cbp=0)であり、運動ベクトルもゼロである場合、(符号化されていないとして処理されるであろうスライス内の最初のMB及び最後のMBを除き)MBは省略される。デコーダはこれらのMBに対して処置を講じず、したがってピクチャのこれらの部分は更新されない(過去のフレームからの直接的なコピー)。したがって、この位置での過去のピクチャにむらがある場合、それは現在のピクチャに転送される。
【0086】
Bピクチャでは、符号化されていないMB及び省略されたMBはPピクチャのそれらとは異なる。このピクチャ型では、省略されたMBはcbp=0を有するだけではなく、これの隣接するMBの同じ運動予測も有さなければならない(運動及び予測の方向の同じ値)。したがって、この種の復号されたMBは、何らかの運動ベクトルにより変位される過去のフレームからMBの16×16ピクセルをコピーし、したがってブロック歪みを生じさせる。Bピクチャ内の符号化されていないMBはcbp=0のものであるが、予測の方向またはこれの運動ベクトルはこのじかに隣接するMBと同じではない。したがって、符号化されていないMBもブロック歪みにつながることがある。
【0087】
ゼロ以外の符号化されたブロックパターン(cbp)のMBの符号化されていないブロック(全ての係数がゼロであるブロック)も、ブロック歪みにつながることがあることに留意されたい。これは、これらのブロックの場合、過去のフレームからのピクセルがコピーされるためであり、運動ベクトルがフレームごとにさまざまな方向で指す場合、あるいは過去のブロックにそれ自体むらがあるときには、それらはむらがあるように見える場合がある。
【0088】
要約すると、全ての型のマクロブロックがブロック歪みにつながることがある。しかしながら、省略されたMB及び符号化されていないMBは、予測されるピクチャにむらがある場合にブロック歪みを引き起こすことがあり、それ以外の場合には、それらは何の問題も引き起こさない。必ずブロック歪みを引き起こす唯一の状況は、DCのもの(one)でなければならない、ブロック内にただ1つのゼロ以外の係数があるINTRA符号化MBである。したがって、ブロック歪み検出のためのさらに信頼できる方法は、INTRA符号化されたMB型を探すことであり、このブロックのどれかがDC係数だけしか有さない(全てのAC係数はゼロである)場合、このMBはむらがあると記される。その結果、符号化されたブロックの総数(相互及び内部)でDC係数だけがあるINTRA符号化されたブロックのパーセンテージが、ブロック歪みの基準として定義される。省略されたMB及び符号化されていないMBのブロック歪みに対する影響を考慮すると、フレームの中の全てのMBのブロック歪みステータスがフレームごとに記録され、更新される。したがって、フレームNで、MBが省略されるかあるいは符号化されていないかのどちらかである場合、それがフレームN−1でむらがあるならば、それは現在むらがあると宣言される。MBのブロック歪みステータスはそれが符号化されると変化し、このINTRA符号化ブロックのどれかがDC係数だけを有する場合には、言うまでもなくむらがあるままとなる。したがって、ブロック歪みの総合的なパーセンテージを相応して計算し直す必要がある。しかしながら、ブロック歪みに対する省略されたMB及び符号化されていないMBの影響は実現されていないため、DC係数だけのINTER符号化ブロックとINTRA符号化ブロックの合計を考慮してよい。INTER符号化ブロックを含めると、ある程度まで、省略されたMB及び符号化されていないMBの欠如を補償してよい。
【0089】
図13は、毎秒1Mbit、毎秒1.5Mbit及び毎秒2Mbitで符号化される「Scorpion(さそり)」シーケンスのブロック歪みを描く。この図では、省略されたMB及び符号化されていないMBの影響は考慮に入れられていないが、代わりに、DC係数だけの相互符号化ブロック及び内部符号化ブロックの合計が考慮される。主観的には、ピクチャは毎秒1Mbitでのシーケンスを通してむらがある。毎秒2Mbitでは、ピクチャ内にブロック歪みはない。毎秒1.5Mbitでは、ピクチャは真中でむらがあり、他の部分ではむらがない。これらの全てが、やはり図13に示されるブロック歪み指標に一致する。
【0090】
このグラフでは、省略されたMB及び符号化されていないMBの影響が考慮に入れられていないことに留意されたい。Pピクチャ及びBピクチャで、省略されたMB及び符号化されていないMBが多すぎる場合(より低いビットレートで起こる)、それらは考慮されてよく、その結果それらは多すぎるINTRA符号化されたMBを有することはできない。これによりこれらのピクチャのための検出器に対する信頼性が減じる。省略されたMb及び符号化されていないMbの割合が大きいほど、検出器はより信頼できない。
【0091】
シーン変更(カット)はピクチャ、したがって品質測定基準モデルの主観的な品質に影響を及ぼす。例えば、シーンカットのために、新しいシーンの平均的な輝度は、過去のシーンと非常に異なる可能性がある。運動の概念もシーンカットで変化し、何らかの他の影響がある。Pピクチャの場合、シーンカットでは、MBは主にIntra符号化であり、これにより相互符号化されたMbの数、したがってPピクチャあたりの運動ベクトルが削減され、それは誤った運動強度測定につながる可能性がある。
【0092】
事実は、シーンカットもビットストリームから検出できるということである。しかしながら検出の機構はピクチャ型に依存している。ピクチャヘッダからピクチャ型が既知であることを考慮すると、多様なピクチャタイプのシーンカットは以下の方法で検索できる。
【0093】
Pピクチャでは、シーンカットはINTRA符号化MBの割合を計算することにより確実に検出される。これは、シーンカットでは、フレーム差異信号が内部MBより大きなエネルギーを有する場合があるためであり、したがってエンコーダは通常INTRAモードでそれらを符号化する。
【0094】
Bピクチャでは、順方向運動ベクトル、逆方向運動ベクトル及び補間された運動ベクトルの割合を見なければならない。これは、シーンカットがBピクチャで発生するときには、ピクチャが新しいシーンに属し、運動ベクトルの大半が逆方向となる(それらが将来のアンカーピクチャを指す)ためである。さらに重要なことには、補間された運動ベクトルの数は非常に少ないか、あるいはおそらく空である。したがって、シーンカットを検出する確実性の基準は、逆方向運動ベクトル対順方向運動ベクトルの割合となるであろう。あるいは、逆方向の場合非常に高くなくてはならないが、順方向または特に補間されたものの場合は非常に小さくなくてはならないピクチャ内のそれらのパーセンテージ。
【0095】
シーンカットが第1または第2のBピクチャで発生したかどうかを決定することもできる。これは、2つのBピクチャの順方向運動ベクトルと逆方向運動ベクトルの割合を一緒に比較することにより実行できる。すなわち、両方のBピクチャが主に逆方向運動ベクトルを有する場合には、これは、両方のBピクチャとも新しいシーンに属することを意味する。したがって、シーンカットは第1のBピクチャで発生しなければならなかったが、発生しなかった。他方、一方が主に(第1のピクチャである)順方向を有し、他方が主に逆方向を有し、シーンカットは第2のBピクチャで発生しなければならなかったが、発生しなかった。これは、第1のBピクチャが旧いシーンに属し、第2のBピクチャが新しいシーンに属するために発生する。
【0096】
Iピクチャでシーンカットを検出することもできる。これを行うには、これの2つの過去のBピクチャの順方向/逆方向運動ベクトルの割合を見なければならない。シーンカットがIピクチャで発生するとき、これの2つの過去のBピクチャの運動ベクトルの大半が順方向となるであろう。したがって、両方のBピクチャが主に順方向の運動ベクトルを有する場合、PピクチャまたはIピクチャである場合がある将来のアンカーピクチャにシーンカットがある。したがって、ピクチャ型を加えたこの情報が、シーンカットがIピクチャで発生したのか、あるいはPピクチャで発生したのかを決定する。Pピクチャでシーンカット(INTRA符号化MBの割合)を検出する前述された方法は、Pピクチャでシーンカットを検出する信頼性を改善するためにこれと結合できる。
【0097】
圧縮されたビットストリームからのシーンカットの検出は、時間マスキングの精度にとって有効である。例えば、シーンカットで、Pピクチャが主にINTRA符号化されることが分かっているため、時間マスキングで使用されるPピクチャビットストリームには十分な運動ベクトルがないであろう。しかしながら、これがシーンカットであることを検出すると、このピクチャのための運動ベクトルの抽出を無視し、過去の値を使用する可能性がある。
【0098】
図14は、毎秒1Mbit、毎秒1.5Mbit、及び毎秒2Mbitでの(Iピクチャが有さない)Scorpion(さそり)シーケンスのPピクチャの、省略されたマクロブロック及び符号化されていないマクロブロックの合計の数を示している。提示の目的のために、この数は他のピクチャ型に対して繰り返される。まず最初に、このグラフを調べると、これらの値は単独でブロック歪みを決定することはできないが、それらの数は大変重要であるため、ブロック歪み検出器の精度に影響を及ぼす(例えば、過去のフレームのどのパーセンテージにむらがあったのかに依存する)ことがあることが明らかになる。第2に、全てのビットレートで確かめるように、この数は、シーンカットである218の周りのフレームで大幅に削減される。したがって、Pピクチャでは、少数の省略されたMB及び符号化されないMBがシーンカットの表示となることがある。
【0099】
ビデオ品質測定基準(VQM)は多様な形式で実現できる。1つの方法は、ブロックベースのエンコーダの主要な歪みであるブロック歪みを他の歪みから分離することである。強力なブロック歪みの場合、ビデオ品質(歪み)は唯一ブロック歪みの強さにより単に決定される。他方、より高い品質のビデオのためには、知覚モデルが使用される。
【0100】
量子化器ステップサイズは前記知覚モデルの主要なパラメータである。それは、好ましくは、品質指標として、ピクチャ内の空間活動、時間活動、及びコントラスト感度パラメータにより修正される。
【0101】
ブロック歪み指標及び知覚指標の両方とも、フレームごとに引き出すことができる。結果として生じる値は、ビデオ品質の連続監視のために使用されてよい。ビデオセグメント(例えば、10秒の長さ)の場合、フレームごとの品質指標はビデオ品質の単一の値を表すために統合される可能性がある。この値は、前記モデルの妥当性を正当化するために主観的な試験結果と比較できる。
【図面の簡単な説明】
【0102】
【図1】受信されたビデオ信号の品質を測定するための装置の一例のブロック図である。
【図2】量子化歪みの特性を図表を用いて描く図である。
【図3】試験結果を示すグラフである。
【図4】試験結果を示すグラフである。
【図5】試験結果を示すグラフである。
【図6】試験結果を示すグラフである。
【図7】係数振幅分布を図表を用いて描く図である。
【図8】追加の試験結果を描くグラフである。
【図9】追加の試験結果を描くグラフである。
【図10】追加の試験結果を描くグラフである。
【図11】追加の試験結果を描くグラフである。
【図12】追加の試験結果を描くグラフである。
【図13】追加の試験結果を描くグラフである。
【図14】追加の試験結果を描くグラフである。
【特許請求の範囲】
【請求項1】
可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のための品質の基準を作り出す方法であって、その結果前記符号化された信号は量子化器ステップサイズパラメータ、及びピクチャのブロックの場合変形係数を含み、
a)前記量子化器ステップサイズパラメータの関数である第1の品質基準を作り出すことと、
b)単一の変形係数を有するブロックの数の関数である第2の品質基準を作り出すことと、
c)前記第1の基準と第2の基準を結合することと、
を備える、方法。
【請求項2】
前記第2の品質基準は、むらがあると判断されるブロックの数の関数として決定され、
(i)ブロックが、前記ブロックが前記ピクチャの初期のフレームに関係なく符号化され、前記ブロックがただ1つの変形係数を有する場合にむらがあると定められ、
(ii)ブロックが、前記ブロックが前記ピクチャの初期フレームを参照することにより符号化され、前記ブロックは変形係数を有さず、前記それぞれの初期のピクチャの前記対応するブロックもむらがあると定められた場合に、むらがあると定められる、請求項1に記載の方法。
【請求項3】
前記第1の基準に対して空間マスキング調整を加えることを含み、前記調整は符号化ブロックあたりのゼロ以外の変形係数の数の関数として計算される空間複雑度係数の関数である、請求項1または2に記載の方法。
【請求項4】
前記符号化された信号も運動ベクトルを含むように運動補償を活用する圧縮アルゴリズムを使用して符号化される信号とともに使用するための方法であって、前記第1の基準に対し時間マスキング調整を加えることを含み、前記調整が各符号化されたブロックの前記運動ベクトルの関数である、請求項1、2または3に記載の方法。
【請求項5】
前記基準を結合する前記ステップは、
a)前記第1の基準及び第2の基準を1つの共通のスケールに変換することと、
b)前記第2の基準が閾値より劣る画質を表す場合に、前記第2の基準を出力することと、
c)それ以外の場合に、前記第1の基準を出力することと、
を備える、請求項1から4のいずれか1項に記載の方法。
【請求項6】
可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のための品質の基準を作り出す方法であって、その結果前記符号化された信号は量子化器ステップサイズパラメータ、及びピクチャのブロックの場合、変形係数を含み、
a)前記量子化器ステップサイズパラメータの関数である品質基準を作り出すことと、
b)前記基準に対する空間マスキング調整を行い、前記調整が符号化されたブロックあたりのゼロ以外の変形係数の数の関数として計算される空間複雑度係数の関数であることと、
を備える、方法。
【請求項7】
可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズム及び運動補償を使用して符号化されたビデオ信号のために品質の基準を作り出す方法であって、その結果前記符号化された信号は、量子化器ステップサイズパラメータ、及びピクチャのブロックの場合変形係数及び運動ベクトルを含み、
a)前記量子化器ステップサイズパラメータの関数である品質基準を作り出すことと、
b)前記基準に対して時間マスキング調整を行い、前記調整が各符号化されたブロックの前記運動ベクトルの関数であることと、
を備える、方法。
【請求項8】
前記基準に空間マスキング調整を加えることを含み、前記調整は各符号化されたブロックのゼロ以外の変形係数の数の関数として計算される空間複雑度係数の関数である、請求項7に記載の方法。
【請求項9】
二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のために品質の基準を作り出す方法であって、その結果前記符号化された信号は、ピクチャのブロックの場合変形係数を含み、
単一の変形係数を有するブロックの数の関数である品質基準を作り出すことを備える、方法。
【請求項10】
可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のために品質の基準を作り出すための装置であって、その結果前記符号化された信号は、量子化器ステップサイズパラメータ、及びピクチャのブロックの場合変形係数を含み、
a)前記量子化器ステップサイズパラメータ(Q)の関数である第1の品質基準を作り出すための手段(3)と、
b)単一の変形係数を有するブロックの数の関数である第2の品質基準を作り出すための手段(10、11)と、
c)前記第1の基準と第2の基準を結合するための手段(14)と、
を備える、装置。
【請求項11】
前記第2の品質基準を作り出すための前記手段は、むらがあると判断されるブロックの数の関数である基準を作成するように構成され、
(i)ブロックが、前記ブロックが前記ピクチャの初期フレームに関係なく符号化され、前記ブロックが唯一の変形係数を有する場合に、むらがあるとして定められ、
(ii)ブロックが、それが前記ピクチャの初期のフレームを参照して符号化され、前記ブロックが変形係数を有さず、前記それぞれの初期のピクチャの前記対応するブロックもむらがあると定められた場合に、むらがあると定められる、請求項10に記載の装置。
【請求項12】
空間複雑度係数(X)を符号化されたブロックあたりのゼロ以外の変形係数の数の関数として計算するための手段(6)と、前記第1の基準に対して空間マスキング調整を加えるために動作可能な手段(5)とを含み、前記調整は前記空間複雑度係数の関数である、請求項10または11に記載の装置。
【請求項13】
運動補償を活用する圧縮アルゴリズムを使用して符号化された信号とともに使用するための装置であって、その結果前記符号化された信号も運動ベクトルを含み、前記第1の基準に対して時間マスキング調整を行うために動作可能な手段(8、9)とをさらに備え、前記調整は各符号化されたブロックの前記運動ベクトルの関数である、請求項10、11、または13に記載の装置。
【請求項14】
前記基準を結合するための前記手段は、前記第2の基準を出力するため、およびそれ以外の場合前記第2の基準を出力するために(to output the second measure and,otherwise,to output the second measure)、前記第1の基準及び第2の基準を1つの共通したスケールに変換するための手段(12、13)と、前記第2の基準が閾値に劣る画質を表す場合に動作可能な手段(14)とを備える、請求項10から13のいずれか1項に記載の装置。
【請求項15】
可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のために品質の基準を作り出すための装置であって、その結果前記符号化された信号は、量子化器ステップサイズパラメータ、及びピクチャのブロックの場合、変形係数を含み、
前記量子化器ステップサイズパラメータ(Q)の関数である品質基準を作り出すための手段(3)と、
符号化されたブロックあたりのゼロ以外の変形係数の数の関数として空間複雑度係数(X)を計算するための手段(6)と、
前記基準に対して空間マスキング調整を行うために動作可能な手段(5)であり、前記調整が前記空間複雑度係数の関数である手段と、
を備える、装置。
【請求項16】
可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズム、及び運動補償を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のために品質の基準を作り出すための装置であって、その結果前記符号化された信号は、量子化器ステップサイズパラメータ、及びピクチャのブロックの場合、変形係数及び運動ベクトルを含み、
前記量子化器ステップサイズパラメータの関数である品質基準を作り出すための手段(3)と、
前記基準に対して時間マスキング調整を加えるための手段(8、9)であって、前記調整が各符号化されたブロックの前記運動ベクトルの関数である手段と、
を備える、装置。
【請求項17】
符号化されたブロックあたりのゼロ以外の変形係数の数の関数として空間複雑度係数(X)を計算するための手段(6)と、
前記基準に対して空間マスキング調整を行うために動作可能な手段(5)であって、前記調整は前記空間複雑度係数の関数である手段と、
を含む、請求項16に記載の装置。
【請求項1】
可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のための品質の基準を作り出す方法であって、その結果前記符号化された信号は量子化器ステップサイズパラメータ、及びピクチャのブロックの場合変形係数を含み、
a)前記量子化器ステップサイズパラメータの関数である第1の品質基準を作り出すことと、
b)単一の変形係数を有するブロックの数の関数である第2の品質基準を作り出すことと、
c)前記第1の基準と第2の基準を結合することと、
を備える、方法。
【請求項2】
前記第2の品質基準は、むらがあると判断されるブロックの数の関数として決定され、
(i)ブロックが、前記ブロックが前記ピクチャの初期のフレームに関係なく符号化され、前記ブロックがただ1つの変形係数を有する場合にむらがあると定められ、
(ii)ブロックが、前記ブロックが前記ピクチャの初期フレームを参照することにより符号化され、前記ブロックは変形係数を有さず、前記それぞれの初期のピクチャの前記対応するブロックもむらがあると定められた場合に、むらがあると定められる、請求項1に記載の方法。
【請求項3】
前記第1の基準に対して空間マスキング調整を加えることを含み、前記調整は符号化ブロックあたりのゼロ以外の変形係数の数の関数として計算される空間複雑度係数の関数である、請求項1または2に記載の方法。
【請求項4】
前記符号化された信号も運動ベクトルを含むように運動補償を活用する圧縮アルゴリズムを使用して符号化される信号とともに使用するための方法であって、前記第1の基準に対し時間マスキング調整を加えることを含み、前記調整が各符号化されたブロックの前記運動ベクトルの関数である、請求項1、2または3に記載の方法。
【請求項5】
前記基準を結合する前記ステップは、
a)前記第1の基準及び第2の基準を1つの共通のスケールに変換することと、
b)前記第2の基準が閾値より劣る画質を表す場合に、前記第2の基準を出力することと、
c)それ以外の場合に、前記第1の基準を出力することと、
を備える、請求項1から4のいずれか1項に記載の方法。
【請求項6】
可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のための品質の基準を作り出す方法であって、その結果前記符号化された信号は量子化器ステップサイズパラメータ、及びピクチャのブロックの場合、変形係数を含み、
a)前記量子化器ステップサイズパラメータの関数である品質基準を作り出すことと、
b)前記基準に対する空間マスキング調整を行い、前記調整が符号化されたブロックあたりのゼロ以外の変形係数の数の関数として計算される空間複雑度係数の関数であることと、
を備える、方法。
【請求項7】
可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズム及び運動補償を使用して符号化されたビデオ信号のために品質の基準を作り出す方法であって、その結果前記符号化された信号は、量子化器ステップサイズパラメータ、及びピクチャのブロックの場合変形係数及び運動ベクトルを含み、
a)前記量子化器ステップサイズパラメータの関数である品質基準を作り出すことと、
b)前記基準に対して時間マスキング調整を行い、前記調整が各符号化されたブロックの前記運動ベクトルの関数であることと、
を備える、方法。
【請求項8】
前記基準に空間マスキング調整を加えることを含み、前記調整は各符号化されたブロックのゼロ以外の変形係数の数の関数として計算される空間複雑度係数の関数である、請求項7に記載の方法。
【請求項9】
二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のために品質の基準を作り出す方法であって、その結果前記符号化された信号は、ピクチャのブロックの場合変形係数を含み、
単一の変形係数を有するブロックの数の関数である品質基準を作り出すことを備える、方法。
【請求項10】
可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のために品質の基準を作り出すための装置であって、その結果前記符号化された信号は、量子化器ステップサイズパラメータ、及びピクチャのブロックの場合変形係数を含み、
a)前記量子化器ステップサイズパラメータ(Q)の関数である第1の品質基準を作り出すための手段(3)と、
b)単一の変形係数を有するブロックの数の関数である第2の品質基準を作り出すための手段(10、11)と、
c)前記第1の基準と第2の基準を結合するための手段(14)と、
を備える、装置。
【請求項11】
前記第2の品質基準を作り出すための前記手段は、むらがあると判断されるブロックの数の関数である基準を作成するように構成され、
(i)ブロックが、前記ブロックが前記ピクチャの初期フレームに関係なく符号化され、前記ブロックが唯一の変形係数を有する場合に、むらがあるとして定められ、
(ii)ブロックが、それが前記ピクチャの初期のフレームを参照して符号化され、前記ブロックが変形係数を有さず、前記それぞれの初期のピクチャの前記対応するブロックもむらがあると定められた場合に、むらがあると定められる、請求項10に記載の装置。
【請求項12】
空間複雑度係数(X)を符号化されたブロックあたりのゼロ以外の変形係数の数の関数として計算するための手段(6)と、前記第1の基準に対して空間マスキング調整を加えるために動作可能な手段(5)とを含み、前記調整は前記空間複雑度係数の関数である、請求項10または11に記載の装置。
【請求項13】
運動補償を活用する圧縮アルゴリズムを使用して符号化された信号とともに使用するための装置であって、その結果前記符号化された信号も運動ベクトルを含み、前記第1の基準に対して時間マスキング調整を行うために動作可能な手段(8、9)とをさらに備え、前記調整は各符号化されたブロックの前記運動ベクトルの関数である、請求項10、11、または13に記載の装置。
【請求項14】
前記基準を結合するための前記手段は、前記第2の基準を出力するため、およびそれ以外の場合前記第2の基準を出力するために(to output the second measure and,otherwise,to output the second measure)、前記第1の基準及び第2の基準を1つの共通したスケールに変換するための手段(12、13)と、前記第2の基準が閾値に劣る画質を表す場合に動作可能な手段(14)とを備える、請求項10から13のいずれか1項に記載の装置。
【請求項15】
可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のために品質の基準を作り出すための装置であって、その結果前記符号化された信号は、量子化器ステップサイズパラメータ、及びピクチャのブロックの場合、変形係数を含み、
前記量子化器ステップサイズパラメータ(Q)の関数である品質基準を作り出すための手段(3)と、
符号化されたブロックあたりのゼロ以外の変形係数の数の関数として空間複雑度係数(X)を計算するための手段(6)と、
前記基準に対して空間マスキング調整を行うために動作可能な手段(5)であり、前記調整が前記空間複雑度係数の関数である手段と、
を備える、装置。
【請求項16】
可変量子化器ステップサイズ及び二次元変形を活用する圧縮アルゴリズム、及び運動補償を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のために品質の基準を作り出すための装置であって、その結果前記符号化された信号は、量子化器ステップサイズパラメータ、及びピクチャのブロックの場合、変形係数及び運動ベクトルを含み、
前記量子化器ステップサイズパラメータの関数である品質基準を作り出すための手段(3)と、
前記基準に対して時間マスキング調整を加えるための手段(8、9)であって、前記調整が各符号化されたブロックの前記運動ベクトルの関数である手段と、
を備える、装置。
【請求項17】
符号化されたブロックあたりのゼロ以外の変形係数の数の関数として空間複雑度係数(X)を計算するための手段(6)と、
前記基準に対して空間マスキング調整を行うために動作可能な手段(5)であって、前記調整は前記空間複雑度係数の関数である手段と、
を含む、請求項16に記載の装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公表番号】特表2006−509435(P2006−509435A)
【公表日】平成18年3月16日(2006.3.16)
【国際特許分類】
【出願番号】特願2004−558198(P2004−558198)
【出願日】平成15年11月18日(2003.11.18)
【国際出願番号】PCT/GB2003/005002
【国際公開番号】WO2004/054274
【国際公開日】平成16年6月24日(2004.6.24)
【出願人】(390028587)ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】BRITISH TELECOMMUNICATIONS PUBLIC LIMITED COMPANY
【Fターム(参考)】
【公表日】平成18年3月16日(2006.3.16)
【国際特許分類】
【出願日】平成15年11月18日(2003.11.18)
【国際出願番号】PCT/GB2003/005002
【国際公開番号】WO2004/054274
【国際公開日】平成16年6月24日(2004.6.24)
【出願人】(390028587)ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】BRITISH TELECOMMUNICATIONS PUBLIC LIMITED COMPANY
【Fターム(参考)】
[ Back to top ]