説明

映像品質測定

【解決手段】 本願は、非侵害性の映像品質測定方法に関する。特に、映像信号は元の形態と符号化された形態と復号された形態とを有し、符号化された形態では符号化された信号が量子化器ステップ・サイズ・パラメータを含むように可変の量子化器ステップ・サイズを用いる圧縮アルゴリズムを用いて映像信号が符号化されており、復号された形態では符号化された映像信号の少なくとも一部が元の形態へと再変換されている。そして、本方法は、a)量子化器ステップ・サイズ・パラメータの関数である第1品質測定値を生成する工程と、b)復号された形態の映像信号によって表されるフレームの空間上の複雑度の関数である第2品質測定値を生成する工程と、c)復号された映像の主観的な視覚上の品質の推定値を得るために第1、第2測定値を組み合わせる工程と、を具備している。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、映像品質測度、特に映像信号が圧縮アルゴリズムを用いて符号化される場合の映像品質測度に関する。
【背景技術】
【0002】
映像信号がある位置から別の位置に送信されることになっている場合、符号化アルゴリズムを用いてその信号を、符号化された信号が符号化されない場合に要求される帯域幅より小さな帯域幅を用いて送信されことが可能になるように、符号化または圧縮することが知られている。受信の際は、符号化された信号が復号されて元の信号を取り出す。多くの符号化技術では、2次元コサイン変形が行なわれる。その結果、一連の変換係数が得られ、この変形係数の大きさが量子化される。この結果、帯域幅が効率的に割り当てられることが可能になる。量子化の粒度、すなわちステップ・サイズは変えられることが可能になっている。
【0003】
映像シーケンスを符号化したり復号したりする処理によって、歪みが導入されたり、そうでなければ、信号の品質が悪化し得る。歪みのレベルを測定する1つの方法は、歪められた映像シーケンス内の知覚可能な歪みのレベルに関して視聴者の見解に注意すること、およびその結果を平均して平均オピニオン値(Mean Opinion Score)(MOS)を得ることを含んでいる。しかしながら、これは時間のかかる処理であり得る。その結果、視聴者が映像シーケンス内の知覚するであろう品質の損失を予測することが望ましいかもしれない。符号化/復号および送信処理の結果の映像品質が低下したことは、元のシーケンスを参照することによって知ることができるが、そのようなアプローチは多くの場合、不便である。
【発明の開示】
【0004】
本発明の第1の態様によれば、複数のフレームを表す映像信号の品質の測定値を生成するための方法であって、前記映像信号は元の形態と符号化された形態と復号された形態とを有し、前記符号化された形態では前記符号化された信号がそれと関連する量子化器ステップ・サイズ・パラメータを有するように可変の量子化器ステップ・サイズを用いる圧縮アルゴリズムを用いて前記映像信号が符号化されており、前記復号された形態では前記符号化された映像信号の少なくとも一部が前記元の形態へと再変換されており、a)前記量子化器ステップ・サイズ・パラメータの関数である第1品質測定値を生成することと、b)前記復号された形態の前記映像信号によって表されるフレームの少なくとも一部における空間上の複雑度の関数である第2品質測定値を生成することと、c)前記第1、第2測定値を組み合わせることと、を具備する方法が提供される。
【0005】
ステップ・サイズが符号化された映像シーケンスから導出可能であるので、また複雑度(complexity measure)が復号された信号から得られるので、元の映像信号を参照する必要度が減少する。さらに、ステップ・サイズは多くの符号化の仕組みにおいて映像シーケンスとともにパラメータとして送信されるので、このパラメータを新たに算出する必要なしに、好都合なことにこのパラメータを用いて映像品質を予測することができる。重要なことに、複雑度をステップ・サイズと組み合わせて用いることによって、品質の測定値(測度、値、measure)の信頼性を、映像品質の指標としてのステップ・サイズまたは複雑度のみの信頼性から単に期待されるよりも、改善することが分かった。
【0006】
本発明の第2の態様によれば、複数のフレームを表す映像信号の品質の測定値を生成するための装置であって、前記映像信号は元の形態と符号化された形態と復号された形態とを有し、前記符号化された形態では前記符号化信号がそれと関連する量子化器ステップ・サイズ・パラメータを有するように可変の量子化器ステップ・サイズを用いる圧縮アルゴリズムを用いて前記映像信号が符号化されており、前記復号された形態では前記符号化された信号が少なくとも一部が前記元の形態へと再変換されており、a)前記量子化器ステップ・サイズ・パラメータの関数である第1品質測定値を生成するための手段と、b)前記復号された形態の前記映像信号によって表現されるフレームの少なくとも一部における空間上の複雑度の関数である第2品質測定値を生成するための手段と、c)前記映像信号の品質の前記測定値を生成するために前記第1、第2測定値を組み合わせる手段と、を具備する装置が提供される。
【0007】
本発明が、図面を参照してあくまで例として次にさらに説明される。
【発明を実施するための最良の形態】
【0008】
一実施形態の概要
下記の実施形態は、ノーリファレンス型の、復号器に基づいた映像品質評価ツールに関する。このツール向けのアルゴリズムは、映像復号器内で動作することが可能であって、復号されたマクロブロックの各々についての量子化器ステップ・サイズ・パラメータ(通常、入来する符号化された映像ストリームに含まれている変数である)および復号された画像の各々についてのピクセル強度値を用いて、復号された映像の主観品質を推定する。スライディング・ウィンドウ平均ピクセル強度差(ピクセル・コントラスト測定値)の算出が、各復号されたピクセルに対して各フレームについて行なわれ、結果得られる平均(TCF)は、映像の雑音マスキング特性の測定値として用いられる。次に、品質の推定値が、TCFのパラメータの重み関数およびステップ・サイズ・パラメータの平均から作製される。重み関数は、復号されたシーケンスの特性のトレーニング・データ・ベースに対する多重回帰分析およびこのシーケンスに対する取得済みの主観的なスコアによって予め決定されている。一方でステップ・サイズ、他方でスライディング・ウィンドウ平均ピクセル強度差測定値を組み合わせて用いて複雑度を推定することによって、主観的な品質の良好な推定値が提供される。
【0009】
原則として、用いられる測定処理は、変換符号化を用いるとともに可変の量子化器ステップ・サイズを有する圧縮技術を用いて符号化された映像信号に一般に適用可能である。しかしながら、以下に説明される形態は、H.264規格に従って符号化された信号とともに用いられように設計されている。(以下に説明される形態は、H.264の映像コーデックに基づくが、H.261、H.263、(フレームに基づいた)MPEG2等のような他のDCTに基づいた標準的なコーデックにも当てはまる。)
本測定法は、非干渉性(non-intrusive)または「ノーリファレンス」型であり、すなわち、本測定法は元の信号の複製にアクセスする必要はない。本方法は、適切な復号器内での使用に合わせて設計されている。本方法は、符号化されたビットストリームからのパラメータおよび復号された映像画像の両方へのアクセスを必要とするからである。
【0010】
図1に示されている装置では、入来する信号は入力1で受け取られ、各画像についての以下のパラメータを復号して出力する映像復号器へと渡る。
【0011】
復号された画像(D)
ピクセル単位の水平方向における復号された画像の大きさ(P
ピクセル単位の垂直方向における復号された画像の大きさ(P
マクロブロック単位の水平方向における復号された画像の大きさ(M
マクロブロック単位の垂直方向における復号された画像の大きさ(M
量子化器ステップ・サイズ・パラメータの組(Q)
本装置には2つの分析経路がある。これらの分析経路は、画像平均された量子化器ステップ・サイズ信号QPFを計算すること(ユニット3)および画像平均されたコントラスト測定値CFを計算すること(ユニット4)に資する。次に、ユニット5は、信号QPFおよびCFを時間平均して、それぞれTQPFとTCFを与える。最後に、これらの信号はユニット6で組み合わせられて、復号された映像シーケンスDについての主観的な品質推定値PMOSを与える。要素3乃至6は個々のハードウェア要素によって実現されることが可能であるが、より便利な実現方法は適切にプログラムされたプロセッサを用いて、それらの段階をすべて行なうことである。
【0012】
画像平均Q
これは、復号器から出力される量子化器ステップ・サイズ信号Qを用いる。Qは現在の復号された画像の各マクロブロックについての、1つの量子化器ステップ・サイズ・パラメータ値QPを含んでいる。H.264については、量子化器パラメータQPは、変換係数を符号化するために用いられる線形量子化の間隔QSTEPを定義する。実際、QPは、所定の間隔の表にインデックスを付ける(index)。この表において、QPが6増加するごとに、QSTEPはその大きさが2倍になる。画像平均量子化器パラメータQPFは、以下に従って、ユニット3で計算される。
【数1】

【0013】
ここで、MxおよびMyは、それぞれ画像内の水平方向マクロブロックおよび垂直方向マクロブロックの数であり、Q(i,j)は、位置(i,j)のマクロブロックについての量子化器ステップ・サイズ・パラメータである。
【0014】
コントラスト測定値の計算
図2は、水平方向における大きさがピクセルPx個で垂直方向における大きさがピクセルPy個の画像内の位置(x,y)のピクセルp(x,y)についてのコントラスト測定値がどのように計算されるかを例示している。
【0015】
水平方向コントラスト測定値を計算するための分析法が図2に示されている。ここで、コントラスト測定値は、影を付された領域によって示されているピクセルp(x,y)に関して計算される。等しい大きさの隣接する領域が選択されており、そのうちの1つが先の影を付されたピクセルを含んでいる。各領域は、影付きピクセルが位置する行(列)からの(好ましくは連続する)ピクセルの組から形成されている。各領域内のピクセル強度は平均され、また、この平均の差の絶対値が、続いて下記の等式(2)に従って計算される。コントラスト測定値は、この差の値である。図3に示されているように、垂直方向コントラスト測定値は同様の方法で計算される。ここで、ピクセルの高位側の組およびピクセルの低位側の組が選択される。選択されたピクセルの各々は、同じ列上にある。影付きピクセルは、高位側の組と低位側の組との境界の隣に位置する。高位側、低位側の組内のピクセルの強度が平均され、次いで各組の平均強度の差が求められる。この差の絶対値が、下記の等式(3)において示されている垂直方向コントラストの測定値、すなわち垂直方向でのコントラストの測定値である。本例では、影付きピクセルは低位側の組に含まれている。しかしながら、影付きピクセルが比較されているピクセルの組によって共有される境界の近くにあれば、コントラスト測定値が関連付けされる影付きピクセルの位置は任意である。
【0016】
したがって、水平方向コントラスト測定値を得るために、長さHの行部分が比較され、他方、垂直方向コントラスト測定値を得るために、長さVの列部分が比較される(長さHおよびVは同じかもしれないが、そうであることは必須ではない)。コントラスト測定値は、一方で行部分と他方で列部分と共通の境界に位置するピクセルと関連を有している。
【0017】
次に、このように算出された水平方向コントラスト測定値および垂直方向コントラスト測定値が比較され、2つの値のうちの大きい方(等式(4)中で測定されているように水平垂直測定値と称される)が影付きピクセルと関連付けされて、メモリ内に保存される。この手続きは、画像内の(画像の垂直方向の端および水平方向の端からのそれぞれ垂直方向距離Vおよび水平方向距離Hの範囲内の)各ピクセルについて繰り返されて、これによって、HまたはVのウィンドウ・サイズでピクセルに対するスライディング・ウィンドウ分析が行なわれる。次に、画像(フレーム)内の各ピクセルについての水平垂直測定値が平均されて、全体のピクセル差測定値CF(等式(5)を参照)が与えられる。次に、各画像に関連するこの全体的な測定値が複数の画像に亘って平均されて、シーケンス平均された測定値、すなわち、等式(7)に従った時間平均CFが得られる。全体的(CF)測定値が平均される画像の数は、映像シーケンスの性質および場面変化の間の時間に依存し、数秒の長さであり得る。明らかに、特に量子化器ステップ・サイズが画像を跨いで変化する場合、画像の一部のみ、このように分析されることが必要である。
【0018】
画像内の異なる位置でのコントラストを測定するとともに平均することによって、画像の複雑度の簡単な測定値が得られる。画像内の複雑度が歪みを見えなくするとともにそれによって画像が所与の歪みについてより良好な品質であると視聴者が信じることになる場合があるので、画像内の複雑度の程度が、視聴者が映像信号に関連付ける品質の主観的な程度を一部予測するために用いられることが可能である。
【0019】
影付きピクセルに関する各領域の幅(H)または高さ(V)は、視聴者がどの程度細かく複雑度に気づくかと関係がある。したがって、画像が遠くから視聴されることになっていれば、HとVは視聴者が画像に接近するであろうことが予想される状況よりも大きい値であるように選択されるであろう。一般に、画像からの視聴者にとって快適な距離が画像の大きさに依存するので、HとVの大きさもピクセルの大きさおよびピクセル寸法に依存するであろう(より大きなディスプレイは典型的にはより多いピクセルではなくより大きなピクセルを有するであろう。ただし、所与のピクセル密度についてはディスプレイの大きさも要因であり得る)。典型的には、HおよびVの各々が、画像の各寸法の0.5%乃至2%であろうことが予想される。例えば、水平方向に720個のピクセルがあるとともに平均のための組の各々が4個のピクセルを含んでいる場合、水平方向の値は4*100/720=0.56%であり、垂直方向において576個のピクセルがある場合、4*100/576=0.69%であり得る。
【0020】
コントラスト測定値を算出するための分析は、下記の等式を参照して以下のように記述されることが可能である。この計算は、復号された映像画像Dを用い、各画像についての画像平均された複雑度CFを割り出す。CFは、復号された映像画像についてのスライディング・ウィンドウ・ピクセル分析をまず行なうことにより割り出される。水平方向がPx個のピクセルで垂直方向がPy個のピクセルの大きさの画像内のピクセルp(x,y)についての水平方向分析を示す図2において、水平方向コントラスト測定値Cは、復号されたシーケンスDのn´番目の画像について、以下に従って計算される。
【数2】

【0021】
Hは水平方向ピクセル分析用のウィンドウ長さである。C(n,x,y)は、映像シーケンスDのn´番目の画像のピクセル(x,y)についての水平方向コントラスト・パラメータである。D(n,x,y)は、映像シーケンスDのn´番目の画像のピクセル(x,y)についての強度である。
【0022】
対応する垂直方向ピクセル分析を示す図3において、垂直方向コントラスト測定値Cは、以下によって算出される。
【数3】

【0023】
ここで、Vは垂直方向ピクセル分析用のウィンドウ長さである。
【0024】
次に、CおよびCが組み合わせられて、水平垂直測定値Chwが与えられる。
【数4】

【0025】
適用形態によっては、水平方向成分と垂直方向成分とを分離したままにして異なった重み付けパラメータが主観品質の各推定値に適用される(ユニット6)ことができるようにすることがより良いかもしれない。
【0026】
最後に、全体の画像平均されたピクセル差測定値CFが、C、C、および(または)Chvから、以下に従って算出される。
【数5】

【0027】
時間平均
これは画像平均パラメータQPF、CFを用いて、対応する時間平均されたパラメータTQPF、TCFを、以下に従って割り出す。
【数6】

【0028】
パラメータを平均することは、MOS推定値が要求される時間間隔に亘って行なわれるべきである。これは、TQPFおよびTCFパラメータの単一の組を生成する単一の分析期間で有り得、または一連のパラメータを生成する一連の間隔であり得る。連続的分析は、典型的に秒オーダーの長さのウィンドウ間隔で、CFとQPFの時間上の連なりにおいて分析ウィンドウを「スライドさせる」ことにより、連続的な分析が達成されることが可能である。
【0029】
推定MOS
これは、時間平均パラメータTQPF、TCFを用いて、復号されたシーケンスDの対応する時間間隔についての主観的に測定された平均オピニオン値の推定値PMOSを作製する。TQPFは、復号されたシーケンス内に存在する雑音の推定に貢献し、TCFは、その雑音がどれくらい上手く映像シーケンスの内容によって覆われ得るかの推定に貢献する。PMOSは、パラメータを組み合わせて、以下に従って算出される。
【数7】

【0030】
、Fは、AvQpおよびCS内の適切な線形または非線形関数である。Kは定数である。
【0031】
PMOSは予想される平均オピニオン値であり、1乃至5の範囲にある。5が高品質と等しく、1が低品質と等しい。F、F、およびKは、多くの商用統計ソフトウェア・パッケージにおいて利用可能なもののような適切な回帰分析(例えば、線形、多項式、または対数)によって決定され得る。そのような分析は、既知の主観品質のトレーニング・シーケンスの組を必要とする。次に、F、F、およびKによって定義されるモデルが、MOSを独立変数とするとともにTQPFおよびTCFを従属変数として用いた回帰分析によって導出され得る。典型的には、結果得られるモデルが、トレーニング内での劣化と同様の劣化(コーデック・タイプおよび圧縮レート)の対象となったテスト・シーケンスの品質を予測するために用いられるであろう。しかしながら、映像内容は異なるかもしれない。
【0032】
フル解像度放送素材のH.264圧縮については、適切な線形モデルは、以下の通りであることが見出された。
【数8】

【0033】
次に、結果得られる推定値は、以下の通り制限されるであろう。
【数9】

【0034】
以下に、上記の実施形態の様々な態様の補足説明が提供される。
【0035】
導入:分析の際に元の映像シーケンスおよび劣化した映像シーケンスの両方を利用するフルリファレンス映像品質測定ツールは、放送映像の映像品質を高精度で予測できることが示された。劣化した「参照」シーケンスへアクセスしないノーリファレンス技術を設計することは、より難しい提案である。
【0036】
ノーリファレンス分析の別の形態は、符号化されたビットストリームに復号器内でまたはネットワーク内の他のどこかでアクセスすることによって達成され得る。そのような「ビットストリーム」分析は、量子化器ステップ・サイズ、動きベクトル、ブロック統計値(block statistic)のような符号化パラメータに即座にアクセスできるという長所を有する。一方、このような符号化パラメータは、フレーム・バッファ分析では利用不可能である。ビットストリーム分析は、逆変換または動き予測マクロブロック再構成を伴わない復号されたパラメータの計算量が少ない分析から映像シーケンスの完全復号まで亘る。
【0037】
PSNRは、映像復号器およびフルリファレンス映像品質測定ツールの両方において主観映像品質を推定する際に用いられる測定値である。無参照ツールでは、PSNRは、直接算出されることはできないが、推定され得る。ここで、出願人は、フルリファレンスPSNR測定値を凌ぎ得るH.264/AVC復号器内で動作する無参照映像質予測技術を提示する。
【0038】
第1に、結果が、H.264で符号化された様々なシーケンスを用いて、品質推定をベンチマークする(benchmark)ために提供される。第2に、平均量子化器ステップ・サイズ(AvQP)の測定値を用いて主観品質を推定するビットストリーム技術に対する考察が行なわれる。PSNRへの単なる近似ではなく、このビットストリーム、ノーリファレンス測定値は、品質推定を行うためのフルリファレンスPSNR測定値を凌ぎ得る。最後に、雑音マスキング(CS)の測定値が導入される。これによって、PSNRおよび量子化器ステップ・サイズに基づいた品質推定技術の両方の性能が高まる。この測定値は、復号された画像シーケンスのピクセル差分析に基づいており、映像復号器内で算出される。結果得られる、復号器に基づいたノーリファレンス・モデルは、測定値と主観値との間の相関度が0.91を達成することが示されている。
【0039】
映像テスト素材−トレーニングおよびテスト・データベース:この技術を訓練(train)およびテストするために用いられる映像データベースは、18個の異なる8秒のシーケンス(全てが625の放送フォーマット)から構成された。トレーニング・セットは、VQEG1データベースからの6つのシーケンスおよび他からの3つのシーケンスからなる9つのシーケンスから構成された。テスト・セットは9つの異なるシーケンスから構成された。VQEG1の内容は良く知られており、VQEGウェブサイトからダウンロードされることが可能である。品質パラメータが各シーケンスの継続期間に亘る平均に基づくことになっていたので、動きと細部の特性が一貫した内容を選択することが重要であった。シーケンスの詳細は表1内に示されている。
【表1】

【0040】
映像テスト素材−符号化:全てのトレーニング・シーケンスおよびテスト・シーケンスが、各々について同じ符号器オプションの組で、H.264符号器JM7.5cを用いて符号化された。
【0041】
符号器セッティングの重要な特徴は次のとおりであった:I、P、B、P、B、P…フレーム・パターン、レート制御は無効、量子化パラメータ(QP)は固定、適応性フレーム/フィールド符号化は有効、ループ・フィルタリングは無効
非常に多くの相違する可能な符号器セットアップで、上記のセッティングを一定にしておき、かつ各ソース・ファイルに対するテスト相互間で量子化器ステップ・サイズ・パラメータだけを変えることにした。
【0042】
形式的な(formal)単一刺激の主観テストが、12個の被験体がトレーニングの組とテストの組の両方に用いて行なわれた。平均されたMOSの結果は、表2(トレーニング・セット)および表3(テスト・セット)において示されている。
【表2】

【表3】

【0043】
品質評価−ピーク信号対雑音比:ピーク信号対雑音比(PSNR)は、一般に用いられる品質のフルリファレンス測定値であり、多くの映像符号器内で最適化を行うための重要な測定値である。正しく並べられた参照シーケンスおよび劣化したシーケンスと共に用いられると、PSNRは算出される直接的な測定値であり、また、時間平均された測定値(AvPSNR)が以下に従って計算され得る。
【数10】

【0044】
ここで、s(n,x,y)およびd(n,x,y)は、X個の水平方向(x=0…X−1)ピクセルとY個の垂直方向(y=0…Y−1)ピクセルの大きさの元シーケンスsおよび劣化シーケンスdからのN個のうちのn´番目のフレーム内の、対応するピクセル強度値(0…255)である。この等式が用いられて、9つのトレーニング・シーケンスの各々の8秒に亘る平均PSNRを算出した。平均測定MOSに対する平均PSNRのプロットが図4に示されている。
【0045】
25dBの平均PSNRのMOSスコアが検討されると、データの、内容に依存する性質が明らかになる。データ内の3つのMOS点の範囲が、PSNRを用いて知覚される品質を推定する際の潜在的な不正確さを示している。多項式回帰分析によって、MOSとAvPSNRのデータ間で0.78の相関度および0.715のRMS残差が与えられる。
【0046】
質評価−量子化器ステップ・サイズ:H.264については、量子化器パラメータQPは、変換係数を符号化するために用いられる線形量子化器の間隔QSTEPを定義する。QPは、所定の間隔の表にインデックスを付ける(index)。この表において、QPが6増加するごとに、QSTEPはその大きさが2倍になる。
【0047】
トレーニングの組の各テストについては、QPは、PおよびIマクロブロックについては20、28、32、36、40、または44の1つの値に固定され、Bマクロブロックについては2大きい値に固定された。図5は、9つのトレーニング・シーケンスの各々についての平均MOSに対する平均QPのプロットを示している。
【0048】
MOSと平均QPとの間の多項式回帰分析によって、0.924の相関度および0.424のRMS残差が与えられる。また、様々なQP値での予想されるMOS範囲がAvPSNRについてのものより著しく小さいことが明らかである。
【0049】
量子化器ステップ・サイズからのPSNRの1つの推定値は、量子化範囲内のエラー値の一様分布の近似に依存する。しかしながら、この近似は、大多数の係数が0まで「中心切り取り(centre clipped)」される場合、ステップ・サイズが大きな低ビット・レートに適用できない。多少驚いたことに、結果は、AvQPが、PSNRよりもより良く主観値を予想し得ることを示している。QPとH.264における実際の量子化器ステップ・サイズとの間の非線形の写像が何らかの理由で多項式分析を簡単にし得る可能性が減じられた。実際のステップ・サイズ対MOSについても同様の結果が達成された。
【0050】
ピクセル・コントラスト測定値−歪みマスキング:歪みマスキングは、符号化された映像シーケンス内の歪みの認識に影響を与える重要な要素である。そのようなマスキングは、人間の知覚メカニズムが同じスペクトル上の、または時間上の、空間上の場所(locality)内での信号成分と雑音成分とを識別できないために生じる。そのような考察事項は、ビットを効率的に配分することが不可欠である映像符号器の設計の際、非常に重要である。この分野における研究は変換とピクセルの両方の領域において行なわれてきた。ここでは、ピクセル領域だけが考慮される。
【0051】
ピクセル・コントラスト測定値−ピクセル差コントラスト測定値:ここで、ピクセル領域内での分析によって画像シーケンスのマスキング特性を決定する考えが、映像品質推定に適用される。実験によって、スライディング・ウィンドウ・ピクセル差分析によって算出されるコントラスト測定値が良好に機能することが明らかになった。
【0052】
ピクセル差コントラスト測定値CとCは、上記の等式(2)、(3)に従って算出される。ここで、Hは水平方向ピクセル分析用のウィンドウ長さであり、Vは垂直方向ピクセル分析用のウィンドウ長さである。次に、等式(4)に従って、CとCが組み合わせられて水平垂直測定値Chvを与える。次に、Chvが用いられて、上記の等式(5)に従ってフレームについての全体のピクセル差測定値CFを算出し、続いて、上記の等式(6)において定義されているシーケンス平均測定値CSを算出し得る。シーケンス平均測定値CS(上ではTCFと称されている)は、H=4およびV=2を用いて復号されたトレーニング・シーケンスの各々に付いて算出され、その平均量子化器ステップ・サイズに対するプロットによる結果が図6に示されている。
【0053】
図6中の結果は、図4のPSNR対MOSの結果と順位に関して同様の類似性を示し、図5のAvQステップ対MOSの結果より劣る類似性を示している。「カレンダー」および「岩」シーケンスは、最も高いCS値を有しており、また、PSNRおよびAvQステップの両方において良好な範囲に亘って最も高いMOS値を有している。同様に、「カヌー」および「稚魚(fry)」シーケンスは最低のCS値および最低のMOS値を有する。したがって、復号されたピクセルから算出されたCS測定値は、シーケンスの雑音マスキング特性と関係を有するようである。高いCSは、所与のPSNRについて、マスキングがより高く、したがって、MOSがより高いことを意味する。ノーリファレンス品質推定におけるCS測定値の使用の可能性が、下に述べられている多重回帰分析に含められることによってテストされた。
【0054】
結果:第1に、トレーニング・セット用の平均MOS(従属変数)が、多くの商用統計ソフトウェア・パッケージ[14]において利用可能なもののような標準的な多項式/対数回帰分析を用いて、PSNR(独立変数)によってモデル化された。次に、結果得られたモデルが、テスト・シーケンスに対して用いられた。そして、これがAvQPを独立変数として用いて繰り返された。その処理がCSを各場合のさらなる独立変数として用いて繰り返された。結果得られた、推定されたMOSと測定されたMOSとの間の相関度とRMS残差が表4において示されている。
【表4】

【0055】
結果は、シーケンス平均されたコントラスト測定値(CS)をPSNRまたはAvQPに基づいたMOS推定モデルに含めると、トレーニングの組およびテストデータの組の両方について成績が向上することを示している。AvQPパラメータおよびCSパラメータを用いるモデルの成績は特に良好で、トレーニング(0.95)および印象的なことにテスト(0.916)と、共に0.9を超える相関度を達成した。
【0056】
結論:H.264の映像復号器内の主観的な映像品質を推定するための2つのパラメータ・モデルが提示された。映像シーケンスに亘って平均されたH.264量子化器ステップ・サイズ・インデックスに相当するAvQPパラメータは、雑音の推定に寄与する。復号されたピクセルのスライディング・ウィンドウ差分析を用いて算出されたCSパラメータによって、映像内容の雑音マスキング特性の指標が付加される。これらのパラメータが一緒に用いられると、復号器内で驚くほど正確な主観的な品質推定が達成されることが可能であり得ることが示されている。
【0057】
8秒のトレーニング・シーケンスおよびテスト・シーケンスは、時間に亘る画像特性における著しい変化を減ずる目的で選択された。その目的は、測定されたMOSの値が短命で明確な歪みによって不適当に重み付けされないように、一貫した劣化特性を有する復号されたシーケンスを用いることであった。こうすることによって、シーケンス平均されたパラメータを伴ったMOS値をモデル化することが、より理に適ったかつ正確な処理となる。
【0058】
等式(5)において定義されているコントラスト測定値CFは、取得された全画像についての各ピクセルに対して行なわれている平均に依存する。空間上かつ時間上ブロックに亘ってCFを分析することが有益であり得ることが分かった。
【図面の簡単な説明】
【0059】
【図1】映像シーケンスの品質の評価装置を、機能の観点から示すブロック図である。
【図2】画像内のピクセルについて水平方向コントラスト測定値がどのように算出されるかを示している。
【図3】図2の画像のピクセルについて垂直方向コントラスト測定値がどのように算出されるかを示している。
【図4】トレーニング・シーケンスについてのAvPSNR対測定されたMOSを示している。
【図5】トレーニング・シーケンスについてのAvQP対測定されたMOSを示している。
【図6】トレーニング・シーケンスについてのCS対測定されたMOSを示している。
【図7】AvQP/CSモデルについての測定されたMOS対推定されたMOSを示している。

【特許請求の範囲】
【請求項1】
複数のフレームを表す映像信号の品質の測定値を生成するための方法であって、前記映像信号は元の形態と符号化された形態と復号された形態とを有し、前記符号化された形態では前記符号化された信号がそれと関連する量子化器ステップ・サイズ・パラメータを有するように可変の量子化器ステップ・サイズを用いる圧縮アルゴリズムを用いて前記映像信号が符号化されており、前記復号された形態では前記符号化された映像信号の少なくとも一部が前記元の形態へと再変換されており、
a)前記量子化器ステップ・サイズ・パラメータの関数である第1品質測定値を生成することと、
b)前記復号された形態の前記映像信号によって表されるフレームの少なくとも一部における空間上の複雑度の関数である第2品質測定値を生成することと、
c)前記第1、第2測定値を組み合わせることと、
を具備する方法。
【請求項2】
前記空間上の複雑度は、フレーム内の複数の位置での局部コントラスト測定値を割り出すことによって測定される、請求項1の方法。
【請求項3】
各局部コントラスト測定値は、フレームの近隣領域の強度に対して比較関数を実行することによって得られる、請求項2の方法。
【請求項4】
各フレームは複数のピクセルを含み、
所与のフレームの少なくとも幾つかのピクセルについて、1つのピクセルの近傍の近隣領域に対して比較関数が実行されて、このピクセルに関する比較値を得る、
請求項3の方法。
【請求項5】
前記近隣領域は細長い、先行する請求項のいずれか1項の方法。
【請求項6】
前記フレームの各々は、格子状に配置された複数のピクセルを含み、
前記格子は、複数の行と複数の列とを有し、
各細長い領域は、1つの行部分または1つの列部分に沿って配置された複数のピクセルによって形成されている、
請求項5の方法。
【請求項7】
第1方向に延びている近隣領域の対が比較される、先行する請求項のいずれか1項の方法。
【請求項8】
第2方向に延びている近隣領域の対が比較される、請求項7の方法。
【請求項9】
前記第1方向および前記第2方向は相互に直交している、請求項8の方法。
【請求項10】
前記比較関数は、近隣領域の対の強度差を求めることを含む、請求項3乃至9のいずれか1項の方法。
【請求項11】
1つのピクセルの近傍における近隣領域について、前記比較関数は、第1方向に延びている近隣領域の第1対の強度差を求めることと、第2方向に延びている近隣領域の第2対の強度差を求めることと、を含む、請求項3乃至10のいずれか1項の方法。
【請求項12】
前記比較関数は、前記第1、第2方向における前記差の大きい方を選択することを含む、請求項11の方法、
【請求項13】
前記フレームの各々は、複数のピクセルを含み、
所与のフレーム内の少なくとも幾つかのピクセルについて、空間上の複雑度が所与のピクセルにおける第1方向内での強度勾配およびこのピクセルにおける第2方向での強度勾配の測定値から割り出され、
前記第1、第2方向は、好ましくは相互に直交している、
先行する請求項のいずれか1項の方法。
【請求項14】
所与のピクセルについて、前記空間上の複雑度は、このピクセルにおける前記第1および第2方向での前記勾配の大きい方を用いて算出される、請求項13の方法。
【請求項15】
前記強度勾配の測定値は、フレームの近隣領域の前記強度差と線形の関係を有している、請求項13または請求項14の方法。
【請求項16】
近隣領域の前記強度は、この領域内の前記ピクセルの平均強度から得られる、先行する請求項のいずれか1項の方法。
【請求項17】
フレームの前記空間上の複雑度は、フレーム内の相違する位置で得られる局部コントラスト測定値の平均を用いて算出される、請求項2乃至16のいずれか1項の方法。
【請求項18】
複数のフレームの空間上の複雑度が平均される、請求項2乃至16のいずれか1項の方法。
【請求項19】
前記空間上の複雑度は、フレーム内の近隣領域に比較関数を実行することによって得られ、
前記近傍領域は長軸と短軸とを有するように細長く、
細長い領域の各々の前記長軸はフレームの前記長軸の方向における長さの0.5乃至2%である、
先行する請求項のいずれか1項の方法。
【請求項20】
細長い領域の各々の前記短軸は、1つのピクセルの幅と一致している、請求項19の方法。
【請求項21】
複数のフレームを表す映像信号の品質の測定値を生成するための装置であって、前記映像信号は元の形態と符号化された形態と復号された形態とを有し、前記符号化された形態では前記符号化信号がそれと関連する量子化器ステップ・サイズ・パラメータを有するように可変の量子化器ステップ・サイズを用いる圧縮アルゴリズムを用いて前記映像信号が符号化されており、前記復号された形態では前記符号化された信号が少なくとも一部が前記元の形態へと再変換されており、
a)前記量子化器ステップ・サイズ・パラメータの関数である第1品質測定値を生成するための手段と、
b)前記復号された形態の前記映像信号によって表現されるフレームの少なくとも一部における空間上の複雑度の関数である第2品質測定値を生成するための手段と、
c)前記映像信号の品質の前記測定値を生成するために前記第1、第2測定値を組み合わせる手段と、
を具備する装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公表番号】特表2009−518915(P2009−518915A)
【公表日】平成21年5月7日(2009.5.7)
【国際特許分類】
【出願番号】特願2008−543884(P2008−543884)
【出願日】平成18年11月7日(2006.11.7)
【国際出願番号】PCT/GB2006/004155
【国際公開番号】WO2007/066066
【国際公開日】平成19年6月14日(2007.6.14)
【出願人】(390028587)ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】BRITISH TELECOMMUNICATIONS PUBLIC LIMITED COMPANY
【Fターム(参考)】